JP2021529622A - 網膜の光干渉断層撮影画像のセグメンテーションの方法及びコンピュータプログラム - Google Patents
網膜の光干渉断層撮影画像のセグメンテーションの方法及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2021529622A JP2021529622A JP2021500229A JP2021500229A JP2021529622A JP 2021529622 A JP2021529622 A JP 2021529622A JP 2021500229 A JP2021500229 A JP 2021500229A JP 2021500229 A JP2021500229 A JP 2021500229A JP 2021529622 A JP2021529622 A JP 2021529622A
- Authority
- JP
- Japan
- Prior art keywords
- contour
- image data
- energy
- region
- retina
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20116—Active contour; Active surface; Snakes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Software Systems (AREA)
- Ophthalmology & Optometry (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本発明は、網膜の光干渉断層撮影画像のセグメンテーションの方法及びコンピュータプログラムに関し、以下のステップ:a)光干渉断層撮影で記録された硝子体の一部及び網膜の一部を含む画像データを取得するステップであり、前記網膜の一部は視神経頭の少なくとも一部を含み、前記画像データは関連するピクセル値を有するピクセルから構成される、前記ステップ;b)画像データ上に、所定の初期形状及び初期位置を輪郭に提供するステップ;c)調整される輪郭が、硝子体を含む第1の領域と、網膜を含む第2の領域とに画像データを分離するように、画像データ上の輪郭の形状及び/又は位置を調整するステップであり、前記輪郭の形状及び位置は、最適化方法で調整される、前記ステップ、d)前記最適化方法は、前記輪郭形状、前記輪郭位置、及び前記画像データに従属する輪郭関連エネルギーを最小化し、前記輪郭関連エネルギーは、前記輪郭形状及び前記輪郭位置を調整することによって最小化される、ステップ;を含み、前記輪郭関連エネルギーは境界ポテンシャルに従属し、輪郭関連エネルギーは前記網膜部分の境界ポテンシャルによって調整される輪郭が前記網膜部分の外側に位置するように増加するように、前記境界ポテンシャルは、前記第2の領域に含まれる網膜部分で高い。【選択図】なし
Description
本発明は、網膜の光干渉断層撮影(coherence tomography)画像のセグメンテーションの方法及びコンピュータプログラムに関する。
ヒトの眼の視神経頭(ONH)は網膜の部分であり、網膜神経節細胞からのすべての軸索が眼球から脳に向かって出て、それによって視神経が形成される。
ONHは、多くの神経変性及び自己免疫性炎症の症状により影響を受ける。光干渉断層撮影により、ONHの高解像度の3次元スキャンを取得できる。しかし、ONHの複雑な解剖学及び病理学により、画像のセグメンテーションが困難な作業になっている。
2つの膜がONH領域を定義し、ONHを眼球の内側及び外側である内境界膜(ILM)及びブルッフ膜(BM)に限定する(図1)。ILMは網膜組織から硝子体(vitreous)とも呼ばれる硝子体(vitreous body)を分離し、BMは脈絡膜の最内層、すなわち眼の血管層である。BMは脈絡膜と網膜色素上皮(RPE)の間にある膜である。
ILMとBMの両方をセグメント化することは、ONHのイメージングバイオマーカーを計算するための重要な出発点となる。しかし、ONHのセグメンテーションには画像解析のためのいくつかの困難な課題があるため、適切なセグメンテーションアプローチの開発は未だ活発な研究課題となっている。健康なONHでは、ILMはONHの中心にカップ状の凹部を形成する。しかし、多くの場合、このカップ状の中心部は不規則に形成され、突出を示すことさえある。これらの突出は、従来のセグメンテーション方法では誤った結果を生成する原因となる。セグメンテーションは、結合組織が緩んでいることが多い密な血管系によってさらに複雑になり、非常に不規則な形状のILM表面をもたらす可能性がある。
さらに、特に光干渉断層撮影スキャンは、ONHの低コントラストを表示し、かつ比較的低い信号対雑音比を示すことが多い。
これは、従来のセグメンテーションアルゴリズムが、通常のILMの進行でさえ正しくセグメンテーションできない傾向にあるもう一つの理由となる。
Wangら[2]は、脳MR画像(MRI)のセグメンテーションのためのローカル及びグローバル強度フィットエネルギー関数に基づくセグメンテーション方法を教示している。MRIとは対照的に、光干渉断層撮影では一般的にコントラストがより低く、かつS/N比がより低く表示される。
L.Wang、C.Li、Q.−S.Sun、D.−S.Xia及びC.−Y.Kao、「Active contours driven by local and global intensity fitting energy with application to brain MR image segmentation.」Comp.Med.Imag.Graph.33、520−531(2009)
本発明の目的は、光干渉断層撮影画像におけるILMの正確なセグメンテーションの方法及びコンピュータプログラムを提供することである。この目的は、請求項1の特徴を有する方法によって達成される。
有利な実施形態は、下位請求項に記載されている。
請求項1によれば、網膜の光干渉断層撮影画像のセグメンテーションの方法は、少なくとも以下のステップ:
a)光干渉断層撮影で記録された硝子体の一部及び網膜の一部を含む画像データを取得するステップであり、前記網膜の一部は視神経頭の少なくとも一部を含み、前記画像データは関連するピクセル値を有するピクセルから構成される、前記ステップ;
b)特に画像データに対して、関連する初期形状及び初期位置を備えた特に仮想の輪郭を提供するステップ;
c)調整される輪郭が、硝子体を含む少なくとも第1の領域と、網膜を含む少なくとも第2の領域に画像データを特に視覚的に分離するように、画像データ上の輪郭の形状及び/又は位置を調整するステップであり、前記輪郭の画像データ上の形状及び位置は、特に反復的な最適化方法で調整される、前記ステップ、
d)前記最適化方法は、前記輪郭形状、前記輪郭位置、及び前記画像データに従属する輪郭関連エネルギーを最小化し、前記輪郭関連エネルギーは、前記輪郭形状及び前記輪郭位置を調整することによって最小化される、ステップ;
を含み、
前記輪郭関連エネルギーは境界ポテンシャルに従属し、輪郭関連エネルギーは、前記網膜部分の境界ポテンシャルによって十分に増加され、調整される輪郭は、前記網膜部分の外側に位置する、すなわち、調整される輪郭は、前記領域に侵入することができないように、前記境界ポテンシャルは、前記第2の領域に含まれる特に連結される網膜部分で高い。
a)光干渉断層撮影で記録された硝子体の一部及び網膜の一部を含む画像データを取得するステップであり、前記網膜の一部は視神経頭の少なくとも一部を含み、前記画像データは関連するピクセル値を有するピクセルから構成される、前記ステップ;
b)特に画像データに対して、関連する初期形状及び初期位置を備えた特に仮想の輪郭を提供するステップ;
c)調整される輪郭が、硝子体を含む少なくとも第1の領域と、網膜を含む少なくとも第2の領域に画像データを特に視覚的に分離するように、画像データ上の輪郭の形状及び/又は位置を調整するステップであり、前記輪郭の画像データ上の形状及び位置は、特に反復的な最適化方法で調整される、前記ステップ、
d)前記最適化方法は、前記輪郭形状、前記輪郭位置、及び前記画像データに従属する輪郭関連エネルギーを最小化し、前記輪郭関連エネルギーは、前記輪郭形状及び前記輪郭位置を調整することによって最小化される、ステップ;
を含み、
前記輪郭関連エネルギーは境界ポテンシャルに従属し、輪郭関連エネルギーは、前記網膜部分の境界ポテンシャルによって十分に増加され、調整される輪郭は、前記網膜部分の外側に位置する、すなわち、調整される輪郭は、前記領域に侵入することができないように、前記境界ポテンシャルは、前記第2の領域に含まれる特に連結される網膜部分で高い。
本発明によれば、高い境界ポテンシャルは、網膜部分においてこの境界ポテンシャルを含まない構成とは異なり、輪郭関連エネルギーが前記網膜部分内で最小化されることができないように、輪郭関連エネルギーに特にペナルティを課す。
特に、網膜部分は、大きな血管及び網膜層を本質的に欠いている網膜の領域を含む。網膜部分は、画像データに関連する強度、特に第2の部分の低いOCT信号を示す強度によって決定することができる。さらに、網膜部分は、正規化される場合に、特に行又は列ごとに、画像データの50%未満のICT信号強度を示す第2の領域の画像データを特に含む。
画像データの取得は、特に光干渉断層撮影を用いて眼の適切な部分を記録することによって達成される。あるいは、画像データは、例えば、デジタルデータ記憶媒体から、又はシミュレーションした画像データから、再呼び出しすることもできる。
「画像データ」という用語は、特に光干渉断層撮影(OCT)法によって取得された2次元及び/又は3次元の画像データを指す。
OCT法は、特にAスキャン、Bスキャン及び/又はCスキャンの形態での画像データを提供し、「Aスキャン」という用語は、網膜に本質的に直交する方向を向いた1次元のラインスキャンを意味し、「Bスキャン」という用語は、特に横方向にシフトしたAスキャンから再構成された2次元の画像データを意味し、「Cスキャン」という用語は、特に複数のBスキャンから再構成された3次元の画像データを意味する。
本明細書の文脈では、Aスキャンに沿った方向を特にz軸と呼び、x軸及びy軸はユークリッド座標系においてz軸に直交する方向を示す。
したがって、z軸は、特に網膜組織から硝子体に向かって、特に眼の光軸に沿って延びている。
したがって、本発明の方法に提供される画像データの種類に応じて、画像データのピクセルは、最小の面積要素(Bスキャンの場合)を表すか、最小の体積要素(Cスキャンの場合)(すなわち、ピクセルはボクセルである)を表すかのいずれかである。
したがって、画像データは、2次元又は3次元の画像として表現することができ、画像は特にグレースケールの画像である。
ピクセル値は、特に数の形態でコード化されたOCT信号強度情報を持っている。
輪郭は、特に1次元又は2次元の多様体、すなわち、ILMに沿って配置されるべき線又は面である。輪郭が調整されると、それは特にILMを表す画像データの部分に沿って延びる。
本発明の別の実施形態によれば、画像データは、完全な神経頭を含み、特に一部だけではない。
輪郭の初期形状及び初期位置の作用は、例えば[7]に開示されているように決定することができる。特に[7]の著者は、初期輪郭の特定の形状及び位置が網膜セグメンテーションの性能に影響を与えないことを指摘している。
あるいは、輪郭の初期の形状及び位置は、例えば、画像データの中心に配置される平面多様体であり得る。初期輪郭は、さらに、行又は列などの画像データの範囲に本質的に沿って又は平行に延びることができる。特に、初期輪郭は、硝子体及び内境界膜の予想される界面に沿って又は平行に、本質的に延び得、例えば、界面の予想される範囲は、例えば、画像データの記録条件に基づいて推測することができる。
初期の輪郭及び位置に関係するより精巧な実施形態は、図面の説明で与えられたものに開示されている。明らかに、初期形状及び位置を決定する他の方法が可能である。本発明の一実施形態によれば、輪郭の初期の形状及び位置が予め定められている。特に、初期形状は、画像データが行列/テンソル又は画像で表される場合、画像データの中心に配置される平面的な輪郭に対応しており、特に、画像データの境界に平行に延びている。
本発明によれば、次に、提供された初期輪郭は、調整される輪郭が硝子体含む少なくとも第1の領域と、網膜を含む少なくとも第2の領域に画像データを分離するまで、その形状及び位置に関して特に反復的に調整される。
輪郭の形状を調整することは、特に、形状が構成する長さ及び/又は面積の変更を含み、輪郭は特に穴を含まない。
調整された輪郭は、特にILMが配置されている網膜の部分を表す。画像データに表現されているILMは線状又は面積状の特徴であるため、輪郭はILMの適切な表示である。
最適化方法は、エネルギーの最小化に基づいており、このエネルギーは、コスト又はペナルティの項に相当し、エネルギーの物理的な単位、すなわちジュールを持つ必要はない。輪郭関連エネルギー又は関連コスト又は関連ペナルティは、画像データ、特に画像データのピクセル値、例えば画像データの強度、形状、例えば画像データ上のその長さ又は面積、及び/又は位置に従属する。
請求項1によれば、エネルギーは最小化される必要があるが、いずれの最小化の問題は最大化の問題として定式化することができるので、エネルギーが最大化される場合、それが請求項1の範囲内であることは当業者に周知である。
最大化は、請求項1に対する代替的実施形態ではなく、対応する定義されたエネルギー項を有する最小化と同一である。
輪郭に関連するエネルギーを調整するアプローチは、ILMのほぼすべての形状にフィットするように輪郭の様々な形状をモデル化する可能性を提供する。対照的に、輪郭の形状を例えばスプライン関数又は別の所定の関数に限定することによって、特定の形状及び輪郭を、そのような所定の関数でモデル化することはできない。
本発明の特徴的な特性は、輪郭関連エネルギーが境界ポテンシャルに従属することである。境界ポテンシャルは、コスト/ペナルティ又はエネルギー値を画像データの特定の領域に関連付けるように構成されるコスト/ペナルティ又はエネルギーの関数であり、これにより、前記領域へ拡張されない別の形状は輪郭関連エネルギーにより低いコスト/ペナルティを提供するために、前記領域に延びるような輪郭のコスト/ペナルティ又はエネルギー値の点でこの領域が本質的に高すぎるようになる。そのため、最適化手法は、境界ポテンシャルによって除外された領域では拡張しない輪郭が優先される。
本発明によれば、境界ポテンシャルは、網膜を含む第2の領域のある領域を除外する。なお網膜部分が画像データにおいて網膜の全体を含むわけではないが、この除外領域を網膜部分と呼ぶ。
前記網膜部分を除外することにより、コントラストの低い網膜の領域又は血管を含む網膜の領域に輪郭が偽って拡張することができない。血管は網膜組織よりも低いピクセル値を示す。血管の領域のピクセル値は、硝子体部分のピクセル値と同じ範囲にあるため、網膜の血管と硝子体を区別することは困難である。従来のILMのセグメンテーション方法では、血管を含む領域へ輪郭が「漏れ」てしまうことがあり、したがってILMを誤認してしまうことがあった。
境界ポテンシャルの導入により、この問題は解決される。
境界ポテンシャルは、特に、例えば、前記領域内に輪郭が拡張されないように画像データから網膜部分を除去することと同様の効果を有する。
したがって、網膜部分を除去すること、又は前記領域における輪郭の侵入を阻止するコスト/ペナルティをそれに関連付けることは、同一であり、それ故、十分に請求の発明の範囲内である。
この方法は、光干渉断層撮影によって生成される画像データ用に構成されるが、MRI又はX線断層撮影などの他の画像化モダリティに由来する画像データにも特に適している。
本発明の別の実施形態によれば、輪郭、特に調整された輪郭は、特に画像データ又は画像データの選択された部分と特に一緒にディスプレイ上に表示される。
場合によっては、輪郭を表示するだけで十分であるように輪郭の形状を分析することに有用である場合がある。
輪郭と一緒に、輪郭の表面積又は線の長さ、及び/又は輪郭の高さなどの輪郭特有のパラメータを表示することができる。
あるいは、セグメンテーションの品質の視覚的評価ができるように、画像データの少なくとも一部と一緒に輪郭が表示される。
また、本明細書では、追加の輪郭、したがってILM固有のパラメータをディスプレイに表示することができる。
本発明の別の実施形態によれば、輪郭は、画像データ中の内境界膜に近似するように、特に一致するように調整される。
上記のとおり、ILMは、周囲の組織よりも特に高いピクセル値を有する画像データ中の線状又は面積状の構造(Bスキャン又はCスキャン)によって特に表され、線状又は面積状の輪郭は、硝子体、すなわちILMの「上」の領域と、ILMの「下」の第1の領域、すなわち網膜組織を含む第1の領域に画像データをセグメント化するのに好適である。
本発明の別の実施形態によれば、境界ポテンシャルは、第1の値を有する第1のレベルと、第2の値を有する第2のレベルとを有し、網膜部分では、境界ポテンシャルは第2の値と仮定し、網膜部分の外側では、境界ポテンシャルは第1の値と仮定する。
境界ポテンシャルの値は、画像の各ピクセルに関連付けることができる。第1の値は特にゼロであり、したがって、境界ポテンシャルが第1の値と仮定する領域において輪郭の形状に影響を与えない。第2の値は、ピクセルが、境界ポテンシャルの第2の値に関連付けられた画像データの輪郭を含むことを防止するのに十分な正の値又は無限大の値である。
本発明の別の実施形態によれば、境界ポテンシャルはステップ関数であり、ステップは網膜部分の境界にて存在する。
本実施形態によれば、境界ポテンシャルは、特に、第1及び第2のレベル以外の他のレベルと仮定されておらず、すなわち、境界ポテンシャルは、網膜部分と網膜部分の外側に延びる領域との間に「硬い」障壁を形成する。
したがって、境界ポテンシャル、特にステップは、特に網膜部分の範囲を定める境界に沿って延びる。
ステップ関数は、特に、少なくとも1つのステップ、すなわち、ステップ関数の2つの値の間の不連続を含み、ステップ関数の1次微分がステップ関数について存在しない。
特にステップ関数は、画像データ全体を通して2つの値のみで仮定した2変数値関数である。
この実施形態では、網膜部分の正確な排除、すなわち血管の正確な排除を可能にする。
本発明の別の実施形態によれば、画像データは、少なくとも1つのBスキャン、特に複数のAスキャンからなり、少なくとも1つのBスキャンは、特にAスキャン方向に沿ってそれぞれ延びるM列と、ピクセルのN行から構成されるN×Mの行列にピクセルが配置され、網膜と硝子体とは、行列に関して、列が、第2の領域の下端から第1の領域の上端に向かって延びるように配向されており、特に、画像データの行が、網膜が構成するブルッフ膜に沿って本質的に延びる。
「第2の領域の下端」という用語は、特に、硝子体に近い位置にある第2の領域の「上端」よりも画像データの境界に近い第2の領域の部分を指す。
「第1の領域の上端」という用語は、同様に理解することができ、すなわち、第1の領域の上端は、網膜組織、すなわち第2の領域の近くに特に位置する「第1の領域の下端」と比較して、画像データの境界に近い位置にある画像データの部分を特に指す。
用語「下端」及び「上端」は、特に、画像データのz軸上の位置に関して特に異なる位置を指し、z軸は、特に、網膜組織から硝子体に向かって延びる方向に沿って延びており、特に、z軸がブルッフ膜に直交している。
本発明の別の実施形態によれば、各Bスキャンについて、及びBスキャンの各列について、画像データが列ごとに正規化されるように、列内のピクセル値は、所定の最大ピクセル値、例えばピクセル値1に正規化され、特に最小ピクセル値、例えばゼロに正規化される。
本発明の別の実施形態によれば、それぞれの、特に正規化された列(下端から始まる)について、それぞれの列の各ピクセルの境界ポテンシャルは、それぞれの列のピクセルのピクセル値が所定の閾値を超えるまで、特に、このピクセル値が初めて所定の閾値を超えるまで、特に、閾値が、それぞれの列の全ピクセル値のうち最も高いピクセル値の45%となるまで、第2の値に設定され、ピクセル値が所定の閾値を超える場合、それぞれの列のピクセルの境界ポテンシャルは、第1の値に設定される。
画像データが各列について正規化されたピクセル値で構成されている場合、所定の最大値は特に最大ピクセル値の0.45倍である。
この実施形態では、網膜組織、すなわち第2の領域の下端から出発することで、この方法により、ピクセル強度の増加を識別し、網膜部分は、所定のピクセル値を超えるピクセル値によって限定されるため、網膜部分の正確な定義を可能にする。網膜部分を正しく限定するために、網膜部分は、各列のピクセルの第1のピクセル値が前記所定の最大値を超える場合に限定される。
この実施形態では、網膜部分を生成するために、画像データを列単位で処理することができる。
それ故、得られる境界ポテンシャルは、特に、Bスキャン及び/又はCスキャンの各列におけるステップ関数の形態の2変数ポテンシャルである。
輪郭関連エネルギーFが次式に従って境界ポテンシャルV(x)に従属する、先行する請求項のいずれか一項に記載の方法であって、
式中、Fは輪郭関連エネルギーであり、Fotherは輪郭関連エネルギーに寄与する他のエネルギー項であり、Ω1は第1の領域であり、V(x)は境界ポテンシャルであり、xは画像データにおける位置、特にピクセルである。
画像データは離散的なピクセルからなるが、輪郭関連エネルギーの式は連続データxについて定式化されていることに注意されたく、離散的な画像データに数式を使用することができるように、離散的なピクセルの場合、したがって離散的な位置xの場合に数式を適応させる方法は、当業者にとって明らかである。例えば、積分
は、第1の領域
に含まれるすべてのピクセルの総和により置き換えられる。
本発明の別の実施形態によれば、輪郭関連エネルギーFは、さらに、グローバルエネルギー及びローカルエネルギー、表面エネルギー及び体積エネルギーに従属し、特に、他(other)のエネルギー項が、グローバルエネルギー、ローカルエネルギー、表面エネルギー及び/又は体積エネルギーのうちの少なくとも1つを含む。
本明細書の文脈では、グローバルエネルギーFgifは、特に、所定の定数値からの第1の領域と第2の領域のピクセル値の平均二乗変動を考慮しており、この変動は、特に、所定の定数値である第1の領域及び第2の領域のそれぞれの平均値の周りに集中している。グローバルエネルギーは、特に、各領域のピクセル値の分散が同一となるような画像において輪郭を配置する「力」を発生させるように設計されている。
本明細書の文脈では、ローカルなエネルギーFlifは、特にエッジ、すなわちピクセル値の急激な変化が非定常のバックグラウンドと無関係に識別することができるようなローカルな強度変化を特に考慮している。
表面エネルギーは、特に、輪郭の表面積、又は線の長さを考慮する。表面エネルギーは、特に、面積の大きい輪郭(2次元の輪郭を持つ3次元画像データ)又は長い線(1次元の輪郭を持つ2次元画像データ)それぞれにペナルティを課すように設計されている。
したがって、表面エネルギーは、輪郭の表面積を小さく、又は輪郭の線長を短く保つために輪郭を引っ張る、輪郭に対する引っ張り力として作用する。
本明細書の文脈では、体積エネルギーは、特に、第1の領域のサイズを考慮し、この体積エネルギーは、サイズとともに、例えば第1の領域の体積とともに成長し、すなわち、この体積エネルギーは、特に第1の領域を小さく保つ力として作用する。
本発明の別の実施形態によれば、他のエネルギー項は次式:
によって与えられ、
式中、ω、μ、νは事前係数であり、
式中、Fgifはグローバルエネルギーであり、事前係数であるc1、c2、並びにλ1、λ2を有し、I(x)は画像データの位置xでのピクセル値を表し、Ω1、Ω2は第1の領域及び第2の領域であり、
式中、Flifはローカルエネルギーであり、事前係数であるλ1、λ2を有し、特にグローバルエネルギーのものと同じであり、x、yは画像データの特に3次元位置であり、Κσはコンパクトなサポートカーネル(compact support kernel)であり、カーネルサイズはσ、f1(x)、f2(x)を有し、これはそれぞれΩ1及びΩ2のピクセル値I(x)をローカルに近似するように構成されたフィット関数を表す。
式中、Fsurfは輪郭Cの表面積を考慮する表面エネルギーであり、
式中、Fvolは体積エネルギーであり、第1の領域Ω1によって構成される体積から計算される。
式中、ω、μ、νは事前係数であり、
式dx、dy、及びdsは、それぞれ無限大の体積又は面積の要素を指すことに留意されたい。
すでに上記したとおり、画像データはピクセルで構成されているため、よって画像データの座標は連続的ではないため、積分は離散的な画像データを反映するように再公式化する必要がある。それ故、与えられる公式は、エネルギーの一般的な公式として理解されるべきであり、離散的な場合への変換は当業者に知られている。
本発明の別の実施形態によれば、各列について、事前係数c1及びc2は、それらが列間で変化することができるように調整され、事前係数は、次式に従って、各列について調整され、
式中、maxは最大演算子、mはm番目の列である。
この実施形態では、グローバルエネルギーをより良く推定することができる。同様の効果は、各列のピクセル値を調整することにより達成することができるが、ピクセル値を調整することはローカルエネルギーにも影響を与え、ここで事前係数を調整することにより、ローカルエネルギーに影響を与えないようにする。
事前係数を調整することで、網膜組織を構成するピクセルの強度が低く、硝子体を構成するピクセルに対してコントラストが比較的低い領域を考慮することができる。
本発明の別の実施形態によれば、網膜におけるブルッフ膜が識別され、ブルッフ膜に沿って延びる第2の輪郭が生成され、輪郭及び/又は画像データは、第2の輪郭の形状、したがってブルッフ膜の形状について調整される。
この実施形態では、異なる患者、異なる眼の形態、及び/又は様々な時点で取得される画像データの統一的な比較を可能にする。
ブルッフ膜に対して輪郭の形状を参照することで、特に多くの疾患ではブルッフ膜は影響を受けないまま、ONHはその形状を変化させるため、確かな参照が提供される。次いで、この形状の変化は、ILMを表す輪郭をブルッフ膜に対して調整することによって定量化することができる。
ブルッフ膜は、様々なセグメンテーション方法によって同定することができる。
本発明の別の実施形態によれば、変換が、輪郭及び/又は画像データに適用される。前記変換は、第2の輪郭を平面になる高さにするように構成され、変換された輪郭及び/又は変換された画像データは、特に個別に、又はオーバーレイとして表示される。
異なるデータセットの比較が可能に達成されるように、変換された輪郭から、ILMの様々な形状パラメータ、よってONHを統一された様式で導出することができる。
本発明の別の実施形態によれば、この輪郭と第2の輪郭との間の距離が決定され、この距離は、第2の膜のそれぞれの点に対して輪郭の各点について決定され、輪郭の各点について、この距離が、特に二次元的に表示又はプロットされ、特にこの輪郭から第2の輪郭までの距離から、第2の輪郭に対する輪郭の高さが決定される。
輪郭の点とは、特に輪郭の座標である。網膜のセグメンテーションに関してサブピクセル精度が実現するように、本発明による方法によって輪郭を調整することができるように、セグメンテーションの精度を維持するために、距離が、この輪郭及び第2の輪郭の点又は座標から決定される。
この輪郭と第2の輪郭との間の距離を決定することにより、輪郭の高さ、したがってONHの深さ、ONHの幅などの他のパラメータが統一され、かつ比較可能な決定が可能になる。
本発明の別の態様によれば、プログラムがコンピュータによって実行される場合に、コンピュータに本発明による方法を実行させる命令を含むコンピュータプログラムによって課題が解決される。
本発明の別の態様によれば、プログラムがコンピュータによって実行される場合に、コンピュータに本発明による方法を実行させる命令を含むコンピュータプログラム製品によって課題が解決される。
「コンピュータ」又はそのシステムという用語は、本明細書では、汎用プロセッサ又はマイクロプロセッサ、RISCプロセッサ、又はDSPなどの当該技術分野の通常の文脈として使用され、メモリ又は通信ポートなどの追加の要素を含むことができる。任意に、又は追加で、「コンピュータ」又はその派生装置(derivative)という用語は、提供された、又は組み込まれたプログラムを実行することができ、及び/又はデータ記憶装置及び/又は入力ポート及び出力ポートなどの他の装置などを制御及び/又はアクセスすることができる装置を示す。「プロセッサ」又は「コンピュータ」という用語は、特に、メモリなどの1つ又は複数の他のリソースに接続されている、及び/又はリンクされている、及び/又は他と通信している、可能であれば共有している複数のプロセッサ又はコンピュータも示す。
ONHのセグメンテーションは不正確であることが多く、特にONHはカップ状部分において突出を含む。その結果、深いONHのカッピング又は急峻な形状を持つスキャンにおいてONH形状パラメータを導出できる前に、面倒かつ時間のかかる手動のILMセグメンテーション補正が必要となる。
例えば、図1には、ILM103の従来のセグメンテーションの方法及びその結果が示されている。ILM103をセグメント化する輪郭は、実線の白線として描かれており、ブルッフ膜102に沿って延びる第2の輪郭は破線の白線として示されている。見られるとおり、この方法では、網膜組織100と硝子体101との間の境界を正確に特定することができない。
図1の左パネルには、光干渉断層撮影の方法の体積スキャン(Cスキャン200とも呼ばれる)が示され、右パネルには、点線で示されるCスキャン200からの断面に沿ったBスキャン300が示される。各Bスキャン300は、順次、矢印で示すとおり複数のAスキャン400からなる。
Bスキャン300では、ONH104が視覚化でき、そのカップ状の形状がある。上側の暗部領域は、眼の硝子体101であり、本明細書の文脈では、第1の領域10とも呼ばれる。硝子体101は、一般的により高いグレー値を示し、第2の領域20と呼ばれている網膜組織100及びILM103によって区切られている。
x,y,zでマークされた3本の矢印は、座標系の軸の向きを表している。
本発明に従った方法は、特に、ONH104の形状の複雑さ又は突出105に関係なく、ILM103の表面を高速で、堅牢で、かつ正しく検出することができるサブピクセル精度を有する修正されたチャン・ヴェーゼ(Chan−Vese)(CV)に基づくセグメンテーション方法で正確なセグメンテーションを達成する。本発明に従った方法の主な特徴は以下の通りである:
・ 神経性又は自己免疫性神経炎症疾患の患者の眼に多く見られるILM103の突出105を正しくセグメント化することができる。
・ コントラストの低い組織領域に調整される輪郭1が漏れることを避けるために、境界ポテンシャル22とも呼ばれる下部境界制限がチャン・ヴェーゼ法に導入される。
・ 事前係数c1及びc2は最適化方法の結果として得られ、数回の繰り返しステップの後、データをローカルに取り込んだスケーリング係数によってさらに調整される。これにより、セグメンテーションの精度が大幅に向上した。
・ 神経性又は自己免疫性神経炎症疾患の患者の眼に多く見られるILM103の突出105を正しくセグメント化することができる。
・ コントラストの低い組織領域に調整される輪郭1が漏れることを避けるために、境界ポテンシャル22とも呼ばれる下部境界制限がチャン・ヴェーゼ法に導入される。
・ 事前係数c1及びc2は最適化方法の結果として得られ、数回の繰り返しステップの後、データをローカルに取り込んだスケーリング係数によってさらに調整される。これにより、セグメンテーションの精度が大幅に向上した。
方法
領域に基づく有効な輪郭の方法
有効な輪郭は、画像セグメンテーションの強力な方法として[3]によって導入されている。輪郭Cが画像データ3の上に移動され、ここでこのダイナミクスは、いくつかの適切なエネルギー関数F=F(C)の勾配流によって定義される。本明細書では、F(C)は、与えられるグレースケール画像データ3の強度関数
に従属する。したがって、最終的なセグメンテーションは、与えられた画像データIについてのエネルギー最小化輪郭Cを検出することによって得られる。領域に基づく方法では、輪郭Cによって定義され、かつ分離される2つの領域がエネルギー関数Fのモデル化に使用される。
領域に基づく有効な輪郭の方法
有効な輪郭は、画像セグメンテーションの強力な方法として[3]によって導入されている。輪郭Cが画像データ3の上に移動され、ここでこのダイナミクスは、いくつかの適切なエネルギー関数F=F(C)の勾配流によって定義される。本明細書では、F(C)は、与えられるグレースケール画像データ3の強度関数
Ωが画像領域を示すとする。OCT体積(光干渉断層撮影の体積)の文脈では、Ωは3次元体積であり、そしてCは網膜組織100を硝子体101から分割する2次元表面輪郭1であり、すなわち、調整された輪郭は、セグメント化されたILM103であり、以下を満たす:
古典的CVモデル[1]は、Ω1及びΩ2それぞれにおける値c1及びc2を有するいくつかの部分定数関数によって強度関数I(x)を近似し、x=(x,y,z)は、画像Iにおけるボクセルである。エネルギーFCVは、領域に基づくグローバル強度フィッティング(gif)エネルギーFgifの加重和として定義され、対応する値c1又はc2ぞれぞれのI(x)の偏差にペナルティを課し、Cの表面積によって表面エネルギーFsurfが与えられ、Ω1の体積によって体積エネルギーFvol与えられる(第1の領域10とも呼ばれる):
FCVを最小化することによって、表面エネルギーFsurfは滑らかな輪郭の表面Cにつながり、一方で、体積エネルギーFvolはバルーン力を生み出すことに留意したい。さらに、c1及びc2の値に関してFCVを最小化することは、第1及び第2の領域Ω1及びΩ2(第2の領域20とも呼ばれる)の平均強度としてそれぞれc1及びc2が選択される結果となる。正の重み付けパラメータλ1、λ2は、対応するエネルギー項の影響を制御する。これらのパラメータの良好な値を見つけることは、望ましい結果を得るために重要である。通常、パラメータλ1、λ2は等しいと見なされるため、λ1=λ2=1に設定することができる。
OCT画像における挑戦
古典的なCVモデル[1]は、境界が明確に定義されずにノイズの多い画像のセグメンテーションにおいて堅牢である。さらに、突出、様々な連結成分、なおトポロジカルな変化などのある複雑な形状が自然に処理される。しかし、OCTスキャンにCVの元の定式を適用しても良好な結果は得られない。既に文献(例えば[2]を参照)で議論されているとおり、2つの描写領域Ω1及びΩ2がグレー値(つまりピクセル値)において非常に不均一である場合、CVは適切なセグメンテーションを提供できない。組織内に非常に暗い領域が存在する場合、性能はさらに悪化し(図2(a)を参照)、ここでは、一般的なOCT体積スキャンのスライス(Bスキャン300)が描かれ、若しくは組織100又は硝子体101の内部の強度が非常に高い領域が描かれる。結果として、古典的なCVモデルで提案されているとおり、ローカル画像平均を使用することは、満足のいくセグメンテーションを提供することができない。
古典的なCVモデル[1]は、境界が明確に定義されずにノイズの多い画像のセグメンテーションにおいて堅牢である。さらに、突出、様々な連結成分、なおトポロジカルな変化などのある複雑な形状が自然に処理される。しかし、OCTスキャンにCVの元の定式を適用しても良好な結果は得られない。既に文献(例えば[2]を参照)で議論されているとおり、2つの描写領域Ω1及びΩ2がグレー値(つまりピクセル値)において非常に不均一である場合、CVは適切なセグメンテーションを提供できない。組織内に非常に暗い領域が存在する場合、性能はさらに悪化し(図2(a)を参照)、ここでは、一般的なOCT体積スキャンのスライス(Bスキャン300)が描かれ、若しくは組織100又は硝子体101の内部の強度が非常に高い領域が描かれる。結果として、古典的なCVモデルで提案されているとおり、ローカル画像平均を使用することは、満足のいくセグメンテーションを提供することができない。
矢印30は、神経線維及びILM103から残存する一部の組織を除いて網膜層情報を持たないONH領域を示し、上向きの矢印31は、大血管の存在によりもたらされる影を示している。
図2(b)では、網膜組織100によって構成される網膜部分22の境界ポテンシャル22が斜線の入った部分として描かれている。
以下では、狭帯域設定[2]においてグローバルフィッティングエネルギーをローカルフィッティングエネルギーに適応させ、そして境界ポテンシャル22を用いることにより、輪郭1が特定の領域、特に第2の領域20によって構成される網膜部分21内に動くことを防止することによって、この問題に対処する。これらの修正により、OCTスキャンの非常に安定したセグメンテーション方法がもたらされる。
グローバルフィッティングエネルギー
最適化後に得られた値c1及びc2は、組織100の強度が非常に低く、硝子体101に対してコントラストがほとんどないONH104において、正しいセグメンテーション結果を得るために、列単位で(Aスキャン400ごとに)調整される(図3(a)の白矢印を参照)。図3(a)は、硝子体101と比較してコントラストが非常に低いONH104(白丸で示す)の例を示している(白矢印で示す)。これにより、輪郭1が組織100内に漏れることにつながる。
最適化後に得られた値c1及びc2は、組織100の強度が非常に低く、硝子体101に対してコントラストがほとんどないONH104において、正しいセグメンテーション結果を得るために、列単位で(Aスキャン400ごとに)調整される(図3(a)の白矢印を参照)。図3(a)は、硝子体101と比較してコントラストが非常に低いONH104(白丸で示す)の例を示している(白矢印で示す)。これにより、輪郭1が組織100内に漏れることにつながる。
本発明によれば、以下の式を用いて、値c1及びc2を列ごとに調整する:
式中、mは、Bスキャン300のm番目の列を表す。これにより、セグメンテーション結果が大幅に改善される(例えば、図3(b)参照)。図3(b)は、本発明に従って値c1及びc2をスケーリングした後、正しくILM103を検出した、図3(a)に示されるとおり同じスキャンを示している。さらに、上層は暗いが下層が高強度の領域において、輪郭が網膜を貫通するのを防ぐために(例えば図3(c)参照)、これらの値は、界面がほぼ所望のILMの輪郭に達した後に、再び再スケーリングされる。従って、図3(c)では、高強度の外層(白矢印33)だけでなく、暗色の硝子体101に比べて、内層(白矢印32)での強度値が低いONH104領域の一例を示す。これにより、輪郭1が、下層の一部を硝子体101として誤って検出してしまうであろう。値c1及びc2を再スケーリングすることにより正しくILMを検出した同じスキャンを図3(d)に示す。
使用される係数は、上記と同じ式で計算されるが、最大強度は、体積の上部から現在の界面の位置の下の77μm(20px)までのボクセルのみを考慮する。このスケーリングステップの後に得られたセグメンテーション結果を図3(d)に示す。
列強度を再スケーリングする代わりにc1及びc2を再スケーリングすることで、ローカルフィッティングエネルギーFlifは影響を受けないままである(定義については以下を参照)。
境界ポテンシャル
輪郭Cを、ONH104にて、この領域に特徴的な網膜層の欠如及び大血管の存在によって引き起こされる暗部領域21への進展を防止するために(例えば、図2(a)参照)、特にローカル境界ポテンシャルV(x)(参照数字22とも呼ばれる)が導入される:
輪郭Cを、ONH104にて、この領域に特徴的な網膜層の欠如及び大血管の存在によって引き起こされる暗部領域21への進展を防止するために(例えば、図2(a)参照)、特にローカル境界ポテンシャルV(x)(参照数字22とも呼ばれる)が導入される:
このポテンシャル22は、以下のとおり検出されるこれらの暗部領域21において非常に高い値ρに設定される:各列において、下から上に始めて、第1のピクセル値I(x)がその列の最大ピクセル値の45%よりも大きくなるまで、ρに設定される。他のボクセルは全てゼロに設定される。例として図2(b)を参照。これらの暗部領域21は、本明細書では網膜部分21とも呼ばれる。
ローカル強度フィッティングエネルギー
強度の不均一性が大きい画像(例えば照度の変化に起因して)では、グローバル強度フィッティングエネルギーだけを最小化することは十分ではない。より良いセグメンテーション結果を得るために、2つのフィッティング関数f1(x)及びf2(x)を導入する。これらはそれぞれΩ1及びΩ2における強度I(x)をローカルに近似するように構成される。ローカル強度フィットエネルギー関数は次のとおり定義される:
強度の不均一性が大きい画像(例えば照度の変化に起因して)では、グローバル強度フィッティングエネルギーだけを最小化することは十分ではない。より良いセグメンテーション結果を得るために、2つのフィッティング関数f1(x)及びf2(x)を導入する。これらはそれぞれΩ1及びΩ2における強度I(x)をローカルに近似するように構成される。ローカル強度フィットエネルギー関数は次のとおり定義される:
事前係数c1及びc2と同様に、関数f1(x)及びf2(x)の明示的な式は、エネルギー最小化によって得られる[2]。すべての計算は輪郭1に沿った狭帯域に限定されるため、κσのコンパクトなサポートカーネルは、カーネルサイズを表すσの二項分布に基づいて使用される。これらの修正は、グローバル畳み込みと比較して計算時間を大幅に短縮することにも留意したい。
エネルギーモデル
最後のステップでは、ローカル強度及びグローバル強度のフィッティングエネルギーの影響は、別の重みパラメータωを導入することにより、本発明に従う関数のFにて到達するために、[2]で提示された作業と同様に複合される:
最後のステップでは、ローカル強度及びグローバル強度のフィッティングエネルギーの影響は、別の重みパラメータωを導入することにより、本発明に従う関数のFにて到達するために、[2]で提示された作業と同様に複合される:
初期輪郭
初期化には、基本的な2次元セグメンテーションアルゴリズムが使用され、初期輪郭が作成される(セグメンテーションの開始)。第1のステップでは、形態フィルタ(浸食及びその後の15×7の楕円構造要素による拡張)及び平滑化フィルタ(カーネルサイズ15×7、及び分散σx=6、σz=3であるガウスぼかし)を使用して、スペックルノイズを低減する。次のステップでは、最大列強度の少なくとも35%を有する各ピクセルを白、すなわち1に設定する。残りのピクセルは黒、つまり0に設定される。前のステップで増強された網膜に連結する組織のみを保持するために、使用されるOCT画像データセットの0.11mm2に対応する2,400未満のピクセルからなるすべての連結する構成要素のピクセル値は、灰色、例えば、0.5に設定される。最後に、画像データの各列において、上から下に向かって第1の白いピクセルにて輪郭が設定される。白いピクセルが存在しない場合は、代わりに第1の灰色のピクセルが取られる。これらの処理ステップは、図4に例示される。図4では、初期セグメンテーションを得るための3つの処理ステップを示している。図4(a)は、形態フィルタ及びガウスフィルタを用いた画像データのフィルタリングを示す。図4(b)は、閾値化を行い、小さな連結成分を無視した状態を示し、図4(c)は、初期輪郭1を示す。
初期化には、基本的な2次元セグメンテーションアルゴリズムが使用され、初期輪郭が作成される(セグメンテーションの開始)。第1のステップでは、形態フィルタ(浸食及びその後の15×7の楕円構造要素による拡張)及び平滑化フィルタ(カーネルサイズ15×7、及び分散σx=6、σz=3であるガウスぼかし)を使用して、スペックルノイズを低減する。次のステップでは、最大列強度の少なくとも35%を有する各ピクセルを白、すなわち1に設定する。残りのピクセルは黒、つまり0に設定される。前のステップで増強された網膜に連結する組織のみを保持するために、使用されるOCT画像データセットの0.11mm2に対応する2,400未満のピクセルからなるすべての連結する構成要素のピクセル値は、灰色、例えば、0.5に設定される。最後に、画像データの各列において、上から下に向かって第1の白いピクセルにて輪郭が設定される。白いピクセルが存在しない場合は、代わりに第1の灰色のピクセルが取られる。これらの処理ステップは、図4に例示される。図4では、初期セグメンテーションを得るための3つの処理ステップを示している。図4(a)は、形態フィルタ及びガウスフィルタを用いた画像データのフィルタリングを示す。図4(b)は、閾値化を行い、小さな連結成分を無視した状態を示し、図4(c)は、初期輪郭1を示す。
OCT画像のサイズは特に384×496×145ボクセルであった。
パラメータの最適化
パラメータの自動最適化手順を使用して、パラメータω、ν、c1及びc2を見出した。
パラメータの自動最適化手順を使用して、パラメータω、ν、c1及びc2を見出した。
示されるOCT画像データは、145枚のBスキャンでカスタムONHスキャンプロトコルを使用してスペクトルドメインOCT(ハイデルベルグスペクトラリス SDOCT、ハイデルベルグエンジニアリング、ドイツ)で得られた3D ONHスキャンからなり、15°×15°の走査角、及びBスキャンあたり384のAスキャンの解像度でONHを焦点化した。空間分解能はx方向が約12.6μm、軸方向が約3.9μm、2つのBスキャン間の距離は約33.5μmである。このデータベースは、神経炎症性疾患に特異的なONHの形状的変化の広いスペクトルを捉えた416枚のONH体積スキャンからなる(71件の健康対照の眼、31件の特発性頭蓋内高血圧症の影響を受けた眼、60件の視神経脊髄炎スペクトラム障害の眼、252件の多発性硬化症患者の眼)。140枚のスキャンが、幅広い形状をカバーするために、このデータベースからランダムに抽出され、質の良いスキャンからノイズの多いものまで、健康な眼から様々な神経障害を持つ患者の眼まで、様々な特徴を呈した。
40枚のONHスキャンを手動でセグメント化し、最適化プロセスのための基底真実として使用した。これらを群40と呼ぶことにする。残りの100枚のスキャン(以下、群100と呼ぶ)は、セグメンテーション結果の検証及びセグメンテーション結果に対する画質の影響の評価に使用した。不完全な体積スキャン、並びに他の病理学的損傷を受けた網膜の体積スキャンは含まれていない。
誤差測定
群40のすべての40枚のスキャンを、経験豊富な評価者によって手動でセグメント化し、チェックした。このデータセットから、20枚の画像を最適化に、残りの20枚を検証に使用した。1回の最適化実行では、最適化セットから10個のファイルをランダムに選択した。最小化処理に使用される尺度は、パラメータω、ν、c1及びc2の誤差の総和として定義した。[4]で記載されるものと同様の誤差測定値を採用し、誤差は誤って割り当てられたボクセルの数、すなわち偽陽性及び偽陰性の数の合計として定義される。この測定基準は網膜の位置に従属しないことに留意されたい。異なる最適化結果を比較するために、最適化セットの全20枚のスキャンの累積誤差を使用した。
群40のすべての40枚のスキャンを、経験豊富な評価者によって手動でセグメント化し、チェックした。このデータセットから、20枚の画像を最適化に、残りの20枚を検証に使用した。1回の最適化実行では、最適化セットから10個のファイルをランダムに選択した。最小化処理に使用される尺度は、パラメータω、ν、c1及びc2の誤差の総和として定義した。[4]で記載されるものと同様の誤差測定値を採用し、誤差は誤って割り当てられたボクセルの数、すなわち偽陽性及び偽陰性の数の合計として定義される。この測定基準は網膜の位置に従属しないことに留意されたい。異なる最適化結果を比較するために、最適化セットの全20枚のスキャンの累積誤差を使用した。
最適化アルゴリズム
選択される方法は、GNU Octave[5]によって提供されるとおり多空間最適化差分進化アルゴリズムである。
選択される方法は、GNU Octave[5]によって提供されるとおり多空間最適化差分進化アルゴリズムである。
このアルゴリズムは、ランダムな値を持つ40の各個の開始集団を作成する。本発明者らの場合、各個は、選択した10件の体積スキャンの累積セグメンテーション誤差とともにω、ν、c1及びc2のパラメータセットを表す。最適化の際、アルゴリズムは各個を交差及び変異させて新しい各個を作成し、どちらがより大きな誤差を示すかによって、新しく作成された各個及び古い各個を脱落させる。本発明者らは、最大2000回の反復を許可し、4つのパラメータすべてにボックス制約を設定した。各新規作成された各個のために、コスト関数(誤差)は、無作為に選択されたOCTスキャンの10のセグメンテーションを最初に実行することによって評価する必要があり、その後、手動セグメンテーションの結果と比較して誤差を計算することに留意されたい。このように、各反復ステップは計算的に要求が厳しい。微分進化アルゴリズムは、微分がなく、パラメータの特定の境界値の設定をサポートしているために選択されている。さらに、本発明者らは、最終的に得られる最適なパラメータセットの再現性が高いことを確認した。最適化を行うために、本発明者らは、PCクラスタ上での並列計算を可能にした[6]のOpenStackインフラストラクチャのDocker Swarmを使用した。
結果
最適化の結果
第1に与えられたパラメータ、すなわち、ν=0.03248;ω=0.15915;c1=0.24206;c2=0.94945は、その後のすべての計算のために選択されている。エネルギー関数の定義に見られとおり、4つのパラメータは互いに独立していないことに留意されたい。最大の変動を示すパラメータは、バルーン力重量パラメータω、ν、c1及びc2である。この変動は、無作為に選択される最適化セット(20個のうち10個のサブセット)における1つの特定の体積スキャンの有無に大きく影響され、これは10個の誤差分布すべてにおいて最も高い誤差を持つ外れ値として現れる。これが最適化セットに含有される場合、パラメータはこの特定のスキャンを考慮するために、これが発生する。
最適化の結果
第1に与えられたパラメータ、すなわち、ν=0.03248;ω=0.15915;c1=0.24206;c2=0.94945は、その後のすべての計算のために選択されている。エネルギー関数の定義に見られとおり、4つのパラメータは互いに独立していないことに留意されたい。最大の変動を示すパラメータは、バルーン力重量パラメータω、ν、c1及びc2である。この変動は、無作為に選択される最適化セット(20個のうち10個のサブセット)における1つの特定の体積スキャンの有無に大きく影響され、これは10個の誤差分布すべてにおいて最も高い誤差を持つ外れ値として現れる。これが最適化セットに含有される場合、パラメータはこの特定のスキャンを考慮するために、これが発生する。
結果
図5では、本発明に従った方法による結果が示される。白実線は本発明の方法で得られるとおりの調整された輪郭1を示し、破線は従来のセグメンテーション方法で得られたセグメンテーションを示している。従来のセグメンテーション方法では、ILM103の真の延長線からの大きな逸脱を示している。図5(a)では、従来の方法では、ILM103のわずかな突出105を特定できず、図5(b)では、従来の方法は、ONHの比較的に深いカップ状の領域を短絡し、図5(c)では、従来の方法では、ILM103の硝子体101への突出部106を特定できない。本発明に従った方法は、これらの特徴をすべて正しく識別する。
図5では、本発明に従った方法による結果が示される。白実線は本発明の方法で得られるとおりの調整された輪郭1を示し、破線は従来のセグメンテーション方法で得られたセグメンテーションを示している。従来のセグメンテーション方法では、ILM103の真の延長線からの大きな逸脱を示している。図5(a)では、従来の方法では、ILM103のわずかな突出105を特定できず、図5(b)では、従来の方法は、ONHの比較的に深いカップ状の領域を短絡し、図5(c)では、従来の方法では、ILM103の硝子体101への突出部106を特定できない。本発明に従った方法は、これらの特徴をすべて正しく識別する。
図6では、2次元的に調整された輪郭1の3次元描写を示す。
参考文献
[1]T.F.Chan及びL.A.Vese、「Active contours without edges.」IEEE Trans.Image Process.10,266−277(2001)
[2]L.Wang、C.Li、Q.−S.Sun、D.−S.Xia及びC.−Y.Kao、「Active contours driven by local and global intensity fitting energy with application to brain MR image segmentation.」Comp.Med.Imag.Graph.33、520−531(2009)
[3]M.Kass、A.Witkin及びD.Terzopoulos、「Snakes:Active contour models,」International Journal of Computer Vision 1、321−331(1988)
[4]A.A.Taha及びA.Hanbury、「Metrics for evaluating 3d medical image segmentation:analysis,selection,and tool,」BMC Med.Imaging 15、29(2015)
[5]S.Das、A.Abraham、U.K.Chakraborty及びA.Konar、「Differential Evolution Using a Neighborhood−Based Mutation Operator.」IEEE Trans.Evol.Comput.13、526−553(2009)
[6]C.Jansen、M.Witt及びD.Krefting、Employing Docker Swarm on OpenStack for Biomedical Analysis(Springer International Publishing,Cham,2016),303−318頁
[7]K.Gawlik、F.Hausser、F.Paul、A.U.Brandt、E.M.Kadas、「Active contour method for ILM segmentation in ONH volume scans in retinal OCT」Biomed Opt Express.2018年11月28日、9(12):6497−6518.doi: 10.1364/BOE.9.006497
[1]T.F.Chan及びL.A.Vese、「Active contours without edges.」IEEE Trans.Image Process.10,266−277(2001)
[2]L.Wang、C.Li、Q.−S.Sun、D.−S.Xia及びC.−Y.Kao、「Active contours driven by local and global intensity fitting energy with application to brain MR image segmentation.」Comp.Med.Imag.Graph.33、520−531(2009)
[3]M.Kass、A.Witkin及びD.Terzopoulos、「Snakes:Active contour models,」International Journal of Computer Vision 1、321−331(1988)
[4]A.A.Taha及びA.Hanbury、「Metrics for evaluating 3d medical image segmentation:analysis,selection,and tool,」BMC Med.Imaging 15、29(2015)
[5]S.Das、A.Abraham、U.K.Chakraborty及びA.Konar、「Differential Evolution Using a Neighborhood−Based Mutation Operator.」IEEE Trans.Evol.Comput.13、526−553(2009)
[6]C.Jansen、M.Witt及びD.Krefting、Employing Docker Swarm on OpenStack for Biomedical Analysis(Springer International Publishing,Cham,2016),303−318頁
[7]K.Gawlik、F.Hausser、F.Paul、A.U.Brandt、E.M.Kadas、「Active contour method for ILM segmentation in ONH volume scans in retinal OCT」Biomed Opt Express.2018年11月28日、9(12):6497−6518.doi: 10.1364/BOE.9.006497
Claims (14)
- 網膜の光干渉断層撮影画像のセグメンテーションの方法であって、以下のステップ:
a)光干渉断層撮影で記録される硝子体(101)の一部及び網膜(100)の一部を含む画像データ(3)を取得するステップであり、前記網膜(100)の一部は視神経頭(104)の少なくとも一部を含み、前記画像データ(3)は関連するピクセル値を有するピクセルから構成される、前記ステップ、
b)前記画像データ(3)上に、所定の初期形状及び初期位置を輪郭(1)に提供するステップ、
c)調整される輪郭(1)が前記硝子体(101)を含む第1の領域(10)と、前記網膜(100)を含む第2の領域(20)とに画像データ(3)を分離するように、前記画像データ(3)上の前記輪郭(1)の形状及び/又は位置を調整するステップであり、前記輪郭(1)の形状及び位置は、最適化方法を用いて調整される、前記ステップ、
d)前記最適化方法は、前記輪郭形状、前記輪郭位置及び前記画像データ(3)に従属する輪郭関連エネルギーを最小化し、前記輪郭関連エネルギーは、前記輪郭形状及び前記輪郭位置を調整することによって最小化されるステップ、
を含み、
前記輪郭関連エネルギーは、境界ポテンシャル(22)に従属し、前記調整される輪郭(1)が網膜部分(21)の外側に位置するように、前記輪郭関連エネルギーが前記網膜部分(21)の境界ポテンシャル(22)によって増加されるように前記境界ポテンシャル(22)は前記第2の領域(20)に含まれる前記網膜部分(21)において高いことを特徴とする、前記方法。 - 前記輪郭(1)は、前記画像データ(3)の内境界膜(103)と一致するように調整される、請求項1に記載の方法。
- 前記境界ポテンシャル(22)は、第1の値を有する第1のレベル及び第2の値を有する第2のレベルを有し、前記網膜部分(21)内では、前記境界ポテンシャル(22)は、前記第2の値と仮定し、かつ前記網膜部分(21)の外側では、前記境界ポテンシャル(22)は、前記第1の値と仮定する、特に前記第1の値はゼロであり、かつ特に前記第2の値は、前記輪郭が前記境界ポテンシャル(22)の第2の値に関連する画像データのピクセルを含むことを防ぐための十分な高さの正の値である、請求項1又は2に記載の方法。
- 前記境界ポテンシャル(22)は、ステップ関数であり、前記ステップ関数のステップは、前記網膜部分(21)の境界に位置する、請求項1〜3のいずれか一項に記載の方法。
- 前記画像データ(3)は、少なくとも1つのBスキャン(300)を含み、前記少なくとも1つのBスキャン(300)は、M列N行で構成される行列N×Mに配置されるピクセルを有し、網膜(100)及び硝子体(101)は、列が前記第2の領域(20)の下端から前記第1の領域(10)の上端に向かって延びるように行列に対して配向化される、特に、前記画像データ(3)の行が、前記網膜(100)に含まれるブルッフ膜(102)に本質的に沿って延びる、請求項1〜4のいずれか一項に記載の方法。
- 各列について、下端から開始して、列のピクセル値が所定の閾値を超えるまで、列の各ピクセルの前記境界ポテンシャル(22)が前記第2の値に設定される、特に、閾値がそれぞれの列の最大ピクセル値の45%であり、前記ピクセル値が所定の閾値を超える場合、前記境界ポテンシャル(22)がそれぞれの列において前記第1の値に設定される、請求項3又は5に記載の方法。
- 前記輪郭関連エネルギーFは、グローバルエネルギー及びローカルエネルギー、表面エネルギー及び体積エネルギーにさらに従属する、特に、前記他(other)のエネルギー項は、グローバルエネルギー、ローカルエネルギー、表面エネルギー及び/又は体積エネルギーのうちの少なくとも1つを含む、請求項7に記載の方法。
- 前記他のエネルギー項は、次式:
式中、ω、μ、νは事前係数であり、
請求項7又は8に記載の方法。 - 前記網膜(100)内の前記ブルッフ膜(102)が識別され、特に、前記ブルッフ膜(102)に沿って延びる第2の輪郭が生成され、前記輪郭(1)及び/又は前記画像データ(3)は前記第2の輪郭の形状について調整される、請求項1に記載の方法。
- 前記第2の輪郭を平面になる高さにするように構成されるように、前記輪郭(1)及び/又は画像データ(3)に変換が適用され、前記変換された輪郭(1)及び/又は前記変換された画像データ(3)が表示される、請求項11に記載の方法。
- 前記輪郭(1)と前記第2の輪郭との間の距離が決定され、前記距離は、前記輪郭(1)の各セクションについて、第2の膜のそれぞれのセクションに対して決定され、前記輪郭(1)の各セクションについて、前記距離は、特に2次元的に表示又はプロットされる、特に、前記第2の輪郭までの前記輪郭(1)の距離から、前記第2の輪郭に対する輪郭の高さが決定される、請求項11又は12に記載の方法。
- プログラムがコンピュータによって実行される場合、前記コンピュータに請求項1の方法を実行させる命令を含むコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18182304.8 | 2018-07-06 | ||
EP18182304.8A EP3591614A1 (en) | 2018-07-06 | 2018-07-06 | Method and computer program for segmentation of optical coherence tomography images of the retina |
PCT/EP2019/068089 WO2020008026A1 (en) | 2018-07-06 | 2019-07-05 | Method and computer program for segmentation of optical coherence tomography images of the retina |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021529622A true JP2021529622A (ja) | 2021-11-04 |
Family
ID=62947936
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021500229A Pending JP2021529622A (ja) | 2018-07-06 | 2019-07-05 | 網膜の光干渉断層撮影画像のセグメンテーションの方法及びコンピュータプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20210272291A1 (ja) |
EP (2) | EP3591614A1 (ja) |
JP (1) | JP2021529622A (ja) |
CA (1) | CA3104562A1 (ja) |
WO (1) | WO2020008026A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113706494A (zh) * | 2021-08-23 | 2021-11-26 | 南京理工大学 | 一种基于形状先验的全自动医学图像分割方法和设备 |
US20230105247A1 (en) * | 2021-10-05 | 2023-04-06 | Topcon Corporation | Medical diagnostic apparatus and method for evaluation of pathological conditions using 3d data and images of lamina cribrosa |
CN113744271B (zh) * | 2021-11-08 | 2022-02-11 | 四川大学 | 基于神经网络的视神经自动分割和受压迫程度测算方法 |
CN115937192B (zh) * | 2022-12-30 | 2023-09-19 | 北京航空航天大学 | 一种无监督视网膜血管分割方法、系统及电子设备 |
CN117934271A (zh) * | 2024-03-22 | 2024-04-26 | 西安电子科技大学 | 一种视网膜血管图像的实时处理方法、系统及电子设备 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150015046A (ko) * | 2006-10-10 | 2015-02-09 | 노파르티스 아게 | 광학적으로 조절되는 주변 부분을 갖는 렌즈 및 상기 렌즈의 설계 및 제조 방법 |
CN106485721B (zh) * | 2015-08-31 | 2019-11-05 | 深圳先进技术研究院 | 从光学相干断层图像获取视网膜结构的方法及其系统 |
US10123689B2 (en) * | 2015-10-28 | 2018-11-13 | Oregon Health & Science University | Systems and methods for retinal layer segmentation in OCT imaging and OCT angiography |
-
2018
- 2018-07-06 EP EP18182304.8A patent/EP3591614A1/en not_active Withdrawn
-
2019
- 2019-07-05 WO PCT/EP2019/068089 patent/WO2020008026A1/en unknown
- 2019-07-05 JP JP2021500229A patent/JP2021529622A/ja active Pending
- 2019-07-05 EP EP19742695.0A patent/EP3818498A1/en not_active Withdrawn
- 2019-07-05 US US17/257,879 patent/US20210272291A1/en not_active Abandoned
- 2019-07-05 CA CA3104562A patent/CA3104562A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20210272291A1 (en) | 2021-09-02 |
WO2020008026A1 (en) | 2020-01-09 |
CA3104562A1 (en) | 2020-01-09 |
EP3818498A1 (en) | 2021-05-12 |
EP3591614A1 (en) | 2020-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yin et al. | User-guided segmentation for volumetric retinal optical coherence tomography images | |
US9978159B2 (en) | Method and apparatus for motion correction and image enhancement for optical coherence tomography | |
JP2021529622A (ja) | 網膜の光干渉断層撮影画像のセグメンテーションの方法及びコンピュータプログラム | |
US9418423B2 (en) | Motion correction and normalization of features in optical coherence tomography | |
Novosel et al. | Loosely coupled level sets for simultaneous 3D retinal layer segmentation in optical coherence tomography | |
US10049470B2 (en) | Method and apparatus for geometric correction of OCT data representing a scan obtained by means of optical coherence tomography imaging of a sample | |
US11514574B2 (en) | Methods for detection and enhanced visualization of pathologies in a human eye | |
Almazroa et al. | An automatic image processing system for glaucoma screening | |
George et al. | Two stage contour evolution for automatic segmentation of choroid and cornea in OCT images | |
Lang et al. | Segmentation of retinal OCT images using a random forest classifier | |
Rabbani et al. | Obtaining thickness maps of corneal layers using the optimal algorithm for intracorneal layer segmentation | |
Padmasini et al. | State-of-the-art of level-set methods in segmentation and registration of spectral domain optical coherence tomographic retinal images | |
EP3861524B1 (en) | Method for automatic shape quantification of an optic nerve head | |
Yadav et al. | Optic nerve head three-dimensional shape analysis | |
Pan et al. | Segmentation guided registration for 3d spectral-domain optical coherence tomography images | |
Tang et al. | 3D reconstruction of the optic nerve head using stereo fundus images for computer-aided diagnosis of glaucoma | |
Zhang et al. | Fast retinal layer segmentation of spectral domain optical coherence tomography images | |
Lang et al. | Intensity inhomogeneity correction of SD-OCT data using macular flatspace | |
Ibrahim et al. | Volumetric quantification of choroid and Haller's sublayer using OCT scans: An accurate and unified approach based on stratified smoothing | |
Lee | Segmentations of the intraretinal surfaces, optic disc and retinal blood vessels in 3D-OCT scans | |
Neetha et al. | A two stage contour evolution approach for the measurement of choroid thickness in EDI-OCT images | |
Sleman et al. | An innovative 3d adaptive patient-related atlas for automatic segmentation of retina layers from oct images | |
Rabbani et al. | Research Article Obtaining Thickness Maps of Corneal Layers Using the Optimal Algorithm for Intracorneal Layer Segmentation | |
Antony | Automated 3-D segmentation of intraretinal surfaces from optical coherence tomography images centered on the optic nerve head | |
Antony | Automated three-dimensional segmentation of intraretinal layers from optical coherence tomography images centered on the optic nerve head |