JP2021122559A - Image processing device, image processing method, and program - Google Patents
Image processing device, image processing method, and program Download PDFInfo
- Publication number
- JP2021122559A JP2021122559A JP2020018930A JP2020018930A JP2021122559A JP 2021122559 A JP2021122559 A JP 2021122559A JP 2020018930 A JP2020018930 A JP 2020018930A JP 2020018930 A JP2020018930 A JP 2020018930A JP 2021122559 A JP2021122559 A JP 2021122559A
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- sieve plate
- dimensional
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
開示の技術は、画像処理装置、画像処理方法及びプログラムに関する。 The disclosed techniques relate to image processing devices, image processing methods and programs.
光干渉断層計(OCT:Optical Coherence Tomography)などの眼部の断層画像撮影装置を用いると、網膜層内部の状態を3次元的に観察できる。この断層画像撮影装置は、疾病の診断をより的確に行うのに有用であることから眼科診療に広く用いられている。OCTの形態として、例えば広帯域な光源とマイケルソン干渉計を組み合わせたTD−OCT(Time domain OCT)がある。これは、参照ミラーの位置を一定速度で移動させて信号アームで取得した後方散乱光との干渉光を計測し、深さ方向の反射光強度分布を得るように構成されている。しかし、このようなTD−OCTでは機械的な走査が必要となるため高速な画像取得は難しい。そこで、より高速な画像取得法として広帯域光源を用い、分光器で干渉信号を取得するSD−OCT(Spectral domain OCT)や高速波長掃引光源を用いることで時間的に分光するSS−OCT(Swept Source OCT)が開発され、より広画角・高深達な断層画像を取得できるようになっている。 Using an optical tomography device such as an optical coherence tomography (OCT), the state inside the retinal layer can be observed three-dimensionally. This tomographic imaging device is widely used in ophthalmic medical care because it is useful for more accurately diagnosing a disease. As a form of OCT, for example, there is TD-OCT (Time domain OCT) in which a wide band light source and a Michelson interferometer are combined. This is configured to move the position of the reference mirror at a constant speed, measure the interference light with the backscattered light acquired by the signal arm, and obtain the reflected light intensity distribution in the depth direction. However, such TD-OCT requires mechanical scanning, so high-speed image acquisition is difficult. Therefore, as a faster image acquisition method, a wideband light source is used, and an SD-OCT (Spectral domain OCT) that acquires an interference signal with a spectroscope or an SS-OCT (Swept Source) that disperses temporally by using a high-speed wavelength sweep light source is used. OCT) has been developed, and it has become possible to acquire wide-angle, high-depth tomographic images.
一方、眼科診療では眼底血管の病態を把握するためにこれまで侵襲的な蛍光眼底造影検査が行われてきた。近年は、OCTを用いて非侵襲に眼底血管を3次元で描出するOCTAngiography(以下、OCTAと表記)技術が用いられるようになっている。OCTAでは測定光で同一位置を複数回走査し、赤血球の変位と測定光との相互作用により得られるモーションコントラストを画像化する。図4(a)は主走査方向が水平(x軸)方向で、副走査方向(y軸方向)の各位置(yi:1≦i≦n)においてr回連続でBスキャンを行うOCTA撮影の例を示している。なおOCTA撮像において同一位置で複数回走査することをクラスタ走査、同一位置で得られた複数枚の断層画像のことをクラスタと呼ぶ。クラスタ単位でモーションコントラスト画像が生成され、1クラスタあたりの断層画像数が多いほど、より高コントラストなOCTA画像を生成できることが知られている。 On the other hand, in ophthalmic practice, invasive fluorescein angiography has been performed to understand the pathophysiology of fundus blood vessels. In recent years, an OCTANgiografy (hereinafter referred to as OCTA) technique for non-invasively depicting a fundus blood vessel in three dimensions using OCT has been used. In OCTA, the same position is scanned multiple times with the measurement light, and the motion contrast obtained by the interaction between the displacement of red blood cells and the measurement light is imaged. FIG. 4A shows an OCTA image in which the main scanning direction is the horizontal (x-axis) direction and the B-scan is continuously performed r times at each position (yi: 1 ≦ i ≦ n) in the sub-scanning direction (y-axis direction). An example is shown. In OCTA imaging, scanning multiple times at the same position is called cluster scanning, and multiple tomographic images obtained at the same position are called clusters. It is known that motion contrast images are generated for each cluster, and that the larger the number of tomographic images per cluster, the higher the contrast of OCTA images can be generated.
また、図4(b)に眼底の視神経乳頭部を撮像した断層画像の例を示す。乳頭陥凹Cの下部には篩状板部Lという多孔性のコラーゲン組織が存在し、各孔を篩状板孔と呼ぶ。篩状板が変形すると、篩状板孔を貫通する神経節細胞の軸索が障害され、緑内障を引き起こすことが知られている。なお篩状板部を高コントラストに撮影する方法の一つとしてEDI(Enhanced Depth Imaging)があり、コヒーレンスゲートを脈絡膜や篩状板側に設定して断層像撮影が行われる。 In addition, FIG. 4B shows an example of a tomographic image of the optic nerve head of the fundus. A porous collagen tissue called a sieve plate portion L exists in the lower part of the papilla recess C, and each hole is called a sieve plate hole. It is known that when the lamina cribrosa deforms, the axons of the ganglion cells that penetrate the lamina cribrosa foramen are damaged, causing glaucoma. There is EDI (Enhanced Depth Imaging) as one of the methods for photographing the sieve plate portion with high contrast, and tomographic image imaging is performed by setting the coherence gate on the choroid or the sieve plate side.
ここで、特開2016−28666号公報では、OCTで取得した眼部の断層画像から篩状板の前面領域と後面領域を設定し、該前面領域と該後面領域に基づいて篩状板厚などの篩状板の形態情報を生成する技術について開示している。 Here, in Japanese Patent Application Laid-Open No. 2016-28666, the front surface region and the rear surface region of the sieve plate are set from the tomographic image of the eye portion acquired by OCT, and the sieve plate thickness and the like are set based on the front surface region and the rear surface region. Discloses a technique for generating morphological information of the sieve plate.
ここで、篩状板の変形を引き起こす要因の一つとして、篩状板部を灌流する血管の退縮が挙げられる。血管の退縮を知るために、画像処理によりOCTA画像から血管領域を特定した上で、血管密度を算出することによって定量化することが考えられる。すなわち、篩状板部の形状を把握するだけでなく、篩状板部の形状と、篩状板部を灌流する血管の分布との関連を把握することが望まれる。 Here, one of the factors that causes the deformation of the sieve plate is the retraction of the blood vessels that perfuse the sieve plate portion. In order to know the retraction of blood vessels, it is conceivable to specify the blood vessel region from the OCTA image by image processing and then calculate the blood vessel density to quantify it. That is, it is desired to grasp not only the shape of the sieve plate portion but also the relationship between the shape of the sieve plate portion and the distribution of blood vessels that perfuse the sieve plate portion.
開示の技術は、篩状板部等の所定の部位の形状と、所定の部位を灌流する血管の分布との関係を把握し易くすることを目的の一つとする。 One of the purposes of the disclosed technique is to facilitate understanding of the relationship between the shape of a predetermined portion such as a sieve plate portion and the distribution of blood vessels that perfuse the predetermined portion.
なお、上記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本件の他の目的の1つとして位置付けることができる。 In addition to the above purpose, it is also an action and effect derived by each configuration shown in the embodiment for carrying out the invention described later, and it is also another purpose of the present invention to exert an action and effect which cannot be obtained by the conventional technique. It can be positioned as one.
上記目的を達成するための、開示の画像処理装置の一つは、
高画質化用の学習済モデルを用いて高画質化処理して得た篩状板領域の3次元モーションコントラスト画像における前記篩状板領域の3次元血管領域を特定する特定手段と、
前記特定された3次元血管領域の計測結果と、前記篩状板領域の3次元断層画像における前記篩状板領域の形状の計測結果とを表示手段に表示させる表示制御手段と、を備える。
One of the disclosed image processing devices for achieving the above object is
A specific means for identifying the three-dimensional blood vessel region of the sieve plate region in the three-dimensional motion contrast image of the sieve plate region obtained by performing high image quality processing using a trained model for high image quality.
A display control means for displaying the measurement result of the specified three-dimensional blood vessel region and the measurement result of the shape of the sieve plate region in the three-dimensional tomographic image of the sieve plate region on the display means.
開示の技術の一つによれば、篩状板部等の所定の部位の形状と、所定の部位を潅流する血管の分布との関係を把握し易くすることができる。 According to one of the disclosed techniques, it is possible to easily grasp the relationship between the shape of a predetermined portion such as a sieve plate portion and the distribution of blood vessels that perfuse the predetermined portion.
[第一実施形態]
本実施形態に係る画像処理装置の一つは、EDI撮影により取得した篩状板部を含むOCT断層画像の重ね合わせ輝度正面画像と、OCTA重ね合わせ画像から生成した篩状板部のモーションコントラスト正面画像との並置もしくは重畳表示を行う。これにより、篩状板部の形状と篩状板部を灌流する血管の分布との関係を把握し易くする場合について説明する。なお、本発明において、EDI撮影や、画像の重ね合わせ処理等は必須のものではない。
[First Embodiment]
One of the image processing devices according to the present embodiment is a superposed brightness front image of the OCT tomographic image including the sieve plate portion acquired by EDI imaging and a motion contrast front surface of the sieve plate portion generated from the OCTA superposed image. Performs juxtaposition or superimposition display with images. This will explain a case where the relationship between the shape of the sieve plate portion and the distribution of blood vessels perfusing the sieve plate portion can be easily grasped. In the present invention, EDI imaging, image superimposition processing, and the like are not essential.
以下、図面を参照しながら、第一実施形態に係る画像処理装置を備える画像処理システムについて説明する。 Hereinafter, an image processing system including the image processing apparatus according to the first embodiment will be described with reference to the drawings.
図2(a)は、本実施形態に係る画像処理装置101を備える画像処理システム10の構成を示す図である。図2(a)に示すように、画像処理システム10は、画像処理装置101が、インタフェースを介して断層画像撮影装置100(OCTとも言う)、外部記憶部102、入力部103、及び表示部104と接続されることにより構成されている。
FIG. 2A is a diagram showing a configuration of an
断層画像撮影装置100は、眼部の断層画像を撮影する装置である。本実施形態においては、断層画像撮影装置100としてSD−OCTを用いるものとする。これに限らず、例えばSS−OCTを用いて構成してもよい。
The tomographic
図2(a)において、測定光学系100−1は前眼部像、被検眼のSLO眼底像、及び断層画像を取得するための光学系である。ステージ部100−2は、測定光学系100−1を前後左右に移動可能にする。ベース部100−3は、後述の分光器を内蔵している。 In FIG. 2A, the measurement optical system 100-1 is an optical system for acquiring an anterior eye portion image, an SLO fundus image of the eye to be inspected, and a tomographic image. The stage unit 100-2 makes the measurement optical system 100-1 movable back and forth and left and right. The base portion 100-3 has a built-in spectroscope described later.
画像処理装置101は、ステージ部100−2の制御、アラインメント動作の制御、及び断層画像の再構成などを実行するコンピュータである。外部記憶部102は、断層撮像用のプログラム、患者情報、撮影データ、過去検査の画像データや計測データなどを記憶する。
The
入力部103はコンピュータへの指示を行い、具体的にはキーボードとマウスから構成される。表示部104は、例えばモニタからなる。
The
(断層画像撮影装置の構成)
本実施形態の断層画像撮影装置100における測定光学系及び分光器の構成について図2(b)を用いて説明する。
(Configuration of tomographic imaging device)
The configuration of the measurement optical system and the spectroscope in the
まず、測定光学系100−1の内部について説明する。被検眼200に対向して対物レンズ201が設置され、その光軸上に第1ダイクロイックミラー202及び第2ダイクロイックミラー203が配置されている。これらのダイクロイックミラーによって、対物レンズ201からの光路は、OCT光学系の光路250、SLO光学系と固視灯用の光路251、及び前眼観察用の光路252とに波長帯域ごとに分岐される。
First, the inside of the measurement optical system 100-1 will be described. The
SLO光学系と固視灯用の光路251は、SLO走査手段204、レンズ205及び206、ミラー207、第3ダイクロイックミラー208、APD(Avalanche Photodiode)209、SLO光源210、並びに固視灯211を有している。
The
ミラー207は、穴あきミラーや中空のミラーが蒸着されたプリズムであり、SLO光源210による照明光と、被検眼からの戻り光とを分離する。第3ダイクロイックミラー208はSLO光源210の光路と固視灯211の光路とに波長帯域ごとに分離する。
The
SLO走査手段204は、SLO光源210から発せられた光を被検眼200上で走査するものであり、X方向に走査するXスキャナ、Y方向に走査するYスキャナから構成されている。本実施形態では、Xスキャナは高速走査を行う必要があるためポリゴンミラーで、Yスキャナはガルバノミラーによって構成されている。
The SLO scanning means 204 scans the light emitted from the
レンズ205はSLO光学系及び固視灯211の焦点合わせのため、不図示のモータによって駆動される。SLO光源210は780nm付近の波長の光を発生する。APD209は、被検眼からの戻り光を検出する。固視灯211は可視光を発生して被検者の固視を促すものである。
The
SLO光源210から発せられた光は、第3ダイクロイックミラー208で反射され、ミラー207を通過し、レンズ206及び205を通ってSLO走査手段204によって被検眼200上で走査される。被検眼200からの戻り光は、照明光と同じ経路を戻った後、ミラー207によって反射され、APD209へと導かれ、SLO眼底像が得られる。
The light emitted from the
固視灯211から発せられた光は、第3ダイクロイックミラー208、ミラー207を透過し、レンズ206及び205を通り、SLO走査手段204によって被検眼200上の任意の位置に所定の形状を作り、被検者の固視を促す。
The light emitted from the
前眼観察用の光路252には、レンズ212及び213、スプリットプリズム214、赤外光を検知する前眼部観察用のCCD215が配置されている。このCCD215は、不図示の前眼部観察用照射光の波長、具体的には970nm付近に感度を持つものである。スプリットプリズム214は、被検眼200の瞳孔と共役な位置に配置されており、被検眼200に対する測定光学系100−1のZ軸方向(光軸方向)の距離を、前眼部のスプリット像として検出できる。
OCT光学系の光路250は前述の通りOCT光学系を構成しており、被検眼200の断層画像を撮影するためのものである。より具体的には、断層画像を形成するための干渉信号を得るものである。XYスキャナ216は光を被検眼200上で走査するためのものであり、図2(b)では1枚のミラーとして図示されているが、実際はXY2軸方向の走査を行うガルバノミラーである。
The
レンズ217及び218のうち、レンズ217については光カプラー219に接続されているファイバー224から出射するOCT光源220からの光を、被検眼200に焦点合わせするために不図示のモータによって駆動される。この焦点合わせによって、被検眼200からの戻り光は同時にファイバー224の先端に、スポット状に結像されて入射されることとなる。次に、OCT光源220からの光路と参照光学系、分光器の構成について説明する。OCT光源220、参照ミラー221、分散補償硝子222、レンズ223、光カプラー219、光カプラーに接続されて一体化しているシングルモードの光ファイバー224〜227、及び分光器230が設けられている。
Of the
これらの構成によってマイケルソン干渉計を構成している。OCT光源220から出射された光は、光ファイバー225を通じ、光カプラー219を介して光ファイバー224側の測定光と、光ファイバー226側の参照光とに分割される。測定光は前述のOCT光学系光路を通じ、観察対象である被検眼200に照射され、被検眼200による反射や散乱により同じ光路を通じて光カプラー219に到達する。
These configurations make up the Michelson interferometer. The light emitted from the OCT
一方、参照光は光ファイバー226、レンズ223、測定光と参照光の波長分散を合わせるために挿入された分散補償硝子222を介して参照ミラー221に到達し反射される。そして同じ光路を戻り、光カプラー219に到達する。
On the other hand, the reference light reaches the
光カプラー219によって、測定光と参照光は合波され干渉光となる。
The
ここで、測定光の光路長と参照光の光路長がほぼ同一となったときに干渉を生じる。参照ミラー221は、不図示のモータおよび駆動機構によって光軸方向に調整可能に保持され、測定光の光路長に参照光の光路長を合わせることが可能である。干渉光は光ファイバー227を介して分光器230に導かれる。
Here, interference occurs when the optical path length of the measurement light and the optical path length of the reference light are almost the same. The
また、偏光調整部228、229は、各々光ファイバー224、226中に設けられ、偏光調整を行う。これらの偏光調整部は光ファイバーをループ状に引きまわした部分を幾つか持っている。このループ状の部分をファイバーの長手方向を中心として回転させることでファイバーに捩じりを加え、測定光と参照光の偏光状態を各々調整して合わせることができる。
Further, the
分光器230はレンズ232、234、回折格子233、及びラインセンサ231から構成される。光ファイバー227から出射された干渉光はレンズ234を介して平行光となった後、回折格子233で分光され、レンズ232によってラインセンサ231に結像される。
The
次に、OCT光源220の周辺について説明する。OCT光源220は、代表的な低コヒーレント光源であるSLD(Super Luminescent Diode)である。中心波長は855nm、波長バンド幅は約100nmである。ここで、バンド幅は、得られる断層画像の光軸方向の分解能に影響するため、重要なパラメータである。
Next, the periphery of the OCT
光源の種類は、ここではSLDを選択したが、低コヒーレント光が出射できればよく、ASE(Amplified Spontaneous Emission)等を用いることができる。中心波長は眼を測定することを鑑みると近赤外光が適する。また、中心波長は得られる断層画像の横方向の分解能に影響するため、なるべく短波長とすることができる。双方の理由から中心波長は855nmとした。 SLD was selected as the type of light source here, but ASE (Amplified Spontaneous Emission) or the like can be used as long as low coherent light can be emitted. Near-infrared light is suitable as the center wavelength in view of measuring the eye. Further, since the central wavelength affects the lateral resolution of the obtained tomographic image, the wavelength can be set as short as possible. For both reasons, the center wavelength was set to 855 nm.
本実施形態では干渉計としてマイケルソン干渉計を用いたが、マッハツェンダー干渉計を用いてもよい。測定光と参照光との光量差に応じて、光量差が大きい場合にはマッハツェンダー干渉計を、光量差が比較的小さい場合にはマイケルソン干渉計を用いることができる。 In this embodiment, a Michelson interferometer is used as the interferometer, but a Mach-Zehnder interferometer may be used. Depending on the difference in light intensity between the measurement light and the reference light, a Mach-Zehnder interferometer can be used when the light intensity difference is large, and a Michelson interferometer can be used when the light intensity difference is relatively small.
(画像処理装置の構成)
本実施形態の画像処理装置101の構成について図1を用いて説明する。
(Configuration of image processing device)
The configuration of the
画像処理装置101は断層画像撮影装置100に接続されたパーソナルコンピュータ(PC)であり、画像取得部101−01、記憶部101−02、撮影制御部101−03、画像処理部101−04、及び表示制御部101−05を備える。また、画像処理装置101は演算処理装置CPUが画像取得部101−01、撮影制御部101−03、画像処理部101−04および表示制御部101−05を実現するソフトウェアモジュールを実行することで機能を実現する。本発明はこれに限定されず、例えば画像処理部101−04をASIC等の専用のハードウェアで実現してもよいし、表示制御部101−05をCPUとは異なるGPU等の専用プロセッサを用いて実現してもよい。また断層画像撮影装置100と画像処理装置101との接続はネットワークを介した構成であってもよい。
The
画像取得部101−01は断層画像撮影装置100により撮影されたSLO眼底像や断層画像の信号データを取得する。また画像取得部101−01は断層画像生成部101−11及びモーションコントラストデータ生成部101−12を有する。断層画像生成部101−11は断層画像撮影装置100により撮影された断層画像の信号データ(干渉信号)を取得して信号処理により断層画像を生成し、生成した断層画像を記憶部101−02に格納する。
The image acquisition unit 101-01 acquires the signal data of the SLO fundus image and the tomographic image taken by the tomographic
撮影制御部101−03は、断層画像撮影装置100に対する撮影制御を行う。撮影制御には、断層画像撮影装置100に対して撮影パラメータの設定に関して指示することや、撮影の開始もしくは終了に関して指示することも含まれる。
The imaging control unit 101-03 performs imaging control on the tomographic
画像処理部101−04は、位置合わせ部101−41、合成部101−42、補正部101−43、画像特徴取得部101−44、及び投影部101−45を有する。先に述べた画像取得部101−01及び合成部101−42は、本実施形態に係る取得手段の一例である。合成部101−42は合成法指定部101−421、同一モダリティ画像合成部101−422、及び複数モダリティ画像合成部101−423を有する。合成部101−42は位置合わせ部101−41により得られた位置合わせパラメータに基づいて同一モダリティ画像間、もしくは断層画像―モーションコントラスト画像間の合成処理を行う。具体的には、合成法指定部101−421は合成対象画像の種類(断層画像/モーションコントラスト画像/断層画像及びモーションコントラスト画像)と、合成処理法(重ね合わせ/貼り合わせ/並置表示)を指定する。同一モダリティ画像合成部101−422は断層画像間、もしくはモーションコントラスト画像間の合成処理を行う。複数モダリティ画像合成部101−423は、断層画像―モーションコントラスト画像間の合成処理を行う。補正部101−43は、モーションコントラスト画像内に生じるプロジェクションアーティファクトを2次元もしくは3次元的に抑制する処理を行う(プロジェクションアーティファクトについてはステップS304で説明する)。画像特徴取得部101−44は、断層画像から網膜や脈絡膜の層境界、篩状板の前面や後面の境界、中心窩や視神経乳頭中心の位置を取得する。ここで、画像特徴取得部101−44は、被検眼の断層画像データを解析することにより篩状板領域を特定する特定手段の一例である。ここで、篩状板領域とは、例えば、篩状板の前面や後面の境界で規定される領域を含む領域であればよい。また、投影部101−45は、画像特徴取得部101−44が取得した境界位置に基づく深度範囲で断層画像もしくはモーションコントラスト画像を投影し、輝度正面画像もしくはモーションコントラスト正面画像を生成する。ここで、投影部101−45は、特定された篩状板領域に関する情報(例えば、座標値)を用いて、被検眼の輝度正面画像及びモーションコントラスト正面画像を生成する生成手段の一例である。なお、特定された篩状板領域に関する情報は、被検眼の深さ方向における篩状板領域の位置に関する情報(例えば、Z方向の座標値)と、深さ方向に交差する方向における特定された篩状板領域の位置に関する情報(例えば、X方向の座標値やY方向の座標値)との少なくとも1つを含むことができる。また、これらの情報の少なくとも1つの変更が、表示された画像上等に対して、操作者の指示に応じて実行されることができる。これにより、操作者の操作性を向上することができるため、篩状板部等の所定の部位の形状と、所定の部位を灌流する血管の分布との関係を把握し易くすることができる。 The image processing unit 101-04 includes an alignment unit 101-41, a composition unit 101-42, a correction unit 101-43, an image feature acquisition unit 101-44, and a projection unit 101-45. The image acquisition unit 101-01 and the composition unit 101-42 described above are examples of acquisition means according to the present embodiment. The compositing unit 101-42 includes a compositing method designation unit 101-421, the same modality image compositing unit 101-422, and a plurality of modality image compositing units 101-423. The compositing unit 101-42 performs compositing processing between the same modality images or between a tomographic image and a motion contrast image based on the alignment parameters obtained by the alignment unit 101-41. Specifically, the compositing method designation unit 101-421 specifies the type of compositing target image (tomographic image / motion contrast image / tomographic image and motion contrast image) and the compositing processing method (superimposition / pasting / juxtaposition display). do. The same modality image compositing unit 101-422 performs compositing processing between tomographic images or motion contrast images. The plurality of modality image compositing units 101-423 perform compositing processing between the tomographic image and the motion contrast image. The correction unit 101-43 performs a process of suppressing the projection artifacts generated in the motion contrast image two-dimensionally or three-dimensionally (the projection artifacts will be described in step S304). The image feature acquisition unit 101-44 acquires the positions of the layer boundaries of the retina and choroid, the boundaries of the anterior and posterior surfaces of the lamina cribrosa, the fovea centralis, and the center of the optic nerve head from the tomographic image. Here, the image feature acquisition unit 101-44 is an example of a specific means for identifying the sieve plate region by analyzing the tomographic image data of the eye to be inspected. Here, the sieve plate region may be, for example, an region including an region defined by the boundary between the front surface and the rear surface of the sieve plate. Further, the projection unit 101-45 projects a tomographic image or a motion contrast image in a depth range based on the boundary position acquired by the image feature acquisition unit 101-44, and generates a luminance front image or a motion contrast front image. Here, the projection unit 101-45 is an example of a generation means for generating a luminance front image and a motion contrast front image of the eye to be inspected by using the information (for example, coordinate values) regarding the specified sieve plate region. The specified information regarding the sieve plate region was specified in a direction intersecting with the information regarding the position of the sieve plate region in the depth direction of the eye to be inspected (for example, the coordinate value in the Z direction). It can include at least one with information about the position of the sieve plate region (eg, coordinate values in the X direction or coordinate values in the Y direction). In addition, at least one change of this information can be executed according to the instruction of the operator with respect to the displayed image or the like. As a result, the operability of the operator can be improved, so that it is possible to easily grasp the relationship between the shape of the predetermined portion such as the sieve plate portion and the distribution of the blood vessels that perfuse the predetermined portion.
なお、本実施形態の一つにおいて、三次元データは、輝度値からなる三次元の断層画像データと、脱相関値からなる三次元のモーションコントラストデータのことを指す。また、三次元の断層画像データを用いて生成された二次元正面画像を二次元の輝度正面画像(またはEnface画像や輝度Enface画像)とも言う。また、三次元のモーションコントラストデータを用いて生成された二次元正面画像をモーションコントラスト正面画像(またはOCTA画像やモーションコントラストEnface画像)とも言う。また、3次元モーションコントラスト画像は、(深さ方向に交差する方向における)複数の位置に対応する複数のモーションコントラストBスキャン画像から構成されてもよい。 In one of the present embodiments, the three-dimensional data refers to three-dimensional tomographic image data consisting of brightness values and three-dimensional motion contrast data consisting of decorrelation values. Further, the two-dimensional front image generated by using the three-dimensional tomographic image data is also referred to as a two-dimensional brightness front image (or an Enface image or a brightness Enface image). Further, the two-dimensional front image generated by using the three-dimensional motion contrast data is also referred to as a motion contrast front image (or OCTA image or motion contrast Enface image). Further, the three-dimensional motion contrast image may be composed of a plurality of motion contrast B-scan images corresponding to a plurality of positions (in a direction intersecting the depth direction).
また、表示制御部101−05は、輝度正面画像とモーションコントラスト正面画像との少なくとも1つを、特定された篩状板領域に関する情報が重畳された状態で表示部104に表示させる表示制御手段の一例である。例えば、表示制御部101−05は、正面画像の面内方向における篩状板領域の位置を示す情報(例えば、篩状板領域の外縁を示す線や内側を示す色が)正面画像上に重畳された状態で表示部104に表示させることができる。これにより、篩状板部等の所定の部位の形状と、所定の部位を灌流する血管の分布との関係を把握し易くすることができる。また、特定された篩状板領域に関する情報は、複数の断層画像データのうち少なくとも1つの断層画像データを用いて篩状板領域を解析して得た結果を示す情報を含むことができる。これにより、例えば、モーションコントラスト正面画像を生成するための複数の断層画像データを用いて得た、血管領域の位置、無血管領域の位置、無血管領域の形状、血管領域の面積、無血管領域の面積、血管の長さ、血管の曲率、及び血管の密度のうち少なくとも1つを容易に把握することができる。また、例えば、輝度正面画像を生成するための少なくとも1つの断層画像データを用いて得た、篩状板領域の位置、篩状板孔領域の位置、篩状板領域の厚さ、及び篩状板孔領域の面積の少なくとも1つを容易に把握することができる。
Further, the display control unit 101-05 is a display control means for displaying at least one of the luminance front image and the motion contrast front image on the
また、外部記憶部102は、被検眼の情報(患者の氏名、年齢、性別など)と、撮影した画像(断層画像及びSLO画像・OCTA画像)や合成画像、撮影パラメータ、操作者が設定したパラメータを関連付けて保持している。入力部103は、例えば、マウス、キーボード、タッチ操作画面などであり、操作者は、入力部103を介して、画像処理装置101や断層画像撮影装置100へ指示を行う。
In addition, the
次に、図3を参照して本実施形態の画像処理装置101の処理手順を示す。図3は、本実施形態における本システム全体の動作処理の流れを示すフローチャートである。
Next, the processing procedure of the
<ステップS301>
操作者は入力部103を操作することにより、断層画像撮影装置100に対して指示するOCTA画像の撮影条件を設定する。
<Step S301>
By operating the
具体的には、OCTA画像の撮影条件を設定は、
1)検査セットの選択もしくは登録
2)選択した検査セットにおけるスキャンモードの選択もしくは追加
3)スキャンモードに対応する撮影パラメータ設定
の手順からなり、本実施形態では以下のように設定してステップS302において適宜休憩を挟みながら(同一撮像条件の)OCTA撮影を所定の回数だけ繰り返し実行する。
1)Disc検査セットを登録
2)OCTAスキャンモードを選択
3)以下の撮影パラメータを設定
3−1)走査パターン:Medium Square
3−2)走査領域サイズ:4x4mm
3−3)主走査方向:水平方向
3−4)走査間隔:0.01mm
3−5)固視灯位置:視神経乳頭
3−6)1クラスタあたりのBスキャン数:4
3−7)コヒーレンスゲート位置:脈絡膜側
3−8)既定表示レポート種別:単検査用レポート
Specifically, setting the shooting conditions for OCTA images is
1) Selection or registration of inspection set 2) Selection or addition of scan mode in the selected inspection set 3) Procedure for setting imaging parameters corresponding to the scan mode. In this embodiment, the following settings are made and in step S302. OCTA imaging (under the same imaging conditions) is repeated a predetermined number of times with appropriate breaks.
1) Register the Disc inspection set 2) Select the OCTA scan mode 3) Set the following imaging parameters 3-1) Scanning pattern: Medium Square
3-2) Scanning area size: 4x4 mm
3-3) Main scanning direction: Horizontal direction 3-4) Scanning interval: 0.01 mm
3-5) Fixation light position: Optic disc 3-6) Number of B scans per cluster: 4
3-7) Coherence gate position: Choroid side 3-8) Default display Report type: Single test report
なお、検査セットとは検査目的別に設定した(スキャンモードを含む)撮像手順や、各スキャンモードで取得したOCT画像やOCTA画像の既定の表示法を指す。 The inspection set refers to an imaging procedure (including a scan mode) set for each inspection purpose, and a default display method for OCT images and OCTA images acquired in each scan mode.
これにより、緑内障眼向けの設定がなされたOCTAスキャンモードを含む検査セットが「Disc」という名前で登録される。登録された検査セットは外部記憶部102に記憶される。
As a result, a test set including an OCTA scan mode set for glaucomatous eyes is registered under the name "Disc". The registered inspection set is stored in the
本実施形態においては、検査セットとして「Disc」、スキャンモードとして「OCTA」モードを選択する。 In this embodiment, "Disc" is selected as the inspection set and "OCTA" mode is selected as the scan mode.
<ステップS302>
操作者は入力部103を操作して撮影画面中の撮影開始ボタン(非表示)を押下することにより、ステップS301で指定した撮影条件による繰り返しOCTA撮影を開始する。
<Step S302>
By operating the
撮影制御部101−03は断層画像撮影装置100に対してステップS301で操作者が指示した設定に基づいて繰り返しOCTA撮影を実施することを指示し、断層画像撮影装置100が対応するOCT断層画像を取得する。
The imaging control unit 101-03 instructs the
なお、本実施形態では本ステップにおける繰り返し撮像回数を3回とする。これに限らず、繰り返し撮像回数は単回(繰り返さない)撮影の場合も含め、任意の回数に設定してよい。また、本発明は繰り返し撮影間の撮影時間間隔が各繰り返し撮影内の断層画像の撮影時間間隔よりも長い場合に限定されるものではなく、両者が略同一である場合も本発明に含まれる。 In this embodiment, the number of repeated imagings in this step is set to three. Not limited to this, the number of repeated imaging may be set to an arbitrary number including the case of single (non-repeating) shooting. Further, the present invention is not limited to the case where the imaging time interval between repeated imaging is longer than the imaging time interval of the tomographic image in each repeated imaging, and the case where both are substantially the same is also included in the present invention.
また断層画像撮影装置100はSLO画像の取得も行い、SLO動画像に基づく追尾処理を実行する。本実施形態において繰り返しOCTA撮影における追尾処理に用いる基準SLO画像は1回目の繰り返しOCTA撮影において設定した基準SLO画像とし、全ての繰り返しOCTA撮影において共通の基準SLO画像を用いる。
The tomographic
またOCTA繰り返し撮影中は、ステップS301で設定した撮影条件に加えて
・左右眼の選択
・追尾処理の実行有無
についても同じ設定値を用いる(変更しない)ものとする。
In addition to the imaging conditions set in step S301, the same set values are used (not changed) for the selection of the left and right eyes and whether or not the tracking process is executed during the OCTA repeated imaging.
<ステップS303>
画像取得部101−01及び画像処理部101−04は、ステップS302で取得された断層画像を再構成し、重ね合わせ及び投影処理を行うことにより重ね合わせ輝度正面画像を生成する。
<Step S303>
The image acquisition unit 101-01 and the image processing unit 101-04 reconstruct the tomographic image acquired in step S302, and generate a superposed luminance front image by performing superposition and projection processing.
まず断層画像生成部101−11は画像取得部101−01が取得した干渉信号に対して波数変換及び高速フーリエ変換(FFT)、絶対値変換(振幅の取得)を行うことで1クラスタ分の断層画像を生成する。 First, the tomographic image generation unit 101-11 performs wave number transformation, fast Fourier transform (FFT), and absolute value transformation (amplitude acquisition) on the interference signal acquired by the image acquisition unit 101-01 to obtain a fault for one cluster. Generate an image.
次に位置合わせ部101−41は同一クラスタに属する断層画像同士を位置合わせした後、さらにクラスタ間の断層画像の位置合わせを行う。合成法指定部101−421は、合成対象画像の種類として断層画像、合成処理法として重ね合わせ処理を指定する。同一モダリティ画像合成部101−422は、位置合わせ部101−41により算出された位置合わせパラメータを用いて複数クラスタに属する断層画像を加算平均処理し、重ね合わせ断層画像を生成する。 Next, the alignment unit 101-41 aligns the tomographic images belonging to the same cluster with each other, and then further aligns the tomographic images between the clusters. The compositing method designation unit 101-421 designates a tomographic image as the type of the compositing target image and superposition processing as the compositing processing method. The same modality image synthesizing unit 101-422 adds and averages tomographic images belonging to a plurality of clusters using the alignment parameters calculated by the alignment unit 101-41 to generate a superposed tomographic image.
さらに、画像特徴取得部101−44が該重ね合わせ断層画像から層境界データ及び篩状板部の前面B6・後面領域B7を取得する。本実施形態では、層境界として内境界膜B1、神経線維層‐神経節細胞層境界B2、神経節細胞層‐内網状層境界B3、内網状層−内顆粒層境界(非図示)、内顆粒層‐外網状層境界(非図示)、視細胞内節外節接合部B4、及び網膜色素上皮−ブルッフ膜境界B5を取得する。また検出した網膜色素上皮−ブルッフ膜境界B5の端部(ブルッフ膜開口端部BMO)を視神経乳頭(Disc)領域Dの境界として特定する。本実施形態では面内方向に関して視神経乳頭Dの領域の内側で、かつ深度方向に関して篩状板の前面領域B6と後面領域B7で囲まれる範囲の領域を篩状板領域として特定する。なお本実施形態では層境界及び篩状板部の前面領域B6・後面領域B7の取得法として可変形状モデルを用いるが、任意の公知のセグメンテーション手法を用いてよい。また、視神経乳頭Dの領域の境界や篩状板部の前面B6・後面B7は手動で設定してよい。例えば、特定の層境界(例えば内境界膜B1)の位置を所定量だけ動かすことにより篩状板部の前面B6・後面B7を手動で設定できる。 Further, the image feature acquisition unit 101-44 acquires the layer boundary data and the front surface B6 and rear surface region B7 of the sieve plate portion from the superposition tomographic image. In this embodiment, the inner limiting membrane B1, the nerve fiber layer-ganglion cell layer boundary B2, the ganglion cell layer-inner plexiform layer boundary B3, the inner plexiform layer-inner nuclear layer boundary (not shown), and the inner nuclear layer are used as layer boundaries. Obtain the layer-outer plexiform layer boundary (not shown), the inner nuclear segment outer segment junction B4, and the retinal pigment epithelium-Bruch membrane boundary B5. Further, the detected end of the retinal pigment epithelium-Bruch membrane boundary B5 (Bruch membrane open end BMO) is specified as the boundary of the optic disc region D. In the present embodiment, the region inside the region of the optic nerve head D in the in-plane direction and in the range surrounded by the front region B6 and the posterior region B7 of the lamina cribrosa in the depth direction is specified as the lamina cribrosa region. In this embodiment, a variable shape model is used as a method for acquiring the layer boundary and the front surface region B6 and the rear surface region B7 of the sieve plate portion, but any known segmentation method may be used. Further, the boundary of the region of the optic nerve head D and the anterior surface B6 and posterior surface B7 of the sieve plate portion may be set manually. For example, the front surface B6 and the rear surface B7 of the sieve plate portion can be manually set by moving the position of a specific layer boundary (for example, the inner limiting membrane B1) by a predetermined amount.
投影部101−45は画像特徴取得部101−44が取得した位置に基づく深度範囲で重ね合わせ断層画像を投影し、重ね合わせ輝度正面画像を生成する。 The projection unit 101-45 projects a superposed tomographic image in a depth range based on the position acquired by the image feature acquisition unit 101-44, and generates a superposition luminance front image.
本実施形態では、視神経乳頭Dの領域の外側では、神経線維層(B1〜B2)、視神経乳頭Dの領域の内側では、篩状板の前面領域B6及び後面領域B7で囲まれる深度範囲で重ね合わせ輝度正面画像を生成する。なお、もし視神経乳頭D内で篩状板の前面領域B6もしくは後面領域B7が特定できない部位が生じた場合は、該部位においては内境界膜B1からの距離で規定される所定の深度範囲で重ね合わせ輝度正面画像を生成すればよい。投影深度範囲の設定はこれに限られず、領域に応じて任意の深度範囲を設定してよい。また、投影法としては最大値投影(MIP:Maximum Intensity Projection)・平均値投影(AIP:Average Intensity Projection)のいずれかを選択でき、本実施形態では平均値投影で投影する。 In the present embodiment, the nerve fiber layer (B1 to B2) is superposed on the outside of the optic disc D region, and the depth range surrounded by the anterior region B6 and the posterior region B7 of the optic disc is superposed on the inside of the optic disc D region. Generates a combined brightness front image. If there is a site in the optic disc D where the anterior region B6 or posterior region B7 of the lamina cribrosa cannot be identified, the site is overlapped within a predetermined depth range defined by the distance from the inner limiting membrane B1. The combined brightness front image may be generated. The setting of the projection depth range is not limited to this, and an arbitrary depth range may be set according to the area. Further, as the projection method, either maximum value projection (MIP: Maximum Industry Projection) or average value projection (AIP: Average Intelligence Projection) can be selected, and in the present embodiment, the average value projection is used for projection.
<ステップS304>
画像取得部101−01及び画像処理部101−04は、ステップS303で生成された位置合わせ済のOCT断層画像を用いてモーションコントラスト画像を生成する。
<Step S304>
The image acquisition unit 101-01 and the image processing unit 101-04 generate a motion contrast image using the aligned OCT tomographic image generated in step S303.
モーションコントラストデータ生成部101−12が同一クラスタ内の隣接する断層画像間でモーションコントラストを算出する。本実施形態では、モーションコントラストとして脱相関値Mxzを以下の式(1)に基づき求める。 The motion contrast data generation unit 101-12 calculates the motion contrast between adjacent tomographic images in the same cluster. In the present embodiment, the decorrelation value Mxz is obtained as the motion contrast based on the following equation (1).
ここで、Axzは断層画像データAの位置(x,z)における(FFT処理後の複素数データの)振幅(輝度)、Bxzは断層画像データBの同一位置(x,z)における振幅(輝度)を示している。0≦Mxz≦1であり、両振幅値の差異が大きいほど1に近い値をとる。式(1)のような脱相関演算処理を(同一クラスタに属する)任意の隣接する断層画像間で行い、得られた(1クラスタあたりの断層画像数−1)個のモーションコントラスト値の平均を画素値として持つ画像を最終的なモーションコントラスト画像として生成する。 Here, Axz is the amplitude (brightness) of the tomographic image data A at the position (x, z) (of the complex number data after FFT processing), and Bxz is the amplitude (brightness) of the tomographic image data B at the same position (x, z). Is shown. 0 ≦ Mxz ≦ 1, and the larger the difference between the two amplitude values, the closer to 1. Decorrelation calculation processing as in Eq. (1) is performed between arbitrary adjacent tomographic images (belonging to the same cluster), and the average of the obtained (number of tomographic images per cluster-1) motion contrast values is calculated. An image having a pixel value is generated as a final motion contrast image.
なお、ここではFFT処理後の複素数データの振幅に基づいてモーションコントラストを計算したが、モーションコントラストの計算法は上記に限定されない。例えば複素数データの位相情報に基づいてモーションコントラストを計算してもよいし、振幅と位相の両方の情報に基づいてモーションコントラストを計算してもよい。あるいは、複素数データの実部や虚部に基づいてモーションコントラストを計算してもよい。 Here, the motion contrast is calculated based on the amplitude of the complex number data after the FFT processing, but the calculation method of the motion contrast is not limited to the above. For example, the motion contrast may be calculated based on the phase information of the complex number data, or the motion contrast may be calculated based on both the amplitude and phase information. Alternatively, the motion contrast may be calculated based on the real part or the imaginary part of the complex number data.
また、本実施形態ではモーションコントラストとして脱相関値を計算したが、モーションコントラストの計算法はこれに限定されない。例えば二つの値の差分に基づいてモーションコントラストを計算してもよいし、二つの値の比に基づいてモーションコントラストを計算してもよい。 Further, in the present embodiment, the decorrelation value is calculated as the motion contrast, but the calculation method of the motion contrast is not limited to this. For example, the motion contrast may be calculated based on the difference between the two values, or the motion contrast may be calculated based on the ratio of the two values.
さらに、上記では取得された複数の脱相関値の平均値を求めることで最終的なモーションコントラスト画像を得ているが、本発明はこれに限定されない。例えば取得された複数の脱相関値の中央値、あるいは最大値を画素値として持つ画像を最終的なモーションコントラスト画像として生成してもよい。 Further, in the above, the final motion contrast image is obtained by obtaining the average value of the obtained plurality of decorrelation values, but the present invention is not limited to this. For example, an image having a median value or a maximum value of a plurality of acquired decorrelation values as pixel values may be generated as a final motion contrast image.
画像処理部101−04は、繰り返しOCTA撮影を通して得られたモーションコントラスト画像群を3次元的に位置合わせし、加算平均することで高コントラストな合成モーションコントラスト画像を生成する。具体的には、合成法指定部101−421が合成対象画像の種類としてモーションコントラスト画像、合成処理法として重ね合わせ処理を指定した上で、同一モダリティ画像合成部101−422がモーションコントラスト画像同士の加算平均処理を行う。なお、合成処理は単純加算平均に限定されない。例えば各モーションコントラスト画像の輝度値に対して任意の重みづけをした上で平均した値でもよいし、中央値をはじめとする任意の統計値を算出してもよい。また位置合わせ処理を2次元的に行う場合も本発明に含まれる。 The image processing unit 101-04 generates a high-contrast composite motion contrast image by three-dimensionally aligning the motion contrast image group obtained through repeated OCTA imaging and adding and averaging them. Specifically, after the compositing method designation unit 101-421 specifies a motion contrast image as the type of the compositing target image and the superimposition processing as the compositing processing method, the same modality image compositing unit 101-422 specifies the motion contrast images of the motion contrast images. Performs additive averaging processing. The composition process is not limited to the simple addition average. For example, the brightness value of each motion contrast image may be arbitrarily weighted and then averaged, or an arbitrary statistical value including the median value may be calculated. The present invention also includes a case where the alignment process is performed two-dimensionally.
なお、同一モダリティ画像合成部101−422が合成処理に不適なモーションコントラスト画像が含まれているか否かを判定した上で、不適と判定したモーションコントラスト画像を除いて合成処理を行うよう構成してもよい。例えば、各モーションコントラスト画像に対して評価値(例えば脱相関値の平均値や中央値)が所定の範囲外である場合に、合成処理に不適と判定すればよい。 The same modality image compositing unit 101-422 is configured to determine whether or not a motion contrast image unsuitable for the compositing process is included, and then perform the compositing process excluding the motion contrast image determined to be unsuitable. May be good. For example, when the evaluation value (for example, the average value or the median value of the decorrelation value) is out of a predetermined range for each motion contrast image, it may be determined that it is unsuitable for the compositing process.
本実施形態では同一モダリティ画像合成部101−422がモーションコントラスト画像を3次元的に合成した後、補正部101−43がモーションコントラスト画像内に生じるプロジェクションアーティファクトを3次元的に抑制する処理を行う。 In the present embodiment, after the same modality image composition unit 101-422 three-dimensionally synthesizes the motion contrast image, the correction unit 101-43 performs a process of three-dimensionally suppressing the projection artifact generated in the motion contrast image.
ここで、プロジェクションアーティファクトは網膜表層血管内のモーションコントラストが深層側に映り込み、実際には血管が存在しないにも関わらず高い脱相関値が生じる現象を指す。補正部101−43は、3次元の合成モーションコントラスト画像上に生じたプロジェクションアーティファクトを抑制する処理を実行する。任意の公知のプロジェクションアーティファクト抑制手法を用いてよいが、本実施形態ではStep−down Exponential Filteringを用いる。Step−down Exponential Filteringでは、3次元モーションコントラスト画像上の各Aスキャンデータに対して式(2)で表される処理を実行することにより、プロジェクションアーティファクトを抑制する。 Here, the projection artifact refers to a phenomenon in which the motion contrast in the blood vessels on the surface of the retina is reflected on the deep side, and a high decorrelation value occurs even though the blood vessels do not actually exist. The correction unit 101-43 executes a process of suppressing a projection artifact generated on the three-dimensional composite motion contrast image. Any known projection artifact suppression technique may be used, but in this embodiment Step-down Exponential Filtering is used. In Step-down Exponential Filtering, projection artifacts are suppressed by executing the process represented by the equation (2) for each A scan data on the three-dimensional motion contrast image.
ここで、γは負の値を持つ減衰係数、D(x,y,z)はプロジェクションアーティファクト抑制処理前の脱相関値、DE(x,y,z)は該抑制処理後の脱相関値を表す。 Here, γ is an attenuation coefficient having a negative value, D (x, y, z) is a decorrelation value before the projection artifact suppression process, and DE (x, y, z) is a decorrelation value after the suppression process. Represents.
投影部101−45はステップS303で画像特徴取得部101−44が取得した層境界及び篩状板領域(篩状板前面B6及び後面B7、視神経乳頭境界Dで囲まれる領域)に基づき、ステップS303の場合と同様の深度範囲でモーションコントラスト画像を投影し、重ね合わせモーションコントラスト正面画像を生成する。また、投影法としては最大値投影(MIP:Maximum Intensity Projection)・平均値投影(AIP:Average Intensity Projection)のいずれかを選択でき、本実施形態では最大値投影で投影するものとする。 The projection unit 101-45 is based on the layer boundary and the sieving plate region (the region surrounded by the front surface B6 and the rear surface B7 of the spheroid plate and the optic disc boundary D) acquired by the image feature acquisition unit 101-44 in step S303. A motion contrast image is projected in the same depth range as in the case of, and a superposed motion contrast front image is generated. Further, as the projection method, either maximum value projection (MIP: Maximum Industry Projection) or average value projection (AIP: Average Intelligence Projection) can be selected, and in the present embodiment, the maximum value projection is used for projection.
最後に、画像処理装置101は取得した画像群(SLO画像や断層画像)と該画像群の撮影条件データや、生成した3次元のモーションコントラスト画像及びモーションコントラスト正面画像と付随する生成条件データを検査日時及び披検眼を同定する情報と関連付けて外部記憶部102へ保存する。
Finally, the
<ステップS305>
表示制御部101−05は、ステップS303で生成した篩状板部の重ね合わせ輝度正面画像や重ね合わせ断層画像、ステップS304で生成した篩状板部の重ね合わせモーションコントラスト正面画像、及び撮影条件や合成条件に関する情報を表示部104に表示させる。
<Step S305>
The display control unit 101-05 includes a superposition luminance front image and a superposition tomographic image of the sieve plate portion generated in step S303, a superposition motion contrast front image of the sieve plate portion generated in step S304, and shooting conditions. Information on the synthesis conditions is displayed on the
図4(c)に単独検査に対するレポート画面401の例を示す。本実施形態では操作者が入力部103を用いて並置表示(Side−by−side)ボタン402を指定することにより、合成法指定部101−421が合成対象画像として「断層画像及びモーションコントラスト画像」、合成処理法として並置表示を指定する。表示制御部101−05は指定された合成法に基づいてレポート画面左側に重ね合わせ輝度正面画像、右側にステップS304で生成した重ね合わせモーションコントラスト正面画像を表示する。
FIG. 4C shows an example of the
ここで、重ね合わせ輝度正面画像上の黒円内が篩状板、該黒円外が網膜内層(神経線維層)を表示している。また、重ね合わせモーションコントラスト正面画像上の黒円内が篩状板部を灌流する血管、該黒円外が(神経線維層内に分布する)網膜動静脈及び放射状乳頭周囲毛細血管(RPC:Radial Peripapillary Capillaries)を表示している。また、レポート画面右下にはBスキャン画像表示領域が設けられ、Bスキャン断層画像上に断層画像及びモーションコントラスト画像の投影深度範囲を示す境界407、並びにモーションコントラストデータ408が重畳されている。
Here, the inside of the black circle on the superposition luminance front image shows the sieve plate, and the outside of the black circle shows the inner layer of the retina (nerve fiber layer). In addition, the inside of the black circle on the superposed motion contrast front image is the blood vessel that perfuse the lamina cribrosa, and the outside of the black circle is the retinal arteries and veins (distributed in the nerve fiber layer) and the radial peri-papillary capillaries (RPC: Radial). Peripapillary Capillaries) is displayed. A B-scan image display area is provided at the lower right of the report screen, and a
このような並置表示を行うことで、左側の輝度正面画像から篩状板及び篩状板孔、右側のモーションコントラスト正面画像から篩状板部を灌流する血管の分布を各々詳細かつ明瞭に観察できる。従って、篩状板部を灌流する血管の分布が篩状板及び篩状板孔の形状に与える影響(変形)を目視評価しやすくなる。 By performing such juxtaposition display, the distribution of the blood vessels that perfuse the sieve plate portion can be observed in detail and clearly from the brightness front image on the left side and the sieve plate and the sieve plate hole from the motion contrast front image on the right side. .. Therefore, it becomes easy to visually evaluate the influence (deformation) of the distribution of blood vessels perfusing the sieve plate portion on the shapes of the sieve plate and the sieve plate holes.
また乳頭外においては、左側の輝度正面画像から神経線維層、右側のモーションコントラスト正面画像からRPCの分布を詳細かつ明瞭に観察でき、神経線維層(神経節細胞の軸索の集合体)と神経線維層を灌流する毛細血管の分布との関連を目視評価しやすくなる。 Outside the papillary, the distribution of RPC can be observed in detail and clearly from the brightness front image on the left side and the motion contrast front image on the right side. It facilitates visual evaluation of the association with the distribution of capillaries that perfuse the fiber layer.
緑内障の診断に際しては篩状板の形状異常(神経線維層の菲薄化が起こる原因)と神経線維層の菲薄化の所見が重要であり、篩状板部及び神経線維層の各々を灌流する血管の分布と合わせて表示することは緑内障診断向けの表示設定として有用である。なお、乳頭外における深度範囲及び乳頭外で表示する血管は各々神経線維層及びRPCに限定されるものではなく、例えば網膜表層を投影深度範囲として網膜表層の毛細血管を表示してもよいし、網膜深層を投影深度範囲として網膜深層の毛細血管を表示してもよい。 In diagnosing glaucoma, abnormal shape of the lamina cribrosa (cause of thinning of the nerve fiber layer) and findings of thinning of the nerve fiber layer are important, and blood vessels that perfuse each of the lamina cribrosa and the nerve fiber layer. Displaying together with the distribution of is useful as a display setting for glaucoma diagnosis. The depth range outside the papillary and the blood vessels displayed outside the papillary are not limited to the nerve fiber layer and the RPC, respectively. For example, the capillaries on the surface of the retina may be displayed with the surface of the retina as the projection depth range. Capillaries in the deep retina may be displayed with the deep retina as the projection depth range.
また、篩状板の部分領域(もしくは篩状板孔)と篩状板部を灌流する毛細血管との相対的な位置を確認したい場合には、操作者が入力部103を用いて重畳表示(Superimpose)ボタン403を指定すればよい。合成法指定部101−421が合成対象画像として「断層画像及びモーションコントラスト画像」、合成処理法として重畳処理を指定する。複数モダリティ画像合成部101−423が輝度正面画像とモーションコントラスト正面画像を重畳し、表示制御部101−05が該重畳画像を表示部104に表示する。輝度正面画像とモーションコントラスト正面画像を重畳表示する場合、両画像を識別可能な態様(例えば、異なる色や透明度)で重畳表示してよい。すなわち、モーションコントラスト正面画像またはモーションコントラスト正面画像に関する解析結果と、輝度正面画像または輝度正面画像に関する解析結果とを、並べて表示する機能と重畳表示する機能とのいずれかが操作者の指示に応じて選択的に実行可能に構成されてもよい。これにより、操作者の操作性を向上することができるため、篩状板部等の所定の部位の形状と、所定の部位を灌流する血管の分布との関係を把握し易くすることができる。
Further, when the operator wants to confirm the relative position between the partial region (or the sieve plate hole) of the sieve plate and the capillaries that perfuse the sieve plate portion, the operator superimposes the display using the input portion 103 ( The Superimpose)
なお、断層画像及びモーションコントラスト画像の投影深度範囲はリストボックス等のGUIに表示された以下に示すような既定の深度範囲設定404
・網膜表層観察モード(内境界膜から所定距離の深度範囲)
・網膜深層観察モード(網膜深層の深度範囲)
・緑内障モード(篩状板部:篩状板前面と後面、それ以外:網膜内層)
から操作者が選択することで変更してもよい。
The projected depth range of the tomographic image and the motion contrast image is the default depth range setting 404 as shown below displayed on the GUI such as a list box.
・ Retina surface observation mode (depth range of a predetermined distance from the inner limiting membrane)
・ Deep retinal observation mode (depth range of deep retinal)
・ Glaucoma mode (sieving plate: anterior and posterior surfaces of the lamina cribrosa, other: inner layer of the retina)
It may be changed by the operator selecting from.
また、図4(c)の投影範囲設定406に示すように投影範囲の指定に用いる境界の種類とオフセット量を選択したり、Bスキャン断層画像上に重畳された層もしくは篩状板の境界407を入力部103から操作して移動させたりすることによって投影範囲を変更してもよい。本実施形態ではBスキャン画像表示領域を1つ設け、断層画像及びモーションコントラスト画像の表示スライス番号を同期させたり断層画像向け及びモーションコントラスト画像向けの投影深度範囲設定を同期させたりすることを既定動作としているが、本発明はこれに限定されない。例えば輝度正面画像に対応するBスキャン画像表示領域とモーションコントラスト正面画像に対応するBスキャン画像表示領域を別々に設けて各々任意の表示スライス番号で表示させたり、任意の投影深度範囲を設定したりしてよい。また断層画像とモーションコントラスト画像の表示スライス番号の同期/非同期や、断層画像向けの投影深度範囲設定とモーションコントラスト画像向けの投影深度範囲設定の同期/非同期を選択するGUI405をレポート画面に備えて同期/非同期を選択可能に構成してもよい。なお投影深度範囲の設定は画像内で同一である必要はなく、例えば図4(c)の関心領域(黒枠)の内と外、もしくは視神経乳頭境界Dの内と外で別々の設定にできるよう構成してもよい。領域ごとに投影深度範囲を別の設定にする方法として、例えば関心領域内(もしくは外)の位置を入力部103経由で指定してから、投影範囲の指定に用いる層境界の種類とオフセット量を指定することにより別々の投影深度範囲に設定できる。
Further, as shown in the projection range setting 406 of FIG. 4C, the type of boundary and the offset amount used for specifying the projection range can be selected, and the
また、篩状板部のような深層領域と神経線維層のような表層領域の双方を含む輝度正面画像及びモーションコントラスト正面画像の生成法は領域ごとの投影深度範囲の切り替えによる方法に限定されない。例えば図4(d)に示すように網膜表層を投影深度範囲とする広画角画像の上に、篩状板前面B6と後面B7を投影深度範囲とする篩状板部を含む狭画角画像を重畳表示することによって生成してもよい。具体的には、例えば投影部101−45が全投影深度範囲を投影深度範囲とする、広画角画像(断層画像及びモーションコントラスト画像)と篩状板部を含む狭画角画像とを生成して位置合わせ部101−41が両画像の位置合わせパラメータを算出する。さらに、投影部101−45が網膜表層領域を投影深度範囲とする広画角正面画像と、篩状板前面B6及び後面B7を投影深度範囲とする篩状板部を含む狭画角の輝度正面画像を生成する。合成法指定部101−421が合成対象画像として断層画像(もしくはモーションコントラスト画像)、合成処理法として重畳処理を指定する。複数モダリティ画像合成部101−423が、該位置合わせパラメータ値を用いて網膜表層領域を投影深度範囲とする広画角正面画像と、篩状板前面B6及び後面B7を投影深度範囲とする篩状板部を含む狭画角の輝度正面画像とを重畳して表示部104に表示する。
Further, the method of generating the luminance front image and the motion contrast front image including both the deep region such as the sieve plate portion and the surface region such as the nerve fiber layer is not limited to the method of switching the projection depth range for each region. For example, as shown in FIG. 4D, a narrow angle-of-view image including a sieve plate portion having a projection depth range of the front surface B6 and the rear surface B7 of the sieve plate on a wide angle-of-view image having the surface layer of the retina as the projection depth range. May be generated by superimposing and displaying. Specifically, for example, the projection unit 101-45 generates a wide angle-of-view image (tomographic image and motion contrast image) having the entire projection depth range as the projection depth range and a narrow angle-of-view image including the sieve plate portion. The alignment unit 101-41 calculates the alignment parameters of both images. Further, the projection unit 101-45 has a wide angle-of-view front image whose projection depth range is the surface layer region of the retina, and a narrow angle-of-view brightness front image including the sieve plate portion whose projection depth range is the front surface B6 and the rear surface B7 of the sieve plate. Generate an image. The compositing method designation unit 101-421 designates a tomographic image (or motion contrast image) as the compositing target image and superimposition processing as the compositing processing method. Multiple modality image compositing units 101-423 use the alignment parameter values to create a wide-angle front image with the retinal surface layer region as the projection depth range and a sieve-like image with the front surface B6 and rear surface B7 of the sieve plate as the projection depth range. A brightness front image having a narrow angle of view including a plate portion is superimposed and displayed on the
また、合成表示する領域は画像全体に限らない。例えば、操作者が入力部103を用いて合成対象領域を指定し、該合成対象領域内のみ表示部104に重畳もしくは並置表示するよう構成してもよい。
Further, the area for composite display is not limited to the entire image. For example, the operator may specify the synthesis target area using the
なお、表示部104に表示する断層画像及びモーションコントラスト画像は正面画像に限定されるものではなく、任意方向のBスキャン画像(2次元の輝度断層画像)として表示したり、3次元的にレンダリングした3次元画像(3次元の輝度断層画像や3次元のモーションコントラスト画像)として表示したりしてもよい。
The tomographic image and motion contrast image displayed on the
さらに、画像投影法やプロジェクションアーティファクト抑制処理の有無を例えばコンテキストメニューのようなユーザインターフェースから選択することにより変更してもよい。また、プロジェクションアーティファクト抑制処理後のモーションコントラスト画像は正面画像もしくはBスキャン画像、3次元画像として表示部104に表示してもよい。
Further, the presence / absence of the image projection method or the projection artifact suppression process may be changed by selecting from a user interface such as a context menu. Further, the motion contrast image after the projection artifact suppression process may be displayed on the
以上述べた構成によれば、画像処理装置101はEDI撮影により取得した篩状板部を含むOCT断層画像の重ね合わせ正面画像と、OCTA重ね合わせ画像から生成した篩状板部のモーションコントラスト正面画像との並置もしくは重畳表示を行う。
According to the configuration described above, the
これにより、篩状板部の形状と篩状板部を灌流する血管の分布との関係を把握し易くすることができる。 This makes it easier to understand the relationship between the shape of the sieve plate portion and the distribution of blood vessels that perfuse the sieve plate portion.
[第二実施形態]
本実施形態に係る画像処理装置の一つは、EDI撮影により取得した篩状板部を含むOCT断層画像の重ね合わせ画像を生成し、篩状板及び篩状板孔領域を特定し、篩状板厚や篩状板孔に関する計測値を算出する。また、OCTA重ね合わせ画像から生成した篩状板部のモーションコントラスト正面画像に基づいて血管領域を特定し、血管密度を算出して両画像及び両画像から取得した計測値の並置もしくは重畳表示を行う。なお、本発明において、EDI撮影や、画像の重ね合わせ処理等は必須のものではない。これにより、篩状板部の形状と篩状板部を灌流する血管の分布との関係を把握し易くする場合について説明する。
[Second Embodiment]
One of the image processing devices according to the present embodiment generates a superposed image of the OCT tomographic image including the sieve plate portion acquired by EDI imaging, identifies the sieve plate and the sieve plate hole region, and has a sieve shape. Calculate the measured values for the plate thickness and the sieve-like plate hole. In addition, the blood vessel region is specified based on the motion contrast front image of the sieve plate portion generated from the OCTA superposed image, the blood vessel density is calculated, and both images and the measured values acquired from both images are juxtaposed or superposed. .. In the present invention, EDI imaging, image superimposition processing, and the like are not essential. This will explain a case where the relationship between the shape of the sieve plate portion and the distribution of blood vessels perfusing the sieve plate portion can be easily grasped.
本実施形態に係る画像処理装置101を備える画像処理システム10の構成を図5に示す。画像処理部に解析部101−46を備える点が第一実施形態と異なっている。解析部101−46は画像強調処理を行う強調部101−461、セグメンテーション処理を行う抽出部101−462、セグメンテーションされた領域に関する計測値を算出する計測部101−463を備える。
FIG. 5 shows the configuration of the
なお、本実施形態においては外部記憶部102が、被検眼の情報と撮影した画像や合成画像、撮影パラメータ、及び操作者が設定したパラメータだけでなく、血管領域や篩状板・篩状板孔領域、血管中心線の位置データ、計測値も関連付けて保持している。
In the present embodiment, the
次に、本実施形態における画像処理フローを図6に示す。なお、本実施形態の画像処理フローのうち図6のステップS606〜ステップS609以外は第一実施形態の場合と同様であるので説明は省略する。 Next, the image processing flow in this embodiment is shown in FIG. Of the image processing flow of the present embodiment, steps S606 to S609 of FIG. 6 are the same as those of the first embodiment, and thus the description thereof will be omitted.
<ステップS606>
操作者が入力部103を用いて計測処理の開始を指示する。
<Step S606>
The operator uses the
本実施形態では図4(c)のレポート画面上の画像をダブルクリックすることで、図8(a)に示すような計測画面に移行する。並置表示ボタン801を選択した場合は断層画像及びモーションコントラスト画像、重畳表示ボタン802を選択した場合は重畳画像と関連する操作用GUIが表示され、適宜画像投影法の種類や投影深度範囲、プロジェクションアーティファクト除去処理の実施の有無を選択する。次に、図9(a)右側のOCT Mapボタン群803、OCT Sectorボタン群804、OCTA Mapボタン群805、OCTA Sectorボタン群806、及びMeasurementボタン807経由で表示される選択画面(図9(d))、の中から操作者が適切な項目を選択することで計測の種類と対象領域が選択され、解析部101−46が計測処理を開始する。
In the present embodiment, by double-clicking the image on the report screen of FIG. 4 (c), the screen shifts to the measurement screen as shown in FIG. 8 (a). When the juxtaposed
なお、OCT Mapボタン群803、OCT Sectorボタン群804、OCTA Mapボタン群805、及びOCTA Sectorボタン群806は初期状態ではいずれも「None」が選択されているものとする。
It is assumed that "None" is selected for the OCT
計測処理の種類として、本実施形態では断層画像に対する計測としてOCT Mapボタン群803から
i)篩状板厚計測(LCT:Lamina Cribrosa Thickness)
ii)篩状板孔形状計測(LP:Lamina Pore)
iii)篩状板領域(Bin)
iv)None(計測しない)
のいずれか、また
OCT Sectorボタン群804から
i)篩状板厚計測(LCT:Lamina Cribrosa Thickness)
ii)篩状板孔形状計測(LP:Lamina Pore)
iii)None(計測しない)
のいずれかを選択する。ここで、例えばOCT Mapボタン群803もしくはOCT Sectorボタン群804からNoneが選択された場合には断層画像に対する計測対象領域としてMap(画像全体)もしくはSector(セクタ領域)が選択されないことを表す。
As a type of measurement processing, in the present embodiment, as a measurement for a tomographic image, OCT
ii) Sieve plate hole shape measurement (LP: Lamina Pole)
iii) Sieve plate area (Bin)
iv) None (do not measure)
Either of the above, and also from the OCT
ii) Sieve plate hole shape measurement (LP: Lamina Pole)
iii) None (not measured)
Select one of. Here, for example, when None is selected from the OCT
また、モーションコントラスト画像に対する計測としてOCTA Mapボタン群805から
i)血管密度(VAD)
ii)血管密度(VLD)
iii)血管領域(Bin)
iv)None(計測しない)
のいずれか、また
OCTA Sectorボタン群806から
i)血管密度(VAD)
ii)血管密度(VLD)
iii)None(計測しない)
のいずれかを選択する。
Also, as a measurement for motion contrast images, OCTA
ii) Blood vessel density (VLD)
iii) Vascular region (Bin)
iv) None (do not measure)
One of the OCTA
ii) Blood vessel density (VLD)
iii) None (not measured)
Select one of.
ここで、断層画像に対する計測の場合と同様に、例えばOCTA Mapボタン群805もしくはOCTA Sectorボタン群806からNoneが選択された場合にはモーションコントラスト画像に対する計測対象領域としてMap(画像全体)もしくはSector(セクタ領域)が選択されないことを表す。
Here, as in the case of measurement on a tomographic image, for example, when None is selected from the OCTA
本実施形態では、OCTマップとして「None」、OCTセクタマップとして篩状板厚(「LCT」)、OCTAマップとして「None」、OCTAセクタマップとして「VLD」が選択された場合の例について説明する。これは、断層画像に対する計測の種類として篩状板厚計測、計測対象領域としてセクタ領域が選択され、モーションコントラスト画像に対する計測の種類としてVLD、計測対象領域としてセクタ領域が選択された場合に対応する。 In this embodiment, an example will be described in which "None" is selected as the OCT map, the sieve plate thickness ("LCT") is selected as the OCT sector map, "None" is selected as the OCTA map, and "VLD" is selected as the OCTA sector map. .. This corresponds to the case where the sieve plate thickness measurement is selected as the measurement type for the tomographic image, the sector area is selected as the measurement target area, VLD is selected as the measurement type for the motion contrast image, and the sector area is selected as the measurement target area. ..
なお、篩状板孔形状計測として本実施形態では各孔の面積に関する統計値(平均及び標準偏差/最大値/最小値)を算出するが、これに限らず篩状板孔の直径、及び円形度のように篩状板孔に関する計測値であれば任意の公知の計測を行ってよい。 In this embodiment, statistical values (average and standard deviation / maximum value / minimum value) regarding the area of each hole are calculated as the measurement of the shape of the sieve-shaped plate hole, but the diameter of the sieve-shaped plate hole and the circular shape are not limited to this. Any known measurement may be performed as long as it is a measurement value relating to the sieve plate hole such as degree.
また断層画像及びモーションコントラスト画像に対する計測は上記に限定されるものではなく、例えばモーションコントラスト画像に対して無血管領域(NPA:Non Perfusion Area)の面積や形状を算出する場合も本発明に含まれる。 Further, the measurement for the tomographic image and the motion contrast image is not limited to the above, and for example, the case of calculating the area and shape of the avascular region (NPA: Non Perfusion Area) for the motion contrast image is also included in the present invention. ..
ここで、VADはVessel Area Densityの略であり、計測対象に含まれる血管領域の割合で定義される血管密度(単位:%)である。また、VLDはVessel Length Densityの略であり、単位面積あたりに含まれる血管の長さの総和(単位:mm−1)で定義される血管密度である。 Here, VAD is an abbreviation for Vessel Area Density, and is a blood vessel density (unit:%) defined by the ratio of the blood vessel region included in the measurement target. VLD is an abbreviation for Vessel Length Density, and is a blood vessel density defined by the total length of blood vessels contained per unit area (unit: mm -1).
血管密度は血管の閉塞範囲や血管網の疎密の程度を定量化するための指標であり、VADが最もよく用いられている。ただし、VADでは計測値に占める大血管領域の寄与分が大きくなるため、毛細血管の病態に注目して計測したい場合には(より毛細血管の閉塞に敏感な指標として)VLDが用いられる。 Blood vessel density is an index for quantifying the extent of vascular occlusion and the degree of sparseness of the vascular network, and VAD is most often used. However, since the contribution of the macrovascular region to the measured value is large in VAD, VLD is used (as an index more sensitive to capillary occlusion) when it is desired to pay attention to the pathological condition of the capillaries.
これに限らず、例えば血管構造の複雑さを定量化するFractal Dimensionや、血管径の分布(血管の瘤や狭窄の分布)を表すVessel Diameter Indexを計測してもよい。 Not limited to this, for example, a Fractal dimension that quantifies the complexity of the blood vessel structure or a Vessel Diameter Index that represents the distribution of the blood vessel diameter (distribution of aneurysm or stenosis of the blood vessel) may be measured.
次に、解析部101−46は計測処理の前処理を行う。任意の公知の画像処理を前処理として適用できるが、本実施形態では、モーションコントラスト画像に対してモルフォロジー演算の一種であるトップハットフィルタ処理を行う。トップハットフィルタを適用することにより、背景成分の輝度ムラを軽減できる。 Next, the analysis unit 101-46 performs preprocessing of the measurement process. Any known image processing can be applied as preprocessing, but in the present embodiment, top hat filter processing, which is a kind of morphology calculation, is performed on the motion contrast image. By applying the top hat filter, it is possible to reduce the uneven brightness of the background component.
<ステップS607>
解析部101−46が断層画像の重ね合わせ画像に対する篩状板領域の特定処理、断層画像の重ね合わせ正面画像に対する篩状板孔領域の特定処理、及び/又はモーションコントラスト画像に対する血管領域の特定処理を行う。本実施形態では、強調部101−461がモーションコントラスト画像に対してヘシアンフィルタに基づく血管強調処理を行う。次に抽出部101−462が断層画像や輝度正面画像、血管強調画像に対してセグメンテーション処理を行い、整形処理を実施することで篩状板、篩状板孔、及び血管領域を特定する。
<Step S607>
The analysis unit 101-46 specifies the sieve plate region for the superimposed image of the tomographic image, the sieve plate hole region for the superimposed front image of the tomographic image, and / or the blood vessel region for the motion contrast image. I do. In the present embodiment, the enhancement unit 101-461 performs blood vessel enhancement processing based on the Hessian filter on the motion contrast image. Next, the extraction unit 101-462 performs a segmentation process on the tomographic image, the brightness front image, and the blood vessel emphasized image, and performs the shaping process to identify the sieve plate, the sieve plate hole, and the blood vessel region.
篩状板及び篩状板孔、血管領域の特定処理の詳細はステップS6071〜ステップS6078で説明する。 Details of the process for identifying the sieve plate, the sieve plate hole, and the blood vessel region will be described in steps S6071 to S6078.
<ステップS608>
計測部101−463が、操作者により指定された計測対象領域に関する情報に基づいて単検査の画像に対する篩状板形状及び血管分布の計測を行う。引き続いて表示制御部101−05が、計測結果を表示部104に表示する。
<Step S608>
The measuring unit 101-436 measures the shape of the sieve plate and the blood vessel distribution for the image of the single inspection based on the information about the measurement target area designated by the operator. Subsequently, the display control unit 101-05 displays the measurement result on the
血管分布の指標である血管密度としてはVADとVLDの2種類の指標があり、本実施形態ではより毛細血管の障害に敏感な指標であるVLDを計算する場合の手順を例に説明する。 There are two types of blood vessel densities, VAD and VLD, which are indicators of blood vessel distribution. In this embodiment, a procedure for calculating VLD, which is an index more sensitive to capillarity disorders, will be described as an example.
断層画像に対する篩状板厚計測・輝度正面画像に対する篩状板孔面積計測についてはステップS6081〜ステップS6083、モーションコントラスト画像に対するVLD計測についてはステップS6084〜ステップS6087で各々説明する。 The sieve plate thickness measurement for the tomographic image and the sieve plate hole area measurement for the brightness front image will be described in steps S6081 to S6083, and the VLD measurement for the motion contrast image will be described in steps S6084 to S6087, respectively.
<ステップS609>
表示制御部101−05は、ステップS608で実施した計測に関するレポートを表示部104に表示する。
<Step S609>
The display control unit 101-05 displays a report on the measurement performed in step S608 on the
本実施形態では図9(a)に示す単検査計測レポート画面の並置表示ボタン801、断層像に対する計測の種類(計測結果の表示内容)として、OCTマップ選択ボタン803から「None」、OCTセクタマップ選択ボタン804から「LCT」が選択されている。また、モーションコントラスト画像に対する計測の種類(計測結果の表示内容)として、OCTAマップ選択ボタン805から「None」、OCTAセクタマップ選択ボタン806から「VLD」を選択されている。単検査計測レポート画面の左側に輝度正面画像と篩状板部において計測した篩状板厚セクタマップ、右側にモーションコントラスト画像と篩状板部において計測したVLDセクタマップが各々重畳表示される。これにより、篩状板部を灌流する血管の分布と、篩状板の各領域における形状との関係が把握し易くなる。
In the present embodiment, the juxtaposed
また各計測対象画像に関して、左右眼の別、撮影日時、画角・画素数、略同一位置における断層画像数、OCTA重ね合わせ処理の実施条件に関する情報、OCT断層画像もしくはモーションコントラスト画像の評価値(画質指標)、投影法、及び/又はプロジェクションアーティファクト除去実施の有無に関する情報を表示部104に表示させてもよい。
For each measurement target image, the left and right eyes, the shooting date and time, the angle of view / pixel number, the number of tomographic images at substantially the same position, information on the execution conditions of the OCTA superimposition processing, the evaluation value of the OCT tomographic image or the motion contrast image ( The
なお、本実施形態では篩状板形状に関する計測値と篩状板部を灌流する血管の分布に関する計測値とを並置表示したが、本発明はこれに限られない。例えば、篩状板の局所形状と血管の局所分布との対応位置をより正確に把握したい場合には、図9(b)に示す重畳表示ボタン802を選択することによって両計測値を重畳表示してもよい。図9(b)に示す例では、断層像に対する計測の種類(計測結果の表示内容)として、OCTマップ表示ボタンから「None」、OCTセクタマップ選択ボタン804から「LCT」を選択する。また、モーションコントラスト画像に対する計測の種類(計測結果の表示内容)として、OCTAマップ選択ボタン805から「VLD」、OCTAセクタマップ選択ボタン806から「None」を選択する。篩状板部に関するVLDマップの上に篩状板厚セクタマップが重畳表示される。なお、OCTマップとOCTAマップを重畳表示する場合には両マップを識別可能な態様(例えば、異なる色や透明度)で重畳表示する。またOCTセクタマップとOCTAセクタマップを重畳表示する場合には図9(c)に示すように両セクタマップの数値を同一セクタ内に並置表示する。並置表示する数値は識別可能な態様(例えば単位付き、異なる色やフォントサイズ、字体、太さ)で表記してよい。
In the present embodiment, the measured value related to the shape of the sieve plate and the measured value related to the distribution of blood vessels perfusing the sieve plate portion are displayed side by side, but the present invention is not limited to this. For example, when it is desired to more accurately grasp the corresponding position between the local shape of the sieve plate and the local distribution of blood vessels, both measured values are superimposed and displayed by selecting the superimposed
また、本実施形態では視神経乳頭境界D内の篩状板領域内で特定された領域(篩状板、篩状板孔、及び血管)もしくは該篩状板領域内で取得された計測値に関する表示について説明したが、本発明はこれに限定されない。例えば、視神経乳頭境界D内では篩状板領域(篩状板前面B6と後面B7で囲まれる領域)、視神経乳頭境界D外では網膜表層(例えば神経線維層)の深度範囲内で特定もしくは取得された領域や計測値を表示する場合も本発明に含まれる。具体例として、表示部104の左側に「視神経乳頭境界D内において篩状板厚、視神経乳頭境界D外において神経線維層厚(もしくは神経節細胞層厚、神経節細胞複合体(GCC:Ganglion Cell Complex)厚)」を表示した計測値マップを表示し、右側に「視神経乳頭境界D内において篩状板部の血管密度(VLDもしくはVAD)、視神経乳頭境界D外においてRPCの血管密度(VLDもしくはVAD)」を表示した計測値マップを並置表示する場合が挙げられる。このような並置表示(あるいは重畳表示でもよい)を行うことで、篩状板部を灌流する血管の分布と篩状板の形状変化部位との関連性が把握できるだけでなく、篩状板形状が変化した部位と神経線維層が菲薄化した領域との関連まで一貫して把握できる。すなわち、神経線維層や神経節細胞層の菲薄化の原因となる兆候(篩状板部を灌流する血管の退縮や、それによって生じる篩状板部の形状変化)と結果として生じる神経節細胞死(神経線維層や神経節細胞層の菲薄化)の状況が一覧でき、緑内障診断向けの表示設定として有用である。なお、視神経乳頭境界D内で篩状板領域、視神経乳頭境界D外で網膜表層の深度範囲内で取得された計測値分布を表示部104に表示する場合において、「視神経乳頭境界D内において篩状板厚、視神経乳頭境界D外において神経線維層厚(もしくは神経節細胞層厚、神経節細胞複合体(GCC)厚)」を表示した計測値マップのみ表示部104に表示してもよいし、「視神経乳頭境界D内において篩状板部の血管密度、視神経乳頭境界D外においてRPCの血管密度」を表示した計測値マップのみ表示部104に表示してもよい。また、乳頭外における深度範囲及び乳頭外で特定・計測する血管は各々神経線維層及びRPCに限定されるものではなく、例えば網膜表層を投影深度範囲として網膜表層の毛細血管を特定・計測してもよいし、網膜深層を投影深度範囲として網膜深層の毛細血管を特定・計測してその分布を表示してもよい。また、乳頭内外において表示する血管の特定・計測結果は血管密度に限らず、例えば血管領域の位置、無血管領域の位置、無血管領域の形状、血管領域の面積、無血管領域の面積、血管の長さ、及び/又は血管の曲率であってもよい。
Further, in the present embodiment, the display relating to the region specified in the sieve plate region within the optic disc boundary D (the sieve plate, the sieve plate hole, and the blood vessel) or the measured value acquired in the sieve plate region. However, the present invention is not limited to this. For example, within the optic disc boundary D, the sieving plate region (the region surrounded by the anterior surface B6 and the posterior surface B7 of the optic disc) is specified or acquired within the depth range of the retinal surface layer (for example, the nerve fiber layer) outside the optic disc boundary D. The present invention also includes the case of displaying the area and the measured value. As a specific example, on the left side of the
また、図9(a)または図9(b)において、OCTマップ選択ボタン803から「Bin」または「LP」を選択してステップS607で特定した篩状板または篩状板孔領域を表示したり、OCTAマップ選択ボタン804から「Bin」を選択して血管領域の2値画像を表示部104に表示したりしてよい。本発明における計測の種類はこれらに限定されるものではなく、例えば無血管領域、無血管領域の形状(長さや円形度)、血管領域や無血管領域の面積、血管長、血管の曲率、篩状板孔の面積や形状(長さや円形度)を計測する場合も本発明に含まれる。
Further, in FIG. 9A or FIG. 9B, the sieve plate or the sieve plate hole region specified in step S607 may be displayed by selecting “Bin” or “LP” from the OCT
さらに、操作者が図9(a)のボタン807を指定することで表示される図9(d)に示すメニューから計測の種類(例えば篩状板厚(LCT)とVLD)を選択した上で、断層画像もしくはモーションコントラスト画像上で任意形状の関心領域を指定することにより、図9(e)に示すように両画像上で同一の関心領域901を表示させ、該関心領域内の計測値を算出して並置表示してもよい。ここで重畳表示ボタン802が選択されている場合は、単検査計測レポート画面上に関心領域901が一つだけ表示される。このように関心領域901が1つだけ表示される場合は、該関心領域内の計測値を複数種類識別可能な態様(単位付き、異なる色やフォントサイズ、字体、太さ)で並置表示してよい。
Further, after the operator selects the measurement type (for example, sieve plate thickness (LCT) and VLD) from the menu shown in FIG. 9 (d) displayed by designating the
あるいは、断層画像、モーションコントラスト画像や前篩状板領域、篩状板領域、後篩状板領域、篩状板孔領域、血管領域もしくは血管中心線の2値画像を所定の深度範囲ごとに適宜色や透明度を変えて表示部104に重畳表示してもよい。さらに断層画像や篩状板もしくは篩状板孔領域の2値画像、モーションコントラスト画像や血管領域もしくは血管中心線の2値画像は正面画像として投影表示することに限定されるものではなく、Bスキャン画像上に重畳表示してもよいし、3次元的にレンダリングして3次元画像として並置もしくは重畳表示してもよい。
Alternatively, a tomographic image, a motion contrast image, an anterior sieve plate region, a sieve plate region, a posterior sieve plate region, a sieve plate hole region, a blood vessel region, or a binary image of a blood vessel center line is appropriately obtained for each predetermined depth range. The color and transparency may be changed and the display may be superimposed on the
また、合成表示する領域は実施形態1の場合と同様に、画像全体に限らない。例えば、操作者が入力部103を用いて合成対象領域を指定し、該合成対象領域内のみ表示部104に重畳もしくは並置表示するよう構成してもよい。例えば図9(b)の例では篩状板部を含む矩形領域を指定し、該矩形領域内のみ重畳している。ここでは計測値分布が視認しやすいように合成対象外の領域を表示していないが、合成対象の領域・合成対象外の領域とも表示部104に表示してよい。
Further, the area to be composited and displayed is not limited to the entire image as in the case of the first embodiment. For example, the operator may specify the synthesis target area using the
さらに、投影方法(MIP/AIP)やプロジェクションアーティファクト抑制処理についても、例えばコンテキストメニューから選択するなどの方法により変更してよい。またステップS607で特定した篩状板領域、篩状板孔領域、及び血管領域に関する2値画像、ステップS608で算出した計測値や計測マップを外部記憶部102にファイルとして出力し、保存してもよい。
Further, the projection method (MIP / AIP) and the projection artifact suppression process may be changed by, for example, selecting from the context menu. Further, even if the binary image relating to the sieve plate region, the sieve plate hole region, and the blood vessel region specified in step S607, and the measurement value and the measurement map calculated in step S608 are output as a file to the
<ステップS610>
画像処理装置101はステップS601からステップS610に至る一連の処理を終了するか否かの指示を外部から取得する。この指示は入力部103を介して操作者により入力される。処理終了の指示を取得した場合は処理を終了する。一方、処理継続の指示を取得した場合にはステップS602に処理を戻し、次の披検眼に対する処理(または同一披検眼に対する再処理)を行う。
<Step S610>
The
さらに、図7(a)に示すフローチャートを参照しながら、ステップS607で実行される処理の詳細について説明する。 Further, the details of the process executed in step S607 will be described with reference to the flowchart shown in FIG. 7A.
<ステップS6071>
解析部101−46は、操作者が図8(a)のOCTAマップ選択ボタン805及びOCTAセクタマップ選択ボタン806、もしくは任意形状ROI選択ボタン807を指定することにより指示された計測内容が、血管領域の特定処理を必要とするか否かを判定する。判定結果がYesの場合はステップS6072へ、Noの場合はステップS6076へ各々処理を進める。
<Step S6071>
In the analysis unit 101-46, the measurement content instructed by the operator by designating the OCTA
<ステップS6072>
本実施形態では、深度範囲に応じて異なる強調スケール設定することにより、強調スケール調整処理を実施する。
<Step S6072>
In the present embodiment, the emphasis scale adjustment process is performed by setting different emphasis scales according to the depth range.
網膜表層のように内境界膜からの距離が所定値未満の深度範囲では強調スケールを大きく設定することにより、網膜動静脈のような血管径の大きい血管が(消滅したり複数領域に分離したりすることなく)適切に強調され、正確に血管領域を特定できる。一方、網膜深層のように毛細血管のみが存在する領域では、小さなスケールで強調処理を実施することにより細い血管のエッジが強調され2値化した際により正確に血管領域を特定できる(血管領域を過検出する現象を防止できる)。 By setting a large emphasis scale in the depth range where the distance from the internal limiting membrane is less than a predetermined value, such as the surface layer of the retina, blood vessels with a large blood vessel diameter such as the retinal arteries and veins (disappear or separate into multiple regions). Appropriately emphasized (without) and can accurately identify vascular areas. On the other hand, in a region where only capillaries exist, such as the deep layer of the retina, the vascular region can be identified more accurately when the edges of thin blood vessels are emphasized and binarized by performing the enhancement treatment on a small scale (the vascular region can be identified). The phenomenon of over-detection can be prevented).
なお本発明は異なる太さの血管に対する強調スケールの調整処理に関してモーションコントラスト正面画像に対して強調スケールを設定することに限定されるものではなく、例えば3次元モーションコントラスト画像に対して強調スケールを適応的に設定してもよい。 The present invention is not limited to setting the emphasis scale for the motion contrast front image with respect to the adjustment process of the emphasis scale for blood vessels of different thicknesses, and for example, the emphasis scale is applied to a three-dimensional motion contrast image. May be set.
<ステップS6073>
強調部101−461は、ステップS606の前処理を実施されたモーションコントラスト画像に対してヘッセ行列の固有値に基づく血管強調フィルタ処理を行う。このような強調フィルタはヘシアンフィルタと総称され、例えばVesselness filterやMulti−scale line filterが挙げられる。本実施形態ではMulti−scale line filterを用いるが、任意の公知の血管強調フィルタを用いてよい。
<Step S6073>
The enhancement unit 101-461 performs blood vessel enhancement filter processing based on the eigenvalues of the Hessian matrix on the motion contrast image subjected to the preprocessing in step S606. Such emphasis filters are generically called Hessian filters, and examples thereof include a Vesselness filter and a Multi-scale line filter. In this embodiment, a Multi-scale line filter is used, but any known blood vessel enhancement filter may be used.
ヘシアンフィルタは強調したい血管の径に適したサイズで画像を平滑化した上で、該平滑化画像の各画素において輝度値の2次微分値を要素として持つヘッセ行列を算出し、該行列の固有値の大小関係に基づいて局所構造を強調する。ヘッセ行列は式(3)で与えられるような正方行列であり、該行列の各要素は例えば式(4)に示すような画像の輝度値Iを平滑化した画像の輝度値Isの2次微分値で表される。ヘシアンフィルタでは、このようなヘッセ行列の「固有値(λ1、λ2)の一方が0に近く、他方が負かつ絶対値が大きい」場合に線状構造とみなして強調する。これはモーションコントラスト画像上の血管領域が持つ特徴、すなわち「走行方向では輝度変化が小さく、走行方向に直交する方向では輝度値が大きく低下する」が成り立つ画素を線状構造とみなして強調することに相当する。 The Hessian filter smoothes an image with a size suitable for the diameter of the blood vessel to be emphasized, calculates a Hessian matrix having a second derivative of the brightness value as an element in each pixel of the smoothed image, and calculates the eigenvalue of the matrix. Emphasize the local structure based on the magnitude relationship of. The Hessian matrix is a square matrix as given by the equation (3), and each element of the matrix is a quadratic derivative of the luminance value Is of the image obtained by smoothing the luminance value I of the image as shown in the equation (4), for example. Expressed as a value. In the Hessian filter, when "one of the eigenvalues (λ1 and λ2) is close to 0 and the other is negative and has a large absolute value" of such a Hessian matrix, it is regarded as a linear structure and emphasized. This is to emphasize the pixels that have the characteristics of the blood vessel region on the motion contrast image, that is, "the change in brightness is small in the traveling direction and the brightness value is greatly reduced in the direction orthogonal to the traveling direction" as a linear structure. Corresponds to.
またモーションコントラスト画像には毛細血管から細動静脈まで様々な径の血管が含まれることから、複数のスケールでガウスフィルタにより平滑化した画像に対してヘッセ行列を用いて線強調画像を生成する。次に式(5)に示すようにガウスフィルタの平滑化パラメータσの二乗を補正係数として乗じた上で最大値演算により合成し、該合成画像Ihessianをヘシアンフィルタの出力とする。 In addition, since the motion contrast image includes blood vessels having various diameters from capillaries to fibrillation veins, a line-enhanced image is generated using a Hessian matrix for an image smoothed by a Gaussian filter on a plurality of scales. Next, as shown in the equation (5), the square of the smoothing parameter σ of the Gaussian filter is multiplied as a correction coefficient and then synthesized by the maximum value calculation, and the composite image Ihesian is used as the output of the Hessian filter.
ヘシアンフィルタはノイズに強く、血管の連続性が向上するという利点がある。一方で実際には事前に画像に含まれる血管の最大径が不明の場合が多いため、特に平滑化パラメータが画像中の血管の最大径に対して大きすぎる場合に強調された血管領域が太くなりやすいという欠点がある。本実施形態ではステップS6072で説明したような強調スケールの調整処理を行うことにより、該欠点を抑制するものとする。なお血管径に関わらず適切にモーションコントラスト画像を強調・2値化する方法は本実施形態に述べた方法に限定されるものでなく、例えばヘシアン強調画像の2値画像とエッジ選択鮮鋭化による血管強調画像の2値画像の共通領域を血管領域として特定してよい。 Hessian filters are resistant to noise and have the advantage of improving vascular continuity. On the other hand, in reality, the maximum diameter of blood vessels contained in the image is often unknown in advance, so the emphasized blood vessel region becomes thick, especially when the smoothing parameter is too large for the maximum diameter of blood vessels in the image. It has the drawback of being easy. In the present embodiment, the defect is suppressed by performing the emphasis scale adjustment process as described in step S6072. The method of appropriately enhancing and binarizing the motion contrast image regardless of the blood vessel diameter is not limited to the method described in this embodiment. For example, a binary image of a hesian-enhanced image and a blood vessel by edge selection sharpening are used. The common area of the binary image of the emphasized image may be specified as a blood vessel area.
なお、本発明はモーションコントラスト正面画像に対して2次元ヘシアンフィルタを適用することに限定されるものではなく、例えば3次元モーションコントラスト画像に対して3次元ヘシアンフィルタを適用し、3次元強調画像を生成してもよい。 The present invention is not limited to applying a two-dimensional hesian filter to a motion contrast front image. For example, a three-dimensional hesian filter is applied to a three-dimensional motion contrast image to obtain a three-dimensional enhanced image. It may be generated.
<ステップS6074>
抽出部101−462は、ステップS6073で生成したヘシアンフィルタによる血管強調画像(以下、ヘシアン強調画像と表記)を2値化する。本実施形態ではヘシアン強調画像の平均値を閾値として2値化する。ただし、2値化の閾値は所定の下限値を設定することにより、血管以外の領域がアーティファクトとして誤検出されるのを防止する。図8(b)が篩状板部のモーションコントラスト画像、図8(c)が本ステップの処理により2値化された篩状板を灌流する血管領域の例を示す。
<Step S6074>
The extraction unit 101-462 binarizes the blood vessel-enhanced image (hereinafter, referred to as a hesian-enhanced image) generated by the Hessian filter in step S6073. In the present embodiment, the average value of the Hessian-enhanced images is binarized as a threshold value. However, by setting a predetermined lower limit value for the binarization threshold value, it is possible to prevent a region other than the blood vessel from being erroneously detected as an artifact. FIG. 8 (b) shows a motion contrast image of the sieve plate portion, and FIG. 8 (c) shows an example of a blood vessel region perfusing the screen plate binarized by the process of this step.
なお本ステップの処理は閾値処理に限定されるものではなく、任意の公知のセグメンテーション法によって2値化してよい。また本ステップのセグメンテーション処理は画像全体に適用されることに限定されるものではなく、例えば操作者が入力部103を用いてモーションコントラスト画像もしくは該モーションコントラスト画像の強調画像上に設定した任意形状の領域内のみセグメンテーションを実施してもよい。さらに、本ステップでモーションコントラスト画像に対して設定したセグメンテーション対象領域と同じ領域を、後述のステップS6077において実施する断層画像に対するセグメンテーション対象領域として画像処理部101−04が自動で設定するように構成してもよい。
The processing in this step is not limited to the threshold processing, and may be binarized by any known segmentation method. Further, the segmentation process of this step is not limited to being applied to the entire image, and for example, an arbitrary shape set by the operator on the motion contrast image or the enhanced image of the motion contrast image using the
<ステップS6075>
抽出部101−462は、血管領域の整形処理としてモルフォロジー演算処理(オープニング処理(収縮処理後に膨張処理を行うこと)及びクロージング処理(膨張処理後に収縮処理を行うこと))を実施する。なお、整形処理はこれに限らず例えば2値画像をラベリングした場合の各ラベルの面積に基づく小領域除去を行ってもよい。
<Step S6075>
The extraction unit 101-462 performs a morphology arithmetic process (opening process (performing expansion process after contraction process) and closing process (performing contraction process after expansion process)) as a shaping process of the blood vessel region. The shaping process is not limited to this, and for example, small areas may be removed based on the area of each label when a binary image is labeled.
<ステップS6076>
解析部101−46は、操作者が図8(a)のOCTマップ選択ボタン803及びOCTセクタマップ選択ボタン804、もしくは任意形状ROI選択ボタン807を指定することにより指示された計測内容が、篩状板または篩状板孔の特定処理を必要とするか否かを判定する。判定結果がYesの場合はステップS6077へ、Noの場合はステップS608へ各々処理を進める。
<Step S6076>
In the analysis unit 101-46, the measurement content instructed by the operator by designating the OCT
なお、両ボタンは初期状態ではいずれも「None」が選択されているものとする。 It is assumed that "None" is selected for both buttons in the initial state.
<ステップS6077>
抽出部101−462は、操作者が断層画像に対する計測内容として篩状板厚を選択した場合にステップS303で重ね合わせ断層画像から取得した篩状板部の前面B6・後面B7で囲まれる深度範囲内の高輝度領域を篩状板領域Lとして特定する(図8(e)の白色領域)。
<Step S6077>
The extraction unit 101-462 is a depth range surrounded by the front surface B6 and the rear surface B7 of the sieve plate portion acquired from the superposed tomographic image in step S303 when the operator selects the sieve plate thickness as the measurement content for the tomographic image. The high-intensity region inside is specified as the sieve plate region L (white region in FIG. 8 (e)).
また同様に計測内容として篩状板孔面積を選択している場合には、画像特徴取得部101−44がステップS303で重ね合わせ断層正面画像(図8(d))から取得した低輝度塊状領域を篩状板孔領域LPとして特定する(図8(e)の黒色領域)。なお、低輝度領域がステップS6074で特定された血管領域と同じ位置である場合は、抽出部101−462は血管影領域Vであると判定して篩状板孔領域LPに含めないようにする(図8(e)の灰色領域)。 Similarly, when the sieve plate hole area is selected as the measurement content, the low-brightness massive region acquired from the superposed tomographic frontal image (FIG. 8D) by the image feature acquisition unit 101-44 in step S303. Is specified as the sieve plate hole region LP (black region in FIG. 8 (e)). When the low-luminance region is at the same position as the blood vessel region specified in step S6074, the extraction unit 101-462 determines that it is the blood vessel shadow region V and does not include it in the sieve plate hole region LP. (Gray area in FIG. 8 (e)).
本実施形態では断層画像に対して直接セグメンテーション処理を行ったが、これに限らず断層画像に対して任意の公知の強調処理を適用してからセグメンテーション処理を行ってもよい。 In the present embodiment, the segmentation process is directly performed on the tomographic image, but the segmentation process is not limited to this, and the segmentation process may be performed after applying an arbitrary known enhancement process to the tomographic image.
また本ステップのセグメンテーション処理は画像全体に適用されることに限定されるものではなく、例えば操作者が入力部103を用いて断層画像もしくは該断層画像の強調画像上に設定した任意形状の領域内のみセグメンテーションを実施してもよい。
Further, the segmentation process of this step is not limited to being applied to the entire image, for example, in a tomographic image or an area of an arbitrary shape set on the tomographic image by the operator using the
<ステップS6078>
画像処理部101−04は、ステップS6077において特定された篩状板領域Lもしくは篩状板孔領域LPに関する2値画像に対し、モルフォロジー演算(オープニング処理及びクロージング処理)を適用することにより特定した篩状板領域または篩状板孔領域を整形する。なお、整形処理はこれに限らず例えば2値画像をラベリングした場合の各ラベルの面積に基づく小領域除去を行ってもよい。
<Step S6078>
The image processing unit 101-04 applies a morphology calculation (opening process and closing process) to the binary image relating to the sieve plate region L or the sieve plate hole region LP specified in step S6077 to specify the sieve. Shape the plate area or sieve plate hole area. The shaping process is not limited to this, and for example, small areas may be removed based on the area of each label when a binary image is labeled.
さらに、図7(b)に示すフローチャートを参照しながら、ステップS608で実行される処理の詳細について説明する。 Further, the details of the process executed in step S608 will be described with reference to the flowchart shown in FIG. 7B.
<ステップS6081>
解析部101−46は、操作者がステップS606で図8(a)のOCTマップ選択ボタン803、OCTセクタマップ選択ボタン804、OCTAマップ選択ボタン805、OCTAセクタマップ選択ボタン806または任意形状ROI選択ボタン807を指定して指示した内容に基づき関心領域(計測対象画像及び計測領域)を設定する。
<Step S6081>
In step S606, the operator of the analysis unit 101-46 has the OCT
本実施形態では、図9(a)に示すようにOCTマップとして「None」、OCTセクタマップとして篩状板厚(「LCT」)、OCTAマップとして「None」、OCTAセクタマップとして「VLD」が選択されているため、断層画像に対する計測関心領域として篩状板部に設定したセクタ領域として図8(f)に示すようなセクタ領域を設定する。関心領域はこれに限らず、図8(g)に示すように上下2領域に分割してもよいし、図8(h)に示すようなより小さなセクタ領域を設定してもよい。あるいは、任意形状の関心領域を設定してもよい。 In the present embodiment, as shown in FIG. 9A, “None” is used as the OCT map, the sieve plate thickness (“LCT”) is used as the OCT sector map, “None” is used as the OCTA map, and “VLD” is used as the OCTA sector map. Since it is selected, a sector area as shown in FIG. 8 (f) is set as a sector area set in the sieve plate portion as a measurement area of interest for the tomographic image. The region of interest is not limited to this, and may be divided into upper and lower two regions as shown in FIG. 8 (g), or a smaller sector region as shown in FIG. 8 (h) may be set. Alternatively, an area of interest of any shape may be set.
<ステップS6082>
画像処理部101−04は、操作者が図8(a)のOCTマップ選択ボタン803及びOCTセクタマップ選択ボタン804、または任意形状ROI選択ボタン807を指定して指示した計測内容に基づき篩状板または篩状板孔の計測処理を実施するか否かを判定する。判定結果がYesの場合はステップS6083へ、Noの場合はステップS6084へ各々処理を進める。
<Step S6082>
The image processing unit 101-04 is a sieve plate based on the measurement contents instructed by the operator by designating the OCT
<ステップS6083>
計測部101−463は、ステップS6082で設定した関心領域に対して篩状板形状に関する計測値を算出する。本実施形態では、篩状板形状として篩状板厚が指定されているため、ステップS6077で特定した篩状板領域に基づき篩状板の深度方向の厚みをステップS6082で設定した関心領域(図8(f)に示すようなセクタ領域ごとの篩状板厚の平均値)に対して計測する。
<Step S6083>
The measuring unit 101-463 calculates the measured value related to the shape of the sieve plate for the region of interest set in step S6082. In the present embodiment, since the sieve plate thickness is specified as the sieve plate shape, the area of interest in which the thickness in the depth direction of the sieve plate is set in step S6082 based on the sieve plate region specified in step S6077 (FIG. Measure the average value of the sieve plate thickness for each sector region as shown in 8 (f)).
<ステップS6084>
解析部101−46は、操作者が図8(a)のOCTAマップ選択ボタン805及びOCTAセクタマップ選択ボタン806、もしくは任意形状ROI選択ボタン807を指定することにより指示された計測内容に基づき血管分布の計測処理を実施するか否かを判定する。判定結果がYesの場合はステップS6085へ、Noの場合はステップS609へ各々処理を進める。
<Step S6084>
The analysis unit 101-46 distributes blood vessels based on the measurement contents instructed by the operator by designating the OCTA
<ステップS6085>
解析部101−46は、血管領域に対する計測内容がVLDであるか否かを判定し、判定結果がYesの場合はステップS6086へ、Noの場合はステップS6087へ各々処理を進める。
<Step S6085>
The analysis unit 101-46 determines whether or not the measurement content for the blood vessel region is VLD, and if the determination result is Yes, the process proceeds to step S6086, and if the determination result is No, the process proceeds to step S6087.
<ステップS6086>
計測部101−463は、ステップS6074で生成した血管領域の2値画像を細線化処理することにより、血管の中心線に相当する線幅1画素の2値画像(以下、スケルトン画像と表記)を生成する。任意の細線化法もしくはスケルトン処理を用いてよいが、本実施形態では細線化法としてHilditchの細線化法を用いる。
<Step S6086>
The measurement unit 101-463 performs a thinning process on the binary image of the blood vessel region generated in step S6074 to obtain a binary image having a line width of 1 pixel corresponding to the center line of the blood vessel (hereinafter referred to as a skeleton image). Generate. Any thinning method or skeleton processing may be used, but in the present embodiment, the thinning method of Hilwich is used as the thinning method.
<ステップS6087>
計測部101−463は、ステップS6086で得られたスケルトン画像に基づいて計測処理を行う。本実施形態では、該スケルトン画像の各画素位置において当該画素を中心とした近傍領域における単位面積当たりの非0画素(白画素)の長さの総和[mm−1]を当該画素における血管密度(VLD)として算出する。さらに、各画素で算出した血管密度(VLD)の値を持つ画像(VLDマップ、図8(i))を生成する。
<Step S6087>
The measurement unit 101-436 performs the measurement process based on the skeleton image obtained in step S6086. In the present embodiment, the total length [mm -1 ] of the lengths of non-zero pixels (white pixels) per unit area in the vicinity region centered on the pixel at each pixel position of the skeleton image is calculated as the blood vessel density (mm -1) in the pixel. Calculated as VLD). Further, an image (VLD map, FIG. 8 (i)) having a blood vessel density (VLD) value calculated for each pixel is generated.
なお、関心領域としてセクタ領域が指定されている場合は、該スケルトン画像上の各セクタ領域における単位面積当たりの非0画素(白画素)の長さの総和[mm−1]を当該セクタにおける血管密度(VLD)として算出すればよい。 When a sector area is specified as the area of interest, the total length [mm -1 ] of the lengths of non-zero pixels (white pixels) per unit area in each sector area on the skeleton image is the blood vessel in the sector. It may be calculated as the density (VLD).
また、モーションコントラスト画像に対する計測としてVADマップが指定されている場合は、以下のようにすればよい。すなわちステップS6074で取得した血管領域に関する2値画像の各画素位置で当該画素を中心とした近傍領域内に占める非0画素(白画素)の割合を当該画素における血管密度(VAD)として算出し、各画素で算出したVAD値を持つ画像(VADマップ、図8(j))を生成する。また、該血管領域に関する2値画像上の各セクタ領域における非0画素(白画素)の割合を当該セクタにおける血管密度(VAD)として算出することにより、VADセクタマップを生成できる。 Further, when the VAD map is specified as the measurement for the motion contrast image, the following may be performed. That is, the ratio of non-zero pixels (white pixels) to the neighborhood region centered on the pixel at each pixel position of the binary image related to the blood vessel region acquired in step S6074 is calculated as the blood vessel density (VAD) in the pixel. An image (VAD map, FIG. 8J) having a VAD value calculated for each pixel is generated. Further, a VAD sector map can be generated by calculating the ratio of non-zero pixels (white pixels) in each sector region on the binary image relating to the blood vessel region as the blood vessel density (VAD) in the sector.
以上述べた構成によれば、画像処理装置101はEDI撮影により取得した篩状板部を含むOCT断層画像の重ね合わせ画像を生成し、篩状板及び篩状板孔領域を特定し、篩状板厚や篩状板孔に関する計測値を算出する。また、OCTA重ね合わせ画像から生成した篩状板部のモーションコントラスト正面画像に基づいて血管領域を特定し、血管密度を算出して両画像及び両画像から取得した計測値の並置もしくは重畳表示を行う。これにより、篩状板部の形状と篩状板部を灌流する血管の分布との関係を把握し易くすることができる。
According to the configuration described above, the
[第三実施形態]
本実施形態に係る画像処理装置の一つは、同一被検眼に対して異なる日時に略同一撮影条件で取得した篩状板部を含むOCT断層画像及びOCTA重ね合わせ画像から生成したモーションコントラスト画像を用いて篩状板形状及び血管密度の計測処理を行う。取得された画像及び該計測処理により得られた計測データを時系列で並置もしくは重畳表示する場合について説明する。なお、本発明において、画像の重ね合わせ処理等は必須のものではない。
[Third Embodiment]
One of the image processing devices according to the present embodiment captures an OCT tomographic image including a sieve plate portion acquired under substantially the same imaging conditions at different dates and times for the same eye to be inspected and a motion contrast image generated from an OCTA superimposed image. It is used to measure the shape of the sieve plate and the density of blood vessels. A case where the acquired image and the measurement data obtained by the measurement process are juxtaposed or superimposed in time series will be described. In the present invention, the image superimposition process and the like are not essential.
本実施形態に係る画像処理装置101を備える画像処理システム10の構成を図10に示す。解析部101−46に比較部101−464を備える点が第二実施形態と異なっている。
FIG. 10 shows the configuration of the
次に、本実施形態における画像処理フローを図11に示す。なお、本実施形態の画像処理フローのうち図11のステップS1101、ステップS1109、ステップS1110以外は第二実施形態の場合と同様であるので説明は省略する。 Next, the image processing flow in this embodiment is shown in FIG. Of the image processing flow of the present embodiment, steps S1101, step S1109, and step S1110 of FIG. 11 are the same as those of the second embodiment, and thus the description thereof will be omitted.
<ステップS1101>
操作者は過去検査データが保存されている被検眼に関して基準検査を選択する。また、画像処理装置101は選択された基準検査と同一撮影条件になるようにOCTA撮影の撮影条件を設定する。
<Step S1101>
The operator selects a reference test for the eye to be inspected for which past test data is stored. Further, the
本実施形態においては、患者画面(非図示)において、操作者が入力部103を操作することで患者リスト(Patient List)から被検者を選択する。さらに操作者が該被検者の検査リスト(Examination List)からフォローアップ検査における基準検査(Baseline)を選択することで基準検査を決定する。検査セットやスキャンモードの選択については、操作者が基準検査を選択した状態で撮影画面を開くことにより画像処理装置101がフォローアップ検査セットを選択し、スキャンモードを基準検査と同一のスキャンモード(OCTAモード)に設定する。ここで、検査セットとは検査目的別に設定した(スキャンモードを含む)撮像手順や、OCT画像やOCTA画像の既定の表示法を指す。
In the present embodiment, on the patient screen (not shown), the operator operates the
画像処理装置は、断層画像撮影装置100に対して指示するOCTA画像の撮影条件を設定する。なお、個々のOCTA撮影に関する撮影条件としては以下の1)〜7)に示すような設定項目があり、これらの設定項目を基準検査と同一の値に設定した上で、ステップS1102において適宜休憩を挟みながら(同一撮像条件の)OCTA撮影を所定の回数だけ繰り返し実行する。
The image processing apparatus sets the imaging conditions of the OCTA image instructed to the tomographic
本実施形態では7)1クラスタあたりのBスキャン数が4であるようなOCTA撮影を3回繰り返すものとする。
1)走査パターン(Scan Pattern)
2)走査領域サイズ(Scan Size)
3)主走査方向(Scanning Direction)
4)走査間隔(Distance between B−scans)
5)固視灯位置(Fixation Position)
6)コヒーレンスゲート位置(C−Gate Orientation)
7)1クラスタあたりのBスキャン数(B−scans per Cluster)
In the present embodiment, 7) OCTA imaging in which the number of B scans per cluster is 4 is repeated three times.
1) Scan pattern (Scan Pattern)
2) Scan area size (Scan Size)
3) Scanning Direction
4) Scanning interval (Distance bestween B-scans)
5) Fixation Position
6) Coherence gate position (C-Gate Orientation)
7) Number of B scans per cluster (B-scan per Claster)
<ステップS1109>
比較部101−464は経時変化計測(Progression計測)処理を実行する。図12にProgression計測レポートの例を示す。Progressionモードタブ1201を指定することにより、該レポート画面が表示され、該経時変化計測処理が開始される。本実施形態ではProgression計測対象画像として検査日が新しいものから順に4検査を自動選択するものとする。これに限らず、例えば最も古い検査日の画像と最新検査の画像、両検査日間に撮影された画像で検査間隔が略等しい画像を選択するよう構成してもよい。ここで、計測対象画像としては略同一位置における取得断層像数が大きい(4以上)モーションコントラスト画像か、同等のモーションコントラスト画像になるようにOCTA重ね合わせ処理を実施して得られる合成モーションコントラスト画像を優先して選択するものとする。なお、計測対象画像はこれに限らず、例えば図12の選択ボタン1209を選択して選択画面を表示させ、該選択画面上に表示された画像リストから選択してもよい。
<Step S1109>
The comparison unit 101-464 executes a change measurement (Progression measurement) process over time. FIG. 12 shows an example of a Progression measurement report. By designating the
次に、比較部101−464はステップS1108で実施した単検査の計測内容に対応する過去検査の画像及び計測値に関するデータを外部記憶部102から取得する。さらに位置合わせ部101−41はステップS1108で計測した単検査の画像と過去検査画像間の位置合わせを行い、比較部101−464が共通した領域に関する計測値と該計測値に関する経時変化グラフを作成する。
Next, the comparison unit 101-464 acquires data on the image and the measured value of the past inspection corresponding to the measurement content of the single inspection performed in step S1108 from the
なお、正確に計測することが期待できないような画像選択が行われたと考えられる場合、すなわち
i)選択した計測対象画像の中に略同一位置における取得断層画像数が所定値未満のモーションコントラスト画像もしくは該所定値未満相当の合成モーションコントラスト画像、あるいは画質指標値(Quality Index)が所定値未満のモーションコントラスト画像が含まれる場合
ii)選択した計測対象画像間で略同一位置における取得断層画像数もしくは画質指標値が大きく異なる場合
の少なくとも一方が該当する場合に、再選択するよう警告表示してもよい。
If it is considered that image selection has been performed so that accurate measurement cannot be expected, that is, i) a motion contrast image or a motion contrast image in which the number of acquired tomographic images at substantially the same position is less than a predetermined value among the selected measurement target images. When a composite motion contrast image equivalent to less than the predetermined value or a motion contrast image having an image quality index value (Quality Index) less than the predetermined value is included ii) The number of acquired tomographic images or the image quality at substantially the same position between the selected measurement target images A warning may be displayed to reselect when at least one of the index values is significantly different.
<ステップS1110>
表示制御部101−05は、ステップS1109で実施したProgression計測に関するレポートを表示部104に表示する。
<Step S1110>
The display control unit 101-05 displays a report on the Progression measurement performed in step S1109 on the
本実施形態では、図12(a)のProgression計測レポートの上段にあるマップ選択リストボックス1202から「OCT」、セクタ選択リストボックス1203から「Lamina Thickness」、下段のマップ選択リストボックス1204から「OCTA」、セクタ選択リストボックス1205から「VLD」を選択する。これにより上段に篩状板部の断層画像と篩状板厚セクタマップ、下段にモーションコントラスト画像とVLDセクタマップとが各々重畳した上で時系列表示される。このような表示により、各々の断層画像やモーションコントラスト画像を詳細に観察しつつ、篩状板形状及び篩状板部を灌流する血管に関する分布を対応付けながら時系列で病態の進行を把握できる。図12(a)に示した例では篩状板部の下側(Inferior)、次いで上側(Superior)の血管密度が減少していく様子と、対応して篩状板部の下側及び上側に菲薄化が生じ、時間の経過とともに篩状板全体が菲薄化していく様子が把握できる。
In the present embodiment, the map
また各計測対象画像に関して、左右眼の別、撮影日時、画角・画素数、略同一位置における断層画像数やOCTA重ね合わせ処理の実施条件に関する情報、及び/又はOCT断層画像もしくはモーションコントラスト画像の評価値(画質指標)に関する情報を表示部104に表示させてもよい。なお、図12(a)の上部に表示されている印1206は基準検査(Baseline)であることを示している。
In addition, regarding each measurement target image, information on the distinction between the left and right eyes, the shooting date and time, the angle of view / pixel number, the number of tomographic images at substantially the same position, the execution conditions of the OCTA superimposition processing, and / or the OCT tomographic image or motion contrast image. Information on the evaluation value (image quality index) may be displayed on the
図12(a)においてShow Differenceチェックボックス1207を指定すると、上段・下段各々で基準画像における計測値分布との差分を示す画像(篩状板形状の差分マップや篩状板部を灌流する血管の分布の差分マップ)を時系列で表示できる。すなわち、図12(a)の場合は上段・下段の各々において最左に基準画像における計測値マップが表示され、それ以外の3つの日付において(基準画像の計測値分布との)差分マップが表示される。これにより、基準検査の時点から篩状板形状や篩状板部を灌流する血管の分布がどの領域でどの程度変化したかについて、一覧して把握できる。
When the Show
本実施形態では断層画像及び付随する計測値とモーションコントラスト画像及び付随する計測値を時系列で並置表示したが、本発明はこれに限定されない。例えば図12(b)に示すように篩状板形状に関する計測値マップ(例えば篩状板厚セクタマップ)と篩状板部を灌流する毛細血管の分布(例えば篩状板部のVLDマップ)を時系列で重畳表示してもよい。この場合、篩状板形状の変形部位と篩状板部を灌流する血管分布の異常部位を正確に対応付けながら両者の経時的変化を一覧して把握できる。 In the present embodiment, the tomographic image and the accompanying measurement value and the motion contrast image and the accompanying measurement value are displayed side by side in chronological order, but the present invention is not limited to this. For example, as shown in FIG. 12B, a measurement value map regarding the shape of the sieve plate (for example, a sieve plate thickness sector map) and a distribution of capillaries perfusing the sieve plate portion (for example, a VLD map of the sieve plate portion) are displayed. It may be superimposed and displayed in chronological order. In this case, it is possible to list and grasp the changes over time of both while accurately associating the deformed portion of the sieve plate shape with the abnormal portion of the blood vessel distribution that perfuse the sieve plate portion.
あるいは、図12(b)においてShow Differenceチェックボックス1212を指定すると、基準画像における計測値分布との差分を示す画像(例えば篩状板厚の差分セクタマップや篩状板部を灌流する血管の差分VLDマップ)を時系列で重畳表示できる。
Alternatively, when the Show
なお、篩状板形状及び篩状板部を灌流する血管の分布に関する計測値の経時変化は画像(マップ)や数値として表示することに限定されるものではなく、例えば図12(b)に示すように経時変化グラフ(トレンドグラフ)として表示してもよい。図12(b)に示した例では、リストボックス1213から「Superior」を選択することにより、篩状板部の上側領域における篩状板厚とVLDのトレンドグラフを合成表示している。これに限らず、篩状板部全体(Full)・上半分(Upper hemi)・下半分(Lower hemi)・下側(Inferior)・鼻側(Nasal)・側頭部(Temporal)や任意形状の関心領域での篩状板形状や血管分布に関する計測値グラフを切替えもしくは一覧表示してもよい。複数のグラフを一覧表示する際は、各々のグラフを識別可能な態様(例えは異なる色や線種・太さ・記号)で表示してよい。さらに、Show Regression Lineチェックボックス1214を指定することにより、回帰直線及び対応する数式を表示部104に表示させてもよい。
The change over time in the measured values regarding the shape of the sieve plate and the distribution of blood vessels perfusing the sieve plate portion is not limited to being displayed as an image (map) or a numerical value, and is shown in FIG. 12 (b), for example. It may be displayed as a time-dependent change graph (trend graph) as described above. In the example shown in FIG. 12B, the trend graph of the sieve plate thickness and the VLD in the upper region of the sieve plate portion is combined and displayed by selecting “Superior” from the
また、本発明は視神経乳頭境界D内の篩状板領域内の画像もしくは該篩状板領域内で取得された計測値の時系列表示に限定されるものではない。例えば、視神経乳頭境界D内では篩状板領域(篩状板前面B6と後面B7で囲まれる領域)、視神経乳頭境界D外では網膜表層(例えば神経線維層)の深度範囲内で特定もしくは取得された領域や計測値を時系列表示する場合も本発明に含まれる。具体例として、表示部104の上段に「視神経乳頭境界D内において篩状板厚、視神経乳頭境界D外において神経線維層厚(もしくは神経節細胞層厚、神経節細胞複合体(GCC)厚)」を表示した計測値マップを表示し、下段に「視神経乳頭境界D内において篩状板部の血管密度(VLDもしくはVAD)、視神経乳頭境界D外においてRPCの血管密度(VLDもしくはVAD)」を表示した計測値マップを時系列で並置表示する場合が挙げられる。このような時系列並置表示(あるいは重畳表示でもよい)を行うことで、篩状板部を灌流する血管の分布と篩状板の形状変化部位との関連性の時系列変化が把握できるだけでなく、篩状板形状が変化した部位と神経線維層が菲薄化した領域との関連性の時系列変化まで一貫して把握できる。すなわち、神経線維層や神経節細胞層の菲薄化の原因となる兆候(篩状板部を灌流する血管の退縮や、それによって生じる篩状板部の形状変化)と結果として生じる神経節細胞死(神経線維層や神経節細胞層の菲薄化)の時系列変化が一覧でき、緑内障診断向けの表示設定として有用である。なお、視神経乳頭境界D内で篩状板領域、視神経乳頭境界D外で網膜表層の深度範囲内で取得された計測値分布を表示部104に時系列表示する場合において、「視神経乳頭境界D内において篩状板厚、視神経乳頭境界D外において神経線維層厚(もしくは神経節細胞層厚、神経節細胞複合体(GCC)厚)」を表示した計測値マップのみ表示部104に時系列表示してもよいし、「視神経乳頭境界D内において篩状板部の血管密度、視神経乳頭境界D外においてRPCの血管密度」を表示した計測値マップのみ表示部104に時系列表示してもよい。また、乳頭外における投影深度範囲及び乳頭外で特定・計測する血管は各々神経線維層及びRPCに限定されるものではなく、例えば網膜表層を投影深度範囲として網膜表層の毛細血管を特定・計測してもよいし、網膜深層を投影深度範囲として網膜深層の毛細血管を特定・計測してその分布を時系列で表示してもよい。また、時系列で表示する乳頭内外の血管の特定・計測結果は血管密度に限らず、例えば血管領域の位置、無血管領域の位置、無血管領域の形状、血管領域の面積、無血管領域の面積、血管の長さ、及び/又は血管の曲率であってもよい。
Further, the present invention is not limited to the time-series display of the image in the sieve plate region in the optic disc boundary D or the measured value acquired in the sieve plate region. For example, within the optic disc boundary D, the sieving plate region (the region surrounded by the anterior surface B6 and the posterior surface B7 of the optic disc) is specified or acquired within the depth range of the retinal surface layer (for example, the nerve fiber layer) outside the optic disc boundary D. The present invention also includes the case of displaying the area and the measured value in time series. As a specific example, in the upper part of the
なお、時系列並置/重畳表示する場合の投影深度範囲は、図12(a)の1208に示したユーザインターフェースを用いて変更できる。また、同様に投影方法(MIP/AIP)やプロジェクションアーティファクト抑制処理についても例えばコンテキストメニューから選択するなどの方法により変更してもよい。 The projection depth range in the case of time-series juxtaposition / superimposition display can be changed by using the user interface shown in 1208 of FIG. 12 (a). Similarly, the projection method (MIP / AIP) and the projection artifact suppression process may be changed by, for example, selecting from the context menu.
なお、画像処理装置101が略同一走査位置で取得した断層画像の枚数が所定値未満のモーションコントラスト画像もしくは所定値未満相当の合成モーションコントラスト画像に対する血管領域の特定もしくは計測に関する指示を受け付けた場合に、表示部104に警告表示を行うよう構成してもよい。
When the
以上述べた構成によれば、画像処理装置101は同一被検眼に対して異なる日時に略同一撮影条件で取得した篩状板部を含むOCT断層画像及びOCTA重ね合わせ画像から生成したモーションコントラスト画像を用いて篩状板形状及び血管密度の計測処理を行う。取得された画像及び該計測処理により得られた計測データを時系列で並置もしくは重畳表示する。
According to the configuration described above, the
これにより、篩状板部の形状の経時変化と篩状板部を灌流する血管の分布の経時変化との関係を把握し易くすることができる。 This makes it easier to understand the relationship between the time-dependent change in the shape of the sieve plate portion and the time-dependent change in the distribution of blood vessels that perfuse the sieve plate portion.
上記第一乃至第三実施形態によれば、篩状板部等の所定の部位の形状と、所定の部位を灌流する血管の分布との関係を把握し易くすることができる。 According to the first to third embodiments, it is possible to easily grasp the relationship between the shape of a predetermined portion such as a sieve plate portion and the distribution of blood vessels that perfuse the predetermined portion.
[第四実施形態]
例えば、緑内障眼などを撮影した画像を確認する際には、視神経乳頭部内では深層に位置する篩状板を観察することができる。一方、視神経乳頭部周囲では浅層の毛細血管を観察することができる。このとき、従来の手法では、1つの二次元正面画像を生成する場合には、1つの二次元正面画像の全域に対して1つの深さ範囲を設定していた。このため、1つの二次元正面画像において深層から浅層までを一度に観察したい場合には、1つの二次元正面画像を生成するための深さ範囲として深層から浅層までを1つの深さ範囲として設定する必要があった。
[Fourth Embodiment]
For example, when confirming an image of a glaucomatous eye or the like, a sieve plate located in a deep layer can be observed in the optic nerve head. On the other hand, superficial capillaries can be observed around the optic disc. At this time, in the conventional method, when one two-dimensional front image is generated, one depth range is set for the entire area of one two-dimensional front image. Therefore, when it is desired to observe from the deep layer to the shallow layer at one time in one two-dimensional front image, one depth range from the deep layer to the shallow layer is set as the depth range for generating one two-dimensional front image. Had to be set as.
この場合、被検眼の深さ方向に交差する方向(例えば、XY面の面内方向)における領域によっては、設定された1つの深さ範囲内に、注目している部位だけでなく、注目していない部位も含まれてしまう可能性がある。すなわち、生成された1つの二次元正面画像において、注目している部位の識別が難しい場合があった。 In this case, depending on the region in the direction intersecting the depth direction of the eye to be inspected (for example, the in-plane direction of the XY plane), not only the portion of interest but also the portion of interest is focused within the set depth range. There is a possibility that parts that are not used will be included. That is, in one generated two-dimensional front image, it may be difficult to identify the part of interest.
第四乃至八実施形態は、一つの二次元正面画像において、注目している部位の識別を容易にすることを目的の一つとする。 One of the fourth to eighth embodiments aims at facilitating the identification of the portion of interest in one two-dimensional front image.
以下、図面を参照しながら、本発明の第四実施形態について説明する。なお、本実施形態に係る画像処理装置の一つは、被検眼の深さ方向(例えば、Z方向)に交差する方向(例えば、XY面の面内方向)における複数の領域(例えば、視神経乳頭部内や視神経乳頭部周囲)に対して異なる深さ範囲を設定(指定)することができる。また、本実施形態に係る画像処理装置の一つは、被検眼の三次元データと、設定された異なる深さ範囲(例えば、深層や浅層)に関する情報(例えば、Z方向の座標値)とを用いて、被検眼の二次元正面画像を生成することができる。これにより、例えば、一つの二次元正面画像において、注目している部位(例えば、血管網)の識別を容易にすることができる。 Hereinafter, a fourth embodiment of the present invention will be described with reference to the drawings. One of the image processing devices according to the present embodiment has a plurality of regions (for example, the optic nerve head) in a direction (for example, the in-plane direction of the XY plane) intersecting the depth direction (for example, the Z direction) of the eye to be inspected. Different depth ranges can be set (designated) for the inside of the part and around the optic nerve head. Further, one of the image processing devices according to the present embodiment includes three-dimensional data of the eye to be inspected and information (for example, coordinate values in the Z direction) regarding set different depth ranges (for example, deep layers and shallow layers). Can be used to generate a two-dimensional frontal image of the eye to be inspected. Thereby, for example, in one two-dimensional front image, it is possible to easily identify the site of interest (for example, the vascular network).
また、本実施形態に係る画像処理装置の一つは、アーティファクトを低減した三次元のモーションコントラストデータを生成するにあたり、複数のモーションコントラストデータの位置合わせをすると共に、加算平均を行うために位置合わせの基準となるモーションコントラストデータを選択することができる。これにより、固視微動などにより、モーションコントラストデータにアーティファクトが存在する場合においても高画質な三次元のモーションコントラストデータを取得することができる。ここで、高画質とは一度の撮影と比較してS/N比が向上している画像をいう。または、診断に必要な情報量が増えている画像のことをいう。なお、本実施形態に係るアーティファクトを低減する処理(例えば、図15(a)のステップS1505)は、本発明における必須の構成ではない。 Further, one of the image processing devices according to the present embodiment aligns a plurality of motion contrast data and aligns them in order to perform addition averaging when generating three-dimensional motion contrast data with reduced artifacts. You can select the motion contrast data that serves as the reference for. As a result, it is possible to acquire high-quality three-dimensional motion contrast data even when an artifact exists in the motion contrast data due to fixation and fine movement. Here, the high image quality means an image in which the S / N ratio is improved as compared with one shooting. Or, it refers to an image in which the amount of information required for diagnosis is increasing. The process of reducing the artifacts according to the present embodiment (for example, step S1505 in FIG. 15A) is not an essential configuration in the present invention.
また、二次元正面画像を生成するための深さ範囲や、被検眼の深さ方向に交差する方向における複数の領域のうち他の領域とは異なる深さ範囲を設定するための少なくとも1つの領域(部分領域)は、操作者の指示に応じて設定(手動設定)されてもよいし、三次元データ等の解析結果に基づいて自動的に設定(自動設定)されてもよいし、自動的に設定された後に操作者の指示に応じて設定が変更(修正)されてもよい。すなわち、深さ範囲や少なくとも1つの領域を設定する設定手段は、これらの機能のうち少なくとも1つの機能を含むことができる。また、設定手段は、複数の機能を含む場合には、複数の機能のいずれかの機能が選択可能に構成されてもよい。これにより、操作者は目的に応じていずれかの機能を容易に選択することができる。 In addition, at least one region for setting a depth range for generating a two-dimensional front image and a depth range different from other regions among a plurality of regions in a direction intersecting the depth direction of the eye to be inspected. (Partial area) may be set (manually set) according to the instruction of the operator, may be automatically set (automatically set) based on the analysis result of three-dimensional data or the like, or may be automatically set. After being set to, the setting may be changed (corrected) according to the instruction of the operator. That is, the setting means for setting the depth range and at least one region can include at least one of these functions. Further, when the setting means includes a plurality of functions, any one of the plurality of functions may be selectably configured. As a result, the operator can easily select one of the functions according to the purpose.
また、深さ方向に交差する方向は、深さ方向に直交する方向とすることができるが、本発明はこれに限らない。例えば、深さ方向を設定する設定手段は、網膜の断層画像における深さ方向に対する網膜の傾きに関する情報を用いて、少なくとも1つの領域(部分領域)の深さ範囲を設定するための方向を設定することができる。これにより、例えば、傾いた網膜に対する法線方向を設定することができるため、設定された方向に沿って少なくとも1つの領域や他の領域の深さ範囲を設定することができる。このため、医者等の操作者は所望の部位の観察を容易に行うことができる。このとき、設定手段は、傾いた網膜の面内方向を、深さ方向に交差する方向として設定してもよい。 Further, the direction of intersection in the depth direction can be a direction orthogonal to the depth direction, but the present invention is not limited to this. For example, the setting means for setting the depth direction sets the direction for setting the depth range of at least one region (partial region) by using the information on the inclination of the retina with respect to the depth direction in the tomographic image of the retina. can do. Thereby, for example, the normal direction with respect to the tilted retina can be set, so that the depth range of at least one region or the other region can be set along the set direction. Therefore, an operator such as a doctor can easily observe a desired portion. At this time, the setting means may set the in-plane direction of the tilted retina as a direction intersecting the depth direction.
以下、本実施形態に係る画像処理装置を備える画像処理システムについて、詳細を説明する。 Hereinafter, the image processing system including the image processing apparatus according to the present embodiment will be described in detail.
図13は、本実施形態に係る画像処理装置1330を備える画像処理システム1300の構成を示す図である。図13に示すように、画像処理システム1300は、画像処理装置1330が、インタフェースを介して断層画像撮影装置(OCTとも言う)1320、眼底画像撮影装置1340、外部記憶部1350、表示部1360、入力部1370と接続されることにより構成されている。
FIG. 13 is a diagram showing a configuration of an
断層画像撮影装置1320は、眼部の断層画像を撮影する装置である。断層画像撮影装置に用いる装置は、例えばSD−OCTやSS−OCTからなる。なお、断層画像撮影装置1320は既知の装置であるため詳細な説明は省略し、ここでは、画像処理装置1330からの指示により行われる断層画像の撮影について説明を行う。
The tomographic
図13において、ガルバノミラー1321は、測定光の眼底における走査を行うためのものであり、OCTによる眼底の撮影範囲を規定する。また、駆動制御部1322は、ガルバノミラー1321の駆動範囲および速度を制御することで、眼底における平面方向の撮影範囲及び走査線数(平面方向の走査速度)を規定する。ここでは、簡単のためガルバノミラーは一つのユニットとして示したが、実際にはXスキャン用のミラーとYスキャン用の2枚のミラーで構成され、眼底上で所望の範囲を測定光で走査できる。
In FIG. 13, the
フォーカス1323は被検体である眼の前眼部を介し、眼底の網膜層にフォーカスするためのものである。測定光は、非図示のフォーカスレンズにより、被検体である眼の前眼部を介し、眼底の網膜層にフォーカスされる。眼底を照射した測定光は各網膜層で反射・散乱して戻る。
内部固視灯1324は、表示部13241、及びレンズ13242で構成される。表示部13241として複数の発光ダイオード(LD)がマトリックス状に配置されたものを用いる。発光ダイオードの点灯位置は、駆動制御部1322の制御により撮影したい部位に合わせて変更される。表示部13241からの光は、レンズ13242を介し、被検眼に導かれる。表示部13241から出射される光は520nmで、駆動制御部1322により所望のパターンが表示される。
The
コヒーレンスゲートステージ1325は、被検眼の眼軸長の相違等に対応するため、駆動制御部1322により制御されている。コヒーレンスゲートとは、OCTにおける測定光と参照光の光学距離が等しい位置を表す。さらには、撮影方法としてコヒーレンスゲートの位置を制御することにより、網膜層側か、あるいは網膜層より深部側とする撮影を行うことを制御する。ここで、画像処理システムで取得する眼の構造と画像について図14を用いて説明する。
The
図14(a)に眼球の模式図を示す。図14(a)には、角膜Co、水晶体CL、硝子体Vi、黄斑部Ma(黄斑の中心部は中心窩を表す)、及び視神経乳頭部Diが示されている。本実施形態にかかる断層画像撮影装置1320は、主に、硝子体、黄斑部、視神経乳頭部を含む網膜の後極部を撮影する場合について説明を行う。なお、本発明では説明をしないが、断層画像撮影装置1320は、角膜や水晶体を含む前眼部を撮影することも可能である。
FIG. 14A shows a schematic view of the eyeball. FIG. 14A shows the cornea Co, the crystalline lens CL, the vitreous Vi, the macula Ma (the central part of the macula represents the fovea centralis), and the optic disc Di. The case where the
図14(b)に断層画像撮影装置1320が取得する網膜を撮影した場合の断層画像の例を示す。図14(b)において、ASはAスキャンというOCT断層画像における画像取得の単位を表す。このAスキャンが複数集まって一つのBスキャンを構成する。そしてこのBスキャンのことを断層画像(あるいは断層像)と呼ぶ。図14(b)には、血管Ve、硝子体Vi、黄斑部Ma、視神経乳頭部Di、及び篩状板の後面Laが示されている。また、内境界膜(ILM)と神経線維層(NFL)との境界L1、神経線維層と神経節細胞層(GCL)との境界L2、視細胞内節外節接合部(ISOS)L3、網膜色素上皮層(RPE)L4、ブルッフ膜(BM)L5、脈絡膜L6が示されている。断層画像において、横軸(OCTの主走査方向)をx軸、縦軸(深さ方向)をz軸とする。
FIG. 14B shows an example of a tomographic image when the retina acquired by the
図14(c)に眼底画像撮影装置1340が取得する眼底画像の例を示す。眼底画像撮影装置1340は、眼部の眼底画像を撮影する装置であり、当該装置としては、例えば、眼底カメラやSLO(Scanning Laser Ophthalmoscope)等が挙げられる。図14(c)には、黄斑部Ma、及び視神経乳頭部Diが示され、太い曲線は網膜の血管を表す。眼底画像において、横軸(OCTの主走査方向)をx軸、縦軸(OCTの副走査方向)をy軸とする。なお、断層画像撮影装置1320と眼底画像撮影装置1340の装置構成は、一体型でもよいし別体型でもよい。
FIG. 14C shows an example of a fundus image acquired by the
画像処理装置1330は、画像取得部1331、記憶部1332、画像処理部1333、指示部1334、及び表示制御部1335を備える。画像取得部1331は、断層画像生成部13311、及びモーションコントラストデータ生成部13312からなり、断層画像撮影装置1320により撮影された断層画像の信号データを取得し、信号処理を行うことで断層画像の生成、ならびにモーションコントラストデータの生成を行う。また、眼底画像撮影装置1340により撮影された眼底画像データを取得する。そして、生成した断層画像と眼底画像を記憶部1332に格納する。画像処理部1333は、前処理部13331、画像生成部13332、検出部13333、第一の位置合わせ部13334、選択部13335、第二の位置合わせ部13336、第三の位置合わせ部13337、第四の位置合わせ部13338、画像合成部13339、及び領域抽出部13340からなる。
The
前処理部13331は、モーションコントラストデータからアーティファクトを除去する処理を行う。画像生成部13332は、三次元のモーションコントラストデータを用いて二次元のモーションコントラスト正面画像(OCTA画像とも言う)、あるいは、三次元の断層画像データを用いて二次元の輝度正面画像(Enface画像とも言う)を生成する。検出部13333は、網膜から各層の境界線を検出する。第一の位置合わせ部13334は、二次元の正面画像の位置合わせを行う。選択部13335は、第一の位置合わせ部13334の位置合わせ結果から基準とするデータを選択する。第二の位置合わせ部13336は、OCTA画像を用いて網膜の横方向(x軸)の位置合わせを行う。第三の位置合わせ部13337は、網膜の深さ方向(z軸)の位置合わせを行う。第四の位置合わせ部13338は、断層画像内部の特徴がある部分に位置合わせのための領域を複数設定し、その領域単位で網膜の深さ方向(z軸)の位置合わせを行う。画像合成部13339は、第一から第四の位置合わせ部によって位置合わせされた三次元データを加算平均する。領域設定手段の一例である領域抽出部13340は、被検眼の深さ方向に交差する方向における複数の領域のうち他の領域とは異なる深さ範囲を設定するための少なくとも1つの領域を抽出(設定、特定、検出)する。これは、抽出された少なくとも1つの領域に対して他の領域とは異なる深さ範囲を設定するためである。ここで、設定される深さ範囲は、OCTA画像及び/又はEnface画像を生成するための深さの範囲である。
The
外部記憶部1350は、被検眼に関する情報(患者の氏名、年齢、性別など)と、撮影した画像データ、撮影パラメータ、画像解析パラメータ、操作者によって設定されたパラメータをそれぞれ関連付けて保持している。
The
入力部1370は、例えば、マウス、キーボード、タッチ操作画面などであり、操作者は、入力部1370を介して、画像処理装置1330や断層画像撮影装置1320、眼底画像撮影装置1340へ指示を行う。
The
次に、図15を参照して本実施形態の画像処理装置1330の処理手順を示す。図15(a)は、本実施形態における本システム全体の動作処理、図15(b)は、本実施形態における高画質データ生成処理の流れを示すフローチャートである。
Next, the processing procedure of the
<ステップS1501>
ステップS1501では、不図示の被検眼情報取得部は、被検眼を同定する情報として被検者識別番号を外部から取得する。そして、被検者識別番号に基づいて、外部記憶部1350が保持している当該被検眼に関する情報を取得して記憶部1332に記憶する。
<Step S1501>
In step S1501, the eye-examined information acquisition unit (not shown) acquires the examinee identification number from the outside as information for identifying the eye to be examined. Then, based on the subject identification number, the information about the eye to be inspected held by the
<ステップS1502>
ステップS1502では被検眼をスキャンして撮影を行う。被検眼のスキャンは、操作者が非図示のスキャン開始を選択すると、断層画像撮影装置1320は、駆動制御部1322を制御し、ガルバノミラー1321を動作させて断層画像のスキャンを行う。ガルバノミラー1321は、水平方向用のXスキャナと垂直方向用のYスキャナで構成される。そのため、これらのスキャナの向きをそれぞれ変更すると、装置座標系における水平方向(X)、垂直方向(Y)それぞれの方向に走査することが出来る。そして、これらのスキャナの向きを同時に変更させることで、水平方向と垂直方向とを合成した方向に走査することが出来るため、眼底平面上の任意の方向に走査することができる。
<Step S1502>
In step S1502, the eye to be inspected is scanned and an image is taken. When the operator selects to start scanning (not shown), the tomographic
撮影を行うにあたり各種撮影パラメータの調整を行う。具体的には、内部固視灯の位置、スキャン範囲、スキャンパターン、コヒーレンスゲート位置、フォーカスを少なくとも設定する。駆動制御部1322は、表示部13241の発光ダイオードを制御して、黄斑部中心や視神経乳頭に撮影を行うように内部固視灯1324の位置を制御する。スキャンパターンは、三次元ボリュームを撮影するラスタスキャンや放射状スキャン、クロススキャンなどのスキャンパターンを設定する。これら撮影パラメータの調整終了後、操作者が非図示の撮影開始を選択することで撮影を行う。
Adjust various shooting parameters when shooting. Specifically, at least the position of the internal fixation lamp, the scan range, the scan pattern, the coherence gate position, and the focus are set. The
本実施形態においては、スキャンパターンはラスタスキャンによる三次元ボリュームで、高画質データ生成のために三次元ボリュームをN回(Nは2以上)撮影する。N回繰り返し撮影するデータは、同じ撮影範囲を同じスキャンパターンで撮影する。例えば、3mm×3mmの範囲を300×300(主走査×副走査)の間隔で繰り返し撮影を行う。三次元ボリュームにおいては、モーションコントラストを計算するために同一のライン箇所をM回(Mは2以上)繰り返し撮影する。すなわち、Mが2回だとする場合、実際には300×600のデータを撮影し、そこから300×300の三次元モーションコントラストデータを生成する。 In the present embodiment, the scan pattern is a three-dimensional volume by raster scanning, and the three-dimensional volume is photographed N times (N is 2 or more) in order to generate high-quality data. For the data to be repeatedly photographed N times, the same imaging range is photographed with the same scan pattern. For example, a range of 3 mm × 3 mm is repeatedly photographed at intervals of 300 × 300 (main scan × sub scan). In the three-dimensional volume, the same line portion is repeatedly photographed M times (M is 2 or more) in order to calculate the motion contrast. That is, assuming that M is twice, 300 × 600 data is actually photographed, and 300 × 300 three-dimensional motion contrast data is generated from the data.
本実施形態においては詳細な説明を省略するが、断層画像撮影装置1320は、加算平均用に同じ場所を撮影するために、被検眼のトラッキングを行うことで、固視微動の影響を少なくして被検眼のスキャンを行う。さらに、まばたきなどの画像を生成するにあたりアーティファクトとなる動きを検出した場合には、アーティファクトが発生した場所で再スキャンを自動的に行う。
Although detailed description will be omitted in the present embodiment, the
<ステップS1503>
ステップS1503では、断層画像の生成を行う。断層画像生成部13311は、それぞれの干渉信号に対して、一般的な再構成処理を行うことで、断層画像を生成する。
<Step S1503>
In step S1503, a tomographic image is generated. The tomographic
まず、断層画像生成部13311は、干渉信号から固定パターンノイズ除去を行う。固定パターンノイズ除去は検出した複数のAスキャン信号を平均することで固定パターンノイズを抽出し、これを入力した干渉信号から減算することで行われる。次に、断層画像生成部13311は、有限区間でフーリエ変換した場合にトレードオフの関係となる深さ分解能とダイナミックレンジを最適化するために、所望の窓関数処理を行う。次に、FFT処理を行う事によって断層信号を生成する。
First, the tomographic
<ステップS1504>
ステップS1504では、モーションコントラストデータ生成部13312がモーションコントラストデータの生成を行う。このデータ生成について図19を用いて説明を行う。図19には、三次元のモーションコントラストデータMC、三次元のモーションコントラストデータを構成する二次元のモーションコントラストデータLMCが示されている。ここでは、この二次元のモーションコントラストデータLMCを生成する方法について説明をする。
<Step S1504>
In step S1504, the motion contrast
モーションコントラストデータ生成部13312は、まず被検眼の同一範囲で撮影された複数の断層像間の位置ずれを補正する。位置ずれの補正方法は任意の方法であってよい。例えば、モーションコントラストデータ生成部13312は、同一範囲をM回撮影し、同一箇所に相当する断層画像データ同士について、眼底形状等の特徴等を利用して位置合わせを行う。具体的には、M個の断層画像データのうちの1つをテンプレートとして選択し、テンプレートの位置と角度を変えながらその他の断層画像データとの類似度を求め、テンプレートとの位置ずれ量を求める。その後、モーションコントラストデータ生成部13312は、求めた位置ずれ量に基づいて、各断層画像データを補正する。
The motion contrast
次にモーションコントラストデータ生成部13312は、各断層画像データに関する撮影時間が互いに連続する、2つの断層画像データ間で式1により脱相関値Mxzを求める。
Next, the motion contrast
モーションコントラストデータ生成部13312は、同一位置で繰り返し取得したMが3以上の場合には、同一位置(x、z)において複数の脱相関値Mxzを求めることができる。モーションコントラスト生成部13312は、求めた複数の脱相関値Mxzの最大値演算や平均演算などの統計的な処理を行うことで、最終的なモーションコントラストデータを生成することができる。なお、繰り返し回数Mが2の場合、最大値演算や平均演算などの統計的な処理は行わず、隣接する2つの断層像AとBの脱相関値Mxzが、位置(x、z)におけるモーションコントラストの値となる。
When the number of Ms repeatedly acquired at the same position is 3 or more, the motion contrast
式1に示したモーションコントラストの計算式はノイズの影響を受けやすい傾向がある。例えば、複数の断層画像データの無信号部分にノイズがあり、互いに値が異なる場合には、脱相関値が高くなり、モーションコントラスト画像にもノイズが重畳してしまう。これを避けるために、モーションコントラストデータ生成部13312は、前処理として、所定の閾値を下回る断層データはノイズとみなして、ゼロに置き換えることができる。これにより、画像生成部13332は、生成されたモーションコントラストデータに基づいて、ノイズの影響を低減したモーションコントラスト画像を生成することができる。
The motion contrast calculation formula shown in
上述したステップS1502からステップS1504の処理を所定回数繰り返す。それにより、複数の三次元断層画像と複数の三次元モーションコントラストデータを取得することができる。これら取得した複数のデータを用いて、ステップS1505では、画像処理部1333が高画質データ生成を行う。高画質データを生成するためのデータ選択と実行の表示形態に関しては後述(ステップS1506)する。ここでは、画像処理部1333の処理について、図15(b)及び図16〜図18のフローチャートと、図19〜図27を用いて説明をする。
The process of steps S1502 to S1504 described above is repeated a predetermined number of times. Thereby, a plurality of three-dimensional tomographic images and a plurality of three-dimensional motion contrast data can be acquired. In step S1505, the
<ステップS1551>
ステップS1551では、検出部13333は、断層画像撮影装置1320が撮影した複数の断層画像において網膜層の境界線を検出する。検出部13333は、図14(b)の断層画像において各境界L1〜L6、あるいは非図示のGCL/IPL、IPL/INL、INL/OPL、OPL/ONL境界のいずれかを検出する。処理の対象とする断層画像に対して、メディアンフィルタとSobelフィルタをそれぞれ適用して画像を作成する(以下、メディアン画像、Sobel画像とする)。次に、作成したメディアン画像とSobel画像から、Aスキャン毎にプロファイルを作成する。メディアン画像では輝度値のプロファイル、Sobel画像では勾配のプロファイルとなる。そして、Sobel画像から作成したプロファイル内のピークを検出する。検出したピークの前後やピーク間に対応するメディアン画像のプロファイルを参照することで、網膜層の各領域の境界を検出する。
<Step S1551>
In step S1551, the
<ステップS1552>
ステップS1552では、画像生成部13332が、三次元のモーションコントラストデータに対して設定された生成範囲上端と生成範囲下端との範囲に対応するモーションコントラストデータを二次元平面上に投影し、OCTA画像を生成する。具体的には、画像生成部13332が、全体のモーションコントラストデータのうち生成範囲上端と生成範囲下端の間の範囲に対応するモーションコントラストデータに基づいて、その範囲内のモーションコントラストデータを平均値投影(AIP)、あるいは最大値投影(MIP)などの処理を行うことで、モーションコントラスト画像の正面画像であるOCTA画像を生成する。なお、OCTA画像の生成方法は平均値や最大値に限らない。最小値、中央値、分散、標準偏差、又は総和などの値で生成してもよい。
<Step S1552>
In step S1552, the
本実施形態においては、生成範囲上端をILM/NFL境界線とし、生成範囲下端をGCL/IPLから深度方向に50μm下端の境界線とする。そして、平均値投影法でOCTA画像を生成する。 In the present embodiment, the upper end of the generation range is the ILM / NFL boundary line, and the lower end of the generation range is the boundary line of the lower end of 50 μm in the depth direction from GCL / IPL. Then, an OCTA image is generated by the average value projection method.
なお、モーションコントラストデータ生成部13312が、生成範囲上端と生成範囲下端との間の範囲の断層データを用いてモーションコントラストデータを生成する構成としてもよい。この場合、画像生成部13332は、生成されたモーションコントラストデータに基づいてOCTA画像を生成することで、設定された深さ範囲の断層データに基づくOCTA画像を生成することができる。
The motion contrast
<ステップS1553>
ステップS1553では、N枚のOCTA画像において、画像の横方向(x軸)と縦方向(y軸)、xy面内の回転位置合わせをそれぞれ行う。これについて、図16のフローチャートを用いて説明をする。
<Step S1553>
In step S1553, in N images of Cartesian coordinates, the horizontal direction (x-axis), the vertical direction (y-axis), and the rotation alignment in the xy plane of the images are performed, respectively. This will be described with reference to the flowchart of FIG.
<ステップS15531>
ステップS15531では、前処理部13331は、画像生成部13332が生成したOCTA画像から黒帯や白線のようなアーティファクトを検出し、除去する。これについて図20を用いて説明をする。図20において、OCTA画像の黒い領域は脱相関値が高い場所、すなわち血液の流れが検出された場所(血管に相当する)を表し、白い領域は、脱相関値が低い場所を表す。図20(a)のBBは黒帯の例で、図20(b)のWLは白線の例を示している。黒帯は、撮影中の動きにより、網膜の位置が感度の高い位置から遠ざかることで網膜断層像の輝度値が低下し脱相関の値が低くなったり、まばたき等により画像全体が暗くなることで脱相関の値が低くなったりすることで発生する。白線は、脱相関の計算においてM個の断層像を位置合わせして計算をするが、位置合わせがうまくいかなかったり、位置合わせで位置を補正しきれなかったりする場合に、画像全体の脱相関値が高くなることで発生する。これらのアーティファクトは脱相関の計算において発生するため、主走査方向の1ライン単位で発生する。そのため、前処理部13331は、1ライン単位でアーティファクトを検出する。
<Step S15531>
In step S15531, the
例えば、黒帯検出は、1ラインでの脱相関の平均値が閾値THAVG_B以下の場合、黒帯とする。白線検出は、1ラインでの脱相関値の平均値が閾値THAVG_W以上で、かつ、標準偏差(あるいは分散値)がTHSD_W以下である場合、白線とする。白線の場合、平均値だけで判定を行うと大血管などで脱相関値が高く出る場合があり、これらのような脱相関値の高い血管が含まれる領域を白線と誤検出してしまう事がある。そのため、標準偏差や分散のような値のバラつきを評価する指標と組み合わせて判断する。すなわち、脱相関値の高い血管が含まれる1ラインは、平均値が高くて標準偏差も高くなる。一方、白線の1ラインは、平均値は高いが値のバラつきは小さいため標準偏差は低くなる。なお、OCTA画像は健常眼や患眼、患眼などでも病気の種類に応じて脱相関値の値が変動する。そのため、閾値は画像毎に設定してもよく、P−tileや判別分析のような動的閾値法を用いて、OCTA画像の明るさに応じて設定してもよい。なお、動的閾値法を用いる場合、上限閾値と下限閾値は事前に設定しておき、その値を上回るか下回る場合には、それらの上限閾値、あるいは下限閾値を閾値として設定する。 For example, black belt detection is defined as a black belt when the average value of decorrelation in one line is equal to or less than the threshold value TH AVG_B. The white line detection is defined as a white line when the average value of the decorrelation values in one line is equal to or more than the threshold value TH AVG_W and the standard deviation (or variance value) is equal to or less than TH SD_W. In the case of a white line, if the judgment is made based only on the average value, the decorrelation value may be high in large blood vessels, etc., and areas containing blood vessels with a high decorrelation value such as these may be erroneously detected as white lines. be. Therefore, the judgment is made in combination with an index for evaluating the variation of values such as standard deviation and variance. That is, one line containing a blood vessel having a high decorrelation value has a high average value and a high standard deviation. On the other hand, one white line has a high average value but a small variation in value, so that the standard deviation is low. In the OCTA image, the value of the decorrelation value varies depending on the type of disease even in healthy eyes, affected eyes, and affected eyes. Therefore, the threshold value may be set for each image, or may be set according to the brightness of the OCTA image by using a dynamic threshold method such as P-tile or discriminant analysis. When the dynamic threshold method is used, the upper limit threshold value and the lower limit threshold value are set in advance, and when the value exceeds or falls below the upper limit threshold value or the lower limit threshold value is set as a threshold value.
前処理部13331は、上記で求めたアーティファクト領域を、OCTA画像に対応するMask画像に記憶しておく。図のMask画像において、白い領域は1、黒い領域は0の値を設定した例を示す。
The
<ステップS15532>
ステップS15532では、第一の位置合わせ部13334は、各OCTA画像をそれぞれ位置合わせした場合の位置合わせパラメータを保存するための二次元行列を初期化する。各行列の要素には、位置合わせ時の変形パラメータや画像類似度などの画像高画質化に必要な情報をまとめて保存する。
<Step S15532>
In step S15532, the
<ステップS15533>
ステップS15533では、第一の位置合わせ部13334は、位置合わせ対象を選択する。本実施形態においては、全てのOCTA画像を基準画像に設定して残りのOCTA画像と位置合わせを行う。そのため、ステップS15533においては、Data0のOCTA画像を基準とする場合に、Data1〜Data(N−1)とそれぞれ位置合わせを行う。次に、Data1のOCTA画像を基準とする場合には、Data2〜Data(N−1)とそれぞれ位置合わせを行う。次に、Data2のOCTA画像を基準とする場合には、Data3〜Data(N−1)とそれぞれ位置合わせを行う。これらの処理を繰り返す。この例を図21(a)に示す。図21では簡単のため、Data0〜Data2を示しているが、三次元ボリュームをN回撮影している場合には、N個のOCTA画像間での位置合わせを行う。
<Step S15533>
In step S15533, the
なお、ここで示したように基準画像のDataを1つずつ繰り上げた場合に、位置合わせの対象とする画像のスタートDataも1つずつ大きくする。これについてData2のOCTA画像を基準とする場合について説明をする。Data2を基準とする場合に、Data0とData1、Data0とData2、Data1とData2の位置合わせは、それまでの処理により既に位置合わせ済みである。そのため、Data2のOCTA画像を基準とする場合には、Data3から位置合わせをすればよい。これにより、全部のOCTA画像同士の位置合わせとはいえ、半分の組み合わせを計算すればよいことになる。 When the Data of the reference image is moved up one by one as shown here, the start Data of the image to be aligned is also increased by one. A case where the OCTA image of Data2 is used as a reference will be described. When Data2 is used as a reference, the alignment of Data0 and Data1, Data0 and Data2, and Data1 and Data2 have already been aligned by the processing up to that point. Therefore, when the OCTA image of Data2 is used as a reference, the alignment may be performed from Data3. As a result, even if all OCTA images are aligned with each other, only half of the combinations need to be calculated.
<ステップS15534>
ステップS15534では、第一の位置合わせ部13334は、複数のOCTA画像間において画像の横方向(x軸)と縦方向(y軸)、xy面内の回転位置合わせを行う。OCTA画像間の位置合わせでは、xy面内においてサブピクセル位置合わせを行うために、OCTA画像のサイズを拡大して位置合わせを行う。サブピクセル位置合わせとすることで、ピクセル位置合わせよりも位置合わせの精度が向上することが期待される。例えば、OCTA画像の撮影サイズを300×300とした場合、600×600に拡大をする。拡大する際にはBicubicやLanczos(n)法のような補間方法を用いる。そして、画像同士の位置合わせ処理としては、例えば、2つのOCTA画像の類似度を表す評価関数を事前に定義しておき、OCTA画像位置をずらしたり、回転させたりしながら評価値を計算し、評価値が最もよくなる場所を位置合わせ結果とする。評価関数としては、画素値で評価する方法が挙げられる(例えば、相関係数を用いて評価を行う方法が挙げられる)。
<Step S15534>
In step S15534, the
類似度を表す評価関数として相関係数を用いた場合の式を式6に示す。 Equation 6 shows an equation when the correlation coefficient is used as an evaluation function representing the degree of similarity.
式6において、Data0のOCTA画像の領域をf(x,y)、Data1のOCTA画像の領域をg(x,y)とする。 In Equation 6, the region of the OCTA image of Data0 is f (x, y), and the region of the OCTA image of Data1 is g (x, y).
は、それぞれ領域f(x,y)と領域g(x,y)の平均を表す。なお、ここで領域とは位置合わせに用いるための画像領域であり、通常OCTA画像のサイズ以下の領域が設定され、上述したROIサイズが設定される。 Represents the average of the region f (x, y) and the region g (x, y), respectively. Here, the area is an image area to be used for alignment, and an area smaller than or equal to the size of an OCTA image is usually set, and the ROI size described above is set.
また、評価関数としては、これに限らずSSD(Sum of Squared Difference)や、SAD(Sum of Absolute Difference)でもよく、画像の類似度あるいは相違度を評価出来ればよい。あるいは、POC(Phase Only Correlation)のような方法で、位置合わせを行ってもよい。この処理により、XY面内の大局的な位置合わせが行われる。 Further, the evaluation function is not limited to this, and SSD (Sum of Squared Difference) or SAD (Sum of Absolute Difference) may be used as long as the similarity or difference of the images can be evaluated. Alternatively, the alignment may be performed by a method such as POC (Phase Only Correlation). By this process, the global alignment in the XY plane is performed.
なお、ここではOCTA画像のサイズを拡大して位置合わせを行う例について示したが、これに限らない。また、入力のOCTA画像サイズが900×900のような高密度スキャンの場合には、必ずしも拡大をする必要はない。また、位置合わせを高速で行うため、ピラミッド構造データを生成して位置合わせをしてもよい。 Here, an example in which the size of the OCTA image is enlarged and the alignment is performed is shown, but the present invention is not limited to this. Further, in the case of a high-density scan such that the input OCTA image size is 900 × 900, it is not always necessary to enlarge the image. Further, in order to perform the alignment at high speed, the pyramid structure data may be generated and the alignment may be performed.
<ステップS15535>
ステップS15535では、第一の位置合わせ部13334は、OCTA画像の画像評価値を計算する。画像評価値は、ステップS15534での二次元位置合わせ済みのOCTA画像において、位置合わせにより発生する無効領域を含まない画像の共通領域を用いて計算する。例えば、画像評価値Qは式7で求めることが出来る。
<Step S15535>
In step S15535, the
式7において、Data0のOCTA画像の領域をf(x,y)、Data1のOCTA画像の領域をg(x,y)とする。最初の項は相関係数を表し、式6で示した式と同様である。そのため、式の中のσf、σgはそれぞれ、式6で示したものと対応する。2番目の項は明るさを評価する項であり、 In Equation 7, the region of the OCTA image of Data0 is f (x, y), and the region of the OCTA image of Data1 is g (x, y). The first term represents the correlation coefficient and is similar to the equation shown in Equation 6. Therefore, σ f and σ g in the equation correspond to those shown in Equation 6, respectively. The second term is the term for evaluating brightness,
は、それぞれ領域f(x, y)と領域g(x, y)の平均を表す。3番目の項はコントラストを評価する項である。それぞれの項は、最小値0で、最大値は1となる。例えば、Data0とData1が同じ画像である場合には評価値は1となる。そのため、N個のOCTA画像の中で平均的な画像を基準とした場合に評価値は高く、他のOCTA画像と異なるようなOCTA画像を基準とした場合には評価値は低くなる。ここで、他のOCTA画像と異なるとは、撮影位置が異なる、画像がひずんでいる、全体的に暗いあるいは明るすぎる、白線や黒帯などのアーティファクトが含まれているような場合である。なお、画像評価値は必ずしもここで示した式である必要はなく、それぞれの項を単独で評価してもよいし、組み合わせを変えてもよい。 Represents the average of the region f (x, y) and the region g (x, y), respectively. The third term is a term for evaluating contrast. Each term has a minimum value of 0 and a maximum value of 1. For example, when Data0 and Data1 are the same image, the evaluation value is 1. Therefore, the evaluation value is high when the average image among the N OCTA images is used as a reference, and the evaluation value is low when an OCTA image different from other OCTA images is used as a reference. Here, what is different from other OCTA images is a case where the shooting position is different, the image is distorted, the image is dark or too bright as a whole, and artifacts such as white lines and black bands are included. The image evaluation value does not necessarily have to be the formula shown here, and each term may be evaluated independently or the combination may be changed.
<ステップS15536>
ステップS15536では、第一の位置合わせ部13334は、ステップS15532で初期化した位置合わせや画像類似度などの画像高画質化に必要なパラメータを保存するための二次元行列に対して値を保存する。例えば、基準画像をData0、対象画像をData1とする場合、二次元行列の要素(0、1)に横方向の位置合わせパラメータX、縦方向の位置合わせパラメータY、XY面内の回転パラメータα、画像評価値、画像類似度を保存する。これらの情報の他に、図20で示したMask画像をOCTA画像と関連付けて保存しておく。さらに、本実施形態では説明をしないが、倍率補正を行う場合には、倍率を保存してもよい。
<Step S15536>
In step S15536, the
<ステップS15537>
ステップS15537では、第一の位置合わせ部13334は、全ての画像を基準画像として残りの対象画像と位置合わせを行ったか否かを判定する。全ての画像を基準として処理をしていない場合には、ステップS15533に戻る。そして、全ての画像を基準として処理をした場合には、ステップS15538に進む。
<Step S15537>
In step S15537, the
<ステップS15538>
ステップS15538では、第一の位置合わせ部13334は、二次元行列の残りの要素を更新する。上記処理は、ステップS15533で説明したように、半分の組み合わせしか計算をしていない。そのため、計算をしていない要素にこれらの値をコピーする。例えば、二次元行列の要素(0、1)のパラメータは(1、0)の要素にコピーされる。すなわち、要素(i、j)を要素(j、i)にコピーする。この際、位置合わせパラメータX、Yと回転パラメータαは逆になるため、負の値を掛けてコピーをする。なお、画像類似度などは逆にならないため、同じ値をそのままコピーする。これらの処理によりOCTA画像位置合わせが行われる。次に、図15(b)の処理フローに戻って説明を行う。
<Step S15538>
In step S15538, the
<ステップS1554>
ステップS1554では、選択部13335が基準画像の選択を行う。ステップS1553で行った位置合わせの結果に基づいて基準画像選択を行う。ステップS1553において、二次元行列を作成しており、行列の各要素に高画質化画像生成に必要な情報が保存されている。そのため、その情報を用いることで基準画像選択を行う。基準画像選択において、画像評価値、位置合わせパラメータ評価値、アーティファクト領域評価値を用いて選択を行う。画像評価値は、ステップS15535で求めた値を用いる。位置合わせパラメータは、ステップS15534で求めた位置合わせ結果のXとYを用いて、例えば、式8を用いて評価値とする。式8では、移動量が大きいほど大きな値となる。
<Step S1554>
In step S1554, the
アーティファクト領域評価値は、ステップS15531で求めたMask画像を用いて、例えば、式9を用いて評価値とする。式9では、T(x,y)はMask画像でのアーティファクトではない領域のピクセルを表し、A(x,y)はMask画像の全ピクセルを表す。そのため、アーティファクトが存在しない場合、最大値は1となる。 The artifact region evaluation value is set as an evaluation value using, for example, Equation 9 using the Mask image obtained in step S15531. In Equation 9, T (x, y) represents the pixels in the non-artifact region of the Mask image, and A (x, y) represents all the pixels of the Mask image. Therefore, if there are no artifacts, the maximum value is 1.
画像評価値とアーティファクト領域評価値は数値が大きい方が良く、位置合わせパラメータ評価値は数値が小さい方がよい。また、画像評価値と位置合わせパラメータ評価値は、ある画像を基準とした時に、その他の画像との関係で求める値であるため、N−1個の合計値となる。これらの評価値は評価尺度が異なるため、それぞれの値でソートを行い、ソートしたインデックスの合計値により基準画像を選択する。例えば、画像評価値とアーティファクト領域評価値は数値が大きいほど、ソート後のインデックスが小さくなるようにソートを行い、位置合わせパラメータ評価値は数値が小さいほど、ソート後のインデックスが小さくなるようにソートを行う。これらのソート後のインデックス値が最も小さくなる画像を基準画像として選択する。 The image evaluation value and the artifact area evaluation value should have a large numerical value, and the alignment parameter evaluation value should have a small numerical value. Further, since the image evaluation value and the alignment parameter evaluation value are values obtained in relation to other images when a certain image is used as a reference, they are the total value of N-1 pieces. Since these evaluation values have different evaluation scales, sorting is performed by each value, and a reference image is selected based on the total value of the sorted indexes. For example, the image evaluation value and the artifact area evaluation value are sorted so that the larger the numerical value, the smaller the index after sorting, and the smaller the numerical value of the alignment parameter evaluation value, the smaller the index after sorting. I do. The image having the smallest index value after sorting is selected as the reference image.
なお、基準画像選択の方法について、ソート値を合計することで基準画像を選択する例について述べたがこれに限らない。それぞれの評価値のソート後のインデックスに重みをつけて評価値を計算するようにしてもよい。 Regarding the method of selecting the reference image, an example of selecting the reference image by summing the sort values has been described, but the present invention is not limited to this. The evaluation value may be calculated by weighting the sorted index of each evaluation value.
あるいは、ソート値ではなく、それぞれの評価値が1になるように正規化をして計算するようにしてもよい。例えば、画像評価値は1に正規化しているが、本実施形態においてはN−1個の合計値であるため、平均値を用いるようにすればよい。 Alternatively, the calculation may be performed by normalizing so that each evaluation value becomes 1 instead of the sort value. For example, the image evaluation value is normalized to 1, but in the present embodiment, it is the total value of N-1, so the average value may be used.
位置合わせパラメータ評価値は、式10のように定義すれば1に正規化でき、この場合、評価値が1に近いほうが良い評価値となる。
The alignment parameter evaluation value can be normalized to 1 by defining it as in
式10において、SVnは式8で求めた値のN−1個の合計値で、添え字のnはData番号に対応する。そのため、Data0の場合は、SV0である。SVmaxは、Data0〜Data(N−1)の間で最大の位置合わせパラメータ評価値である。αは重みであり、SVnとSVmaxが同じ数値の時に、NSVnの値をいくつに設定するかを調整するパラメータである。なお、最大値SVmaxは上述したように実際のデータから決めてもよいし、閾値として事前に定義しておいてもよい。
In
アーティファクト領域評価値は0〜1に正規化してあるので、そのまま用いればよい。 Since the artifact region evaluation value is normalized to 0 to 1, it can be used as it is.
このように、全ての評価値を1に正規化した場合には、評価値の合計値が最も大きくなるものを基準画像として選択する。 In this way, when all the evaluation values are normalized to 1, the image having the largest total evaluation value is selected as the reference image.
ここで説明したように、基準画像は、N個の画像の中で平均的な画像であり、他の画像を位置合わせする際に移動量が少なく、アーティファクトが少ないという条件を最も満たす画像が選択される。この例により選択される基準画像の例を図21(b)に示す。この例では、基準画像にData1を選択している。そして、Data0とData2は、第一の位置合わせ部13334で求めた位置合わせパラメータに基づき、それぞれ移動している。
As explained here, the reference image is an average image among the N images, and the image that most satisfies the conditions that the amount of movement is small and the number of artifacts is small when aligning other images is selected. Will be done. An example of the reference image selected by this example is shown in FIG. 21 (b). In this example, Data1 is selected as the reference image. Then, Data0 and Data2 are moving based on the alignment parameters obtained by the
<ステップS1555>
ステップS1555では、第二の位置合わせ部13336がOCTA画像を用いて網膜の横方向(x軸)の位置合わせを行う。これについて図22を用いて説明をする。図22(a)は、基準画像がData1で、位置合わせ対象がData2との横方向位置合わせを行う例を示している。また、Maskは、Data2に含まれるアーティファクト(図では横方向の黒いライン)と、Data1との位置合わせの結果Data2が移動することにより生じる無効領域(図では縦方向の黒いライン)に0を設定してある。基準画像と位置合わせ対象画像は、それぞれのラインで横方向に位置合わせを行い、ライン単位での類似度を計算する。類似度の計算には、例えば式6を用いる。そして、類似度が最大となる位置にラインを移動させる。また、ライン単位で基準画像に対しての類似度を計算し、類似度に応じてMaskに重みを設定する。
<Step S1555>
In step S1555, the
第二の位置合わせ部13336による位置合わせ結果の例を図22(b)に示す。図22(b)では、画像上端と画像中心付近では、基準画像と似ていないと判断し、重ね合わせに使用しないラインとしてMask画像に横方向の黒ラインを設定した例を示している。また、画像中心付近と画像下端では、ライン単位の位置合わせの結果として、中心付近では左側にずらし、画像下端では右側にずらした例を示している。画像をずらす事で無効領域が生じるため、Maskには無効領域に0を設定する。この処理により、XY面内の局所的な位置合わせが行われる。
An example of the alignment result by the
なお、第一の位置合わせで求めた回転パラメータαに関して、第二の位置合わせを行う前にそれぞれの画像に対して適用してもよいし、第二の位置合わせを行った後に適用するようにしてもよい。 The rotation parameter α obtained in the first alignment may be applied to each image before the second alignment is performed, or may be applied after the second alignment is performed. You may.
<ステップS1556>
ステップS1556では、第三の位置合わせ部13337は、基準の三次元データとその他の三次元データとの深さ方向(Z方向)における位置合わせを行う。この処理に関して、図17のフローチャートを用いて説明をする。
<Step S1556>
In step S1556, the
<ステップS15561>
ステップS15561では、第三の位置合わせ部13337は、基準となる三次元モーションコントラストデータと基準となる三次元の断層画像データをそれぞれ記憶しておく。例えば、本実施形態ではData1の三次元モーションコントラストデータと三次元の断層画像データを記憶する。
<Step S15561>
In step S15561, the
<ステップS15562>
ステップS15562では、第三の位置合わせ部13337は、ステップS1551で検出した境界線情報を取得する。なお、本実施形態において深さ方向位置合わせに用いる境界線は境界線L1とする。
<Step S15562>
In step S15562, the
<ステップS15563>
ステップS15563では、第三の位置合わせ部13337は、それぞれの三次元データ毎に深さ方向の位置と傾きを合わせる。三次元の断層像を撮影する際に眼は動いている。XY面内の移動に関しては、リアルタイムにトラッキングを行いながら撮影を行うため、撮影時にほとんど位置合わせが出来ている。しかし、深さ方向に関してはリアルタイムトラッキングをしていないため、データ内部でも位置合わせを行う必要がある。すなわち、ここでの説明は一つの三次元データ内の位置合わせに関する。これについて、図23を用いて説明をする。図23(a)は、位置合わせに用いる境界線の例を示している。本実施形態においては、境界線L1(ILM)を用いる場合について説明をする。なお、本実施形態においては境界線L1を使用する例について説明を行うが、境界線の種類はこれに限らない。他の境界線でもよいし、複数の境界線を組み合わせてもよい。
<Step S15563>
In step S15563, the
図23(a)において、基準データをIndexc、対象データをIndexc−1としている。なお、最初の基準データは三次元データの中心、対象データは基準データに対して副走査方向において隣の境界線とする。 In FIG. 23A, the reference data is Indexc and the target data is Indexc-1. The first reference data is the center of the three-dimensional data, and the target data is the boundary line adjacent to the reference data in the sub-scanning direction.
図23(b)に、説明のために基準データの境界線L1と位置合わせ対象の境界線L1’とを同時に表示する。図23(b)において、境界線を縦方向に12分割している。本実施形態では、分割数を12として説明をする。それぞれの領域はArea0〜Area11とする。なお、図23(b)において、画像中心部に分割領域を描画していないが、実際には画像全体を領域分割している。そして、上下矢印Difference1は、境界線L1と境界線L1’との差を表す。これらの差は、それぞれの領域Area0〜Area11それぞれで求める。これらの分割数は横方向の画像サイズに応じて変更してもよい。あるいは、共通して検出した境界線の横幅のサイズに応じて変更してもよい。本実施形態では簡単のため、横方向の境界線サイズを同じで表示しているが、実際には、網膜層が画像の上方向にずれ(Z軸で0の方向)、網膜層の一部領域が画像から欠損する場合がある。その場合には、画像全体で境界線が検出出来ない。そのため、境界線同士の位置合わせにおいては、基準データの境界線L1と位置合わせ対象の境界線L1’との境界線が検出出来ている範囲を分割して位置合わせをすることができる。
In FIG. 23B, the boundary line L1 of the reference data and the boundary line L1'of the alignment target are displayed at the same time for the sake of explanation. In FIG. 23B, the boundary line is divided into 12 in the vertical direction. In the present embodiment, the number of divisions will be set to 12. Each region is
図23(b)において各領域のDifference1の平均をそれぞれD0〜D11とする。すなわち、ILMの差の平均をその領域の差分の代表値とする。次に各領域で求めた代表値D0〜D11を小さい順にソートする。そして、ソートした代表値を小さい順から8個用いて、平均と分散を計算する。なお、本実施形態では選択数は8個とする。しかし、数はこれに限定されない。選択する数は分割数よりも小さければよい。平均と分散の計算は、ソートした代表値を一つずつずらして計算する。すなわち、本実施形態では12個に分割した領域のうち8個の代表値を用いて計算をするため、全部で5種類の平均値と分散値が求まる。次に、求めた5種類の分散値の中で最小となる分散値を算出した際の8個の差分の代表値を用いて深さ方向のシフト値と傾きを求める。これについて、図23(c)と式11を用いて説明をする。図23(c)は、横軸に分割領域の中心x座標、縦軸に差分の代表値としたグラフである。図23(c)において、黒丸は分散値が最小となった組み合わせの差分の代表値の例であり、黒三角は選択されなかった差分の代表値の例を示している。式11は、分散値が最小となった組み合わせの差分の代表値(図23(c)における黒丸)を用いて計算をする。
In FIG. 23 (b), the average of
式11においてDが深さ方向のシフト値であり、xはx座標、すなわちAスキャン位置である。式11におけるaとbに関して、式12と式13に示す。式12及び式13において、xiは選択された分割領域の中心x座標、Diは選択された差分の代表値であり、nは選択した代表値の数なので、本実施形態においてnは8となる。式11により、各Aスキャンの深さ方向のシフト値が求まる。
In
ここで示すように境界線位置合わせ時に領域を分割し、分割した領域の差分値の組み合わせにおいて最もバラつきが小さくなる値を用いることで、境界線検出に誤りがあったとしても、それらの領域の値は使用しない。そのため、安定して深さ方向のシフト値を計算することが出来る。なお、各領域の深さ方向の代表値として平均値としたが中央値でも良く、代表的な値を用いることが出来ればよい。さらに、バラつきの値として分散値としたが標準偏差でもよく、値のバラつきを評価出来る指標であればよい。 As shown here, by dividing the area at the time of boundary line alignment and using the value that minimizes the variation in the combination of the difference values of the divided areas, even if there is an error in the boundary line detection, the area of those areas No value is used. Therefore, the shift value in the depth direction can be calculated stably. Although the average value is used as the representative value in the depth direction of each region, the median value may be used as long as a representative value can be used. Further, although the variance value is used as the value of the variation, the standard deviation may be used, and any index that can evaluate the variation of the value may be used.
この処理に関して、基準データと対象データを変えながら全てのデータに関して位置合わせを行う。すなわち、最初の基準データは三次元データの中心境界線、対象データは基準データの隣の境界線データとした。この位置合わせが終了したら、その次には、先ほど対象データとしたデータを基準データとして、さらにその隣のデータを対象データとして位置合わせを行う。この処理が画像の端まで完了したら、再度、基準データを中心境界線として、最初の位置合わせとは反対側の隣の境界線データを対象データとして位置合わせをする。反対側においてもこの処理を画像の端まで行う。万が一、層検出出来ていないデータがある場合には、一つ前の位置合わせパラメータを用いて補正を行い、次のデータに進む。 Regarding this process, alignment is performed for all data while changing the reference data and the target data. That is, the first reference data is the central boundary line of the three-dimensional data, and the target data is the boundary line data next to the reference data. After this alignment is completed, the data used as the target data is used as the reference data, and the data next to the target data is used as the target data for the alignment. When this process is completed up to the edge of the image, the reference data is used as the center boundary line, and the adjacent boundary line data on the opposite side of the initial alignment is used as the target data for alignment. This process is also performed on the opposite side up to the edge of the image. In the unlikely event that there is data for which layer detection has not been performed, correction is performed using the previous alignment parameter, and the process proceeds to the next data.
この処理を適用した例を図24(a)に示す。図24は、境界線L1のZ座標を輝度値として表現したDepthMapである。すなわち、DepthMapが明るい場合はZ座標の値が大きく、DepthMapが暗い場合はZ座標の値が小さいことを表している。図24にはData0〜Data2を示し、上側のDepthMapは位置合わせ前で、下側のDepthMapは位置合わせ後である。位置合わせ前のDepthMapには、全てのDataにおいて、横方向の色むらがある。これは、撮影時にZ方向に網膜が動いていることを表している。一方、位置合わせ後のDepthMapには、横方向の色むらが無く、隣接するデータ間でZ方向の位置が合っていることを表している。なお、深さ方向位置合わせにおいて、データの片側を位置合わせした後に、反対側の位置合わせをする例について示したが、それに限らない。最初の基準データを同じにして、両側の処理を並列に実行してもよい。 An example in which this process is applied is shown in FIG. 24 (a). FIG. 24 is a DepthMap in which the Z coordinate of the boundary line L1 is expressed as a luminance value. That is, when the DepthMap is bright, the value of the Z coordinate is large, and when the DepthMap is dark, the value of the Z coordinate is small. FIG. 24 shows Data0 to Data2, the upper DepthMap is before the alignment, and the lower DepthMap is after the alignment. The DepthMap before alignment has lateral color unevenness in all Data. This indicates that the retina is moving in the Z direction at the time of photographing. On the other hand, the DepthMap after alignment has no color unevenness in the horizontal direction, indicating that the positions in the Z direction are aligned between adjacent data. In addition, in the depth direction alignment, an example in which one side of the data is aligned and then the other side is aligned is shown, but the present invention is not limited to this. The first reference data may be the same, and the processing on both sides may be executed in parallel.
なお、第三の位置合わせ部13337は、基準データ(本実施形態ではData1)の各Aスキャンの深度方向への移動量を記憶しておく。
The
<ステップS15564>
ステップS15564では、第三の位置合わせ部13337は、複数の三次元データ間での深さ方向の位置と傾きを合わせる。ここでは、ステップS15563で三次元データ内での深さ方向の位置合わせをしたデータを用いて、三次元データ間での位置合わせを行う。ここでも、先ほどと同様に境界線L1を用いて位置合わせをする。計算方法は、ステップS15563と同様であるが、計算する対象は、データ内ではなくデータ間となる。そのため、基準データと対象データとの位置合わせを行う。これについて、図24(b)を用いて説明をする。本実施形態において、基準データはData1で、位置合わせの対象データはData0とData2とする。そのため、DepthMapに対して、第一の位置合わせ、第二の位置合わせで求めたパラメータを適用して、Data0とData2のDepthMapをそれぞれ変形させる。そして、Data0とData2共に、Data1に対して、各Bスキャンに相当する境界線L1の深さ方向位置合わせを実行する。これらの計算式は式11と同様の方法で行う。
<Step S15564>
In step S15564, the
図24(b)では、Data0〜Data2を示し、上側のDepthMapはデータ内での位置合わせ後で、下側のDepthMapはデータ間での位置合わせ後である。データ内での位置合わせ後のDepthMapでは、Data0〜Data2において網膜のZ位置が異なるため、DepthMapの明るさが異なっている。一方、データ間での位置合わせ後のDepthMapでは、Data0〜Data2において網膜のZ位置が揃っているため、DepthMapの明るさも揃っていることを表している。 In FIG. 24B, Data0 to Data2 are shown, the upper DepthMap is after the alignment in the data, and the lower DepthMap is after the alignment between the data. In the DepthMap after alignment in the data, the brightness of the DepthMap is different because the Z position of the retina is different between Data0 and Data2. On the other hand, in the DepthMap after the alignment between the data, since the Z positions of the retinas are aligned in Data0 to Data2, it means that the brightness of the DepthMap is also aligned.
これらの処理により、Z方向の大局的な位置合わせが行われる。 By these processes, the global alignment in the Z direction is performed.
<ステップS15565>
ステップS15565では、第三の位置合わせ部13337は、第一の位置合わせ、第二の位置合わせ、第三の位置合わせで求めたX、Y、Rotation、及びZに関する変形パラメータを適用して三次元データを変形する。三次元データは断層画像データ、モーションコントラストデータの両方ともに変形をする。なお、ステップS15534においてxy面内において画像を拡大して位置合わせを行っている場合、三次元データ変形時に元のサイズに相当する変形パラメータに戻す。すなわち、2倍に拡大した画像でのxy面内位置合わせパラメータの数値が1であった場合、ここでは、0.5であるとする。そして、元のサイズで三次元データの形状変形を行う。
<Step S15565>
In step S15565, the
三次元データを変換する際に、X、Y、Rotation、及びZに関する変形パラメータがサブピクセルあるいはサブボクセルでの移動量である場合、三次元データを補間処理で変形させる。ここで、サブピクセルあるいはサブボクセルであるとは、移動量が0.5のような実数値の場合や、Rotationパラメータが0ではなく、データを回転させる場合などの事である。形状データの補間には、BicubicやLanczos(n)法などを用いる。 When converting the three-dimensional data, if the transformation parameters related to X, Y, Rotation, and Z are the amount of movement in the sub-pixel or sub-boxel, the three-dimensional data is transformed by the interpolation process. Here, the sub-pixel or sub-boxel is a case where the movement amount is a real value such as 0.5, or a case where the Rotation parameter is not 0 and the data is rotated. Bicubic, Lanczos (n) method, or the like is used for interpolation of shape data.
図25は、Data0〜Data2の三次元断層像を示しており、上側の三次元断層像は、位置合わせを行う前の三次元断層像であり、下側の三次元断層像は、第一の位置合わせ、第二の位置合わせ、第三の位置合わせを行った後に画像変形した三次元断層像である。ここで示すように、データ内かつデータ間での位置合わせ後の三次元断層像は、Data0〜Data2において網膜のXYZに関する位置合わせが成されたことを表している。 FIG. 25 shows the three-dimensional tomographic images of Data0 to Data2, the upper three-dimensional tomographic image is the three-dimensional tomographic image before the alignment, and the lower three-dimensional tomographic image is the first. It is a three-dimensional tomographic image in which the image is deformed after the alignment, the second alignment, and the third alignment. As shown here, the three-dimensional tomographic image within and after the alignment between the data indicates that the alignment of the retina with respect to XYZ was performed in Data0 to Data2.
<ステップS15566>
ステップS15566では、第三の位置合わせ部13337は、データ間でのZ位置合わせを行ったDepthMapにおいて、基準データと対象データとの差分検出を行う。そして、差分の絶対値が閾値以上の場所(x、y)においては、位置合わせの精度が低いと判断し重ね合わせに使用しない。そのため、対象データのMask画像に無効領域として0を設定する。
<Step S15566>
In step S15566, the
<ステップS1557>
ステップS1557では、第四の位置合わせ部13338は、基準データと対象データ間において、断層画像内部の特徴がある部分に位置合わせのための領域を複数設定し、その領域単位で網膜の横方向(x軸)と深さ方向(z軸)の位置合わせを行う。なお、ここでの位置合わせはZ方向の局所位置合わせとして説明をする。第四の位置合わせ部13338が行う局所位置合わせについて、図18のフローチャートを用いて説明をする。
<Step S1557>
In step S1557, the
<ステップS15571>
ステップS15571では、第四の位置合わせ部13338は、ステップS1551で検出した境界線情報を取得する。なお、本実施形態において深さ方向位置合わせに用いる境界線は境界線L1と境界線L3とする。
<Step S15571>
In step S15571, the
<ステップS15572>
ステップS15572では、第四の位置合わせ部13338は、対象画像の特徴領域を含むように位置合わせ用の領域を設定する。これについて、図26を用いて説明をする。
<Step S15572>
In step S15572, the
図26には基準データの三次元断層像の中の断層画像と、位置合わせ対象となる三次元断層像の中の断層画像を示している。位置合わせ対象となる対象画像1には、基準断層画像の境界線情報L1とL3を基にして設定する複数の位置合わせ用の領域(ROI:Region of Interesting)の例を示す。ROIの深さ方向サイズは、L1とL3を基準として、それよりもそれぞれ数10ピクセル程度、上方向と下方向に広く設定する。なお、上下方向に数10ピクセル程度パラメータを設定する場合において、大局位置合わせの結果を用いてパラメータを補正することがある。これは、図26の対象画像1に示すように大局位置合わせにおいて、画像全体を下方向にシフトさせている場合、画像の上端部に無効領域が存在する。この場合、ROIを設定する範囲とその探索領域が無効領域を含まないように初期のROIサイズを補正する必要がある。ROIの横方向サイズは、画像を分割したサイズから設定する。分割数は、画像のサイズ(Aスキャン本数)や画像の撮影サイズ(3mm)など、撮影パラメータに合わせて設定をする。例えば、本実施形態において、Aスキャン本数を300、撮影サイズを3mmとした場合、分割数は10とする。なお、横方向のサイズとROIの設定値においても大局位置合わせの結果を用いて補正を行う。上下方向のパラメータ同様に横方向においても無効領域が存在することがあるため、ROIを設定する範囲とその探索領域が無効領域を含まないように設定する必要がある。
FIG. 26 shows a tomographic image in the three-dimensional tomographic image of the reference data and a tomographic image in the three-dimensional tomographic image to be aligned. The
そして、局所位置合わせ用のROIは、それぞれ重畳するように設定する。これは、ROIを重複させずに、ROIのサイズを小さくする場合、ROIの中に特徴的な部位を含まない場所が存在することがあるためである。例えば、網膜を狭画角で撮影した場合、画像内に平坦な組織が広い範囲において写る場合がある。また一方、ROIを重複させずに、特徴を含むようにROIの範囲を広く設定すると、局所位置合わせのためのサンプリング数が少なくなり、粗い位置合わせとなってしまうためである。そのため、これらの問題を解決するために、ROIのX方向のサイズを広くして、かつそれぞれのROI同士を重畳させて設定する。なお、図26において、画像中心部にROIを描画していないが、実際には画像の左端から右端まで網膜上にROIを設定する。さらに、ROIを設定する間隔は、ROI位置合わせ時の探索範囲を考慮することができる。具体的には、ROI位置合わせ時の横方向探索範囲をXRとする場合、隣接するROIの中心座標の間隔が2XR以上となるように設定をする。これは、中心座標の間隔を2XR未満とする場合、隣接するROI同士の中心位置が入れ替わる可能性があるためである。 Then, the ROIs for local alignment are set so as to overlap each other. This is because when the size of the ROI is reduced without overlapping the ROIs, there may be a place in the ROI that does not contain a characteristic site. For example, when the retina is photographed at a narrow angle of view, flat tissue may appear in a wide range in the image. On the other hand, if the ROI range is set wide so as to include features without overlapping the ROIs, the number of samplings for local alignment is reduced, resulting in coarse alignment. Therefore, in order to solve these problems, the size of the ROIs in the X direction is widened, and the ROIs are set to be superimposed on each other. Although the ROI is not drawn in the center of the image in FIG. 26, the ROI is actually set on the retina from the left end to the right end of the image. Further, the search range at the time of ROI alignment can be taken into consideration as the interval for setting the ROI. Specifically, when the lateral search range at the time of ROI alignment is XR, the distance between the center coordinates of adjacent ROIs is set to be 2XR or more. This is because if the distance between the center coordinates is less than 2XR, the center positions of adjacent ROIs may be exchanged.
<ステップS15573>
ステップS15573では、第四の位置合わせ部13338は、ROIを使って領域位置合わせを行う。領域位置合わせは断層画像で行う。そのため、ステップS15534で示したOCTA画像位置合わせと同様に式1を用いて画像類似度に応じた位置合わせを行う。ただし、類似度の評価値はこれに限らず、SSD(Sum of Squared Difference)や、SAD(Sum of Absolute Difference)などでもよい。あるいは、POC(Phase Only Correlation)のような方法で、位置合わせを行ってもよい。
<Step S15573>
In step S15573, the
画像位置合わせは、対象画像に設定したROIが基準となる断層画像ではどこにあるかを探索する。この際、第一〜第三の位置合わせにより、三次元の断層画像データの変形を行っているので、基準画像と対象画像とのおおよその位置は合っている。そのため、基準画像での位置合わせの探索範囲は、ROIの初期位置から上下左右数〜数10ピクセルを探索すればよく、最も類似する場所を位置合わせ結果とする。なお、探索領域は固定でもよいし、撮影画角、撮影部位、画像の場所(端や中心)に応じて変更してもよい。撮影画角が狭くスキャンスピードが速い場合には、1枚の画像を撮影している間の眼の移動量は小さいが、撮影画角が広くなると眼の移動量も大きくなる。そのため、撮影画角が大きい場合には探索範囲を広くしてもよい。また、眼が回転する中心部分と周辺部とでは、移動量は周辺部の方が大きくなるため、周辺部の方を探索範囲を広くしてもよい。 The image alignment searches for where the ROI set in the target image is in the reference tomographic image. At this time, since the three-dimensional tomographic image data is deformed by the first to third alignments, the reference image and the target image are approximately aligned. Therefore, the search range for alignment in the reference image may be several to several tens of pixels in the vertical and horizontal directions from the initial position of the ROI, and the most similar location is used as the alignment result. The search area may be fixed, or may be changed according to the shooting angle of view, the shooting portion, and the location (edge or center) of the image. When the shooting angle of view is narrow and the scanning speed is high, the amount of eye movement during one image shooting is small, but the amount of eye movement increases as the shooting angle of view increases. Therefore, when the shooting angle of view is large, the search range may be widened. Further, since the amount of movement between the central portion and the peripheral portion where the eyes rotate is larger in the peripheral portion, the search range may be wider in the peripheral portion.
<ステップS15574>
ステップS15574では、第四の位置合わせ部13338は、ステップS15573で求めた位置合わせパラメータを補間することで各Aスキャンの移動量を算出する。これについて、図27を用いて説明をする。図27(a)は、初期設定した領域のROI1〜ROI3を表している。C1〜C3の下三角はROI1〜ROI3の中心位置を表している。また、図27(b)は、ステップS3573での位置合わせ後のROIの移動例を示している。図27(b)においては、ROI1とROI3がそれぞれ右側に移動し、ROI2が移動しない場合の例である。そのため、ROIの中心C1とC3がそれぞれC1’とC3’に移動している。各ROIの移動量からAスキャンの移動量を算出するためには、隣接するROIとROIの中心位置の移動量に基づいて算出をする。例えば、ROI1の中心位置はC1からC1’に移動しており、ROI2の中心位置はC2のままである。ここで、変形前のC1からC2の間にある各AスキャンのX方向移動量を求める式を式14〜16に示す。
<Step S15574>
In step S15574, the
式14〜16において、X1、X2は各ROIの初期中心座標、ΔX1、ΔX2は各ROIの中心座標のX方向移動量、A_beforeは変形前のAスキャンインデックスの値、A_afterはA_beforeが参照する、変形前のAスキャンインデックスの値となる。例えば、A_beforeが55、計算の結果でA_afterが56とする場合、Aスキャンインデックス55には、Aスキャンインデックス56のAスキャンデータが入る。なお、Z方向の移動量も式14〜16と同様の考え方に基づき、各ROIの中心位置の移動量から求めることが出来、上下方向に数ピクセルデータを移動する。なお、A_afterの値は実数でも整数でもよい。実数の場合は、複数のAスキャンデータから補間方法(BilinearやBicubic等)により新しいAスキャンデータを作成する。整数の場合は、対応するAスキャンインデックスのデータをそのまま参照する。なお、ここでは、X方向とZ方向の両方を局所的に位置合わせする例を示したがこれに限らない。例えば、X方向だけ、Z方向だけのどちらか一方のみを局所的に変形させるようにしてもよい。なお、X方向はトラッキングで撮影時に位置合わせを行っているため、処理負荷を軽減するために、Z方向のみ局所的な位置合わせをするようにしてもよい。 In equations 14 to 16, X1 and X2 are the initial center coordinates of each ROI, ΔX1 and ΔX2 are the amount of movement of the center coordinates of each ROI in the X direction, A_before is the value of the A scan index before deformation, and A_after is referred to by A_before. It is the value of the A scan index before deformation. For example, when A_before is 55 and A_after is 56 in the calculation result, the A scan data of the A scan index 56 is stored in the A scan index 55. The amount of movement in the Z direction can also be obtained from the amount of movement at the center position of each ROI based on the same concept as in equations 14 to 16, and several pixel data is moved in the vertical direction. The value of A_after may be a real number or an integer. In the case of a real number, new A scan data is created from a plurality of A scan data by an interpolation method (Bilinar, Bicubic, etc.). In the case of an integer, the data of the corresponding A scan index is referred to as it is. Here, an example of locally aligning both the X direction and the Z direction is shown, but the present invention is not limited to this. For example, only one of the X direction and the Z direction may be locally deformed. Since the X direction is aligned at the time of shooting by tracking, local alignment may be performed only in the Z direction in order to reduce the processing load.
<ステップS15575>
ステップS15575では、第四の位置合わせ部13338は、ステップS15574で求めたAスキャン移動量を基に、Aスキャン毎にX方向とZ方向に移動させる。それにより、Aスキャン単位で変形した断層画像を生成することが出来る。なお、変形させる三次元データは断層画像データ、モーションコントラストデータの両方ともに変形をする。
<Step S15575>
In step S15575, the
<ステップS15576>
ステップS15576では、基準となる三次元データの全ての断層画像に対して、位置合わせの対象となるデータの全てを局所位置合わせを行ったか否かを判定する。全てのデータを処理していない場合には、ステップS15571に戻る。そして、全てのデータを局所位置合わせした場合には、局所位置合わせの処理が終了する。
<Step S15576>
In step S15576, it is determined whether or not all the data to be aligned have been locally aligned with respect to all the tomographic images of the reference three-dimensional data. If all the data has not been processed, the process returns to step S15571. Then, when all the data are locally aligned, the local alignment process ends.
これらの処理により局所位置合わせが行われる。次に、図15(b)の処理フローに戻って説明を行う。 Local alignment is performed by these processes. Next, the process return to the processing flow of FIG. 15B will be described.
<ステップS1558>
ステップS1558では、画像合成部13339は、選択部13335が選択した基準となる三次元モーションコントラストデータと、複数の三次元モーションコントラストデータ同士を加算平均する。加算平均処理では、ボクセル毎に、複数のモーションコントラストデータとMask画像の値を掛け算した値の合計値SUM_Aと、複数のMask画像の値の合計値SUM_Bをそれぞれ保持しておく。Mask画像にはアーティファクトとして除去した無効領域や、位置合わせによりデータが存在しない無効領域が0として保存されているため、Mask画像の合計値SUM_Bにはボクセル毎に異なる値が保持されている。通常、位置合わせにおいてXYZ毎、数10ボクセルの移動が想定されるため、重ね合わせに用いたデータ数がN個である場合、画像中心付近のSUM_Bのボクセル値はNであり、画像端部のSUM_Bのボクセル値はNよりも少ない値になる。そして、加算平均処理では、SUM_AをSUM_Bで割ることにより加算平均を計算したモーションコントラストデータを求めることが出来る。
<Step S1558>
In step S1558, the
これらの加算平均処理を行う前後のモーションコントラストデータを図28〜図30に示す。図28はXZ面、図29はXY面、図30は三次元モーションコントラストデータをボリュームレンダリングして表示する例である。 Motion contrast data before and after performing these addition averaging processes are shown in FIGS. 28 to 30. FIG. 28 is an XZ plane, FIG. 29 is an XY plane, and FIG. 30 is an example of volume rendering and displaying three-dimensional motion contrast data.
図28(a)の左側は加算平均前の三次元モーションコントラストデータの1断面を示し、図28(a)の右側が加算平均後の三次元モーションコントラストデータの1断面を示す。図29(a)の左側は加算平均前の三次元モーションコントラストデータから生成する網膜表層のOCTA画像、図29(a)の右側が加算平均後の三次元モーションコントラストデータから生成する網膜表層のOCTA画像を示す。図30(a)は加算平均前の三次元モーションコントラストデータのボリュームレンダリングデータ、図30(b)は加算平均後の三次元モーションコントラストデータのボリュームレンダリングデータの例である。図28〜図30に示すように加算平均処理により、コントラストが向上した三次元モーションコントラストデータを得ることが出来る。図30のようにモーションコントラストデータのボリュームレンダリングを行うと、二次元のOCTA画像では認識しにくい血管の深さ方向における上下関係なども把握し易くなる。 The left side of FIG. 28A shows one cross section of the three-dimensional motion contrast data before the addition averaging, and the right side of FIG. 28A shows one cross section of the three-dimensional motion contrast data after the addition averaging. The left side of FIG. 29 (a) is the OCTA image of the retinal surface layer generated from the three-dimensional motion contrast data before the addition averaging, and the right side of FIG. 29 (a) is the OCTA of the retinal surface layer generated from the three-dimensional motion contrast data after the addition averaging. The image is shown. FIG. 30A is an example of volume rendering data of the three-dimensional motion contrast data before addition averaging, and FIG. 30B is an example of volume rendering data of three-dimensional motion contrast data after addition averaging. As shown in FIGS. 28 to 30, three-dimensional motion contrast data with improved contrast can be obtained by the addition averaging process. When volume rendering of motion contrast data is performed as shown in FIG. 30, it becomes easy to grasp the vertical relationship in the depth direction of blood vessels, which is difficult to recognize in a two-dimensional OCTA image.
三次元モーションコントラストデータと同様に、複数の三次元断層画像データに関しても加算平均処理を行う。なお、モーションコントラストデータと同様に加算平均処理を行う前後の三次元断層像の1断面を図28(b)に示す。図28(b)の左側が加算平均前の三次元断層像を示し、図28(b)の右側が加算平均後の三次元断層像の1断面を示す。図28(b)に示すように、加算平均前の画像ではノイズが多く血管とノイズの差や、層の境界が不明瞭である。しかし、加算平均後の画像ではノイズが少なく血管や網膜層の構造を認識することが出来る。図29(b)には、三次元断層像から生成する正面画像を示す。図29(b)の左側は加算平均前の三次元断層像から生成する正面画像、図29(b)の右側が加算平均後の三次元断層像から生成する正面画像を示す。 Similar to the 3D motion contrast data, the addition averaging process is performed on a plurality of 3D tomographic image data. FIG. 28 (b) shows one cross section of the three-dimensional tomographic image before and after performing the addition averaging process in the same manner as the motion contrast data. The left side of FIG. 28 (b) shows a three-dimensional tomographic image before addition averaging, and the right side of FIG. 28 (b) shows one cross section of the three-dimensional tomographic image after addition averaging. As shown in FIG. 28 (b), in the image before addition averaging, there is a lot of noise, and the difference between blood vessels and noise and the boundary between layers are unclear. However, in the image after addition averaging, there is little noise and the structure of blood vessels and the retinal layer can be recognized. FIG. 29B shows a frontal image generated from a three-dimensional tomographic image. The left side of FIG. 29 (b) shows a front image generated from a three-dimensional tomographic image before addition averaging, and the right side of FIG. 29 (b) shows a front image generated from a three-dimensional tomographic image after addition averaging.
<ステップS1559>
ステップS1559では、第三の位置合わせ部13337は、ステップS15561で記憶している入力の三次元モーションコントラストデータと三次元の断層画像データと、ステップS15563で記憶している各Aスキャンの深度方向移動量に基づいて、基準データ(本実施形態ではData1)の網膜位置を入力時の深度位置の状態に戻す。具体的には、ステップS1558で加算平均後の三次元モーションコントラストデータと三次元の断層画像データを、ステップS15563で記憶している各Aスキャンの深度方向移動量を用いて元の状態に戻す。例えば、あるAスキャンにおいて下方向に5移動させている場合、ここでは上方向に5移動させる。さらに、上方向に5移動させることで、データ下部に無効領域が発生してしまう。そのため、その無効領域には、ステップS15561で記憶している入力の三次元モーションコントラストデータと三次元の断層画像データにおいて、同じ座標位置のデータをそれぞれコピーする。
<Step S1559>
In step S1559, the
なお、加算平均後データの無効領域に対して入力のデータをコピーする例を示したが、これに限らない。第三の位置合わせ部13337で記憶した入力の三次元データに対して、加算平均後の三次元データから元々の座標位置に対応する範囲のデータを切り出してコピーするようにしてもよい。それにより、上述ではデータ移動後に無効領域へのコピーという2ステップでの処理であったが、ここでは、コピーのみの1ステップとなるため、処理負荷を減らすことが出来る。なお、この場合、第三の位置合わせ部13337で記憶している入力の三次元データに対してコピーをしているため、最終的な出力データは第三の位置合わせ部13337で記憶しているデータとなる。
An example of copying the input data to the invalid area of the data after addition averaging is shown, but the present invention is not limited to this. With respect to the input three-dimensional data stored in the
これらの処理を行った後、図15(a)のフローチャートに処理が戻る。 After performing these processes, the process returns to the flowchart of FIG. 15 (a).
<ステップS1506>
ステップS1506では、加算平均して作成した高画質な三次元モーションコントラストデータと高画質な三次元断層像を対応可能な状態で表示する。
<Step S1506>
In step S1506, the high-quality three-dimensional motion contrast data created by addition averaging and the high-quality three-dimensional tomographic image are displayed in a compatible state.
ここで、表示部1360に表示する画面の例を図31に示す。図31には、画面全体3100、患者タブ3101、撮影タブ3102、レポートタブ3103、及び設定タブ3104が示され、レポートタブ3103における斜線は、レポート画面のアクティブ状態を表している。本実施形態においては、レポート画面を表示する例について説明をする。図31には、さらに、患者情報表示部3105、検査ソートタブ3106、及び検査リスト3107が示され、黒枠3108は検査リストの選択を表し、選択されている検査データを画面に表示する。図31の検査リスト3107には、SLOと断層画像のサムネイルを表示している。しかし、OCTA撮影の場合には、図示はしないがOCTAのサムネイルを表示してもよい。サムネイル表示の例としては、SLOとOCTAのサムネイル、OCTAのサムネイルだけ、断層画像とOCTAのサムネイルとしてもよい。本実施形態においては、撮影で取得した検査データと高画質化処理により生成した検査データとを検査リスト3107に一覧で表示している。高画質化処理により生成した検査データにおいては、サムネイルに表示する画像も高画質化処理済みのデータから生成したものを表示するようにしてもよい。
Here, an example of a screen displayed on the
図31は、さらにはビューモードのタブ3130,3131を表す。タブ3130では、三次元のモーションコントラストデータから生成した二次元のOCTA画像を表示し、タブ3131では、図30(b)に示したような三次元モーションコントラストデータを表示する。
FIG. 31 further represents the
モーションコントラストの高画質生成を実行するボタン3129を表す。なお、本実施形態においては、高画質生成を実行するボタン3129を押下することで、ステップS1505に示した高画質データ生成処理を実行する。高画質化に用いるデータ候補を表示するためにはこのボタンを押下する。なお、選択データと同じ撮影条件で繰り返し撮影したデータを自動的に選択する場合には、データ候補を表示せずに高画質データ生成を実行するようにしてもよい。生成した高画質データは検査リスト3107に表示することでレポート表示として選択することが可能となる。なお、本実施形態においては、既に高画質化処理は完了しており、図31では、その高画質化処理済みのデータを選択して表示している。そのため、以降の説明では、高画質化処理(加算平均)済みのデータに関して説明を行う。なお、図31においては視神経乳頭部の撮影を行い、そのデータを表示する例について示す。本実施形態においては視神経乳頭部での例を説明するが、これに限らない。部位は黄斑部でもよいし、画角は狭画角ではなく広画角を撮影する場合でもよい。
Represents a
図31は、さらに、SLO画像3109、第一のOCTA画像3110、第一の断層画像3111、三次元の断層画像から生成した正面画像3112(Enface画像)、第二のOCTA画像3113、及びは第二の断層画像3114を示す。また、図31は、画像3112の種類を切り替えるタブ3120を示す。Enface画像3112は第一のOCTAと同じ深さ範囲から作成したEnfaceを示しているが、タブ3120により、第二のOCTAと同じ深さ範囲から作成したEnfaceに切り替えることも可能である。なお、本実施形態において画像3110〜3114は、図28乃至図29に示したように加算平均処理済みの画像を表示しているものとする。図31は、さらに、SLO画像3109に重畳している画像3115、及び画像3115の種類を切り替えるタブ3116を示す。また、図31は、第一のOCTA画像として表示するOCTA画像の種類を切り替えるタブ3117、及び第二のOCTA画像として表示するOCTA画像の種類を切り替えるタブ3121を示す。OCTAの種類としては、浅層、深層、脈絡膜等や任意の範囲で作成したOCTA画像がある。なお、第一のOCTA画像3110の作成範囲である上端(3118、3125)と下端(3119、3126)に関し、表示3118は基準線の一例である上端の境界線の種類とそのオフセット値を表し、上端の境界線3125が断層画像に重畳表示されている。また、表示3119は基準線の一例である下端の境界線の種類とそのオフセット値を表し、下端の境界線3126が第一の断層画像に重畳表示されている。第二のOCTA画像も第一のOCTA画像と同様で、上端(3123、3127)と下端(3124、3128)を第二の断層画像に重畳表示している。なお、第一のOCTA画像3110とEnface画像3112は視神経乳頭周囲毛細血管(RPC:Radial Peripapillary Capillaris)の深さ範囲から作成する画像の例で、第二のOCTA画像3113は網膜の浅層の深さ範囲から作成する画像の例を表している。また、2つの境界線でなくても良く、例えば、1つの基準線が設定されるようにしてもよい。この場合、1つの基準線に対して上側と下側の2つのオフセット値が設定されるようにしてもよい。また、基準線と基準線に対するオフセット値とのうち少なくとも1つが設定されるようにしてもよい。
FIG. 31 further shows an
矢印3145は第一の断層画像のXY面内における位置を示し、矢印3146は第二の断層画像のXY面内における位置を示している。矢印3145、3146をマウスドラッグなどにより操作することで第一の断層画像3111、及び第二の断層画像3114のXY面内における位置を切り替えることが出来る。
ここで、図32〜図34を用いて、本実施形態における、被検眼の深さ方向に交差する方向における複数の領域に対して設定された異なる深さの範囲の三次元データを用いて、一つの二次元正面画像(Enface画像、OCTA画像)を生成することに関して説明をする。図32(a)は、図31において、Enface画像3112、第一のOCTA画像3110、第一の断層画像3111、及び第一のOCTA画像3110の作成範囲である上の境界線3125と下の境界線3126を表している。図32(a)は、視神経乳頭周囲毛細血管の深さ範囲で作成するOCTA画像の例を示しており、例えば、上の境界線3125は内境界膜(ILM)とし、下の境界線3126は内境界膜(ILM)+オフセット値(数10μm)とする。図32(b)は、篩状板全体を含むように境界線3126全体を深度方向に移動させた場合の例であり、内境界膜(ILM)+オフセット値(数100μm)とする。図32(b)に示すように、Enface画像3112においては、篩状板孔3212が観察されるようになり、OCTA画像3110では視神経乳頭内部、及び篩状板内部の血管3210が観察される。このように視神経乳頭周囲毛細血管を見るための深度領域から篩状板全体を含む深度領域に変更したため、視神経乳頭内部においては血管や篩状板孔などが観察しやすくなる。一方、視神経乳頭部周囲においては、神経線維層からRPEや脈絡膜あたりの範囲まで含むため、Enface画像3112全体のコントラストが低下したり、OCTA画像に浅層部ではない深層部の血管がアーティファクト(図の破線3211)として観察されたりしてしまう。
Here, using FIGS. 32 to 34, using the three-dimensional data of different depth ranges set for a plurality of regions in the direction intersecting the depth direction of the eye to be inspected in the present embodiment, The generation of one two-dimensional front image (Enface image, OCTA image) will be described. FIG. 32 (a) shows the
そのため、本実施形態では図33(a)に示すように、深さ方向に交差する方向における複数の領域に対して設定された異なる深さ範囲のEnface画像3312、及びOCTA画像3310を作成する。上記異なる深さ範囲の設定とは、例えば、視神経乳頭部周囲では視神経乳頭周囲毛細血管の深さ範囲となるように境界線3326を設定し、視神経乳頭内部では篩状板を含む深さ範囲となるように境界線3326を設定することである。すなわち、二次元正面画像(Enface、OCTA画像)を生成する際に、一つの基準(境界線やオフセット値)だけではなく、異なる基準(境界線やオフセット値)に基づいて画像を生成する。このような画像を生成することにより、それぞれ注目したい深さ範囲が異なる領域を含む画像であっても、適切な範囲で作成した二次元正面画像を生成することが可能となる。これにより、Enface画像3312は篩状板孔3212が観察されると同時に画像全体のコントラストも保たれる。OCTA画像3310は視神経乳頭内部の血管を観察すると同時に視神経乳頭部周囲では視神経乳頭周囲毛細血管を観察することが出来る。
Therefore, in the present embodiment, as shown in FIG. 33A, an
なお、深さ範囲の設定は図33(a)で示すものに限らない。図33(b)に示すように、境界線4325、境界線4326はそれぞれ篩状板の中心付近を切り出すようにしてもよい。これにより、Enface画像4312においてある特定の深さに位置する篩状板孔4212を観察することが出来る。また、OCTA画像4310においては、視神経乳頭内部のある特定の深さに位置する血管4210の構造を観察することが出来る。また、視神経乳頭部周囲の深さ範囲の設定は視神経乳頭周囲毛細血管の深さ範囲ではなく、網膜浅層の深さ範囲であってもよい。
The setting of the depth range is not limited to that shown in FIG. 33 (a). As shown in FIG. 33 (b), the
これら、図32に示した層範囲の設定は、切り替えて表示することが出来るものであり、例えば、図31の画面に示したOCTA画像として表示する画像の種類を切り替えるタブ3117、3121によって切り替え表示が出来るものである。また、Enface画像においても同様に、画像の種類を切り替えるタブ3120によって表示を切り替えられるものとする。切り替えて表示するだけではなく、図31の画面に示すように画像を並べて表示するようにしてもよい。
These layer range settings shown in FIG. 32 can be switched and displayed. For example, the
上述したような、上記異なる深さ範囲を一枚の二次元正面画像に表現するためには、対象となる領域を抽出する必要がある。そのため、本実施形態における二次元正面画像(OCTA画像、Enface画像)の生成方法について図34のフローチャートを用いて説明をする。 In order to express the above-mentioned different depth ranges in one two-dimensional front image as described above, it is necessary to extract a target area. Therefore, a method of generating a two-dimensional front image (OCTA image, Enface image) in the present embodiment will be described with reference to the flowchart of FIG. 34.
<ステップS3401>
ステップS3401では、深さ範囲設定手段の一例である画像生成部13332が、OCTA画像、Enface画像を生成するために上下の境界線やオフセット値を取得する。境界線は、ステップS1551で検出した座標データを用いる。あるいは、高画質化処理を行った後の三次元断層画像に対して、ステップS1551に示した方法と同様な方法で境界線を検出してもよい。オフセット値は、生成する二次元正面画像の種類毎に深さ方向への初期値が設定されており、その値を用いる。例えば、RPCの範囲の二次元正面画像を生成する場合、上の境界線はILM境界線とし、下の境界線はILM境界線+オフセット値とする。
<Step S3401>
In step S3401, the
<ステップS3402>
ステップS3402では、領域抽出部13340は、被検眼の深さ範囲に交差する方向における複数の領域のうち、他の領域とは異なる深さ範囲を設定するための少なくとも1つの領域(部分領域)を抽出(特定、検出)する。本実施形態では、視神経乳頭部と篩状板領域を検出する例を示す。最初に、領域抽出部13340は、図33の断層画像における視神経乳頭部に関する特徴箇所の一例であるBMO(Bruch’s membrane opening)を検出する。BMOの検出は、例えば、ステップS1551で検出したILMとRPEの結果を用いて、視神経乳頭を特定する。なお、境界線の種類はILMとRPEに限定する必要はなく、NFL/GCL境界とIS/OSとしてもよい。この場合、特に視神経乳頭の陥凹部を特定することができ、本実施形態では、視神経乳頭の陥凹部の中心付近を特定する。ここで、視神経乳頭の陥凹部の特徴として、RPEが存在しないこと、ILMの形状が深部方向(図33のZ方向)に大きな勾配をもつことが挙げられる。そこで、各A−scanとその周辺A−scanを含めた局所領域を設定し、その局所領域内のRPEの存在状況とILMの深部方向への形状の勾配を算出し、視神経乳頭の陥凹部の中心付近の点を特定する。次に、各断層画像において視神経乳頭の陥凹部の中心付近に近いRPEの点を、全ての断層画像において繋ぐことで、C−scan方向で見た場合に楕円形状となるRPE領域を設定する。それを初期位置として、適切な動的輪郭モデル(例えば、Snakes)を適用することで、各断層画像においてBMOを特定する。次に、先ほど特定した端部、即ちBMO端からエッジ成分を視神経乳頭の陥凹部の中心に向かってトレースすることで、BMO端の正確な位置を特定する。本実施形態では、まず各BMO端について、座標値とエッジ成分を調べる。次に、各BMO端の位置を開始点として、視神経乳頭の陥凹部の中心に向かってエッジをトレースしていく。トレースは各BMO端の位置におけるエッジ成分を参照して、内側の近傍に存在するエッジ成分が一番近い位置に探索点を更新し、参照するエッジ成分も更新する。これを繰り返すことで正確なBMO端を特定する。領域設定手段の一例である領域抽出部13340は、検出したBMOを基にして視神経乳頭の陥凹部を特定する。これにより、例えば、領域設定手段は、検出された視神経乳頭部に関する情報(例えば、X方向の座標値とY方向の座標値)を用いて部分領域を設定することができる。
<Step S3402>
In step S3402, the
次に、篩状板検出について説明をする。ILMを基準として深度方向に輝度勾配を検出する。篩状板の後面は断層画像においては、深部に向かって明るい領域から暗い領域に変化する。そのため、輝度の変化特徴を抽出することで篩状板後面を検出する。なお、篩状板後面を検出するにあたって、篩状板の厚みは数100μm程度の厚みがあるため、厚みに関する知識を用いて検出する範囲を特定してもよい。これにより、例えば、深さ範囲設定手段は、検出された篩状板領域に関する情報(例えば、Z方向の座標値)を用いて部分領域の深さ範囲を設定することができる。 Next, the sieve plate detection will be described. The brightness gradient is detected in the depth direction with reference to ILM. In the tomographic image, the posterior surface of the lamina cribrosa changes from a bright region to a dark region toward the deep part. Therefore, the rear surface of the sieve plate is detected by extracting the characteristic of the change in brightness. When detecting the rear surface of the sieve plate, the thickness of the sieve plate is about several hundred μm, so that the detection range may be specified by using knowledge about the thickness. Thereby, for example, the depth range setting means can set the depth range of the partial region by using the information regarding the detected sieve plate region (for example, the coordinate value in the Z direction).
なお、視神経乳頭部や篩状板の検出は、上記で示した例に限らない。視神経乳頭部の検出には、断層画像ではなくSLO画像やEnfaceのようなC−scan方向で見た二次元画像を用いて領域を検出するようにしてもよい。視神経乳頭部をC−scan方向で見た場合には、楕円形状をしている。そのため、例えば、二次元画像に対してノイズ除去とエッジ検出を行い、エッジ画像に対してハフ変換を行う事で画像内の楕円領域を特定することが出来る。さらには、撮影時の固視灯位置の情報を用いて、おおよその視神経乳頭部の位置を特定するようにしてもよい。さらには、公知の画像検出手法を用いてもよい。上記の方法は組み合わせて用いることも可能である。 The detection of the optic nerve head and the lamina cribrosa is not limited to the examples shown above. For the detection of the optic nerve head, the region may be detected by using a two-dimensional image viewed in the C-scan direction such as an SLO image or Enface instead of a tomographic image. When the optic nerve head is viewed in the C-scan direction, it has an elliptical shape. Therefore, for example, it is possible to specify an elliptical region in an image by performing noise removal and edge detection on a two-dimensional image and performing a Hough transform on the edge image. Furthermore, the information on the position of the fixation lamp at the time of imaging may be used to specify the approximate position of the optic nerve head. Furthermore, a known image detection method may be used. The above methods can also be used in combination.
<ステップS3403>
ステップS3403では、領域抽出部13340が領域を抽出したか否かでフローを変更する。ステップS3403で領域を抽出している場合には、ステップS3404へ処理を進め、抽出していない場合には、ステップS3405へ処理を進める。
<Step S3403>
In step S3403, the flow is changed depending on whether or not the
<ステップS3404>
ステップS3404では、深さ範囲設定手段の一例である画像生成部13332が、領域抽出部13340が抽出した領域情報を用いてステップS3401で取得した境界線座標を更新する。例えば、下側の境界線のZ座標はILM境界線+オフセット値となっているが、視神経乳頭の陥凹部においては、篩状板後面のZ座標に更新する。すなわち、深さ範囲の設定手段は、設定された少なくとも1つの領域の深さ範囲を、他の領域の深さ範囲を固定した状態で設定された初期値から変更することができる。これにより、例えば、医者等の操作者は、各領域の深さ範囲の変更を容易に行うことができる。なお、深さ範囲の設定手段は、設定された少なくとも1つの領域の深さ範囲と他の領域の深さ範囲とを独立に設定してもよい。
<Step S3404>
In step S3404, the
<ステップS3405>
ステップS3405では、上下境界線のZ座標に基づいてOCTA画像、Enface画像を生成する。OCTA画像は三次元のモーションコントラストデータから生成し、Enface画像は三次元断層画像データから生成する。画像の生成方法は、各Ascanにおいて上下境界線のZ座標範囲内のデータの平均値、最大値、中央値等の統計値や、Z座標範囲内を複数の領域に分けてそれぞれの平均値の最大値をAscanの代表値とする。ここで求めたAscanの代表値が二次元正面画像のピクセル値に相当する。
<Step S3405>
In step S3405, an OCTA image and an Enface image are generated based on the Z coordinate of the upper and lower boundary lines. The OCTA image is generated from the three-dimensional motion contrast data, and the Enface image is generated from the three-dimensional tomographic image data. The image generation method is to divide the statistical values such as the average value, maximum value, median value, etc. of the data in the Z coordinate range of the upper and lower boundaries in each Ascan, and divide the Z coordinate range into a plurality of areas, and to obtain the average value of each. The maximum value is taken as the representative value of Ascan. The representative value of Ascan obtained here corresponds to the pixel value of the two-dimensional front image.
なお、本実施形態においては視神経乳頭部の例で説明をしたため、上記で説明した深さ範囲から二次元正面画像を生成したが、これに限らない。部分領域とそれ以外の領域において、それぞれ異なる深さ範囲で作成するものであればどの範囲でもよい。さらに、部分領域は必ずしも一つである必要はなく、複数抽出してもよい。 In this embodiment, since the explanation is given using the example of the optic nerve head, a two-dimensional front image is generated from the depth range described above, but the present invention is not limited to this. Any range may be used as long as it is created in different depth ranges in the partial area and the other areas. Further, the partial region does not necessarily have to be one, and a plurality of partial regions may be extracted.
<ステップS1507>
ステップS1507において、不図示の指示取得部は、画像処理システム1300による断層画像の撮影あるいは解析を終了するか否かの指示を外部から取得する。この指示は、入力部1370を用いて、操作者によって入力される。処理を終了する指示を取得した場合には、画像処理システム1300はその処理を終了する。一方、処理を終了せずに、撮影あるいは解析を続ける場合には、ステップS1502に処理を戻して続行する。以上によって、画像処理システム1300の処理が行われる。
<Step S1507>
In step S1507, the instruction acquisition unit (not shown) acquires an instruction from the outside whether or not to end the photographing or analysis of the tomographic image by the
以上で述べた構成によれば、本実施形態では、上記異なる深さの範囲の三次元データを用いて二次元正面画像を生成することで、複数の異なる所望の範囲から生成した一枚の二次元正面画像を生成することが出来る。それによって、一枚の二次元正面画像で視神経乳頭周囲毛細血管と視神経乳頭部内の血管や篩状板孔を同時に確認することが出来る。 According to the configuration described above, in the present embodiment, a two-sheet image generated from a plurality of different desired ranges is generated by generating a two-dimensional front image using the three-dimensional data in the different depth ranges. A dimensional front image can be generated. As a result, the capillaries around the optic nerve head, the blood vessels in the optic nerve head, and the lamina cribrosa can be confirmed at the same time on a single two-dimensional front image.
[第五実施形態:OCTA画像とEnface画像に対して異なる深さ範囲を設定]
第四実施形態においては、被検眼の深さ方向に交差する方向における複数の領域に対して設定された異なる深さ範囲の三次元データを用いて、OCTA画像とEnface画像を生成する例について述べた。このとき、OCTA画像とEnface画像に対して設定された深さ範囲が互いに共通である例について述べた。本実施形態においては、OCTA画像とEnface画像に対して異なる深さ範囲を設定する例について述べる。なお、上記第一実施形態と同様の機能を有するものに関しては、ここでは説明を省略する。本実施形態におけるOCTA画像、及びEnface画像の生成に関して図35を用いて説明を行う。
[Fifth Embodiment: Different depth ranges are set for the OCTA image and the Enface image]
In the fourth embodiment, an example of generating an OCTA image and an Enface image using three-dimensional data of different depth ranges set for a plurality of regions in a direction intersecting the depth direction of the eye to be inspected will be described. rice field. At this time, an example in which the depth ranges set for the OCTA image and the Enface image are common to each other has been described. In this embodiment, an example in which different depth ranges are set for the OCTA image and the Enface image will be described. It should be noted that the description of those having the same functions as those of the first embodiment will be omitted here. The generation of the OCTA image and the Enface image in the present embodiment will be described with reference to FIG. 35.
図35では、OCTA画像3310は、視神経乳頭部周囲では視神経乳頭周囲毛細血管の深さ範囲で、視神経乳頭内部では篩状板を含む深さ範囲となる境界線3325、3326(図では太線の実線)の範囲から作成する。一方、Enface画像4312は、視神経乳頭部周囲では視神経乳頭周囲毛細血管の深さ範囲で、視神経乳頭内部では篩状板の中心付近を切り出す境界線4325、4326(図では太線の破線)の範囲から作成する。これらの異なる深さ範囲により、OCTA画像3310においては血管を漏れなく表示することが出来、Enface画像4312においては篩状板孔をコントラスト高く表示することが出来る。図35において、断層画像3111に重畳表示している境界線3325、3326を実線、境界線4325、4326を破線として示したがこれに限らない。線の種類ではなく、線の色や透明度を変えて表示するようにしてもよいし、非図示のチェックボックスなどを用いて、境界線を断層画像に重畳表示する機能のOnとOffを切り替えられるようにしてもよい。
In FIG. 35, the
なお、これらの深さ範囲の設定は、ここで示したものに限定されるものではなく、他の深さ範囲でもよいし、ここで示した境界線3325、3326の範囲からEnface画像を生成し、境界線4325、4326の範囲からOCTA画像を生成するようにしてもよい。
The setting of these depth ranges is not limited to those shown here, and may be other depth ranges, and an Enface image is generated from the ranges of the
以上で述べた構成によれば、本実施形態では、異なる種類の二次元正面画像(例えば、モーションコントラスト正面画像と輝度正面画像)の異なる深さ範囲を設定することが出来る。これにより、例えば、一つの種類に対して一枚の二次元正面画像の観察により、視神経乳頭周囲毛細血管と視神経乳頭部内の血管や篩状板孔を同時に確認することが出来る。なお、深さ範囲を設定する設定手段は、異なる種類の二次元正面画像(例えば、モーションコントラスト正面画像と輝度正面画像)に対して、共通の深さ範囲を設定する機能と異なる深さ範囲を設定する機能とのうち少なくとも1つの機能を含むことができる。また、設定手段は、両方の機能を含む場合には、両方の機能のいずれかの機能を選択可能に構成されることができる。これにより、操作者は目的に応じていずれかの機能を容易に選択することができる。 According to the configuration described above, in the present embodiment, different depth ranges of different types of two-dimensional front images (for example, a motion contrast front image and a brightness front image) can be set. Thereby, for example, by observing one two-dimensional front image for one type, the capillaries around the optic nerve head and the blood vessels in the optic nerve head and the optic disc hole can be confirmed at the same time. The setting means for setting the depth range is different from the function for setting a common depth range for different types of two-dimensional front images (for example, a motion contrast front image and a brightness front image). It can include at least one of the functions to be set. Further, when the setting means includes both functions, any function of both functions can be selected and configured. As a result, the operator can easily select one of the functions according to the purpose.
[第六実施形態:深さ方向に交差する方向における少なくとも1つの領域を、操作者の指示に応じて設定・変更]
第四、第五実施形態においては、領域抽出部13340が自動的に抽出した部分領域(深さ方向に交差する方向における少なくとも1つの領域)の内外でそれぞれ異なる深さ範囲から二次元正面画像を生成する例について述べた。本実施形態においては、領域抽出部13340が抽出した部分領域を操作者の指示に応じて修正(変更)したり、領域抽出部13340が部分領域を抽出することなく操作者の指示に応じて部分領域を新規に追加したりする例について説明をする。
[Sixth Embodiment: At least one area in the direction intersecting the depth direction is set / changed according to the instruction of the operator]
In the fourth and fifth embodiments, a two-dimensional front image is obtained from different depth ranges inside and outside the partial region (at least one region in the direction intersecting the depth direction) automatically extracted by the
上記第一、第二実施形態と同様の機能を有するものに関しては、ここでは説明を省略する。本実施形態における部分領域の修正の方法に関して図36を用いて説明を行う。図36(a)は、図31の画面においてEnface画像をダブルクリックすることによって表示するEnface画像3612の編集画面3600の例を示している。編集画面3600において、Toolsボタン3601をクリックすることでToolsダイアログ3604を表示する。Toolsダイアログ3604を用いた編集機能については、図36(b)を用いて後述する。ShowToolsチェックボックス3602は、Toolsダイアログ3604の編集機能で設定した機能表示のOn/Offを切り替えることが出来る。ShowLinesチェックボックス3603は、断層画像3611のXY平面上の位置を示す矢印3645の表示On/Offを切り替える。断層画像3611には、Enface画像の作成範囲である上の境界線の種類とそのオフセット値3618、下の境界線の種類とそのオフセット値3619を示し、上の境界線3625、下の境界線3626を重畳表示している。また、Enface画像3612を生成している深さ範囲の名称を3620に表示する。この名称3620には、例えば、RPCやCustom等と表示する。
The description of those having the same functions as those of the first and second embodiments will be omitted here. The method of modifying the partial region in the present embodiment will be described with reference to FIG. FIG. 36A shows an example of the
次に、図36(b)を用いてEnface画像3612上にて行う部分領域の編集方法について説明をする。Toolsダイアログ3604には、編集を行う機能の種類3605を表示する。編集機能の例として、距離、面積、部分領域を示しているが、本実施形態においては、部分領域を編集する場合に関して説明を行う。なお、部分領域は、領域抽出部13340が既に抽出しているものとして説明をする。部分領域を編集する場合、Enface画像3612には、部分領域3609(図において、円形の斜線部分)と、編集用のコントロールポイント3610を重畳表示している。すなわち、表示制御部1335は、部分領域を示す情報(例えば、部分領域の外縁を示す線や部分領域内に重畳する色)を、深さ範囲として初期値や初期値から変更された値等を用いて生成された二次元正面画像に重畳した状態で表示部1360に表示させることができる。これにより、例えば、医者等の操作者は、二次元正面画像において部分領域を容易に確認することができる。そして、断層画像3611には、矢印3645と部分領域3609との交差部に相当する箇所を点線3690にて表示している。点線3690により、部分領域3609が断層画像3611において、どこに相当するかを把握することが出来る。すなわち、表示制御部1335は、部分領域を示す情報(例えば、部分領域の外縁を示す線や部分領域内に重畳する色)を、被検眼の断層画像3611に重畳した状態で表示部1360に表示させることができる。これにより、例えば、医者等の操作者は、断層画像において部分領域を容易に確認することができる。なお、この点線3690は、ShowToolsチェックボックス3602、ShowLinesチェックボックス3603のどちらかのチェックを外した際に非表示にするようにしてもよい。
Next, a method of editing a partial region performed on the
部分領域3609を編集する際には、操作者はコントロールポイント3610をドラッグすることで編集することが出来る。すなわち、表示制御部1335は、上述した部分領域を示す情報を、操作者の指示に応じて画像における該情報の位置が更新された状態で表示部1360に表示させることができる。これにより、例えば、医者等の操作者は、部分領域の位置を容易に変更することができる。なお、コントロールポイントをドラッグすることで、XY面において部分領域3609の形状が変化するが、それに伴い、矢印3645との交差部の位置も変化する。そのため、点線3690の位置も交叉部に連動してX方向に移動する。部分領域3609の編集が完了した場合には、OKボタン3607をクリックしてToolsダイアログ3604を閉じる。OKボタン3607をクリックした場合には、編集情報が記憶部1332に記憶される。一方、キャンセルボタン3608をクリックしてToolsダイアログ3604を閉じ場合には、編集情報を記憶しない。
When editing the
全て削除3606ボタンをクリックした場合には部分領域3609を削除して、編集機能を続けることが出来る。そのため、そのままOKボタン3607をクリックすれば部分領域3609は削除され、キャンセルボタン3608をクリックする場合には、領域3609の削除が取り消され、部分領域3609は保持される。
If you click the Delete All 3606 button, you can delete the
ここでは、領域抽出部13340が既に抽出済みの部分領域3609を編集する例について述べたがこれに限らない。例えば、新規に任意の部分領域を追加してもよいし、部分領域3609の他に複数の領域を追加してもよい。また、部分領域3609の編集方法についてコントロールポイント3610で編集をする例について述べたがこれに限らない。例えば、断層画像に重畳表示した点線3690を操作して部分領域3609の形状を変形するようにしてもよい。これにより、Y断面単位で編集できるため、より細かい部分領域の編集を行うことができる。
Here, an example in which the
これらの編集が完了したら閉じるボタン3630をクリックしてレポート画面(例えば、図31)の表示に戻る。
When these edits are completed, the
以上で述べた構成によれば、本実施形態では、操作者は上記異なる深さの範囲の三次元データを用いて二次元正面画像を生成するための部分領域の編集や追加を行う事が出来る。それにより、正確な部分領域の設定が出来るようになるとともに、任意の部分領域の設定をすることが出来る。 According to the configuration described above, in the present embodiment, the operator can edit or add a partial area for generating a two-dimensional front image using the three-dimensional data in the different depth ranges. .. As a result, it becomes possible to set an accurate partial area, and it is possible to set an arbitrary partial area.
[第七実施形態:深さ方向に交差する方向における領域毎に深さ範囲を、操作者の指示に応じて変更]
第四から第六実施形態においては、被検眼の深さ方向に交差する方向における複数の領域に対して設定された異なる深さの範囲の三次元データを用いて二次元正面画像を生成する例について述べた。本実施形態においては、生成した二次元正面画像の深さの範囲を部分毎に変更(修正)する例について示す。
[Seventh Embodiment: The depth range is changed for each region in the direction intersecting the depth direction according to the instruction of the operator]
In the fourth to sixth embodiments, an example of generating a two-dimensional front image using three-dimensional data in a range of different depths set for a plurality of regions in a direction intersecting the depth direction of the eye to be inspected. Said. In this embodiment, an example of changing (correcting) the depth range of the generated two-dimensional front image for each part is shown.
上記第一から第三実施形態と同様の機能を有するものに関しては、ここでは説明を省略する。本実施形態における深さの範囲を部分毎に変更する方法に関して図37を用いて説明を行う。 The description of those having the same functions as those of the first to third embodiments will be omitted here. A method of changing the depth range for each part in the present embodiment will be described with reference to FIG. 37.
図37(a)は、図31における、Enface画像3112、第一のOCTA画像3110と第一の断層画像3111、第一のOCTA画像3110の作成範囲である上端(3118、3125)と下端(3119、3126)の境界線を表している。そして、部分領域としてEnface画像3112、OCTA画像3110上に部分領域3609を示し、部分領域用の境界線として、上端(3718、3725)と下端(3719、3726)の境界線を表している。なお、図37(a)では、全体と部分領域用の上下の境界線のZ位置は同じである例を示している。
FIG. 37 (a) shows the upper end (3118, 3125) and the lower end (3119) of the
次に、図37(b)及び(c)を用いて、部分領域の境界線の位置を変更する例について述べる。図37(b)では、下の境界線の種類は同じでオフセット値のみを変更する場合を示している。オフセットの数値を数10μmから数100μmに変更することで、部分領域内の境界線のZ位置が深さ方向に移動する。図37(c)では、下の境界線の種類を変更する例を示している。部分領域内の境界線をILMからLaminaに変更している。それにより、部分領域内の境界線の形状が変化している。図37(b)及び(c)に示すように、部分領域内の深さ範囲は、境界線+オフセット値でのオフセット値を変更するようにしてもよいし、境界線の種類を変更するようにしてもよい。これらのオフセット値や境界線の種類は、操作者が変更することが出来る。また、変更出来るのは部分領域用のオフセット値や境界線の種類だけではなく、同様に全体範囲用のオフセット値や境界線の種類も操作者が変更することが可能である。図37で示す断層画像3111は、三次元データの一枚の断層画像を表しているが、オフセット値の変更や境界線の変更を行うと、三次元データに対して共通の変更が行われる。すなわち、三次元データにおいて、これらの変更が行われた断層画像とは異なる断層画像に対してもこれらの変更が行われる。部分領域に関する変更は、部分領域が存在する断層画像の部分領域内に対して共通の変更が適用される。なお、図37には、図36(b)の点線3690で示したような領域3609と断層画像3111との交差部に相当する箇所の表示をしていないが、図36(b)と同様に点線3690を断層画像3111に重畳表示してもよい。
Next, an example of changing the position of the boundary line of the partial region will be described with reference to FIGS. 37 (b) and 37 (c). FIG. 37B shows a case where the type of the lower boundary line is the same and only the offset value is changed. By changing the value of the offset from several tens of μm to several hundreds of μm, the Z position of the boundary line in the partial region moves in the depth direction. FIG. 37 (c) shows an example of changing the type of the lower boundary line. The boundary line in the partial area is changed from ILM to Lamina. As a result, the shape of the boundary line in the partial region is changed. As shown in FIGS. 37 (b) and 37 (c), for the depth range in the partial region, the offset value at the boundary line + offset value may be changed, or the type of the boundary line may be changed. It may be. The operator can change these offset values and the types of boundary lines. Further, not only the offset value and the type of the boundary line for the partial area can be changed, but also the offset value and the type of the boundary line for the entire range can be changed by the operator. The
なお、図37では、説明のため、全体と部分領域用の上下の境界線の種類とオフセット値(3118と3119、3718と3719)を並べて表示する例を示したがこれに限らない。例えば、画面において表示する場所は同じで、全体用と部分領域用の組み合わせで、上下の境界線の種類とオフセット値をそれぞれ切り替えて表示するようにしてもよい。 Note that, for the sake of explanation, FIG. 37 shows an example in which the types and offset values (3118 and 3119, 3718 and 3719) of the upper and lower boundary lines for the whole and the partial area are displayed side by side, but the present invention is not limited to this. For example, the place to be displayed on the screen is the same, and the type and offset value of the upper and lower boundary lines may be switched and displayed in combination for the whole area and the partial area.
以上で述べた構成によれば、本実施形態では、上記異なる深さの範囲の三次元データを用いて二次元正面画像を生成するために、操作者は深さ範囲の設定や変更を行う事が出来る。それにより、操作者が所望する深さ範囲の二次元画像を生成することが出来る。 According to the configuration described above, in the present embodiment, the operator sets or changes the depth range in order to generate the two-dimensional front image using the three-dimensional data in the different depth ranges. Can be done. As a result, it is possible to generate a two-dimensional image in the depth range desired by the operator.
[第八実施形態:異なる深さ範囲の三次元データを用いて生成された複数の二次元正面画像における互いに異なる領域を用いて、1つの二次元正面画像を生成]
第四から第七実施形態においては、上記異なる深さの範囲の三次元データを用いて二次元正面画像を生成する際に、部分領域内の境界線座標を他の領域とは異なる境界線座標に更新することで二次元正面画像を生成する例について述べた。本実施形態においては、それぞれ別々に生成した二次元正面画像を部分的に合成することで一つの二次元正面画像とする例について示す。なお、複数の二次元正面画像を生成した後に、深さ方向に交差する方向における複数の領域が設定されてもよい。この場合、生成された複数の二次元正面画像の一部の画像が、設定された複数の領域に対応させるように抽出されることができる。これにより、抽出された複数の一部の画像同士を合成することにより、1つの二次元正面画像を生成することができる。また、深さ方向に交差する方向における複数の領域を設定した後に、該複数の領域に対応する複数の二次元正面画像を生成してもよい。この場合、設定された複数の領域に対応する複数の二次元正面画像を生成し、生成された複数の二次元正面画像同士を合成することにより、1つの二次元正面画像を生成することができる。なお、いずれの場合においても、合成される複数の画像同士は一部重複させることができる。これにより、例えば、一部重複している領域を用いて複数の画像同士の位置合わせ等を容易に行うことができる。ここで、複数の画像同士を合成する処理とは、複数の領域に対応する複数の画像同士を貼り合わせる処理でもよいし、複数の画像データから複数の領域に対応する複数の一部のデータを参照することによりデータとして合成する処理でもよいし、一方の画像の一部の領域に対して他方の画像の一部を重畳する処理でもよい。
[Eighth Embodiment: One two-dimensional front image is generated by using different regions in a plurality of two-dimensional front images generated by using three-dimensional data of different depth ranges].
In the fourth to seventh embodiments, when a two-dimensional front image is generated using the three-dimensional data in the different depth ranges, the boundary line coordinates in the partial area are different from those in the other areas. An example of generating a two-dimensional front image by updating to is described. In the present embodiment, an example is shown in which two-dimensional front images generated separately are partially combined to form one two-dimensional front image. After generating a plurality of two-dimensional front images, a plurality of regions in the directions intersecting in the depth direction may be set. In this case, a part of the generated two-dimensional front image can be extracted so as to correspond to the set plurality of regions. As a result, one two-dimensional front image can be generated by synthesizing a plurality of extracted images. Further, after setting a plurality of regions in the directions intersecting in the depth direction, a plurality of two-dimensional front images corresponding to the plurality of regions may be generated. In this case, one two-dimensional front image can be generated by generating a plurality of two-dimensional front images corresponding to a plurality of set regions and synthesizing the generated two-dimensional front images. .. In any case, the plurality of images to be combined can be partially overlapped with each other. Thereby, for example, it is possible to easily align a plurality of images with each other by using a partially overlapping region. Here, the process of synthesizing a plurality of images may be a process of pasting a plurality of images corresponding to a plurality of areas, or a plurality of partial data corresponding to a plurality of areas from a plurality of image data. It may be a process of synthesizing as data by reference, or a process of superimposing a part of the other image on a part of a part of one image.
上記第四から第七実施形態と同様の機能を有するものに関しては、ここでは説明を省略する。本実施形態におけるそれぞれ別々に生成した二次元正面画像を部分的に合成する例に関して、図38を用いて説明を行う。 The description of those having the same functions as those of the fourth to seventh embodiments will be omitted here. An example of partially synthesizing two-dimensional front images generated separately in the present embodiment will be described with reference to FIG. 38.
図38(a)は、図31における、Enface画像3112、第一のOCTA画像3110、第一の断層画像3111、及び第一のOCTA画像3110の作成範囲である上の境界線3125と下の境界線3126を表している。図38(a)は、視神経乳頭周囲毛細血管の深さ範囲で作成するOCTA画像の例を示している。図38(b)は、篩状板全体を含むように下の境界線3826全体を深度方向に移動させた場合の例であり、内境界膜(ILM)+オフセット値(数100μm)とする。なお、上の境界線3825は移動させていない。図38(b)に示すように、Enface画像3112においては、篩状板孔3212が観察されるようになり、OCTA画像3110では視神経乳頭内部、篩状板内部の血管3210が観察される。一方、視神経乳頭部周囲においては、神経線維層からRPEや脈絡膜あたりの範囲まで含むため、Enface画像3112全体のコントラストが低下したり、OCTA画像に浅層部ではない深層部の血管がアーティファクト(図の破線3211)として観察されたりしてしまう。
FIG. 38 (a) shows the
図38(c)では、図38(a)及び(b)に示すように、異なる深さ範囲から別々に生成した二次元正面画像を一つの画像として合成する場合の画像を示している。図38(c)には図示しないが、上述の実施形態で示したように領域抽出部13340が視神経乳頭部の領域を抽出しているものとして説明をする。図38(c)の二次元正面画像において、視神経乳頭部周囲は図38(a)で示す二次元正面画像から生成し、視神経乳頭内部は図38(b)で示す二次元正面画像から生成している。
As shown in FIGS. 38 (a) and 38 (b), FIG. 38 (c) shows an image in which two-dimensional front images separately generated from different depth ranges are combined as one image. Although not shown in FIG. 38 (c), it will be described as assuming that the
以上で述べた構成によれば、本実施形態では、それぞれ別々に生成した二次元正面画像を部分的に合成することで一つの二次元正面画像を生成することが出来る。それにより、境界線の座標位置を変更することなく、操作者が所望する深さ範囲の二次元画像を生成することが出来る。 According to the configuration described above, in the present embodiment, one two-dimensional front image can be generated by partially synthesizing the two-dimensional front images generated separately. As a result, it is possible to generate a two-dimensional image in the depth range desired by the operator without changing the coordinate position of the boundary line.
上記、第一乃至第三実施形態によれば、篩状板部等の所定の部位の形状と、所定の部位を潅流する血管の分布との関係を把握し易くすることができる。第四乃至八実施形態は、一つの二次元正面画像において、注目している部位の識別を容易にすることが出来る。 According to the first to third embodiments described above, it is possible to easily grasp the relationship between the shape of a predetermined portion such as a sieve plate portion and the distribution of blood vessels that perfuse the predetermined portion. The fourth to eighth embodiments can facilitate the identification of the portion of interest in one two-dimensional front image.
[第九実施形態]
本実施形態における画像処理装置の一つは、EDI撮影により取得した篩状板部を含む3次元のOCT断層画像と、篩状板部を含む3次元のモーションコントラスト画像との並置もしくは重畳表示、さらには解析を行う。この際に、OCT断層画像、あるいは、モーションコントラスト画像に対して、機械学習モデル(高画質化用の学習済モデル)による高画質化処理を適用し、3次元の血管領域ならびに構造を特定する。これにより、篩状板部の形状と篩状板部を潅流する血管の分布との関係を把握し易くする場合について説明する。なお、本発明において、EDI撮影は必須のものではない。
[Ninth Embodiment]
One of the image processing devices in the present embodiment is a juxtaposition or superimposition display of a three-dimensional OCT tomographic image including a sieve plate portion acquired by EDI imaging and a three-dimensional motion contrast image including the sieve plate portion. Further analysis is performed. At this time, the OCT tomographic image or the motion contrast image is subjected to the high image quality processing by the machine learning model (learned model for high image quality) to specify the three-dimensional blood vessel region and the structure. This will explain a case where the relationship between the shape of the sieve plate portion and the distribution of blood vessels perfusing the sieve plate portion can be easily grasped. In the present invention, EDI imaging is not essential.
なお、以下において、機械学習モデルとは、機械学習アルゴリズムによる学習モデルをいう。機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習(ディープラーニング)も挙げられる。適宜、上記アルゴリズムのうち利用できるものを用いて以下の実施例及び変形例に適用することができる。また、教師データとは、学習データのことをいい、入力データ及び出力データのペアで構成される。また、正解データとは、学習データ(教師データ)の出力データのことをいう。また、学習済モデルとは、ディープラーニング等の任意の機械学習アルゴリズムに従った機械学習モデルに対して、事前に適切な教師データ(学習データ)を用いてトレーニング(学習)を行ったモデルをいう。ただし、学習済モデルは、事前に適切な学習データを用いて得ているが、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。追加学習は、装置が使用先に設置された後も行われることができる。 In the following, the machine learning model refers to a learning model based on a machine learning algorithm. Specific algorithms for machine learning include the nearest neighbor method, the naive Bayes method, a decision tree, and a support vector machine. In addition, deep learning (deep learning) in which features and coupling weighting coefficients for learning are generated by themselves using a neural network can also be mentioned. As appropriate, any of the above algorithms that can be used can be applied to the following examples and modifications. The teacher data refers to learning data and is composed of a pair of input data and output data. The correct answer data refers to the output data of the learning data (teacher data). The trained model is a model in which training (learning) is performed in advance using appropriate teacher data (learning data) for a machine learning model that follows an arbitrary machine learning algorithm such as deep learning. .. However, although the trained model is obtained by using appropriate training data in advance, it is not that no further training is performed, and additional training can be performed. Additional learning can be performed even after the device has been installed at the site of use.
本実施形態に係る画像処理装置101の構成を図39に示す。画像処理部101−04が、高画質化部101−47を備える点が、第一実施形態等と主に異なっている。ここで、高画質化部101−47は、篩状板領域等の所定の部位の複数の深度範囲に対応する複数のモーションコントラスト正面画像を入力データとする学習データにより学習して得た学習済モデルを用いて高画質化処理を実行する高画質化手段の一例である。これにより、高画質な複数のモーションコントラスト正面画像を用いて、高画質な3次元モーションコントラスト画像を取得することができる。なお、高画質化部101−47は、篩状板領域等の所定の部位の複数の位置に対応する複数のモーションコントラストBスキャン画像を入力データとする学習データにより学習して得た学習済モデルを用いて高画質化処理を実行する高画質化手段の一例であってもよい。これにより、高画質な複数のモーションコントラストBスキャン画像を用いて、高画質な3次元モーションコントラスト画像を取得することができる。また、高画質化部101−47は、篩状板領域等の所定の部位の3次元モーションコントラスト画像を入力データとする学習データにより学習して得た学習済モデルを用いて高画質化処理を実行する高画質化手段の一例であってもよい。これにより、高画質な3次元モーションコントラスト画像を取得することができる。なお、学習データの入力データには、篩状板領域に関する画像だけでなく、他の領域に関する画像が含まれていてもよい。
FIG. 39 shows the configuration of the
なお、本実施形態においては、外部記憶部102が、被検眼の情報と撮影した画像、機械学習モデル、撮影パラメータ、及び操作者が設定したパラメータだけでなく、血管領域や篩状板・篩状板孔領域、血管中心線の位置データ、計測値も関連付けて保持している。
In the present embodiment, the
次に、本実施形態における画像処理フローを図40に示す。なお、特に明記しない限り、本実施形態における処理は、第一及び二実施形態に係る画像処理装置の動作と同様である。そのため、以下では、第一及び二実施形態に係る画像処理フローとの違いを中心として説明する。 Next, the image processing flow in this embodiment is shown in FIG. Unless otherwise specified, the processing in this embodiment is the same as the operation of the image processing apparatus according to the first and second embodiments. Therefore, in the following, the differences from the image processing flow according to the first and second embodiments will be mainly described.
<ステップS4003>
画像取得部101−01及び画像処理部101−04は、S4002で取得されたOCT断層画像に基づいてモーションコントラスト画像(モーションコントラストデータ)を生成する。第一実施形態のS303と同様の手順でモーションコントラスト画像を生成した後、第一実施形態のS304と同様の手順で補正部101−43が、モーションコントラスト画像上に生じたプロジェクションアーティファクト802を抑制する処理を実行する。
<Step S4003>
The image acquisition unit 101-01 and the image processing unit 101-04 generate a motion contrast image (motion contrast data) based on the OCT tomographic image acquired in S4002. After generating the motion contrast image by the same procedure as S303 of the first embodiment, the correction unit 101-43 suppresses the
<ステップS4004>
表示制御部101−05は、S1203で生成した断層画像や、3次元及び正面モーションコントラスト画像、撮影条件に関する情報を表示部104に表示させる。
<Step S4004>
The display control unit 101-05 causes the
<ステップS4005>
高画質化部101−47は、少ない枚数の断層画像から生成した低画質なモーションコントラスト正面画像を機械学習モデルに入力することにより、多数枚の断層画像から生成した場合と同等の高画質な(低ノイズかつ高コントラストな)モーションコントラスト正面画像を生成する。ここで、機械学習モデルとは、処理対象として想定される所定の撮影条件で取得された低画質な画像である入力データと、入力データに対応する高画質画像である出力データのペア群で構成された教師データを用いて機械学習を行うことにより生成した関数のことを指す。なお、所定の撮影条件には撮影部位、撮影方式、撮影画角、及び画像サイズ等が含まれる。
<Step S4005>
The high image quality unit 101-47 inputs a low-quality motion contrast front image generated from a small number of tomographic images into the machine learning model, so that the image quality is equivalent to that obtained from a large number of tomographic images ( Generates a motion-contrast front image (low noise and high contrast). Here, the machine learning model is composed of a pair group of input data which is a low-quality image acquired under predetermined shooting conditions assumed as a processing target and output data which is a high-quality image corresponding to the input data. It refers to a function generated by performing machine learning using the obtained teacher data. The predetermined shooting conditions include a shooting portion, a shooting method, a shooting angle of view, an image size, and the like.
また、本実施形態では、ユーザが図43のレポート画面右上に示すボタン4305(Denoiseボタン)を押下することにより、高画質化部101−47が高画質化処理を実施するものとする。 Further, in the present embodiment, when the user presses the button 4305 (Denoise button) shown in the upper right of the report screen of FIG. 43, the image quality improving unit 101-47 performs the image quality improving process.
本実施形態に係る高画質化部101−47における機械学習モデルの構成例を図42に示す。該機械学習モデルは畳み込みニューラルネットワーク(Convolutional Neural Network;CNN)であり、入力値群を加工して出力する処理を担う複数の層群によって構成される。なお前記構成に含まれる層の種類として、畳み込み(Convolution)層、ダウンサンプリング(Downsampling)層、アップサンプリング(Upsampling)層、合成(Merger)層がある。畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタの数、ストライドの値、ダイレーションの値等のパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、入力される画像の次元数に応じて、前記フィルタのカーネルサイズの次元数も変更してもよい。ダウンサンプリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理である。具体的には、例えば、Max Pooling処理がある。アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理である。具体的には、例えば、線形補間処理がある。合成層は、ある層の出力値群や画像を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。このような構成では、入力画像Im4210を構成する画素値群が畳み込み処理ブロックを経て出力された値群と、入力画像Im4210を構成する画素値群が、合成層で合成される。その後、合成された画素値群は最後の畳み込み層で高画質画像Im4220に成形される。なお、図示はしないが、CNNの構成の変更例として、例えば、畳み込み層の後にバッチ正規化(Batch Normalization)層や、正規化線形関数(Rectifier Linear Unit)を用いた活性化層を組み込む等をしてもよい。 FIG. 42 shows a configuration example of the machine learning model in the image quality improving unit 101-47 according to the present embodiment. The machine learning model is a convolutional neural network (CNN), and is composed of a plurality of layers responsible for processing an input value group and outputting the input value group. The types of layers included in the above configuration include a convolution layer, a Downsampling layer, an Upsampling layer, and a Merger layer. The convolution layer is a layer that performs convolution processing on the input value group according to parameters such as the kernel size of the set filter, the number of filters, the stride value, and the dilation value. The number of dimensions of the kernel size of the filter may be changed according to the number of dimensions of the input image. The downsampling layer is a process of reducing the number of output value groups to be smaller than the number of input value groups by thinning out or synthesizing the input value groups. Specifically, for example, there is a Max Polling process. The upsampling layer is a process of increasing the number of output value groups to be larger than the number of input value groups by duplicating the input value group or adding the interpolated value from the input value group. Specifically, for example, there is a linear interpolation process. The composite layer is a layer in which a value group such as an output value group of a certain layer or a pixel value group constituting an image is input from a plurality of sources, and the processing is performed by concatenating or adding them. In such a configuration, the value group in which the pixel value group constituting the input image Im4210 is output through the convolution processing block and the pixel value group constituting the input image Im4210 are combined in the composite layer. After that, the combined pixel value group is formed into a high-quality image Im4220 in the final convolution layer. Although not shown, as an example of changing the configuration of the CNN, for example, a batch normalization layer or an activation layer using a rectifier linear unit may be incorporated after the convolutional layer. You may.
なお、本実施形態で用いるCNNの構成は、複数のダウンサンプリング層を含む複数の階層からなるエンコーダーの機能と、複数のアップサンプリング層を含む複数の階層からなるデコーダーの機能とを有するU−net型の機械学習モデルである。U−net型の機械学習モデルでは、エンコーダーとして構成される複数の階層において曖昧にされた位置情報(空間情報)を、デコーダーとして構成される複数の階層において、同次元の階層(互いに対応する階層)で用いることができるように(例えば、スキップコネクションを用いて)構成される。 The CNN configuration used in the present embodiment is a U-net having a function of an encoder composed of a plurality of layers including a plurality of downsampling layers and a function of a decoder composed of a plurality of layers including a plurality of upsampling layers. It is a type machine learning model. In the U-net type machine learning model, position information (spatial information) that is ambiguous in a plurality of layers configured as encoders is displayed in layers of the same dimension (layers corresponding to each other) in a plurality of layers configured as a decoder. ) (For example, using a skip connection).
本実施形態において教師データとして用いる入力データは断層画像数の少ない単一クラスタから生成された低画質モーションコントラスト正面画像とし、(教師データとして用いる)出力データは位置合わせ済の複数のモーションコントラストデータを加算平均して得られた高画質モーションコントラストデータから生成した高画質なモーションコントラスト正面画像とする。なお、教師データとして用いる出力データはこれに限らず、例えば、多数枚の断層画像で構成される単一クラスタから生成された高画質モーションコントラストデータから生成した高画質なモーションコントラスト正面画像でもよい。また、教師データとして用いる出力データは、入力画像より高解像度な(高倍率な)モーションコントラスト正面画像を入力画像と同解像度(同倍率)にすることによって得られた高画質なモーションコントラスト正面画像でもよい。なお、機械学習モデルのトレーニングに用いる入力画像と出力画像のペアは上記に限られるものではなく、任意の画像の組み合わせを用いてもよい。 In the present embodiment, the input data used as the teacher data is a low-quality motion contrast front image generated from a single cluster with a small number of tomographic images, and the output data (used as the teacher data) is a plurality of aligned motion contrast data. A high-quality motion contrast front image generated from the high-quality motion contrast data obtained by averaging is used. The output data used as the teacher data is not limited to this, and may be, for example, a high-quality motion contrast front image generated from high-quality motion contrast data generated from a single cluster composed of a large number of tomographic images. The output data used as the teacher data is also a high-quality motion contrast front image obtained by making the motion contrast front image having a higher resolution (higher magnification) than the input image the same resolution (same magnification) as the input image. good. The pair of the input image and the output image used for training the machine learning model is not limited to the above, and any combination of images may be used.
なお、GPUは、データをより多く並列処理することで効率的な演算を行うことができる。このため、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合には、GPUで処理を行うことが有効である。そこで、本変形例では、学習部(不図示)の一例である画像処理装置101による処理には、CPUに加えてGPUを用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、CPUとGPUが協働して演算を行うことで学習を行う。なお、学習部の処理は、CPU又はGPUのみにより演算が行われてもよい。また、上述した様々な学習済モデルを用いた処理を実行する処理部(推定部)も、学習部と同様にGPUを用いてもよい。また、学習部は、不図示の誤差検出部と更新部とを備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、正解データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと正解データとの誤差を計算するようにしてもよい。また、更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。
The GPU can perform efficient calculations by processing more data in parallel. Therefore, when learning is performed a plurality of times using a learning model such as deep learning, it is effective to perform processing on the GPU. Therefore, in this modification, a GPU is used in addition to the CPU for processing by the
ここで、例えば、撮影装置10や他の装置で取得したモーションコントラスト正面画像に第一のノイズ成分を付加した画像を入力画像とし、該(撮影装置10や他の装置で取得した)モーションコントラスト正面画像に(第一のノイズ成分とは異なる)第二のノイズ成分を付加した画像を出力画像として機械学習モデルのトレーニングに用いてもよい。すなわち、学習時の画像は、低画質画像と高画質画像とが共通の画像を用いており、それぞれの画像におけるノイズ成分が異なるものとなる。画像としては同じものを用いているため、ペア画像とする際の位置合わせは不要である。
Here, for example, an image obtained by adding the first noise component to the motion contrast front image acquired by the photographing
ノイズ成分としては、ガウシアンノイズ、対象画像特有のノイズをモデル化したもの等をノイズとして付加する。ただし、第一と第二のノイズはそれぞれ異なるノイズとする。異なるノイズとは、ノイズを付加する空間的な場所(画素の位置)が異なる、あるいはノイズの値が異なるなどを意味する。対象画像特有のノイズとしては、例えばOCTの場合、模型眼や被検眼を置かない状態で撮影したデータを基にノイズを推定し、それらをノイズモデルとして使用することが出来る。OCTAの場合では、無血管領域(FAZ)の範囲に現れるノイズや、血液の流れを模式的に再現した模型眼を撮影した画像に現れるノイズを基に、ノイズモデルとして使用することが出来る。 As the noise component, Gaussian noise, a model of noise peculiar to the target image, and the like are added as noise. However, the first noise and the second noise are different noises. Different noise means that the spatial location (pixel position) to which the noise is added is different, or the noise value is different. As the noise peculiar to the target image, for example, in the case of OCT, the noise can be estimated based on the data taken without placing the model eye or the eye to be inspected, and these can be used as a noise model. In the case of OCTA, it can be used as a noise model based on the noise appearing in the avascular region (FAZ) range and the noise appearing in the image obtained by capturing the model eye that schematically reproduces the blood flow.
ガウシアンノイズの場合は、ノイズの大きさとして標準偏差、あるいは分散値を定義し、それらの数値に基づいて画像にランダムにノイズを与える。ランダムノイズを与えた結果として、全体としての平均値は変わらないようにしておくのが望ましい。すなわち、ノイズの平均値は0となるようにする。なお、第一と第二のノイズ成分を用いて学習する例について、低画質画像とする方にのみ第一のノイズ成分を付加し、高画質画像とする方にはノイズ成分を付加せずに学習を行う構成としてもよい。その際の画像としては、撮影装置10や他の装置から入手した画像でもよいし、その画像を重ね合わせ処理した画像を対象とするようにしてもよい。
In the case of Gaussian noise, the standard deviation or variance value is defined as the magnitude of the noise, and noise is randomly added to the image based on those values. As a result of giving random noise, it is desirable that the average value as a whole does not change. That is, the average value of noise is set to 0. Regarding the example of learning using the first and second noise components, the first noise component is added only to the low-quality image, and the noise component is not added to the high-quality image. It may be configured to perform learning. The image at that time may be an image obtained from the photographing
本実施形態の図42において、高画質化部101−47が高画質化処理を実施する画像として、モーションコントラスト正面画像について説明をしたが、画像はこれに限らない。3次元モーションコントラスト画像、3次元の断層画像、3次元の断層画像から生成する輝度の正面画像(輝度Enface画像)、SLO画像、眼底写真、蛍光眼底写真などでもよい。 In FIG. 42 of the present embodiment, the motion contrast front image has been described as an image in which the image quality improving unit 101-47 performs the image quality improving process, but the image is not limited to this. A three-dimensional motion contrast image, a three-dimensional tomographic image, a frontal image of brightness generated from the three-dimensional tomographic image (brightness Enface image), an SLO image, a fundus photograph, a fluorescent fundus photograph, or the like may be used.
高画質化部101−47において、異なる画像を高画質化する場合、それぞれの画像を用いて学習を行った機械学習モデルを持っていることが望ましい。高画質化部101−47では、入力画像に応じて、適切な機械学習モデルを切り替えて処理を行う。なお、図示はしないが、図43のレポート画面に示すボタン4305の他に、高画質化を行う画像の種類を選択するユーザインターフェース(例えば、チェックボックス、タブ、複数のボタンなど)がレポート画面、または設定画面にあってもよい。あるいは、設定パラメータを読み込むことで、高画質化を行う画像の種類を選択出来るようにしてもよい。
In order to improve the image quality of different images in the image quality improving unit 101-47, it is desirable to have a machine learning model in which learning is performed using each image. The image quality improving unit 101-47 switches an appropriate machine learning model according to the input image and performs processing. Although not shown, in addition to the
<ステップS4006>
操作者が入力部103を用いて計測処理の開始を指示する。
<Step S4006>
The operator uses the
本実施形態では図43のレポート画面上の画像(モーションコントラスト正面画像、あるいは断層画像)をダブルクリックすることで、図44に示すような計測画面に移行する。なお、計測画面に移行する際に、高画質化部101−47による高画質化処理が実行されている場合、計測画面において表示される画像も高画質化処理した画像が表示される。高画質化処理の実行有無は、ボタン4410(Denoiseボタン)の選択状態で確認することが出来る。図44においてボタン4410は高画質化処理が実行されている状態の例を示している。
In the present embodiment, by double-clicking the image (motion contrast front image or tomographic image) on the report screen of FIG. 43, the measurement screen is displayed as shown in FIG. 44. If the high image quality processing by the high image quality unit 101-47 is executed when the screen shifts to the measurement screen, the image displayed on the measurement screen is also the high image quality processed image. Whether or not the high image quality processing is executed can be confirmed in the selected state of the button 4410 (Noise button). In FIG. 44,
並置表示ボタン4401を選択した場合は断層画像及びモーションコントラスト画像、重畳表示ボタン4402を選択した場合は重畳画像と関連する操作用GUIが表示され、適宜画像投影法の種類や投影深度範囲、プロジェクションアーティファクト除去処理の実施の有無を選択する。次に、図9(a)右側のOCT Mapボタン群4403、OCT Sectorボタン群4404、OCTA Mapボタン群4405、OCTA Sectorボタン群4406、解析する次元を選択するAnalysisボタン群4408、Measurementボタン4407経由で表示される選択画面の中から操作者が適切な項目を選択することで計測の種類と対象領域が選択され、解析部101−46が計測処理を開始する。なお、本実施形態において、OCT Sectorボタン群4404に3次元解析における「LCV」(Lamina Cribrosa Volume:篩状板体積計測)が追加されており、篩状板、篩状板孔の3次元体積を計測する。
When the juxtaposed
なお、第二実施形態において篩状板及び篩状板孔領域を特定し、篩状板厚や篩状板孔に関する計測値、3次元モーションコントラスト画像から生成した篩状板部のモーションコントラスト正面画像に基づいて血管領域を特定し、血管密度を算出する処理については説明をしているため、その処理と同様の箇所については説明を省略する。本実施形態では、解析する次元を選択するAnalysisボタン群4408に関して、特に3次元での解析や表示について説明を行う。以下で説明をするステップS4007とステップS4008において処理対象となる高画質な画像に関して、図45を用いて説明を行う。
In the second embodiment, the sieve plate and the sieve plate hole region are specified, and the measured values related to the sieve plate thickness and the sieve plate hole, and the motion contrast front image of the sieve plate portion generated from the three-dimensional motion contrast image. Since the process of specifying the vascular region and calculating the vascular density based on the above is described, the description of the same part as that of the process will be omitted. In the present embodiment, the analysis and display in three dimensions will be described with respect to the
図45は、ある深度範囲を、一定の深度範囲で分割して生成したモーションコントラスト正面画像の例を示している。4500は三次元断層の中の一つの断層画像であり、篩状板全体を含む範囲に境界線を設定する例である。4501から4503は一定の深度範囲(例えば、10〜20μm単位)毎に篩状板全体を分割する例であり、4511から4513は、4501から4503で示した深度範囲で生成するモーションコントラスト正面画像の例である。例えば、機械学習モデルがモーションコントラスト正面画像を高画質化するモデルである場合、図45で示したように画像を深さ方向に分割して高画質化する。そして、高画質化した複数の画像から3次元データを復元する。なお、本実施形態においては、一定の深度範囲を連続して分割する。すなわち、篩状板全体を含む深さ範囲が200μmとする場合、10μm範囲毎に分割すると20枚の正面画像が生成される。そして、正面方向は1mm(1000μm)範囲を100本のAスキャンかつ100枚のBスキャンで撮影しているとすると100μmあたり10本のAスキャン、10枚のBスキャンとなる。そのため、1ボクセルあたりのデジタル解像度は、XYZで等方的となる。篩状板の面内方向を1mm×1mm、深さ方向を200μmとすると、100×100×20ボクセルの3次元データとして構成される。なお、3次元データを構築する際に、ボクセルのデジタル解像度がXYZで等方である必要はない。20μm単位で正面画像を生成した場合、深さ方向のデジタル解像度は1ボクセル20μmとなるが、1ボクセル単位のXYZの値が分かれば、表示や計測において値を補正することは可能である。機械学習モデルが輝度正面画像を高画質化するモデルである場合は、図45で示した方法と同様である。一方、機械学習モデルが、断層画像(Bスキャン画像)、又はモーションコントラストBスキャン画像を高画質化するモデルである場合、Bスキャン画像単位で高画質化処理が実行されてもよい。さらに、機械学習モデルは3次元で高画質化するモデルでもよく、その場合、断層画像、モーションコントラスト画像は隣接する画像同士で位置合わせをしておき、撮影時の位置ずれを補正してもよい。その後、3次元の高画質化モデルで3次元データを高画質化してもよい。Bスキャン画像単位、あるいは3次元データで高画質化をして表示や計測を行う場合、3次元データを正面画像に変換した後に再度3次元データを構成するという処理は行わなくてもよい。そのため、1ボクセルあたりのデジタル解像度は、撮影範囲におけるAスキャン本数、Bスキャン画像の枚数、画像の深さ分解能によって決まるので、これらの値を用いて表示や計測を行ってもよい。 FIG. 45 shows an example of a motion contrast front image generated by dividing a certain depth range into a certain depth range. 4500 is a tomographic image of one of the three-dimensional faults, and is an example of setting a boundary line in a range including the entire sieve plate. 4501 to 4503 are examples of dividing the entire sieve plate in a certain depth range (for example, in units of 10 to 20 μm), and 4511 to 4513 are examples of motion contrast front images generated in the depth range shown by 4501 to 4503. This is an example. For example, when the machine learning model is a model for improving the image quality of a motion contrast front image, the image is divided in the depth direction to improve the image quality as shown in FIG. 45. Then, the three-dimensional data is restored from the plurality of high-quality images. In this embodiment, a certain depth range is continuously divided. That is, when the depth range including the entire sieve plate is 200 μm, 20 front images are generated when the depth range is divided into 10 μm ranges. If the front direction is taken in a 1 mm (1000 μm) range with 100 A scans and 100 B scans, there are 10 A scans and 10 B scans per 100 μm. Therefore, the digital resolution per voxel is isotropic in XYZ. Assuming that the in-plane direction of the sieve plate is 1 mm × 1 mm and the depth direction is 200 μm, it is configured as three-dimensional data of 100 × 100 × 20 voxels. When constructing three-dimensional data, the digital resolution of voxels does not have to be isotropic in XYZ. When the front image is generated in units of 20 μm, the digital resolution in the depth direction is 20 μm per voxel, but if the value of XYZ in units of 1 voxel is known, it is possible to correct the value in display or measurement. When the machine learning model is a model for improving the image quality of the luminance front image, the method is the same as that shown in FIG. 45. On the other hand, when the machine learning model is a model for improving the image quality of a tomographic image (B scan image) or a motion contrast B scan image, the image quality improvement process may be executed for each B scan image. Further, the machine learning model may be a model for improving the image quality in three dimensions. In that case, the tomographic image and the motion contrast image may be aligned with each other and the misalignment at the time of shooting may be corrected. .. After that, the high image quality of the three-dimensional data may be improved by using the three-dimensional high image quality model. When displaying or measuring with high image quality in B-scan image units or 3D data, it is not necessary to perform the process of converting the 3D data into a front image and then reconstructing the 3D data. Therefore, the digital resolution per voxel is determined by the number of A scans in the shooting range, the number of B scan images, and the depth resolution of the images, and these values may be used for display and measurement.
なお、図45では、境界線データを基に正面画像を生成する例を図示しているが、正面画像生成の方法はこれに限らない。XY面にフラットな平面領域単位で正面画像を生成してもよい。境界線データに沿ってデータを生成する場合、血管だけを抜き出して観察する目的では適しているが、曲面が平面に変換されるため、3次元的な構造を観察するには必ずしも適していない。一方、フラットな平面領域単位で正面画像を生成する場合、篩状板以外の領域も含むが、3次元的な構造を観察するには適している。そのため、これらのデータを両方生成して、用途に応じて切り替えるようにしてもよいし、ユーザが任意で生成方法を選択、あるいは切替できるようにしてもよい。 Although FIG. 45 shows an example of generating a front image based on the boundary line data, the method of generating the front image is not limited to this. A front image may be generated in units of flat plane areas flat on the XY plane. When data is generated along the boundary line data, it is suitable for the purpose of extracting and observing only blood vessels, but it is not necessarily suitable for observing a three-dimensional structure because the curved surface is converted into a plane. On the other hand, when the front image is generated in units of flat flat regions, the region other than the sieve plate is included, but it is suitable for observing the three-dimensional structure. Therefore, both of these data may be generated and switched according to the intended use, or the user may arbitrarily select or switch the generation method.
<ステップS4007>
解析部101−46が、高画質な断層画像に対する篩状板領域の特定処理、高画質な輝度正面画像に対する篩状板孔領域の特定処理、及び/又は高画質なモーションコントラスト正面画像に対する血管領域の特定処理を行う。本実施形態では、強調部101−461が、高画質なモーションコントラスト画像に対してヘシアンフィルタに基づく血管強調処理を行う。次に、抽出部101−462が、断層画像や輝度正面画像、血管強調画像に対してセグメンテーション処理を行い、整形処理を実施することで篩状板、篩状板孔、及び血管領域を特定する。ここで、強調部101−461又は抽出部101−462は、高画質化用の学習済モデルを用いて高画質化処理して得た3次元モーションコントラスト画像における篩状板領域等の所定の部位の3次元血管領域を特定する特定手段の一例である。
<Step S4007>
The analysis unit 101-46 identifies the sieve plate region for a high-quality tomographic image, identifies the sieve plate hole region for a high-quality brightness front image, and / or the blood vessel region for a high-quality motion contrast front image. Performs specific processing. In the present embodiment, the enhancement unit 101-461 performs blood vessel enhancement processing based on the Hessian filter on a high-quality motion contrast image. Next, the extraction unit 101-462 performs a segmentation process on the tomographic image, the brightness front image, and the blood vessel emphasized image, and performs the shaping process to identify the sieve plate, the sieve plate hole, and the blood vessel region. .. Here, the emphasis section 101-461 or the extraction section 101-462 is a predetermined portion such as a sieve plate region in a three-dimensional motion contrast image obtained by performing high image quality processing using a trained model for high image quality. This is an example of a specific means for identifying a three-dimensional blood vessel region of the above.
篩状板及び篩状板孔、血管領域の特定処理は、図41(a)のステップS41071〜ステップS41078で実行する。なお、血管領域の特定処理は、S41071〜S41074で示す方法に限らず、単純な閾値処理による検出でもよい。閾値処理は、2次元あるいは3次元全体から求めた大局的な閾値処理でもよいし、2次元あるいは3次元の一部の領域から求めた局所的な閾値処理でもよい。 The process for identifying the sieve plate, the sieve plate hole, and the blood vessel region is performed in steps S41071 to S41078 of FIG. 41 (a). The blood vessel region identification process is not limited to the method shown in S41071 to S41074, and may be detected by a simple threshold value process. The threshold processing may be a global threshold processing obtained from the entire two-dimensional or three-dimensional area, or a local threshold processing obtained from a part of the two-dimensional or three-dimensional area.
<ステップS4008>
計測部101−463が、操作者により指定された計測対象領域に関する情報に基づいて単検査の画像に対する篩状板形状及び血管分布の計測を行う。引き続いて表示制御部101−05が、計測結果を表示部104に表示する。
<Step S4008>
The measuring unit 101-436 measures the shape of the sieve plate and the blood vessel distribution for the image of the single inspection based on the information about the measurement target area designated by the operator. Subsequently, the display control unit 101-05 displays the measurement result on the
血管分布の指標である血管密度としてはVADとVLDの指標があり、Analysisボタン4408で3Dを選択している場合には、解析の種類として3次元のVAD(もしくはVLD)を指定できる。なおArea Density、Skeleton Densityは後述するVAD、VLDと各々同義である。また、3次元のArea Density(VAD)はVolume Density(VVD)と言い換えてもよい。
There are VAD and VLD indexes as the blood vessel density which is an index of the blood vessel distribution, and when 3D is selected by the
断層画像に対する篩状板厚計測・輝度正面画像に対する篩状板孔面積計測については、図41(b)のステップS41081〜ステップS41083、モーションコントラスト画像に対するVLD計測についてはステップS41084〜ステップS41087で実行する。 The sieve plate thickness measurement for the tomographic image and the sieve plate hole area measurement for the brightness front image are executed in steps S41081 to S41083 of FIG. 41 (b), and the VLD measurement for the motion contrast image is executed in steps S41084 to S41087. ..
ステップS4007の篩状板/血管の特定処理、ならびにステップS4008の計測処理は、基本的に第二実施形態で説明をした処理と同様であるため、以下では詳細な説明は省略する。なお、第二実施形態では主に2次元画像の解析で説明をしているが、本実施形態においては、3次元データを解析することとする。なお、3次元データを解析する場合に、2次元画像(断層画像や正面画像)単位で解析をしたデータを用いて、3次元データの解析とすることも可能であるし、3次元データを直接解析してもよい。ここでは、ステップS41072の強調スケール処理に関して3次元で処理をする例を示す。なお、3次元データとして解析を行う場合、隣接断層画像、及び隣接モーションコントラスト画像で位置ずれが起きている場合もあるため、隣接する画像同士を公知の画像処理手法により、位置合わせをしておくことが望ましい。 Since the processing for identifying the sieve plate / blood vessel in step S4007 and the measurement processing in step S4008 are basically the same as the processing described in the second embodiment, detailed description thereof will be omitted below. In the second embodiment, the explanation is mainly based on the analysis of the two-dimensional image, but in the present embodiment, the three-dimensional data will be analyzed. When analyzing 3D data, it is also possible to analyze 3D data by using the data analyzed in units of 2D images (tomographic images and front images), and directly use 3D data. You may analyze it. Here, an example in which the emphasis scale processing in step S41072 is performed in three dimensions is shown. When analyzing as three-dimensional data, the adjacent tomographic image and the adjacent motion contrast image may be misaligned. Therefore, the adjacent images are aligned with each other by a known image processing method. Is desirable.
<ステップS41072>
強調部101−461は、モーションコントラスト画像に対してヘッセ行列の固有値に基づく血管強調フィルタ処理を行う。3次元ヘシアンフィルタを用いると、深度方向に屈曲した血管に関しても「血管走行方向の輝度変化が小さく、血管走行方向に直交する2方向の輝度が大きく低下する」という性質が成り立つため、良好に血管強調できるという利点がある。以下、数17〜19に3次元ヘシアンフィルタを示す。
<Step S41072>
The enhancement unit 101-461 performs blood vessel enhancement filter processing based on the eigenvalues of the Hessian matrix on the motion contrast image. When a three-dimensional hesian filter is used, even for a blood vessel bent in the depth direction, the property that "the change in brightness in the blood vessel traveling direction is small and the brightness in two directions orthogonal to the blood vessel traveling direction is greatly reduced" is established, so that the blood vessel is satisfactorily used. It has the advantage of being able to be emphasized. Hereinafter, equations 17 to 19 show a three-dimensional Hessian filter.
ここで示したように3次元の断層画像や3次元のモーションコントラスト画像を2次元の断層画像や正面画像単位だけではなく、3次元データとして処理をしてもよい。 As shown here, a three-dimensional tomographic image or a three-dimensional motion contrast image may be processed not only as a two-dimensional tomographic image or a frontal image unit but also as three-dimensional data.
<ステップS4009>
表示制御部101−05は、ステップS608で実施した計測に関するレポートを表示部104に表示する。ここで、表示制御部101−05は、3次元血管領域の計測結果と、3次元断層画像における篩状板領域等の所定の部位の形状の計測結果とを表示部104に表示させる表示制御手段の一例である。なお、表示制御部101−05は、3次元血管領域の計測結果を、篩状板領域等の所定の部位の3次元断層画像に重畳して表示部104に表示させる表示制御手段の一例であってもよい。また、表示制御部101−05は、篩状板領域等の所定の部位の形状の計測結果を、3次元モーションコントラスト画像に重畳して表示部104に表示させる表示制御手段の一例であってもよい。また、表示制御部101−05は、更に、3次元血管領域と3次元断層画像とを重畳して表示部104に表示させる表示制御手段の一例であってもよい。これにより、篩状板部等の所定の部位の形状と、所定の部位を潅流する血管の分布との関係を把握し易くすることができる。
<Step S4009>
The display control unit 101-05 displays a report on the measurement performed in step S608 on the
本実施形態では図46に示す単検査計測レポート画面において3次元解析と表示を行う例について示す。図46(a)では、並置表示ボタン4401、断層像に対する計測の種類(計測結果の表示内容)として、OCTマップ選択ボタン4403から「None」、OCTセクタマップ選択ボタン4404から「LCT」が選択されている。また、モーションコントラスト画像に対する計測の種類(計測結果の表示内容)として、OCTAマップ選択ボタン4405から「None」、OCTAセクタマップ選択ボタン4406から「VAD」を選択されている。なお、VADはVVDと言い換えてもよい。レポート画面の左側に3次元篩状板構造4601と篩状板部において計測した篩状板厚セクタマップ4611、右側に3次元モーションコントラストによる血管分布4602と篩状板部において計測したVADセクタマップ4612が表示される。これにより篩状板の構造と、篩状板部を灌流する血管分布(機能)との関係が把握し易くなる。並置表示モードでは、「Synchronize」のチェックボックス4605を選択することが出来、チェックボックス4605が選択状態の場合、3次元の構造と血管分布(機能)を同期して操作(データの回転、拡大・縮小など)することが出来る。一方、チェックボックス4605が非選択状態の場合、構造と血管分布(機能)とを別々に操作することが出来る。
In this embodiment, an example in which three-dimensional analysis and display are performed on the single inspection measurement report screen shown in FIG. 46 is shown. In FIG. 46A, “None” is selected from the OCT
なお、図示はしないが、OCTマップ選択ボタン4403において、「LCT」が選択されている場合、篩状板の厚みを色で表したカラーマップを3次元の篩状板構造4601に対してテクスチャ表示、あるいは、篩状板厚セクタマップ4611の下に平面の厚みカラーマップを表示する。OCTAマップ選択ボタン4405においても同様に、「VAD」が選択されている場合、血管の密度を色で表したカラーマップを血管構造に対してテクスチャ表示、あるいは、VADセクタマップ4612の下に血管密度カラーマップを表示する。3次元データへの重畳表示と並置してセクタマップとともにカラーマップの表示を両方行う、あるいは片方だけ行うという選択は任意に変更出来るものとする。
Although not shown, when "LCT" is selected in the OCT
また各計測対象画像に関して、左右眼の別、撮影日時、画角・画素数、略同一位置における断層画像数、OCTA重ね合わせ処理の実施条件に関する情報、OCT断層画像もしくはモーションコントラスト画像の評価値(画質指標)、投影法、及び/又はプロジェクションアーティファクト除去実施の有無に関する情報を表示部104に表示させてもよい。
For each measurement target image, the left and right eyes, the shooting date and time, the angle of view / pixel number, the number of tomographic images at substantially the same position, information on the execution conditions of the OCTA superimposition processing, the evaluation value of the OCT tomographic image or the motion contrast image ( The
なお、本実施形態では篩状板形状と篩状板部を灌流する血管の分布とを並置表示したが、本発明はこれに限られない。例えば、篩状板の局所形状と血管の局所分布との対応位置をより正確に把握したい場合には、図46(b)に示す重畳表示ボタン4402を選択することによって両構造を4603に示すように重畳表示してもよい。図46(b)に示す例では、断層像に対する計測の種類(計測結果の表示内容)として、OCTマップ表示ボタンから「None」、OCTセクタマップ選択ボタン4404から「LCT」を選択する。また、モーションコントラスト画像に対する計測の種類(計測結果の表示内容)として、OCTAマップ選択ボタン4405から「VAD」、OCTAセクタマップ選択ボタン4406から「None」を選択する。重畳表示時には、計測結果として篩状板構造と血管分布との一致率4613を示している。一致率とは、例えば、篩状板孔と血管とが3次元座標で一致している箇所の割合を示している。4606は3次元で重畳表示した篩状板形状と血管分布とのブレンド率を変更するユーザインターフェースであり、例としてスライダーを示している。スライダーの中心では、篩状板形状に対して血管構造の透過度が0.5で重畳表示している。なお、透過度を変更するデータは血管構造に限らず、篩状板構造データを変更可能とするようにしてもよい。その場合、半透明な構造の中に3次元の血管が表示されることとなる。なお、OCTマップとOCTAマップを重畳表示する場合には両マップを識別可能な態様(例えば、異なる色や透明度)で重畳表示する。またOCTセクタマップとOCTAセクタマップを重畳表示する場合には4611、4612で示すように並置して表示する以外に、第二実施形態で示したように両セクタマップの数値を同一セクタ内に並置表示するようにしてもよい。並置表示する数値は識別可能な態様(例えば単位付き、異なる色やフォントサイズ、字体、太さ)で表記してよい。なお、図示はしないが、OCTAマップ選択ボタン4405から「Bin」を選択して、灌流する血管領域をカラーで表示するようにしてもよい。カラーで表示する際には、動静脈を識別可能(例えば、動脈は赤、静脈は青)に色をつけてもよい。なお、4611、4612、4613に示したセクタマップは一例である。セクタは上下・左右4分割としてもよいし、上下のみ、あるいは左右のみの2分割でもよい。さらに、対応するセクタ同士(例えば上下)の差を比較して表示するようにしてもよい。
In the present embodiment, the shape of the sieve plate and the distribution of blood vessels perfusing the sieve plate portion are displayed side by side, but the present invention is not limited to this. For example, when it is desired to more accurately grasp the corresponding position between the local shape of the sieve plate and the local distribution of blood vessels, both structures are shown in 4603 by selecting the
また、本実施形態では視神経乳頭境界D内の篩状板領域内で特定された領域(篩状板、篩状板孔、及び血管)もしくは該篩状板領域内で取得された計測値に関して3次元表示する例について説明したが、本発明はこれに限定されない。例えば、視神経乳頭境界D内では篩状板領域(篩状板前面B6と後面B7で囲まれる領域)、視神経乳頭境界D外では網膜表層(例えば神経線維層)の深度範囲内で特定もしくは取得された領域や計測値を3次元表示する場合も本発明に含まれる。具体例として、表示部104の左側に「視神経乳頭境界D内において篩状板厚、視神経乳頭境界D外において神経線維層厚(もしくは神経節細胞層厚、神経節細胞複合体(GCC:Ganglion Cell Complex)厚)」を表示した計測値マップを表示し、右側に「視神経乳頭境界D内において篩状板部の血管密度(VLDもしくはVAD)、視神経乳頭境界D外においてRPCの血管密度(VLDもしくはVAD)」を表示した計測値マップを並置表示する場合が挙げられる。このような並置表示(あるいは重畳表示でもよい)を行うことで、篩状板部を灌流する血管の分布と篩状板の形状変化部位との関連性が把握できるだけでなく、篩状板形状が変化した部位と神経線維層が菲薄化した領域との関連まで一貫して把握できる。すなわち、神経線維層や神経節細胞層の菲薄化の原因となる兆候(篩状板部を灌流する血管の退縮や、それによって生じる篩状板部の形状変化)と結果として生じる神経節細胞死(神経線維層や神経節細胞層の菲薄化)の状況が一覧でき、緑内障診断向けの表示設定として有用である。なお、視神経乳頭境界D内で篩状板領域、視神経乳頭境界D外で網膜表層の深度範囲内で取得された計測値分布を表示部104に表示する場合において、「視神経乳頭境界D内において篩状板厚、視神経乳頭境界D外において神経線維層厚(もしくは神経節細胞層厚、神経節細胞複合体(GCC)厚)」を表示した計測値マップのみ表示部104に表示してもよいし、「視神経乳頭境界D内において篩状板部の血管密度、視神経乳頭境界D外においてRPCの血管密度」を表示した計測値マップのみ表示部104に表示してもよい。また、乳頭外における深度範囲及び乳頭外で特定・計測する血管は各々神経線維層及びRPCに限定されるものではなく、例えば網膜表層を投影深度範囲として網膜表層の毛細血管を特定・計測してもよいし、網膜深層を投影深度範囲として網膜深層の毛細血管を特定・計測してその分布を表示してもよい。また、乳頭内外において表示する血管の特定・計測結果は血管密度に限らず、例えば血管領域の位置、無血管領域の位置、無血管領域の形状、血管領域の面積、無血管領域の面積、血管の長さ、及び/又は血管の曲率であってもよい。
Further, in the present embodiment, regarding the region (sieving plate, sieve plate hole, and blood vessel) specified in the sieve plate region within the optic disc boundary D or the measured value acquired in the
本発明における計測の種類はこれらに限定されるものではなく、例えば無血管領域、無血管領域の形状(長さや円形度)、血管領域や無血管領域の面積、血管長、血管の曲率、篩状板孔の面積や形状(長さや円形度)を計測する場合も本発明に含まれる。 The types of measurement in the present invention are not limited to these, for example, the avascular region, the shape of the avascular region (length and circularity), the area of the vascular region and the avascular region, the blood vessel length, the curvature of the blood vessel, and the sieve. The present invention also includes the case of measuring the area and shape (length and circularity) of the shape plate hole.
さらに、操作者が図46のボタン4407を指定することで表示されるメニューから計測の種類(例えば篩状板厚(LCT)とVAD)を選択した上で、断層画像もしくはモーションコントラスト画像上で任意形状の関心領域を指定することにより、関心領域を表示させ、該関心領域内の計測値を算出して並置表示してもよい。このように関心領域901が1つだけ表示される場合は、該関心領域内の計測値を複数種類識別可能な態様(単位付き、異なる色やフォントサイズ、字体、太さ)で並置表示してよい。
Further, after the operator selects the measurement type (for example, sieve plate thickness (LCT) and VAD) from the menu displayed by designating the
また、合成表示する領域は実施形態1の場合と同様に、画像全体に限らない。例えば、操作者が入力部103を用いて合成対象領域を指定し、該合成対象領域内のみ表示部104に重畳もしくは並置表示するよう構成してもよい。例えば図46の例では篩状板部を含む矩形領域を指定し、該矩形領域内のみ重畳している。ここでは計測値分布が視認しやすいように合成対象外の領域を表示していないが、合成対象の領域・合成対象外の領域とも表示部104に表示してよい。
Further, the area to be composited and displayed is not limited to the entire image as in the case of the first embodiment. For example, the operator may specify the synthesis target area using the
<ステップS4010>
画像処理装置101はステップS4001からステップS4010に至る一連の処理を終了するか否かの指示を外部から取得する。この指示は入力部103を介して操作者により入力される。処理終了の指示を取得した場合は処理を終了する。一方、処理継続の指示を取得した場合にはステップS4002に処理を戻し、次の披検眼に対する処理(または同一披検眼に対する再処理)を行う。
<Step S4010>
The
以上述べた構成によれば、本実施形態における画像処理装置の一つは、EDI撮影により取得した篩状板部を含む3次元のOCT断層画像と、篩状板部を含む3次元のモーションコントラスト画像との並置もしくは重畳表示、さらには解析を行う。この際に、OCT断層画像、あるいは、モーションコントラスト画像に対して、機械学習モデルによる高画質化処理を適用し、3次元の血管領域ならびに構造を特定する。これにより、篩状板部の形状と篩状板部を潅流する血管の分布との関係を把握し易くすることができる。 According to the configuration described above, one of the image processing devices in the present embodiment is a three-dimensional OCT tomographic image including the sieve plate portion acquired by EDI imaging and a three-dimensional motion contrast including the sieve plate portion. It performs juxtaposition or superimposition display with images, and further analysis. At this time, the OCT tomographic image or the motion contrast image is subjected to high image quality processing by a machine learning model to specify the three-dimensional blood vessel region and structure. This makes it easier to understand the relationship between the shape of the sieve plate portion and the distribution of blood vessels that perfuse the sieve plate portion.
(変形例1)
上記第四乃至八実施形態では、高画質化処理(加算平均)済みのデータに対して、二次元正面画像を生成する例について述べたが、これに限らない。例えば、高画質化処理(ステップS305)を行っていない1回の撮影による三次元データに対しても適用可能である。さらには、加算平均以外の高画質化処理を施した三次元データに対しても適用可能である。第四乃至八実施形態は、二次元正面画像を生成する際の基準に対するものであるため、三次元データの画質や生成方法はどのような方法であっても構わない。
(Modification example 1)
In the fourth to eighth embodiments described above, an example of generating a two-dimensional front image with respect to data that has been subjected to high image quality processing (addition averaging) has been described, but the present invention is not limited to this. For example, it can be applied to three-dimensional data obtained by one shooting without performing the high image quality processing (step S305). Furthermore, it can be applied to three-dimensional data that has been subjected to high image quality processing other than addition averaging. Since the fourth to eighth embodiments are for the reference when generating the two-dimensional front image, the image quality and the generation method of the three-dimensional data may be any method.
(変形例2)
上記第四乃至八実施形態では、ステップS1506において二次元正面画像の生成方法について述べたが、画像生成だけではなく、生成した二次元正面画像を用いて計測を行ってもよい。例えば、OCTA画像に対して面積密度やスケルトン密度などを計測する。視神経乳頭が写った画像においては、視神経乳頭内部血管と、視神経乳頭周囲の毛細血管とを1枚の画像で同時に計測することが可能となる。また、Enface画像を用いれば、篩状板孔の密度、面積、体積などと、視神経乳頭周囲の層厚も同時に計測可能となる。また、これらの計測結果を表示部1360に表示することも可能である。例えば、図31のレポート画面に表示することができる。
(Modification 2)
In the fourth to eighth embodiments, the method of generating the two-dimensional front image has been described in step S1506, but the measurement may be performed using the generated two-dimensional front image as well as the image generation. For example, the area density, the skeleton density, and the like are measured with respect to the OCTA image. In the image showing the optic nerve head, the blood vessels inside the optic nerve head and the capillaries around the optic nerve head can be measured simultaneously with one image. Further, by using the Enface image, the density, area, volume, etc. of the sieve plate hole and the layer thickness around the optic nerve head can be measured at the same time. It is also possible to display these measurement results on the
(変形例3)
上記第七実施形態では、例えば、部分領域の境界線を深度方向に移動させる方法として、オフセット値(3718と3719)を入力することにより移動させる例を示したが、これに限らない。例えば、境界線をドラッグすることにより移動させてもよい。あるいは、断層画像の横にスライダーを表示して、スライダーを移動させることで、それに連動して二次元画像生成の範囲設定を移動させるようにしてもよい。もちろん、これらの方法は、部分領域以外の領域の境界線を深度方向に移動させる方法にも適用することができる。
(Modification example 3)
In the seventh embodiment, for example, as a method of moving the boundary line of the partial region in the depth direction, an example of moving by inputting offset values (3718 and 3719) is shown, but the present invention is not limited to this. For example, the border may be moved by dragging. Alternatively, by displaying a slider next to the tomographic image and moving the slider, the range setting of the two-dimensional image generation may be moved in conjunction with the slider. Of course, these methods can also be applied to a method of moving the boundary line of a region other than the partial region in the depth direction.
(変形例4)
上記第四乃至八実施形態では、ステップS1506においてモーションコントラストデータからOCTA画像を生成する例について説明をしたが、OCTA画像として、プロジェクションアーティファクト除去を行った画像を表示するようにしてもよい。プロジェクションアーティファクトとは、上の層の血管の影が下層に写りこむことであり、血液の流れによる変化で影が変化することにより、血管ではない場所にアーティファクトが発生してしまう現象である。モーションコントラストデータにはこのようなアーティファクトが存在することもある。そのため、UIを操作してOCTA画像を生成する範囲を任意に設定する場合においても、このアーティファクトを除去した画像を生成して表示するようにしてもよい。
(Modification example 4)
In the fourth to eighth embodiments, the example of generating the OCTA image from the motion contrast data has been described in step S1506, but the image obtained by removing the projection artifact may be displayed as the OCTA image. A projection artifact is a phenomenon in which the shadow of a blood vessel in the upper layer is reflected in the lower layer, and the shadow changes due to a change due to blood flow, so that the artifact is generated in a place other than the blood vessel. Such artifacts may exist in the motion contrast data. Therefore, even when the range for generating the OCTA image is arbitrarily set by operating the UI, the image from which this artifact is removed may be generated and displayed.
(変形例5)
上記第四乃至八実施形態において、撮影から表示までを一連の流れで示したがこれに限らない。例えば、既に撮影が済んでいるデータを用いて高画質画像生成処理を行ってもよい。その場合、撮影に関する処理のステップS1502をスキップし、その代わりに撮影済みの複数の三次元のモーションコントラストデータと三次元の断層像を取得する。そして、ステップS1505で高画質画像生成処理を行う。これにより、複数回撮影を行ったデータに関して、撮影時に処理をしなくても、必要な時に高画質化処理を実行することが出来る。そのため、撮影時には撮影だけに集中することが出来る。
(Modification 5)
In the fourth to eighth embodiments, the process from shooting to display is shown in a series of steps, but the present invention is not limited to this. For example, a high-quality image generation process may be performed using data that has already been photographed. In that case, step S1502 of the processing related to shooting is skipped, and instead, a plurality of shot three-dimensional motion contrast data and a three-dimensional tomographic image are acquired. Then, in step S1505, a high-quality image generation process is performed. As a result, it is possible to perform high image quality processing when necessary for data that has been photographed a plurality of times without processing at the time of photographing. Therefore, when shooting, it is possible to concentrate only on shooting.
(変形例6)
上記第四乃至八実施形態の変形例の一つとして、上記第四乃至八実施形態に係る画像処理装置の一つが、設定された異なる深さ範囲を、生成された二次元正面画像における面内方向と対応付けて記憶する記憶手段を有することができる。これにより、例えば、医者等の操作者は、面内方向における各領域の深さ範囲を記憶手段から読み出すことにより、過去の二次元正面画像と共に、面内方向における各領域の深さ範囲を容易に確認することができる。
(Modification 6)
As one of the modifications of the fourth to eighth embodiments, one of the image processing devices according to the fourth to eighth embodiments sets different depth ranges in the plane of the generated two-dimensional front image. It is possible to have a storage means for storing in association with the direction. Thereby, for example, an operator such as a doctor can easily read the depth range of each region in the in-plane direction from the storage means to easily obtain the depth range of each region in the in-plane direction together with the past two-dimensional front image. Can be confirmed in.
(変形例7)
上記第四乃至八実施形態の変形例の一つとして、上記第四乃至八実施形態に係る画像処理装置の一つが、モーションコントラスト正面画像と輝度正面画像とを並べて表示する機能と切り換え表示する機能とのいずれかが、操作者の指示に応じて選択的に実行可能に構成されることができる。これにより、例えば、医者等の操作者は、診断目的等に応じて各画像の表示方法を容易に選択することができる。
(Modification 7)
As one of the modifications of the fourth to eighth embodiments, one of the image processing devices according to the fourth to eighth embodiments has a function of displaying a motion contrast front image and a brightness front image side by side and a function of switching and displaying them. Any of the above can be selectively executed according to the instruction of the operator. Thereby, for example, an operator such as a doctor can easily select a display method of each image according to the purpose of diagnosis and the like.
(変形例8)
上記第四乃至八実施形態の変形例の一つとして、上記第四乃至八実施形態に係る画像処理装置の一つが、被検眼のフォローアップ(経過観察)の機能を含むことができる。例えば、表示制御部1335が、異なる日に行われた複数の検査に対応する複数の二次元正面画像を並べて表示部1360に表示させることができる。また、例えば、操作者の指示に応じて選択された基準となる検査に対応する二次元正面画像の生成に適用された深さ範囲と部分領域とのうち少なくとも1つが、他の検査に対応する二次元正面画像に適用されることができる。また、基準となる検査に関する設定が操作者の指示に応じて変更された場合に、他の検査に関する設定が同時に変更されることができる。これらにより、例えば、医者等の操作者は、被検眼のフォローアップ(経過観察)を効率的に行うことができる。
(Modification 8)
As one of the modifications of the fourth to eighth embodiments, one of the image processing devices according to the fourth to eighth embodiments can include a function of follow-up (follow-up) of the eye to be inspected. For example, the
(変形例9)
上記第四乃至八実施形態の変形例の一つとして、上記第四乃至八実施形態に係る画像処理装置の一つが、被検眼の三次元データの取得対象または二次元正面画像の生成対象である被検眼の部位に応じて、深さ方向に交差する方向における複数の領域に対する異なる深さ範囲の設定の機能を適用するか非適用にするかを切り換えてもよい。これにより、例えば、被検眼の視神経乳頭部や篩状板領域が対象となる部位である場合には、この機能が適用され、また、被検眼の黄斑部が対象となる部位である場合には、この機能は非適用とされることができる。すなわち、対象となる部位として被検眼の浅部と深部とが混在する場合には、この機能が適用されることにより、1つの二次元正面画像の観察で浅部と深部との識別を容易にすることができる。一方、例えば、被検眼の浅部のみが対象となる部位である場合には、従来の深さ方向の設定でよいため、この機能は非適用とされればよい。
(Modification 9)
As one of the modifications of the fourth to eighth embodiments, one of the image processing devices according to the fourth to eighth embodiments is a target for acquiring three-dimensional data of the eye to be inspected or a target for generating a two-dimensional front image. Depending on the part of the eye to be inspected, the function of setting different depth ranges for a plurality of regions in the direction intersecting the depth direction may be applied or not applied. As a result, for example, this function is applied when the optic nerve head or the lamina cribrosa region of the eye to be inspected is the target site, and when the macula of the eye to be inspected is the target site, for example. , This feature can be deprecated. That is, when the shallow part and the deep part of the eye to be examined coexist as the target part, by applying this function, it is easy to distinguish between the shallow part and the deep part by observing one two-dimensional front image. can do. On the other hand, for example, when only the shallow part of the eye to be inspected is the target part, the conventional setting in the depth direction may be sufficient, and this function may not be applied.
(変形例10)
本実施形態では、篩状板部を灌流する血管の分布との関連について説明をしたがそれに限らない。網膜構造と新生血管、硝子体と硝子体内新生血管、脈絡膜構造と脈絡膜血管など、異なる部位でもよい。
(Modification example 10)
In the present embodiment, the relationship with the distribution of blood vessels perfusing the sieve plate portion has been described, but the present invention is not limited to this. It may be at different sites such as retinal structure and neovascularization, vitreous and intravitreal neovascularization, choroidal structure and choroidal blood vessels.
また、上述した様々な実施形態及び変形例による画像処理装置又は画像処理方法によって処理される画像は、任意のモダリティ(撮影装置、撮影方法)を用いて取得された医用画像を含む。処理される医用画像は、任意の撮影装置等で取得された医用画像や、上記実施形態及び変形例による画像処理装置又は画像処理方法によって作成された画像を含むことができる。 Further, the image processed by the image processing apparatus or the image processing method according to the various embodiments and modifications described above includes a medical image acquired by using an arbitrary modality (imaging apparatus, imaging method). The medical image to be processed may include a medical image acquired by an arbitrary imaging device or the like, or an image created by an image processing device or an image processing method according to the above-described embodiment and modification.
さらに、処理される医用画像は、被検者(被検体)の所定の部位の画像であり、所定の部位の画像は被検者の所定の部位の少なくとも一部を含む。また、当該医用画像は、被検者の他の部位を含んでもよい。また、医用画像は、静止画像又は動画像であってよく、白黒画像又はカラー画像であってもよい。さらに医用画像は、所定の部位の構造(形態)を表す画像でもよいし、その機能を表す画像でもよい。機能を表す画像は、例えば、OCTA画像、ドップラーOCT画像、fMRI画像、及び超音波ドップラー画像等の血流動態(血流量、血流速度等)を表す画像を含む。なお、被検者の所定の部位は、撮影対象に応じて決定されてよく、人眼(被検眼)、脳、肺、腸、心臓、すい臓、腎臓、及び肝臓等の臓器、頭部、胸部、脚部、並びに腕部等の任意の部位を含む。 Further, the medical image to be processed is an image of a predetermined part of the subject (subject), and the image of the predetermined part includes at least a part of the predetermined part of the subject. In addition, the medical image may include other parts of the subject. Further, the medical image may be a still image or a moving image, and may be a black-and-white image or a color image. Further, the medical image may be an image showing the structure (morphology) of a predetermined part or an image showing the function thereof. The image showing the function includes, for example, an OCTA image, a Doppler OCT image, an fMRI image, and an image showing blood flow dynamics (blood flow volume, blood flow velocity, etc.) such as an ultrasonic Doppler image. The predetermined part of the subject may be determined according to the subject to be imaged, and the human eye (eye to be examined), brain, lung, intestine, heart, pancreas, kidney, and organs such as liver, head, and chest. , Legs, and any part such as arms.
開示の技術の一つによれば、一つの二次元、あるいは三次元画像において、注目している部位の識別を容易にすることができる。 According to one of the disclosed techniques, it is possible to easily identify the part of interest in one two-dimensional or three-dimensional image.
(その他の実施形態)
本発明は、上述の実施形態及び変形例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。コンピュータは、1つ又は複数のプロセッサ若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサ若しくは回路のネットワークを含みうる。
(Other embodiments)
The present invention is also a process in which a program that realizes one or more functions of the above-described embodiments and modifications is supplied to a system or device via a network or storage medium, and a computer of the system or device reads and executes the program. It is feasible. A computer may have one or more processors or circuits and may include multiple separate computers or a network of separate processors or circuits to read and execute computer executable instructions.
プロセッサ又は回路は、中央演算処理装置(CPU)、マイクロプロセッシングユニット(MPU)、グラフィクスプロセッシングユニット(GPU)、特定用途向け集積回路(ASIC)、又はフィールドプログラマブルゲートウェイ(FPGA)を含みうる。また、プロセッサ又は回路は、デジタルシグナルプロセッサ(DSP)、データフロープロセッサ(DFP)、又はニューラルプロセッシングユニット(NPU)を含みうる。 The processor or circuit may include a central processing unit (CPU), a microprocessing unit (MPU), a graphics processing unit (GPU), an application specific integrated circuit (ASIC), or a field programmable gateway (FPGA). Also, the processor or circuit may include a digital signal processor (DSP), a data flow processor (DFP), or a neural processing unit (NPU).
以上、実施形態及び変形例を参照して本発明について説明したが、本発明は上記実施形態及び変形例に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施形態及び変形例は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。 Although the present invention has been described above with reference to the embodiments and modifications, the present invention is not limited to the above embodiments and modifications. The present invention also includes inventions modified to the extent not contrary to the gist of the present invention, and inventions equivalent to the present invention. In addition, the above-described embodiments and modifications can be appropriately combined as long as they do not contradict the gist of the present invention.
Claims (16)
前記特定された3次元血管領域の計測結果と、前記篩状板領域の3次元断層画像における前記篩状板領域の形状の計測結果とを表示手段に表示させる表示制御手段と、
を備える画像処理装置。 A specific means for identifying the three-dimensional blood vessel region of the sieve plate region in the three-dimensional motion contrast image of the sieve plate region obtained by performing high image quality processing using a trained model for high image quality.
A display control means for displaying the measurement result of the specified three-dimensional blood vessel region and the measurement result of the shape of the sieve plate region in the three-dimensional tomographic image of the sieve plate region on the display means.
An image processing device comprising.
前記特定手段は、前記表示された画像上での操作者の指示に応じて前記変更を実行する請求項6に記載の画像処理装置。 The display control means causes the display means to display a tomographic image or a luminance front image indicating the depth direction.
The image processing apparatus according to claim 6, wherein the specific means executes the change according to an instruction of an operator on the displayed image.
前記特定された3次元血管領域の計測結果と、前記所定の部位の3次元断層画像における前記所定の部位の形状の計測結果とを表示手段に表示させる表示制御手段と、
を備える画像処理装置。 A specific means for identifying a three-dimensional blood vessel region of the predetermined part in a three-dimensional motion contrast image of the predetermined part obtained by performing high image quality processing using a trained model for high image quality.
A display control means for displaying the measurement result of the specified three-dimensional blood vessel region and the measurement result of the shape of the predetermined part in the three-dimensional tomographic image of the predetermined part on the display means.
An image processing device comprising.
前記特定された3次元血管領域の計測結果と、前記篩状板領域の3次元断層画像における前記篩状板領域の形状の計測結果とを表示手段に表示させる工程と、
を含む画像処理方法。 A step of identifying a three-dimensional blood vessel region of the sieve plate region in a three-dimensional motion contrast image of the sieve plate region obtained by performing high image quality processing using a trained model for high image quality.
A step of displaying the measurement result of the specified three-dimensional blood vessel region and the measurement result of the shape of the sieve plate region in the three-dimensional tomographic image of the sieve plate region on the display means.
Image processing method including.
前記特定された3次元血管領域の計測結果と、前記所定の部位の3次元断層画像における前記所定の部位の形状の計測結果とを表示手段に表示させる工程と、
を含む画像処理方法。 A step of specifying a three-dimensional blood vessel region of the predetermined part in a three-dimensional motion contrast image of the predetermined part obtained by performing high image quality processing using a trained model for high image quality.
A step of displaying the measurement result of the specified three-dimensional blood vessel region and the measurement result of the shape of the predetermined part in the three-dimensional tomographic image of the predetermined part on the display means.
Image processing method including.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020018930A JP2021122559A (en) | 2020-02-06 | 2020-02-06 | Image processing device, image processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020018930A JP2021122559A (en) | 2020-02-06 | 2020-02-06 | Image processing device, image processing method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021122559A true JP2021122559A (en) | 2021-08-30 |
Family
ID=77457889
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020018930A Pending JP2021122559A (en) | 2020-02-06 | 2020-02-06 | Image processing device, image processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021122559A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113781500A (en) * | 2021-09-10 | 2021-12-10 | 中国科学院自动化研究所 | Method and device for segmenting cabin segment image instance, electronic equipment and storage medium |
WO2023038358A1 (en) * | 2021-09-10 | 2023-03-16 | 가톨릭대학교 산학협력단 | Method for generating optic nerve pathway using mri image and oct image match |
WO2023199847A1 (en) * | 2022-04-13 | 2023-10-19 | 株式会社ニコン | Image processing method, image processing device, and program |
CN113781500B (en) * | 2021-09-10 | 2024-04-05 | 中国科学院自动化研究所 | Method, device, electronic equipment and storage medium for segmenting cabin image instance |
-
2020
- 2020-02-06 JP JP2020018930A patent/JP2021122559A/en active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113781500A (en) * | 2021-09-10 | 2021-12-10 | 中国科学院自动化研究所 | Method and device for segmenting cabin segment image instance, electronic equipment and storage medium |
WO2023038358A1 (en) * | 2021-09-10 | 2023-03-16 | 가톨릭대학교 산학협력단 | Method for generating optic nerve pathway using mri image and oct image match |
CN113781500B (en) * | 2021-09-10 | 2024-04-05 | 中国科学院自动化研究所 | Method, device, electronic equipment and storage medium for segmenting cabin image instance |
WO2023199847A1 (en) * | 2022-04-13 | 2023-10-19 | 株式会社ニコン | Image processing method, image processing device, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11935241B2 (en) | Image processing apparatus, image processing method and computer-readable medium for improving image quality | |
KR102543875B1 (en) | Medical image processing apparatus, medical image processing method, computer readable medium, and trained model | |
JP7341874B2 (en) | Image processing device, image processing method, and program | |
US10973406B2 (en) | Image processing apparatus, image processing method, and non-transitory computer readable medium | |
WO2020036182A1 (en) | Medical image processing device, medical image processing method, and program | |
US11887288B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP7374615B2 (en) | Information processing device, information processing method and program | |
US20210183019A1 (en) | Image processing apparatus, image processing method and computer-readable medium | |
JP2021037239A (en) | Area classification method | |
JP7362403B2 (en) | Image processing device and image processing method | |
WO2020138128A1 (en) | Image processing device, image processing method, and program | |
WO2020050308A1 (en) | Image processing device, image processing method and program | |
JP7009265B2 (en) | Image processing equipment, image processing methods and programs | |
JP2021122559A (en) | Image processing device, image processing method, and program | |
WO2020075719A1 (en) | Image processing device, image processing method, and program | |
WO2019230643A1 (en) | Information processing device, information processing method, and program | |
JP7195745B2 (en) | Image processing device, image processing method and program | |
JP7106304B2 (en) | Image processing device, image processing method and program | |
JP2019150485A (en) | Image processing system, image processing method, and program | |
WO2020049828A1 (en) | Image processing apparatus, image processing method, and program | |
JP2022062620A (en) | Image processing device, image processing method and program | |
JP2022062619A (en) | Image processing device, image processing method and program | |
JP2023010308A (en) | Image processing device and image processing method | |
JP2019154717A (en) | Image processing apparatus, image processing method, and program | |
JP2021069667A (en) | Image processing device, image processing method and program |