[第一実施形態]
本実施形態に係る画像処理装置の一つは、EDI撮影により取得した篩状板部を含むOCT断層画像の重ね合わせ輝度正面画像と、OCTA重ね合わせ画像から生成した篩状板部のモーションコントラスト正面画像との並置もしくは重畳表示を行う。これにより、篩状板部の形状と篩状板部を潅流する血管の分布との関係を把握しやすくする場合について説明する。なお、本発明において、EDI撮影や、画像の重ね合わせ処理等は必須のものではない。
以下、図面を参照しながら、本発明の第一実施形態に係る画像処理装置を備える画像処理システムについて説明する。
図2は、本実施形態に係る画像処理装置101を備える画像処理システム10の構成を示す図である。図2に示すように、画像処理システム10は、画像処理装置101が、インタフェースを介して断層画像撮影装置100(OCTとも言う)、外部記憶部102、入力部103、表示部104と接続されることにより構成されている。
断層画像撮影装置100は、眼部の断層画像を撮影する装置である。本実施形態においては、断層画像撮影装置100としてSD-OCTを用いるものとする。これに限らず、例えばSS-OCTを用いて構成しても良い。
図2(a)において、測定光学系100-1は前眼部像、被検眼のSLO眼底像、断層画像を取得するための光学系である。ステージ部100-2は、測定光学系100-1を前後左右に移動可能にする。ベース部100-3は、後述の分光器を内蔵している。
画像処理装置101は、ステージ部100-2の制御、アラインメント動作の制御、断層画像の再構成などを実行するコンピュータである。外部記憶部102は、断層撮像用のプログラム、患者情報、撮影データ、過去検査の画像データや計測データなどを記憶する。
入力部103はコンピュータへの指示を行い、具体的にはキーボードとマウスから構成される。表示部104は、例えばモニタからなる。
(断層画像撮影装置の構成)
本実施形態の断層画像撮影装置100における測定光学系及び分光器の構成について図2(b)を用いて説明する。
まず、測定光学系100-1の内部について説明する。被検眼200に対向して対物レンズ201が設置され、その光軸上に第1ダイクロイックミラー202及び第2ダイクロイックミラー203が配置されている。これらのダイクロイックミラーによってOCT光学系の光路250、SLO光学系と固視灯用の光路251、及び前眼観察用の光路252とに波長帯域ごとに分岐される。
SLO光学系と固視灯用の光路251は、SLO走査手段204、レンズ205及び206、ミラー207、第3ダイクロイックミラー208、APD(Avalanche Photodiode)209、SLO光源210、固視灯211を有している。
ミラー207は、穴あきミラーや中空のミラーが蒸着されたプリズムであり、SLO光源210による照明光と、被検眼からの戻り光とを分離する。第3ダイクロイックミラー208はSLO光源210の光路と固視灯211の光路とに波長帯域ごとに分離する。
SLO走査手段204は、SLO光源210から発せられた光を被検眼200上で走査するものであり、X方向に走査するXスキャナ、Y方向に走査するYスキャナから構成されている。本実施形態では、Xスキャナは高速走査を行う必要があるためポリゴンミラーで、Yスキャナはガルバノミラーによって構成されている。
レンズ205はSLO光学系及び固視灯211の焦点合わせのため、不図示のモータによって駆動される。SLO光源210は780nm付近の波長の光を発生する。APD209は、被検眼からの戻り光を検出する。固視灯211は可視光を発生して被検者の固視を促すものである。
SLO光源210から発せられた光は、第3ダイクロイックミラー208で反射され、ミラー207を通過し、レンズ206及び205を通ってSLO走査手段204によって被検眼200上で走査される。被検眼200からの戻り光は、照明光と同じ経路を戻った後、ミラー207によって反射され、APD209へと導かれ、SLO眼底像が得られる。
固視灯211から発せられた光は、第3ダイクロイックミラー208、ミラー207を透過し、レンズ206及び205を通り、SLO走査手段204によって被検眼200上の任意の位置に所定の形状を作り、被検者の固視を促す。
前眼観察用の光路252には、レンズ212及び213、スプリットプリズム214、赤外光を検知する前眼部観察用のCCD215が配置されている。このCCD215は、不図示の前眼部観察用照射光の波長、具体的には970nm付近に感度を持つものである。スプリットプリズム214は、被検眼200の瞳孔と共役な位置に配置されており、被検眼200に対する測定光学系100-1のZ軸方向(光軸方向)の距離を、前眼部のスプリット像として検出できる。
OCT光学系の光路250は前述の通りOCT光学系を構成しており、被検眼200の断層画像を撮影するためのものである。より具体的には、断層画像を形成するための干渉信号を得るものである。XYスキャナ216は光を被検眼200上で走査するためのものであり、図2(b)では1枚のミラーとして図示されているが、実際はXY2軸方向の走査を行うガルバノミラーである。
レンズ217及び218のうち、レンズ217については光カプラー219に接続されているファイバー224から出射するOCT光源220からの光を、被検眼200に焦点合わせするために不図示のモータによって駆動される。この焦点合わせによって、被検眼200からの戻り光は同時にファイバー224の先端に、スポット状に結像されて入射されることとなる。次に、OCT光源220からの光路と参照光学系、分光器の構成について説明する。220はOCT光源、221は参照ミラー、222は分散補償硝子、223はレンズ、219は光カプラー、224から227は光カプラーに接続されて一体化しているシングルモードの光ファイバー、230は分光器である。
これらの構成によってマイケルソン干渉計を構成している。OCT光源220から出射された光は、光ファイバー225を通じ、光カプラー219を介して光ファイバー224側の測定光と、光ファイバー226側の参照光とに分割される。測定光は前述のOCT光学系光路を通じ、観察対象である被検眼200に照射され、被検眼200による反射や散乱により同じ光路を通じて光カプラー219に到達する。
一方、参照光は光ファイバー226、レンズ223、測定光と参照光の波長分散を合わせるために挿入された分散補償ガラス222を介して参照ミラー221に到達し反射される。そして同じ光路を戻り、光カプラー219に到達する。
光カプラー219によって、測定光と参照光は合波され干渉光となる。
ここで、測定光の光路長と参照光の光路長がほぼ同一となったときに干渉を生じる。参照ミラー221は、不図示のモータおよび駆動機構によって光軸方向に調整可能に保持され、測定光の光路長に参照光の光路長を合わせることが可能である。干渉光は光ファイバー227を介して分光器230に導かれる。
また、偏光調整部228、229は、各々光ファイバー224、226中に設けられ、偏光調整を行う。これらの偏光調整部は光ファイバーをループ状に引きまわした部分を幾つか持っている。このループ状の部分をファイバーの長手方向を中心として回転させることでファイバーに捩じりを加え、測定光と参照光の偏光状態を各々調整して合わせることができる。
分光器230はレンズ232、234、回折格子233、ラインセンサ231から構成される。光ファイバー227から出射された干渉光はレンズ234を介して平行光となった後、回折格子233で分光され、レンズ232によってラインセンサ231に結像される。
次に、OCT光源220の周辺について説明する。OCT光源220は、代表的な低コヒーレント光源であるSLD(Super Luminescent Diode)である。中心波長は855nm、波長バンド幅は約100nmである。ここで、バンド幅は、得られる断層画像の光軸方向の分解能に影響するため、重要なパラメータである。
光源の種類は、ここではSLDを選択したが、低コヒーレント光が出射できればよく、ASE(Amplified Spontaneous Emission)等を用いることができる。中心波長は眼を測定することを鑑みると近赤外光が適する。また、中心波長は得られる断層画像の横方向の分解能に影響するため、なるべく短波長であることが望ましい。双方の理由から中心波長は855nmとした。
本実施形態では干渉計としてマイケルソン干渉計を用いたが、マッハツェンダー干渉計を用いても良い。測定光と参照光との光量差に応じて、光量差が大きい場合にはマッハツェンダー干渉計を、光量差が比較的小さい場合にはマイケルソン干渉計を用いることが望ましい。
(画像処理装置の構成)
本実施形態の画像処理装置101の構成について図1を用いて説明する。
画像処理装置101は断層画像撮影装置100に接続されたパーソナルコンピュータ(PC)であり、画像取得部101-01、記憶部101-02、撮影制御部101-03、画像処理部101-04、表示制御部101-05を備える。また、画像処理装置101は演算処理装置CPUが画像取得部101-01、撮影制御部101-03、画像処理部101-04および表示制御部101-05を実現するソフトウェアモジュールを実行することで機能を実現する。本発明はこれに限定されず、例えば画像処理部101-04をASIC等の専用のハードウェアで実現してもよいし、表示制御部101-05をCPUとは異なるGPU等の専用プロセッサを用いて実現してもよい。また断層画像撮影装置100と画像処理装置101との接続はネットワークを介した構成であってもよい。
画像取得部101-01は断層画像撮影装置100により撮影されたSLO眼底像や断層画像の信号データを取得する。また画像取得部101-01は断層画像生成部101―11及びモーションコントラストデータ生成部101-12を有する。断層画像生成部101―11は断層画像撮影装置100により撮影された断層画像の信号データ(干渉信号)を取得して信号処理により断層画像を生成し、生成した断層画像を記憶部101-02に格納する。
撮影制御部101-03は、断層画像撮影装置100に対する撮影制御を行う。撮影制御には、断層画像撮影装置100に対して撮影パラメータの設定に関して指示することや、撮影の開始もしくは終了に関して指示することも含まれる。
画像処理部101-04は、位置合わせ部101-41、合成部101-42、補正部101-43、画像特徴取得部101-44、投影部101-45を有する。先に述べた画像取得部101-01及び合成部101-42は、本発明に係る取得手段の一例である。合成部101-42は合成法指定部101-421、同一モダリティ画像合成部101-422、複数モダリティ画像合成部101-423を有する。合成部101-42は位置合わせ部101-41により得られた位置合わせパラメータに基づいて同一モダリティ画像間、もしくは断層像―モーションコントラスト画像間の合成処理を行う。具体的には、合成法指定部101-421は合成対象画像の種類(断層画像/モーションコントラスト画像/断層画像及びモーションコントラスト画像)と、合成処理法(重ね合わせ/貼り合わせ/並置表示)を指定する。同一モダリティ画像合成部101-422は断層画像間、もしくはモーションコントラスト画像間の合成処理を行う。複数モダリティ画像合成部101-423は、断層像―モーションコントラスト画像間の合成処理を行う。補正部101-43は、モーションコントラスト画像内に生じるプロジェクションアーチファクトを2次元もしくは3次元的に抑制する処理を行う(プロジェクションアーチファクトについてはS304で説明する)。画像特徴取得部101-44は、断層画像から網膜や脈絡膜の層境界、篩状板の前面や後面の境界、中心窩や視神経乳頭中心の位置を取得する。ここで、画像特徴取得部101-44は、被検眼の断層画像データを解析することにより篩状板領域を特定する特定手段の一例である。ここで、篩状板領域とは、例えば、篩状板の前面や後面の境界で規定される領域を含む領域であれば良い。また、投影部101-45は、画像特徴取得部101-44が取得した境界位置に基づく深度範囲で断層画像もしくはモーションコントラスト画像を投影し、輝度正面画像もしくはモーションコントラスト正面画像を生成する。ここで、投影部101-45は、特定された篩状板領域に関する情報(例えば、座標値)を用いて、被検眼の輝度正面画像及びモーションコントラスト正面画像を生成する生成手段の一例である。なお、特定された篩状板領域に関する情報は、被検眼の深さ方向における篩状板領域の位置に関する情報(例えば、Z方向の座標値)と、深さ方向に交差する方向における特定された篩状板領域の位置に関する情報(例えば、X方向の座標値やY方向の座標値)との少なくとも1つであることが好ましい。また、これらの情報の少なくとも1つの変更が、表示された画像上等に対して、操作者の指示に応じて実行されることが好ましい。これにより、操作者の操作性を向上することができるため、篩状板部等の所定の部位の形状と、所定の部位を潅流する血管の分布との関係を把握し易くすることができる。
また、表示制御部101-05は、輝度正面画像とモーションコントラスト正面画像との少なくとも1つを、特定された篩状板領域に関する情報が重畳された状態で表示部104に表示させる表示制御手段の一例である。例えば、表示制御部101-05は、正面画像の面内方向における篩状板領域の位置を示す情報(例えば、篩状板領域の外縁を示す線や内側を示す色が)正面画像上に重畳された状態で表示部104に表示させることが好ましい。これにより、篩状板部等の所定の部位の形状と、所定の部位を潅流する血管の分布との関係を把握し易くすることができる。また、特定された篩状板領域に関する情報は、複数の断層画像データのうち少なくとも1つの断層画像データを用いて篩状板領域を解析して得た結果を示す情報であることが好ましい。これにより、例えば、モーションコントラスト正面画像を生成するための複数の断層画像データを用いて得た、血管領域の位置、無血管領域の位置、無血管領域の形状、血管領域の面積、無血管領域の面積、血管の長さ、血管の曲率、血管の密度のうち少なくとも1つを容易に把握することができる。また、例えば、輝度正面画像を生成するための少なくとも1つの断層画像データを用いて得た、篩状板領域の位置、篩状板孔領域の位置、篩状板領域の厚さ、篩状板孔領域の面積の少なくとも1つを容易に把握することができる。
また、外部記憶部102は、被検眼の情報(患者の氏名、年齢、性別など)と、撮影した画像(断層画像及びSLO画像・OCTA画像)や合成画像、撮影パラメータ、操作者が設定したパラメータを関連付けて保持している。入力部103は、例えば、マウス、キーボード、タッチ操作画面などであり、操作者は、入力部103を介して、画像処理装置101や断層画像撮影装置100へ指示を行う。
次に、図3を参照して本実施形態の画像処理装置101の処理手順を示す。図3は、本実施形態における本システム全体の動作処理の流れを示すフローチャートである。
<ステップ301>
操作者は入力部103を操作することにより、断層画像撮影装置100に対して指示するOCTA画像の撮影条件を設定する。
具体的には
1)検査セットの選択もしくは登録
2)選択した検査セットにおけるスキャンモードの選択もしくは追加
3)スキャンモードに対応する撮影パラメータ設定
の手順からなり、本実施形態では以下のように設定してS302において適宜休憩を挟みながら(同一撮像条件の)OCTA撮影を所定の回数だけ繰り返し実行する。
1)Disc検査セットを登録
2)OCTAスキャンモードを選択
3)以下の撮影パラメータを設定
3-1)走査パターン:Medium Square
3-2)走査領域サイズ:4x4mm
3-3)主走査方向:水平方向
3-4)走査間隔:0.01mm
3-5)固視灯位置:視神経乳頭
3-7)1クラスタあたりのBスキャン数:4
3-6)コヒーレンスゲート位置:脈絡膜側
3-7)既定表示レポート種別:単検査用レポート
なお、検査セットとは検査目的別に設定した(スキャンモードを含む)撮像手順や、各スキャンモードで取得したOCT画像やOCTA画像の既定の表示法を指す。
これにより、緑内障眼向けの設定がなされたOCTAスキャンモードを含む検査セットが「Disc」という名前で登録される。登録された検査セットは外部記憶部102に記憶される。
本実施形態においては、検査セットとして「Disc」、スキャンモードとして「OCTA」モードを選択する。
<ステップ302>
操作者は入力部103を操作して撮影画面中の撮影開始ボタン(非表示)を押下することにより、S301で指定した撮影条件による繰り返しOCTA撮影を開始する。
撮影制御部101-03は断層画像撮影装置100に対してS301で操作者が指示した設定に基づいて繰り返しOCTA撮影を実施することを指示し、断層画像撮影装置100が対応するOCT断層画像を取得する。
なお、本実施形態では本ステップにおける繰り返し撮像回数を3回とする。これに限らず、繰り返し撮像回数は単回(繰り返さない)撮影の場合も含め、任意の回数に設定してよい。また、本発明は繰り返し撮影間の撮影時間間隔が各繰り返し撮影内の断層像の撮影時間間隔よりも長い場合に限定されるものではなく、両者が略同一である場合も本発明に含まれる。
また断層画像撮影装置100はSLO画像の取得も行い、SLO動画像に基づく追尾処理を実行する。本実施形態において繰り返しOCTA撮影における追尾処理に用いる基準SLO画像は1回目の繰り返しOCTA撮影において設定した基準SLO画像とし、全ての繰り返しOCTA撮影において共通の基準SLO画像を用いる。
またOCTA繰り返し撮影中は、S301で設定した撮影条件に加えて
・左右眼の選択
・追尾処理の実行有無
についても同じ設定値を用いる(変更しない)ものとする。
<ステップ303>
画像取得部101-01及び画像処理部101-04は、S302で取得された断層画像を再構成し、重ね合わせ及び投影処理を行うことにより重ね合わせ輝度正面画像を生成する。
まず断層画像生成部101-11は画像取得部101-01が取得した干渉信号に対して波数変換及び高速フーリエ変換(FFT)、絶対値変換(振幅の取得)を行うことで1クラスタ分の断層画像を生成する。
次に位置合わせ部101-41は同一クラスタに属する断層画像同士を位置合わせした後、さらにクラスタ間の断層画像の位置合わせを行う。合成法指定部101-421は、合成対象画像の種類として断層画像、合成処理法として重ね合わせ処理を指定する。同一モダリティ画像合成部101-422は、位置合わせ部101-41により算出された位置合わせパラメータを用いて複数クラスタに属する断層画像を加算平均処理し、重ね合わせ断層画像を生成する。
さらに、画像特徴取得部101-44が該重ね合わせ断層画像から層境界データ及び篩状板部の前面B6・後面領域B7を取得する。本実施形態では、層境界として内境界膜B1、神経線維層‐神経節細胞層境界B2、神経節細胞層‐内網状層境界B3、内網状層-内顆粒層境界(非図示)、内顆粒層‐外網状層境界(非図示)、視細胞内節外節接合部B4、網膜色素上皮-ブルッフ膜境界B5を取得する。また検出した網膜色素上皮-ブルッフ膜境界B5の端部(ブルッフ膜開口端部BMO)を視神経乳頭(Disc)領域Dの境界として特定する。本実施形態では面内方向に関して視神経乳頭領域Dの内側で、かつ深度方向に関して篩状板の前面領域B6と後面領域B7で囲まれる範囲の領域を篩状板領域として特定する。なお本実施形態では層境界及び篩状板部の前面領域B6・後面領域B7の取得法として可変形状モデルを用いるが、任意の公知のセグメンテーション手法を用いてよい。また、視神経乳頭領域Dの境界や篩状板部の前面B6・後面B7は手動で設定してよい。例えば、特定の層境界(例えば内境界膜B1)の位置を所定量だけ動かすことにより篩状板部の前面B6・後面B7を手動で設定できる。
投影部101-45は画像特徴取得部101-44が取得した位置に基づく深度範囲で重ね合わせ断層画像を投影し、重ね合わせ輝度正面画像を生成する。
本実施形態では、視神経乳頭領域Dの外側では、神経線維層(B1~B2)、視神経乳頭領域Dの内側では、篩状板前面領域B6及び後面領域B7で囲まれる深度範囲で重ね合わせ輝度正面画像を生成する。なお、もし視神経乳頭D内で篩状板の前面領域B6もしくは後面領域B7が特定できない部位が生じた場合は、該部位においては内境界膜B1からの距離で規定される所定の深度範囲で重ね合わせ輝度正面画像を生成すればよい。投影深度範囲の設定はこれに限らず、領域に応じて任意の深度範囲を設定してよい。また、投影法としては最大値投影(MIP; Maximum Intensity Projection)・平均値投影(AIP; Average Intensity Projection)のいずれかを選択でき、本実施形態では平均値投影で投影する。
<ステップ304>
画像取得部101-01及び画像処理部101-04は、S303で生成された位置合わせ済のOCT断層画像を用いてモーションコントラスト画像を生成する。
モーションコントラストデータ生成部101-12が同一クラスタ内の隣接する断層画像間でモーションコントラストを算出する。本実施形態では、モーションコントラストとして脱相関値Mxyを以下の式(1)に基づき求める。
ここで、Axyは断層画像データAの位置(x,y)における(FFT処理後の複素数データの)振幅、Bxyは断層画像データBの同一位置(x,y)における振幅を示している。0≦Mxy≦1であり、両振幅値の差異が大きいほど1に近い値をとる。式(1)のような脱相関演算処理を(同一クラスタに属する)任意の隣接する断層画像間で行い、得られた(1クラスタあたりの断層画像数 -1)個のモーションコントラスト値の平均を画素値として持つ画像を最終的なモーションコントラスト画像として生成する。
なお、ここではFFT処理後の複素数データの振幅に基づいてモーションコントラストを計算したが、モーションコントラストの計算法は上記に限定されない。例えば複素数データの位相情報に基づいてモーションコントラストを計算してもよいし、振幅と位相の両方の情報に基づいてモーションコントラストを計算してもよい。あるいは、複素数データの実部や虚部に基づいてモーションコントラストを計算してもよい。
また、本実施形態ではモーションコントラストとして脱相関値を計算したが、モーションコントラストの計算法はこれに限定されない。例えば二つの値の差分に基づいてモーションコントラストを計算しても良いし、二つの値の比に基づいてモーションコントラストを計算してもよい。
さらに、上記では取得された複数の脱相関値の平均値を求めることで最終的なモーションコントラスト画像を得ているが、本発明はこれに限定されない。例えば取得された複数の脱相関値の中央値、あるいは最大値を画素値として持つ画像を最終的なモーションコントラスト画像として生成しても良い。
画像処理部101-04は、繰り返しOCTA撮影を通して得られたモーションコントラスト画像群を3次元的に位置合わせし、加算平均することで高コントラストな合成モーションコントラスト画像を生成する。具体的には、合成法指定部101-421が合成対象画像の種類としてモーションコントラスト画像、合成処理法として重ね合わせ処理を指定した上で、同一モダリティ画像合成部101-422がモーションコントラスト画像同士の加算平均処理を行う。なお、合成処理は単純加算平均に限定されない。例えば各モーションコントラスト画像の輝度値に対して任意の重みづけをした上で平均した値でもよいし、中央値をはじめとする任意の統計値を算出してもよい。また位置合わせ処理を2次元的に行う場合も本発明に含まれる。
なお、同一モダリティ画像合成部101-42が合成処理に不適なモーションコントラスト画像が含まれているか否かを判定した上で、不適と判定したモーションコントラスト画像を除いて合成処理を行うよう構成してもよい。例えば、各モーションコントラスト画像に対して評価値(例えば脱相関値の平均値や中央値)が所定の範囲外である場合に、合成処理に不適と判定すればよい。
本実施形態では同一モダリティ画像合成部101-422がモーションコントラスト画像を3次元的に合成した後、補正部101-43がモーションコントラスト画像内に生じるプロジェクションアーチファクトを3次元的に抑制する処理を行う。
ここで、プロジェクションアーチファクトは網膜表層血管内のモーションコントラストが深層側に映り込み、実際には血管が存在しないにも関わらず高い脱相関値が生じる現象を指す。補正部101-43は、3次元の合成モーションコントラスト画像上に生じたプロジェクションアーチファクトを抑制する処理を実行する。任意の公知のプロジェクションアーチファクト抑制手法を用いてよいが、本実施形態ではStep-down Exponential Filteringを用いる。Step-down Exponential Filteringでは、3次元モーションコントラスト画像上の各Aスキャンデータに対して式(2)で表される処理を実行することにより、プロジェクションアーチファクトを抑制する。
ここで、γは負の値を持つ減衰係数、D(x,y,z)はプロジェクションアーチファクト抑制処理前の脱相関値、DE(x,y,z)は該抑制処理後の脱相関値を表す。
投影部101-45はS303で画像特徴取得部101-44が取得した層境界及び篩状板領域(篩状板前面B6及び後面B7、視神経乳頭境界Dで囲まれる領域)に基づき、S303の場合と同様の深度範囲でモーションコントラスト画像を投影し、重ね合わせモーションコントラスト正面画像を生成する。また、投影法としては最大値投影(MIP; Maximum Intensity Projection)・平均値投影(AIP; Average Intensity Projection)のいずれかを選択でき、本実施形態では最大値投影で投影するものとする。
最後に、画像処理装置101は取得した画像群(SLO画像や断層画像)と該画像群の撮影条件データや、生成した3次元のモーションコントラスト画像及びモーションコントラスト正面画像と付随する生成条件データを検査日時、披検眼を同定する情報と関連付けて外部記憶部102へ保存する。
<ステップ305>
表示制御部101-05は、S303で生成した篩状板部の重ね合わせ輝度正面画像や重ね合わせ断層画像、S304で生成した篩状板部の重ね合わせモーションコントラスト正面画像、撮影条件や合成条件に関する情報を表示部104に表示させる。
図4(c)に単独検査に対するレポート画面401の例を示す。本実施形態では操作者が入力部103を用いて並置表示(Side-by-side)ボタン402を指定することにより、合成法指定部101-421が合成対象画像として「断層画像及びモーションコントラスト画像」、合成処理法として並置表示を指定する。表示制御部101-05は指定された合成法に基づいてレポート画面左側に重ね合わせ輝度正面画像、右側にS304で生成した重ね合わせモーションコントラスト正面画像を表示する。
ここで、重ね合わせ輝度正面画像上の黒円内が篩状板、該黒円外が網膜内層(神経線維層)を表示している。また、重ね合わせモーションコントラスト正面画像上の黒円内が篩状板部を潅流する血管、該黒円外が(神経線維層内に分布する)網膜動静脈及び放射状乳頭周囲毛細血管(Radial Peripapillary Capillaries;RPC)を表示している。また、レポート画面右下にはBスキャン画像表示領域が設けられ、Bスキャン断層画像上に断層画像及びモーションコントラスト画像の投影深度範囲を示す境界407、モーションコントラストデータ408が重畳されている。
このような並置表示を行うことで、左側の輝度正面画像から篩状板及び篩状板孔、右側のモーションコントラスト正面画像から篩状板部を潅流する血管の分布を各々詳細かつ明瞭に観察できる。従って、篩状板部を潅流する血管の分布が篩状板及び篩状板孔の形状に与える影響(変形)を目視評価しやすくなる。
また乳頭外においては、左側の輝度正面画像から神経線維層、右側のモーションコントラスト正面画像からRPCの分布を詳細かつ明瞭に観察でき、神経線維層(神経節細胞の軸索の集合体)と神経線維層を潅流する毛細血管の分布との関連を目視評価しやすくなる。
緑内障の診断に際しては篩状板の形状異常(神経線維層の菲薄化が起こる原因)と神経線維層の菲薄化の所見が重要であり、篩状板部及び神経線維層の各々を潅流する血管の分布と合わせて表示することは緑内障診断向けの表示設定として有用である。なお、乳頭外における深度範囲及び乳頭外で表示する血管は各々神経線維層及びRPCに限定されるものではなく、例えば網膜表層を投影深度範囲として網膜表層の毛細血管を表示してもよいし、網膜深層を投影深度範囲として網膜深層の毛細血管を表示してもよい。
また、篩状板の部分領域(もしくは篩状板孔)と篩状板部を潅流する毛細血管との相対的な位置を確認したい場合には、操作者が入力部103を用いて重畳表示(Superimpose)ボタン403を指定すればよい。合成法指定部入力部101-421が合成対象画像として「断層画像及びモーションコントラスト画像」、合成処理法として重畳処理を指定する。複数モダリティ画像合成部101-423が輝度正面画像とモーションコントラスト正面画像を重畳し、表示制御部101-05が該重畳画像を表示部104に表示する。輝度正面画像とモーションコントラスト正面画像を重畳表示する場合、両画像を識別可能な態様(例えば、異なる色や透明度)で重畳表示してよい。すなわち、モーションコントラスト正面画像またはモーションコントラスト正面画像に関する解析結果と、輝度正面画像または輝度正面画像に関する解析結果とを、並べて表示する機能と重畳表示する機能とのいずれかが操作者の指示に応じて選択的に実行可能に構成されても良い。これにより、操作者の操作性を向上することができるため、篩状板部等の所定の部位の形状と、所定の部位を潅流する血管の分布との関係を把握し易くすることができる。
なお、断層画像及びモーションコントラスト画像の投影深度範囲はリストボックス等のGUIに表示された以下に示すような既定の深度範囲設定404
・網膜表層観察モード(内境界膜から所定距離の深度範囲)
・網膜深層観察モード(網膜深層の深度範囲)
・緑内障モード(篩状板部:篩状板前面と後面、それ以外:網膜内層)
から操作者が選択することで変更してもよい。
また、図4(c)の406に示すように投影範囲の指定に用いる境界の種類とオフセット量を選択したり、Bスキャン断層画像上に重畳された層もしくは篩状板の境界データ407を入力部103から操作して移動させたりすることによって投影範囲を変更してもよい。本実施形態ではBスキャン画像表示領域を1つ設け、断層画像及びモーションコントラスト画像の表示スライス番号を同期させたり断層画像向け及びモーションコントラスト画像向けの投影深度範囲設定を同期させたりすることを既定動作としているが、本発明はこれに限定されない。例えば輝度正面画像に対応するBスキャン画像表示領域とモーションコントラスト正面画像に対応するBスキャン画像表示領域を別々に設けて各々任意の表示スライス番号で表示させたり、任意の投影深度範囲を設定したりしてよい。また断層画像とモーションコントラスト画像の表示スライス番号の同期/非同期や、断層画像向けの投影深度範囲設定とモーションコントラスト画像向けの投影深度範囲設定の同期/非同期を選択するGUI405をレポート画面に備えて同期/非同期を選択可能に構成してもよい。なお投影深度範囲の設定は画像内で同一である必要はなく、例えば図4(c)の関心領域(黒枠)の内と外、もしくは視神経乳頭境界Dの内と外で別々の設定にできるよう構成してもよい。領域ごとに投影深度範囲を別の設定にする方法として、例えば関心領域内(もしくは外)の位置を入力部103経由で指定してから、投影範囲の指定に用いる層境界の種類とオフセット量を指定することにより別々の投影深度範囲に設定できる。
また、篩状板部のような深層領域と神経線維層のような表層領域の双方を含む輝度正面画像及びモーションコントラスト正面画像の生成法は領域ごとの投影深度範囲の切り替えによる方法に限定されない。例えば図4(d)に示すように網膜表層を投影深度範囲とする広画角画像の上に、篩状板前面B6と後面B7を投影深度範囲とする篩状板部を含む狭画角画像を重畳表示することによって生成してもよい。具体的には、例えば投影部101-45が全投影深度範囲を投影深度範囲とする、広画角画像(断層画像及びモーションコントラスト画像)と篩状板部を含む狭画角画像とを生成して位置合わせ部101-41が両画像の位置合わせパラメータを算出する。さらに、投影部101-45が網膜表層領域を投影深度範囲とする広画角正面画像と、篩状板前面B6及び後面B7を投影深度範囲とする篩状板部を含む狭画角の輝度正面画像を生成する。合成法指定部101-421が合成対象画像として断層画像(もしくはモーションコントラスト画像)、合成処理法として重畳処理を指定する。複数モダリティ画像合成部101-423が、該位置合わせパラメータ値を用いて網膜表層領域を投影深度範囲とする広画角正面画像と、篩状板前面B6及び後面B7を投影深度範囲とする篩状板部を含む狭画角の輝度正面画像とを重畳して表示部104に表示する。
また、合成表示する領域は画像全体に限らない。例えば、操作者が入力部103を用いて合成対象領域を指定し、該合成対象領域内のみ表示部104に重畳もしくは並置表示するよう構成してもよい。
なお、表示部104に表示する断層画像及びモーションコントラスト画像は正面画像に限定されるものではなく、任意方向のBスキャン画像(2次元の輝度断層画像)として表示したり、3次元的にレンダリングした3次元画像(3次元の輝度断層画像や3次元のモーションコントラスト画像)として表示したりしてもよい。
さらに、画像投影法やプロジェクションアーチファクト抑制処理の有無を例えばコンテキストメニューのようなユーザインターフェースから選択することにより変更してもよい。また、プロジェクションアーチファクト抑制処理後のモーションコントラスト画像は正面画像もしくはBスキャン画像、3次元画像として表示部104に表示してもよい。
以上述べた構成によれば、画像処理装置101はEDI撮影により取得した篩状板部を含むOCT断層画像の重ね合わせ正面画像と、OCTA重ね合わせ画像から生成した篩状板部のモーションコントラスト正面画像との並置もしくは重畳表示を行う。
これにより、篩状板部の形状と篩状板部を潅流する血管の分布との関係を把握しやすくできる。
[第二実施形態]
本実施形態に係る画像処理装置の一つは、EDI撮影により取得した篩状板部を含むOCT断層画像の重ね合わせ画像を生成し、篩状板及び篩状板孔領域を特定し、篩状板厚や篩状板孔に関する計測値を算出する。また、OCTA重ね合わせ画像から生成した篩状板部のモーションコントラスト正面画像に基づいて血管領域を特定し、血管密度を算出して両画像及び両画像から取得した計測値の並置もしくは重畳表示を行う。なお、本発明において、EDI撮影や、画像の重ね合わせ処理等は必須のものではない。これにより、篩状板部の形状と篩状板部を潅流する血管の分布との関係を把握しやすくする場合について説明する。
本実施形態に係る画像処理装置101を備える画像処理システム10の構成を図5に示す。画像処理部に解析部101-46を備える点が第一実施形態と異なっている。解析部101-46は画像強調処理を行う強調部101-461、セグメンテーション処理を行う抽出部101-462、セグメンテーションされた領域に関する計測値を算出する計測部101-463を備える。
なお、本実施形態においては外部記憶部102が、被検眼の情報と撮影した画像や合成画像、撮影パラメータ、操作者が設定したパラメータだけでなく、血管領域や篩状板・篩状板孔領域、血管中心線の位置データ、計測値も関連付けて保持している。
次に、本実施形態における画像処理フローを図6に示す。なお、本実施形態の画像処理フローのうち図6のS606~S609以外は第一実施形態の場合と同様であるので説明は省略する。
<ステップ606>
操作者が入力部103を用いて計測処理の開始を指示する。
本実施形態では図4(c)のレポート画面上の画像をダブルクリックすることで、図8(a)に示すような計測画面に移行する。並置表示ボタン801を選択した場合は断層画像及びモーションコントラスト画像、重畳表示ボタン802を選択した場合は重畳画像と関連する操作用GUIが表示され、適宜画像投影法の種類や投影深度範囲、プロジェクションアーチファクト除去処理の実施の有無を選択する。次に、図9(a)右側のOCT Mapボタン群803、OCT Sectorボタン群804、OCTA Mapボタン群805、OCTA Sectorボタン群806、Measurementボタン807経由で表示される選択画面(図9(d))、の中から操作者が適切な項目を選択することで計測の種類と対象領域が選択され、解析部101-46が計測処理を開始する。
なお、OCT Mapボタン群803、OCT Sectorボタン群804、OCTA Mapボタン群805、OCTA Sectorボタン群806は初期状態ではいずれも「None」が選択されているものとする。
計測処理の種類として、本実施形態では断層画像に対する計測としてOCT Mapボタン群803から
i)篩状板厚計測(Lamina Cribrosa Thickness;LCT)
ii)篩状板孔形状計測(Lamina Pore;LP)
iii)篩状板領域(Bin)
iv)None(計測しない)
のいずれか、また
OCT Sectorボタン群804から
i)篩状板厚計測(Lamina Cribrosa Thickness;LCT)
ii)篩状板孔形状計測(Lamina Pore;LP)
iii)None(計測しない)
のいずれかを選択する。ここで、例えばOCT Mapボタン群803もしくはOCT Sectorボタン群804からNoneが選択された場合には断層画像に対する計測対象領域としてMap(画像全体)もしくはSector(セクタ領域)が選択されないことを表す。
また、モーションコントラスト画像に対する計測としてOCTA Mapボタン群805から
i)血管密度(VAD)
ii)血管密度(VLD)
iii)血管領域(Bin)
iv)None(計測しない)
のいずれか、また
OCTA Sectorボタン群806から
i)血管密度(VAD)
ii)血管密度(VLD)
iii)None(計測しない)
のいずれかを選択する。
ここで、断層画像に対する計測の場合と同様に、例えばOCTA Mapボタン群805もしくはOCTA Sectorボタン群806からNoneが選択された場合にはモーションコントラスト画像に対する計測対象領域としてMap(画像全体)もしくはSector(セクタ領域)が選択されないことを表す。
本実施形態では、OCTマップとして「None」、OCTセクタマップとして篩状板厚(「LCT」)、OCTAマップとして「None」、OCTAセクタマップとして「VLD」が選択された場合の例について説明する。これは、断層画像に対する計測の種類として篩状板厚計測、計測対象領域としてセクタ領域が選択され、モーションコントラスト画像に対する計測の種類としてVLD、計測対象領域としてセクタ領域が選択された場合に対応する。
なお、篩状板孔形状計測として本実施形態では各孔の面積に関する統計値(平均及び標準偏差/最大値/最小値)を算出するが、これに限らず篩状板孔の直径、円形度のように篩状板孔に関する計測値であれば任意の公知の計測を行ってよい。
また断層画像及びモーションコントラスト画像に対する計測は上記に限定されるものではなく、例えばモーションコントラスト画像に対して無血管領域(Non Perfusion Area;NPA)の面積や形状を算出する場合も本発明に含まれる。
ここで、VADはVessel Area Densityの略であり、計測対象に含まれる血管領域の割合で定義される血管密度(単位:%)である。また、VLDはVessel Length Density の略であり、単位面積あたりに含まれる血管の長さの総和(単位:mm-1)で定義される血管密度である。
血管密度は血管の閉塞範囲や血管網の疎密の程度を定量化するための指標であり、VADが最もよく用いられている。ただし、VADでは計測値に占める大血管領域の寄与分が大きくなるため、毛細血管の病態に注目して計測したい場合には(より毛細血管の閉塞に敏感な指標として)VLDが用いられる。
これに限らず、例えば血管構造の複雑さを定量化するFractal Dimensionや、血管径の分布(血管の瘤や狭窄の分布)を表すVessel Diameter Indexを計測してもよい。
次に、解析部101-46は計測処理の前処理を行う。任意の公知の画像処理を前処理として適用できるが、本実施形態では、モーションコントラスト画像に対してモルフォロジー演算の一種であるトップハットフィルタ処理を行う。トップハットフィルタを適用することにより、背景成分の輝度ムラを軽減できる。
<ステップ607>
解析部101-46が断層画像の重ね合わせ画像に対する篩状板領域の特定処理、断層画像の重ね合わせ正面画像に対する篩状板孔領域の特定処理、モーションコントラスト画像に対する血管領域の特定処理を行う。本実施形態では、強調部101-461がモーションコントラスト画像に対してヘシアンフィルタに基づく血管強調処理を行う。次に抽出部101-462が断層画像や断層画像の正面画像、血管強調画像に対してセグメンテーション処理を行い、整形処理を実施することで篩状板、篩状板孔、血管領域を特定する。
篩状板及び篩状板孔、血管領域の特定処理の詳細はS6071~6078で説明する。
<ステップ608>
計測部101-463が、操作者により指定された計測対象領域に関する情報に基づいて単検査の画像に対する篩状板形状及び血管分布の計測を行う。引き続いて表示制御部101-05が、計測結果を表示部104に表示する。
血管分布の指標である血管密度としてはVADとVLDの2種類の指標があり、本実施形態ではより毛細血管の障害に敏感な指標であるVLDを計算する場合の手順を例に説明する。
断層画像に対する篩状板厚計測・断層画像の正面画像に対する篩状板孔面積計測についてはS6081~S6083、モーションコントラスト画像に対するVLD計測についてはS6084~S6087で各々説明する。
<ステップ609>
表示制御部101-05は、S608で実施した計測に関するレポートを表示部104に表示する。
本実施形態では図9(a)に示す単検査計測レポート画面の並置表示ボタン801、断層像に対する計測の種類(計測結果の表示内容)として、OCTマップ選択ボタン803から「None」、OCTセクタマップ選択ボタン804から「LCT」が選択されている。また、モーションコントラスト画像に対する計測の種類(計測結果の表示内容)として、OCTAマップ選択ボタン805から「None」、OCTAセクタマップ選択ボタン806から「VLD」を選択されている。単検査計測レポート画面の左側に断層画像の正面画像と篩状板部において計測した篩状板厚セクタマップ、右側にモーションコントラスト画像と篩状板部において計測したVLDセクタマップが各々重畳表示される。これにより篩状板部を潅流する血管の分布と、篩状板の各領域における形状との関係が把握しやすくなる。
また各計測対象画像に関して、左右眼の別、撮影日時、画角・画素数、略同一位置における断層画像数、OCTA重ね合わせ処理の実施条件に関する情報、OCT断層画像もしくはモーションコントラスト画像の評価値(画質指標)、投影法、プロジェクションアーチファクト除去実施の有無に関する情報を表示部104に表示させてもよい。
なお、本実施形態では篩状板形状に関する計測値と篩状板部を潅流する血管の分布に関する計測値とを並置表示したが、本発明はこれに限らない。例えば、篩状板の局所形状と血管の局所分布との対応位置をより正確に把握したい場合には、図9(b)に示す重畳表示ボタン802を選択することによって両計測値を重畳表示してもよい。図9(b)に示す例では、断層像に対する計測の種類(計測結果の表示内容)として、OCTマップ表示ボタンから「None」、OCTセクタマップ選択ボタン804から「LCT」を選択する。また、モーションコントラスト画像に対する計測の種類(計測結果の表示内容)として、OCTAマップ選択ボタン805から「VLD」、OCTAセクタマップ選択ボタン806から「None」を選択する。篩状板部に関するVLDマップの上に篩状板厚セクタマップが重畳表示される。なお、OCTマップとOCTAマップを重畳表示する場合には両マップを識別可能な態様(例えば、異なる色や透明度)で重畳表示する。またOCTセクタマップとOCTAセクタマップを重畳表示する場合には図9(c)に示すように両セクタマップの数値を同一セクタ内に並置表示する。並置表示する数値は識別可能な態様(例えば単位付き、異なる色やフォントサイズ、字体、太さ)で表記してよい。
また、本実施形態では視神経乳頭境界D内の篩状板領域内で特定された領域(篩状板、篩状板孔、血管)もしくは該篩状板領域内で取得された計測値に関する表示について説明したが、本発明はこれに限定されない。例えば、視神経乳頭境界D内では篩状板領域(篩状板前面B6と後面B7で囲まれる領域)、視神経乳頭境界D外では網膜表層(例えば神経線維層)の深度範囲内で特定もしくは取得された領域や計測値を表示する場合も本発明に含まれる。具体例として、表示部104の左側に「視神経乳頭境界D内において篩状板厚、視神経乳頭境界D外において神経線維層厚(もしくは神経節細胞層厚、神経節細胞複合体(GCC:Ganglion Cell Complex)厚)」を表示した計測値マップを表示し、右側に「視神経乳頭境界D内において篩状板部の血管密度(VLDもしくはVAD)、視神経乳頭境界D外においてRPCの血管密度(VLDもしくはVAD)」を表示した計測値マップを並置表示する場合が挙げられる。このような並置表示(あるいは重畳表示でもよい)を行うことで、篩状板部を潅流する血管の分布と篩状板の形状変化部位との関連性が把握できるだけでなく、篩状板形状が変化した部位と神経線維層が菲薄化した領域との関連まで一貫して把握できる。すなわち、神経線維層や神経節細胞層の菲薄化の原因となる兆候(篩状板部を潅流する血管の退縮や、それによって生じる篩状板部の形状変化)と結果として生じる神経節細胞死(神経線維層や神経節細胞層の菲薄化)の状況が一覧でき、緑内障診断向けの表示設定として有用である。なお、視神経乳頭境界D内で篩状板領域、視神経乳頭境界D外で網膜表層の深度範囲内で取得された計測値分布を表示部104に表示する場合において、「視神経乳頭境界D内において篩状板厚、視神経乳頭境界D外において神経線維層厚(もしくは神経節細胞層厚、神経節細胞複合体(GCC)厚)」を表示した計測値マップのみ表示部104に表示してもよいし、「視神経乳頭境界D内において篩状板部の血管密度、視神経乳頭境界D外においてRPCの血管密度」を表示した計測値マップのみ表示部104に表示してもよい。また、乳頭外における深度範囲及び乳頭外で特定・計測する血管は各々神経線維層及びRPCに限定されるものではなく、例えば網膜表層を投影深度範囲として網膜表層の毛細血管を特定・計測してもよいし、網膜深層を投影深度範囲として網膜深層の毛細血管を特定・計測してその分布を表示してもよい。また、乳頭内外において表示する血管の特定・計測結果は血管密度に限らず、例えば血管領域の位置、無血管領域の位置、無血管領域の形状、血管領域の面積、無血管領域の面積、血管の長さ、血管の曲率であってもよい。
また、図9(a)または図9(b)において、OCTマップ選択ボタン803から「Bin」または「LP」を選択してS607で特定した篩状板または篩状板孔領域を表示したり、OCTAマップ選択ボタン804から「Bin」を選択して血管領域の2値画像を表示部104に表示したりしてよい。本発明における計測の種類はこれらに限定されるものではなく、例えば無血管領域、無血管領域の形状(長さや円形度)、血管領域や無血管領域の面積、血管長、血管の曲率、篩状板孔の面積や形状(長さや円形度)を計測する場合も本発明に含まれる。
さらに、操作者が図9(a)のボタン807を指定することで表示される図9(d)に示すメニューから計測の種類(例えば篩状板厚(LCT)とVLD)を選択した上で、断層画像もしくはモーションコントラスト画像上で任意形状の関心領域を指定することにより、図9(e)に示すように両画像上で同一の関心領域901を表示させ、該関心領域内の計測値を算出して並置表示してもよい。ここで重畳表示ボタン802が選択されている場合は、単検査計測レポート画面上に関心領域901が一つだけ表示される。このように関心領域901が1つだけ表示される場合は、該関心領域内の計測値を複数種類識別可能な態様(単位付き、異なる色やフォントサイズ、字体、太さ)で並置表示してよい。
あるいは、断層画像、モーションコントラスト画像や前篩状板領域、篩状板領域、後篩状板領域、篩状板孔領域、血管領域もしくは血管中心線の2値画像を所定の深度範囲ごとに適宜色や透明度を変えて表示部104に重畳表示してもよい。さらに断層画像や篩状板もしくは篩状板孔領域の2値画像、モーションコントラスト画像や血管領域もしくは血管中心線の2値画像は正面画像として投影表示することに限定されるものではなく、Bスキャン画像上に重畳表示してもよいし、3次元的にレンダリングして3次元画像として並置もしくは重畳表示してもよい。
また、合成表示する領域は実施形態1の場合と同様に、画像全体に限らない。例えば、操作者が入力部103を用いて合成対象領域を指定し、該合成対象領域内のみ表示部104に重畳もしくは並置表示するよう構成してもよい。例えば図9(b)の例では篩状板部を含む矩形領域を指定し、該矩形領域内のみ重畳している。ここでは計測値分布が視認しやすいように合成対象外の領域を表示していないが、合成対象の領域・合成対象外の領域とも表示部104に表示してよい。
さらに、投影方法(MIP/AIP)やプロジェクションアーチファクト抑制処理についても、例えばコンテキストメニューから選択するなどの方法により変更してよい。またS307で特定した篩状板領域、篩状板孔領域、血管領域に関する2値画像、S308で算出した計測値や計測マップを外部記憶部102にファイルとして出力し、保存してもよい。
<ステップ610>
画像処理装置101はS601からS610に至る一連の処理を終了するか否かの指示を外部から取得する。この指示は入力部103を介して操作者により入力される。処理終了の指示を取得した場合は処理を終了する。一方、処理継続の指示を取得した場合にはS602に処理を戻し、次の披検眼に対する処理(または同一披検眼に対する再処理を)行う。
さらに、図7(a)に示すフローチャートを参照しながら、S607で実行される処理の詳細について説明する。
<ステップ6071>
解析部101-46は、操作者が図8(a)のOCTAマップ選択ボタン805及びOCTAセクタマップ選択ボタン806、もしくは任意形状ROI選択ボタン807を指定することにより指示された計測内容が、血管領域の特定処理を必要とするか否かを判定する。判定結果がYesの場合はS6072へ、Noの場合はS6076へ各々処理を進める。
<ステップ6072>
本実施形態では、深度範囲に応じて異なる強調スケール設定することにより、強調スケール調整処理を実施する。
網膜表層のように内境界膜からの距離が所定値未満の深度範囲では強調スケールを大きく設定することにより、網膜動静脈のような血管径の大きい血管が(消滅したり複数領域に分離したりすることなく)適切に強調され、正確に血管領域を特定できる。一方、網膜深層のように毛細血管のみが存在する領域では、小さなスケールで強調処理を実施することにより細い血管のエッジが強調され2値化した際により正確に血管領域を特定できる(血管領域を過検出する現象を防止できる)。
なお本発明は異なる太さの血管に対する強調スケールの調整処理に関してモーションコントラスト正面画像に対して強調スケールを設定することに限定されるものではなく、例えば3次元モーションコントラスト画像に対して強調スケールを適応的に設定してもよい。
<ステップ6073>
強調部101-461は、ステップ606の前処理を実施されたモーションコントラスト画像に対してヘッセ行列の固有値に基づく血管強調フィルタ処理を行う。このような強調フィルタはヘシアンフィルタと総称され、例えばVesselness filterやMulti-scale line filterが挙げられる。本実施形態ではMulti-scale line filterを用いるが、任意の公知の血管強調フィルタを用いてよい。
ヘシアンフィルタは強調したい血管の径に適したサイズで画像を平滑化した上で、該平滑化画像の各画素において輝度値の2次微分値を要素として持つヘッセ行列を算出し、該行列の固有値の大小関係に基づいて局所構造を強調する。ヘッセ行列は式(3)で与えられるような正方行列であり、該行列の各要素は例えば式(4)に示すような画像の輝度値Iを平滑化した画像の輝度値Isの2次微分値で表される。ヘシアンフィルタでは、このようなヘッセ行列の「固有値(λ1、λ2)の一方が0に近く、他方が負かつ絶対値が大きい」場合に線状構造とみなして強調する。これはモーションコントラスト画像上の血管領域が持つ特徴、すなわち「走行方向では輝度変化が小さく、走行方向に直交する方向では輝度値が大きく低下する」が成り立つ画素を線状構造とみなして強調することに相当する。
またモーションコントラスト画像には毛細血管から細動静脈まで様々な径の血管が含まれることから、複数のスケールでガウスフィルタにより平滑化した画像に対してヘッセ行列を用いて線強調画像を生成する。次に式(5)に示すようにガウスフィルタの平滑化パラメータσの二乗を補正係数として乗じた上で最大値演算により合成し、該合成画像Ihessianをヘシアンフィルタの出力とする。
なお、本発明はモーションコントラスト正面画像に対して2次元ヘシアンフィルタを適用することに限定されるものではなく、例えば3次元モーションコントラスト画像に対して3次元ヘシアンフィルタを適用し、3次元強調画像を生成してもよい。
ヘシアンフィルタはノイズに強く、血管の連続性が向上するという利点がある。一方で実際には事前に画像に含まれる血管の最大径が不明の場合が多いため、特に平滑化パラメータが画像中の血管の最大径に対して大きすぎる場合に強調された血管領域が太くなりやすいという欠点がある。本実施形態ではS6072で説明したような強調スケールの調整処理を行うことにより、該欠点を抑制するものとする。なお血管径に関わらず適切にモーションコントラスト画像を強調・2値化する方法は本実施例に述べた方法に限定されるものでなく、例えばヘシアン強調画像の2値画像とエッジ選択鮮鋭化による血管強調画像の2値画像の共通領域を血管領域として特定してよい。
<ステップ6074>
抽出部101-462は、S6073で生成したヘシアンフィルタによる血管強調画像(以下、ヘシアン強調画像と表記)を2値化する。本実施形態ではヘシアン強調画像の平均値を閾値として2値化する。ただし、2値化の閾値は所定の下限値を設定することにより、血管以外の領域がアーチファクトとして誤検出されるのを防止する。図8(b)が篩状板部のモーションコントラスト画像、図8(c)が本ステップの処理により2値化された篩状板を潅流する血管領域の例を示す。
なお本ステップの処理は閾値処理に限定されるものではなく、任意の公知のセグメンテーション法によって2値化してよい。また本ステップのセグメンテーション処理は画像全体に適用されることに限定されるものではなく、例えば操作者が入力部103を用いてモーションコントラスト画像もしくは該モーションコントラスト画像の強調画像上に設定した任意形状の領域内のみセグメンテーションを実施してもよい。さらに、本ステップでモーションコントラスト画像に対して設定したセグメンテーション対象領域と同じ領域を、後述のS6077において実施する断層画像に対するセグメンテーション対象領域として画像処理部101-04が自動で設定するように構成してもよい。
<ステップ6075>
抽出部101-462は、血管領域の整形処理としてモルフォロジー演算処理(オープニング処理(収縮処理後に膨張処理を行うこと)及びクロージング処理(膨張処理後に収縮処理を行うこと))を実施する。なお、整形処理はこれに限らず例えば2値画像をラベリングした場合の各ラベルの面積に基づく小領域除去を行ってもよい。
<ステップ6076>
解析部101-46は、操作者が図8(a)のOCTマップ選択ボタン803及びOCTセクタマップ選択ボタン804、もしくは任意形状ROI選択ボタン807を指定することにより指示された計測内容が、篩状板または篩状板孔の特定処理を必要とするか否かを判定する。判定結果がYesの場合はS6077へ、Noの場合はS608へ各々処理を進める。
なお、両ボタンは初期状態ではいずれも「None」が選択されているものとする。
<ステップ6077>
抽出部101-462は、操作者が断層画像に対する計測内容として篩状板厚を選択した場合にS303で重ね合わせ断層画像から取得した篩状板部の前面B6・後面B7で囲まれる深度範囲内の高輝度領域を篩状板領域Lとして特定する(図8(e)の白色領域)。
また同様に計測内容として篩状板孔面積を選択している場合には、画像特徴取得部101-44がS303で重ね合わせ断層正面画像(図8(d))から取得した低輝度塊状領域を篩状板孔領域LPとして特定する(図8(e)の黒色領域)。なお、低輝度領域がS6074で特定された血管領域と同じ位置である場合は、抽出部101-462は血管影領域Vであると判定して篩状板孔領域LPに含めないようにする(図8(e)の灰色領域)。
本実施形態では断層画像に対して直接セグメンテーション処理を行ったが、これに限らず断層画像に対して任意の公知の強調処理を適用してからセグメンテーション処理を行ってもよい。
また本ステップのセグメンテーション処理は画像全体に適用されることに限定されるものではなく、例えば操作者が入力部103を用いて断層画像もしくは該断層画像の強調画像上に設定した任意形状の領域内のみセグメンテーションを実施してもよい。
<ステップ6078>
画像処理部101-04は、S6077において特定された篩状板領域Lもしくは篩状板孔領域LPに関する2値画像に対し、モルフォロジー演算(オープニング処理及びクロージング処理)を適用することにより特定した篩状板領域または篩状板孔領域を整形する。なお、整形処理はこれに限らず例えば2値画像をラベリングした場合の各ラベルの面積に基づく小領域除去を行ってもよい。
さらに、図7(b)に示すフローチャートを参照しながら、S608で実行される処理の詳細について説明する。
<ステップ6081>
解析部101-46は、操作者がS606で図8(a)のOCTマップ選択ボタン803、OCTセクタマップ選択ボタン804、OCTAマップ選択ボタン805、OCTAセクタマップ選択ボタン806または任意形状ROI選択ボタン807を指定して指示した内容に基づき関心領域(計測対象画像及び計測領域)を設定する。
本実施形態では、図9(a)に示すようにOCTマップとして「None」、OCTセクタマップとして篩状板厚(「LCT」)、OCTAマップとして「None」、OCTAセクタマップとして「VLD」が選択されているため、断層画像に対する計測関心領域として篩状板部に設定したセクタ領域として図8(f)に示すようなセクタ領域を設定する。関心領域はこれに限らず、図8(g)に示すように上下2領域に分割してもよいし、図8(h)に示すようなより小さなセクタ領域を設定してもよい。あるいは、任意形状の関心領域を設定してもよい。
<ステップ6082>
画像処理部101-04は、操作者が図8(a)のOCTマップ選択ボタン803及びOCTセクタマップ選択ボタン804、または任意形状ROI選択ボタン807を指定して指示した計測内容に基づき篩状板または篩状板孔の計測処理を実施するか否かを判定する。判定結果がYesの場合はS6083へ、Noの場合はS6084へ各々処理を進める。
<ステップ6083>
計測部101-463は、S6082で設定した関心領域に対して篩状板形状に関する計測値を算出する。本実施形態では、篩状板形状として篩状板厚が指定されているため、S6077で特定した篩状板領域に基づき篩状板の深度方向の厚みをS6082で設定した関心領域(図8(f)に示すようなセクタ領域ごとの篩状板厚の平均値)に対して計測する。
<ステップ6084>
解析部101-46は、操作者が図8(a)のOCTAマップ選択ボタン805及びOCTAセクタマップ選択ボタン806、もしくは任意形状ROI選択ボタン807を指定することにより指示された計測内容に基づき血管分布の計測処理を実施するか否かを判定する。判定結果がYesの場合はS6085へ、Noの場合はS609へ各々処理を進める。
<ステップ6085>
解析部101-46は、血管領域に対する計測内容がVLDであるか否かを判定し、判定結果がYesの場合はS6086へ、Noの場合はS6087へ各々処理を進める。
<ステップ6086>
計測部101-463は、S6074で生成した血管領域の2値画像を細線化処理することにより、血管の中心線に相当する線幅1画素の2値画像(以下、スケルトン画像と表記)を生成する。任意の細線化法もしくはスケルトン処理を用いてよいが、本実施形態では細線化法としてHilditchの細線化法を用いる。
<ステップ6087>
計測部101-463は、S6086で得られたスケルトン画像に基づいて計測処理を行う。本実施形態では、該スケルトン画像の各画素位置において当該画素を中心とした近傍領域における単位面積当たりの非0画素(白画素)の長さの総和[mm-1]を当該画素における血管密度(VLD)として算出する。さらに、各画素で算出した血管密度(VLD)の値を持つ画像(VLDマップ、図8(i))を生成する。
なお、関心領域としてセクタ領域が指定されている場合は、該スケルトン画像上の各セクタ領域における単位面積当たりの非0画素(白画素)の長さの総和[mm-1]を当該セクタにおける血管密度(VLD)として算出すればよい。
また、モーションコントラスト画像に対する計測としてVADマップが指定されている場合は、以下のようにすればよい。すなわちS6074で取得した血管領域に関する2値画像の各画素位置で当該画素を中心とした近傍領域内に占める非0画素(白画素)の割合を当該画素における血管密度(VAD)として算出し、各画素で算出したVAD値を持つ画像(VADマップ、図8(j))を生成する。また、該血管領域に関する2値画像上の各セクタ領域における非0画素(白画素)の割合を当該セクタにおける血管密度(VAD)として算出することにより、VADセクタマップを生成できる。
以上述べた構成によれば、画像処理装置101はEDI撮影により取得した篩状板部を含むOCT断層画像の重ね合わせ画像を生成し、篩状板及び篩状板孔領域を特定し、篩状板厚や篩状板孔に関する計測値を算出する。また、OCTA重ね合わせ画像から生成した篩状板部のモーションコントラスト正面画像に基づいて血管領域を特定し、血管密度を算出して両画像及び両画像から取得した計測値の並置もしくは重畳表示を行う。これにより、篩状板部の形状と篩状板部を潅流する血管の分布との関係を把握しやすくする。
[第三実施形態]
本実施形態に係る画像処理装置の一つは、同一被検眼に対して異なる日時に略同一撮影条件で取得した篩状板部を含むOCT断層画像及びOCTA重ね合わせ画像から生成したモーションコントラスト画像を用いて篩状板形状及び血管密度の計測処理を行う。取得された画像及び該計測処理により得られた計測データを時系列で並置もしくは重畳表示する場合について説明する。なお、本発明において、画像の重ね合わせ処理等は必須のものではない。
本実施形態に係る画像処理装置101を備える画像処理システム10の構成を図10に示す。解析部101-46に比較部101-464を備える点が第二実施形態と異なっている。
次に、本実施形態における画像処理フローを図11に示す。なお、本実施形態の画像処理フローのうち図11のS1101、1109、1110以外は第二実施形態の場合と同様であるので説明は省略する。
<ステップ1101>
操作者は過去検査データが保存されている被検眼に関して基準検査を選択する。また、画像処理装置101は選択された基準検査と同一撮影条件になるようにOCTA撮影の撮影条件を設定する。
本実施形態においては、患者画面(非図示)において、操作者が入力部103を操作することで患者リスト(Patient List)から被検者を選択する。さらに操作者が該被検者の検査リスト(Examination List)からフォローアップ検査における基準検査(Baseline)を選択することで基準検査を決定する。検査セットやスキャンモードの選択については、操作者が基準検査を選択した状態で撮影画面を開くことにより画像処理装置101がフォローアップ検査セットを選択し、スキャンモードを基準検査と同一のスキャンモード(OCTAモード)に設定する。ここで、検査セットとは検査目的別に設定した(スキャンモードを含む)撮像手順や、OCT画像やOCTA画像の既定の表示法を指す。
画像処理装置は、断層画像撮影装置100に対して指示するOCTA画像の撮影条件を設定する。なお、個々のOCTA撮影に関する撮影条件としては以下の1)~7)に示すような設定項目があり、これらの設定項目を基準検査と同一の値に設定した上で、S302において適宜休憩を挟みながら(同一撮像条件の)OCTA撮影を所定の回数だけ繰り返し実行する。
本実施形態では7)1クラスタあたりのBスキャン数が4であるようなOCTA撮影を3回繰り返すものとする。
1)走査パターン(Scan Pattern)
2)走査領域サイズ(Scan Size)
3)主走査方向(Scanning Direction)
4)走査間隔(Distance between B-scans)
5)固視灯位置(Fixation Position)
6)コヒーレンスゲート位置(C-Gate Orientation)
7)1クラスタあたりのBスキャン数(B-scans per Clster)
<ステップ1109>
比較部101-464は経時変化計測(Progression計測)処理を実行する。図12にProgression計測レポートの例を示す。Progressionモードタブ1201を指定することにより、該レポート画面が表示され、該経時変化計測処理が開始される。本実施形態ではProgression計測対象画像として検査日が新しいものから順に4検査を自動選択するものとする。これに限らず、例えば最も古い検査日の画像と最新検査の画像、両検査日間に撮影された画像で検査間隔が略等しい画像を選択するよう構成してもよい。ここで、計測対象画像としては略同一位置における取得断層像数が大きい(4以上)モーションコントラスト画像か、同等のモーションコントラスト画像になるようにOCTA重ね合わせ処理を実施して得られる合成モーションコントラスト画像を優先して選択するものとする。なお、計測対象画像はこれに限らず、例えば図12の選択ボタン1209を選択して選択画面を表示させ、該選択画面上に表示された画像リストから選択してもよい。
次に、比較部101-464はS1108で実施した単検査の計測内容に対応する過去検査の画像及び計測値に関するデータを外部記憶部102から取得する。さらに位置合わせ部101-41はS1108で計測した単検査の画像と過去検査画像間の位置合わせを行い、比較部101-464が共通した領域に関する計測値と該計測値に関する経時変化グラフを作成する。
なお、正確に計測することが期待できないような画像選択が行われたと考えられる場合、すなわち
i)選択した計測対象画像の中に略同一位置における取得断層画像数が所定値未満のモーションコントラスト画像もしくは該所定値未満相当の合成モーションコントラスト画像、あるいは画質指標値(Quality Index)が所定値未満のモーションコントラスト画像が含まれる場合
ii)選択した計測対象画像間で略同一位置における取得断層画像数もしくは画質指標値が大きく異なる場合
の少なくとも一方が該当する場合に、再選択するよう警告表示してもよい。
<ステップ1110>
表示制御部101-05は、S1109で実施したProgression計測に関するレポートを表示部104に表示する。
本実施形態では、図12(a)のProgression計測レポートの上段にあるマップ選択リストボックス1202から「OCT」、セクタ選択リストボックス1203から「Lamina Thickness」、下段のマップ選択リストボックス1202から「OCTA」、セクタ選択リストボックス1203から「VLD」を選択する。これにより上段に篩状板部の断層画像と篩状板厚セクタマップ、下段にモーションコントラスト画像とVLDセクタマップとが各々重畳した上で時系列表示される。このような表示により、各々の断層画像やモーションコントラスト画像を詳細に観察しつつ、篩状板形状及び篩状板部を潅流する血管に関する分布を対応付けながら時系列で病態の進行を把握できる。図12(a)に示した例では篩状板部の下側(Inferior)、次いで上側(Superior)の血管密度が減少していく様子と、対応して篩状板部の下側及び上側に菲薄化が生じ、時間の経過とともに篩状板全体が菲薄化していく様子が把握できる。
また各計測対象画像に関して、左右眼の別、撮影日時、画角・画素数、略同一位置における断層画像数やOCTA重ね合わせ処理の実施条件に関する情報、OCT断層画像もしくはモーションコントラスト画像の評価値(画質指標)に関する情報を表示部104に表示させてもよい。なお、図12(a)の上部に表示されている印1206は基準検査(Baseline)であることを示している。
図12(a)においてShow Differenceチェックボックス1207を指定すると、上段・下段各々で基準画像における計測値分布との差分を示す画像(篩状板形状の差分マップや篩状板部を潅流する血管の分布の差分マップ)を時系列で表示できる。すなわち、図12(a)の場合は上段・下段の各々において最左に基準画像における計測値マップが表示され、それ以外の3つの日付において(基準画像の計測値分布との)差分マップが表示される。これにより、基準検査の時点から篩状板形状や篩状板部を潅流する血管の分布がどの領域でどの程度変化したかについて、一覧して把握できる。
本実施形態では断層画像及び付随する計測値とモーションコントラスト画像及び付随する計測値を時系列で並置表示したが、本発明はこれに限定されない。例えば図12(b)に示すように篩状板形状に関する計測値マップ(例えば篩状板厚セクタマップ)と篩状板部を潅流する毛細血管の分布(例えば篩状板部のVLDマップ)を時系列で重畳表示してもよい。この場合、篩状板形状の変形部位と篩状板部を潅流する血管分布の異常部位を正確に対応付けながら両者の経時的変化を一覧して把握できる。
あるいは、図12(b)においてShow Differenceチェックボックス1212を指定すると、基準画像における計測値分布との差分を示す画像(例えば篩状板厚の差分セクタマップや篩状板部を潅流する血管の差分VLDマップ)を時系列で重畳表示できる。
なお、篩状板形状及び篩状板部を潅流する血管の分布に関する計測値の経時変化は画像(マップ)や数値として表示することに限定されるものではなく、例えば図12(b)に示すように経時変化グラフ(トレンドグラフ)として表示してもよい。図12(b)に示した例では、リストボックス1213から「Superior」を選択することにより、篩状板部の上側領域における篩状板厚とVLDのトレンドグラフを合成表示している。これに限らず、篩状板部全体(Full)・上半分(Upper hemi)・下半分(Lower hemi)・下側(Inferior)・鼻側(Nasal)・側頭部(Temporal)や任意形状の関心領域での篩状板形状や血管分布に関する計測値グラフを切替えもしくは一覧表示してもよい。複数のグラフを一覧表示する際は、各々のグラフを識別可能な態様(例えは異なる色や線種・太さ・記号)で表示してよい。さらに、Show Regression Lineチェックボックス1214を指定することにより、回帰直線及び対応する数式を表示部104に表示させてもよい。
また、本発明は視神経乳頭境界D内の篩状板領域内の画像もしくは該篩状板領域内で取得された計測値の時系列表示に限定されるものではない。例えば、視神経乳頭境界D内では篩状板領域(篩状板前面B6と後面B7で囲まれる領域)、視神経乳頭境界D外では網膜表層(例えば神経線維層)の深度範囲内で特定もしくは取得された領域や計測値を時系列表示する場合も本発明に含まれる。具体例として、表示部104の上段に「視神経乳頭境界D内において篩状板厚、視神経乳頭境界D外において神経線維層厚(もしくは神経節細胞層厚、神経節細胞複合体(GCC)厚)」を表示した計測値マップを表示し、下段に「視神経乳頭境界D内において篩状板部の血管密度(VLDもしくはVAD)、視神経乳頭境界D外においてRPCの血管密度(VLDもしくはVAD)」を表示した計測値マップを時系列で並置表示する場合が挙げられる。このような時系列並置表示(あるいは重畳表示でもよい)を行うことで、篩状板部を潅流する血管の分布と篩状板の形状変化部位との関連性の時系列変化が把握できるだけでなく、篩状板形状が変化した部位と神経線維層が菲薄化した領域との関連性の時系列変化まで一貫して把握できる。すなわち、神経線維層や神経節細胞層の菲薄化の原因となる兆候(篩状板部を潅流する血管の退縮や、それによって生じる篩状板部の形状変化)と結果として生じる神経節細胞死(神経線維層や神経節細胞層の菲薄化)の時系列変化が一覧でき、緑内障診断向けの表示設定として有用である。なお、視神経乳頭境界D内で篩状板領域、視神経乳頭境界D外で網膜表層の深度範囲内で取得された計測値分布を表示部104に時系列表示する場合において、「視神経乳頭境界D内において篩状板厚、視神経乳頭境界D外において神経線維層厚(もしくは神経節細胞層厚、神経節細胞複合体(GCC)厚)」を表示した計測値マップのみ表示部104に時系列表示してもよいし、「視神経乳頭境界D内において篩状板部の血管密度、視神経乳頭境界D外においてRPCの血管密度」を表示した計測値マップのみ表示部104に時系列表示してもよい。また、乳頭外における投影深度範囲及び乳頭外で特定・計測する血管は各々神経線維層及びRPCに限定されるものではなく、例えば網膜表層を投影深度範囲として網膜表層の毛細血管を特定・計測してもよいし、網膜深層を投影深度範囲として網膜深層の毛細血管を特定・計測してその分布を時系列で表示してもよい。また、時系列で表示する乳頭内外の血管の特定・計測結果は血管密度に限らず、例えば血管領域の位置、無血管領域の位置、無血管領域の形状、血管領域の面積、無血管領域の面積、血管の長さ、血管の曲率であってもよい。
なお、時系列並置/重畳表示する場合の投影深度範囲は、図12(a)の1208に示したユーザインターフェースを用いて変更できる。また、同様に投影方法(MIP/AIP)やプロジェクションアーチファクト抑制処理についても例えばコンテキストメニューから選択するなどの方法により変更してもよい。
なお、画像処理装置101が略同一走査位置で取得した断層画像の枚数が所定値未満のモーションコントラスト画像もしくは所定値未満相当の合成モーションコントラスト画像に対する血管領域の特定もしくは計測に関する指示を受け付けた場合に、表示部104に警告表示を行うよう構成してもよい。
以上述べた構成によれば、画像処理装置101は同一被検眼に対して異なる日時に略同一撮影条件で取得した篩状板部を含むOCT断層画像及びOCTA重ね合わせ画像から生成したモーションコントラスト画像を用いて篩状板形状及び血管密度の計測処理を行う。取得された画像及び該計測処理により得られた計測データを時系列で並置もしくは重畳表示する。
これにより、篩状板部の形状の経時変化と篩状板部を潅流する血管の分布の経時変化との関係を把握しやすくする。
[その他の実施形態]
上記の各実施形態では、本発明を画像処理装置101として実現したが、本発明の実施形態は画像処理装置101のみに限定されるものではない。例えば、本発明はシステム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることができる。