以下、本発明に係わる実施の形態について添付図面を参照して詳細に説明する。
(実施形態1)
図1は、本発明の一実施の形態に係わる画像処理システム10の構成の一例を示す図である。
画像処理システム10には、画像処理装置30と、断層画像撮影装置20と、眼底画像撮影装置51と、外部記憶装置52と、表示装置53と、入力装置54とが具備される。
断層画像撮影装置20は、例えば、SD−OCTやSS−OCT等で実現され、低コヒーレント光による干渉を利用した光干渉断層法(OCT)を用いて、眼底の3次元形状を示す断層画像を撮影する。断層画像撮影装置20には、ガルバノミラー21と、駆動制御部22と、パラメータ設定部23と、内部固視灯24と、コヒーレンスゲートステージ25とが具備される。
ガルバノミラー21は、測定光(照射光)を眼底に2次元的に走査させる機能を有し、断層画像撮影装置20による眼底の撮影範囲を規定する。ガルバノミラー21は、例えば、Xスキャン用のミラーとYスキャン用のミラーとの2枚のミラーで構成され、被検眼の眼底に対して測定光を光軸に対して直交する面上に走査させる。
駆動制御部22は、ガルバノミラー21の駆動(走査)範囲及び速度を制御する。これにより、眼底における平面方向(測定光の光軸方向に直交する方向)の撮影範囲及び走査線数(平面方向の走査速度)が規定される。
パラメータ設定部23は、駆動制御部22によるガルバノミラー21の駆動制御に用いられる各種パラメータを設定する。このパラメータによって、断層画像撮影装置20による断層画像の撮影条件が決定される。例えば、走査線の走査位置、走査線数、撮影枚数などが決定される。その他、内部固視灯の位置、走査範囲(スキャン範囲)、走査パターン(スキャンパターン)、コヒーレンスゲート位置の設定等も行なわれる。なお、パラメータの設定は、画像処理装置30からの指示に基づいて行なわれる。
内部固視灯24は、断層画像の撮影中、眼球運動が起きないように輝点を視野内に置き、視点が動くことを抑制する。内部固視灯24は、表示部24aとレンズ24bとを具備して構成される。表示部24aは、例えば、複数の発光ダイオード(LD)がマトリックス状に配置されて実現される。発光ダイオードの点灯位置は、駆動制御部22の制御により、撮影対象となる部位に合わせて変更される。表示部24aからの光は、レンズ24bを介して被検眼に導かれる。表示部24aから出射される光は、例えば、520nmで、駆動制御部22の制御により、所望のパターンが表示(点灯)される。
コヒーレンスゲートステージ25は、被検眼の眼軸長の相違等に対応するために設けられる。より具体的には、(測定光と干渉させるための)参照光の光路長を制御し、眼底の深さ方向(光軸方向)に沿った撮影位置を調整する。これにより、眼軸長が異なる被検眼に対しても、参照光と測定光との光路長を一致させることができる。なお、コヒーレンスゲートステージ25は、駆動制御部22により制御される。
ここで、コヒーレンスゲートとは、断層画像撮影装置20における測定光と参照光との光学距離が等しい位置を示す。コヒーレンスゲートの位置の制御により、網膜層側の撮影か、或いは網膜層よりも深部側とするEDI(Enhanced Depth Imaging)法による撮影かが切り替えられる。EDI法で撮影を行なった場合、コヒーレンスゲートの位置が網膜層の深部側に設定されるため、断層画像の上部側を越えて網膜層が撮影された場合に、網膜層が断層画像の中に折り返して写ることがなくなることになる。
眼底画像撮影装置51は、例えば、眼底カメラやSLO(Scanning Laser Ophthalmoscope)等で実現され、眼底の(2次元)眼底画像を撮影する。
外部記憶装置52は、例えば、HDD(Hard Disk Drive)等で実現され、各種データを記憶する。外部記憶装置52は、例えば、被検眼に関する情報(患者の氏名、年齢、性別など)に対して、撮影した画像データ、撮影パラメータ、画像解析パラメータ、操作者によって設定されたパラメータをそれぞれ関連付けて保持する。
入力装置54は、例えば、マウス、キーボード、タッチ操作画面等で実現され、操作者からの各種指示を入力する。例えば、操作者は、入力装置54を介して、画像処理装置30、断層画像撮影装置20及び眼底画像撮影装置51に対して各種指示や設定等を行なう。表示装置53は、例えば、液晶ディスプレイ等で実現され、各種情報を操作者に向けて表示(提示)する。
画像処理装置30は、例えば、パーソナルコンピュータ等で実現され、各種画像を処理する。すなわち、画像処理装置30には、コンピュータが内蔵されている。コンピュータには、CPU(Central Processing Unit)等の主制御手段、ROM(Read Only Memory)、RAM(Random Access Memory)等の記憶手段などが具備される。
ここで、画像処理装置30には、その機能的な構成として、画像取得部31と、記憶部32と、画像処理部33と、指示部34と、表示制御部35とが具備される。なお、記憶部32以外の構成は、例えば、CPUが、ROM等に記憶されたプログラムを読み出し実行することにより実現される。
画像処理部33には、検出部41と、解析部42と、判定部43と、位置合わせ部47とが具備される。
画像取得部31は、断層画像撮影装置20により撮影された断層画像と、眼底画像撮影装置51により撮影された眼底画像とを取得し、記憶部32に格納する。なお、記憶部32は、例えば、ROMやRAM等で実現される。
検出部41は、記憶部32に記憶されている断層画像から網膜の層(網膜層)を検出する。
解析部42は、解析対象となる網膜層の解析を行なう。解析部42には、判定部43と、網膜層解析部44と、解析結果作成部45と、形状データ作成部46とが設けられる。
判定部43は、撮影モード(近視眼解析用の撮影モード、非近視眼解析用の撮影モード)に応じて、網膜層の3次元の形状解析処理を行なうか否かを判定する。なお、3次元の形状解析とは、3次元の形状データを作成し、当該形状データを用いて網膜層の形状解析を行なうことを指す。
網膜層解析部44は、判定部43の判定結果に基づいて、解析対象となる網膜層に対して解析処理を行なう。なお、本実施形態においては、3次元の形状解析処理として、近視眼の黄斑の解析を行なう場合について説明する。解析結果作成部45では、解析結果(網膜層の状態を示す情報)を提示するための各種データを作成する。形状データ作成部46では、撮影により得られた複数の断層画像同士を位置合わせし、3次元の形状データを作成する。すなわち、3次元の形状データは、網膜層の層情報に基づいて作成される。
位置合わせ部47では、解析結果と眼底画像との位置合わせや、眼底画像同士の位置合わせ等を行なう。指示部34は、断層画像撮影装置20で設定されている撮影モードに応じて、撮影パラメータ等の情報の指示を行なう。
以上が、画像処理システム10の構成の一例についての説明である。なお、上述した各装置に設けられた機能的な構成は、必ずしも図示した通りに実現される必要はなく、システム内におけるいずれかの装置にその全部若しくは一部が実現されていれば良い。例えば、図1においては、外部記憶装置52、表示装置53や入力装置54が、画像処理装置30の外部に設けられていたが、これら構成を画像処理装置30の内部に設けるようにしても良い。また、例えば、画像処理装置と断層画像撮影装置20とが一体的に構成されていても良い。
次に、図2を用いて、図1に示す表示装置53に表示される断層画像撮影画面60の一例について説明する。なお、この画面は、断層画像の撮影時に表示される。
断層画像撮影画面60は、断層画像の表示領域61と、眼底画像の表示領域62と、撮影モード設定用のコンボボックス63と、撮影を指示するキャプチャーボタン64とを具備して構成される。なお、眼底画像の表示領域62内の符号65は、撮影領域を示すマークであり、眼底画像上に重畳表示される。また、Mは黄斑部を示し、Dは視神経乳頭部を示し、Vは血管を示している。
コンボボックス63では、例えば、(黄斑部の)近視眼解析用の撮影モードか、(黄斑部の)非近視眼解析用の撮影モードかの設定が行なわれる。この場合、近視眼解析用の撮影モードが設定されている。
ここで、断層画像の表示領域61には、眼底の断層画像が表示されている。L1は内境界膜(ILM)を示し、L2は神経線維層(NFL)と神経節細胞層(GCL)との境界を示し、L3は視細胞内節外節接合部(ISOS)を示している。また、L4は網膜色素上皮層(RPE)を示し、L5はブルッフ膜(BM)を示している。上述した検出部41においては、L1〜L5の各境界のいずれかを検出する。
次に、図3(a)及び図3(b)を用いて、図1に示す画像処理装置30の処理の流れの一例について説明する。まず、図3(a)を用いて、断層画像の撮影時の全体的な処理の流れについて説明する。
[S101]
画像処理装置30は、まず、被検眼を同定する情報として外部から被検者識別番号を取得する。そして、当該被検者識別番号に基づいて、外部記憶装置52が保持している当該被検眼に関する情報を取得して記憶部32に記憶する。
[S102]
画像処理装置30は、画像取得部31において、撮影時の撮影位置確認用のプレスキャン画像として眼底画像撮影装置51から眼底画像を取得するとともに、断層画像撮影装置20から断層画像を取得する。
[S103]
画像処理装置30は、撮影モードの設定を行なう。撮影モードの設定は、図2で説明した撮影モード設定用のコンボボックス63からの操作者の選択に基づいて行なわれる。ここでは、近視眼解析用の撮影モードで撮影を行なう場合について説明する。
[S104]
画像処理装置30は、指示部34において、当該コンボボックス63から設定された撮影モードに応じた撮影パラメータを断層画像撮影装置20に指示する。これにより、断層画像撮影装置20は、パラメータ設定部23において、当該指示に従って撮影パラメータを設定する。具体的には、内部固視灯の位置、走査範囲(スキャン範囲)、走査パターン(スキャンパターン)、コヒーレンスゲート位置の少なくともいずれかの設定を指示する。
ここで、近視眼解析用の撮影モード時のパラメータ設定について説明する。内部固視灯の位置のパラメータ設定では、黄斑部中心を撮影できるように内部固視灯24の位置が設定される。画像処理装置30は、駆動制御部22において、当該撮影パラメータに従って表示部24aの発光ダイオードを制御する。なお、撮影範囲が充分に広く取れるような構成の装置であれば、黄斑部と視神経乳頭部との中心が撮影の中心となるように制御しても良い。このような制御を行なうのは、近視眼における網膜層の形状解析を行なうために、黄斑部が写る領域を撮影するためである。
また、走査範囲のパラメータ設定では、例えば、装置の撮影範囲の限界値として9〜15mmの範囲が設定される。この数値はあくまで一例であり、装置のスペックに応じて適宜変更すれば良い。なお、撮影範囲は、形状変化が起こっている箇所を漏れなく検出できるようにするため、より広い領域が好ましい。
走査パターンのパラメータ設定では、網膜層の3次元形状を撮影できるように、例えば、ラスタスキャンや放射状スキャンが設定される。
コヒーレンスゲートの位置のパラメータ設定では、EDI法で撮影を行なえるようにゲート位置が設定される。高度近視眼においては、網膜層の湾曲の程度がきつくなり、断層画像の上部側を越えて網膜層が撮影されてしまう。その場合、断層画像の上部を越えた網膜層が断層画像内に折り返って写ってしまうので、それを防ぐためこのようなパラメータの設定が必要となる。なお、断層画像撮影装置20として高深達のSS−OCTを用いる場合には、網膜層の位置をゲート位置から遠ざけても良好な断層画像が得られるため、必ずしもEDI法で撮影を行なわなくても良い。
[S105]
画像処理装置30は、指示部34において、断層画像撮影装置20に対して被検眼の撮影を指示する。この指示は、例えば、操作者が、入力装置54を介して、断層画像撮影画面60のキャプチャーボタン64を押下すると行なわれる。この指示が行なわれると、断層画像撮影装置20は、パラメータ設定部23により設定された撮影パラメータに基づき、駆動制御部22を制御させる。これにより、ガルバノミラー21が動作し、断層画像の撮影が行なわれる。
上述した通り、ガルバノミラー21は、水平方向用のXスキャナと垂直方向用のYスキャナとで構成されている。そのため、これらのスキャナの向きをそれぞれ変更することで、装置座標系における水平方向(X)及び垂直方向(Y)それぞれの方向に沿って断層画像を撮影することができる。これらのスキャナの向きを同時に変更させることで、水平方向と垂直方向とを合成した方向に走査することができるため、眼底平面上の任意の方向に沿った撮影が可能となる。このとき、画像処理装置30は、表示制御部35において、当該撮影した断層画像を表示装置53上に表示させる。これにより、操作者は、撮影結果を確認することができる。
[S106]
画像処理装置30は、画像処理部33において、記憶部32に記憶された断層画像から網膜層の検出/解析を行なう。すなわち、S105の処理で撮影された断層画像に対して網膜層の検出/解析処理を行なう。
[S107]
画像処理装置30は、断層画像の撮影を終了するか否かを判定する。この判定は、入力装置54を介した操作者からの指示に基づいて行なわれる。すなわち、操作者が、終了を指示したか否かに基づいて断層画像の撮影を終了するか否かが判定される。
撮影終了が指示された場合、画像処理装置30は、この処理を終了する。一方、処理を終了せずに撮影を続ける場合、画像処理装置30は、再度、S102以降の処理を行なう。
なお、後述するS206やS209の処理によって、操作者が、網膜層の検出結果や、眼底画像とマップとの位置をマニュアル修正した場合等には、撮影の終了に際して、画像処理装置30は、それに伴って変更された撮影パラメータを外部記憶装置52に保存する。このとき、当該変更されたパラメータを保存するか否かの確認ダイアログを表示して、撮影パラメータの変更を行なうか否かを操作者に問い合わせるようにしても良い。
次に、図3(b)を用いて、図3(a)のS106の示す網膜層の検出/解析処理について説明する。
[S201]
網膜層の検出/解析処理が開始すると、画像処理装置30は、検出部41において、断層画像から網膜層を検出する。この処理について、図2に示す断層画像(表示領域61)を用いて具体的に説明する。黄斑部の場合、検出部41は、まず、断層画像に対して、メディアンフィルタとSobelフィルタとをそれぞれ適用して画像を作成する(以下、メディアン画像、Sobel画像とする)。続いて、検出部41は、当該作成したメディアン画像とSobel画像とから、Aスキャン毎にプロファイルを作成する。メディアン画像では輝度値のプロファイルとなり、Sobel画像では勾配のプロファイルとなる。そして、検出部41は、Sobel画像から作成したプロファイル内のピークを検出する。最後に、当該検出されたピークの前後やピーク間に対応するメディアン画像のプロファイルを参照し、網膜層の各領域の境界を検出する。すなわち、L1(ILM)、L2(NFLとGCLとの境界)、L3(ISOS)、L4(RPE)、L5(BM)等の検出が行なわれる。なお、本実施形態においては、解析の対象となる層をRPEとして説明する。
[S202]
画像処理装置30は、判定部43において、網膜層の3次元の形状解析を行なうか否かの判定を行なう。より具体的には、近視眼解析用の撮影モードで撮影が行なわれた場合、網膜層の3次元の形状解析を行なうと判定する。また、近視眼解析モードを用いずに撮影が行なわれた場合(非近視眼解析用の撮影モード)は、当該3次元の形状解析を行なわないと判定する。この場合、検出部41の検出結果に基づく解析が行なわれる(3次元の形状データを用いない解析)。なお、近視眼解析用の撮影モードであっても、断層画像に基づいて当該断層画像内に黄斑部が写っているか否かを判定し、写っていなければ(例えば、視神経乳頭部のみが写ってる)、網膜層の(3次元の)形状解析を行なわないと判定するようにしても良い。
ここで、本実施形態においては、断層画像撮影装置20と画像処理装置30とが一体となった画像処理システム10において、撮影から解析までの一連の処理を行なうものとして説明を行なうが、これに限られない。すなわち、画像処理装置30は、3次元形状を取得するための走査パターンを用いて黄斑部が撮影された断層画像が入力された場合に、網膜層の形状解析を行なえれば良く、必ずしも、このような一体となったシステムである必要はない。そのため、断層画像撮影装置20以外で撮影された断層画像についても、撮影時の情報に基づいて、網膜層の形状解析を行なうことができる。但し、形状解析を必要としない場合は、当該形状解析処理を行なわないようにすれば良い。
[S203]
画像処理装置30は、形状データ作成部46において、3次元の形状データを作成する。3次元の形状データは、S201の処理の網膜層の検出結果に基づいて形状解析を行なうために作成される。
ここで、例えば、撮影時の走査パターンがラスタスキャンであれば、複数の隣接する断層画像同士の位置合わせが行なわれる。断層画像の位置合わせでは、例えば、2つの断層画像の類似度を表す評価関数を事前に定義しておき、この評価関数の値が最も良くなるように断層画像を変形する。
評価関数としては、例えば、画素値で評価する方法(例えば、相関係数を用いて評価を行なう方法)が挙げられる。また、画像の変形処理としては、アフィン変換を用いて並進や回転を行なう処理が挙げられる。形状データ作成部46においては、複数の断層画像同士の位置合わせ処理が終わった後、形状解析の対象となる層の3次元の形状データを作成する。3次元の形状データは、例えば、512×512×500のボクセルデータを用意し、網膜層を検出した層データの座標値に対応する箇所にラベルを割り当てることで作成すれば良い。
また、撮影時の走査パターンが放射状スキャンであれば、この場合も同様に、形状データ作成部46において、断層画像同士の位置合わせを行なった後、3次元の形状データを作成する。但し、この場合、隣接する断層画像の中心付近の領域情報のみを用いて深度方向(図2の断層画像(表示領域61)でのZ方向)の位置合わせを行なう。これは、放射状スキャンの場合、隣接する断層画像であっても、断層画像の中心付近と比べてその両端は、情報が疎であり、形状の変化が大きいので位置合わせの情報として使用しない方が良いためである。位置合わせの方法としては、上述した方法を用いれば良い。形状データ作成部46においては、位置合わせ処理が終わった後、形状解析の対象となる層の3次元の形状データを作成する。
放射状スキャンの場合、例えば、512×512×500のボクセルデータを用意し、まず、各断層画像の形状解析の対象となる層データを均等に円形に回転して展開する。その後、展開した層データにおいて、円周方向に隣接する形状データ間で補間処理を行なう。補間処理により、撮影していない箇所の形状データを作成する。補間処理の方法としては、線形補間、非線形補間などの処理を適用すれば良い。3次元の形状データは、網膜層を検出した層データの間を補間した座標値に対応する箇所にラベルを割り当てることで作成すれば良い。
なお、ここで示したボクセルデータの数値は、あくまで一例であり、撮影時のAスキャン本数や実行する装置のメモリ状況に応じて適宜変更すれば良い。大きなボクセルデータの場合、解像度が高くなるため、形状データを正確に表現することができるが、実行速度が遅くなりメモリも大量に消費する。一方、小さなボクセルデータの場合、解像度は低くなるが、実行速度が速くなりメモリの消費量も少なくなる。
[S204]
画像処理装置30は、網膜層解析部44において、網膜層の3次元の形状解析を行なう。ここでは、形状解析の方法として、網膜層の面積と体積とを計測する手法について例を挙げて説明する。
この処理について、図4を用いて説明する。図4には、3次元の形状データ(RPE)と、計測面(MS)と、面積(Area)と、体積(Volume)とが模式的に示されている。
まず、面積計測について説明する。S203の処理で作成したRPEの3次元の形状データにおいて、Z方向(光軸方向)で最も深部に位置する層データの場所にフラット(平面)な計測面(MS)を用意する。そして、そこから一定の間隔ずつ浅い方向(Z軸の原点方向)に計測面(MS)を移動させる。層の深部から浅い方向に計測面(MS)を移動させると、RPEの境界線を計測面(MS)が横断する。
面積(Area)は、その計測面(MS)とRPEとの境界線で囲まれる内部の平面領域を計測することにより得られる。より具体的には、面積(Area)は、計測面(MS)とRPEとの境界線との交差領域の面積を計測することにより得られる。このように面積(Area)とは、3次元の網膜層形状データの断面積である。基準となる部位の位置の断面積を計測する場合、網膜の湾曲がきつい形状であれば、面積は小さくなり、網膜の湾曲が緩やかであれば、面積は大きくなる。
また、体積(Volume)は、面積(Area)を計測する際に用いた計測面(MS)を利用して、計測面(MS)とRPEとの境界線で囲まれる内部の全領域を計測することにより得られる。基準となる部位の位置からZ方向に沿って下の体積を計測する場合、網膜の湾曲がきつい形状であれば、体積は大きくなり、網膜の湾曲が緩やかであれば、体積は小さくなる。ここで、基準位置は、部位を基準として、例えば、ブルッフ膜オープニングの位置とすれば良い。或いは、RPEの最深部の位置から100μm、500μmなどと一定の高さを基準としても良い。なお、面積や体積を計測する際に、内部に含まれるボクセル数をカウントする場合、1ボクセルあたりの物理サイズを乗じて計算する。
[S205]
形状解析後、画像処理装置30は、解析結果作成部45において、当該3次元の形状解析結果に基づいて解析結果(例えば、マップ、グラフ、数値情報)を作成する。
ここで、3次元の形状解析結果として等高線マップを作成する場合について説明する。等高線マップは、面積及び体積を計測した結果を表示する際に使用される。
図5(a)は、等高線マップ71の一例を示す。ここで、符号71は、等高線マップ全体を示し、符号72は、一定の間隔で引いた等高線を示し、符号73は、3次元の網膜層形状データのZ方向で最も深部に位置する箇所を示している。
等高線マップ71を作成する場合、等高線マップ用のルックアップテーブルを用意し、当該テーブルを参照して体積に応じて色分けする。ここで、等高線マップ用のルックアップテーブルは、例えば、体積に応じて用意すれば良い。それにより、マップ上においては、形状と体積の変化を一度に把握することができる。
より具体的には、図5(a)の符号73を底として等高線72が一定の間隔で描画されており、マップの色が体積に応じて設定されている。そのため、Z方向で最も深部に位置する箇所から計測面の高さ(深さ)を変更した場合、体積がどのように増加するかを把握することができる。具体的には、1mm3の場合は青とし、2mm3の場合は黄色として設定しておくと、Z方向で最も深部に位置する箇所から計測面の高さ(深さ)が100μmで青なのか、300μmで青なのかにより、操作者は、形状と体積との関係を把握することができる。従って、操作者は、マップの最外側の輪郭の色を確認することで、計測対象の網膜層の形状を計測した時の全体の体積の値を把握することができる。
また、操作者は、内部の等高線近傍の色を確認することで高さ(深さ)に対応した体積の値を把握することができる。なお、等高線マップの色を設定する際に用いられるルックアップテーブルは、体積に限らず、面積に応じて設けられても良いし、また、計測面(MS)から網膜層データのZ方向で最も深部に位置する箇所73までの高さ(深さ)に応じて設けられていても良い。図示はしないが、等高線の高さ(深さ)が分かるようにそれぞれの等高線上に数値を一緒に表示しても良い。等高線を表現する距離の間隔としては、例えば、Z方向に沿って100μm間隔としておく。なお、等高線マップは、カラーであっても良いし、グレースケールであっても良いが、カラーの方が視認性は良くなる。
また、等高線マップは、Z方向で最も深部に位置する箇所から計測面(MS)までの高さ(深さ)に応じて外形のサイズが変わる。図5(b)は、計測面(MS)の高さ(深さ)を変更した場合の等高線マップ74の一例を示している。
次に、3次元の形状解析として、網膜層の曲率を計測する場合について図2に示す断層画像(表示領域61)を用いて説明する。ここでは、横軸をx座標とするとともに縦軸をz座標とし、解析の対象となる層(RPE)の境界線の曲率を計算する場合について説明する。曲率κは境界線の各点において、「式1」を計算することで求めることができる。曲率κの符号で上に凸か下に凸かが分かり、数値の大きさで形状の曲がり具合が分かる。そのため、上に凸を+、下に凸を−とした場合、各断層画像において、曲率の符号が−領域、+領域、−領域となる場合はW形状となる。
[式1]
なお、ここでは、断層画像の境界線で曲率を計算する場合について説明したが、曲率計算はこれに限らず、3次元の形状データから3次元の曲率を計算するようにしても良い。この場合、形状解析後、画像処理装置30は、解析結果作成部45において、当該解析結果に基づいて曲率マップを作成する。
図5(c)に曲率マップの一例を示す。この場合、曲率がきつい箇所の色を濃く、曲率が滑らかな箇所の色を薄く表現している。すなわち、曲率に応じて色の濃さが変更されている。なお、曲率マップに設定する色は、曲率値0を基準に正負で色を変えれば良い。それにより、操作者は、網膜形状が滑らかなのか、上に凸形状か下に凸形状なのかを当該マップを見ることで把握することができる。
[S206]
画像処理装置30は、表示制御部35において、断層画像と、検出部41により検出された層(RPE)の検出結果と、解析結果作成部45により作成された各種形状解析の結果(マップ、グラフ、数値情報)とを表示装置53に表示する。
図6は、図1に示す表示装置53に表示される断層画像観察画面80の一例を示す図である。この画面は、断層画像の解析が終わった後に表示される(すなわち、S206の処理によって表示される)。
断層画像観察画面80は、断層画像の表示領域81を含む断層画像表示部91と、眼底画像の表示領域82を含む眼底画像表示部94とを具備して構成される。また、断層画像観察画面80には、第1の解析結果84を含む第1の解析結果表示部96、第2の解析結果85及び86を含む第2の解析結果表示部98も設けられる。
ここで、まず、断層画像の表示領域81を含む断層画像表示部91の詳細について説明する。断層画像の表示領域81では、撮影された断層画像に対して、網膜層の各層を検出したセグメンテーション結果(L1〜L5)と計測面(MS)とが重畳して表示されている。断層画像の表示領域81では、解析対象の網膜層(本実施形態においては、RPE(L4))のセグメンテーション結果が強調して表示されている。
また、断層画像の表示領域81において、計測面(MS)と解析対象の網膜層(RPE(L4))とで囲まれる斜線領域81aが面積及び体積の計測対象領域となる。このとき、斜線領域81aでは、体積計測結果に応じた色が所定の透明度αによって表示される。設定する色は、等高線マップ用のルックアップテーブルと同じものを使用すれば良い。透明度αは、例えば、0.5とする。
コンボボックス92は、断層画像を表示する際に、OCT比で表示するか、1:1比で表示するかを操作者が選択するために設けられる。ここで、OCT比とは、撮影時のAスキャンの本数から得られる横方向(X方向)の解像度と、縦方向(Y方向)の解像度とで表わした比のことである。1:1比とは、何mmの範囲を何本のAスキャンで撮影したかで得られる、横方向の1ピクセルあたりの物理サイズと、縦方向の1ピクセルあたりの物理サイズとを揃えた比のことである。
コンボボックス93は、断層画像を表示する際に、2次元表示(2D)/3次元表示(3D)を切り替えるために設けられる。ここで、2D表示の場合、断層画像の1スライスが表示され、3D表示の場合、網膜層の境界線データから作成された網膜層の3次元形状が表示される。
具体的には、コンボボックス93において3D表示が選択されると、断層画像の表示領域81には、図7(a)〜図7(c)に示す断層画像が表示される。
図7(a)は、OCT比でRPEを3D表示した場合の態様を示している。この場合、計測面(MS)も同時に3D表示されている。
ここで、断層画像の表示領域81の下側には、網膜の各層に対応したチェックボックス101〜104が表示されている。具体的には、ILM、PRE、BM、MSに対応したチェックボックスが表示されており、操作者は、これらチェックボックスを用いることで、各層の表示/非表示の切り替えを指示できる。
計測面(MS)を面で表現する場合、その透明度αは、0より大きく、且つ1よりも小さい値とする。透明度を1にした状態で、網膜層形状と計測面とを重ねると、蓋をしたような状態となり、網膜層の3次元形状が上側からでは分からなくなってしまうためである。或いは、計測面(MS)を面ではなく格子状にして表現しても良い。格子状の場合、計測面(MS)の透明度αは1としても良い。計測面(MS)の色は、等高線マップのルックアップテーブルを参照し、計測面(MS)がある位置の計測値(面積又は体積)に応じた色を選べば良い。
ここで、操作者は、入力装置54を介して、計測面(MS)の位置を移動させることができる。そのため、計測面(MS)の位置が変更されると、画像処理装置30は、当該変更に連動して、図5(a)及び図5(b)で説明したように、等高線マップ形状を変化させる。
テキストボックス105は、数値を指定するための項目である。操作者は、入力装置54を介して、Z方向で最も深部に位置する箇所からの計測面(MS)の高さ(深さ)を示す数値をこのテキストボックス105に入力する。例えば、100μmや300μmといった数値が入力された場合、その場所に計測面(MS)が移動し、等高線マップもそれに合わせて変化する。これにより、操作者は、3次元形状での位置とその時の等高線マップとを同時に把握することができるとともに、その時の体積値、面積値についても把握することができる。
その他の例として、テキストボックス105に体積の値を入力できるようにしても良い。この場合、1mm3や2mm3といった数値が入力された場合、操作者は、当該体積に対応する3次元形状での計測面(MS)の位置とその時の等高線マップとを同時に把握することができる。また更に、操作者は、その時のZ方向で最も深部に位置する箇所からの計測面(MS)の高さ(深さ)も把握できる。
続いて、図7(b)は、計測面(MS)を非表示にした場合の表示態様を示している。それ以外の表示項目については、図7(a)と同様となる。図7(b)の場合、チェックボックス102が選択されており、RPEのみが表示されている。このように眼底の3次元形状のみを表示することもできる。
ここで、図7(b)では、OCT比でRPEの3D表示を行なっているのに対して、図7(c)は、1:1比でRPEの3D表示を行なっている場合の態様を示している。すなわち、コンボボックス92において、1:1比が選択されている。
なお、本実施形態では、RPEを解析対象として説明しているため、コンボボックス93で2D/3D表示を切り替えた場合、RPE形状を2D/3D表示することになるが、これに限られない。例えば、解析対象をブルッフ膜(BM)とした場合、ブルッフ膜(BM)形状が2D/3D表示される。
ここで、断層画像の表示領域81において、計測面がどの位置を測定しているかを模式的に示す表示を行なうようにしても良い。この場合の表示態様について、図8(a)〜図8(d)を用いて説明する。
図8(a)は、表示中の断層画像において、計測面がどの位置を測定しているかを示すオブジェクト110を断層画像上に重畳して表示した態様を示している。符号MS’は、オブジェクト110上での計測面(模式計測面)を表している。網膜層の3次元形状は、操作者の入力装置54を介した指示により上下左右の回転が行なわれる。そのため、計測面(MS)と網膜層との位置関係を操作者が把握できるように、オブジェクト110及び模式計測面MS’によって位置関係の指標を提示する。
なお、操作者が入力装置54を介して、オブジェクト110及び模式計測面MS’の位置関係を変更した場合には、それに連動して網膜層の3次元形状の表示も変更される。この場合、解析対象となる網膜層の領域も変更されるため、第1の解析結果84や第2の解析結果85及び86も連動して変更される。
ここで、オブジェクト110の表示態様をいくつか例示して説明する。例えば、図8(b)及び図8(c)に示すように、各断面位置に対応する断層画像を表示するようにしても良い。この場合、オブジェクト110においては、3次元で考えた場合の中心位置を横切る垂直位置及び水平位置の断層画像が表示される。或いは、図8(d)に示すように、上方(superior)、下方(inferior)を示すS、Iなどの英略語を表示するようにしても良い。
次に、図6に示す眼底画像の表示領域82を含む眼底画像表示部94の詳細について説明する。眼底画像の表示領域82では、撮影位置とその走査パターンマーク83とが眼底画像に対して重畳されている。また、眼底画像表示部94には、眼底画像の表示形式を切り替えるためのコンボボックス95が設けられている。この場合、眼底画像としてSLO画像が表示されている。
ここで、図9(a)及び図9(b)を用いて、コンボボックス95から眼底画像の表示形式の切り替えを行なった場合について説明する。ここでは、眼底画像の表示形式として、“SLO画像+マップ”を同時に表示する場合と、“眼底写真(第2の眼底画像)+SLO画像(第1の眼底画像)+マップ”を同時に表示する場合とを例に挙げて説明する。なお、SLO画像(第1の眼底画像)は、断層画像と同時に撮影が行なわれた2次元の眼底画像であれば良く、例えば、断層画像を深度方向に積算することにより生成された積算画像であっても良い。また、眼底写真(第2の眼底画像)は、断層画像と異なるタイミングで撮影された2次元の眼底画像であれば良く、例えば、造影検査画像等が挙げられる。
図9(a)は、“SLO画像+マップ”がコンボボックス95から選択された場合の表示態様を示している。符号201はSLO画像を示し、符号200はマップを示している。SLO画像201とマップ200との位置合わせは、図1で説明した位置合わせ部47により行なわれる。これらの位置合わせは、撮影時の固視灯の位置と走査範囲とに基づいてマップの位置及びサイズを設定することにより行なわれる。
SLO画像201に対してマップ200を重畳した結果を眼底画像として表示する場合、SLO画像201の透明度αを1として表示し、マップ200の透明度αを1より小さくし、例えば、0.5として表示する。これら透明度αのパラメータは、操作者が対象データを初めて選択した時に設定するパラメータである。これらのパラメータは、操作者が、入力装置54を介して適宜変更することができる。操作者が変更したパラメータは、例えば、外部記憶装置52に記憶される。次回以降同じ対象データを開いた時には、前回の操作者が設定したパラメータに従って表示が行なわれる。
続いて、図9(b)は、“眼底写真+SLO画像+マップ”がコンボボックス95から選択された場合の表示態様を示している。符号202は、眼底写真(第2の眼底画像)を示している。
この場合、眼底写真202に対してマップ200を重畳表示するために、SLO画像201が利用されている。その理由として、眼底写真202は、断層画像と異なるタイミングで撮影されたものであり、マップ200だけでは撮影位置や撮影範囲が分からないためである。そこで、SLO画像201を用いることで眼底写真202とマップ200との位置合わせを行なうことができる。眼底写真202とSLO画像201との位置合わせは、図1で説明した位置合わせ部47により行なわれる。
位置合わせの方法は、例えば、血管特徴を用いて行なえば良い。血管の検出方法としては、血管は細い線状構造を有しているため、まず、線状構造を強調するフィルタを用いて血管を抽出する。線状構造を強調するフィルタとしては、線分を構造要素としたときに構造要素内での画像濃度値の平均値と構造要素を囲む局所領域内での平均値との差を計算するフィルタを利用すれば良い。勿論、これに限られず、Sobelフィルタのような差分フィルタを用いても良い。また、濃度値画像の画素毎にヘッセ行列の固有値を計算し、その結果として得られる2つの固有値の組み合わせから線分状の領域を抽出しても良い。更には、線分を単純に構造要素とするトップハット演算を用いても良い。位置合わせ部47においては、これらの方法によって検出した血管位置情報を用いて、眼底写真202とSLO画像201との位置合わせを行なう。
SLO画像201とマップ200とは、上述した方法で位置合わせを行なうことができるので、その結果として眼底写真202とマップ200との位置合わせも行なうことができる。眼底写真202に対してマップ200を重畳した結果を眼底画像表示部94の表示領域82に表示する場合には、眼底写真202の透明度αを1として表示する。また、SLO画像201の透明度α及びマップ200の透明度αを1より小さくし、例えば、0.5として表示する。勿論、SLO画像201とマップ200との透明度αの値は同じである必要はなく、例えば、SLO画像201の透明度αの値を0としても良い。
なお、被検眼が疾患眼である場合、位置合わせ部47による位置合わせ処理が失敗する可能性がある。位置合わせの失敗の判定は、画像間類似度を計算する場合には、最大の類似度が閾値以上とならない。或いは、閾値以上となったとしても、解剖学的に不自然な箇所で位置合わせ処理が終了する場合、失敗したと判定できる。その場合、SLO画像201及びマップ200は、事前に設定された初期パラメータの位置(例えば、画像の中心)及び初期透過度で表示すれば良い。そして、位置合わせ処理に失敗したメッセージを表示して、操作者による入力装置54を介した位置修正処理を促す。
ここで、位置修正や透過度αのパラメータ変更を操作者が行なう場合、操作者が、SLO画像201に対して移動、拡大・縮小、回転操作を行なうと、SLO画像201上のマップ200も同時に、移動、拡大・縮小、回転する。すなわち、SLO画像201及びマップ200は、1枚の同じ画像として動作する。但し、透明度αに関しては、SLO画像201及びマップ200は、それぞれ独立に設定が行なわれる。操作者が、入力装置54を介して変更したパラメータは、外部記憶装置52に記憶され、次回以降は当該設定されたパラメータに従って表示が行なわれる。
このように眼底画像表示部94における眼底画像の表示領域82には、2次元の眼底画像の他、眼底画像上にマップ等が重畳された表示が行なわれる。なお、図9(a)や図9(b)では、等高線マップを眼底画像上の対応する位置に関連付けて重畳表示する場合について説明したが、これに限られない。すなわち、曲率マップや層厚マップなどを表示しても良い。
また、解析対象の層を変更する場合には、操作者が、入力装置54を介して、例えば、図2に示す表示領域61の断層画像上からセグメンテーション結果(L1〜L5)を選択することで行なえば良い。解析対象の層を切り替えた場合、画像処理装置30は、表示制御部35において、それまでに強調表示されていたセグメンテーション結果の層を通常表示に戻し、新たな解析対象の層を強調表示させる。それにより、任意の層の解析結果を表示することができる。
次に、図6に示す第1の解析結果84を含む第1の解析結果表示部96の詳細について説明する。
第1の解析結果84には、解析結果作成部45により作成された形状解析マップが表示される。また、コンボボックス97では、第1の解析結果84のマップの種類を選択することができる。この場合、第1の解析結果84として示されている形状解析マップは、等高線マップとなっている。
第1の解析結果84として示されている形状解析マップの種類や、図9(a)や図9(b)で説明した眼底画像上に重畳表示された形状解析マップの種類は、コンボボックス97から種類を指定することにより連動して変更できる。更に、以下で説明を行なう第2の解析結果表示部98の表示も連動して変更される。
ここで、図10に解析結果として曲率の結果を表示させた場合の断層画像観察画面80の一例について説明する。
解析結果の表示を、面積及び体積の解析結果から曲率解析結果に切り替えた場合、断層画像表示部91、眼底画像表示部94、第1の解析結果表示部96、第2の解析結果表示部98に表示される結果は、図10に示す内容となる。
具体的には、断層画像の表示領域81には、撮影された断層画像に対して、当該断層画像上に網膜層の各層を検出したセグメンテーション結果(L1〜L5)が重畳表示される。また、第1の解析結果84としては曲率マップが表示され、第2の解析結果88としては曲率グラフが表示される。眼底画像の表示領域82には、SLO画像(第1の眼底画像)201と、眼底写真(第2の眼底画像)202と、曲率マップ203とを重畳表示した画像が表示される。
次に、図6に示す第2の解析結果85及び86を含む第2の解析結果表示部98の詳細について説明する。
第2の解析結果85では、解析結果作成部45により作成された形状解析グラフが表示される。この場合、面積及び体積を計測したグラフが示されており、横軸が高さ(深さ)を示し、縦軸が体積を示している。符号87に示す実線は、体積を示している。
第2の解析結果86では、形状解析結果が表として表示されている。表には、ある一定の基準値の高さ(例えば、100μm、500μm等)の時の面積及び体積が表示されるとともに、ある部位を基準とした時の高さ(ブルッフ膜オープニングの位置)に対応する面積及び体積が表示される。
ここで、図11を用いて、面積及び体積の結果を一つのグラフ(第2の解析結果85)に表示した場合について説明する。この場合、横軸が高さ(深さ)を示し、グラフ左側の縦軸が体積を示し、グラフ右側の縦軸が面積を示している。破線89は面積を示すグラフであり、実線87は体積を示すグラフである。
[S207]
画像処理装置30は、網膜層解析部44において、網膜層の検出結果に基づいて形状解析を行なう。この解析処理では、3次元の形状データ等を作成せずに、網膜層の検出結果を用いた解析が行なわれる。例えば、層厚の解析等が行なわれる。
[S208]
画像処理装置30は、解析結果作成部45において、当該解析結果に基づいて解析結果(例えば、マップ、グラフ、数値情報)を作成する。
[S209]
画像処理装置30は、断層画像と、検出部41により検出された層(RPE、ILM等)の検出結果と、解析結果作成部45により作成された解析結果(マップ、グラフ、数値情報)とを表示装置53に表示する。
図12は、S209の処理によって、表示装置53に表示される断層画像観察画面80の一例を示す図である。
この場合、第1の解析結果302として、層厚マップが示されており、第2の解析結果301として、層厚グラフが示されている。すなわち、第1の解析結果302及び第2の解析結果301として、網膜層の検出結果を用いた解析結果が表示されている。
この場合にも、上記S206の処理と同様に、操作者が、入力装置54を介して変更したパラメータは、外部記憶装置52に記憶され、次回以降は当該設定されたパラメータに従って表示が行なわれる。
以上説明したように実施形態1によれば、近視眼解析用の撮影モードを含む複数の撮影モードを設け、断層画像の撮影時の撮影モードに応じて解析処理を切り替えて実行することができる。
より具体的には、複数の撮影モードとして、近視眼解析用の撮影モードと、非近視眼解析用の撮影モードとが少なくとも設けられる。近視眼解析用の撮影モードでは、3次元の形状解析(近視眼における黄斑部の解析)を行なうのに適した断層画像の撮影が行なわれる。
そして、近視眼解析用の撮影モードで撮影された断層画像に対しては、3次元の形状データを作成し、当該形状データに基づいて3次元の形状解析を実行する。それ以外の撮影モードで撮影された断層画像に対しては、3次元の形状データを作成せずに、網膜層の検出結果に基づく解析処理を実行する。
(実施形態2)
次に、実施形態2について説明する。実施形態2では、断層画像の2D表示と3D表示とを同時に表示する場合について説明する。より具体的には、実施形態2では、断層画像と、3次元の形状データと、解析結果とを並べて表示する場合について説明する。なお、実施形態2では、断層画像として、放射状スキャンで撮影された断層画像を例に挙げて説明する。
図13を用いて、実施形態2に係わる断層画像観察画面400の一例について説明する。
断層画像観察画面400には、2次元の断層画像の表示領域411を含む第1の断層画像表示部410と、3次元の断層画像の表示領域431を含む第2の断層画像表示部430とが設けられる。また更に、断層画像観察画面400には、第1の解析結果442を含む第1の解析結果表示部440、第2の解析結果421及び422を含む第2の解析結果表示部420も設けられる。
ここでは、第1の解析結果表示部440及び第2の解析結果表示部420は、上述した実施形態1を説明した図6や図9(a)と同様であるため、その説明については省略する。また、第2の断層画像表示部430も、実施形態1を説明した図7(a)〜図7(c)と同様であるため、その説明については省略する。ここでは、第1の断層画像表示部410について重点的に説明する。
第1の断層画像表示部410には、2次元の断層画像の表示領域411の他、断層画像の視点位置(スライス位置)を変更するためのスライダーバー412と、断層画像のスライス番号を表示するエリア413とが設けられる。
ここで、図14を用いて、3次元形状での視点方向503と、図13に示す断層画像(表示領域411)との関係について説明する。符号500は、断層画像の3次元形状を上から深部方向(Z方向)に見た眼底の概要を示しており、符号501に示す放射状の直線は、断層画像の撮影スライス位置を示している。符号502に示す破線は、撮影スライス位置501の中で表示中の断層画像(表示領域411)と対応しているスライス位置を示しており、視点方向503に対して垂直になる。すなわち、破線502に示す位置の断層画像が、断層画像の表示領域411に表示される断層画像となる。
次に、操作者が、入力装置54を介して、図13で説明した断層画像観察画面400を操作した場合について説明する。
操作者が、入力装置54を介して、スライダーバー412の位置を中心から端に移動させたとする。そうすると、その操作に連動して、画像処理装置30は、表示領域431に表示中の3次元の断層画像(3次元形状データ)の視点位置を変更する。また、表示領域411に表示中の2次元の断層画像のスライス位置をスライダーバー412で指定された断層画像と対応する視点位置に変更する。
なお、スライダーバー412が操作された場合、当該バーは、離散的に変化するのではなく、連続的にその位置が変更される。そのため、表示中の断層画像の3次元形状データの位置も連続的に変化する。具体的には、画像処理装置30は、表示中の断層画像の3次元形状データが垂直方向の中心を基準として回転するように表示する。
図15は、スライダーバー412の位置を端に移動させた場合の表示領域411における2次元の断層画像と、表示領域431の3次元の断層画像(3次元形状データ)との画面表示の一例を示している。この場合、3次元形状での視点方向507と、2次元の断層画像(表示領域411)との関係は図16に示す関係となる。
スライダーバー412の位置が操作されると、画像処理装置30は、表示領域411に表示中の2次元の断層画像のスライス位置を変更するとともに、そのスライス位置に対応する3次元の断層画像(3次元形状データ)の視点位置を変更する。なお、2次元の断層画像のスライス位置を変更するためのスライダーバー412の操作に伴って、3次元形状データの視点位置を変更させるだけでなく、その逆も可能である。つまり、操作者が、入力装置54を介して、3次元形状データの視点位置を変更させた場合、それに対応して2次元の断層画像のスライス位置と、スライダーバー412の位置とを変更させるようにしても良い。
以上説明したように実施形態2によれば、2次元の断層画像と3次元の断層画像とを同時に表示し、操作者からの操作に応じて、それらの表示態様を連動させて変更させることができる。
(実施形態3)
次に、実施形態3について説明する。実施形態3では、網膜層の形状の解析結果と、データベースに保持されている統計データベースとの両方を比較可能に表示する場合について説明する。
図17は、実施形態3に係わる画像処理システム10の構成の一例を示す図である。ここでは、実施形態1を説明した図1の構成と相違する点について重点的に説明する。
ここで、実施形態3に係わる画像処理装置30の画像処理部33には、実施形態1の構成に加えて、特徴量取得部601と、比較演算部602とが新たに設けられる。
特徴量取得部601は、3次元の形状解析に基づいて、網膜層の形状特徴を示す特徴量(形状特徴量)の算出を行なう。
比較演算部602は、形状特徴量(第1の特徴量)と、外部記憶装置52に記憶される統計データベース55に保持された形状特徴量(第2の特徴量)とを比較し、その比較結果を出力する。なお、統計データベース55とは、多数眼のデータから作成されるものであり、人種別、年齢別のデータを統合して作成される。すなわち、統計データベース55には、複数の被検眼から得られた統計的な特徴量が保持される。なお、眼科の分野においては、左右眼別、眼軸長別など、眼特有のパラメータで分類されていても良い。
次に、図18を用いて、実施形態3に係わる画像処理装置30の処理の流れの一例について説明する。なお、断層画像の撮影時の全体的な処理は、実施形態1の図3(a)で説明した内容と同様となるので、ここでは、その説明は省略し、図3(b)の処理(網膜層の検出/解析処理)との相違点について重点的に説明する。
[S301〜S304]
網膜層の検出/解析処理が開始すると、画像処理装置30は、実施形態1を説明した図3(b)のS201〜S204の処理を実施する。これにより、断層画像から網膜層が検出されるとともに、当該検出された網膜層の3次元の形状解析が行なわれる。
[S305]
画像処理装置30は、特徴量取得部601において、S304の処理で行なわれた3次元の形状解析に基づいて、形状特徴量の算出を行なう。
ここで、網膜層の形状特徴としては、例えば、網膜層の面積及び体積の特徴量、網膜層の円形の(凹凸の)度合いを示す特徴量、網膜層の形状の曲率の特徴量、等が挙げられる。
まず、網膜層の面積及び体積の特徴量の求め方について説明する。網膜層の面積及び体積の特徴量は、例えば、網膜層の面積及び体積の増減率(典型的には、増加率)を算出することにより求められる。網膜層の面積及び体積は、上述した実施形態1と同様の方法で求めれば良い。
面積及び体積の増減率を算出する場合、特徴量取得部601は、網膜層解析部44による3次元の形状解析の解析結果に基づいて、RPEの最深部の位置から100μm、200μm、300μmなどと一定の高さ(深さ)にあるときの面積及び体積をそれぞれ求める。そして、その結果に基づいて面積及び体積の増減率を網膜層の形状特徴として求める。
また、網膜層の円形の(凹凸の)度合いを示す特徴量は、例えば、(最終的に)面積計測の対象となる網膜層の断面の形状から算出する。ここで、図19(a)及び図19(b)を用いて、網膜層の円形の(凹凸の)度合いを示す特徴量の算出方法について具体例を挙げて説明する。
図19(a)には、水平方向最大弦長(CHORD H)、垂直方向最大弦長(CHORD V)、絶対最大長(MAXIMUM LENGTH)が示されている。図19(b)には、面積(AREA)と周囲長(PERIMETER)とが示されており、これらの値から円形度CLを計算することができる。円形度の式を「式2」に示す。
[式2]
なお、Aは面積(AREA)を示し、Lは周囲長(PERIMETER)を示す。円形度の逆数を計算すると、凹凸の度合いを示す特徴量となる。勿論、円形の凹凸の度合いを示す特徴量の求め方は、これに限られず、例えば、重心回りのモーメント特徴などを用いても良い。
続いて、網膜層の形状の曲率の特徴量の求め方について説明する。曲率の特徴量を算出する場合、特徴量取得部601は、網膜層のそれぞれの箇所において曲率を計算し、全個所における平均、分散、標準偏差の計算を行なう。
また、曲率値を絶対値ではなく、符号付き曲率値で求める場合、正負で形状の凹凸が分かる。そのため、符号付き曲率値で求める場合には、曲率値として正の曲率値、負の曲率値の数をそれぞれカウントしておく。正負の数のカウントにおいて、完全に直線の場合、曲率値は0となるが、自動又は手動による網膜層の検出では多少の誤差が含まれる。そのため、曲率値0付近の値は、カウントから除き、曲率値が正負に大きい値、すなわち、特徴が大きく出ている個所だけをカウントするようにしても良い。
[S306]
画像処理装置30は、比較演算部602において、S305の処理で求められた特徴量と、外部記憶装置52に記憶されている統計データベース55の特徴量とを比較する。なお、統計データベース55では、正常データの95%範囲を正常、4%範囲をボーダーライン、残り1%範囲を異常などした情報が保持される。
比較演算部602では、S304及びS305の処理で求められた解析結果や特徴量の値が、統計データベース55に保持された特徴量に対して、どの範囲に位置するかを比較する。例えば、解析結果の面積や体積についてのみ比較を行なっても良いし、面積や体積の値と特徴量の値とを2軸として、その中でどこに位置するのかを比較するようにしても良い。また更に、特徴量が曲率の場合には、曲率値の平均値とその分散値とで2軸を作成し、その軸の中でどの範囲に含まれるかを比較するようにしても良い。
この点について更に説明する。図20(a)に示すグラフでは、横軸が曲率の平均値を示し、縦軸が曲率の分散値を示す。符号701に示す菱形は、近視眼において後部ぶどう腫の症状がない場合の網膜層の曲率値を示し、符号702に示す三角は、近視眼において軽度な後部ぶどう腫の症状がある場合の網膜層の曲率値を示している。また、符号703に示す四角は、近視眼において後部ぶどう腫の症状がある場合の網膜層の曲率値を示す。
なお、後部ぶどう腫とは、眼球が後方に突出したように形状が変形する状態のことをいう。プロット点が複数存在するのは、症例の数であり、この場合、数十例分をプロットした例を示している。また、ここでは、S305の処理により得られた形状特徴量についての説明は省略するが、この形状特徴量は、統計データベース55に保持された特徴量と識別可能な形式(例えば、表示形式(丸形状等)が変更される)で当該グラフ上にプロットされる。すなわち、S305の処理により得られた形状特徴量は、統計データベース55に保持された特徴量と比較可能に表示される。
ここで、領域711は、後部ぶどう腫の症状がない曲率値領域を示し、領域712は、軽度な後部ぶどう腫の症状がある曲率値領域を示し、領域713は、後部ぶどう腫の症状がある曲率値領域を示している。従って、例えば、対象としている被検眼の曲率値を計測した際に、当該被検眼の曲率値が領域711に位置すれば後部ぶどう腫がなく、領域713に位置すれば後部ぶどう腫があると判定できる。
このように本実施形態においては、被検眼が疾病である可能性を段階的に示す複数の領域(すなわち、疾病の段階的に示す被検眼のカテゴリを示す表示形態)で囲って、曲率値(特徴量)をグラフ上にプロットして表示する。また、どの領域に属するかによって、曲率値を示すオブジェクトの表示形式(菱形、三角、四角)を変更して表示する。なお、ここでは説明を簡単にするため、3つの領域に分類する場合について説明したが、これに限らない。例えば、それぞれの領域を複数に分割して、合計で10個程度に分類し、後部ぶどう腫の程度の大きさを判定できるようにしても良い。
[S307]
画像処理装置30は、解析結果作成部45において、S305の処理の結果に基づいて解析結果を作成する。解析結果は、例えば、対象としている被検眼の解析値が統計データベース55のどこに位置するかが把握できる形式で作成される。
解析結果の一例としては、例えば、図20(a)で説明したように、統計データベース55を2次元で表現した場合に、当該被検眼の曲率値がどこに位置するかをプロットしたグラフが挙げられる。また、図20(b)に示すように、統計データベース55の特徴を1次元で表現したカラーバー(棒グラフ)を作成し、そのカラーバー(棒グラフ)のどこに位置するのかを示す解析結果を作成しても良い。
また更に、曲率値のように、各箇所において一つの値が対応する場合、その箇所における統計データベース55に保持されたいずれかの曲率値と比較を行ない、各箇所が統計データベース55のどこに位置するかが分かる2次元のマップを作成しても良い。なお、2次元のマップにおいては、各箇所での比較ではなく、一定の範囲を平均化した値を統計データベース55と比較するようにしても良い。
[S308]
画像処理装置30は、表示制御部35において、断層画像と、検出部41により検出された層の検出結果と、解析結果作成部45により作成された解析結果(マップ、グラフ、数値情報)とを表示装置53に表示する。なお、解析結果としては、S307の処理で作成されたマップやグラフ等を表示すれば良い。具体的には、図21に示す断層画像観察画面80を表示する。
この場合、第1の解析結果84として、統計データベース55の特徴量(曲率)との比較結果として、網膜層の曲率マップが表示されている。この曲率マップでは、一定の範囲を平均化した値を統計データベース55と比較した結果が示されている。色の濃淡が濃い場所ほど、曲率値が統計データベース55の正常値から外れており、濃淡が淡いほど、曲率値が統計データベース55の正常値の範囲内であることを示している。
第2の解析結果表示部98には、第2の解析結果として、曲率の平均値と分散値とが統計データベース55のどこに位置するかを表すグラフ730が示されている。グラフ730内の丸形状の点722は、対象としている被検眼の解析値をこのグラフの中にプロットしたものである。
なお、図21に示す画面例では、マップやグラフをそれぞれ1つずつしか表示していないが、これに限らない。例えば、面積・体積マップと曲率マップとを第1の解析結果表示部96内に並べて表示しても良いし、また、それと同時に、面積・体積グラフと曲率グラフとを第2の解析結果表示部98内に並べて表示しても良い。
以上説明したように実施形態3によれば、網膜層の形状特徴を示す特徴量(形状特徴量:第1の特徴量)と、統計データベースに予め保持された複数の被検眼に対応する形状特徴量(第2の特徴量)とを操作者に表示(提示)することができる。これにより、被検眼が疾病であるか否かの判定基準となる指標とともに、診断対象となる被検眼の形状特徴量を提示することができる。
(実施形態4)
次に、実施形態4について説明する。実施形態4では、網膜層の形状特徴(形状特徴量)と断層画像又は眼底画像の画像特徴(画像特徴量)とを用いて、統計データベースに保持されている特徴量を検索する。そして、現在の被検眼の形状特徴に近い特徴量を持つ被検眼の断層画像、眼底画像、診断情報を表示する場合について説明する。
図22は、実施形態4に係わる画像処理システム10の構成の一例を示す図である。ここでは、実施形態3を説明した図17の構成と相違する点について重点的に説明する。実施形態4に係わる画像処理装置30には、実施形態3の構成に加えて、検索部36が新たに設けられる。
また、実施形態4に係わる外部記憶装置52には、統計データベース55として、網膜層の特徴量と、断層画像と、眼底画像と、診断情報とがそれぞれ関連付けて記憶されている。検索部36は、網膜層の形状特徴と、断層画像又は眼底画像内の画像特徴とを用いて、外部記憶装置52(すなわち、統計データベース55)を検索する。
次に、実施形態4に係わる画像処理装置30の処理の流れの一例について説明する。実施形態4に係わる画像処理装置30の処理は、上述した実施形態3と同様の流れで行なわれるため、ここでは、上述した図18を用いて、相違する処理について重点的に説明する。相違する処理としては、S305、S306、S308の処理が挙げられる。
[S306]
画像処理装置30は、特徴量取得部601において、上述した実施形態3で説明した形状特徴量の他、断層画像又は眼底画像から画像特徴量を抽出する。画像特徴量としては、例えば、エッジ特徴、色特徴、ヒストグラム特徴、SIFT(Scale-invariant feature transform)特徴量などが挙げられる。
[S307]
画像処理装置30は、検索部36において、S305の処理で求められた形状特徴量と画像特徴量とを多次元ベクトルとして表現し、当該特徴量と、外部記憶装置52内の統計データベース55に保持されたデータとを比較する。それにより、特徴量の類似する画像を検索する。探索方法としては、最近傍探索を用いれば良い。なお、処理の高速化のため、近似最近傍探索などを用いても良い。
[S308]
画像処理装置30は、表示制御部35において、撮影された断層画像と、検索部36の検索により得られた類似する断層画像とを含む画面を表示装置53に表示する。
具体的には、図23に示す断層画像観察画面が表示される。断層画像観察画面900には、現在の画像解析結果を表示する第1の解析結果表示部930と、過去の画像解析結果を表示する第2の解析結果表示部940とが設けられる。
第1の解析結果表示部930には、断層画像901、SLO画像902、眼底写真903、(3次元の形状)解析結果マップ904、及び解析グラフ905が表示される。解析グラフ905内の丸形状の点906は、対象としている被検眼の解析値をグラフの中にプロットした結果を示している。また、星形状の点907は、第2の解析結果表示部940に表示されている過去の被検眼の解析値をグラフの中にプロットした結果を示している。この場合、解析グラフ905では、横軸が形状特徴量を示し、縦軸が画像特徴量を示す。勿論、これに限られず、解析結果として、実施形態3で説明した曲率値を示すグラフなどで表示しても良い。
第2の解析結果表示部940には、断層画像911及び921、SLO画像912及び922、眼底写真913及び923、(3次元の形状)解析結果マップ914及び924、被検眼の診断情報915及び925が表示される。診断情報は、診断経過を示す情報であり、例えば、年齢、診断名、治療歴、視力、レフ値、ケラト値、眼軸長などが含まれる。図23の場合、縦の列に沿って同一の被検眼の画像及び診断情報が表示されているが、勿論、横に沿って、同一の被検眼の画像及び診断情報を並べて表示するようにしても良い。
ここで、現在の被検眼と類似する画像が複数存在する場合、操作者は、入力装置54を介してスライダーバー950を操作することにより、それらの結果を切り替えて表示することができる。なお、類似する過去の画像の表示の切り替えは、スライダーバー950以外を用いて行なわれても良い。例えば、操作者が、入力装置(例えば、マウス)54を介して、解析グラフ905の星形状の点907をクリックした場合に、その特徴量を持つ画像を、現在の画像の横に並べて表示するようにしても良い。
以上説明したように実施形態4によれば、網膜層の形状特徴を示す特徴量(形状特徴量)と、断層画像又は眼底画像の画像特徴量とに基づいて、撮影された被検眼の断層画像に類似する断層画像やそれに関する情報を統計データベースから検索する。そして、撮影された断層画像とともに、当該類似する断層画像やそれに関する情報を並べて表示する。これにより、被検眼が疾病であるか否かの判定基準となる指標とともに、診断対象となる被検眼の形状特徴量を提示することができる。
以上が本発明の代表的な実施形態の例であるが、本発明は、上記及び図面に示す実施形態に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。
例えば、上述した実施形態1〜4において説明したいくつかの画面においては、チェックボックスやコンボボックス等が配されていたが、ラジオボタンやリストボックス、ボタンなどは、用途に応じて適宜変更すれば良い。例えば、上述した説明でコンボボックスとして説明していた構成を、リストボックスとして実現しても良い。
(その他の実施形態)
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。