JP2010246695A - 画像処理方法および画像処理装置 - Google Patents

Abstract

【課題】異なる波長の光でステレオ撮影した眼底画像から、眼底の組織、特に網膜の厚みに関する情報を正確に測定する。
【解決手段】被検眼眼底を眼底撮影光学系を介して所定の視差でステレオ撮影（Ｓ１００）し、得られた左右の視差画像を用いて被検眼眼底の３次元形状測定処理を行うに際し、撮影したステレオ眼底画像を色分解し（Ｓ１０１）、色分解して得られた異なる波長成分のステレオ眼底画像に対してそれぞれ特定の眼底部位の深さ情報を求める深さ情報計測処理（Ｓ１０３）を行ない、前記深さ情報計測処理で異なる波長成分のステレオ眼底画像からそれぞれ得られた深さ情報の差を特定の眼底組織の厚さ情報として求める厚さ情報計測処理（Ｓ１０４）を行なう。また、特定の波長成分の画像に関しては空間周波数のフィルタリング処理（Ｓ１０３）も行なう。
【選択図】図２

Description

本発明は、被検眼の眼底画像を表示出力する画像処理方法および画像処理装置に関するものである。

従来より、緑内障の診断などの目的で、被検眼眼底の状態を把握するため、被検眼眼底の立体画像を撮影する眼底カメラなどの画像処理装置が知られている。眼底カメラの単一の光学系内の絞りを光軸から左右（あるいは上下）に偏心した異なる位置に移動させ、それぞれの絞り位置で撮影を行うことにより被検眼眼底をステレオ撮影する。ステレオ撮影した左右の画像から、左右の画像の対応する部位の深さ情報を求めることができ、これにより、たとえば眼底の立体形状モデルを形成することができる。

また、カラー撮影で得られる異なるスペクトルの画像（たとえばＲ、Ｇ、Ｂの各色画像）について、３次元解析を行なうことも試みられている（下記の特許文献１および特許文献２）。特許文献１では、ＲＧＢ別のステレオ画像で各色（各層）ごとに３次元解析を行ない、各スペクトル画像毎の眼底の深度情報を合成して眼底の三次元形状を算出する技術が開示されている。

また、特許文献２では、立体光学系により眼底を撮像する立体眼底カメラにおいて、眼底の各層から同時に導かれる光の波長を光学的に分離して眼底各層を同時に撮像する光学的分離手段を設け、ＲＧＢ別のステレオ画像で各色（各層）ごとに３次元解析を行ない、たとえば特定の２つのスペクトルで得られた立体断面像の差を網膜の線維層の厚さとして数値的に把握できるようにする技術が開示されている。

これらの従来技術は、網膜の線維層の厚さを測定することが緑内障の診断や病状の把握に役立つ、という考えに基づくものである。

特開２０００−２４５７００号公報 特許２９１９８５５号

被検眼の網膜層の厚さを測定すること、たとえば眼底画像から網膜厚マップを作成することは、すでにＯＣＴ（光干渉断層光学系を用いた眼底測定装置）や、偏光された走査レーザ光を用いた網膜神経繊維層の厚みを測定する装置などで実現はされているが、いずれも専用の高価な装置が必要であり、また眼底写真は別に撮影する必要があった。

たとえば、立体眼底カメラのハードウェアを用いて網膜厚情報を測定できれば、眼底画像の撮影と、網膜厚情報の測定を簡単安価な構成により行なうことができ好都合であると考えられるが、上記の特許文献１、２に記載されているような構成で立体眼底カメラで色分解して網膜厚さを測定しようとすると、各色の画像に異なる層からの反射光が入ってしまっている場合に、その部位の測定が正しく行えないという問題があった。特に、この問題は、網膜組織より深い脈絡膜組織の部分からの反射光を反映している長波長の赤色成分（Ｒ成分）で多発しやすく、赤色成分の画像は深層部からと表層部からの信号が混在しているため、充分な測定精度を得られない、という問題があった。

本発明の課題は、上記問題に鑑み、異なる波長の光でステレオ撮影した眼底画像から、眼底の組織、特に網膜の厚みに関する情報を正確に測定できるようにすることにある。

上記課題を解決するため、本発明においては、被検眼眼底を眼底撮影光学系を介して所定の視差でステレオ撮影し、得られた左右の視差画像を用いて被検眼眼底の３次元形状測定処理を行う画像処理方法および画像処理装置において、撮影したステレオ眼底画像を色分解し、色分解して得られた異なる波長成分のステレオ眼底画像に対してそれぞれ特定の眼底部位の深さ情報を求める深さ情報計測処理を行ない、前記深さ情報計測処理で異なる波長成分のステレオ眼底画像からそれぞれ得られた深さ情報の差を特定の眼底組織の厚さ情報として求める厚さ情報計測処理を行なう構成を採用した。

上記構成により、異なる波長の光でステレオ撮影した眼底画像から、眼底の組織、特に網膜の厚みに関する情報を正確に測定することができる。

本発明を採用した画像処理システムの構成を示したブロック図である。 本発明を採用した画像処理システムにおける画像処理を示すもので、（ａ）、（ｂ）はそれぞれその画像処理の流れを示したフローチャート図である。 本発明を採用した画像処理システムにおける画像処理を示すもので、（ａ）はその画像処理の流れを示したフローチャート図、（ｂ）はその画像処理の原理を説明する線図である。 本発明を採用した画像処理システムにおけるさらに異なる画像処理の流れを示したフローチャート図である。 本発明を採用した画像処理システムにおいて撮影されるステレオ眼底画像を示した説明図である。 本発明を採用した画像処理システムにおける画像処理を示した説明図である。 本発明を採用した画像処理システムにおける画像処理を示した説明図である。 本発明を採用した画像処理システムにおける表示出力例を示した説明図である。 本発明を採用した画像処理システムにおける表示出力例を示した説明図である。

以下、本発明を実施するための最良の形態の一例として、被検眼眼底をステレオ撮影光学系を介してステレオ撮影し、得られた撮影画像データに対して３次元測定処理を行なう眼科測定装置に関する実施例につき説明する。

＜システム構成＞
図１は本発明を採用した眼科測定装置の構成を示している。図１において符号１０１は眼底撮影用のカメラで、被検眼（不図示）の眼底を所定の撮影条件で撮影するための機構、例えば、撮影距離を決定するアライメント機構などを備えた眼底カメラなどから構成される。カメラ１０１は、カラー撮影を行なえる、たとえば３板式のＣＣＤやＣＭＯＳセンサなどの撮像素子を有し、デジタルデータとして撮影した被検眼のカラー眼底画像データを画像処理装置に出力する。なお、カメラ１０１が出力する画像信号がＹＵＶ（ＹＰｂＰｒやＹＣｂＣｒ）のような形式である場合には、後述のような色分解処理によりＲＧＢ画像データのように異なるスペクトルの画像データへの色分解処理を行なう。たとえばカメラ１０１がＪＰＥＧ（やＭＰＥＧ）形式などで画像を出力する場合には、このような色分解処理が必要になる。

画像処理装置１００は、例えばパーソナルコンピュータなどのハードウェアを用いて構成される。画像処理装置１００は、システム全体の制御を行なうとともに、後述の画像処理を実施する画像処理手段の主体を構成するＣＰＵ１０２を含む。画像処理装置１００はもちろん、カメラ１０１と一体的に構成された専用ハードウェアにより構成されていてもよい。

後述の画像処理は、ＶＲＡＭ（画像メモリ）１０４をワークエリアとして実行される。この他にも、画像処理以外のシステム制御などに用いるためのメモリとして、ダイナミックＲＡＭなどから構成されたメモリが設けられるものとする。後述の画像処理を実施するためのＣＰＵ１０２のプログラムはＲＯＭ１０３かＨＤＤ１０５に格納しておく。

また、ＨＤＤ１０５は、被検眼の撮影画像データ、測定結果などの数値データ、あるいは後述の画像処理により生成された出力画像データなどを格納するために用いられる。

画像処理装置１００には、表示出力手段として、ＬＣＤやＥＬパネル、ＣＲＴなどから構成されたディスプレイ１０７が接続されており、ディスプレイ１０７には画像処理装置１００の画像処理を制御するためのユーザーインターフェース画面や出力画面などを表示させる。これらの画面表示、機器全体の制御を行なうため、画像処理装置１００には不図示のキーボードやマウスその他のポインティングデバイスから成るユーザーインターフェース手段が設けられているものとする。

また、画像処理装置１００は、後述の画像処理に基づき、被検眼眼底、特に網膜層の厚みに関する評価を検者が容易に行なえるよう構成した画像データを生成し、ディスプレイ１０７に出力させる（図８、図９）。

画像処理装置１００には、不図示のネットワークインターフェースを介してネットワーク１０６が接続される。画像処理装置１００は、上述の被検眼の撮影画像データ、測定結果などの数値データ、あるいは後述の画像処理により生成された出力画像データなどを外部のコンピュータや別の画像処理装置、あるいは眼科測定装置などに出力する。

＜画像処理＞
本実施例の特徴は、カメラ１０１でカラー撮影したＲＧＢ画像データのような異なるスペクトルで得られた画像データ（たとえばＲＧＢ画像）を用い、これらの（色分解された）各色の画像ごとに被検眼眼底の３次元情報、特に深さ分布を求める。

たとえばＲＧＢ画像の場合、基本的には、Ｒ成分は網膜の比較的深部、たとえば脈絡膜からの情報を多く含む反射光、Ｇ成分は網膜色素上皮からの情報を多く含む反射光、Ｂ成分は網膜表面からの情報を多く含む反射光として取り扱うことができる。したがって、各色成分から得られた深さ情報の任意の２つを取ることにより、それらの画像情報がよく反映している層の間の距離（厚み）を求めることができる。たとえば、理論的には、Ｒ成分から得られた深さ情報とＧ成分から得られた深さ情報の差を求め、この距離を脈絡膜〜網膜色素上皮の厚さとして測定することができる。

ただし、眼底画像のＲ成分の空間周波数中域〜高域付近には、網膜表面からの反射光が含まれることがある。図５は、カメラ１０１でステレオ撮影した左右の眼底画像４０２、４０１を示している。図中において、破線より内側の部分は比較的明るく撮影される乳頭部を、また、符号４０３、４０４は眼底血管を示している。図５の左の画像４０２の下部にごく一部のみ示したように、網膜表面からの反射光が含まれており、Ｒ成分およびＢ成分の空間周波数中域〜高域付近に含まれて出力される。

上述したように、図５に示したような異なる層からの反射光（４０５）が混在することによって誤まった深さ情報が生じ、不正確な、あるいは無意味な厚さ情報が出力されることがある。たとえば、上述のように組織の深層からの３次元情報を反映しているＲ成分には網膜表面からの反射光も含まれるが、左右のステレオ画像から測定される深さ情報は両層が混在した深度情報となるから、たとえば組織中層からの３次元情報を反映しているＧ成分から得られる深度情報との差を演算した場合には組織の厚み情報として負の数値が出力されてしまう領域が生じる。

以上のような問題を解決するため、本実施例では、図２に示すような画像処理を行なう。図２は本実施例の画像処理システムにおけるそれぞれ異なる画像処理手順の流れを示している。画像処理装置１００の処理主体として画像処理を実施するためのＣＰＵ１０２のプログラムはＲＯＭ１０３かＨＤＤ１０５に格納しておくものとする。

図２の画像処理は、本実施例において、カラーステレオ撮影し、ＲＧＢの各色成分に色分解した画像をそれぞれ用い、各色成分のステレオ画像から、たとえば、脈絡膜や網膜色素上皮に相当する組織の深さ情報を求め、その差を網膜の厚みとして出力するに際し、特定の色成分について空間周波数に関するフィルタリング処理を行ない、上述のノイズ成分（図５）によって生じ得る測定誤差の影響を除去ないし低減するためものである。

図２（ａ）、（ｂ）は画像処理装置１００の処理主体として画像処理を実施するためのＣＰＵ１０２のプログラムの流れを示しており、図２（ｂ）は図２（ａ）と同じ処理を示したものであるが、その途中で処理される色成分のデータを明示的に示したものである。図２（ａ）および図２（ｂ）では、同一の処理ステップには同一のステップ番号を付してある。

図２のステップＳ１００では、カメラ１０１を用いて被検眼の眼底画像をカラーステレオ撮影し、ステップＳ１０１では、カメラ１０１から出力されるカラーステレオ眼底画像信号をＲＧＢ画像信号に色分解し、ＶＲＡＭ（画像メモリ）１０４に格納する。カメラ１０１からＲＧＢ信号がそのまま出力される場合には、そのＲＧＢデータをＶＲＡＭ（画像メモリ）１０４に格納すれば良いが、カメラ１０１が特定のＹＵＶ形式などのＲＧＢ形式とは異なる画像フォーマットを用いている場合には、ステップＳ１０１の色分解処理が必要になる。

これにより、図２（ｂ）のステップＳ１００〜Ｓ１０１に示すように、カメラ１０１から出力されたカラーステレオ画像が、赤色（Ｒ）成分画像データ、緑色（Ｇ）成分画像データ、青色（Ｂ）成分画像データに分解される。

続いて、ステップＳ１０２では、得られた赤色（Ｒ）成分画像データ、緑色（Ｇ）成分画像データ、青色（Ｂ）成分画像データに対して特定のフィルタリング処理を行なう。ただし、この処理はユーザ設定により省略できるようにしておいてもよい（後述の図８を参照）。

図２では、図２（ｂ）に示すように、それぞれの画像データに対してフィルタリング処理を行なう。本実施例では、ステレオ画像の赤色（Ｒ）成分画像データ、緑色（Ｇ）成分画像データ、青色（Ｂ）成分画像データのうち、赤色（Ｒ）成分画像データについては空間周波数の低周波、および高周波成分の画像をそれぞれ抽出する。このステップＳ１０２のフィルタリング処理の結果、ステレオ画像の赤色（Ｒ）低周波成分画像データ、赤色（Ｒ）高周波成分画像データ、緑色（Ｇ）成分画像データ、青色（Ｂ）成分画像データが得られる。

ステップＳ１０３では、赤色（Ｒ）低周波成分画像データ、赤色（Ｒ）高周波成分画像データ、緑色（Ｇ）成分画像データ、青色（Ｂ）成分画像データのそれぞれの各成分の左右のステレオ画像から、視差を抽出し、左右の画像で対応する画素についての深さ情報を計測する。ここでは、左右のステレオ画像から対応画素の深さ情報を計測する手法については公知の手法を用いるものとし、ここでは詳細な説明は省略する。

ステップＳ１０３の深さ計測処理により、図２（ｂ）に示すように赤色（Ｒ）低周波成分画像データ、赤色（Ｒ）高周波成分画像データ、緑色（Ｇ）成分画像データ、青色（Ｂ）成分画像データのそれぞれについて深さ計測結果が得られる。なお、必要であれば図２（ａ）にステップＳ１０５で示したように、これら赤色（Ｒ）低周波成分画像データ、赤色（Ｒ）高周波成分画像データ、緑色（Ｇ）成分画像データ、青色（Ｂ）成分画像データのそれぞれの深さ計測結果に対して特定のフィルタリング処理を行なうこともできる。このフィルタリング処理としては、たとえば、平滑化フィルタやメディアンフィルタが考えられる。

そして、ステップＳ１０４において、これらのうち特定の２つの深さ計測結果の差を算出することにより、その差分を任意の層間の厚さとして出力することができる。たとえば、上記のフィルタリングを行なった場合には、Ｒ成分から得られた深さ情報のカーブはＢ成分から得られた深さ情報のカーブに近づく（下記の図７）から、Ｂ成分から得られた深さ情報のカーブのかわりに補正後のＲ成分から得られた深さ情報のカーブを用い、補正後のＲ成分から得られた深さ情報とＧ成分から得られた深さ情報の差を網膜表面〜網膜色素上皮の厚さとして測定することができる。

図６および図７は、図２に示したフィルタリング処理を含む画像処理を行なうことによって、左右の画像の赤色（Ｒ）成分画像データ、緑色（Ｇ）成分画像データ、青色（Ｂ）成分画像データから得られる深さ情報の例を示している。

図６および図７において、下部の波形は上部のカメラ１０１で撮影した眼底画像１６００（右または左の一方のみ示している）を水平に横切るように設定したプロファイルライン１６０１に沿った各画素に対応する部位のものとして演算（図２のステップＳ１０３〜Ｓ１０４）された深さ情報を横軸を眼底画像１６００の水平（Ｘ）方向にとって示したものである。

図６は、たとえばユーザ設定処理などによって、フィルタリング処理（図２のステップＳ１０２）を一切行なわずに左右の画像の赤色（Ｒ）成分画像データ、緑色（Ｇ）成分画像データ、青色（Ｂ）成分画像データから演算（図２のステップＳ１０３〜Ｓ１０４）された深さ情報を示している。前述のように、Ｒ成分は網膜の比較的深部、たとえば脈絡膜からの情報を多く含む反射光、Ｇ成分は網膜色素上皮からの情報を多く含む反射光、Ｂ成分は網膜表面からの情報を多く含む反射光と考えた場合、各色成分の左右の画像から演算した深さ情報のカーブは交差しないはずであるが、フィルタリング処理を行なわなかった場合には、図６に示すようにたとえば網膜表面からの反射光（図５）の混入によって赤色（Ｒ）成分画像データから得られる深さ情報のカーブ１６０２が他の緑色（Ｇ）成分画像データ、および青色（Ｂ）成分画像データから演算された深さ情報のカーブ１６０３、１６０４と交差してしまっている。この場合、赤色（Ｒ）成分画像データから得られる深さ情報は眼底の網膜組織の厚みを求めるために用いることができない。

これに対して、図７は、図２のフィルタリング処理（ステップＳ１０２）を行なった場合の深さ情報の演算結果を示している。図７では、赤色（Ｒ）成分画像データから得た深さ情報のカーブ１７０２を１つの波形で示しているが、この波形は図２（ｂ）における赤色（Ｒ）高周波成分画像データから演算された深さ情報である。

図７に示したように、図７は、図２のフィルタリング処理（ステップＳ１０２）を行なうことにより、赤色（Ｒ）成分画像データ、緑色（Ｇ）成分画像データ、および青色（Ｂ）成分画像データから演算された深さ情報のカーブ１７０２、１７０３、１７０４が交差しなくなり、さらに、赤色（Ｒ）成分画像データが青色（Ｂ）成分画像データから演算された深さ情報に近づき、したがって、これらの深さ情報のカーブ１７０２、１７０３、１７０４を用いて眼底の網膜組織の厚みを求めることができる。

特に、上記のフィルタリングを行なった場合には、Ｒ成分から得られた深さ情報のカーブはＢ成分から得られた深さ情報のカーブに近づく（下記の図７）から、Ｂ成分から得られた深さ情報のカーブのかわりに補正後のＲ成分から得られた深さ情報のカーブを用い、補正後のＲ成分から得られた深さ情報とＧ成分から得られた深さ情報の差を網膜表面〜網膜色素上皮の厚さとして測定することができる。このようにＢ成分から得た深さ情報のカーブのかわりに、上記のフィルタリングを行なったＲ成分から得た深さ情報のカーブを用いる場合には、低光量の照明において誤差の生じやすいＢ成分を用いるよりも、正確な膜圧計算を行なうことができる。Ｂ成分の画像データは後述の実施例２で説明するように低光量の照明においては誤差を生じ易い問題があるが、Ｂ成分から得た深さ情報のカーブのかわりに、上記のフィルタリングを行なったＲ成分から得た深さ情報のカーブを用いれば、撮影用の照明が低光量であってもそのような誤差の影響が少なく、正確な膜圧計算を行なうことができる。

以上のように、本実施例では、ステレオ撮影された被検眼眼底の左右の視差画像を色分解し、異なる波長成分のステレオ画像を取得し、各波長成分のステレオ画像から眼底組織の３次元情報、特に深さに関する情報を求め、さらに各波長成分のステレオ画像から求めた深さ情報の差を求めることにより、眼底組織、特に網膜の膜圧に関する情報を取得することができる。その場合、特定の波長成分（上記の例では赤色（Ｒ）成分画像データ）に所定のフィルタリング処理（空間周波数の高域あるいは低域の除去ないし抑圧）を作用させることにより、たとえば光を選択的に抽出することによって該波長成分で得られる深さ情報の誤差の影響をなくし、該波長成分に対応づけられる組織の部位に関する深さ情報を正確に求め、ひいては眼底組織、特に網膜の膜圧に関する情報を正確に取得することができる。

＜表示出力例＞
以下、本実施例において、ステレオ撮影された眼底画像、また眼底画像データから求めた深さ情報や組織の厚さに関する情報を表示出力する場合に好適な表示方式につき説明する。

図８、図９は、本実施例の眼科測定装置においてディスプレイ１０７で表示可能な計測結果の出力例を示したものである。ここでは、主にフィルタリング処理なしの画像信号を用いて、計測結果の出力例を示す。

図８の表示例では、左上に眼底画像１８００（ステレオ画像、あるいは左または右の画像）を表示しており、この眼底画像１８００中にはマウスその他のポインティングデバイスでその位置を設定可能なＸ（横）、Ｙ（縦）、方向に沿うプロファイルラインを表示している。

画面の右下部は、ポインティングデバイスなどにより操作可能なボタン、ラジオボタンなどから成るグラフィックユーザーインターフェース１９０３、１９０４を配置しており、このうちグラフィックユーザーインターフェース１９０３は眼底画像１８００として表示する画像としてステレオ撮影された左（Ｌｅｆｔ）ないし右（Ｒｉｇｈｔ）のいずれの画像を選ぶか、また、Ｒ、Ｇ、Ｂいずれの色成分の画像を選ぶか、などの選択、擬似カラーマップ表示を用いるか否かなどを選択するためのものである。

また、グラフィックユーザーインターフェース１９０４は眼底画像の下部、および右側のグラフィック表示１８０１、および１８０２として、どのようなデータを用いるかを選択するためのラジオボタンと、グラフィックユーザーインターフェース１９０３、１９０４の選択状態を決定するための［ＯＫ］［キャンセル］などのボタンを配置したものである。特にグラフィックユーザーインターフェース１９０４の左側では「Ｃｏｌｏｒ」、「Ｄｅｐｔｈ」、「Ｔｈｉｃｋｎｅｓｓ」を選択できる。このうち、選択状態にある「Ｄｅｐｔｈ」は、上述の深さ情報の表示を指定するもの、「Ｔｈｉｃｋｎｅｓｓ」は後述の図９のように厚さ情報の表示をそれぞれ指定するものである。また、「Ｃｏｌｏｒ」は、深さ情報ではなく、「Ｃｏｌｏｒ」はプロファイルラインに沿った画像信号の情報、たとえば輝度のグラフ表示を指定するものである。

グラフィックユーザーインターフェース１９０４の中央および右側は、「Ｔｈｉｃｋｎｅｓｓ」すなわち深さ情報を演算する引き算に、Ｒ、Ｇ、Ｂのいずれの色成分の深さ情報を用いるかを指定するためのものとなっているが、図８の「Ｄｅｐｔｈ」を指定した状態では、表示状態とは直接関係しない。

なお、グラフィックユーザーインターフェース１９０４の左下の［３ＤＩｍａｇｅ］のボタンは、ステレオ撮影した３次元画像の表示を指定するものである。この３次元表示の表示形式は本実施例では図示しないが、公知の任意の表示方式を用いることができる。

図８の状態では、グラフィックユーザーインターフェース１９０３では、左（Ｌｅｆｔ）画像を表示し、画像としては「ＲＧＢ」すなわちカラー画像の表示を行なう選択がされて、また、グラフィックユーザーインターフェース１９０４では、「Ｄｅｐｔｈ」が選択されており、この選択により眼底画像１８００の下部および右方のグラフィック表示１８０１、および１８０２はグラフ形式で眼底画像１８００中のＸ、Ｙ方向のプロファイルラインにそれぞれ沿う深さ情報を表現した表示となっている。

ここでは、グラフィックユーザーインターフェース１９０３の「ＲＧＢ」すなわちカラー画像の表示を行なう選択に基づき、グラフィック表示１８０１、および１８０２は３本の波形で、左右のＲ、Ｇ、Ｂの各色成分から求めた深さ情報を表示している。図８の表示状態は、図６の場合のようなフィルタリング処理を行なっていない状態での深さ情報を表示しており、一部で深さ情報の波形は交差している。

一方、図９は、図８と同等のグラフィックユーザーインターフェース１９０３、１９０４を持つ画面で、ここでは、グラフィックユーザーインターフェース１９０３では左（Ｌｅｆｔ）画像、カラー表示（ＲＧＢ）が指定されるとともに、グラフィックユーザーインターフェース１９０４では「Ｔｈｉｃｋｎｅｓｓ」表示（厚さ表示）が選択されている。そして、グラフィックユーザーインターフェース１９０４の中央および右側は、図９の状態では、Ｇ成分から得た深さからＢ成分から得た深さを減算する指定となっている。また、グラフィックユーザーインターフェース１９０３では、擬似カラーマップ表示も選択されている。これらの設定に基づき、眼底画像１９００の下部および右にグラフィック表示１９０１、および１９０２が行なわれている。

図９のステレオ撮影データは図８と同等で、ここでは図６の場合のようなフィルタリング処理を行なっていない状態でのＧ成分から得た深さからＢ成分から得た深さを減算することにより厚さの値を求めている。その結果、特にＹ方向のグラフィック表示１９０２で顕著であるが、計測された厚さ数値が負になっている。

また、図９ではグラフィックユーザーインターフェース１９０３では、擬似カラーマップ表示が選択されている。この擬似カラーマップ表示は、画面全体に渡り、眼底画像１９００に重畳する半透明表示などにより、たとえば厚みの数値（図８で擬似カラーマップ表示を選択した場合は深さの数値）の大小に応じて異なる色分け表示を行なうものである。この場合、擬似カラーマップは、厚み（あるいは深さ）の数値が大きくなるほど濃度（彩度）が大きくなるような色配置で構成される。

このような擬似カラーマップ表示によって、符号１９１０、１９１１でその一部を示すような部位、特にグラフィック表示１９０２で極端に厚みの数値が小さかったり（たとえば負になっている）、大きかったりするような領域において擬似カラーマップ表示の端部に相当するような濃度（彩度）が表示されるため、検者はひと目でこのような異常（被検眼の網膜組織の異常、または測定異常）を認識することができる。

なお、図８および図９ではフィルタリング処理なしの表示結果を示したが、他のユーザーインターフェースを設けておき、フィルタリング処理を介して得た深さデータ、および厚さデータを図８および図９に示したユーザーインターフェースを用いて表示できるのはもちろんである。その場合、深さデータの表示は図７に示したように各色成分の画像から得られた深さデータはほぼ対応する網膜組織の層の深さにほぼ対応するカーブとして表示される。

以下、図２に示したものと異なる画像処理手順につき異なる実施例を示す。

本実施例では、Ｇ成分は網膜色素上皮からの情報を多く含む反射光、Ｂ成分は網膜表面からの情報を多く含む反射光として取り扱うものとし、これらの波長成分の画像からそれぞれ得た深さ情報の差として網膜表面〜網膜色素上皮の間の厚さ情報を得る場合に好適な画像処理例につき示す。ハードウェア構成など、以下では明示的に説明しない構成については、本実施例でも実施例１と同等の構成が用いられるものとする。

図３（ｂ）は、本実施例における画像処理を説明するもので、横軸に波長を、縦軸にカメラ１０１の撮像素子で得られる画像信号の強度（輝度）をとって示したグラフである。図３（ｂ）の破線は、一般にカメラ１０１の撮像素子で得られる画像信号の強度（輝度）を示したもので、このようにＣＭＯＳやＣＣＤなどの撮像素子の波長に関する感度分布に起因し、緑色（Ｇ）成分画像データにおいて、赤色（Ｒ）成分画像データや青色（Ｂ）成分画像データよりも大きな輝度分布が得られる。

網膜の表面に近い組織の画像情報を大きく反映していると考えられる青色（Ｂ）成分画像データは、表面反射などによりノイズの影響を受けやすいから、できるだけ大きな強度（輝度）で画像信号を得られるほうがそのようなノイズの影響を小さくできると考えられる。たとえば、実線のように青色（Ｂ）成分が他の成分に対して光量が強くなっている照明光量の強度（輝度）分布で画像信号を得られれば、表面反射などによりノイズの影響を低減した上で眼底組織の深さおよび厚み情報を正確に得られるものと考えられる。

そこで、本実施例では、ステレオ眼底画像撮影を通常の照明強度、および強い照明強度で２度行ない（下記のステップＳ２００、Ｓ２０１）、特定の波長成分の画像、特に青色（Ｂ）成分に関しては強い照明強度で得た画像を用い、他の波長成分の画像については通常の照明強度で得た画像を用いる。これにより、実質的に図３（ｂ）の実線で得られるような強度（輝度）分布の画像信号を用いた時と同じような効果を得ることができる。

図３（ａ）は、実施例１とは異なる画像処理手順の一例を示したものである。図３（ａ）は、実施例１の図２と同等の形式で本実施例の画像処理手順を示したものである。画像処理装置１００の処理主体として画像処理を実施するためのＣＰＵ１０２のプログラムはＲＯＭ１０３かＨＤＤ１０５に格納しておくものとする。

図３（ａ）のステップＳ２００、Ｓ２０１では、ステレオ眼底画像撮影を通常の照明強度、および強い照明強度でそれぞれ行なう。ステップＳ２０２、Ｓ２０３、Ｓ２０４、Ｓ２０５は、それぞれ図２のステップＳ１０１、Ｓ１０２、Ｓ１０３、Ｓ１０４とそれぞれ同等のステレオ眼底画像色分解処理、フィルタリング処理、深さ情報計測処理、厚さ情報計測処理である。このうち、フィルタリング処理（Ｓ２０３）は、上述の実施例１と同様に特定の設定操作により無効化できるようにしておくことができ、また、上述の実施例１と同様に色（Ｒ）成分画像データの深さ情報の誤差の影響を低減するために空間周波数の中域の除去ないし抑圧を行なうようにできる。

ステップＳ２０４の深さ情報計測処理は、赤色（Ｒ）成分画像データ、緑色（Ｇ）成分画像データ、青色（Ｂ）成分画像データのそれぞれについて行なうが、本実施例では少なくとも青色（Ｂ）成分画像データに基づく深さ情報計測処理では、強い照明強度（ステップＳ２０１）で得た青色（Ｂ）成分画像データを用いて深さ情報計測処理を行なうものとし、その他の色（Ｂ、Ｒ）成分画像データに基づく深さ情報計測処理では、通常の照明強度（ステップＳ２００）で得た色（Ｂ、Ｒ）成分画像データを用いて深さ情報計測処理を行なうものとする（もちろん、特定の測定目的で用いることができるように、各色成分に関して通常の照明強度（ステップＳ２００）で得た色成分画像データと、強い照明強度（ステップＳ２０１）で得た色成分画像データのそれぞれについて深さ情報計測処理を行なっておいてもよい）。

そして、本実施例では特にステップＳ２０５の厚さ情報計測処理において、通常照明強度（ステップＳ２００）で得た緑色（Ｇ）成分画像データ強い照明強度（ステップＳ２０１）で得た青色（Ｂ）成分画像データを用い、両者の差を求め、網膜表面〜網膜色素上皮の間の厚さ情報を得る。

このような処理を行なうことにより、実質的に図３（ｂ）に示したような強度分布の画像信号を用いたのと同等の効果を得ることができ、表面反射などによりノイズの影響を低減した上で、眼底組織の深さおよび厚み情報を正確に得ることができる。

図５〜図９に示したような眼底画像に含まれる血管像、特に太い血管像は時に深さ計測を妨害し、誤差を生じる可能性がある。本実施例では、このような問題を回避するためにステレオ撮影された眼底画像から血管像を除去した上、ステレオ眼底画像色分解処理、フィルタリング処理、深さ情報計測処理、厚さ情報計測処理を行なう。すなわち、本実施例では、深さ情報計測処理および厚さ情報計測処理に血管画像を除去する処理を前処理として行なったステレオ画像を用いる。本実施例でもハードウェア構成など、以下では明示的に説明しない構成については、実施例１と同等の構成が用いられるものとする。

図４は、上述の図２、図３と同等の形式で本実施例の画像処理手順を示したものである。画像処理装置１００の処理主体として画像処理を実施するためのＣＰＵ１０２のプログラムはＲＯＭ１０３かＨＤＤ１０５に格納しておくものとする。

図４のステップＳ３００では、実施例１同様（図２のステップＳ１０１）にステレオ眼底画像撮影を行なう。

ステップＳ３０１では、モルフォロージ（ｍｏｒｐｈｏｌｏｇｙ）処理などを用いて、ステレオ撮影された眼底画像から血管像（好ましくは特に太い血管像）を除去する。

その後のステップＳ３０２、Ｓ３０３、Ｓ３０４、Ｓ３０５は、それぞれ図２のステップＳ１０１、Ｓ１０２、Ｓ１０３、Ｓ１０４とそれぞれ同等のステレオ眼底画像色分解処理、フィルタリング処理、深さ情報計測処理、厚さ情報計測処理である。これらの処理への入力にはステップＳ３０１で血管像を除去したステレオ眼底画像を用いる。なお、このうち、フィルタリング処理（Ｓ３０３）は、上述の実施例１と同様に特定の設定操作により無効化できるようにしておくことができ、また、上述の実施例１と同様に色（Ｒ）成分画像データの深さ情報の誤差の影響を低減するために空間周波数の高域あるいは低域の除去ないし抑圧を行なうようにできる。

ステップＳ３０５の厚さ情報計測処理においては、上述の実施例１および２同様に赤色（Ｒ）成分画像データ、緑色（Ｇ）成分画像データ、青色（Ｂ）成分画像データのうち任意の波長成分の画像データから得た深さ情報を選び、減算処理を行なうことにより網膜組織の厚さを計測し、出力することができる。

以上のように、本実施例によれば、ステレオ撮影された眼底画像から血管像を除去した上、ステレオ眼底画像色分解処理、フィルタリング処理、深さ情報計測処理、厚さ情報計測処理を行なうことにより、眼底画像に含まれる血管像によって、深さ計測、ひいてはそれに基づいて行なわれる厚さ計測処理に生じうる誤差を低減することができる。

なお、上記の実施例では課題を解決するための最小の構成例を示したが、前処理として色分解した画像に対し、色収差を補正する処理を追加しても良い。

本発明は、被検眼の眼底画像を表示出力する画像処理を行なう眼底カメラや眼科測定装置、ファイリング装置などの画像処理装置において実施することができる。

１００ 画像処理装置
１０１ カメラ
１０２ ＣＰＵ
１０３ ＲＯＭ
１０５ ＨＤＤ
１０６ ネットワーク
１０７ ディスプレイ
４０２、４０１、１６００、１８００、１９００ 眼底画像
１６０１ プロファイルライン
１９０３、１９０４ グラフィックユーザーインターフェース

Claims (8)

1. 被検眼眼底を眼底撮影光学系を介して所定の視差でステレオ撮影し、得られた左右の視差画像を用いて被検眼眼底の３次元形状測定処理を行う画像処理方法において、
   撮影したステレオ眼底画像を色分解し、
   色分解して得られた異なる波長成分のステレオ眼底画像に対してそれぞれ特定の眼底部位の深さ情報を求める深さ情報計測処理を行ない、
   前記深さ情報計測処理で異なる波長成分のステレオ眼底画像からそれぞれ得られた深さ情報の差を特定の眼底組織の厚さ情報として求める厚さ情報計測処理を行なうことを特徴とする画像処理方法。
2. 請求項１に記載の画像処理方法において、前記色分解した異なる波長成分の画像のいずれか少なくとも１つについて、空間周波数に関するフィルタリングの処理を行なうことを特徴とする画像処理方法。
3. 請求項１に記載の画像処理方法において、前記色分解は赤色（Ｒ）成分画像データ、緑色（Ｇ）成分画像データ、青色（Ｂ）成分画像データを得るように行ない、そのうち赤色（Ｒ）成分画像データに対して空間周波数に関するフィルタリングの処理を行ない、前記深さ情報計測処理および厚さ情報計測処理において赤色（Ｒ）成分画像データを用いる場合は赤色（Ｒ）成分画像データの高周波成分、および赤色（Ｒ）成分画像データの低周波成分を用いることを特徴とする画像処理方法。
4. 請求項１に記載の画像処理方法において、前記深さ情報計測処理および厚さ情報計測処理において、赤色（Ｒ）成分は網膜の比較的深部、たとえば脈絡膜からの情報と、網膜表面からの情報を含む反射光、緑色（Ｇ）成分は網膜色素上皮からの情報を多く含む反射光、青色（Ｂ）成分は網膜表面からの情報を多く含む反射光として取り扱うことを特徴とする画像処理方法。
5. 請求項１に記載の画像処理方法において、異なる照明光量によって複数回前記ステレオ撮影を行ない、前記深さ情報計測処理および厚さ情報計測処理において、前記色分解した異なる波長成分の画像のいずれか少なくとも１つについて、他の波長成分の画像とは異なる照明光量によって撮影された画像を用いることを特徴とする画像処理方法。
6. 請求項５に記載の画像処理方法において、前記青色（Ｂ）成分の画像として他の色成分の画像よりも強い照明光量によって撮影された画像を用いることにより、照明光量の波長分布において青色（Ｂ）成分が他の成分に対して光量が強くなるようにしたことを特徴とする画像処理方法。
7. 請求項１に記載の画像処理方法において、前記深さ情報計測処理および厚さ情報計測処理に血管画像を除去する処理を前処理として行なったステレオ画像を用いることを特徴とする画像処理方法。
8. 請求項１〜７に記載の画像処理方法を実施するための眼底撮影光学系、および画像処理手段を含むことを特徴とする画像処理装置。

Images