JP2009213519A - 画像処理方法および画像処理装置 - Google Patents

Abstract

【課題】ステレオ撮影した眼底画像のステレオ表示において、緑内障診断などに役立つ立体表示のマーキングをステレオ眼底画像に合成し、立体表示された眼底の特定部位にマーキングが存在するように検者に知覚させることができるようにする。
【解決手段】左右の眼底視差画像において、それぞれ被検眼眼底の同一の部位が撮影された対応点ペアの座標を抽出しマトリックスデータとしてメモリに格納し、操作者が左右の視差画像のいずれか１つの画像上において行ったマーキング操作（Ｓ５１）により指定された部位の座標に相当する他方の画像における対応点の座標をマトリックスデータから検索し（Ｓ５２）、左右の視差画像のそれぞれにおいて、指定された部位の座標、および検索した該部位の座標に相当する他方の画像における対応点の座標にマーキング画像を合成し（Ｓ５３）、それぞれマーキング画像を合成し、立体表示する。
【選択図】図５

Description

本発明は、画像処理方法および画像処理装置、特に被検眼眼底を眼底撮影光学系を介して所定の視差でステレオ撮影し、得られた左右の視差画像をステレオ表示する画像処理方法および画像処理装置に関するものである。

従来より、緑内障の診断などの目的で、被検眼眼底の形状を把握するため、被検眼眼底の立体画像を撮影する眼底カメラなどの画像処理装置が知られている。たとえば、眼底カメラの単一の光学系内の絞りを光軸から左右（あるいは上下）に偏心した異なる位置に移動させ、それぞれの絞り位置で撮影を行うことにより被検眼眼底をステレオ撮影する装置が知られている（下記の特許文献１）。

眼底を３次元測定する画像処理は、次のように行うことができる。たとえば、ステレオ撮影された左右（あるいは上下）の画像のパターンマッチングを行い、対応する像点、すなわち対応点を探索する。対応点が探索できれば、３角測量の原理を用いて対応点に共役な物点のｘｙ軸（画像平面に平行な直交２軸）、およびｚ軸（光軸に平行な１軸）に沿う各座標を計算することができる。そして、充分な数の物点の３次元座標値を求めれば、被検眼眼底の３次元モデルを作成することができる。

また、撮影した左右の視差画像を、各種方式による３Ｄモニタなどを用いて３次元表示（３Ｄ表示）する、すなわち、撮影した左右の視差画像をそれぞれ独立して観察者（検者）の左右両眼にそれぞれ観察させることにより、撮影した被検眼眼底の状態を立体視で観察させることができる。
特開平１０−７５９３２号公報 特開平１１−３９１３５号公報

緑内障の診断においては、被検眼眼底の視神経乳頭の陥凹の輪郭の形状が問題となる場合があり、上述のようなステレオ眼底カメラはこのような診断にも役立つ。例えば、ステレオ撮影した眼底画像を（３Ｄモニターにて）両眼立体視して眼底読影しながら、例えば視神経乳頭の陥凹の輪郭、特に、陥凹の外縁部において、眼底の他の部分から低くなり始める部分の等高線に沿う点をマウスやタッチパッドのようなポインティングデバイスを用いていくつか手動で指定し、最終的に陥凹の輪郭をトレースし、その形状を判断することにより緑内障に関する診断を行う。

この被検眼眼底の視神経乳頭の陥凹の輪郭を手動でマーキングする手法では、例えばポインティングデバイスなどにより指定された眼底画像面にマーキングとなる点または線の画像を合成し、ステレオ表示装置（ステレオ表示方式は任意）で表示することにより、検者に立体像として視認させる。

図１０は、従来のステレオ眼底カメラで撮影した眼底画像をステレオ表示装置で表示する様子を示している。図１０において、符号ａ’、ｂ’は、ステレオ撮影された右、左の眼底画像（以下ではそれぞれＲ画像、Ｌ画像などとも記す）で、同図はこの眼底画像ａ’、ｂ’を不図示のステレオ表示装置（ステレオ表示方式は任意）を用いて検者の瞳（右瞳、左瞳）Ｐａ、Ｐｂで観察させる時の様子を示している。ここでは、便宜上、眼底画像ａ’、ｂ’の表示位置を物点側に移して表示してある。

右、左の眼底画像ａ’、ｂ’には、ステレオ撮影された眼底像が記録されており、その結果、眼底像はステレオ表示装置による表示を介して検者には符号Ｓで示すように知覚される。この時、上述のようにして被検眼眼底Ｓ上の点Ｓ１に検者が着目したとして、ポインティングデバイスにより点Ｓ１をマーキングしたとする。このマーキング位置は、従来では、たとえばポインティングデバイスで移動可能な画面上のカーソルの位置などとして入力される。

こうして入力された画面上のカーソルの位置は、右、左の眼底画像のいずれか、例えばＲ画像ａ’上の座標（ｘ．ｙ）に変換され、その対応する位置にマーキングＣを表示することができる。

このように、右、左の眼底画像のいずれかにしかマーキングＣを表示しない場合には、マーキング点はステレオ画像ではないため、検者には立体的に知覚されず、立体的に見えている眼底像Ｓの凹凸に沿ってマーキング点が配置されたように見えない。このため立体視した眼底面（Ｓ）と、マーキング点Ｃとの間には奥行き方向に差ｅが出てしまい違和感があり、つまり、表示では、単にカーソル（Ｃ）が手前に見え、その奥に眼底像Ｓがあるようにしか知覚されないため、立体表示で凹凸を把握しながら意図した映像部分、たとえば視神経乳頭の陥凹の輪郭を指定するような操作はほとんど不可能である。このようなステレオ表示では、誤った箇所を乳頭陥凹の輪郭と指定する恐れもあり正確な診断の妨げになる可能性がある。

なお、ステレオ表示技術では、カーソルを立体表示するような技術も考えられている（上記の特許文献２）。この特許文献２の技術は、２Ｄ表示領域、および３Ｄ（ステレオ）表示領域を有するディスプレイにおいて、３Ｄ表示領域では、Ｒ画像およびＬ画像に右眼用カーソル、および左眼用カーソルを表示することにより、３Ｄ表示領域でカーソルが立体的に知覚されるようにしたものである。

特許文献２におけるように右眼用カーソル、および左眼用カーソルを表示することによって検者にカーソルが立体的に知覚されることは当然であるが、特許文献２においては、３Ｄ表示領域で表示されている対象とどのような位置関係にある３Ｄ空間にカーソルを置くかは全く考えられていない。上記のような診断目的を有するステレオ眼底カメラ／表示装置では、３Ｄ表示領域で表示されている対象と特定の関係にある位置、特に、その対象の所定の部位にマーキングを施す必要があるが、単に３Ｄ空間内の特定の位置にカーソルを立体表示するだけの特許文献２の技術では、３Ｄ表示領域で表示されている対象物にマーキングを行なうことは不可能である。

本発明の課題は、上記の問題に鑑み、ステレオ撮影した眼底画像のステレオ表示において、緑内障診断などに役立つ立体表示のマーキングをステレオ眼底画像に合成し、立体表示された眼底の特定部位に該マーキングが存在するように検者に知覚させることができるようにすることにある。

上記課題を解決するため、本発明においては、被検眼眼底を眼底撮影光学系を介して所定の視差でステレオ撮影し、得られた左右の視差画像をステレオ表示する画像処理方法、および画像処理装置において、前記左右の視差画像において、それぞれ被検眼眼底の同一の部位が撮影された対応点ペアの座標を抽出しマトリックスデータとして記憶し、操作者に前記左右の視差画像のいずれか１つの画像上においてマーキング操作を行わせ、該マーキング操作により指定された部位の座標に相当する他方の画像における対応点の座標を前記マトリックスデータから検索し、前記左右の視差画像のいずれか１つの画像、および他方の画像のそれぞれにおいて、指定された部位の座標、および検索した該部位の座標に相当する他方の画像における対応点の座標にマーキング画像を合成し、それぞれマーキング画像を合成した前記左右の視差画像のいずれか１つの画像、および他方の画像を所定のステレオ表示方式によるステレオ表示手段を介して表示する構成を採用した。

以上の構成によれば、ステレオ撮影し、ステレオ表示している眼底の所定部位に対してマーキング操作を行なうことができ、当該所定部位のその深さに対応する位置に検者が知覚できるようにマーキング画像を立体表示することができ、このマーキングを用いて被検眼の眼底の陥凹部（あるいは他の眼底面）の部分に対する診断を的確に行うことができる、という優れた効果がある。

以下、本発明を実施するための最良の形態の一例として、被検眼眼底をステレオ撮影光学系を介してステレオ撮影し、得られた撮影画像データに対して３次元測定処理、および３次元表示を行う眼科測定装置に関する実施例につき説明する。

＜眼科測定装置の構成＞
図１において、一点鎖線で囲まれて図示された眼底カメラ１０には、赤外光の照明光を発光する観察ランプ１１が球面ミラー１２の曲率中心に配置され、観察ランプ１１並びに球面ミラー１２からの光は、コンデンサーレンズ１４、撮影用光源である可視光のストロボ１５、コンデンサーレンズ１６を経て、全反射ミラー１７に入射する。

全反射ミラー１７で反射した照明光は、照明絞り１９を経てリレーレンズ２２を通過し、穴あき全反射ミラー２３で反射され、対物レンズ２４を経て被検眼Ｅの前眼部（瞳）Ｅｐに入射する。照明絞り１９は、照明光学系内に被検眼の前眼部Ｅｐ（瞳）とほぼ共役な位置に配置される。

照明光で照明された眼底Ｅｒからの反射光は、対物レンズ２４、穴あき全反射ミラー２３の開口２３ａ、２開口撮影絞り（２孔絞り）２８の開口、合焦レンズ３５、結像レンズ３６、変倍レンズ３８ａを通過してリターンミラー３９に入射する。リターンミラー３９が図示の位置では、眼底からの反射光が眼底とほぼ共役な位置にあり赤外光に感度を有するＣＣＤ（撮像手段）４０に入射し、眼底がＣＣＤ４０により撮像され、またリターンミラー３９が光路から離脱すると、眼底からの反射光が眼底とほぼ共役な位置にあり可視光に感度を有するＣＣＤ（撮像手段）４１に入射し、眼底がＣＣＤ４１により撮影される。

撮影絞り２８には、図２（ａ）、（ｂ）に示すように、矩形の２つの開口２８ａ、２８ｂが設けられている。撮影絞り２８は、その開口２８ａ、２８ｂが光軸２６に対して偏心し、かつ左右対称となるように、またそれぞれ被検眼前眼部（瞳）とほぼ共役な位置となるように配置される。

また、開口２８ａ、２８ｂの位置とその大きさは、穴あき全反射ミラー２３の開口２３ａが、開口２８ａ、２８ｂの全体を含むように設定される。

撮影絞り２８の開口２８ａ、２８ｂは、それぞれガイド２８ｃ、２８ｄに沿って移動されるシャッタ板２９、３０により開放されるか、あるいは閉じられる。

この開閉のためにロータリーソレノイド３１、３２から構成される切替手段が設けられ、ロータリーソレノイド３１、３２が通電されない状態では、シャッタ板２９、３０は、図２（ａ）の位置にあり、開口２８ａ、２８ｂはそれぞれ開放される。

一方、ロータリーソレノイド３１、３２が通電されると、ロータリーソレノイド３１、３２のロッド３１ａ、３２ａが回動し、ロッド３１ａ、３２ａの他端がシャッタ板２９、３０に設けられたピン２９ａ、３０ａと係合していることによりシャッタ板２９、３０がそれぞれ内側に移動して開口２８ａ、２８ｂが閉じられる。

なお、図２（ａ）、（ｂ）の符号３３は、ワーキングディスタンス用の指標（ＷＤ指標）を形成するための光ファイバーである。

上記構成において、ＣＣＤ４０が撮像した眼底像は、ＣＰＵなどで構成される制御演算部６０に入力され、その画像がモニタ６２に動画像として表示される。検者（操作者）は、モニタ６２に表示される画像を見て、後述するようにアライメントやフォーカス調整などの操作を行うことができる。また、立体視専用ディスプレイとしてステレオモニタ６３が設けられ、検者は、このステレオモニタ６３を介して左右の画像を観察することにより眼底像を立体視することができる。

ステレオモニタ６３の表示方式には、偏光方向や表示色を左右のステレオ画像で異ならせる、左右の視野を分離する観察スコープを介して左右のステレオ画像を独立して観察させる、といった種々の方式があるが、本実施例のステレオモニタ６３の表示方式は任意であり、左右の視差画像をそれぞれ独立して検者の左右の眼で観察させることができるように構成されたものであれば任意のステレオ表示方式を用いることができる。

また、ＣＣＤ４１により、シャッタスイッチ６６を操作したときストロボ１５で照明された眼底を静止画として撮影することができる。この眼底像は一旦高速なメモリ６１に格納され、制御演算部６０を介して外部記録装置としての低速なハードディスク（ＨＤＤ）６４で実現される記録手段に記録されたり、あるいはモニタ６２、ステレオモニタ６３に表示される。

また、キーボード６７、マウス６８などの入力手段が設けられ、これらの入力手段を介して、種々のデータが入力できるようになっている。

また、眼底カメラには、ＣＰＵなどからなる制御部６５が設けられ、この制御部６５は、制御演算部６０と接続されて互いに信号を交換するとともに、シャッタスイッチ６６が操作されたときに、リターンミラー３９を光路から離脱させるとともに、ストロボ１５を適量な光量で発光させる。また、制御部６５は、変倍レンズ３８ａなどの光路への挿脱を制御し、上述のロータリーソレノイド３１、３２の駆動を制御する。

また、眼底カメラには、操作部（操作パネル）６９が設けられ、この操作部６９で、撮影モードを選択できる。更に、撮影する被検眼が左眼か右眼かを検知する左右眼検知部７０が設けられ、この左右眼検知部７０で検知された左眼か右眼かの情報が制御部６５に入力される。

ここで、上記構成における被検眼眼底のステレオ撮影の概略につき説明する。

最初、観察時には、観察ランプ１１が点灯され、照明絞り１９が光路に挿入される。ロータリーソレノイド３１、３２は図２（ａ）に示した位置に駆動され、それにより撮影絞り２８の２つの開口２８ａ、２８ｂは開放した位置をとる。照明絞り１９を介して赤外光で照射された被検眼眼底からの反射光は、撮影絞り２８の開口２８ａ、２８ｂを介して観察用のＣＣＤ４０に受像され、眼底像がモニタ６２に表示される。

この状態で、被検眼とのアライメント、ピント合せが行われるが、このとき、不図示の視標投影系などにより検者のアライメント、ピント合せ操作が支援される。

アライメント、ピント合せが完了したら、検者はシャッタスイッチ６６を押下する。この操作に応じて制御部６５は、ロータリーソレノイド３１を駆動してシャッタ板２９を右方に移動させ、撮影絞り２８の左側の開口２８ａを閉じる。シャッタスイッチ６６の操作と同期してストロボ１５が発光し、リターンミラー３９が光路から離脱するので、ストロボで照明された眼底からの光束は、撮影絞り２８の開放している開口２８ｂを通過してＣＣＤ４１の受像面に入射し、立体視用の１枚目の眼底画像がＣＣＤ４１により静止画像として撮像され、メモリ６１に格納される。

続いて、ロータリーソレノイド３１、３２を制御し、シャッタ板２９、３０を左方向に移動して、開口２８ａが開放し、開口２８ｂが閉じたとき、ストロボ１５を再度発光させる。このとき、開口２８ａを通過した立体視用の２枚目の眼底画像がＣＣＤ４１により静止画像として撮像されて、メモリ６１に格納される。

このようにして、１回のシャッタ操作で連続して左右２つの視点から撮影、すなわち、ステレオ撮影された２枚の視差画像は、開放している撮影絞りの開口の位置ないし左位置、右位置などの情報（少なくとも左右の視差画像のいずれかであるかを示す情報）を付して、メモリ６１からＨＤＤ６４に保存される。

＜本実施例の画像処理＞
上記構成において行う本実施例の画像処理について、図３、図６および図７を参照して説明する。

図３において符号３０１、３０２は、それぞれ上記のようにしてＣＣＤ４１により撮影したＲ画像およびＬ画像（右および左の視差画像）である。Ｒ画像３０１およびＬ画像３０２には、図示のように被検眼眼底、眼底血管が撮影されており、特に中央の網かけにより示した部分は視神経乳頭の陥凹部Ｓを示している。

図３において、眼底面および陥凹部Ｓは図示の都合上、簡略化して示されているが、実際には眼底面および陥凹部Ｓの部分には微細な凹凸やそれに伴なう濃度差などが左右の視差をもって記録されており、Ｒ画像３０１およびＬ画像３０２をステレオモニタ６３で表示した画像を検者が視認した場合、検者は眼底面および陥凹部Ｓの形状を立体的に視認することができる。

特に陥凹部Ｓにおいては、検者は特定の深さを有する縁部の部位をマーキングすることができる。従来では、このマーキングは図１０で説明したように右なら右の画像のみに対して行なっていたが、本実施例では、マウス６８などを用いたマーキング操作に基づき移動でき、また、特定の被検眼内の特定の３次元位置に対応した立体表示位置に設定可能なマーキングを用いることができるようにする。

なお、特許文献２におけるような従来技術では、単に適当な３次元表示位置にカーソルを表示することが示されているだけで、このように表示されている対象物の所定部位、特に本実施例で説明するように眼底の所定部位に対応する位置にマーキングを表示する技術については、何ら開示、示唆されていない。

図３において、符号Ｒ１’〜Ｒ５’、符号Ｌ１’〜Ｌ５’は、特定の深さを有する縁部の部位をマウス６８などを用いて検者が指示することによりＲ画像３０１およびＬ画像３０２上に生成したマーキングを示している。マーキングＲ１’〜Ｒ５’はそれぞれ同一のサフィックスにより示されたマーキングＬ１’〜Ｌ５’に対応する。

これらマーキングは、例えば、ステレオモニタ６３のＬ、Ｒのいずれかの画像の表示を停止させ、残るＲ、Ｌのいずれかの画像のみを表示させて、マウス６８、あるいはさらにキーボード６７の操作により、残るＲ、Ｌのいずれかの画像の上で表示したマーキングＲ’（Ｌ’）を移動させ、停止させるようにする。

マーキングＲ１’〜Ｒ５’…（Ｌ１’〜Ｌ５’…）の位置が決まれば、各々対応するマーキングＬ１’〜Ｌ５’…（Ｒ１’〜Ｒ５’…）位置は、検者がマーキングＲ１’〜Ｒ５’…（Ｌ１’〜Ｌ５’…）で眼底の陥凹部Ｓ（あるいは他の部位でも同様）の面上にある特定位置を指定した、と考えれば、陥凹部Ｓの形状から計算できる。

図６は、眼底の陥凹部Ｓ（あるいは他の部位でも同様）と、上記のようにしてＣＣＤ４１により撮影したＲ画像ａおよびＬ画像ｂと、撮影絞り２８の開口２８ａ、２８ｂに相当する右瞳Ｐａ、左瞳Ｐｂの位置関係を示している。図６は、図１０同様に眼底画像ａ、ｂの表示位置を物点側に移して表示してある。たとえば、右（左）画像上の特定位置Ｒ１〜Ｒ３…（Ｌ１〜Ｌ３…）の位置が決まれば、図示のように右瞳Ｐａ、左瞳Ｐｂとの位置関係から左（右）画像上の特定位置Ｌ１〜Ｌ３…（Ｒ１〜Ｒ３…）の位置は自ずと決定することができることがわかる。なお、この特定位置Ｒ１〜Ｒ３…（Ｌ１〜Ｌ３…）から、特定位置Ｌ１〜Ｌ３…（Ｒ１〜Ｒ３…）を求める処理は、後述のようにして、左右の画像データの相関関係からあらかじめ左右の各画素の対応関係をテーブル化しておくことにより可能となる。

そして、これらの特定位置Ｌ１〜Ｌ３…、Ｒ１〜Ｒ３…にそれぞれマーキングの画像（所定径のドットなどの画像）を表示すれば、そのマーキングの画像は立体表示においては、ステレオモニタ６３を介して検者により眼底の陥凹部（あるいは他の眼底面）の面上と同じ深さに存在するように知覚されることになる。

ステレオモニタ６３におけるステレオ表示におけるマーキングの立体表示の様子は図７のようになる。

ステレオモニタ６３の立体表示方式は前述のように任意であるが、ステレオモニタ６３の立体表示は、右瞳Ｐａ、左瞳Ｐｂ（この場合、これらは検者の右瞳および左瞳に相当する）を通して検者にステレオモニタ６３の立体表示機構（不図示）を介して撮影されたＲ画像ａ’およびＬ画像ｂ’を視認させ、これにより検者に符号Ｓのように眼底の陥凹部（あるいは他の眼底部位）を知覚させることに他ならない。

そこで、Ｒ画像ａ’およびＬ画像ｂ’上にマーキングＲ１’およびＬ１’を表示すれば、これにより検者には、これらマーキングＲ１’およびＬ１’は眼底の陥凹部Ｓ（あるいは他の眼底部位）の面上の深さ（Ｚ座標）にあるマーキングＣ１として知覚される。

図４および図５は、本実施例の画像処理手順を示している。図４および図５の処理手順は制御部６５のＣＰＵが実行するプログラムなどとして、たとえばＨＤＤ６４や不図示のＲＯＭなどに格納しておく。

図４は、被検眼の眼底をステレオ撮影した後、マーキング操作を行う前の準備段階で必要な画像処理を示している。ステップＳ４１では、前述のようにして、ＣＣＤ４１によりステレオ画像（左右の視差画像：図６のＲ画像ａ、およびＬ画像ｂ）を撮影する。

ステップＳ４２では、２枚のペアになったステレオ画像（左右の視差画像：図６のＲ画像ａ、およびＬ画像ｂ）の位置ずれを補正する。また、必要なら光学系の歪みを補正するなどの目的でアフィン変換などの変形処理を行ってもよい。

ステップＳ４３では、２枚のステレオ画像（左右の視差画像：図６のＲ画像ａ、およびＬ画像ｂ）の対応点を各画素ごとに算出する。この対応点の算出については、後に図８および図９を用いて詳細に説明する。ここでいう対応点とは、例えば図６におけるＬ１とＲ１、Ｌ２とＲ２…の各組のことで、Ｒ（Ｌ）画像ａ（ｂ）の各画素ごとに、Ｌ（Ｒ）画像ｂ（ａ）上で同定する。この対応点算出は、図８および図９で後述するように画像データの相関をとることにより行なう。この処理は、一方の画像における特定の部位を撮影した画素と対応する画素を、もう一方の画像において同定することに他ならない。

ステップＳ４４では、ステップＳ４３で求めた左右の画像上における対応点のペアをマトリックスデータとしてメモリ（ＨＤＤ６４や不図示のＲＡＭなど）に保存する。このマトリックスデータは、たとえば、ＲまたはＬの一方の画像の画素の座標データを入力すると、他方の画像の対応画素の座標データを出力できるようなテーブルデータとして構成する。

図５は、上記のようなマトリックスデータ（対応点抽出データ）を生成した後、検者のマウス６８（あるいはさらにキーボード６７）を用いたマーキング操作に応じて行なうマーキング画像処理の流れを示している。

ステップＳ５１では、ステレオモニタ６３においてＲまたはＬ画像の一方のみを表示（あるいはステレオモニタ６３の両眼用のいずれのモニタにも同じＲまたはＬ画像を表示）し、検者にマウス６８（あるいはさらにキーボード６７）を用いたマーキング操作を行わせる。

なお、ＲまたはＬ画像の一方のみを表示（あるいはステレオモニタ６３の両眼用のいずれのモニタにも同じＲまたはＬ画像を表示）するのは、あるマーキングを最初に設定する際にのみ行えばよい。一旦、一つのマーキング表示を置いた後は、上記のマトリックスデータを用いて、そのマーキング表示をマウス６８で操作することにより、眼底形状に沿う立体表示位置に追従させることができる。

以下では、マーキング操作はＲ画像に対して行なうものとするが、例えば検者が図６のＲ１に対応するＲ画像（図７のＲ画像ａ’）上の位置（Ｒ１’）をマウス６８でクリックしたものとする。

ステップＳ５２では、このクリックにより指定されたＲ画像（図７のＲ画像ａ’）上の位置（Ｒ１’）に対応する位置（Ｌ１’）を図４のステップＳ４４で保存したマトリックスデータ（対応点抽出データ）を用いて検索し、その座標を読み出す。

ステップＳ５３では、Ｒ画像ａ'およびＬ画像ｂ’上の各位置Ｒ１’およびＬ１’に、マーキング画像を合成し、ステレオモニタ６３においてそれぞれ表示する。これにより、図７において示したように、表示したマーキングＲ１’およびＬ１’は、眼底の陥凹部Ｓ（あるいは他の部位）の面上の深さ（Ｚ座標）にあるマーキングＣ１として知覚される。

なお、以上のようにして、一旦、一つのマーキング表示を置いた後は、上記のマトリックスデータを用いて、そのマーキング表示を例えばマウス６８で操作することにより、眼底形状に沿う立体表示位置に追従させることができる。

図４のステップＳ４３で行う対応点の抽出処理は次のようにして行う。図８（ａ）〜（ｄ）は、この対応点の抽出処理の一例を示したものである。

まず、例えばＬ画像中に視差量を求める注目点を中心とした１５×１５画素の関心領域を設定する（図８（ａ）、（ｂ））。そして、Ｌ画像の関心領域（１５×１５画素：図８（ｃ））と最も相関が高い領域をＲ画像（図８（ｄ））の中から探索する。

その際、画像全面から探索すると計算時間が掛かるので、探索する領域を２０×２０画素に制限する。すなわち、Ｌ画像の視差量を求める点を中心としてＲ画像中の２０×２０画素の範囲で探索を行う。

視差量を求める注目点はＬ画像中の全ての点とし、各点についてＲ画像中で最も相関が高くなる領域を探索するが、１画素ごとに探索を行うのではなく、たとえば４画素程度の間隔を開けて探索を行ってもよい。

そして、Ｌ画像中の関心領域に対して最も相関が高くなったＲ画像中の領域の中心点をＬ画像中の注目点に対応するＲ画像中の対応点として抽出する。

このようなＲ画像中の対応点の検出は、Ｌ画像中の全ての画素について実行し、求めた注目点および対応点のペアを、マトリックスデータとしてメモリに格納しておく。この場合、マトリックスデータは、Ｌ画像の注目点の画素アドレスから、Ｒ画像の対応点を読み出すテーブル、およびＲ画像の注目点の画素アドレスから、Ｌ画像の対応点を読み出すテーブルの２つを用意しておくようにしてもよい。このようなテーブル格納形態により、例えば、後述のように検者の効き眼に相当するＬまたはＲのいずれかの画像を用いてマーキング操作を行えるように選択可能とする構成に対応できる。

なお、上記の対応点抽出処理、および下記の視差量測定処理においてＬ画像（の画素）とＲ画像（の画素）は可換である。

また、Ｌ画像中の関心領域に対して最も相関が高くなったＲ画像中の領域の位置のずれを視差（視差画素数）として求めることができる。このようにして視差量は、各注目点ごとに1つ算出され、この視差量に基づき、眼底の特定部位の深さ（Ｚ座標）を求めることができる（後述の実施例２の図１１、ステップＳ１１５に対応）。

すなわち、上記の処理によって、特定の画素、ないし特定の部位の視差画素数、すなわち、特定の画素、ないし特定の部位がＬ、Ｒ画像で何画素ずれて撮影されているかを求めることができ、光学系の倍率（ないし撮影距離）の条件を記録しておけば、撮影画面上の特定の画素、ないし特定の部位の視差画素数は、網膜（眼底）上における実際の視差量に変換することができる。

特定の画素、ないし特定の部位の網膜（眼底）上における実際の視差量から、その特定の画素、ないし特定の部位の深さ（あるいは光軸に平行なｚ軸方向の座標値）は次のようにして求めることができる。

ここで、特定の撮影において、撮影距離、および、絞り２８ａ、２８ｂの位置で定まる視差角度が８度であるものとし、ある特定部位の眼底上における視差量が上記の演算により０．１ｍｍと算出された場合、図９に示すように三角測量の原理を用いてこの視差量から特定部位の深さ量（奥行き、ないしｚ軸方向の座標）Ｚｃは、
Ｚｃ＝（視差量／２）／ｔａｎ（視差角／２） （式１）
により、０．７１５ｍｍ（視差量０の部位：通常、光学系の光軸が通過する画像の中心からの相対量）と算出される。

なお、眼底カメラの場合、撮影距離は撮影前のアライメントにより、特定のワーキングディスタンスに調整されるため、絞り２８ａ、２８ｂの位置により定まる視差角度（上の例では８度）は一定であるものとして３次元測定処理を行うことができる。

このようにして求めた深さ量Ｚｃを上記のマトリクステーブルに関連づけて格納しておけば、たとえば検者が前述のようにしてマーキングを行なった時、そのマーキングが付された部位の深さ（Ｚ座標）を数値などにより表示することができる。もちろんこの数値表示も、マーキングと同じ深さに立体表示することができる。

以上に示したように、本実施例によれば、ステレオ表示している眼底の所定部位に対してマーキング操作を行なうことができ、当該所定部位のその深さに対応する位置に検者が知覚できるようにマーキング画像を立体表示することができ、このマーキングを用いて被検眼の眼底の陥凹部（あるいは他の部位）の部分に対する診断を的確に行うことができる、という優れた効果がある。

本実施例では、上記実施例において図９に示すような手法で算出したＺ座標（深さ量Ｚｃ：式１）を注目点／対応点のペアとともにマトリクステーブルに関連づけて格納し、このＺ座標を利用して行なうマーキング表示につき説明する。

図１１および図１２は、本実施例の画像処理手順を示している。図１１および図１２の処理手順は制御部６５のＣＰＵが実行するプログラムなどとして、たとえばＨＤＤ６４や不図示のＲＯＭなどに格納しておく。

図１１は、被検眼の眼底をステレオ撮影した後、マーキング操作を行う前の準備段階で必要な画像処理を示している。

図１１のステップＳ１１１〜Ｓ１１４は、図４のステップＳ４１〜Ｓ４３と同様であるが、本実施例では、ステップＳ１１５において、図９を用いて説明した深さ量Ｚｃ（式１）を算出し、求めた深さ量（Ｚ座標）Ｚｃは、上記実施例同様にＨＤＤ６４やＲＡＭなどの配置したマトリクステーブルに関連づけて格納しておく。この深さ量（Ｚ座標）Ｚｃは、上記実施例のように、たとえば検者が前述のようにしてマーキングを行なった時、そのマーキングが付された部位の深さ（Ｚ座標）を数値などにより表示することができる他、この深さ量（Ｚ座標）Ｚｃを用いて、図１３、図１４に示すようなマーキング表示を行うことができる。

なお、図１３は、図６同様にＣＣＤ４１により撮影したＲ画像ａおよびＬ画像ｂと、撮影絞り２８の開口２８ａ、２８ｂに相当する右瞳Ｐａ、左瞳Ｐｂの位置関係を示しているが、ここでも眼底画像ａ、ｂの表示位置を物点側に移して表示してある。

図１２は、本実施例において、図１１の処理によりマトリックスデータ（対応点抽出データ、およびＺ座標データ）を生成した後、検者のマウス６８（あるいはさらにキーボード６７）を用いたマーキング操作に応じて行なうマーキング画像処理の流れを示している。

図１２のステップＳ１２１、Ｓ１２２は図５のステップＳ５１、およびステップＳ５２にほぼ相当する。まず、ステップＳ１２１では、ステレオモニタ６３においてＲまたはＬ画像の一方のみを表示（あるいはステレオモニタ６３の両眼用のいずれのモニタにも同じＲまたはＬ画像を表示）し、検者にマウス６８（あるいはさらにキーボード６７）を用いたマーキング操作を行わせる。

以下では、マーキング操作はＲ画像に対して行なうものとするが、例えば検者がＲ画像（Ｒ画像ａ’）上の位置（Ｒ１）をマウス６８でクリックしたものとする。

ステップＳ１２２では、このクリックにより指定されたＲ画像上の位置Ｒ１に対応する位置Ｌ１を図１１のステップＳ１１４で保存したマトリックスデータ（対応点抽出データ）を用いて検索し、その座標を読み出す。

ステップＳ１２３では、図１１のステップＳ１１５で保存した、注目点／対応点に相当するＲ画像上の位置Ｒ１およびＬ画像上の位置Ｌ１に関連づけられた物点（図１３のＳ１）のＺ座標（図１３のＺ１）をＨＤＤ６４ないし他のメモリから読出す。

さらに、ステップＳ１２４においては、ＨＤＤ６４ないし他のメモリに全注目点／対応点に対して関連づけられて格納されているＺ座標を調べ、Ｒ画像上の位置Ｒ１およびＬ画像上の位置Ｌ１に関連づけられた物点（図１３のＳ１）のＺ座標Ｚ１よりも大きなＺ座標を有する（より深い位置にある）物点（注目点／対応点のペア）を検索する。この物点の検索は、図１３においては例えばＳ２のように、物点（図１３のＳ１）のＺ座標Ｚ１よりも深い（図１３の破線よりも図の上側）位置にある物点を検索する処理に相当する。

なお、ここでは説明を容易にするため「物点」という用語を用いたが、実際には、このＺ座標の大小判定により検索された物点は、上述の通り、マトリクステーブルに注目点／対応点のペアとして格納されており、下記のステップＳ１２５では、この検索された注目点／対応点のペア、すなわち、Ｒ画像およびＬ画像上におけるＸＹ座標データを用いてマーキング表示を制御する。

ステップＳ１２５では、ステレオモニタ６３で表示するＲ画像上（ａ’）およびＬ画像（ｂ’）の、ステップＳ１２４で特定された注目点／対応点のペアにより構成されるエリアの部分を特定の半透明色、例えば半透明色灰色で塗り潰すよう画像合成を行う。

図１４は図１２および図１３に示したマーキング処理により生成されたマーキング画像を含むＲ画像ａ’およびＬ画像ｂ’を示している。図１４では、検者がマーキング操作により指定した対応点ペアＲ１、Ｌ１に相当するマーキング（ドット）と、これよりもＺ座標が大きい対応点ペアにより構成される領域を半透明色灰色で塗り潰すよう画像合成（ＺＬ、ＺＲ）した様子を示している。

図１４に示したＲ画像ａ’およびＬ画像ｂ'をステレオモニタ６３で表示することにより、対応点ペアＲ１、Ｌ１に相当するマーキング（ドット）と、半透明色灰色の部分ＺＬ、ＺＲは、検者によって立体的に同一の深さ面上に知覚される。

この半透明色灰色のマーキングＺＬ、ＺＲの部分は、検者にはたとえばマーキング操作で対応点ペアＲ１、Ｌ１により指定した部分よりも深い部分にたとえば水のような液体を張った状態のように立体的に視認される。

したがって、本実施例によれば、半透明色灰色のマーキングＺＬ、ＺＲを通して、その下の部分（特定の眼底の陥凹部（あるいは他の眼底面）の部分）は視認でき、検者は指定した対応点ペアＲ１、Ｌ１よりも深くなっている部位を容易に立体的に知覚し、また、その部分の様相も半透明色灰色のマーキング表示を通して確認することができるから、被検眼の眼底の陥凹部（あるいは他の眼底面）の部分に対する診断を的確に行うことができる。

以上、２つの実施例を示したが、本発明は、特に被検眼眼底を眼底撮影光学系を介して所定の視差でステレオ撮影し、得られた左右の視差画像をステレオ表示する画像処理方法および画像処理装置において実施することができ、その場合、画像処理の細部に関しては当業者が本発明の範囲を逸脱しない限りにおいて任意に設計変更することができる。

また、以上の実施例において、マーキング操作を行う時は、Ｒ（またはＬ）画像ならＲ（またはＬ）画像のみを表示するか、両眼ともＲ（またはＬ）画像を表示するものとして説明した。ＲまたはＬ画像のいずれを表示するかは、固定的に決めておいてもよいが、スイッチ操作などによりＲまたはＬ画像のいずれを表示するかを選択できるようにしてもよい。これによって、検者は例えば自分の利き眼が左右のいずれであるか、などに応じてマーキング操作のし易いＲ（またはＬ）画像を用いてマーキング操作を行うことができる。

また、マーキング操作を行う時は、特定のスイッチ（ペダルスイッチなどでもよい）を用いて、上記のＲ（またはＬ）画像ならＲ（またはＬ）画像のみを表示するか、両眼ともＲ（またはＬ）画像を表示する状態に切り換えるように構成することができる。これにより、例えば、マーキングをＲ（またはＬ）画像上に置く短い期間だけ非立体表示の画像表示とし、マーキング操作が終了したら直ちに立体表示に復帰させ、眼底およびマーキングの様子を立体的に確認することができる。

本発明を採用した画像処理装置として、眼底カメラの構成を示した説明図である。 図１の撮影絞り廻りの構成を示した説明図である。 図１の装置において撮影された左右のステレオ画像を示した説明図である。 図１の装置におけるステレオ画像の対応点抽出処理を示したフローチャート図である。 図１の装置におけるステレオ画像のマーキング処理を示したフローチャート図である。 図１の装置における眼底の所定部位、ステレオ撮影画像および光学系の瞳の位置関係を示した説明図である。 図１の装置におけるステレオ画像のマーキング処理を示した説明図である。 図１の装置における対応点抽出処理の様子を示した説明図である。 図１の装置において行う視差量測定処理を示した説明図である。 従来技術による画像マーキングの問題を示した説明図である。 図１の装置におけるステレオ画像の異なる対応点抽出処理を示したフローチャート図である。 図１の装置におけるステレオ画像の異なるマーキング処理を示したフローチャート図である。 図１の装置における眼底の所定部位、ステレオ撮影画像および光学系の瞳の位置関係を示した説明図である。 図１の装置において撮影された左右のステレオ画像を示した説明図である。

符号の説明

１０ 眼底カメラ
２４ 対物レンズ
２８ 撮影絞り
２８ａ、２８ｂ 開口
３５ 合焦レンズ
３６ 結像レンズ
６２ モニタ
６３ ステレオモニタ
Ｐａ、Ｐｂ 瞳位置

Claims (5)

1. 被検眼眼底を眼底撮影光学系を介して所定の視差でステレオ撮影し、得られた左右の視差画像をステレオ表示する画像処理方法において、
   前記左右の視差画像において、それぞれ被検眼眼底の同一の部位が撮影された対応点ペアの座標を抽出しマトリックスデータとして記憶し、
   操作者に前記左右の視差画像のいずれか１つの画像上においてマーキング操作を行わせ、該マーキング操作により指定された部位の座標に相当する他方の画像における対応点の座標を前記マトリックスデータから検索し、
   前記左右の視差画像のいずれか１つの画像、および他方の画像のそれぞれにおいて、指定された部位の座標、および検索した該部位の座標に相当する他方の画像における対応点の座標にマーキング画像を合成し、
   それぞれマーキング画像を合成した前記左右の視差画像のいずれか１つの画像、および他方の画像を所定のステレオ表示方式によるステレオ表示手段を介して表示することを特徴とする画像処理方法。
2. 請求項１に記載の画像処理方法において、
   前記対応点ペアの視差量から、該対応点ペアに対応する被検眼眼底の部位の深さ量を測定し、該深さ量を前記マトリックスデータの対応点ペアの座標に関連して、記憶し、
   操作者に前記左右の視差画像のいずれか１つの画像上においてマーキング操作を行わせ、該マーキング操作により指定された部位に対応する対応点ペアに関連して前記マトリックスデータに格納した深さ量を求め、
   この深さ量に対して特定の大小関係を有する深さ量と関連づけられた対応点ペアに相当する前記左右の視差画像中の特定の画像部分に対して所定濃度のマーキング画像を合成し、
   それぞれマーキング画像を合成した前記左右の視差画像のいずれか１つの画像、および他方の画像を所定のステレオ表示方式によるステレオ表示手段を介して表示することを特徴とする画像処理方法。
3. 請求項１または２に記載の画像処理方法において、操作者が前記左右の視差画像のいずれか１つの画像を選択し、該画像を用いて操作者に前記マーキング操作を行わせることを特徴とする画像処理方法。
4. 請求項３に記載の画像処理方法において、操作者は、自己の利き眼に相当する側の視差画像のいずれか１つの画像を選択することを特徴とする画像処理方法。
5. 請求項１〜４に記載の画像処理方法を実施するための眼底撮影光学系、および画像処理手段を含むことを特徴とする画像処理装置。

Images