JP2009022308A - 画像処理装置 - Google Patents

Abstract

【課題】撮影に用いられる光学系の歪みを考慮し、眼底画像に対して正確な３次元測定処理を行え、３次元測定結果に対応する正確な眼底画像を提供でき、検者が被検眼眼底の立体形状を正確に評価できるようにする。
【解決手段】被検眼Ｅの眼底を対物レンズ２４以降のステレオ撮影光学系を介してステレオ撮影し、得られた視差画像を用いて３次元測定処理を行う画像処理装置において、人眼の光学特性を模擬するとともに、眼底に相当する眼底模擬面に濃淡パターンを付与した模型眼３００をステレオ撮影光学系を介してステレオ撮影する。撮影された画像から、ステレオ撮影光学系の形状歪を補正する校正データを作成し、該校正データを用いて実際の被検眼眼底のステレオ撮影で得られた視差量を補正して、形状歪補正後の視差画像を用いて３次元測定処理、およびステレオモニタ６３による３Ｄ表示を行う。
【選択図】図１

Description

本発明は、画像処理装置、特に被検眼眼底を眼底撮影光学系を介して所定の視差でステレオ撮影し、得られた視差画像を用いて３次元形状測定処理、および３次元表示を行う画像処理装置に関するものである。

従来より、緑内障の診断などの目的で、被検眼眼底の形状を把握するため、被検眼眼底の立体画像を撮影する眼底カメラなどの画像処理装置が知られている。たとえば、眼底カメラの単一の光学系内の絞りを光軸から左右（あるいは上下）に偏心した異なる位置に移動させ、それぞれの絞り位置で撮影を行うことにより被検眼眼底をステレオ撮影する装置が知られている（下記の特許文献１）。

眼底を３次元測定する画像処理は、次のように行うことができる。たとえば、ステレオ撮影された左右（あるいは上下）の画像のパターンマッチングを行い、対応する像点、すなわち対応点を探索する。対応点が探索できれば、３角測量の原理を用いて対応点に共役な物点のｘｙ軸（画像平面に平行な直交２軸）、およびｚ軸（光軸に平行な１軸）に沿う各座標を計算することができる。そして、充分な数の物点の３次元座標値を求めれば、被検眼眼底の３次元モデルを作成することができる。

また、撮影した左右の視差画像を、各種方式による３Ｄモニタなどを用いて３次元表示（３Ｄ表示）する、すなわち、撮影した左右の視差画像をそれぞれ独立して観察者（検者）の左右両眼にそれぞれ観察させることにより、撮影した被検眼眼底の状態を立体視で観察させることができる。
特開平１０−７５９３２号公報 特開２００２−３４９２４号公報

ところで、眼底カメラのような撮影装置の光学系には像歪がある。たとえば、平面に置いた方眼紙のような方眼パターンを撮影すると、図５の符号１５１のような画像が撮影される。この歪みには、光学系で設計上あらかじめ想定されている歪みの他、光学系個体毎に生じる製造上の誤差により生じる歪みも含まれる。

もし、このような像歪を有する光学系で上記のようなステレオ撮影および３次元測定の画像処理を行うと、たとえばＰ〜Ｐ’線上で得られるｚ軸座標は、平面に置いた方眼パターンであれば符号１５２のように直線的に測定されるべきであるにもかかわらず、符号１５３のように変形してしまう可能性がある。

一般に、ステレオ撮影された画像を用いた３次元測定においては、上記のような像歪を補正する必要があり、補正なしでは被写体の実態と異なる３次元形状が測定されてしまう可能性がある。この点に鑑み、あらかじめ見積もった光学系の歪みに対応するパラメータを用いて画像データをアフィン変換するような構成が用いられている。また、眼底撮影の場合には眼底をあらかじめ理想球面と仮定した上でステレオ撮影された画像を補正する構成も知られている（上記の特許文献２）。

しかしながら、このような従来の補正処理は、実際に撮影に用いられる光学系の特性を正確に反映したものとはいい難く、眼底の３次元測定結果に何らかの誤差が生じる可能性が高い。眼底網膜形状解析や視神経乳頭部形状解析のような臨床アプリケーションにおいては、誤差の程度によっては、誤診をまねく危険があり、ステレオ撮影画像から光学系の歪みを正確に補正できる画像処理が求められている。

たとえば、図５の平面に置いた方眼パターンの場合、Ｐ〜Ｐ’線上で符号１５３のように歪んで測定されてしまう３次元形状を正確に符号１５４のように補正できるようにすることが望まれる。

また、このように光学系の歪みの影響を除去すべく被検眼眼底の３次元モデルの形状データの補正を行うのももちろん、さらに、撮影した眼底画像も補正すべきである、と考えられる。たとえば、撮影した左右の視差画像を、３Ｄモニタなどを用いて３Ｄ表示し、撮影した被検眼眼底を立体視で検者に観察させる場合には、形状データの補正に応じた形状で被検眼眼底の形状を検者が観察（知覚）できるように、３Ｄ表示用の画像も補正されていることが望ましい。また、撮影された眼底画像が紙などへのプリントや、ＨＤＤなどへのデータ記録の対象となる記録用に用いられる場合であっても、その画像が同様に補正されていることが望ましいのはいうまでもない。

本発明の課題は、上記の問題に鑑み、被検眼眼底をステレオ撮影し、得られた撮影画像データに対して３次元測定処理を行う画像処理装置において、実際に撮影に用いられる光学系の歪みを考慮し、眼底画像に対して正確な３次元測定処理を行え、あるいはさらにその３次元測定結果に対応する正確な眼底画像を提供でき、検者が被検眼眼底の立体形状を正確に評価できるようにすることにある。

上記課題を解決するため、本発明においては、被検眼眼底を眼底撮影光学系を介して所定の視差でステレオ撮影し、得られた視差画像を用いて３次元形状測定処理を行う画像処理装置において、所定形状の被写体を前記眼底撮影光学系を介して前記所定の視差でステレオ撮影し、得られた視差画像の画像データに基づき前記被写体の所定部位の３次元形状を測定し、前記所定部位の実際の３次元形状と、前記画像データに基づき測定された前記所定部位の３次元形状との差分に相当する、前記眼底撮影光学系に起因する形状歪を補正するための校正データを作成し、前記校正データを用いて被検眼眼底のステレオ撮影で得られた３次元形状データに対して形状歪補正を行うとともに、前記校正データを用いて被検眼眼底のステレオ撮影で得られた視差画像データに対して前記形状歪補正を加えることにより補正画像データを作成する構成を採用した。

特に、前記被写体としては、人眼の形状および光学特性を模擬するとともに、所定の濃淡パターンを付与した眼底模擬面を前記所定部位として有する模型眼を用いることができる。

また、前記校正データを用いて被検眼眼底のステレオ撮影で得られた左右の視差画像データに対してそれぞれ前記形状歪補正を加えることにより左右の補正画像データを作成し、ステレオモニタを用いて立体表示を行う構成とすることができる。

また、前記校正データが前記３次元形状測定処理において補正すべき深さ量により表現され、該校正データを用いた幾何演算によって被検眼眼底のステレオ撮影で得られた視差画像データに対して前記形状歪補正を加えることにより補正画像データを作成する構成とすることができる。

上記構成によれば、被検眼眼底をステレオ撮影光学系を介してステレオ撮影し、得られた撮影画像データに対して３次元測定処理を行う画像処理装置において、実際に撮影に用いられる光学系の歪みを補正し、眼底画像に対して正確な３次元測定処理を行なえ、あるいはさらにその３次元測定結果に対応する正確な眼底画像を提供できるので、被検眼眼底の立体形状を正確に評価でき、誤診などの問題を回避することができる、という優れた効果がある。

また、被検眼の形状および光学的構造を模擬する模型眼を用いることにより、他の撮影条件や演算条件を変更することなく容易に校正測定および演算を行うことができる。

また、前記形状歪補正に対応する左右の補正画像データを作成し、ステレオモニタを用いて立体表示を行うことにより、検者は立体視を介して被検者眼底の状態を容易に把握できる。

また、前記３次元形状測定処理において補正すべき深さ量により表現された該校正データを用いた幾何演算によって被検眼眼底のステレオ撮影で得られた視差画像データに対して前記形状歪補正を加えた補正画像データを作成することができ、該補正画像データを表示、記録などの用に供することができる。

以下、本発明を実施するための最良の形態の一例として、被検眼眼底をステレオ撮影光学系を介してステレオ撮影し、得られた撮影画像データに対して３次元測定処理、および３次元表示を行う眼科測定装置に関する実施例につき説明する。

図１において、一点鎖線で囲まれて図示された眼底カメラ１０には、赤外光並びに可視光の照明光を発光する観察ランプ１１が球面ミラー１２の曲率中心に配置され、観察ランプ１１並びに球面ミラー１２からの光は、コンデンサーレンズ１４、撮影用光源であるストロボ１５、コンデンサーレンズ１６を経て、全反射ミラー１７に入射する。

全反射ミラー１７で反射した照明光は、照明絞り１９を経てリレーレンズ２２を通過し、穴あき全反射ミラー２３で反射され、対物レンズ２４を経て被検眼Ｅの前眼部（瞳）Ｅｐに入射する。照明絞り１９は、照明光学系内に被検眼の前眼部Ｅｐ（瞳）とほぼ共役な位置に配置される。

照明光で照明された眼底Ｅｒからの反射光は、対物レンズ２４、穴あき全反射ミラー２３の開口２３ａ、２開口撮影絞り（２孔絞り）２８の開口、合焦レンズ３５、結像レンズ３６、変倍レンズ３８ａを通過してリターンミラー３９に入射する。リターンミラー３９が図示の位置では、眼底からの反射光が眼底とほぼ共役な位置にあり赤外光に感度を有するＣＣＤ（撮像手段）４０に入射し、眼底がＣＣＤ４０により撮像され、またリターンミラー３９が光路から離脱すると、眼底からの反射光が眼底とほぼ共役な位置にあり可視光に感度を有するＣＣＤ（撮像手段）４１に入射し、眼底がＣＣＤ４１により撮影される。

撮影絞り２８には、図２に示すように、矩形の２つの開口２８ａ、２８ｂが設けられている。撮影絞り２８は、その開口２８ａ、２８ｂが光軸２６に対して偏心し、かつ左右対称となるように、またそれぞれ被検眼前眼部（瞳）とほぼ共役な位置となるように配置される。

また、開口２８ａ、２８ｂの位置とその大きさは、穴あき全反射ミラー２３の開口２３ａが、開口２８ａ、２８ｂの全体を含むように設定される。

撮影絞り２８の開口２８ａ、２８ｂは、それぞれガイド２８ｃ、２８ｄに沿って移動されるシャッタ板２９、３０により開放されるか、あるいは閉じられる。

この開閉のためにロータリーソレノイド３１、３２から構成される切替手段が設けられ、ロータリーソレノイド３１、３２が通電されない状態では、シャッタ板２９、３０は、図２（ａ）の位置にあり、開口２８ａ、２８ｂはそれぞれ開放される。

一方、ロータリーソレノイド３１、３２が通電されると、ロータリーソレノイド３１、３２のロッド３１ａ、３２ａが回動し、ロッド３１ａ、３２ａの他端がシャッタ板２９、３０に設けられたピン２９ａ、３０ａと係合していることによりシャッタ板２９、３０がそれぞれ内側に移動して開口２８ａ、２８ｂが閉じられる。

ＣＣＤ４０が撮像した眼底像は、ＣＰＵなどで構成される制御演算部６０に入力され、その画像がモニタ６２に動画像として表示される。検者は、モニタ６２に表示される画像を見て、後述するようにアライメントやフォーカス調整などの操作を行うことができる。また、立体視専用ディスプレイとしてステレオモニタ６３が設けられ、検者は、このステレオモニタ６３を介して左右の画像を観察することにより眼底を立体視することができる。

ステレオモニタ６３の表示方式には、偏光方向や表示色を左右のステレオ画像で異ならせる、左右の視野を分離する観察スコープを介して左右のステレオ画像を独立して観察させる、といった種々の方式があるが、本実施例のステレオモニタ６３の表示方式は任意であり、左右の視差画像をそれぞれ独立して検者の左右の眼で観察させることができるように構成されたものであれば任意のステレオ表示方式を用いることができる。

また、ＣＣＤ４１により、シャッタスイッチ６６を操作したときストロボ１５で照明された眼底を静止画として撮影することができる。この眼底像は一旦高速なメモリ６１に格納され、制御演算部６０を介して外部記録装置としての低速なハードディスク（ＨＤＤ）６４で実現される記録手段に記録されたり、あるいはモニタ６２、ステレオモニタ６３に表示される。

また、キーボード６７、マウス６８などの入力手段が設けられ、これらの入力手段を介して、種々のデータが入力できるようになっている。

また、眼底カメラには、ＣＰＵなどからなる制御部６５が設けられ、この制御部６５は、制御演算部６０と接続されて互いに信号を交換するとともに、シャッタスイッチ６６が操作されたときに、リターンミラー３９を光路から離脱させるとともに、ストロボ１５を適量な光量で発光させる。また、制御部６５は、変倍レンズ３８ａなどの光路への挿脱を制御し、上述のロータリーソレノイド３１、３２の駆動を制御する。

また、眼底カメラには、操作部（操作パネル）６９が設けられ、この操作部６９で、撮影モードを選択できる。更に、撮影する被検眼が左眼か右眼かを検知する左右眼検知部７０が設けられ、この左右眼検知部７０で検知された左眼か右眼かの情報が制御部６５に入力される。

ここで、上記構成における被検眼眼底のステレオ撮影の概略につき説明する。

最初、観察時には、観察ランプ１１が点灯され、照明絞り１９が光路に挿入される。ロータリーソレノイド３１、３２は図２（ａ）に示した位置に駆動され、それにより撮影絞り２８の２つの開口２８ａ、２８ｂは開放した位置をとる。照明絞り１９を介して非赤外光で照射された被検眼眼底からの反射光は、撮影絞り２８の開口２８ａ、２８ｂを介して観察用のＣＣＤ４０に受像され、眼底像がモニタ６２に表示される。

この状態で、被検眼とのアライメント、ピント合せが行われるが、このとき、不図示の視標投影系などにより検者のアライメント、ピント合せ操作が支援される。

アライメント、ピント合せの後、シャッタ操作が完了したら、検者はシャッタスイッチ６６を押下する。この操作に応じて制御部６５は、ロータリーソレノイド３１を駆動してシャッタ板２９を右方に移動させ、撮影絞り２８の左側の開口２８ａを閉じる。シャッタスイッチ６６の操作と同期してストロボ１５が発光し、リターンミラー３９が光路から離脱するので、ストロボで照明された眼底からの光束は、撮影絞り２８の開放している開口２８ｂを通過してＣＣＤ４１の受像面に入射し、立体視用の１枚目の眼底画像がＣＣＤ４１により静止画像として撮像され、メモリ６１に格納される。

続いて、ロータリーソレノイド３１、３２を制御し、シャッタ板２９、３０を左方向に移動して、開口２８ａが開放し、開口２８ｂが閉じたとき、ストロボ１５を再度発光させる。このとき、開口２８ａを通過した立体視用の２枚目の眼底画像がＣＣＤ４１により静止画像として撮像されて、メモリ６１に格納される。

このようにして、１回のシャッタ操作で連続して左右２つの視点から撮影、すなわち、ステレオ撮影された２枚の視差画像は、開放している撮影絞りの開口の位置ないし左位置、右位置などの情報を付して、メモリ６１からＨＤＤ６４に保存される。また、このように保存された２枚の視差画像は、ＨＤＤ６４から読み出されて、ステレオモニタ６３を用いて表示し、検者は左右の眼でそれぞれ対応する一方の眼底画像を観察することにより眼底を立体視することができる。

ここで、本発明による校正処理につき述べる前に、上記のようにしてステレオ撮影された左右の視差画像から、被検眼眼底の立体形状を３次元測定する処理の概要につき説明しておく。

図６は、この眼底の３次元測定処理の概略を示している。図６のステップＳ１６１において、上記のようにして被検眼眼底がステレオ撮影される。

続いてステップＳ１６２でステレオ撮影された左右の視差画像間の視差量算出処理を行う。この視差量算出処理は、次のようなものである。

まず、左視差画像中に視差量を求める注目点を中心とした１５×１５画素の関心領域を設定する（図７（ａ）、（ｂ））。そして、左視差画像の関心領域（１５×１５画素：図７（ｃ））と最も相関が高い領域を右視差画像（図７（ｄ））の中から探索する。

その際、画像全面から探索すると計算時間が掛かるので、探索する領域を２０×２０画素に制限する。すなわち、左視差画像の視差量を求める点を中心として右視差画像中の２０×２０画素の範囲で探索を行う。

視差量を求める注目点は左視差画像中の全ての点とし、各点について右視差画像中で最も相関が高くなる領域を探索するが、１画素ごとに探索を行うのではなく、たとえば４画素程度の間隔を開けて探索を行ってもよい。

そして、左視差画像中の関心領域に対して最も相関が高くなった右視差画像中の領域の位置のずれを視差（視差画素数）として求める。このようにして視差量は、各注目点ごとに1つ算出される。

上記の処理によって、特定の画素、ないし特定の部位の視差画素数、すなわち、特定の画素、ないし特定の部位が左右の視差画像で何画素ずれて撮影されているかを求めることができる。

そして、光学系の倍率（ないし撮影距離）の条件を記録しておけば、撮影画面上の特定の画素、ないし特定の部位の視差画素数は、網膜（眼底）上における実際の視差量に変換することができる。

特定の画素、ないし特定の部位の網膜（眼底）上における実際の視差量を求めれば、その特定の画素、ないし特定の部位の深さ（あるいは光軸に平行なｚ軸方向の座標値）を次のようにして求めることができる（図６のＳ１６３）。

ここで、特定の撮影において、撮影距離、および、絞り２８ａ、２８ｂの位置で定まる視差角度が８度であるものとし、ある特定部位の眼底上における視差量が上記の演算（Ｓ１６２）により０．１ｍｍと算出された場合、図８に示すように三角測量の原理を用いてこの視差量から特定部位の深さ量（奥行き、ないしｚ軸方向の座標）は、
深さ量＝（視差量／２）／ｔａｎ（視差角／２） （式１）
により、０．７１５ｍｍ（視差量０の部位からの相対量）と算出される。

なお、眼底カメラの場合、撮影距離は撮影前のアライメントにより、特定のワーキングディスタンスに調整されるため、絞り２８ａ、２８ｂの位置により定まる視差角度（上の例では８度）は一定であるものとして３次元測定処理を行うことができる。

さて、図１の眼底カメラの撮影光学系、すなわち、対物レンズ２４…変倍レンズ３８ａには図５に示したような像歪があり、上記のようにして撮影される左右の視差画像もこの影響を受ける。

そこで、本実施例では、所定形状の被写体、特に、図３に示すような模型眼３００をステレオ撮影し、本眼底カメラの光学系に起因する固有の形状歪をあらかじめ算出し、この歪に対応する、すなわち、この歪みを補正できる校正データを取得する。

そして、この校正データに基づき、図６〜図８のようにして測定される３次元測定データとしての深さ量（奥行き、ないしｚ軸方向の座標）を補正する。また、同じ歪データを用いて、ステレオモニタ６３で検者に立体視で観察させるステレオ画像を補正する。

模型眼３００は、図３に示すような人眼の光学特性を模擬（シミュレート）する形状に作成される。たとえば、模型眼３００は、屈折率ｎ＝１．５２程度の光学ガラスを切削、研磨するなどの手法により作成する。角膜模擬面（入射面）３０２の曲率はＲ７．７ｍｍ程度、網膜に相当する網膜模擬面３０１の曲率はＲ１５ｍｍ程度の球面とする。これら２面の距離はたとえば２２．６ｍｍ程度とする。

後述の校正撮影では、校正データを取得するための所定部位として模型眼３００の眼底を模擬する眼底模擬面が撮影される。より詳細には、この眼底模擬面は本実施例の模型眼３００では、網膜を模擬する面３０１として構成してある。網膜を模擬する面３０１はスリ（半透明）面に加工し、何らかの濃淡パターン（たとえば方眼パターンなどでもよい）を彫刻＋着色、印刷などの手法で付与しておく。なお、後述の校正データ作成の際、処理が容易になるように、特定のパターンを特定の色に決めておくとよい。

なお、模型眼３００は、図１の眼底カメラの顎載せ台３１０に、装着部材として所定形状に校正された治具３１１を介してワンタッチで着脱（たとえばラッチ結合や螺合などの構造を用いる）でき、装着時に、光学系に対して被検眼Ｅの（理想）位置とほぼ同一の位置に位置決めされるように構成しておくと便利である。

上記の模型眼３００を用いて、図１の眼底カメラの出荷前、あるいは出荷後の任意のタイミングで、以下のように３次元測定に用いる画像データを補正するための校正データを取得することができる。

まず、上記のような治具３１１などを用いて、模型眼３００を被検眼Ｅの（理想）位置とほぼ同一の位置に位置決めし、上述の通り、左右の視差画像を撮影する。

撮影距離および倍率に関しても、校正処理のための一定の値となるように制御する。このため、光学系の位置や変倍リング（ダイヤル）などにノッチを設けておき、容易に校正処理のための撮影距離および倍率が選択できるように構成しておくと好都合である。

本実施例において、校正データは、模型眼３００を撮影し、上記のようにして３次元形状を算出することで求めることができる。なお、眼底カメラの変倍レンズ３８ａにより、異なる撮影変倍条件で撮影が行われる場合には、校正データは各変倍条件ごとに求めておく。

この校正データは、図１０（ａ）に示すように、模型眼３００を撮影して求めた３次元形状（深さ情報（ｚ座標）のカーブ）１００２と、現実の模型眼３００の形状１００１との差分１００３に相当するものである。この差分１００３に相当する量の具体的な演算例については後述する。

図１０（ａ）において、模型眼３００を撮影して求めた３次元形状１００２は、像歪の影響を受けており、本来、模型眼３００の眼底形状は、１００１のように求められなければならない。なお、ここでは、説明を容易にするため、模型眼３００の眼底形状１００１は、ほぼフラットな形状に図示してある。

本実施例の校正データは、図１０（ａ）に図示した通りの深さ量（ｚ軸方向の座標）の差分１００３の表現で記録しておくか、または、上記の３次元形状の測定で用いる視差量の差分により表現することができる（視差量が決まれば上記の式１から明らかなように、深さ量は一意に求められる）。

そして、この校正データは、実際に被検眼を撮影して求めた眼底の３次元形状を補正して、現実の被検眼の眼底の３次元形状を得るために用いることができる。

たとえば、図１０（ｂ）のように、被検眼眼底の形状１００４（深さ情報（ｚ座標）のカーブ）が測定された場合、差分１００３を表現する校正データを作用させることにより、図１０（ｃ）のように被検眼の眼底形状１００５を補正することができる（ここでも説明を容易にするため、被検眼の眼底形状１００５はほぼフラットな形状に図示してある）。

上記のようにして求めた校正データは、テーブル形式でＨＤＤや不揮発メモリなどに記録しておくことができる。

たとえば、深さ量（ｚ軸方向の座標）表現の校正データの場合は、上記３次元測定処理により、撮影画像深さ量（ｚ軸方向の座標）まで求めた後で適用するため、３次元形状データの横座標（ｘｙ座標、あるいは画像中心（光軸）からの極座標表現でもよい）に関連づけて記録しておく。そして、眼底形状データ内の所定部位の横座標を用いて、テーブルから校正データを読み出し、適用すれば、当該部位の補正された深さ量（ｚ軸方向の座標）を求めることができる。

また、校正データが、上記の３次元形状の測定で用いる視差量の表現である場合には、視差量測定処理は、視差画像中の特定の間隔の注目点（上の例では４画素程度）で行うので、注目点ごとに視差量表現の校正データをテーブル形式で記録しておけばよい。そして、図６の視差量算出処理（ステップＳ１６２）の段階で、処理中の注目点（点番号や画素アドレス）に基づき、テーブルデータを参照し、視差量表現の校正データを読み出し、深さ量算出（ステップＳ１６３）に用いる視差量に適用すればよい。

上記のようなテーブル構成による校正データを用いることにより、極めて小さな演算負荷により、高速に像歪補正を行うことができる。

図９は、上記の形状歪補正および実際の眼底ステレオ撮影の流れを示している。

図９のステップＳ９０１、Ｓ９０２は、図１の眼底カメラの出荷前、あるいは出荷後の任意のタイミングで行われる校正撮影、および校正データ取得処理を示している。

ステップＳ９０１では、上述のようにして模型眼３００をステレオ撮影し、ステップＳ９０２では、上述のようにして校正データを求める。

すなわち、ステップＳ９０２では、模型眼３００の左右の視差画像から視差量を注目点ごとに算出し、模型眼３００の形状データ（図１０（ａ）の１００２）を求める。模型眼３００の眼底形状（図１０（ａ）の１００１）は既知であるため、両者の差分（上記の深さ量または視差量による表現）として校正データを取得することができる。取得した校正データは、上述のようにＨＤＤや不揮発メモリなどに記録しておく。

その後、ステップＳ１６１以降において実際の眼底のステレオ撮影が行われる。図９のステップＳ１６１、Ｓ１６２’、Ｓ１６３’は、図６のステレオ撮影（Ｓ１６１）、視差画素数測定（Ｓ１６２）、深さ量算出（Ｓ１６３）の処理とほぼ同じであるが、図９ではステップＳ１６２’、または、Ｓ１６３’で上記のようにしてテーブル形式で記録した校正データを用いて補正する処理を行う。

すなわち、上記のように校正データが視差量による表現の場合には、ステップＳ１６２の視差画素数測定の段階で補正を行う。あるいは、校正データが深さ量による表現の場合には、ステップＳ１６３の深さ量算出の段階で補正を行う。

このようにして、左右の撮影画像に対して、光学系に固有の形状歪補正を適用した上で、ステップＳ１６２およびＳ１６３の視差画素数測定、深さ量算出を正確に行うことができる。

さらに、同じ校正データを用いて、ステップＳ１７０で、撮影画像、たとえばステレオモニタ６３で検者に立体視で観察させるステレオ画像を補正することができる。このステレオモニタ６３による３Ｄ表示は、必ずしも図９に示したように校正処理（ステップＳ１６２’、Ｓ１６３’）に続き順次行うべきものではなく、テーブルデータとして用意した校正データを用い、たとえば校正処理と同時に実行することができる。

図１１、および図１２は、ステップＳ１７０において、ステレオモニタ６３による３Ｄ表示画像を校正する処理の概要を示したものである。ここでは、説明を容易にするため、深さ方向校正の方向と、ｚ軸方向の関係を図１０とは逆にとってある。

図１１、および図１２は、図１の光学系で模型眼３００を撮影した場合の結像関係を示したものである。図１１、および図１２において、ａ面およびｂ面はＣＣＤ４１で撮影されるそれぞれ右、左の視差画像面に相当し、物点側の共役位置に図示されている。なお、ここでは、図の理解を容易にするため、実際には直線上に一致しているａ面およびｂ面を図の上下に少しずらして図示している。

ｃ面は模型眼構築面、すなわち、歪みを持つ図１の光学系で撮影された視差量から構築された模型眼の３次元形状で、模型眼の本来の形状に相当する校正基準面であるｄ面に補正されるべき３次元形状である。

ここで、以下の説明を容易にするため、ｄ面、すなわち、本来の模型眼の形状は、平面であって、ｃ面とｄ面は、光軸（ｚ軸に一致）上の補正基準点Ｃ０において一致するものとする。

すなわち、補正基準点Ｃ０においては、ｘｙｚ各軸方向の補正量は０であり、以下では、補正基準点Ｃ０以外のｃ面上の座標をｄ面に移動（たとえば下記の点（Ｘｃ，Ｚｃ）から点（Ｘｄ，Ｚｄ）への移動）した時に、これに応じてどのようにａ面、およびｂ面内の画素を平行移動すれば良いかを示す。

なお、補正基準点Ｃ０のａ面（右視差画像面）における結像点の座標は（ａ０、ｆ）であるものとする。

また、点（Ｐａ，０）、（Ｐｂ，０）は、それぞれ右瞳位置、および左瞳位置で、被検眼前眼部（瞳）に一致した絞り２８ａ、２８ｂの共役位置に相当する。また、上述の撮影距離の設定により、左右の瞳と上記のａ面およびｂ面（右、左の視差画像面）の距離は被検眼の眼球焦点距離ｆに一致する。

なお、ここでは、ｘｚ平面を用い、ａ面およびｂ面の画像のｘ軸方向に関する補正について説明するが、以下の説明はｘをｙに読み換えればｙｚ平面についても通用し、同様にしてａ面およびｂ面の画像のｙ軸方向に関する補正も行うことができる。

ここで、図１の光学系で模型眼３００を撮影した場合、図１１のｃ面（模型眼構築面）が上述の深さ量として測定される。この形状は、図１の光学系の歪みを反映して周辺部が遠く（凹んだ）形状として演算される。

すなわち、ａ面およびｂ面（右、左の視差画像面）上に（Ｘａ，ｆ）、（Ｘｂ，ｆ）として撮影される対応点から、ｃ面（模型眼構築面）上の点（Ｘｃ，Ｚｃ）が求められる。

そして、上述の通り、たとえば、テーブルデータとして深さ量の差分Δｚを記録しておけば、点（Ｘｃ，Ｚｃ）を点（Ｘｄ，Ｚｄ）に補正する処理が可能となる。

ここで、相似３角形の演算より、点（Ｘｃ，Ｚｃ）のｘ座標値Ｘｃ、およびｚ座標値Ｚｃは
Ｘｃ＝（Ｐａ・Ｘｂ−Ｐｂ・Ｘａ）／（（Ｐａ−Ｐｂ）−（Ｘａ−Ｘｂ）） （式２）
Ｚｃ＝ｆ・（Ｐａ−Ｐｂ）／（（Ｐａ−Ｐｂ）−（Ｘａ−Ｘｂ）） （式３）
次にこの点（Ｘｃ，Ｚｃ）をｚ軸方向にシフトさせ、ｄ面（校正基準面）上の点（Ｘｄ，Ｚｄ）を算出する。点（Ｘｄ，Ｚｄ）のｘ、ｙ座標値Ｘｄ、Ｚｄはそれぞれ
Ｘｄ＝Ｘｃ （式４）
Ｚｄ＝ｆ・Ｐａ／（Ｐａ−ａ０） （式５）
と対応づけることができる。

したがって、深さ量の差分Δｚは
Δｚ＝Ｚｄ−Ｚｃ （式６）
として求めることができる。ここで、Ｚｄ、Ｚｃは既に式５および式３で得られる値を使う。このΔｚは上述の校正データとしてテーブルに格納することもできる。

さらに、ステレオモニタ６３による３Ｄ表示画像を補正するには、図１１で示したａ面およびｂ面（右、左の視差画像面）上の（Ｘａ，ｆ）、（Ｘｂ，ｆ）の位置を、図１２に示すようにａ面およびｂ面内で補正しなければならない。つまり、校正基準面であるｄ面上の点（Ｘｄ，Ｚｄ）を新たな構築点とするには、ａ面およびｂ面上に撮影されるべき対応点は図１２において（Ｘａ’，ｆ）、（Ｘｂ’，ｆ）の位置に補正すべきである。

図１２の点（Ｘａ’，ｆ）、（Ｘｂ’，ｆ）は、補正後の点（Ｘｄ，Ｚｄ）を撮影してａ面およびｂ面（右、左の視差画像面）にそれぞれ撮影される対応点を示している。

ここで点（Ｘａ’，ｆ）、（Ｘｂ’，ｆ）のｘ座標Ｘａ’およびＸｂ’は、
Ｘａ’＝（Ｚｄ・Ｐａ−ｆ・Ｐａ−ｆ・Ｘｄ）／（Ｚｄ−２ｆ） （式７）
Ｘｂ’＝（Ｚｄ・Ｐｂ−ｆ・Ｐｂ−ｆ・Ｘｄ）／（Ｚｄ−２ｆ） （式８）
と求めることができる。

以上のようにして、点（Ｘｃ，Ｚｃ）を点（Ｘｄ，Ｚｄ）に補正（ただしＸｃ＝Ｘｄ）、すなわち、深さ方向（ｚ軸方向）の補正が行えれば、ｘ軸方向にａ面およびｂ面の右、左の視差画像中の対応点の位置を補正することができる。この対応点の位置の補正は、実際には右、左の視差画像中の画素の移動処理により行なうことができる。

図１１および図１２では、ｘｚ平面内におけるｘ軸方向の補正（校正）を示したが、ｙｚ平面内におけるｙ方向の補正（校正）も同様に行うことができる。煩雑となるのでここではｙｚ平面内におけるｙ軸方向の補正（校正）については図示を省略するが、その場合、図１１および図１２中のｘ座標に関する表記をｙ座標に読み換えれば図示の処理はｙｚ平面内におけるｙ方向の補正（校正）と同等の処理になる。

このようにして、ａ面およびｂ面の右、左の視差画像中の対応点（画素）の位置をｘｙ平面内で補正した補正画像データを得ることができる。得られた補正画像データは、表示、記録出力（たとえばプリント）したり、データベースレコードとして外部記憶装置や他の処理装置（コンピュータなど）にデータ転送したりすることができる。

たとえば、上記のようにして補正した左右の補正画像データをステレオモニタ６３により３Ｄ表示すれば、その３Ｄ表示画像の見え方が補正されることになる。すなわち、ステレオモニタ６３を介した３Ｄ表示上において、補正前は図１１および図１２のｃ面として検者に知覚される形状をｄ面として知覚されるように校正することができる。

なお、図１１および図１２の説明では、ｄ面が補正基準点Ｃ０においてｃ面に一致する平面である（に近似される）場合の演算例を示した。この場合には上述のように簡単な幾何演算によって点（Ｘｃ，Ｚｃ）から（Ｘｄ，Ｚｄ）への深さ方向の補正（Δｚの算出）、および視差画像の補正が行える。しかしながら、たとえば、ｄ面の表現には、模型眼をあらかじめ実測して得られた（あるいは模型眼の設計データから得られた）深さデータ（ｚ軸データ）を用いることもできる。その場合には、たとえば、撮影データから構築されたｃ面上の点（Ｘｃ，Ｚｃ）とｄ面上でｘ座標が一致する点（Ｘｄ，Ｚｄ）を対応づけ、その点（Ｘｄ，Ｚｄ）から、式７および式８から明かなように、点（Ｘｃ，Ｚｃ）に対応する左右の視差画像上の補正後の画素の座標を容易に求めることができる（ｙ軸についても同様）。

以上のようにして、本実施例によれば、被検眼眼底をステレオ撮影光学系を介してステレオ撮影し、得られた撮影画像データに対して３次元測定処理を行う画像処理装置において、実際に撮影に用いられる光学系の歪みを補正し、眼底画像に対して正確な３次元測定処理を行え、被検眼眼底の立体形状を正確に評価でき、誤診などの問題を回避することができる。

たとえば、図４のような眼底画像１４１の場合、上記のような補正を行うことにより、Ｐ〜Ｐ’線上で符号１４２のように乳頭部分１４３の形状を正確に反映した立体形状を深さ情報（ｚ軸座標値）として求めることができる。

さらに、本実施例によれば、光学系の歪みを補正した３次元測定結果に対応する正確な眼底画像を提供する、特にステレオモニタを介して検者に観察させることができる。上記の構成（補正）処理によれば、撮影した左右の視差画像を３Ｄ表示し、撮影した被検眼眼底を立体視で検者に観察させるに際し、形状データの補正に応じた形状で被検眼眼底の形状を検者が観察（知覚）できるように、３Ｄ表示用の画像（左右の視差画像）を補正することができるので、検者は３Ｄ表示画像の知覚を介しても被検眼眼底の立体形状を正確に評価できる。

なお、上述の通り、図１１および図１２に示した校正処理をｘ軸およびｙ軸に沿って行うことにより、３Ｄ表示画像のｘｙ平面における形状補正を行うことができる。しかしながら、図１１および図１２に示した校正処理は、３Ｄ表示を行うことのみを目的としたものではなく、左ないし右の視差画像のみを測定画像として利用する場合に実施しても充分効果がある。

なぜなら、上述の光学系で撮影される左右の視差画像は、光学系の光軸から偏心した絞り開口を介して撮影されるため、画像の歪みは左右不均等に生じる。そして、原理上、図１１および図１２に示した校正処理は、この左右不均等な画像の歪みを補正することができるものであるから、たとえば、光軸上の絞りを介して撮影した場合とほぼ同等の画像に歪みを補正することができ、歪みのない正確な眼底測定画像を得ることができるようになる。

さらに、本実施例の校正処理は、被検眼の形状および光学的構造を模擬する模型眼を撮影して得た校正データを用いて容易に行うことができる。校正データは深さ量または視差量により表現された差分として記録され、軽い計算負荷で容易に眼底の深さ情報（３次元形状データ）を補正することができ、さらに同じ校正データを用いて図１１および図１２に示したようなシンプルな幾何演算によって表示用、あるいは記録用の眼底画像を補正することができる。

また、校正データを求めるためにステレオ撮影する被写体は、理論上は方眼紙のような被写体であっても構わない。しかしながら、上記実施例のように、被検眼の形状および光学的構造を模擬する模型眼を用いることにより、他の撮影条件や演算条件を変更することなく容易に校正測定および演算を行うことができる。

また、上記の治具３１１のような模型眼装着用アダプタなどを設けておくことにより、容易に校正測定および演算を行うことができ、また、模型眼、治具３１１、模型眼装着用アダプタなどの製品を校正用のキットや拡張部品としてユーザや保守を行う業者に供給、販売することができる。

本発明は、被検眼眼底をステレオ撮影光学系を介してステレオ撮影し、得られた撮影画像データに対して３次元測定処理あるいはさらに撮影画像の表示／記録処理を行う眼底カメラのような画像処理装置において実施することができる。

本発明を採用した画像処理装置として、眼底カメラの構成を示した説明図である。 図１の撮影絞り廻りの構成を示した説明図である。 図１の装置において用いられる模型眼を示した説明図である。 図１の装置において得られる眼底の立体形状測定結果を示した説明図である。 従来の立体撮影における像歪の問題を示した説明図である。 図１の装置におけるステレオ撮影処理、および３次元測定処理を示したフローチャート図である。 図１の装置における視差量測定処理の様子を示した説明図である。 図１の装置における深さ量（ｚ軸座標）測定の様子を示した説明図である。 図１の装置における校正および撮影処理を示したフローチャート図である。 図１の装置における深さ（ｚ軸）方向の校正処理を示した説明図である。 図１の装置におけるステレオ表示画像の校正処理を示した説明図である。 図１の装置におけるステレオ表示画像の校正処理を示した説明図である。

符号の説明

１０ 眼底カメラ
２４ 対物レンズ
２８ 撮影絞り
２８ａ、２８ｂ 開口
３００ 模型眼
３０１ 網膜模擬面
３０２ 角膜模擬面
３１１ 治具

Claims (9)

1. 被検眼眼底を眼底撮影光学系を介して所定の視差でステレオ撮影し、得られた視差画像を用いて３次元形状測定処理を行う画像処理装置において、
   所定形状の被写体を前記眼底撮影光学系を介して前記所定の視差でステレオ撮影し、得られた視差画像の画像データに基づき前記被写体の所定部位の３次元形状を測定し、
   前記所定部位の実際の３次元形状と前記画像データに基づき測定された前記所定部位の３次元形状との差分に相当する校正データを作成し、
   前記校正データを用いて被検眼眼底のステレオ撮影で得られた３次元形状データに対して形状歪補正を行うとともに、
   前記校正データを用いて被検眼眼底のステレオ撮影で得られた視差画像データに対して前記形状歪補正を加えることにより補正画像データを作成することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、前記被写体が、人眼の形状および光学特性を模擬するとともに、所定の濃淡パターンを付与した眼底模擬面を前記所定部位として有する模型眼であることを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置において、前記校正データが前記３次元形状測定処理において補正すべき視差量により表現されていることを特徴とする画像処理装置。
4. 請求項１または２に記載の画像処理装置において、前記校正データが前記３次元形状測定処理において補正すべき深さ量により表現されていることを特徴とする画像処理装置。
5. 請求項１または２に記載の画像処理装置において、前記校正データが前記眼底撮影光学系の変倍条件ごとに作成されることを特徴とする画像処理装置。
6. 請求項１または２に記載の画像処理装置において、前記校正データが、３次元形状データの横座標、または前記眼底撮影光学系によりステレオ撮影される視差画像中の特定部位に関連づけられてテーブル形式で作成されることを特徴とする画像処理装置。
7. 請求項２に記載の画像処理装置において、前記模型眼を前記眼底撮影光学系に対して被検眼の位置とほぼ同一の位置に位置決めする装着部材を含むことを特徴とする画像処理装置。
8. 請求項１に記載の画像処理装置において、前記校正データを用いて被検眼眼底のステレオ撮影で得られた左右の視差画像データに対してそれぞれ前記形状歪補正を加えることにより左右の補正画像データを作成し、ステレオモニタを用いて立体表示を行うことを特徴とする画像処理装置。
9. 請求項１に記載の画像処理装置において、前記校正データが前記３次元形状測定処理において補正すべき深さ量により表現され、該校正データを用いた幾何演算によって被検眼眼底のステレオ撮影で得られた視差画像データに対して前記形状歪補正を加えることにより補正画像データを作成することを特徴とする画像処理装置。

Images