JP2009112617A - パノラマ眼底画像合成装置及び方法 - Google Patents

Abstract

【課題】撮影条件が一定でない場合でも安定的にマッチングを行うことが出来、また、計算量も少なくて済み、熟練を必要としない、パノラマ眼底画像合成装置及び方法の提供
【解決手段】複数の眼底画像から血管部分を抽出した血管抽出画像を演算取得する手段、取得された血管抽出画像から血管部分のコーナ部分を検出したコーナデータ画像を演算取得する手段、コーナデータ画像に窓関数を畳み込んでコーナデータ画像についての確率分布図を演算取得する手段、得られた各眼底画像に対応した確率分布図とコーナデータ画像に基づいて、複数の眼底画像間のマッチング処理を行って、その際のマッチング確率スコアを演算する手段、及び得られたマッチング確率スコアに基づいて複数の眼底画像を重ね合わせ配置してパノラマ眼底画像を合成する手段からなる。
【選択図】 図１４

Description

本発明は、複数の眼底画像を合成してパノラマ眼底画像を生成することの出来るパノラマ眼底画像合成装置及び方法に関する。

従来、複数の眼底画像を合成してパノラマ眼底画像を合成する装置に関しては、各眼底画像に表示されている血管の交点を特徴点として抽出し、２枚の眼底画像間で血管の交点周辺の画像データの相関マッチングを行って共通する交点ペアを見つけ出し、それら見つけ出した交点ペアの位置を基準にして２枚の眼底画像を重ね合わせてパノラマ眼底画像を合成する技術が知られている（例えば、特許文献１）。
特開２０００−２３９２１号公報

しかし、血管の交点のマッチングを行う場合には、マッチングを行う眼底画像の撮影条件（ガンマ、フレア、乳頭や血管の多少等）が一定でない場合には、交点の対応が正確に取れない可能性が有り、信頼性に欠ける問題がある。また、交点のマッチングは画像データ上で行うので、画素データ同士のマッチングとなり、計算量が大きくなって、処理に時間が掛かってしまう不都合がある。また、そもそも合成する複数の眼底画像にマッチングされるべき血管の交点が共に含まれていなければならないので、眼底画像を取得する際に、予めそうした共通の血管の交点が含まれるように画像を取得する必要が有り、画像取得に際して検査者に熟練を要する欠点がある。

本発明は、上記した事情に鑑み、撮影条件（ガンマ、フレア、乳頭や血管の多少等）が一定でない場合でも安定的にマッチングを行うことが出来、また、マッチングに際した計算量も少なくて済み、検査者が眼底画像を取得する際に、熟練を必要としない、パノラマ眼底画像合成装置及び方法を提供することを目的とするものである。

請求項１の発明は、同一の被検眼について、該被検眼に対する眼底カメラ（５）の対物レンズ（２０）の相対的位置を変化させて複数枚の眼底画像（ＦＩ）を取得し、該取得された眼底画像を重ね合わせる形で配置して前記被検眼についてのパノラマ眼底画像（ＰＩ）を合成する、パノラマ眼底画像合成装置（１）において、
前記眼底カメラで取得された前記同一の被検眼についての複数枚の眼底画像を格納するメモリ、
前記複数の眼底画像から血管部分を 抽出した血管抽出画像（ＩＭ）を演算取得する血管抽出画像取得手段（１０）、
前記取得された血管抽出画像から血管部分のコーナ部分を検出したコーナデータ画像を演算取得するコーナデータ画像取得手段（１１）、
前記コーナデータ画像に窓関数を畳み込んで当該コーナデータ画像についての確率分布図を演算取得する確率分布図取得手段（１１）、
得られた各眼底画像に対応した前記確率分布図と前記コーナデータ画像に基づいて、前記複数の眼底画像間のマッチング処理を行って、その際のマッチング確率スコアを演算し、その結果をメモリに格納するマッチングスコア演算手段（１２，１３）、及び、
前記得られたマッチング確率スコアに基づいて前記複数の眼底画像を重ね合わせ配置してパノラマ眼底画像を合成する画像合成手段（１４）、
を有することを特徴とする、パノラマ眼底画像合成装置。

請求項２の発明は、前記血管抽出画像取得手段は、
前記眼底画像から低い空間周波数成分を持つ画像を抽出して低空間周波数成分画像を取得する低空間周波数成分画像生成手段、及び、
前記眼底画像から、該取得された低空間周波数成分画像の差分を演算して低空間周波数成分除去画像を前記血管抽出画像として演算取得する、低空間周波数成分除去手段、
を有することを特徴として構成される。

請求項３の発明は、前記低空間周波数成分画像生成手段は、
前記眼底画像にモルフォロジ処理を施して前記低空間周波数成分画像を取得する、モルフォロジ処理手段を有することを特徴として構成される。

請求項４記載の発明は、前記コーナデータ画像取得手段は、
前記取得された血管抽出画像上で、当該画像上における血管部分のコーナを検出したコーナ検出画像を取得するするコーナ画像取得手段、及び、
前記コーナ検出画像から、該コーナ検出画像に残っている前記眼底画像の画素データを除去した画像をコーナデータ画像として演算取得するコーナデータ画像取得手段、
を有することを特徴として構成される。

請求項５記載の発明は、前記コーナ画像取得手段は、
前記血管部分のコーナ検出をHarrisオペレータを用いて行う、Harrisオペレータ処理手段を有することを特徴として構成される。

請求項６記載の発明は、前記マッチングスコア演算手段は、
ある眼底画像の確率分布図に対して、当該眼底画像以外の眼底画像に対応するコーナデータ画像を、一ずつ重ね合わせ、両画像の相対変位量を変化させながら、両画像のマッチング処理を行うマッチング処理手段、及び、
前記相対変位量を所定の範囲で変化させて、当該所定範囲の前記マッチング確率スコアを演算するスコア演算手段、
を有することを特徴として構成される。

請求項７記載の発明は、前記マッチング処理手段によるマッチング処理は、前記確率分布図とコーナデータ画像が重複する重複領域（Ｒ）についてのみ実行することを特徴として構成される。

請求項８記載の発明は、前記画像合成手段は、
マッチングスコア演算手段で演算された各眼底画像間のマッチング確率スコアを比較して、ある眼底画像に対して所定の閾値（ＳＨ）を超えたスコアが算出された別の眼底画像が有るか否かを判定する閾値判定手段、
ある眼底画像に対して所定の閾値を超えたスコアが算出された別の眼底画像が有った場合に、当該スコアが算出された別の眼底画像を、当該眼底画像に接続する眼底画像として選択決定する画像選択手段、及び、
該選択された別の眼底画像と前記ある眼底画像を重ね合わせて配置して前記パノラマ眼底画像を合成する画像配置手段、
を有することを特徴として構成される。

請求項９記載の発明は、前記眼底カメラで取得された前記同一の被検眼についての複数枚の眼底画像がカラー画像であるのかグレー画像であるのかを判定するカラー判定手段、及び、
前記カラー判定手段により、前記眼底画像がグレー画像と判定された場合に、当該眼底画像の輝度階調を反転処理する輝度反転手段、を有し、
前記眼底画像がグレー画像と判定された場合には、前記血管抽出画像取得手段は、前記輝度反転手段で輝度階調が反転された眼底画像を用いて、血管部分を抽出した血管抽出画像を演算取得する、
ことを特徴として構成される。

請求項１０の発明は、前記カラー判定手段は、
前記眼底画像を構成する各色要素の差分画像を生成する差分画像生成手段、
前記差分画像の標準偏差を演算し、その値がカラー判別閾値以下の場合に、グレー画像であると判定するグレー画像判定手段を、
有することを特徴として構成される。

請求項１１記載の発明は、同一の被検眼について、該被検眼に対する眼底カメラの対物レンズの相対的位置を変化させて複数枚の眼底画像を取得し、該取得された眼底画像を重ね合わせる形で配置して前記被検眼についてのパノラマ眼底画像を合成する、パノラマ眼底画像合成方法において、
前記眼底カメラで取得された前記同一の被検眼についての複数枚の眼底画像を取得するステップ、
前記複数の眼底画像から血管部分を 抽出した血管抽出画像を演算取得するステップ、
前記取得された血管抽出画像から血管部分のコーナ部分を検出したコーナデータ画像を演算取得するステップ、
前記コーナデータ画像に窓関数を畳み込んで当該コーナデータ画像についての確率分布図を演算取得するステップ、
得られた各眼底画像に対応した前記確率分布図と前記コーナデータ画像に基づいて、前記複数の眼底画像間のマッチング処理を行って、その際のマッチング確率スコアを演算し、その結果をメモリに格納するステップ、及び、
前記得られたマッチング確率スコアに基づいて前記複数の眼底画像を重ね合わせ配置してパノラマ眼底画像を合成するステップ、
を有することを特徴して構成される。

請求項１及び１１の発明によれば、眼底画像から血管部分を抽出した血管抽出画像のコーナ部分を検出して、マッチング処理を行うので、血管の分岐部等の特定の部分の存在に左右されずに、血管が写っていればマッチング処理を実行することが出来、撮影条件（ガンマ、フレア、乳頭や血管の多少等）が一定でない場合でも安定的にマッチングを行うことが出来る。

また、マッチング処理に際して、血管部分のコーナ部分を検出した特徴点データであるコーナデータ画像から、窓関数を畳み込んで当該コーナデータ画像についての確率分布図を演算取得し、確率分布図とコーナデータ画像に基づいて、複数の眼底画像間のマッチング処理をマッチング確率スコアを算出して行うので、元の眼底画像間の画素間で相関マッチング処理を行う場合に比して、マッチング確率スコアの算出は、その計算量を大幅に少なくすることが出来、短時間での処理が可能となる。

しかも、このマッチング処理は、既に述べたように、２枚の眼底画像ＦＩの画素間で行われるものではなく、確率分布図（Ｐｎ）と特徴点データであるコーナデータ画像（ＣＤ、Ｔｎ＋１）間で行われるので、もとの眼底画像（ＦＩ）の画像の撮影条件等(ガンマ、フレア、乳頭や血管の多少、等)が理想的(一定)ではないときなど、検出した特徴点の対応が必ずしも両画像間で取れなくても、統計的に検出できることから、強度(ロバスト性)がある。

請求項２の発明によれば、眼底画像から低空間周波数成分画像の差分を演算して低空間周波数成分除去画像を血管抽出画像として演算取得することで、マスク（眼底画像周辺の黒い部分）、輝度むら、フレア、乳頭、脈絡膜、などの低い空間周波数成分が除去され、結果として血管部分が残った形の、即ち血管部分（ＢＰ）を抽出した画像を得ることが出来、後のコーナ部分の検出処理を血管部分（ＢＰ）を対象にした形で正確に行うことが出来、正確なマッチング処理が可能となる。

請求項３の発明によれば、モルフォロジ処理により低空間周波数成分画像を容易に取得することが可能となる。

請求項４の発明によれば、コーナ画像取得手段及びコーナデータ画像取得手段により、元の眼底画像の画素を除去した、後のマッチング処理に適した画像を生成することが出来る。

請求項５の発明によれば、コーナ検出を公知のコーナ検出手法であるHarrisオペレータを用いて行うことが出来、都合がよい。

請求項６の発明によれば、ある眼底画像にマッチングする他の眼底画像を効率よく見つけることが出来る。

請求項７記載の発明によれば、重複領域についてのみ、ごく簡単な計算でマッチング処理を行うので、マッチング処理に伴う演算量を大幅に少なくすることが出来る。

請求項８記載の発明によれば、所定の閾値を基準に、ある眼底画像に接続する眼底画像を選択決定するので、効率の良いパノラマ眼底画像の合成が可能となる。

請求項９記載の発明によれば、眼底画像がグレー画像であった場合でも、その輝度階調が反転処理されるので、その後の処理で円滑に血管部分を抽出することが可能となる。

請求項１０記載の発明によれば、眼底画像の取得時に、カラー／グレーのデータを記録していなくても、グレー画像の判定を簡単に行うことが出来る。

なお、括弧内の番号等は、図面における対応する要素を示す便宜的なものであり、従って、本記述は図面上の記載に限定拘束されるものではない。

以下、図面に基づき、本発明の実施例を説明する。

図１乃至図３は、眼底カメラで取得される、同一被検眼についての一連の眼底画像の一例を示す図、図４は、眼底画像の拡大図、図５は、図４の画像より血管成分より低い空間周波数成分を抽出した画像を示す図、図６は、図４の画像から図５の低空間周波数成分を除去した画像を示す図、図７は、図６の画像から血管のコーナ特徴点を検出した画像を示す図、図８は、図７の画像から、元の血管画像を除去してコーナ特徴点のみとした画像を示す図、図９は、図８のコーナ特徴点の画像を確率分布図へ変換した画像を示す図、図１０は、確率分布図の画像とコーナ特徴点の画像を重ね合わせてマッチングの確率スコアを演算処理する過程を示す図、図１１は、求められた移動量と確率分布図スコアの関連を示す図、図１２は、合成されたパノラマ眼底画像の一例を示す図、図１３は、眼底カメラの一例を示す正面図、図１４は、本発明が適用される、パノラマ眼底画像合成装置の一例を示すブロック図である。

パノラマ眼底画像合成装置１は、図１４に示すように、主制御部２を有しており、主制御部２には、バス線３を介して、眼底カメラ５、ディスプレイ６，画像メモリ７，カメラ制御部９，低空間周波数成分除去部１０，コーナ検出部１１，マッチング処理部１２，スコア演算部１３，画像合成部１４及びキーボード１５などが接続している。

眼底カメラ５は、図１３に示すように、ベース１６を有しており、ベース１６には顎台１７が、被検者の顔面をカメラ本体に対して支持し得る形で設けられている。ベース１６にはカメラ本体１９が、水平方向、即ち図中矢印Ａ、Ｂ方向に所定範囲に渡り移動自在に設けられており、カメラ本体１９には、対物レンズ２０が、被検者の撮影すべき被検眼と対向し得る形で設けられている。また、カメラ本体１９の図中上部には、リレーレンズユニット２４を介してＣＣＤカメラ１８が接続している。

パノラマ眼底画像合成装置１は、以上のような構成を有するので、パノラマ眼底画像合成装置１により、被検者の眼底のパノラマ眼底画像を生成取得するには、まず、被検者の顎を顎台１７に乗せて、検眼すべき目とカメラ本体１９を対向させる。次に、検査者はカメラ本体１９を図１３矢印Ａ方向又はＢ方向に移動させて、被検者の右目又は左目とカメラ本体１９の対物レンズ２０を対向させる。

この状態で、検査者はキーボード１５上の図示しない適宜な操作ボタンを操作することで、カメラ制御部９を介して眼底カメラ５を駆動し、被検者の眼底画像を取得する。この眼底画像は、被検眼に対する対物レンズ２０の相対位置を変化させて同一の被検眼に対して複数枚の眼底画像を取得して、被検眼の眼底の広い範囲を撮影する。所得された眼底画像は、例えば、図１から図３に示すように、眼底画像ＦＩ１、ＦＩ２、ＦＩ３となる。取得された眼底画像ＦＩ１、ＦＩ２、ＦＩ３は、同一の被検眼についての眼底画像であるので、複数の眼底画像の中には、共通の眼底領域が撮影されている画像が存在する。これは同一の被検眼についての全ての眼底画像に、共通の眼底領域が撮影されていることを意味するのではなく、取得された複数の眼底画像の間で、互いに共通の眼底領域を写した画像（それらは、必ずしも同一の眼底領域とは限らないが）があるという意味である。

そこで、取得した複数の眼底画像ＦＩ１、ＦＩ２、ＦＩ３を、各眼底画像で写し込まれた共通の眼底領域を重ね合わせる形で互いにつなぎ合わせ、結果的に一つの大きなパノラマ眼底画像を合成する。

以下、その詳細な手順を説明する。主制御部２は、眼底カメラ５で取得された同一の被検眼に対して、レンズと被検眼の相対位置を変化させて取得した複数の眼底画像ＦＩ１、ＦＩ２、ＦＩ３を、画像メモリ７に格納する。次いで、検査者がキーボード１５を操作して、当該被検眼についてのパノラマ眼底画像を合成するように指令する、パノラマ眼底画像合成指令Ｃ１が出力された場合には、主制御部２は、低空間周波数成分除去部１０に対して、取得した複数の眼底画像ＦＩ１、ＦＩ２、ＦＩ３がカラー画像か又はグレー画像（蛍光撮影の場合の画像、以下同様）かの判定を行うように指令する。

眼底写真は一般的に、カラー画像、グレー画像の2種類があり、カラー画像の場合は、血管部分が周囲より暗く(低輝度)、グレー(蛍光)画像の場合は、逆に血管部分が周囲より明るい(高輝度)ことが特徴である。従って、後述する低空間周波数成分の除去処理に際して、血管部分が誤って除去されないように、取得した眼底画像ＦＩ１、ＦＩ２、ＦＩ３がカラーであるかグレーであるかを判定して、対応する処理を行う。

取得した眼底画像ＦＩ１、ＦＩ２、ＦＩ３が、カラー画像かグレー(蛍光)画像かを判定するには、通常、眼底画像の撮影時に、各画像の属性データとして当該画像がカラー画像かグレー(蛍光)画像かを示すデータをカラー情報として格納しておき、当該カラー情報を参照して判断する方法と、以下に述べる画像処理によって各眼底画像ＦＩ１、ＦＩ２、ＦＩ３の画素情報から演算判別する方法がある。

即ち、各眼底画像ＦＩ１、ＦＩ２、ＦＩ３の画素情報から、当該眼底画像がカラー画像かグレー(蛍光)画像かを演算判別する。それには、各眼底画像の画像を構成するＲ（赤）、Ｇ（緑）、Ｂ（青）の各色要素の差分画像を生成し、その差分画像の標準偏差を求めて、判定する。しかし、判定方法は、当該方法に限られるわけではない。

低空間周波数成分除去部１０は、まず、n番目の画像について、以下の式でカラー差分画像を作成する

ただし、n: 画像番号、Ｒｎ、Ｂｎ、Ｇｎ：n番目の画像の各カラープレーン
上で得た差分画像Ｃｎの標準偏差σｎを演算する。この値がカラー判別閾値以下であれば、n番目の画像のカラープロファイルはグレー画像であると判定する。即ち、

ここでThresholdは既定の判別閾値である

N枚の入力画像に対して、上述の処理を実施し、全画像のカラープロファイルがカラー画像またはグレー画像で一致したときに、取得した眼底画像はカラー画像またはグレー画像と判定する。グレー画像であった場合は、血管部分が周囲より明るい(高輝度)ので、後述する血管抽出処理を円滑に行うために、ここで全画像の輝度階調を反転する処理をして、血管部分を周囲より暗く(低輝度)する。また、カラー画像であった場合は、既に述べたように、血管部分が周囲より暗い(低輝度)ので、そのままで後述する血管抽出処理を行うことが出来ることから、この段階では何もしない。

なお、カラー差分画像の作成に際して、RGB→HSVカラーモデル変換を行い、Saturation(彩度)レイヤーに対して同様の処理を行うこともできる。

こうして、取得した眼底画像ＦＩ１、ＦＩ２、ＦＩ３に対してカラー画像かグレー(蛍光)画像かの判定処理を行い、取得した眼底画像ＦＩ１、ＦＩ２、ＦＩ３がグレー(蛍光)画像だった場合には、取得した眼底画像ＦＩ１、ＦＩ２、ＦＩ３の輝度諧調反転処理を行い、低空間周波数成分除去部１０は次の処理に入る。

即ち、低空間周波数成分除去部１０は、主制御部２からの指令により、眼底画像ＦＩ１、ＦＩ２、ＦＩ３から乳頭、フレアなどの低空間周波数成分を除去する処理を行う。

低空間周波数成分除去部１０は、各眼底画像ＦＩ１、ＦＩ２、ＦＩ３から、相対的に輝度の低い血管成分等の高空間周波数成分を除去した画像、従って、眼底画像ＦＩ中のフレア、乳頭、脈絡膜等を通過させた画像を、低空間周波数成分画像ＬＧとして演算取得する。例えば、図４に示す眼底画像ＦＩ１（部分表示）から、図５に示すように、低空間周波数成分画像ＬＧを抽出する。

この処理は、低域通過フィルタとして、例えばモルフォロジを用いて、眼底画像ＦＩ１（以下、眼底画像ＦＩ１についてのみ説明するが、他の眼底画像ＦＩ２，ＩＦ３についても同様な処理を行う。また、以後、各眼底画像に共通して行われる処理については、眼底画像ＦＩ１、ＦＩ２、ＦＩ３を区別することなく、眼底画像ＦＩとして記述する）に作用させることで実現する。この場合、血管成分より低い空間周波数成分(フレア、乳頭、脈絡膜、など)を通過させるのがこの処理の目的なので、構造要素としては画像内の血管太さの最大値より大きい構造を選ぶようにする。例えば図４の例では、1.4Mpixelの眼底画像に対して、半径20pixelの真円形の構造要素を使用する。なお、低域通過フィルタとしてはモルフォロジの他にも、平滑化フィルタ、フーリエ変換、ウェーブレットなどを適用することが可能である。

低空間周波数成分除去部１０は、図４の眼底画像ＦＩ及び当該眼底画像ＦＩから抽出された低空間周波数成分画像ＬＧに基づいて、それらの画像の差分を演算抽出して、図６に示すような、低空間周波数成分除去画像を血管抽出画像ＩＭとして演算取得する。低空間周波数成分除去画像ＩＭは、眼底画像ＦＩから、フレア、乳頭、脈絡膜、などの低い空間周波数成分が除去され、結果として血管部分等の高空間周波数成分が残った形の、即ち血管部分ＢＰを抽出した画像となる。更に、低空間周波数成分除去部１０は、図６の血管抽出画像ＩＭから、低空間周波数成分除去処理で除去しきれなかったその他のノイズ画像部分（図６中、細かな斑点状のノイズ）を、公知のノイズ除去処理演算（例えば、前述のモルフォロジ処理など）を用いて除去して血管抽出画像ＩＭの血管部分ＢＰを更に明確に抽出する処理を行う。同時に、血管成分BPをさらに明確に抽出するため、全画像の血管成分BPのコントラストが一定になるよう調整する。前述したように既に低空間周波数成分は除かれているため、この処理は容易に行うことができる。

こうして、低空間周波数成分除去部１０で、全ての眼底画像ＦＩからその血管部分ＢＰを抽出した血管抽出画像ＩＭが生成されたところで、主制御部２は、コーナ検出部１１に対して、血管抽出画像ＩＭに基づいて、該画像ＩＭから、曲率が大きい点（曲がりが急な点）を抽出するコーナ検出処理を行うように指令する。

これを受けて、コーナ検出部１１は、公知のコーナ検出方法を用いて、図７に示すように、血管抽出画像ＩＭ上に示された血管部分ＢＰから、当該血管部分ＢＰのコーナ部を抽出したコーナ検出画像ＣＩを取得する処理を行う。この処理は、例えばHarrisオペレータを用いることが出来るが、その他のコーナ検出方法としては、SUSANオペレータ、FAST特徴量、最小固有値法などを用いることも可能である。図７の場合、検出されたコーナは、点ＤＴで示されている。なお、この時点で、血管抽出画像ＩＭに示された画像はその殆どが血管部分ＢＰから構成され、フレア、乳頭、脈絡膜、などの低い空間周波数成分が除去されているので、コーナ検出処理により検出されるコーナは、ほぼ血管部分ＢＰに関するコーナであると高い確率で推定される。

こうしてコーナ検出画像ＣＩが得られたところで、コーナ検出部１１は、コーナ検出画像ＣＩから低空間周波数成分除去画像ＩＭを構成する、即ち元の眼底画像ＦＩの画素データを除去する処理を行い、図８に示すように、コーナを示す点ＤＴのみからなるコーナデータ画像ＣＤを演算取得する。コーナデータ画像ＣＤは、眼底画像ＦＩから、血管部分ＢＰのコーナ部を点ＤＴとして抽出したものである。

次に、コーナ検出部１１は、得られたコーナデータ画像ＣＤに任意の窓関数を畳み込んで、該コーナデータ画像ＣＤを変換して、当該コーナデータ画像ＣＤについての確率分布図を演算取得する処理を実行する。この処理は、以下のように行われる。

まず、n枚目の画像Ｇｎから検出したc個のコーナ部、即ちコーナ特徴点Ｆｎ（ｘ_ｃ，ｙ_ｃ）を座標平面Ｔｎへ展開する。

つまり、Ｔｎは、特徴点を検出した座標で値1、その他は値0、となる特徴点平面である。

次に、特徴点平面Ｔｎに任意の窓関数ｗを畳み込むことで、図９に示すように、確率分布図Ｐｎを得る。これは各座標において正しい特徴点が存在する確率を示すものである。

即ち、

ここで、ｗは、(2p+1)×(2q+1)サイズの任意の窓関数である。例えば一次元ガウス窓を二次元へ拡張したものである。

こうして、全ての眼底画像ＦＩについて、そのコーナデータ画像ＣＤから確率分布図Ｐｎを得られたところで、主制御部２はマッチング処理部１２に対して、得られた各眼底画像ＦＩに対応した確率分布図Ｐｎとコーナデータ画像ＣＤに基づいて、図１０に示すように、ある眼底画像ＦＩｎに対応した確率分布図Ｐｎに対して、当該眼底画像ＦＩｎ以外の眼底画像ＦＩ_ｎ＋１に対応するコーナデータ画像ＣＤ（Ｔ_ｎ＋１）を、一枚づつ重ね合わせ、両画像の相対変位量、即ち座標ずれ量（ｕ，ｖ）を変化させながら、両画像Ｐｎ、Ｔ_ｎ＋１のマッチング処理を行うように指令する。このマッチング処理は、２枚の眼底画像ＦＩの画素間で行われるものではなく、確率分布図Ｐｎと特徴点データであるコーナデータ画像ＣＤ間で行われるので、もとの眼底画像ＦＩの画像の撮影条件等(ガンマ、フレア、乳頭や血管の多少、等)が理想的(一定)ではないときなど、検出した特徴点の対応が必ずしも両画像間で取れなくても、統計的に検出できることから、強度(ロバスト性)があるものである。また、マッチング処理は、既に述べたように、特徴点データであるコーナデータ画像ＣＤ及び確率分布図Ｐｎの間で行うので、眼底画像ＦＩの画素データ間で行うよりも計算量は大幅に少なくすることが出来、短時間での処理が可能となる。

以下、マッチングの具体的な処理について説明する。図１０に示すように、n枚目の画像Ｐｎと（ｎ＋１）枚目の画像Ｔ_ｎ＋１の座標ずれ量が（ｕ，ｖ）である時、画像Ｐｎと画像Ｔ_ｎ＋１の重複領域をＲ_{（ｕ，ｖ）}とし、この領域に限って以下の演算を行う。

次に、主制御部２はスコア演算部１３に対して、上記の結果を使ってＰｎとＴ_ｎ＋１のずれ量が（ｕ、ｖ）であるときのマッチング確率スコアＳｃｏｒｅ_{（ｕ，ｖ）}を計算してその結果を適宜なメモリに格納するように指令する。この確率スコアＳｃｏｒｅ_{（ｕ，ｖ）}は、外れ率も加味したうえでの、両画像の特徴点が一致している確率を表すものとなる。

ただし k は定数

以上で得られるスコアＳｃｏｒｅ_{（ｕ，ｖ）}を、任意のずれ量の範囲（ｕ、ｖ）おいてそれぞれ算出する。例えば(−w < u < w、−h < v < h) の範囲で、ｕ，ｖを変化させて行う。ただし(w, h)は画像Ｐｎと画像Ｔ_ｎ＋１の画像サイズ（両画像は、ｗ×ｈの同一サイズとする）である。

範囲内の計算が全て終わったら、メモリに記録された全スコアを検査し、図１１に示すように、スコアが既定の閾値ＳＨ以上であれば、正しいずれ量を検出したとみなして、当該そのスコアを検出した際のずれ量（ｕ、ｖ）を、画像Ｐｎに対応する眼底画像ＦＩｎと、画像Ｔ_ｎ＋１に対応する眼底画像ＦＩ_ｎ＋１のずれ量とする。候補が複数ある場合には、はいちばんスコアが大きいものを選ぶ。こうして検出されたずれ量（ｕ、ｖ）が、眼底画像ＦＩｎと、画像Ｔ_ｎ＋１に対応する眼底画像ＦＩ_ｎ＋１のずれ量である。

こうしたスコア算出処理を全ての眼底画像ＦＩについて、それぞれその対応する確率分布図Ｐｎを用いて、それ以外の眼底画像ＦＩに対応する全てのコーナデータ画像ＣＤとの間で行って、得られたスコアＳｃｏｒｅ_{（ｕ，ｖ）}をメモリに記録したところで、主制御部２は画像合成部１４に対して、同一の被検眼について取得された複数の眼底画像ＦＩを重ね合わせる形でつなぎ合わせてパノラマ眼底画像を生成するように指令する。

画像合成部１４は、これを受けて、スコア演算部１３で算出された各眼底画像ＦＩ間のスコアを比較して、ある眼底画像ＦＩｎに対して所定の閾値ＳＨを超えたスコアが算出された別の眼底画像ＦＩｍが有るか否かを判定し、有った場合には当該スコアが算出された別の眼底画像ＦＩｍを、当該眼底画像ＦＩｎに接続する眼底画像ＦＩとして決定する。

ある眼底画像ＦＩｎに対する別の眼底画像ＦＩｍのスコアが所定の閾値ＳＨを超えるということは、図１０に示すマッチング処理を行った際に、あるずれ量（ｕ、ｖ）で眼底画像ＦＩｎと眼底画像ＦＩｍを重ねた場合、その重複領域をＲ_{（ｕ，ｖ）}部分で、眼底画像ＦＩｎと眼底画像ＦＩｍがその特徴点（カーブ）が高い確率で一致していることを意味することから、画像合成部１４は、当該閾値ＳＨを超えた２枚の眼底画像ＦＩｎ、ＦＩｍが互いに連続する画像であると判断して、それら２枚の眼底画像ＦＩｎ、ＦＩｍを、ずれ量（ｕ、ｖ）に基づいて、図１０に示すような位置関係となるように重ね合わせ配置する。

同様に、全ての眼底画像ＦＩに対して同様な処理を行って、それぞれの眼底画像ＦＩと接続されるべき別の眼底画像ＦＩを閾値ＳＨを基準に選択して、その際のずれ量（ｕ、ｖ）に基づいて両眼底画像ＦＩを重ね合わせる形で配置することで、全体としては、図１２に示すように、取得された眼底画像ＦＩがその一部を重複させた形（それぞれの重複領域をＲ_{（ｕ，ｖ）}に対応する）で合成され、パノラマ眼底画像ＰＩが合成される。画像合成部１４で合成されたパノラマ眼底画像ＰＩはディスプレイ６に表示される。

なお、一枚の眼底画像ＦＩｎに対して複数の眼底画像ＦＩｍが閾値ＳＨを超え、候補が複数発生した場合には、それらの中で一番スコアの高い眼底画像ＦＩｍを当該眼底画像ＦＩｎ接続すべき眼底画像ＦＩｍとして選択する。

上述の実施例は、本発明を図１４に示す、低空間周波数成分除去部１０、コーナ検出部１１、マッチング処理部１２、スコア演算部１３及び画像合成部１４などのハードウエア手段を用いて実現した場合について述べた、それらの一部又は全ての機能をソフトウエアを用いて、コンピュータで時分割的に実行し、同様の作用効果を発揮させることが出来、そうした装置も本発明に含まれるものである。

図１は、眼底カメラで取得される、同一被検眼についての一連の眼底画像の一例を示す図。 図２は、眼底カメラで取得される、同一被検眼についての一連の眼底画像の一例を示す図。 図３は、眼底カメラで取得される、同一被検眼についての一連の眼底画像の一例を示す図。 図４は、眼底画像の拡大図。 図５は、図４の画像より血管成分より低い空間周波数成分を抽出した画像を示す図。 図６は、図４の画像から図５の低空間周波数成分を除去した画像を示す図。 図７は、図６の画像から血管のコーナ特徴点を検出した画像を示す図。 図８は、図７の画像から、元の血管画像を除去してコーナ特徴点のみとした画像を示す図。 図９は、図８のコーナ特徴点の画像を確率分布図へ変換した画像を示す図。 図１０は、確率分布図の画像とコーナ特徴点の画像を重ね合わせてマッチングの確率スコアを演算処理する過程を示す図。 図１１は、求められた移動量と確率分布図スコアの関連を示す図。 図１２は、合成されたパノラマ眼底画像の一例を示す図。 図１３は、眼底カメラの一例を示す正面図。 図１４は、本発明が適用される、パノラマ眼底画像合成装置の一例を示すブロック図。

符号の説明

１……パノラマ眼底画像合成装置
５……眼底カメラ
１０……血管抽出画像取得手段（低空間周波数成分除去部）
１２……マッチングスコア演算手段（マッチング処理部）
１３……マッチングスコア演算手段（スコア演算部）
１４……画像合成手段（画像合成部）
ＦＩ……眼底画像
ＩＭ……血管抽出画像
ＰＩ……パノラマ眼底画像
ＳＨ……閾値

Claims (11)

1. 同一の被検眼について、該被検眼に対する眼底カメラの対物レンズの相対的位置を変化させて複数枚の眼底画像を取得し、該取得された眼底画像を重ね合わせる形で配置して前記被検眼についてのパノラマ眼底画像を合成する、パノラマ眼底画像合成装置において、
   前記眼底カメラで取得された前記同一の被検眼についての複数枚の眼底画像を格納するメモリ、
   前記複数の眼底画像から血管部分を抽出した血管抽出画像を演算取得する血管抽出画像取得手段、
   前記取得された血管抽出画像から血管部分のコーナ部分を検出したコーナデータ画像を演算取得するコーナデータ画像取得手段、
   前記コーナデータ画像に窓関数を畳み込んで当該コーナデータ画像についての確率分布図を演算取得する確率分布図取得手段、
   得られた各眼底画像に対応した前記確率分布図と前記コーナデータ画像に基づいて、前記複数の眼底画像間のマッチング処理を行って、その際のマッチング確率スコアを演算し、その結果をメモリに格納するマッチングスコア演算手段、及び、
   前記得られたマッチング確率スコアに基づいて前記複数の眼底画像を重ね合わせ配置してパノラマ眼底画像を合成する画像合成手段、
   を有することを特徴とする、パノラマ眼底画像合成装置。
2. 前記血管抽出画像取得手段は、
   前記眼底画像から低い空間周波数成分を持つ画像を抽出して低空間周波数成分画像を取得する低空間周波数成分画像生成手段、及び、
   前記眼底画像から、該取得された低空間周波数成分画像の差分を演算して低空間周波数成分除去画像を前記血管抽出画像として演算取得する、低空間周波数成分除去手段、
   を有することを特徴とする、請求項１記載のパノラマ眼底画像合成装置。
3. 前記低空間周波数成分画像生成手段は、
   前記眼底画像にモルフォロジ処理を施して前記低空間周波数成分画像を取得する、モルフォロジ処理手段を有することを特徴とする、請求項２記載のパノラマ眼底画像合成装置。
4. 前記コーナデータ画像取得手段は、
   前記取得された血管抽出画像上で、当該画像上における血管部分のコーナを検出したコーナ検出画像を取得するするコーナ画像取得手段、及び、
   前記コーナ検出画像から、該コーナ検出画像に残っている前記眼底画像の画素データを除去した画像をコーナデータ画像として演算取得するコーナデータ画像取得手段、
   を有することを特徴とする、請求項１記載のパノラマ眼底画像合成装置。
5. 前記コーナ画像取得手段は、
   前記血管部分のコーナ検出をHarrisオペレータを用いて行う、Harrisオペレータ処理手段を有することを特徴とする、請求項４記載のパノラマ眼底画像合成装置。
6. 前記マッチングスコア演算手段は、
   ある眼底画像の確率分布図に対して、当該眼底画像以外の眼底画像に対応するコーナデータ画像を、一枚ずつ重ね合わせ、両画像の相対変位量を変化させながら、両画像のマッチング処理を行うマッチング処理手段、及び、
   前記相対変位量を所定の範囲で変化させて、当該所定範囲の前記マッチング確率スコアを演算するスコア演算手段、
   を有することを特徴とする、請求項１記載のパノラマ眼底画像合成装置。
7. 前記マッチング処理手段によるマッチング処理は、前記確率分布図とコーナデータ画像が重複する重複領域についてのみ実行することを特徴とする、請求項６記載のパノラマ眼底画像合成装置。
8. 前記画像合成手段は、
   マッチングスコア演算手段で演算された各眼底画像間のマッチング確率スコアを比較して、ある眼底画像に対して所定の閾値を超えたスコアが算出された別の眼底画像が有るか否かを判定する閾値判定手段、
   ある眼底画像に対して所定の閾値を超えたスコアが算出された別の眼底画像が有った場合に、当該スコアが算出された別の眼底画像を、当該眼底画像に接続する眼底画像として選択決定する画像選択手段、及び、
   該選択された別の眼底画像と前記ある眼底画像を重ね合わせて配置して前記パノラマ眼底画像を合成する画像配置手段、
   を有することを特徴とする、請求項１記載のパノラマ眼底画像合成装置。
9. 前記眼底カメラで取得された前記同一の被検眼についての複数枚の眼底画像がカラー画像であるのかグレー画像であるのかを判定するカラー判定手段、及び、
   前記カラー判定手段により、前記眼底画像がグレー画像と判定された場合に、当該眼底画像の輝度階調を反転処理する輝度反転手段、を有し、
   前記眼底画像がグレー画像と判定された場合には、前記血管抽出画像取得手段は、前記輝度反転手段で輝度階調が反転された眼底画像を用いて、血管部分を抽出した血管抽出画像を演算取得する、
   ことを特徴とする、請求項１記載のパノラマ眼底画像合成装置。
10. 前記カラー判定手段は、
    前記眼底画像を構成する各色要素の差分画像を生成する差分画像生成手段、
    前記差分画像の標準偏差を演算し、その値がカラー判別閾値以下の場合に、グレー画像であると判定するグレー画像判定手段を、
    有することを特徴とする、請求項１０記載のパノラマ眼底画像合成装置。
11. 同一の被検眼について、該被検眼に対する眼底カメラの対物レンズの相対的位置を変化させて複数枚の眼底画像を取得し、該取得された眼底画像を重ね合わせる形で配置して前記被検眼についてのパノラマ眼底画像を合成する、パノラマ眼底画像合成方法において、
    前記眼底カメラで取得された前記同一の被検眼についての複数枚の眼底画像を取得するステップ、
    前記複数の眼底画像から血管部分を 抽出した血管抽出画像を演算取得するステップ、
    前記取得された血管抽出画像から血管部分のコーナ部分を検出したコーナデータ画像を演算取得するステップ、
    前記コーナデータ画像に窓関数を畳み込んで当該コーナデータ画像についての確率分布図を演算取得するステップ、
    得られた各眼底画像に対応した前記確率分布図と前記コーナデータ画像に基づいて、前記複数の眼底画像間のマッチング処理を行って、その際のマッチング確率スコアを演算し、その結果をメモリに格納するステップ、及び、
    前記得られたマッチング確率スコアに基づいて前記複数の眼底画像を重ね合わせ配置してパノラマ眼底画像を合成するステップ、
    を有することを特徴とする、パノラマ眼底画像合成方法。