JP2009544377A - 眼底パノラマ画像の調整方法 - Google Patents

Abstract

本発明は、特に眼底カメラの複数の画像からの眼底パノラマ画像の作成ないしは計算方法に関する。本方法は、−予備位置合わせを行って、各画像の相互間の相対的なジオメトリック・マッピングのための１つの第１の量を決定する工程、−相対的なジオメトリック・マッピングのための該第１の量が関係している１つのアンカー画像を決定する工程、−１つのブロック・マッチング・アルゴリズムを利用して、アンカー画像と複数の別の画像の互いにマッピングされる領域を決定する工程、−これらの互いにマッピングされた領域の相関的な位置から、アンカー画像と別の画像間のジオメトリック変換のための複数の変換パラメータを決定する工程、および、−別の画像を、複数の変換パラメータを用いてアンカー画像に変換して、別の画像と重ね合わせ、かつ別の画像同士を重ね合わせる工程を特徴とする。

Description

本発明は、特に眼底カメラの画像からの眼底パノラマ画像の調整ないしは計算方法に関する。

大面積の眼底合成写真（パノラマ画像とも呼ばれる）の作成は、たとえば糖尿病性網膜症など様々な眼病の所見および経過管理のために不可欠である。通常の眼底カメラでは、光学的および生理学的な限界のために、５０°を上回る立体角の撮影は不可能である。したがって、それよりも大きな立体角をカバーする合成写真を作成するために、オーバーラップする部分画像を複数枚撮影して適切に合成している。そのためには、これらの画像を、幾何学的に正確に相互マッピングさせる必要がある他にも、多くは明暗度および／または色のマッチングが必要となっている。一部では、これらの部分画像の位置および順序が、臨床プロトコル（たとえばＥＴＤＲＳ（Ｅａｒｌｙ Ｔｒｅａｔｍｅｎｔ Ｄｉａｂｅｔｉｃ Ｒｅｔｉｎｏｐａｔｈｙ Ｓｔｕｄｙ：糖尿病性網膜症の早期治療研究））により規定されるようになっている。

眼底のアナログ写真では、それぞれの部分画像のポジが切り取られて、互いに対して位置をずらしたり回したりしながら、１枚の合成画像に貼り合わされる。その際に加工者は、特異点（大抵は特徴的な曲率または交叉部を有する眼底血管）を可能な限り良好に重ね合わせることを試みる。この方法は、時間がかかるとともに、直進および回転補正に限定され、また再現性にも限りがある。一般には露光条件が異なるために、それぞれの部分画像の境界がくっきりと際立つことになるが、これは合成結果の所見を困難にしている。

部分画像が電子形式で存在する場合は、異なる部分画像の対応点に手作業でマーキングを施すことにより、（一般には変換実施後の対応点の見逃し誤りの最小限化の意味での）最適合成をもたらす変換を決定することができる。

この方法では、操作者には、膨大な時間を必要とする作業が要求される。最初に、それぞれの部分画像の大まかな配置を決定しなければならない。その後で、部分画像のそれぞれについて特異点（たとえば血管交叉部などの「標認点」）を定めて、少なくとも１枚の別の部分画像の対応点にマーキングを施さなければならない。大抵の場合、操作者はその際に作画解像度をいろいろと切り換えなければならない。これらの対応点を評価することにより―標認点の個数に従属して―様々な幾何学的な変換を計算することができる。相応に変換されたこれらの部分画像を重ね合わせて、（デジタル）合成画像が作成される。

対応する標認点を自動的に（すなわちコンピュータ支援により）決定することも提案されている。チャンウィマリュアングら（Ｃｈａｎｗｉｍａｌｕａｎｇ ｅｔ ａｌ．）の論文「Ｈｙｂｒｉｄ Ｒｅｔｉｎａｌ Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ」ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ ｉｎ Ｂｉｏｍｅｄｉｃｉｎｅ １０（１）：ｐ．１２９〜１４２（２００６）では、１枚の部分画像の「標認点候補」から出発して、様々な類似性の尺度と統計的解析に基づいて複数の別の部分画像の対応する標認点が決定されるようになっている。その後の経過（最適変換の計算、部分画像の重ね合わせ）については、上記で説明した半自動式の手順と同様に構成されている。計算コストを低減するために、基準点の位置合わせの前に２枚の画像間の位置ずれを計算する２段階の方法が提案されている。これは、伝達情報量と様々な最適化技法を用いて行われるようになっている。

この方法の短所は、１つには、検出された標認点が、撮影品質（焦点調整、露光）とトリミングの影響を受ける所定の基準を充足する必要があることから、ロバスト性に劣る点にある。それ以外にも、決められた標認点のそれぞれの部分画像への一様な配分が保証されていない。その結果、ばらの（組織が多い）画像領域だけが変換の決定に取り入れられて、たとえば周辺のスケーリングが無視されたままとなることがある。変換決定に使用される標認点の個数は、画像により決まるために、一概に予測できなくなっている。

提案されている別の方法、たとえば眼底血管をジオメトリック・ツリーの形態で再構築する方法では、計算コストが桁外れとなっている（たとえばチャンウィマリュアングら（Ｃｈａｎｗｉｍａｌｕａｎｇ ｅｔ ａｌ．）「Ａｎ ｅｆｆｉｃｉｅｎｔ ｂｌｏｏｄ ｖｅｓｓｅｌ ｄｅｔｅｃｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｒｅｔｉｎａｌ ｉｍａｇｅｓ ｕｓｉｎｇ ｌｏｃａｌ ｅｎｔｒｏｐｙ ｔｈｒｅｓｈｏｌｄｉｎｇ」ＩＳＣＡＳ（５）２００３：ｐ．２１〜２４）。

特開平第１１−３３２８３２号公報には、それぞれの部分画像について向きや倍率などの撮影パラメータを記憶して、それを利用して解析的に、画像内容を利用することなくパノラマ画像を作成することが提案されている。

たとえば米国登録特許第４，７１５，７０３号明細書からは、望ましくない迷光をカットするために、眼底カメラに１つのアパーチャ・マスク（視野絞り）を備えることが知られている。

米国公開特許第２００４／０２５４４７７号明細書には、視野絞りの実物に代わり、ユーザが直径を入力することにより仮想視野絞りを定義して、（長方形の）デジタル画像のグレー・スケールならびにピクセルを、視野絞りを使用した撮影であるかのような印象が醸し出されるように操作することが提案されている。

本発明の課題は、上述の従来技術の短所を克服し、眼底パノラマ画像を作成するための効率的な、自動的に実行可能な方法を提示することにある。

この課題は、本発明により、眼底の様々なカットが示されている複数枚の初期画像がデジタル形式で存在している、眼底パノラマ画像の作成方法において、
−予備位置合わせを行って、各画像の相互間の相対的な幾何学的なマッピングのための１つの第１の量を決定し、
−この相対的な幾何学的マッピングのための第１の量が関係している１つのアンカー画像を決定し、
−１つのブロック・マッチング・アルゴリズムを利用して、このアンカー画像と複数の別の画像の互いにマッピングされる領域を決定し、
−これらの互いにマッピングされた領域の相関的な位置から、アンカー画像と複数の別の画像間のジオメトリック変換のための複数の変換パラメータを決定し、さらに、
−複数の別の画像を、これらの変換パラメータを用いてアンカー画像に変換して、これと重ね合わせ、かつ別の画像同士を重ね合わせる
ことにより、解決される。

その際には、それぞれの初期画像において１つの視野マスクが決定または入力され、この視野マスクの外側に位置する画像部分がフィルタで除去されて、視野マスクの内側に位置する個々の初期画像の画像部分だけを用いてその後の計算が実行されるようにすると、非常に有利である。

予備位置合わせは、本発明に従った方法では、それぞれの初期画像の間の１つの２次元相互相関関数を計算することにより行われるが、その際には、好ましくは事前に、これらの初期画像のダウン・スケーリングないしは解像度の低下が実行されるようになっている。これについては、それぞれの画像に存在している血管またはその類の組織を、たとえばそのコントラストに関して増幅したり、別の方法で際立たせたりした場合に、極めて良好な結果が達成されている。

この予備位置合わせから、それぞれの初期画像の共通領域の数および／または共通領域の距離を評価することによって、１つのアンカー画像が決定されるようにすると有利である。

ブロック・マッチング・アルゴリズムについては、これが実質的に、予備位置合わせによりそれぞれの初期画像が重なり合う可能性を予想できるそれぞれの初期画像の領域だけに適用されるようにすると、非常に有利である。

本発明に従った方法においては、予備位置合わせによりそれぞれの初期画像が重なり合う可能性を予想できるそれぞれの初期画像の領域内で、組織解析によりブロック・マッチングに非常に適した部分領域の決定が行われて、ブロック・マッチング・アルゴリズムは好適にもこの部分領域に適用されるようになっている。この組織解析は、たとえばそれぞれの部分領域の最大情報エントロピーまたは画像のピクセル数の標準偏差を決定することにより行われるようにするとよい。

アンカー画像と複数の別の初期画像間の変換パラメータを、２次元のアプローチ手法により決定し、またその際には特に複数の共通領域を持つ複数の別の初期画像間の変換パラメータも決定して、好ましくは最適化によりすべての初期画像に適した変換パラメータ・セットが決定されるようにすると、非常に有利であることが実証されている。

複数の別の画像をアンカー画像に重ね合わせ、かつ別の画像同士を重ね合わせる際には、画像の明るさおよび／または色の相互マッチングが行われるようにすると、格段と有利である。これは特に、画像において明るく見える血管などの組織を相互マッチングさせることにより、非常に良好に行うことができる。

次に本発明を好ましい実施例に基づき説明する。図１には、この好ましい方法のフローチャートが示されている。
視野マスクの自動決定：
実際の位置合わせ方法を開始する前に、すべての個別画像において、１つの面積基準と、画像全体のヒストグラムの評価結果とに基づいて、視野絞りの自動決定が行われる。視野マスクの外側の領域は、定義により光が遮られ、それにより実際の画像内容よりも暗くなるために、ヒストグラム（＝画像全体のピクセルのグレー・スケールないしは彩色値の度数分布図）から、ピクセルが２つの領域のどちらに含まれるかを分ける境界を容易に決定することができる。万一異常値が生じた場合にこれを消去するために、それ自体としては知られているエロージョン法が適用されるが、その結果、実際の画像内容が、１つのつながった領域内に存在することになる。図２にそのような結果の一例が示されるが、そこでは実際の画像内容１が、視野絞りの弁別域２により取り囲まれている。

１．予備位置合わせ：
最初のステップでは、可能性のある２枚の個別画像の組合せのすべてについて、画像間の予備位置合わせが決定され、評価される。そのために、多くの場合は高解像度の初期画像（たとえば約２０００×２０００ピクセル）が、計算時間を節減するために、たとえば２５０×２５０ピクセルにダウン・スケーリングされるようになっている。他にも、それぞれの画像に存在しているたとえば血管などの組織を、それ自体としては知られている相応のアルゴリズムにより際立たせると非常に有用であることが判明している（たとえば、チョードリーら（Ｃｈａｕｄｈｕｒｉ ｅｔ ａｌ．）：「Ｄｅｔｅｃｔｉｏｎ ｏｆ ｂｌｏｏｄ ｖｅｓｓｅｌｓ ｉｎ ｒｅｔｉｎａｌ ｉｍａｇｅｓ ｕｓｉｎｇ ｔｗｏ−ｄｉｍｅｎｓｉｏｎａｌ ｍａｔｃｈｅｄ ｆｉｌｔｅｒｓ」ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ、Ｖｏｌ．８（１９８９）、Ｎｏ．３、ｐ．２６３〜２６９；チャンウィマリュアングら（Ｃｈａｎｗｉｍａｌｕａｎｇ ｅｔ ａｌ．）：「Ａｎ ｅｆｆｉｃｉｅｎｔ ｂｌｏｏｄ ｖｅｓｓｅｌ ｄｅｔｅｃｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｒｅｔｉｎａｌ ｉｍａｇｅｓ ｕｓｉｎｇ ｌｏｃａｌ ｅｎｔｒｏｐｙ ｔｈｒｅｓｈｏｌｄｉｎｇ」Ｐｒｏｃｅｅｄｉｎｇｓ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ、Ｖｏｌ．５（２００３）、ｐ．２１〜２４）。各画像の相関的な位置のこの暫定的な決定は、面積ベースで、たとえば２次元相互相関関数

により行われる。式中、Ｃ（ ）は相互相関係数、Ａ（ ）およびＢ（ ）は比較対象である２枚の画像である。この相互相関係数の最大値から、公然周知の方法により、画像の２次元の位置ずれが求められる。求められる相互相関係数に際立った最大値が皆無であれば、これは、両方の画像がオーバーラップしていないことを示している。

アンカー画像および計算順序の決定：
この位置のずれの算出結果に基づいて、アンカー画像とならび各部分画像の変換の計算順序が定められる。アンカー画像として、大半の別の画像と何らかのオーバーラップ域を有する画像が選択される。その際に複数の画像が同等となるような場合には、別のすべての画像に対するアンカー画像の候補となり得るこれらの画像の位置ずれの合計を決定し、比較して、この合計が最小であるものをアンカー画像として選択する。計算順序に至るためには、別の画像を位置ずれの大きさ順に並べて、位置ずれが最小のものから開始することが好ましい。

２．基準点位置合わせ：
この第２のステップは、（好ましくは階層的な）ブロック・マッチング法による、客観的な特徴には無関係の一対の基準点を決定することにより構成される。その際には、１つのブロック選択基準、１つの適切な類似性の尺度、たとえば上述の相関係数が使用されるようになっている。ブロック選択基準として、たとえば情報エントロピー

または標準偏差

を利用して、マッチングにおいて十分な結果をもたらすために十分な「組織」を有している領域が定められる。そのために、オーバーラップ域のそれぞれに、たとえば２５×２５ピクセルの複数の部分ブロックが作成されて、エントロピーまたは標準偏差が最大となる部分ブロックが作成される。そのようにして選択されたそれぞれの部分ブロックを用いて、続いてそれぞれの画像間のマッチングが実行されるが、その際には部分ブロックの数を適宜制限することにより、計算時間が限界範囲内に保持されるようにしている。同様にマッチングのために、オーバーラップ域に可能な限り一様な分布がもたらされるようするために、幾何学的観点に基づいて部分ブロックを選択することもできる。マッチング・アルゴリズムとして、再び相関アルゴリズム

が導入されることが好ましいが、別の面積ベースのアルゴリズムも考えられる。

このマッチングの結果は、異なる画像の互いに合致する点の座標値である。
３．パラメータ計算
各画像の幾何学的な相互マッチングのための変換パラメータは、２次元のアプローチ手法に基づき算出される：

式中、ｕ、ｖはアンカー画像（または観察画像にアンカー画像とのオーバーラップが皆無である場合は、初期画像）の座標値、ｘ、ｙは別の観察画像の合致する点のこれに対応した座標値である。ａ_ｉ、ｂ_ｉは、２つの画像間の変換のための合計１２個のパラメータであり、ここではオーバーラップ域の別の基準点を表わす相応の方程式と一緒に、１つの多元方程式系を構成しており、これが、たとえば最小２乗法（またはその他の適切な数値計算法）に基づいて解かれるようになっている。

この計算を、アンカー画像と結び付けられたすべての画像、ならびに、アンカー画像と結び付けられていない画像の場合はこれらに隣接する画像を対象として実行した後には、完全な変換パラメータ・セットを利用できるようになり、これを用いてすべての画像を（アンカー画像と結び付けられていない画像も含めて）アンカー画像の座標系に変換することができる。

４．画像の変換および重ね合わせ
ここでは、これらの変換パラメータを用いて、すべての画像がアンカー画像の座標系に移される。共通画像の中の異なる画像間で明るさが異なると、ノイズのある組織を来たしかねないために、ここではさらにグレー・スケールおよび色のマッチングが公然周知の方法により実行されるようになっている。その際には、最初に画像のより明るい部分（血管またはその類）を相互マッチングさせた後で初めて、それに続いて組織のないバックグラウンドを同化させると有利であることが判明している。

提示されるこの新しい方法により、幾何学的にも測光法の上でも誤りのないパノラマ画像を自動的に作成することができる。
本発明は、上記で説明した好ましい実施例に縛られるものではなく、また当業者による変更によって、特許請求の範囲により定義される保護範囲からの逸脱を来たすことはない。

本発明の好ましい実施例のフローチャート。 視野絞りの弁別域に取り囲まれた画像内容を示す図。

Claims (9)

1. 眼底の様々なカットが写され、デジタル形式で存在している複数の初期画像の眼底パノラマ画像を作成する方法であって、
   予備位置合わせを行って、該各画像の相互間の相対的な幾何学的マッピングのための第１の量を決定する工程、
   該相対的な幾何学的マッピングのための該第１の量が関係している１つのアンカー画像を決定する工程、
   １つのブロック・マッチング・アルゴリズムを利用して、該アンカー画像と複数の別の画像の互いにマッピングされる領域を決定する工程、
   これらの互いにマッピングされた領域の相対的な位置から、該アンカー画像と該複数の別の画像間の幾何学的変換のための複数の変換パラメータを決定する工程、
   該複数の別の画像を、複数の変換パラメータを用いて該アンカー画像に変換して、該複数の別の画像と重ね合わせ、かつ該別の画像同士を重ね合わせる工程
   を備えることを特徴とする方法。
2. 前記各初期画像において１つの視野マスクが決定または入力されて、該視野マスクの外側に位置する画像部分がフィルタで除去される、請求項１に記載の眼底パノラマ画像の作成方法。
3. 請求項１の各工程が、前記視野マスクの内側に位置する個々の初期画像の画像部分だけを用いて実行される、請求項２に記載の眼底パノラマ画像の作成方法。
4. 前記予備位置合わせを、１つの前記各初期画像間の２次元相互相関関数を計算することにより実現する工程であって、好ましくは事前に前記各初期画像のダウン・スケーリングないしは解像度の低下を実行する工程を特徴とする、請求項１乃至３のいずれか１項に記載の眼底パノラマ画像の作成方法。
5. 前記予備位置合わせから、前記各初期画像の共通領域の数と前記各共通領域の距離との少なくとも１つを評価することによって、１つのアンカー画像を決定する工程を特徴とする、請求項１乃至４のいずれか１項に記載の眼底パノラマ画像の作成方法。
6. 前記ブロック・マッチング・アルゴリズムを、実質的に、前記予備位置合わせにより前記各初期画像が重なり合う可能性を予想できる前記各初期画像の領域だけに適用する工程を特徴とする、請求項１乃至５のいずれか１項に記載の眼底パノラマ画像の作成方法。
7. 前記予備位置合わせにより前記各初期画像が重なり合う可能性を予想できる前記各初期画像の前記各領域において、組織解析により前記ブロック・マッチングに非常に適した複数の部分領域の決定を行う工程と、前記ブロック・マッチング・アルゴリズムを好ましくはこれらの部分領域に適用する工程とを特徴とする、請求項１乃至６のいずれか１項に記載の眼底パノラマ画像の作成方法。
8. 前記アンカー画像と前記各別の画像間の前記各変換パラメータを、１つの２次元アプローチ手法に基づき決定する工程であって、特に複数の共通領域を有する複数の別の画像間の変換パラメータも決定して、好ましくは最適化により、すべての初期画像に適した１つの変換パラメータ・セットを決定する工程を特徴とする、請求項１乃至７のいずれか１項に記載の眼底パノラマ画像の作成方法。
9. 前記各別の画像を前記アンカー画像に重ね合わせ、かつ前記別の画像同士を重ね合わせる際に、前記各画像の明るさと色との少なくとも１つの相互マッピングを行う工程を特徴とする、請求項１乃至８のいずれか１項に記載の眼底パノラマ画像の作成方法。

Images