JP2013546084A - 画像中の異常を識別する方法 - Google Patents

Abstract

撮像装置(70)を用いて生成された画像中の異常を識別する方法を開示する。この方法は、第１の数の候補異常及び第２の数の候補異常を受信するステップ(10),(12)を含み、これらの候補異常は、撮像装置で生成された連続画像中に識別される。第１の数の候補異常と第２の数の候補異常との間でコンステレーション・マッチを実行して、これらの間の相関を識別して、コンステレーション・マッチ値で表す(14),(16),(18),(19)。第１の数の候補異常と第２の数の候補異常との間の、種々の相対的なｘ-ｙ方向のシフトに対して、複数のコンステレーション・マッチ値を決定する。特定のｘ−ｙ方向のシフトにおいて良好な相関が見出されれば、第１画像と第２画像との間で候補異常が共通し、このことは、第１及び第２画像が異常を含むことを示す。

Description

本発明は、撮像装置によって生成される画像中の異常を識別する方法及び装置に関するものである。

撮像装置を用いて生成される画像は、この撮像装置によって捕捉することを意図した画像を表現しない異常を含み得る。即ち、種々の理由により、画像は、現実世界の画像には存在しない特徴部分を含み得る。

これらの異常の原因は、例えば、レンズ、ミラー、または他の器具上に積った埃のような撮像装置内の汚染物質；撮像装置内に用いられているミラー、レンズ、または他の器具の不整形；及び／または画像生成に用いるアルゴリズムに関連する画像処理エラーを含み得る。これらの異常は、撮像装置を用いて生成される連続した画像中に再発し得る。

なお、疑問を避けるために、本明細書で用いる「異常」とは、撮像装置またはシステムによって画像に与えられて画像中に出現する異常を包含する。特に、異常とは、撮像装置内に、例えばミラーまたはレンズ上に積った埃による異常を称することがある。

本明細書の残りの部分は、汚染物質によって生じた異常を参照する。しかし、本発明の範囲は、上述した他の異常をカバーすることを意識的に意図していることは、当業者の承知する所である。

埃のような汚染物質は、網膜撮像スキャナの分野では特に問題である。本明細書の残りの部分は主に、網膜撮像スキャナを参照する。しかし、例えばカメラ、光学スキャナ、走査型レーザー検眼鏡、等のような他の撮像装置も、同様に識別される問題を抱え、本発明の方法は、これらの装置によって生成される画像中の異常を識別するために用いることもできることは、当業者の理解する所である。

網膜像中に現れる汚染物質は、網膜撮像スキャナが識別しようとする微細動脈瘤のような病変に似た形で顕現することがある。従って、画像中の特定の特徴部分の分類におけるあらゆる不明瞭さを回避して、スキャナによって生成される画像全体の品質知覚を維持するために、網膜撮像スキャナの光学面を、埃及び他の汚染物質がない状態に維持することが望まれる。

現在知られている、光学面を汚染物質のない状態に維持する方法は、訓練された技術者が規則的間隔で網膜撮像装置を洗浄する周期的保守を含む。場合によっては、この洗浄処理を行うのが早過ぎて、光学面が、洗浄が必要になっていないことがある。他の場合には、洗浄処理を行うのが遅すぎて、光学面が、ある期間だけ準最適な状態で機能していることがある。

埃を検出するための他の既知の方法は、米国特許出願公開第２００５／００６８４４６号明細書（特許文献１）に開示され、この方法は、デジタルカメラを用いて生成された複数の画像を用いて埃マップを生成する。この埃マップを、以前の画像から生成した以前の埃マップの履歴と比較する。埃領域を識別するために用いる方法は、共通の勾配変化の領域を探索することに基づく。この方法は、ノイズに敏感になりやすい。これに加えて、この方法は、画像間に空間的動きが生じる場合に適用可能ではなく、即ち、この方法は、個別の埃の候補が画像間で異なる際に用いることができない。

米国特許出願公開第２００５／００６８４４６号明細書

本発明の第１の態様によれば、撮像装置を用いて生成された画像中の異常を識別する方法が提供され、この方法は、第１の数の候補異常及び第２の数の候補異常から複数の異常を識別するステップを含み、識別された複数の異常は、第１の数の候補異常のうち少なくとも２つを含み、これら少なくとも２つの候補異常は、第２の数の候補異常のうち少なくとも２つと同じ相対的な空間的配置を有し、第１の数の候補異常は、撮像装置を用いて生成された第１画像中に識別され、第２の数の候補異常は、この撮像装置を用いて生成された第２画像中に識別される。

本発明の好適例では、第１の数の候補異常と第２の数の候補異常との間に共通する相対的な空間的配置を用いることによって、本発明は、連続した画像間に共通するが画像間では空間的にシフト（移動）している、画像中の異常の存在を識別することができる。本発明の好適例は、第１の数の候補異常と第２の数の候補異常とに共通する相対的な空間的配置を有する候補異常を識別する。このようにして、本発明の好適例は、候補異常の絶対位置を用いずに異常を識別する。

従って、疑問を避けるために、本明細書で用いる「相対的な空間的配置」とは、第１の数の候補異常及び第２の数の候補異常のうち一方の中の、２つ以上の相対座標を包含する。即ち、相対的な空間的配置は、複数の候補異常の中で、他の１つ以上の候補異常に対する１つの候補異常の相対位置を規定することができる。

好適例では、第１の数の候補異常のうち少なくとも２つの候補異常の相対的な空間的配置を、第２の数の候補異常のうち少なくとも２つの候補異常の相対的な空間的配置と比較することができる。第１の数の候補異常と第２の数の候補異常とで相対的な空間的配置が同じであれば、上記少なくとも２つの候補異常が実際の異常であるものと考えることができる。

本発明の好適例は、撮像装置のユーザが、この撮像装置の動作が、装置の光学面上の汚染物質により生じた異常によって支障されているか否かを判定することを可能にする。これらの好適例は、ユーザが技術者を呼び出して、必要時に光学面を洗浄することを可能にする。このことは、装置の保守及び洗浄をより効率的にする。

随意的に、上記撮像装置を、網膜撮像スキャナまたは走査型レーザー検眼鏡とすることができる。

随意的に、候補異常の相対的な空間的配置は、第１の数の候補異常または第２の数の候補異常における各候補異常の中心から、同じ数の候補異常における他の全ての候補異常の中心までの距離を含む。

好適例では、候補異常間の距離を各候補異常の中心から測定して、共通の基準点を生成する。即ち、本発明の好適例では、各候補異常の中心からの距離を用いて、共通の基準点を使用する。これに加えて、一部の好適例では、複数の候補異常における、各候補異常から測定した残りの候補異常までの距離は、候補異常の配置が、それらの絶対位置を参照せずに決まることを意味する。

随意的に、複数の異常を識別するステップが、第１の数の候補異常と第２の数の候補異常との間でコンステレーション・マッチ（信号点配置図の整合）を実行することを含む。

好適例では、コンステレーション・マッチが、第１の数の候補異常における各候補異常の相対位置を、第２の数の候補異常における各候補異常の相対位置と比較することを可能にする。

随意的に、コンステレーション・マッチを実行することが、第１の数の候補異常と第２の数の候補異常との相関を計算すること、及び第１の数の候補異常の空間的配置と第２の数の候補異常の空間的配置との相関のレベルを表すコンステレーション・マッチ値を決定することを含む。

好適例では、コンステレーション・マッチ値が、第１の数の候補異常の位置が第２の数の候補異常の位置と良好に一致している度合いの定量化を可能にする。本発明の一部の好適例では、第１の数の候補異常からの候補異常と、第２の数の候補異常からの候補異常との間に２つ以上の一致が存在すれば、このことが、網膜像スキャナの光学面上に汚染物質が存在することを示す。

随意的に、コンステレーション・マッチ値を決定することが、第１の数の候補異常における各候補異常の中心から、第２の数の候補異常における各候補異常の中心までの複数の距離を測定すること、及びこれら複数の距離の平均値を計算することを含む。

随意的に、コンステレーション・マッチを実行することが、第２の数の候補異常のうち、第１の数の候補異常における各候補異常から所定半径内にある候補異常の数を表す候補カウント値を決定することを含む。

本発明の好適例では、候補カウント値を決定することを用いて、画像内に含まれる異常の数を特定することができる。一部の好適例では、このことは、撮像装置のユーザが、この撮像装置内の汚染物質のレベルを測定することを可能にする。

随意的に、上記方法が、複数のコンステレーション・マッチ値及び複数の候補カウント値を決定するステップを含み、各コンステレーション・マッチ値及び各候補カウント値は、第１の数の候補異常を、第２の数の候補異常に対してｘ及び／またはｙ方向にシフトした後に決定する。

本発明の好適例では、第１の数の候補異常を、第２の数の候補異常に対してシフトした後にコンステレーション・マッチ値を決定することによって、上記２組の候補異常間の相関のレベルを、ｘ及びｙ座標で表される探索領域全体にわたって決定することができる。これにより、例えば、２つの画像間の汚染物質によって生じるあらゆる空間的シフトを明らかにすることができる。

随意的に、上記方法は、複数の候補カウント値のうち１つが所定閾値より大きいことに応じて、第１画像及び第２画像中の複数の異常を識別するステップをさらに含むことができる。

候補カウント値のうち１つが特定閾値を上回っていれば、このことは、第１の数の候補異常における複数の候補異常の位置と、第２の数の候補異常における、対応する候補異常の位置とに相関があることを意味する。候補カウント値のレベルは、例えば、網膜撮像スキャナの光学面上の汚染物質によって生じた異常の数を示すことができる。

随意的に、上記閾値を、上記複数のカウント値どうしの相対値に応じて決定する。

本発明の好適例では、複数の候補カウント値どうしの相対値に基づいて閾値を決定することによって、上記方法のノイズ性能を改善する。高ノイズの環境では、１つ以上の候補カウント値の絶対値が固定閾値を上回ることがあるが、このことは、コンステレーション・マッチを示さないことがある。しかし、複数の候補カウント値の全てに対する閾値を設定した場合は、異常の存在を識別するためには、特定の候補カウント値が、他の候補カウント値に対して突出していなければならない。

随意的に、上記方法は、撮像装置を用いて生成された第１画像中で、第１の数の候補異常を識別するステップと、この撮像装置を用いて生成された第２画像中で、第２の数の候補異常を識別するステップとを、さらに含むことができる。

第１の数の候補異常及び第２の数の候補異常の識別は、これらの候補異常からの異常の識別と同じ場所で行うことができることを、出願人は認識している。しかし、疑問を避けるために、候補異常の識別を、他の国または地域内の他の場所で行って、他の遠隔地に渡して、候補異常から異常を識別することができることも、出願人は理解している。本発明の方法を、他の場所で識別された候補異常に対して実行することは、本発明の範囲内であることを意図している。

随意的に、第１の数の候補異常及び第２の数の候補異常を識別するステップが、これら第１画像及び第２画像の各々に対して整合（マッチト）フィルタを実行することを含むことができる。

随意的に、整合フィルタを実行することが、異常の表現と、第１画像及び／または第２画像の１つの領域との相関を計算すること、及びこれらの間の相関のレベルを表す相関値を決定することを含むことができる。

好適例では、異常の表現を用いることによって、画像の１つの部分を上記表現と比較することができ、相関値が、この画像のこの部分と上記表現との相関のレベルを与える。高いレベルの相関が、画像中に異常が存在することを示すことができる。

随意的に、上記相関値を決定することが、異常の表現における少なくとも１つの領域の輝度レベルと、この表現を第１画像及び／または第２画像に重ね合わせて（オーバーレイして）対応する領域の輝度レベルとの差分を決定することを含むことができる。上記輝度レベルは、例えば光レベルとすることができる。

特定の好適例では、上記表現を、複数の画素のような複数の領域に分割することができ、この表現の各画素の光レベルを、画像の対応する画素の光レベルと比較することができる。上記相関値は、各々の差の平均値とすることができる。

随意的に、上記方法は、第１の数の候補異常及び／または第２の数の候補異常のうち１つの候補異常を、相関値が所定閾値より大きいことに応じて識別するステップを、さらに含むことができる。

随意的に、上記方法は、複数の相関値を決定することによって複数の候補異常を決定するステップをさらに含むことができ、各相関値は、異常の表現を、画像に対してｘ及び／またはｙ方向にシフトした後に決定する。

特定の好適例では、画像の全体または一部について候補異常を決定することができる。上記表現をｘ及びｙ方向にシフトすることによって、この表現を、画像を横切るようにスライドさせることができる。上記表現が、この表現と高い相関を有する画像中の領域に達すると、高い相関をフィルタによって出力し、これにより候補異常を識別する。この処理は、二次元畳み込み（コンボリューション）と称することができる。

随意的に、上記方法は、上記第１画像及び第２画像を、撮像装置を用いて生成することができる。

撮像機を用いた、第１の数及び第２の数の第１画像及び第２画像の生成は、異常の識別と同じ場所、及び／または候補異常の識別と同じ場所で行うことができることを、出願人は認識している。しかし、疑問を避けるために、第１画像及び第２画像の生成を、他の国または地域内の他の場所で行って、画像を他の遠隔地に渡して、本発明の方法で使用することができることも、出願人は理解している。本発明の方法を、他の場所で生成された画像に対して実行することは、本発明の範囲内であることを意図している。

本発明の第２の態様によれば、上述した方法を実行可能なコンピュータプログラムコードを格納すべく構成されたコンピュータプログラム製品が提供される。

本発明の第３の態様によれば、上述した方法を実行すべく構成されたプロセッサを具えた装置が提供される。

本発明の好適例では、撮像装置が、上述した装置を具えることができる。この撮像装置は、走査型レーザー検眼鏡とすることができる。

以下、本発明の好適な実施形態を、次の図面を参照しながら説明する。

本発明の好適な実施形態の流れ図である。 本発明の好適な実施形態により識別した複数の候補異常を有する第１画像及び第２画像を示す図である。 本発明の好適な実施形態により重ね合わせた、図２の第１画像及び第２画像を示す図である。 本発明の好適な実施形態により重ね合わせてｘ及びｙ方向にシフトした、図２の第１画像及び第２画像を示す図である。 本発明の好適な実施形態により識別し、リンギングを用いて強調した候補異常を有する例示的な網膜像を示す図である。 本発明の好適な実施形態により複数の異常を識別する単一の孤立スパイクを有する二次元探索面を示す図である。 本発明の好適な実施形態により複数の異常を識別する孤立スパイクのない二次元探索面を示す図である。 本発明の好適な実施形態を示す流れ図である。 本発明の好適な実施形態による装置を示す図である。

一般に、本発明の実施形態は、埃の計量値を生成するためのアルゴリズムに関するものである。特に、本発明の実施形態は、埃または他の汚染物質によって汚染された画像と汚れのない画像との、耐ノイズ性のある区別を可能にするコンステレーション・マッチを記述する。

本明細書で用いる「コンステレーション・マッチ」とは、２組の特徴部分の空間的配置の相関を計算するあらゆるアルゴリズムを包含する。即ち、コンステレーション・マッチは、２つのコンステレーション（例えば、第１の数の候補異常及び第２の数の候補異常）間の類似性を探索して、これら２つの一致のレベルを識別する。コンステレーション・マッチは、２つのコンステレーション間の全体的一致のレベルを与えることができる。その代わりに、あるいはこれに加えて、コンステレーション・マッチは、特徴部分のコンステレーション中で、他のコンステレーション中の対応する特徴部分と共通の空間的配置を有する特定の特徴部分を識別することができる。

画像中の異常の識別は、汚染粒子によって２つの画像間に生じ得る複数の候補異常を識別することによって達成される。複数の候補異常は、ノイズまたは他の画像アーティファクトであり得る。

次に、これらの候補異常から「コンステレーション・マッチ」を生成する。これを用いて、ｘ−ｙ座標で表される相対的な画像シフトの範囲について、第１の数の候補異常における各候補異常の質量中心を、第２の数の候補異常の各々の質量中心に対して表現する距離尺度の２Ｄ（二次元）探索面を生成することができる。

図１に、本発明の特定の好適な実施形態の方法を示して参照する。

本発明の好適な実施形態では、第１の数の候補異常及び第２の数の候補異常を受信する（ステップ１０、１２）。上述したように、これら複数の候補異常は、他の場所で識別して現地に送達して、そこで本発明を実行することができる。例えば、候補異常を遠隔の領域、国、あるいは地域で識別して、ローカルサーバーにアップロードすることができる。本発明は、このローカルサーバーから複数の候補異常を検索または受信することのできるマイクロプロセッサ上で実行することができる。

ステップ１４では、第１の数の候補異常を、第２の数の候補異常の上に重ね合わせる（オーバーレイする）。「重ね合わせる（オーバーレイする）」とは、本発明に関係する処理の印象を読者に与えるべく比喩的に用いる。しかし、本明細書に開示する好適な実施形態では、第１の数の候補異常及び第２の数の候補異常を、マイクロプロセッサ内の一連の値によって表現することができ、この場合、第１の数の候補異常と第２の数の候補異常とを「重ね合わせる（オーバーレイする）」ことをコンピュータで実行する。

ステップ１６では、第１の数の候補異常の各々から第２の数の候補異常の各々までの距離を測定する。ステップ１８では、これらの距離の平均値を決定する。

距離の平均値は、コンステレーション・マッチに対するコンステレーション・マッチ値とすることができる。

第１の数の候補異常と第２の数の候補異常との相関が近い（相関値が高い）ほど、距離の平均値が低くなる。例えば、第１の数の候補異常の各々が、第２の数の候補異常のうち１つに重なる理想的な場合には、全ての距離が０になり、距離の平均値もその最低値になる。

ステップ１９では、候補カウント値を特定する。候補カウント値は、第２の数の候補異常における（即ち、第２画像中の）候補異常のうち、第１の数の候補異常における（即ち、第１画像中の）各候補異常から特定半径内にある候補異常の数を定める。

デジタル画像では、候補カウント値は、画素の数によって識別される半径を用いることができる。例えば、候補カウント値は、第２の数の候補異常のうち、第１の数の候補異常における各候補異常から３×３画素の正方形内にある候補異常の数を特定することができる。この画素の３×３行列は、第１の数の候補異常の中心を、その中心とすることができる。

第２の数の候補異常のうち、第１の数の候補異常における各候補異常から特定半径内にある候補異常の数を特定することによって、本明細書に開示する方法は、埃のような汚染物質によって生じた異常の数を特定することができる。

ステップ２０では、第１の数の候補異常をｘ及び／またはｙ方向にシフトして、上記方法はステップ１６に戻る。所望の探索範囲をカバーするのに必要なｘ及びｙ方向のシフトの回数だけ、このことを繰り返す。

本明細書に開示する方法は、コンステレーション・マッチの一部として、コンステレーション・マッチ値を決定すること、及び／または、候補カウント値を決定することができる。１つの好適な実施形態では、この方法が、これらの値を共に決定することができる。

例えば、候補カウント値を用いて、埃によって生じた異常の数の指標を与えることができる。以下に説明するように、複数の候補カウント値の各々を二次元探索面上にプロットすることができる。探索面内の孤立したピークは、埃のような汚染物質によって生じた複数の異常が第１画像中に存在することを示し得る。ピークは、探索面内で識別される他の全てのピークより１０倍以上大きい場合に、孤立していると考えることができる。

しかし、孤立したピークは必ずしも単一の候補カウント値で構成されない、というのは、候補カウント値のレベルは、第２画像に対する第１画像のｘ及び／またはｙ方向の複数回のシフトについて、同一でも類似でもあり得るからである。

従って、コンステレーション・マッチ値は、第１の数の候補異常における候補異常が、第２の数の候補異常における候補異常に最も近いコンステレーション・マッチを識別するように、決定することができる。最低のコンステレーション・マッチ値を有するコンステレーション・マッチは、第１の数の候補異常が第２の数の候補異常に最も良く重なるようなｘ及び／またはｙ方向のシフト値において定まる。従って、同じｘ及び／またはｙ方向のシフトについては、対応する候補カウント値が、埃のような汚染物質によって生じた第１画像中の異常の数を表す。

図２に、２つの画像を示して参照し、これらの画像毎に４つの候補異常が識別されている。図２ａは第１画像を示し、第１画像中には第１の数の候補異常が識別されている。図２ｂは第２画像を示し、第２画像中には第２の数の候補異常が識別されている。第１の数の候補異常のうち４つが、第２の数の候補異常と同じ空間的配置を有することがわかる。これらは、本明細書に開示する方法が異常として識別する候補異常である。

第１画像２２中の４つの候補異常２４、及び第２画像２６中の４つの候補異常２８は、網膜撮像スキャナの光学面上の汚染物質によって生じたものである。しかし、これらは、後続する画像間でｘ及びｙ方向にシフトしている。第１の数の候補異常と第２の数の候補異常との間の、候補異常の相対的なｘ−ｙ方向のシフトは、撮像装置に固有の機械的精度不良によって生じ得る。あるいはまた、この相対的なｘ−ｙ方向のシフトは、電気的なタイミングエラー（タイミング誤差）によって生じ得る。

図３に、第１及び第２画像２２、２６を重ね合わせて１つの画像３０の形で示して参照する。両画像の候補異常が、重ね合わせた画像３０上に示されている。第１及び第２画像２２、２６の各々の４つの候補異常２４、２８は、ｘ及びｙ方向にシフトされて示されている。

上述したコンステレーション・マッチ処理を実行すると、コンステレーション・マッチ値は比較的高くなる。

図４を参照すれば、第１及び第２画像２２、２６が、コンステレーション・マッチの一部としてシフトされている。ここで、４つの候補異常２４、２８が重なっている。こうした配置は、第１の数の候補異常と第２の数の候補異常との高い相関を生成する。従って、（候補異常間の距離の平均値を表す）コンステレーション・マッチ値は比較的低い。

上述した、識別された候補異常を有する第１及び第２画像２２、２６の例は、明確にするために大幅に簡略化されている。図５に、候補異常を有する例示的な網膜像を示す。

以上で説明したように、コンステレーション・マッチ処理は、必要な探索領域をカバーする。例えば、画像がデジタル画像であれば、探索領域は１０×１０画素の領域を規定することができる。他の実施形態では、他のサイズ及び形状の探索領域を規定することができる。

上述した例を用いれば、コンステレーション・マッチは、まず最初に、重ね合わせた画像の原点で実行し、次に、毎回１画素ずつシフトした第１の数の候補異常で実行して、探索領域の１００個の画素をカバーする。なお、「原点」は、画像の左下隅を表すという点で、概念上の共通点である。デジタル画像では、原点は、画像の左下隅にある画素とすることができる。

コンステレーション・マッチ毎に、第１の数の候補異常を毎回１画素ずつシフトした、第１の数の候補異常と第２の数の候補異常との相関を表す単一のコンステレーション・マッチ値を生成することができる。これに加えて、コンステレーション・マッチ毎に複数の候補カウント値を生成することができる。

このように、これら複数のコンステレーション・マッチ値及び／または複数の候補カウント値は、２つの二次元探索面内で表現することができる。図６に、第１の数の候補異常と第２の数の候補異常との相関が識別されている例示的な探索面を示す。図７に、第１の数の候補異常と第２の数の候補異常との相関が識別されていない例示的な探索面を示す。図６及び７は、以上で説明したように決定された画像についての候補カウント値を示す。

図６を参照すれば、第１の数の候補異常と第２の数の候補異常とに共通する候補異常が存在するか否かを判定するための根拠として、ピーク３２が特徴的である。これは、網膜撮像スキャナの光学面の埃汚染を示す。

単一の孤立したピークの場合には、このピークの高さに基づいて、汚染値または埃の計量値を割り当てる。この高さの値は、画像中の、埃または他の汚染物質によって生じた異常の数の、およその指標となる。探索面内のスパイクを用いた異常の識別の信頼度は、残りの探索面の均一性の分析から与えられる。ピーク位置に対応するｘ−ｙ方向の画像シフトの座標を見出すことによって、共通のカウント値を生成する個別の粒子を画像にマッピングして、良好なノイズ性能を有し、かつ画像中の異常の絶対位置を必要としない埃マップを生成することができる。

図７の例示的な探索面を参照すれば、探索空間内に孤立したピークを見出すことができない。この場合に、上記アルゴリズムは画像中に異常を全く識別しない。上記アルゴリズムは、異常及び汚染粒子のカウント値を０に戻して、画像（従って、装置の光学面）に汚染物質がないものと考えられることを示すこともできる。

図８に、本明細書に開示する方法の好適な実施形態の流れ図を示して参照し、この流れ図は、画像中の候補異常の識別に関係するステップを含む。

ステップ４０では、連続して捕捉された２つの画像に対応する画像データを、上述した方法を実行するように構成されたマイクロプロセッサを具えた装置にロードし、これらの画像は、互いに異なる網膜の画像とすることができる。

各画像に関する画像データを、４つのサブ（副）画像、例えば、等寸法の象限にセグメント化（区分）する。次に、これらの象限を別個に処理して、４つの汚染計量値を生成する。これら４つの汚染計量値を合計して、１つの汚染計量値を生成する。以下に説明するように、所定のサブ画像の検索から始めて（ステップ４２）、これら４つの象限を個別に処理する。

前処理として、リライティング（relighting：再照明）変換を用いて画像セグメントを正規化して（ステップ４４）、画像間の粒子形状のあらゆる変動を最小化する。

次に、サブ画像の周囲の画像画素を０にするマスクを適用する（ステップ４６）。このマスキングは、時として、小さい異常の破線として顕在化し得る、撮像装置内のミラーまたはレンズのエッジによるサブ画像の画像特徴部分が、アルゴリズムによって処理されないことを保証する。これにより、処理時間が改善され、２つの画像間でミラーエッジが近接して整列することによる粒子の整合が共通の異常として誤認されないことも保証される。

次に、平均化（平滑化）カーネル４８及び異常共鳴整合フィルタ（異常に対して共鳴する整合フィルタ）カーネル５０と並行して、マスクした画像を畳み込み積分する。

平滑化カーネル４８は低周波画像を生成する。この低周波画像中の所定領域内の各画素値は、所定ウィンドウサイズに等しいサブ画像内の所定位置にある全画素の平均値である。即ち、サブ画像中の所定位置にある所定ウィンドウサイズについて、全画素の平均値を生成し；上記低周波画像中の、上記所定位置に対応する各画素に、上記平均値を与える。

この整合フィルタ５０は、０に囲まれた有限値のブロックであり、１の平均値を有し、試行錯誤によって調整されており（即ち、カーネル内で、有限値と０との相対的関係を変化させており）、異常の「典型的な」出現と共鳴する。即ち、整合フィルタは異常の表現である。整合フィルタとサブ画像との相関を計算すると、画像の領域と異常の表現との相関を表す相関値が生成される。整合フィルタをサブ画像全体にわたって通すと、複数の相関値を決定することができる。画像の領域と整合フィルタとに相関がある際に、即ち、サブ画像のいくつかの部分が異常であり得る際に、これらの相関値にピークが見られる。これらのピークが、候補異常に対応する。

整合フィルタの出力を低周波画像と畳み込み積分すると、整合フィルタの出力中のピークが、低周波画像の一様な領域に対して強化される。

ステップ５２では、整合フィルタの出力と低周波画像との差分を計算して、候補異常の部分が強調されて背景（即ち、候補異常でない部分）が減衰した画像を生成する。次に、ステップ５４では、画像閾値を適用して、粒子状の特徴部分がその背景から十分に孤立した二値（バイナリ）画像を生成する。即ち、この二値画像は、候補異常が識別される箇所で「１」を示し、候補異常が識別されない箇所で「０」を示す。

この閾値による判別は、単一のグレースケール・レベルのステップにおける切り捨て（カットオフ）閾値を下向きに指数的に変化させ、各反復においてこの閾値を上回る異常点の数を数えることによって、反復的に実行する。閾値を上回る粒子の数が事前設定値を超えると、閾値の最終値が見出される。この事前設定値は、例えば１５００個の候補異常とすることができる。このようにして、コントラスト範囲が異なり、かつ輝度の変化する２つの画像を閾値で判別して、およそ同数の候補異常を生成することができる。

次に、３つの別個のオブジェクトフィルタを適用する。第１のフィルタ５６は、マスクエッジの周りの領域に相当する、サブ画像の周囲のオブジェクトを除去する。このことは、誤識別された候補異常が、マスク境界の段階的な線の構造中の断片から生じる画素クラスタに割り当てられることを回避するために必要である。

次に、ラージ（大）オブジェクトフィルタ５８を適用して、特定の上限閾値を上回るオブジェクトを除去する。この閾値は、例えば、領域をなす１６０画素とすることができる。この閾値を上回るオブジェクトは、ノイズの多い画像中で血管系が分断された結果であり得る。こうした特徴部分が画像対に共通している際に、これらの特徴部分の一部が（異なる網膜からの画像どうしでも）一列に並んで、誤識別される候補異常を生じさせ得る。

第３のオブジェクトフィルタ６０は、設定された閾値を下回る全ての明らかな候補異常を除去する。この閾値は、例えば領域をなす３画素とすることができる。このことは、ノイズによる特徴部分を除去するために必要であり、さもなければ、特にノイズの多い画像の組において、候補異常の誤識別の集団を生じさせる。

次に、ステップ６２では、ステップ５６、５８及び６０の後に残った全てのオブジェクトをパラメータ化して、各オブジェクトのオブジェクトサイズ（画素単位の面積）及び（オブジェクト毎に質量中心として計算した）中心座標を参照したオブジェクト指標のベクトルを生成する。このオブジェクトのベクトルは、所定のサブ画像について識別された複数の候補異常を表す。

各全体画像のサブ画像毎に、ステップ４０〜６２を実行し、即ち、４象限に分割された２つの画像については、ステップ４０〜６０を８回実行する。

次に、ステップ６４では、上述したようにコンステレーション・マッチを生成する。コンステレーション・マッチは、連続する２つの画像からパラメータ化したオブジェクトの組（即ち、候補異常）から決定される。これらの連続する画像は、異なる網膜の画像とすることができる、というのは、同じ網膜の画像対は、共通の網膜内血管の境界に沿った不正確な整合を生じさせ得るからである。

コンステレーション・マッチは、ある範囲の相対的なｘ−ｙ方向の画像シフトについて、各オブジェクトの中心を他の全てのオブジェクトの中心に対して表現する距離尺度の二次元平面として表すことができる。ｘ−ｙ方向の画像シフトの範囲は、例えば、概念上の原点から＋／−１０画素とすることができる。

その代わりに、探索面は、相対的なｘ−ｙ方向の画像シフト毎の候補カウント値で構成することができる。

本明細書に開示する方法の実施形態では、コンピュータプログラム製品を、本明細書で説明した方法を実行するためのコンピュータプログラムコードを格納するように構成することができる。このコンピュータプログラム製品は、例えば、コンピュータ用ハードドライブ、フロッピー（登録商標）ディスク、ＣＤ（Compact Disc：コンパクトディスク）、ＤＶＤ（Digital Versatile Disc：デジタル多用途ディスク）、フラッシュメモリ、または他のデータ媒体で構成することができる。その代わりに、あるいはこれに加えて、このコンピュータプログラム製品は、プログラマブル・ロジック（プログラム可能な論理回路）、ＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）、及び／またはファームウェアで構成することができる。

本明細書に開示する方法の他の実施形態では、コンピュータまたは演算装置のような装置が、本明細書で説明した方法を実行するように構成されたマイクロプロセッサを具えることができる。この装置は、撮像装置内に配置することもできる。

図９に、本明細書に開示する方法を実行するように構成された装置７０を示して参照する。この好適な実施形態では、装置７０が、光学ハードウェア７２、マイクロプロセッサまたは同様の演算装置７４、及びメモリ７６を具えている。光学ハードウェア７２は、電気的リンクを介してマイクロプロセッサ７４に接続されている。このマイクロプロセッサは、２つの電気的リンクを介してメモリ７６に接続されている。装置７０は、走査型レーザー検眼鏡とすることができる。

一部の実施形態では、上記光学ハードウェアが、網膜のレーザー撮像を行うように構成されたレンズ及びミラーを具えることができる。光学ハードウェアは、レーザーを眼球７８内に伝送して、戻りの反射信号を受信することができる。この反射信号は、眼球７８内の網膜の像を構成するために用いることのできる原画像（ローイメージ）データを含む。

上記光学ハードウェアは、原画像データをマイクロプロセッサ７４に送信するように構成することができ、この画像データをマイクロプロセッサ７４で処理して、網膜の像を生成することができる。このマイクロプロセッサは、網膜像をメモリ７６に送信するように構成することができ、網膜像はメモリ７６に記憶される。この処理を、異なる被験者に対して、１日を通して反復して、メモリ７６内に記憶された複数の網膜像を形成することができる。

一部の好適な実施形態では、少なくとも２つの連続する網膜像を、メモリ７６からマイクロプロセッサ７４に伝送して、本明細書に開示する方法を実行することができる。そして、このマイクロプロセッサは、光学ハードウェア内または光学ハードウェア上の埃のような汚染物質によって生じ得た、網膜像内の異常を識別することができる。

コンステレーション・マッチによって出力することのできる上述したスパイクのレベルは、汚染または埃の計量値として用いることができる。従って、このスパイクのレベルは、撮像装置の光学面上の汚染物質の量に対応し得る。従って、撮像装置のユーザは、汚染物質の計量値のレベルを用いて、技術者を呼び出して撮像装置の光学面を洗浄するか、他の保守を行う時期を決定することができる。本明細書に開示する方法の他の実施形態では、コンステレーション・マッチからの出力のレベルを、遠隔位置で自動監視することができる。例えば、撮像装置の製造業者が、全ての現用装置を監視し、どの装置がどの時点で洗浄または保守を必要とするかに基づいて、保守チームを編成することができる。

本明細書に開示する方法の好適な実施形態では、汚染の計量値の信頼度を増加させるために、本明細書に開示する方法を、１日を通して取得した連続画像の全てに対して実行することができる。このようにして、この方法は、特にその目的のために画像を取得する必要なしに、撮像装置の監視を行う。

当業者は、特許請求の範囲に係る発明の範囲を逸脱することなしに、他の実施形態を識別することができる。

Claims (19)

1. 撮像装置を用いて生成された画像中の異常を識別する方法であって、
   第１の数の候補異常及び第２の数の候補異常から、複数の候補異常を識別するステップを含み、前記識別された複数の候補異常は、前記第１の候補異常のうち少なくとも２つの候補異常を含み、前記少なくとも２つの候補異常は、前記第２の数の候補異常のうち少なくとも２つと同じ相対的な空間的配置を有し、
   前記第１の数の候補異常は、前記撮像装置を用いて生成された第１画像中に識別され、
   前記第２の数の候補異常は、前記撮像装置を用いて生成された第２画像中に識別される
   ことを特徴とする方法。
2. 前記候補異常の前記相対的な空間的配置は、前記第１の数の候補異常または前記第２の数の候補異常において、各候補異常の中心から他の全ての候補異常の中心までの距離を含むことを特徴とする請求項１に記載の方法。
3. 前記複数の候補異常を識別するステップが、前記第１の数の候補異常と前記第２の数の候補異常との間でコンステレーション・マッチを実行することを含むことを特徴とする請求項１または２に記載の方法。
4. 前記コンステレーション・マッチを実行することが、前記第１の数の候補異常と前記第２の数の候補異常との相関を計算すること、及び前記第１の数の候補異常の空間的配置と前記第２の数の候補異常の空間的配置との相関のレベルを表すコンステレーション・マッチ値を決定することを含むことを特徴とする請求項３に記載の方法。
5. 前記コンステレーション・マッチ値を決定することが、前記第１の数の候補異常における各候補異常の中心から、前記第２の数の候補異常における各候補異常の中心までの複数の距離を測定すること、及び前記複数の距離の平均値を計算することを含むことを特徴とする請求項４に記載の方法。
6. 前記コンステレーション・マッチを実行することが、前記第２の数の候補異常のうち、前記第１の数の候補異常における各候補異常から所定半径内にある候補異常の数を表す候補カウント値を決定することを含むことを特徴とする請求項３〜５のいずれかに記載の方法。
7. 複数の前記コンステレーション・マッチ値及び複数の前記カウント値を決定するステップをさらに含み、前記複数のコンステレーション・マッチ値の各々、及び前記複数の候補カウント値の各々を、前記第１の数の候補異常を、前記第２の数の候補異常に対してｘ及び／またはｙ方向にシフトした後に決定することを特徴とする請求項４〜６のいずれかに記載の方法。
8. 前記複数の候補カウント値のうち１つが所定閾値より大きいことに応じて、前記第１画像及び前記第２画像中の複数の異常を識別するステップをさらに含むことを特徴とする請求項７に記載の方法。
9. 前記閾値を、前記複数の候補カウント値どうしの相対値に応じて決定することを特徴とする請求項８に記載の方法。
10. 前記撮像装置を用いて生成された前記第１画像中で、前記第１の数の候補異常を識別し、前記撮像装置を用いて生成された前記第２画像中で、前記第２の数の候補異常を識別するステップをさらに含むことを特徴とする請求項１〜９のいずれかに記載の方法。
11. 前記第１の数の候補異常及び前記第２の数の候補異常を識別するステップが、前記第１画像及び前記第２画像の各々に対して整合フィルタを実行することを含むことを特徴とする請求項１０に記載の方法。
12. 前記整合フィルタを実行することが、異常の表現と、前記第１画像及び／または前記第２画像の１つの領域との相関を計算すること、及び前記異常の表現と前記１つの領域との相関のレベルを表す相関値を決定することを含むことを特徴とする請求項１１に記載の方法。
13. 前記相関値を決定することが、前記異常の表現における少なくとも１つの領域の光レベルと、前記異常の表現を前記第１画像及び／または前記第２画像に重ね合わせた際に前記少なくとも１つの領域に対応する領域の光レベルとの差分を決定することを含むことを特徴とする請求項１２に記載の方法。
14. 前記第１の数の候補異常及び／または前記第２の数の候補異常のうち１つの候補異常を、前記相関値が所定閾値より大きいことに応じて識別するステップを、さらに含むことを特徴とする請求項１３に記載の方法。
15. 複数の相関値を決定することによって、複数の候補異常を決定するステップをさらに含み、前記複数の相関値の各々は、前記異常の表現を、前記第１画像及び／または前記第２画像に対してｘ及び／またはｙ方向にシフトした後に決定することを特徴とする請求項１４に記載の方法。
16. 前記撮像装置を用いて、前記第１画像及び前記第２画像を生成するステップをさらに含むことを特徴とする請求項１〜１５のいずれかに記載の方法。
17. 請求項１〜１６のいずれかに記載の方法を実行可能なコンピュータプログラムコードを格納すべく構成されたコンピュータプログラム製品。
18. 請求項１〜１６のいずれかに記載の方法を実行すべく構成されたプロセッサを具えた装置。
19. 請求項１８に記載の装置を具えた撮像装置。

Images