JP2015506730A - 複数の眼の画像をプレノプティック多焦点画像に結合する方法 - Google Patents

Abstract

複数の眼の画像をプレノプティック多焦点画像に結合するための方法であって、複数のフレームを含む眼の画像を、プロセッサ及びメモリシステムを使用して一以上の眼の画像セットに登録し、一以上の画像のセットの中の画像のそれぞれを、プロセッサとメモリシステムに存在する、選択されたリファレンスと整合させ、ノイズや他の撮像アーチファクトを無視して一以上の階調度画像を算出することにより、前記眼の画像の一以上の合焦領域を決定する工程を含む。また、本方法は、一以上の階調度画像から解像度が最高となる一以上の合焦領域を特定し、眼の画像、フレーム、及び一以上の眼の画像セットよりも高い解像度のプレノプティック多焦点画像に結合するために、フレームから対応する一以上の合焦強度を選択するステップを含む。

Description

（優先権の主張）
本願は２０１１年１２月９日に出願された米国仮出願６１／５６８，８５１の優先権を主張するものであり、その全体の開示が参照により組み込まれる。

本発明は複数の眼の画像を結合する方法に関する。より具体的には、本発明は複数の眼の画像をプレノプティック多焦点画像に結合する方法に関する。

関連技術の記載
眼の撮像（画像化）は、通常、一以上の細隙灯、一以上の検眼鏡、一以上の眼底カメラ、一以上の走査レーザー検眼鏡すなわちＳＬＯ、及び通常は単一像を取得する一以上の広視野眼撮像装置によって実施される。動画又は複数の画像が取得される場合でも、多くの場合、それらは特定の焦点面上に位置する。

異なる焦点と位置合わせ（アライメント、ａｌｉｇｎｍｅｎｔ）で網膜像が撮影されるとき、多くの場合、観察者の意識の中にある焦点領域の合成画像（ｃｏｍｐｏｓｉｔｅ）の結合は、複数画像を見る観察者に依存する。これらの装置のいくつかは焦点を制御することができるが、網膜又は他の眼球領域の厚み全体において、焦点が合った画像を得ることは困難である。さらに、対象となる領域に焦点が合わない事象を引き起こす可能性のある、眼の撮像装置による光学収差が存在する。患者の眼球のための眼の撮像装置の位置合わせは、画像領域の全体的な明瞭さに影響する可能性がある。

本発明は複数の眼の画像を結合する方法に関する。より具体的には、本発明は複数の眼の画像をプレノプティック多焦点画像に結合する方法に関する。

本発明は様々な異なる動作中のモダリティ（医療用画像の撮像手段）において利用され、そして一以上の細隙灯搭載カメラ、一以上の細隙灯一体型カメラ、一以上の眼底カメラ、一以上の超広視野走査（ｕｌｔｒａ−ｗｉｄｅ ｆｉｅｌｄ ｓｃａｎｎｉｎｇ）装置たとえばＯＰＴＯＳ（登録商標）広視野装置、一以上の携帯型網膜撮像装置（ｈａｎｄ−ｈｅｌｄ ｒｅｔｉｎａｌ ｉｍａｇｉｎｇ ｄｅｖｉｃｅ）、一以上の直像検眼鏡、一以上の倒像検眼鏡、一以上の走査レーザー検眼鏡もしくは一以上の一般的な顕微鏡（ｇｅｎｅｒｉｃ ｍｉｃｒｏｓｃｏｐｅ）、個別の顎当て−操作レバーアセンブリ（ｃｈｉｎｒｅｓｔ−ｊｏｙｓｔｉｃ ａｓｓｅｍｂｌｙ）に取り付けられた一以上の内視鏡プローブ又は光学ヘッド（眼底カメラと類似するもの）を含む、様々な異なる装置の組み合わせにおいて活用されることができる。これらのモダリティ及び装置により、一以上の画像データのセットの登録及びその後の画像処理において、それぞれの画像データのセットから、高周波で焦点の合った、且つ良好に露光された領域（ｒｅｇｉｏｎ）を得ることができる。この領域は、単一像又はプレノプティック多焦点画像、もしくは、ユーザが焦点の合っている検分されるべき選択領域にステップスルー（ｓｔｅｐ ｔｈｒｏｕｇｈ）ことを可能とする動画に結合される。一以上の画像データのセットはコンピュータ上の画像処理アルゴリズムを用いて登録される。登録する総量を決定するための一以上の制御ポイントは人の見解により手動で設定するか、アルゴリズムにより自動計算することができる。

本発明は以下の画像処理ステップを利用する。第一に、選択されたリファレンス（基準、ｒｅｆｅｒｅｎｃｅ）に対して一以上の画像データのセットの中の各画像を整合させる。この全体的な方法は、変換（ｔｒａｎｓｌａｔｉｏｎ）、回転、視点変更（ｐｅｒｓｐｅｃｔｉｖｅ ｃｈａｎｇｅ）、フレーム内歪み（ｉｎｔｒａ−ｆｒａｍｅ ｗａｒｐｉｎｇ）を補正する。第二に、ノイズや他の一以上の撮像アーチファクトは無視して、複数の階調度（ｇｒａｄｉｅｎｔ、勾配）情報を計算することにより、各フレームの一以上の合焦領域（焦点の合っている領域）を決定する。第三に、階調度の情報から、最高値を有する一以上の合焦領域を特定する。第四に、多焦点画像に結合するために、対応する複数の合焦強度（ｉｎ−ｆｏｃｕｓ ｉｎｔｅｎｓｉｔｙ、合焦の明暗度）をフレームから選択する。例えば、画像の各エリアのもっとも焦点の合ったポイントを取り込む、又は信号対ノイズの割合を改善するために多数の合焦領域（ｍｕｌｔｉｐｌｅ ｉｎ−ｆｏｃｕｓ ｒｅｇｉｏｎ）を平均化するなど、画像は多くの方法で結合することが可能である。

本発明は、網膜または他の眼球領域の多数の焦点領域の可視化から構成されない従来の眼の撮像方法とは異なる。本発明は、多重高品質焦点プレノプティック多焦点画像及び動画を作成するために、画像解析と画像処理とを組み合わせて画像の登録を創り出すことにより、この課題を解決している。これらの多重画像を創り出すことで、全体的な解像度及び画像品質は大幅に改善される。本発明はまた、慎重な焦点制御の有無にかかわらず活用することが可能である。

本発明の目的は、眼底のカラー撮像、前眼部撮像、角膜及び水晶体の撮像、蛍光眼底血管造影、インドシアニングリーンすなわちＩＣＧ血管造影、クルクミン蛍光の撮像、自己蛍光、ディスクリート（ｄｉｓｃｒｅｅｔ）波長の撮像、無赤色撮像、ハイパースペクトル及びマルチスペクトル撮像、光コヒーレンストモグラフィーを含むがそれに限定されない、一以上の眼の画像用モダリティを組み合わせて活用することが可能であるプレノプティック多焦点画像に、複数の眼の画像を結合するための方法を提供することである。

本発明の別の目的は、従来の写真による眼球画像よりも改良された解像度と焦点、及び向上した画像品質を有するプレノプティック多焦点画像に、複数の眼の画像を組み合わせるための方法を提供することである。

本発明は、例示的な実施形態を用いて記述されるが、それに限定されない。類似する参照（リファレンス）は同様の要素を意味する。
図１は、本発明の一つの実施形態に従った、眼球の写真画像である。 図２は、本発明の一つの実施形態に従った、プレノプティック多焦点画像を形成するように結合された複数の眼の画像の写真画像である。 図３は、本発明の一つの実施形態に従った、複数の眼の画像をプレノプティック多焦点画像に結合するための、第１の方法のフロー図である。 図４は、本発明の一つの実施形態に従った、複数の眼の画像をプレノプティック多焦点画像に結合するための、第２の方法のフロー図である。

例示的な形態の詳細な説明
図示される実施形態の様々な特徴は、本質を当業者に伝えるために、当業者が一般的に使用する用語を使用して記述されている。しかし、当業者にとって、本発明が、記述された特徴のいくつかを使用するだけで実行可能であることは明白である。説明を目的として、図示される実施形態のすべてが理解できるように、具体的な数字、物質及び構造が記述されている。しかし、当業者にとって、本発明が、具体的な詳細がなくとも実行可能であることは明白である。別の例では、図示される実施形態を曖昧にしないために、既知の特徴は省略又は簡略化されている。

複数の個別の実施内容として、様々な操作が、本発明を最も理解できる形で順に記述される。しかし、必然的にこの順序に左右されるという意味で解釈されるべきではない。つまり、記載されている順番どおりに実施される必要はない。

「一つの実施形態では」という表現が繰り返し使用される。この表現は通常、同一の実施形態を言い表すものではないが、その可能性はある。「〜を備える」、「〜を有する」、「〜を含む」といった用語は、それ以外の状態が指示されていない限り、同義語である。

図１は、本発明の一つの実施形態に従った、写真による眼球画像１００を示している。

写真による眼球画像１００は、一以上の細隙灯搭載カメラ、一以上の細隙灯一体型カメラ、一以上の光コヒーレンストモグラフィーすなわちＯＣＴ、特定の波長での光学撮像、マルチスペクトル撮像、ハイパースペクトル撮像、自己蛍光撮像、共焦点網膜撮像、走査レーザー検眼鏡、一以上の補償光学装置、一以上の配向分極固有装置（ｐｏｌａｒｉｚａｔｉｏｎ ｏｒｉｅｎｔａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｄｅｖｉｃｅｓ）、一以上の眼底カメラ、一以上の携帯型撮像装置（ｉｍａｇｅｒｓ）、一以上の直像検眼鏡、一以上の倒像検眼鏡、蛍光眼底血管造影、ＩＣＧ血管造影、クルクミン蛍光撮像、自己蛍光及び他の従来の適切な眼の撮像用モダリティ及び装置のような、一以上の従来の眼の撮像用モダリティ及び装置によって作成される。図１の作成された写真による眼球画像１００は眼底の自己蛍光画像だが、任意の、細隙灯搭載カメラ、一以上の細隙灯一体型カメラ、一以上の光コヒーレンストモグラフィーすなわちＯＣＴ、特定の波長での光学撮像、マルチスペクトル撮像、ハイパースペクトル撮像、自己蛍光撮像、共焦点網膜撮像、走査レーザー検眼鏡、一以上の補償光学装置、一以上の配向分極固有装置、一以上の眼底カメラ、一以上の携帯型撮像装置、一以上の直像検眼鏡、一以上の倒像検眼鏡、蛍光眼底血管造影、ＩＣＧ血管造影、クルクミン蛍光撮像、又は自己蛍光のような、一以上の従来の眼の撮像用モダリティ又は装置で作成された写真による眼球画像でもよい。画像はコンピュータによって自動的に整合される。この動作は各フレームを取り出して、各フレームをリファレンス（基準）と比較することによって達成される。最初に、全体的な、変換、回転、および視点変更が訂正される。訂正の総量が、特徴検出又は相互相関を利用することによって、様々な共通する特徴の間での変化量（ｓｈｉｆｔ）を特定することにより、決定される。その後、画像は小さなサブ領域へと細分化され、対応するサブ領域の間で変化量が決定される。各サブ領域の変化量は、最終的な結果画像の特徴がリファレンス画像（参照用画像）と整合するように、連続的に画像の各部分を変形させる（ｗａｒｐ）ために使用される。整合された画像は、その後の他のフレームと継続して使用することを目的として、より正確なリファレンスを作成するために、リファレンス画像と組み合わせられる。信号対ノイズ比すなわちＳＮＲを改善するために、眼の画像は、多数の合焦領域を平均化することにより結合される。ＳＮＲの単位はｄＢ（デシベル）とし、２０×ｌｏｇ１０（画像標準偏差／ノイズ標準偏差）で定義される。図１に図示される写真による眼球画像１００はおよそ１０デシベルのＳＮＲである。

図２は、本発明の一つの実施形態に従った、プレノプティック多焦点画像２２０を形成する複数の眼の画像２１０の写真画像２００を例示する。

図２に図示及び記述される、プレノプティック多焦点画像２２０のなかの眼の画像２１０の写真画像２００及びその記述は、図１に図示及び記述される、写真の眼球画像１００と類似している。図１に図示及び記述されている、写真の眼球画像１００及びとその記述とは対照的に、図２に図示及び記述される、プレノプティック多焦点画像２２０の中の眼の画像２１０の写真画像２００及びその記述は、複数の眼の画像をプレノプティック多焦点画像に結合させる方法により作成されている（図３及び図４、工程３００及び４００）。複数の眼の画像をプレノプティック多焦点画像に結合する方法（図３及び図４、工程３００及び４００）は、図１とその説明に図示及び記述される写真の眼球画像１００と比べて、相対的により高い解像度、相対的に良好な焦点、相対的に良好な画像品質を有するプレノプティック多焦点画像２２０を創り出す。複数の眼の画像をプレノプティック多焦点画像に結合する方法の追加的な詳細は、図３、図４とその説明に図示及び記述される。図２に図示される眼の写真画像２００は、ＳＮＲがおよそ４２デシベルで、１５フレームの、整合（整列）され、平均化され、及び拡大された画像である。

本発明の別の実施形態において、複数の眼の画像をプレノプティック多焦点画像に結合する方法は、眼の解剖学的構造（ａｎａｔｏｍｙ）に関する眼の画像化の情報管理（ｉｍａｇｉｎｇ ｅｙｅ ｄｏｃｕｍｅｎｔａｔｉｏｎ）及び／又は眼の病理の検出に使用されることができる。複数の眼の画像をプレノプティック多焦点画像に結合する方法は、ＯＣＴで見られるような、眼の前方眼部、後方眼部、サブ構造（下位構造）の画像化に活用されることができる。複数の眼の画像をプレノプティック多焦点画像に結合する方法の一つの特徴は、画像の自動登録と、その後に、（例えば、周波数領域フィルター又はウイナーフィルターを使用して）焦点が合い、均等に照光された領域を特定し、高周波の画像情報を取得し、さらに処理された画像を単一画像に再結合するための画像処理である。また、アルゴリズムは、焦点が合わず、別の光学収差を含み、及び／又は十分に照光されていない画像エリアを除去することができる。充分焦点の合った領域は、算出された階調度の最大値（ｌａｒｇｅｓｔ ｃａｌｃｕｌａｔｅｄ ｇｒａｄｉｅｎｔ ｍａｇｎｉｔｕｄｅ、計算された最大勾配値）を有する領域から特定される。均等に照光された領域は、画像の平滑化（ｏｖｅｒ−ｓｍｏｏｔｈｉｎｇ、過剰平滑化）と、平均の明暗値と全体的な画像の明暗値との比較により決定される。平均値を顕著に下回る領域は十分に照光されていないとみなされ、分析から除外されなければならない。高周波の画像情報は、一以上の低周波の画像成分を除去し、一以上のランダムノイズのばらつきを平滑化及び抑制をすることにより算出される。マルチスケール階調度計算法（ｍｕｌｔｉ−ｓｃａｌｅ ｇｒａｄｉｅｎｔ ｃａｌｃｕｌａｔｉｏｎ，多重縮尺勾配計算法）は、高周波数画像情報を得る一つの方法である。高周波画像情報は、画像の焦点が合った場合の一つの指標である。十分に焦点が合っていない画像又は領域は、焦点が合ったフレームと比較して、低い階調度（勾配）の値となる。これらの部分は分析から除外される。

本発明の別の実施形態では、複数の眼の画像をプレノプティック多焦点画像に結合する方法は、具体的には、焦点、及び／又はユーザに焦点の変更を要求したりしなかったりする既存の装置を段階的に実行（ｓｔｅｐ、ステップ）する新しい眼の撮像装置にも適用することができる。また、複数の眼の画像をプレノプティック多焦点画像に結合する方法は、画像セットを作成するために、装置の焦点を意図的にステップすることにより適用されてもよい。

本発明の別の実施形態では、複数の眼の画像をプレノプティック多焦点画像に結合する方法は、一以上の細隙灯搭載カメラ、一以上の細隙灯一体型カメラ、ＯＣＴ、特定の波長での光学撮像、マルチスペクトル撮像、ハイパースペクトル撮像、自己蛍光撮像、共焦点網膜撮像、走査レーザー検眼鏡、補償光学装置、配向分極固有装置、一以上の眼底カメラ、一以上の携帯型撮像装置、一以上の直像検眼鏡、一以上の倒像検眼鏡、蛍光眼底血管造影、ＩＣＧ血管造影、クルクミン蛍光撮像、自己蛍光及び他の従来の適切な眼の撮像用のモダリティ及び装置のような、眼の撮像用モダリティ及び装置を含むがそれに限定されない、様々な眼の撮像用モダリティ（単独又は組み合わせで）を使用する。画像データのセットは、ランダム焦点（ｒａｎｄｏｍ ｆｏｃｕｓ）又は計画的焦点（ｄｅｌｉｂｅｒａｔｅ ｆｏｃｕｓ）のいずれかと、露光制御によって取得される。画像データのセットはサブ画素の精度で自動的に登録される。画像処理は、データセットが明瞭で且つ十分に露光された部分を特定し、撮像の質を劣化させる比較的不明瞭および／又は暗いデータセット、ならびに他の収差を除去するために、データセット上で実施される。良好な、又は適した画像データは、プレノプティックの単一画像、又は複数の深度で焦点の合った単一画像に再結合され、且つ／又はユーザが焦点の階層（ｆｏｃｕｓ ｓｔａｃｋ、焦点スタック）にステップスルーするか、又はユーザが見ることを所望する、焦点の合った領域を選択することを可能にする動画ファイルが作成される。「選択された領域をステップスルーする」という用語は、関心のある焦点位置を変更する、と定義される。選択された領域をステップスルーするという表現は、動画のフレームをスクロールすることと類義である。焦点の階層のステップスルーは、各フレーム間で焦点が変更されている、連続するフレームの集合体から、閲覧される画像を変更することを含む。多焦点の画像の配列（ｓｅｑｕｅｎｃｅ）は、集合された各フレームの間で焦点を変更することによって形成される。そして、各画像は被写体の光学的スライス（ｏｐｔｉｃａｌ−ｓｌｉｃｅ）となる。

本発明の別の実施形態では、一つの場面（ｓｃｅｎｅ、シーン）の光空間（ｌｉｇｈｔ−ｆｉｅｌｄ）を収集するために、マイクロレンズアレイが使用されてもよい。このことにより焦点を取得後に変更でき、ゆえに多焦点の階層が算出される。画像は、一以上の高密度カメラセンサ（例えば、一以上のＣＣＤ又はＣＭＯＳセンサ）、又は一以上のポイントスキャン装置とラインスキャン装置（ｐｏｉｎｔ ａｎｄ ｌｉｎｅ ｓｃａｎｎｉｎｇ ｄｅｖｉｃｅｓ）を使用して収集される。結果としての画像の階層は、マイクロレンズアレイを使用した場合、ソース画像と比較すると低解像度となる。複数の像平面は、試料の中の対応する焦点面からの、焦点の合った構造を含む。周囲の構造からの焦点があっていない情報は、収集された画像の品質を落とす。本発明の一つの実施形態において、複数の眼の画像をプレノプティック多焦点画像に結合する方法は、既存の眼の撮像装置から得られた画像データのセットを作成する。

本発明の別の実施形態では、複数の眼の画像をプレノプティック多焦点画像に結合する方法は、新規な眼の撮像装置から得られた複数の画像データのセットを作成し、この新規な眼の撮像装置は、具体的には、複数の像平面からの情報を含むセンサに設置されるステッピングフォーカス（ｓｔｅｐｐｉｎｇ ｆｏｃｕｓ）マイクロレンズ又はマルチエレメントマイクロレンズ（ｍｕｌｔｉ−ｅｌｅｍｅｎｔ ｍｉｃｒｏｌｅｎｓ）のいずれかを介して様々な深度で焦点の合った画像を創り出すように設計される。

本発明の別の実施形態では、複数の眼の画像をプレノプティック多焦点画像に結合する方法は、一以上の相対的に明瞭で広範囲なＯＣＴデータのセットを得るために、一以上のＯＣＴデータに適用される。

図３は、本発明の一つの実施形態に従った、複数の眼の画像をプレノプティック多焦点画像に結合するための、第１の方法３００のフロー図である。

複数の眼の画像をプレノプティック多焦点画像に結合するための第１の方法３００は、複数のフレームを含む眼の画像を、プロセッサ及びメモリシステムを使用して一以上の眼の画像セットに登録するステップ３１０と、一以上の眼の画像セットの中の画像のそれぞれを、プロセッサを伴うメモリシステムに存在する、選択されたリファレンスに整合させるステップ３２０と、ノイズや他の撮像アーチファクトを無視して一以上の階調度画像（画像勾配）を算出することにより、眼の画像の一以上の合焦領域を決定するステップ３３０と、一以上の階調度画像から最高の解像度を有する一以上の合焦領域を特定するステップ３４０と、眼の画像、フレーム、及び一以上の眼の画像セットよりも高い解像度のプレノプティック多焦点画像に結合するために、フレームから一以上の対応する合焦強度を選択するステップ３５０を含む。

登録するステップ３１０は制御ポイントの既定の数によって制御される。制御ポイントの既定の数はユーザの見解によって手動で設定されるか、あるいはプロセッサによって自動的に算出される。プロセッサは、制御ポイントの既定の数を自動的に算出するための画像処理アルゴリズムを使用する。眼の画像、フレーム、画像セット及び制御ポイントの既定の数はメモリシステムに存在する。整合させるステップ３２０は、眼の画像が一以上の高密度カメラセンサを使用して収集されることを含む。一以上の高密度カメラセンサは一以上の電荷結合画像センサ（ＣＣＤセンサ）であるか、又は、一以上の高密度カメラセンサは一以上の相補型金属酸化膜半導体センサ（ＣＭＯＳセンサ）であるか、又は一以上のポイントスキャン装置とラインスキャン装置である。決定するステップ３３０は、各眼の画像から一以上の最も解像度の高い合焦しているポイントを取り込むことにより、眼の画像が結合されることを含む。特定するステップ３４０は、各眼の画像のもっとも焦点の合っているポイントを取り込むことにより、眼の画像が結合されることを含む。眼の画像は信号対ノイズ比すなわちＳＮＲを改善するために多数の合焦領域を平均化することによって結合される。プレノプティック多焦点画像は、一以上の細隙灯搭載カメラ、一以上の細隙灯一体型カメラ、光コヒーレンストモグラフィー、特定の波長での光学撮像、マルチスペクトル撮像、ハイパースペクトル撮像、自己蛍光撮像、共焦点網膜撮像、走査レーザー検眼鏡、一以上の補償光学装置、一以上の配向分極固有装置、一以上の眼底カメラ、一以上の携帯型撮像装置、一以上の直像検眼鏡、一以上の倒像検眼鏡、蛍光眼底血管造影、ＩＣＧ血管造影、クルクミン蛍光撮像、自己蛍光の群から選択される、一以上の従来型の眼の撮像用モダリティ又は装置によって作成される。

選択するステップ３５０は、処理された画像をプレノプティック多焦点画像に再結合するために、焦点の合った、均等に照光された一以上の合焦領域を特定し、高周波画像情報を得る。複数の眼の画像は、複数の個別に最適化されたフレームから成る、より大きな合成画像であってもよい。高周波画像情報は、一以上の低周波の画像成分の除去、及び一以上のランダムなノイズのばらつきの平滑化と抑制により算出される。一以上の眼の画像セットを作成するために、方法３００はステッピングフォーカスによって適用される。また、方法３００はステッピングフォーカスによって様々な深度で焦点の合った画像を創出する。

図４は本発明の一つの実施形態に従った、複数の眼の画像をプレノプティック多焦点画像に結合するための、第二の方法４００のフロー図である。

第２の方法４００は、複数のフレームを含む複数の眼の画像を、一以上の眼の画像セットにプロセッサとメモリシステムを使用して登録する。この登録は制御ポイントの既定の数によって制御され、眼の画像は一以上の高密度カメラセンサを使用して収集され、それぞれの眼の画像の一以上の均等に照光された領域から最高の解像度を有する一以上の合焦しているポイントを取り込むことによって眼の画像が結合されるステップ４１０と、一以上の画像セットのなかの眼の画像のそれぞれを、プロセッサ伴うメモリシステムに存在する、選択されたリファレンスに整合させるステップ４２０と、ノイズや他の撮像アーチファクトを無視して一以上の階調度画像を算出することにより、眼の画像の一以上の合焦領域を決定し、焦点が合い、均等に照光され、且つ高周波の画像情報が得られている一以上の合焦領域について、処理された画像を、プレノプティック多焦点画像へと再結合するステップ４３０と、一以上の階調度画像から最高の解像度を有する一以上の合焦領域を特定するステップ４４０と、眼の画像、フレーム、及び一以上の眼の画像セットよりも高い解像度のプレノプティック多焦点画像に結合するために、フレームから一以上の対応する合焦強度を選択するステップ４５０を含む。

図４及びその説明に図示及び記載されたプレノプティック多焦点画像に結合するための第２の方法４００は、図３及びその説明に図示及び記載された複数の眼の画像をプレノプティック多焦点画像に結合するための、第１の方法３００と類似している。その一方で、プレノプティック多焦点画像に結合するための第２の方法４００は、一以上の高密度カメラセンサ、又は一以上のポイントスキャン装置とラインスキャン装置を含んでいる。さらに、一以上の合焦領域は、焦点が合い、且つ均等に照光されており、周波数領域フィルター又はウイナーフィルターを使用して高周波画像情報を取得しており、処理された画像を一以上の画像に再結合する。

本発明は先述の実施形態と関連しているものの、当業者は本発明が記載された実施形態に限定されないことを認識すると思われる。本発明は、添付の請求項の思想及び範囲内で、修正や変更を伴って実行されることが可能である。従って、記述は本発明を限定するものではなく、例示としてみなされる。

Claims (29)

1. 複数の眼の画像をプレノプティック多焦点画像に結合するための方法であって、
   複数のフレームを含む眼の画像を、プロセッサ及びメモリシステムを使用して一以上の眼の画像セットに登録し、
   前記一以上の画像セットの中の眼の画像のそれぞれを、前記プロセッサを伴う前記メモリシステムに存在する、選択されたリファレンスに整合させ、
   ノイズや他の撮像アーチファクトを無視して一以上の階調度画像を算出することにより、前記眼の画像の一以上の合焦領域を決定し、
   前記一以上の階調度画像から最高の解像度を有する一以上の合焦領域を特定し、
   前記眼の画像、前記フレーム、及び前記一以上の眼の画像セットよりも高い解像度のプレノプティック多焦点画像に結合するために、前記フレームから対応する一以上の合焦強度を選択することを含む方法。
2. 登録のステップが、制御ポイントの既定の数によって制御されることを特徴とする請求項１に記載の方法。
3. 前記制御ポイントの既定の数が、ユーザの見解によって手動で設定されることを特徴とする請求項２に記載の方法。
4. 前記制御ポイントの既定の数が、前記プロセッサによって自動的に算出されることを特徴とする請求項２に記載の方法。
5. 前記眼の画像、前記フレーム、前記制御ポイントの既定の数、及び前記画像セットが、前記メモリシステムに存在することを特徴とする請求項１に記載の方法。
6. 前記眼の画像が、一以上の高密度カメラセンサを使用して収集されることを特徴とする請求項１に記載の方法。
7. 前記一以上の高密度カメラセンサが、一以上の電荷結合画像センサであることを特徴とする請求項６に記載の方法。
8. 前記一以上の高密度カメラセンサが、一以上の相補型金属酸化膜半導体センサであることを特徴とする請求項６に記載の方法。
9. 前記それぞれの眼の画像の、均等に照光された一以上の領域から一以上の高解像度の合焦しているポイントを取り込むことにより、前記眼の画像が結合されることを含むことを特徴とする請求項１に記載の方法。
10. 信号対ノイズ比を改善するために、前記眼の画像が、多数の前記合焦領域を平均化することにより結合されることを特徴とする請求項１に記載の方法。
11. 前記プレノプティック多焦点画像が、一以上の細隙灯搭載カメラ、一以上の細隙灯一体型カメラ、光コヒーレンストモグラフィー、特定の波長での光学撮像、マルチスペクトル撮像、ハイパースペクトル撮像、自己蛍光撮像、共焦点網膜撮像、走査レーザー検眼鏡、一以上の補償光学装置、一以上の配向分極固有装置、一以上の眼底カメラ、一以上の携帯型撮像装置、一以上の直像検眼鏡、一以上の倒像検眼鏡、蛍光眼底血管造影、ＩＣＧ血管造影、クルクミン蛍光撮像、自己蛍光からなる群から選択される、一以上の従来型の眼の撮像用モダリティ又は装置によって作成されることを特徴とする請求項１に記載の方法。
12. 前記一以上の眼の画像セットを作成するために、前記方法がステッピングフォーカスに適用されることを特徴とする請求項１に記載の方法。
13. 前記方法がステッピングフォーカスによって様々な深度で焦点の合った画像を創出することを特徴とする請求項１２に記載の方法。
14. 処理された前記画像を前記プレノプティック多焦点画像に再結合するために、焦点が合い、均等に照光された前記一以上の合焦領域を特定し、高周波画像情報を取得することを特徴とする請求項１に記載の方法。
15. 前記高周波画像情報が、一以上の低周波の画像成分を除去し、且つ一以上のランダムノイズのばらつきを平滑化及び抑制することにより算出されることを特徴とする請求項１４に記載の方法。
16. 複数の眼の画像をプレノプティック多焦点画像に結合する方法であって、
    複数のフレームを含む複数の眼の画像を、一以上の眼の画像セットにプロセッサとメモリシステムによって登録し、当該登録は制御ポイントの既定の数によって制御され、前記眼の画像は一以上の高密度カメラセンサを使用して収集され、前記眼の画像は前記それぞれの眼の画像の一以上の均等に照光された領域から最高の解像度を有する一以上の合焦しているポイントを取り込むことによって結合され、
    前記一以上の画像セットの中の眼の画像のそれぞれを、前記プロセッサを伴う前記メモリシステムに存在する選択されたリファレンスと整合させ、
    ノイズや他の撮像アーチファクトを無視して一以上の階調度画像を算出することにより、前記眼の画像の一以上の合焦領域を決定し、焦点が合い、均等に照光され、且つ高周波画像情報を取得する前記一以上の合焦領域は、処理された前記画像を前記プレノプティック多焦点画像に再結合し、
    前記一以上の階調画像から最高の解像度を有する前記一以上の合焦領域を特定し、
    前記眼の画像、前記フレーム、及び前記一以上の眼の画像セットよりも高い解像度のプレノプティック多焦点画像に結合するために、前記フレームから一以上の対応する合焦強度を選択することを含む方法。
17. 前記制御ポイントの既定の数が、ユーザの見解によって手動で設定されることを特徴とする請求項１６に記載の方法。
18. 前記制御ポイントの既定の数が、前記プロセッサによって自動的に算出されることを特徴とする請求項１６に記載の方法。
19. 前記眼の画像、前記フレーム、前記制御ポイントの既定の数、及び前記画像セットが、前記メモリシステムに存在することを特徴とする請求項１６に記載の方法。
20. 前記一以上の高密度カメラセンサが、一以上の電荷結合画像センサであることを特徴とする請求項１６に記載の方法。
21. 前記一以上の高密度カメラセンサが、一以上の相補型金属酸化膜半導体センサであることを特徴とする請求項１６に記載の方法。
22. 前記眼の画像が、一以上のポイントスキャン装置とラインスキャン装置とを使用して収集されることを特徴とする請求項１６に記載の方法。
23. 信号対ノイズ比を改善するために、前記眼の画像が、前記複数の合焦領域を平均化することにより結合されることを特徴とする請求項１６に記載の方法。
24. 前記一以上の合焦領域は、焦点が合い、均等に照光されており、周波数領域フィルターを使用して高周波画像情報を取得しており、処理された前記画像を一以上の画像に再結合することを特徴とする請求項１６に記載の方法。
25. 前記一以上の合焦領域は、焦点が合い、均等に照光されており、ウイナーフィルターを使用して高周波画像情報を取得し、さらに処理された前記画像を前記一以上の画像に再結合することを特徴とする請求項１６に記載の方法。
26. 前記プレノプティック多焦点画像は、一以上の細隙灯搭載カメラ、一以上の細隙灯一体型カメラ、光コヒーレンストモグラフィー、特定の波長での光学撮像、マルチスペクトル撮像、ハイパースペクトル撮像、自己蛍光撮像、共焦点網膜撮像、走査レーザー検眼鏡、一以上の補償光学装置、一以上の配向分極固有装置、一以上の眼底カメラ、一以上の携帯型撮像装置、一以上の直像検眼鏡、一以上の倒像検眼鏡、蛍光眼底血管造影、ＩＣＧ血管造影、クルクミン蛍光撮像、自己蛍光の群から選択される、一以上の従来型の眼の撮像用モダリティ又は装置によって作成されることを特徴とする請求項１６に記載の方法。
27. 前記一以上の眼の画像セットを作成するために、前記方法がステッピングフォーカスに適用されることを特徴とする請求項１６に記載の方法。
28. 前記方法がステッピングフォーカスによって様々な深度で焦点の合った画像を創出することを特徴とする請求項２７に記載の方法。
29. 前記高周波画像情報は一以上の低周波の画像成分を除去し、且つ一以上のランダムノイズのばらつきを平滑化及び抑制することにより算出されることを特徴とする請求項１６に記載の方法。

Images