JP2020515346A - 眼科撮像装置およびシステム - Google Patents

Abstract

眼科撮像装置は、照明光源および光源からの光を被写体の眼に指向させるための光学アセンブリ、眼の眼底の部分の像を捕捉するため配置された複数の光センサを備える光センサアレイ、眼の眼底の点と交差する撮像軸に沿って配置された対物レンズであって、対物レンズは、像平面が光センサアレイから離れて配置されるように、対物レンズの像平面に眼底の像を形成するために眼底によって反射された光を屈折するために配置される当該対物レンズ、および複数のマイクロレンズを備えるマイクロレンズアレイであって、マイクロレンズアレイは、像平面から離れかつ像平面の背後に配置され、かつマイクロレンズアレイは、アレイの各マクロレンズが像平面に形成された像の異なる図を投射し、それによって光センサアレイ上に要素像のアレイを形成するように像平面と光センサアレイとの間に配置される当該マイクロセンサアレイを備える。

Description

本発明は、特に、人間の眼の眼底を撮像するための眼科撮像装置およびシステムに関する。また、本発明は、眼科撮像の方法に関する。

従来の技術の方法、装置または文献への言及は、前記方法、装置または文献が常識の一部を形成したまたは形成することの証拠または承認であるとみなされるべきではない。

世界中の何百万の人々は、網膜疾患を患っており、長寿命化を含むライフスタイルの変化の結果として、この数は増加している。多くの疾患は、部分的失明や全盲となる場合があるが、早期に診断されかつ継続的に監視されるならば、効果的に処置することができる。正確な診断に適する前記網膜の高品質な像を得るには、一般的に嵩張り、高価でありかつ運搬が困難である専門器具を必要とする。

前記網膜プレノプトスコープ（Retinal Plenoptoscope）は、加齢黄斑変性症（ＡＤＭ）、緑内障、糖尿病性網膜症および黄斑浮腫の診断および監視に適する広視野の像および網膜トポグラフィーを提供するように設計されている。

これらの疾患の多くを検出しかつ監視する現在の方法は、カラーかつ無赤色の眼底撮像である。網膜走査は、典型的には、４５度を超える視野を有しかつ精緻な焦点合わせシステムと眼固定システムを特徴とする場合があるデジタル眼底カメラで実行される。近年、非常に高い解像度（５〜１５μｍ）で網膜構造の三次元測定および断面図を提供できる光干渉計（ＯＣＴ）等のより魅力的な撮像モダリティが普及した。これは、黄斑浮腫の前記診断および監視において特に有用である。

デジタル眼底カメラやＯＣＴユニット等の現在利用可能な網膜撮像器具は、しばしば、顕著なシステムの複雑性および信頼できる撮像条件、特にカメラ光学系の患者の眼球への正確な距離および前記患者の視線を前記カメラの視線に適切に整合させるための安定的な眼の固定、を維持するという問題に充てられるコストを有する大きな机上ユニットである。これらの条件の何れかが満たされない場合、得られた像は、焦点が合わない、フラッシュ光のグレアによってぼやける、または前記像の忠実度を減ずるまたは重要な網膜の細部がぼやける他の光学的アーチファクトを示し得る。これらの器具は、典型的には、それらの寸法および複雑性によって容易に運搬されることができない。

したがって、前記従来の技術に関連する前記問題のいくつかに対処するための改良された眼科撮像システムを提供する必要がある。

本明細書において、以下の用語は、特に指示がない限り、指示された意味で使用される。
センサ−一つ以上の光センサ、またはアレイ状に配列された他のタイプのラジアンス検出器。
要素像−単一のマイクロレンズによって投射された、センサ上で捕捉された前記像の一区画。
部分像−復号処理後の要素像。
ライトフィールド−一つの場面で観察された全ての光線に関連する位置および距離の情報の多次元的表示。
二平面パラメータ化−前記ライトフィールドは、各光線（０００）が、図９に示すように、各光線が任意の距離Ｄだけ離れた二つの任意の平行平面と交差する点によって分類される四次元アレイと定義することができる。次に、前記ライトフィールドは、形式Ｌ（ｕ、ｖ、ｓ、ｔ）で記述されることができ、（ｕ、ｖ）は、各光線（０００）が第一の平面（００１）と交差する前記点であり、（ｓ、ｔ）は、各光線（０００）が第二の平面（００２）と交差する前記点である。
対物レンズ−前記眼に最も近い、前記撮像システムにおける一つの光学要素または複数の光学要素。
リレーレンズ−前記光センサに最も近い、前記撮像システムにおける一つの光学要素また複数の光学要素。
開口絞り−光学システムを通過する光の量を制限する、撮像光路における物理的開口。
入射瞳−前記撮像システムの光軸上の一つの点から前記対物レンズの中を覗き込みながら、見える通りの前記開口絞りの像。
出射瞳−前記撮像システムの前記光軸上の一つの点から前記リレーレンズを通して覗き込みながら、見える通りの前記開口絞りの前記像。

一態様では、本発明は、眼科撮像装置を提供し、当該眼科撮像装置は、
照明光源および当該照明光源からの光を被写体の眼の中に指向させるための光学アセンブリ、
前記眼の眼底の部分の像を捕捉するために配置された複数の光センサを備える光センサアレイ、
前記眼の前記眼底の一点と交差する撮像軸に沿って配置された対物レンズであって、当該対物レンズは、像平面が前記光センサアレイから離れて配置されるように、前記像平面上に前記眼底の像を形成するために前記眼底によって反射された光を屈折するために配置された当該対物レンズ、
前記対物レンズの前記像平面を中継するために前記対物レンズと前記光センサとの間に配置されるリレーレンズ、および
複数のマイクロレンズを備えるマイクロレンズアレイであって、当該マイクロレンズアレイは、前記リレーレンズが前記対物レンズと前記マイクロレンズアレイとの間に配置されるように前記対物レンズの前記像平面から離してかつ前記像平面の背後に配置され、前記マイクロレンズアレイは、前記アレイ中の各マイクロレンズが前記リレーレンズの像平面に形成された前記像の異なる図を投射することによって、前記光センサアレイ上に要素像のアレイを形成するように、前記対物レンズの前記像平面と前記光センサアレイとの間に配置されたマイクロレンズアレイを備える。

一実施形態では、前記像平面上に形成された前記像の複数の連続する部分が前記アレイによって前記光センサアレイ上に投射される。

一実施形態では、前記アレイの対応するマクロレンズによって投射された各要素像が前記光センサアレイの別個の部分で受け取られる。

一実施形態では、前記眼科撮像装置は、前記被写体の前記眼の瞳孔に入射瞳を形成するため、および同時に前記マイクロレンズアレイの各マイクロレンズ下に形成された前記要素像が各マイクロレンズの前記直径以下になるように前記光センサアレイの平面に出射瞳の像を投射するために、前記撮像軸に沿って配置される開口絞りをさらに備える。

好ましくは、各要素像は、前記要素像が連続しかつ重なり合わないように前記マイクロレンズを通して見られる前記開口絞りによって生成された前記出射瞳の前記像の投射によって仕切られる。

一実施形態では、前記開口絞りは、前記撮像軸に平行な、前記リレーレンズによって屈折された光線束の主光線が前記マイクロレンズアレイの方に指向されかつ画角に関係なく実質的に同一のサイズの要素像を生成することができるように配置される。

一実施形態では、前記アレイの各マイクロレンズは、前記光センサアレイ上の対応するセットの画素と関連付けられる。

一実施形態では、前記マイクロレンズアレイの前記マイクロレンズの各々は、前記光センサアレイから距離ｂに配置され、ｆは前記マイクロレンズの焦点距離でありかつｂはｆから独立している。

一実施形態では、前記開口絞りは、前記対物レンズとリレーレンズとの間に配置され、前記リレーレンズは、前記対物レンズと前記マイクロレンズとの間に配置され、かつ前記開口絞りは、前記リレーレンズの前記焦点距離に実質的に等しい距離に前記リレーレンズに対して離間された関係で配置されることが好ましい。このような構成により前記画角に関係なく同じサイズと分離の要素像を生成できる像−空間テレセントリックレンズ系が提供される。

好ましくは、前記マイクロレンズアレイは、前記対物レンズの前記撮像軸に沿って配置される。

一実施形態では、前記眼科撮像装置またはシステムは、前記ユーザの眼の前記対物レンズとの軸アライメントのための固定アセンブリをさらに備え、当該固定アセンブリは、
固定ターゲットであって、それによって使用中に当該ターゲットの像を第二の光源による当該ターゲットの背面照明によって前記眼の網膜平面に形成させる当該固定ターゲット、
前記第二の光源からの前記光を前記ユーザの眼に投射するための一つ以上の集光レンズ、および
前記固定ターゲットの像を前記対物レンズの前記焦点平面または当該焦点平面の近くに形成するために前記一つ以上の集光レンズから受光した光を指向し直す一つ以上のビームスプリッタを備える。

一実施形態では、前記光源からの光を前記眼に指向するための前記光学アセンブリは、
前記照明源からの光のビームをコリメートするための一つ以上の集光レンズ、および
前記眼の眼底を照明するために前記照明源からのコリメートされた光を前記対物レンズに指向し直すための一つ以上のビームスプリッタをさらに備える。

一実施形態では、前記眼科撮像装置またはシステムは、前記アレイの各マイクロレンズによって投射された前記要素像のパッチを繋ぎ合わせることによって二次元像をレンダリングするための処理モジュールをさらに備える。

一実施形態では、前記レンダリングされた像の焦点深度は、前記処理モジュールによって繋ぎ合わされた前記パッチのサイズを変化することによって調整されることができる。

一実施形態では、前記処理モジュールは、前記アレイの前記マイクロレンズの一つ以上によって投射された前記複数の要素像に関連する情報から前記眼底の深度図を再構成するように構成される。

前記アレイの一つ以上の前記マイクロレンズによって投射された前記要素像に関連する記情報は、位置および方向に関連するライトフィールド情報を備えることが好ましい。

前記マイクロレンズアレイによって投射された前記要素像の各々は、前記眼底の三次元像を生成するために前記処理モジュールによって処理されることが好ましい。

一実施形態では、前記処理モジュールは、グレアを含む部分像の一つ以上の領域を選択的に無視することによってグレアを回避するようにさらに構成される。

一実施形態では、前記処理モジュールは、一つ以上のプロセッサ、および所定のルールにしたがってかつ複数の部分像を得るために前記複数の前記要素像の別個の領域を選択し、次に前記眼底の処理像を得るために前記部分像を繋ぎ合わせることによって前記部分像をレンダリングすることによって前記複数の前記要素像を処理するための実行可能なプログラム命令を備えるメモリを備える。

一実施形態では、前記システムは、前記眼底の処理像におけるグレアを減少するまたは最小にするために使用することができ、前記処理モジュールは、一つ以上のプロセッサ、および第一のセットの部分像を得るために前記複数の前記要素像の別個の領域を選択し、所定のルールにしたがってかつ前記部分像のサブセットを得るために前記第一のセットから部分像のうちの一つ以上を選択的に無視し、次に、前記眼底の処理像を得るために前記部分像を繋ぎ合わせることによって前記サブセットから前記部分像をレンダリングすることによって前記複数の前記要素像を処理するための実行可能なプログラム命令を備えるメモリを備える。

他の一実施形態では、前記処理モジュールは、一つ以上のプロセッサ、および複数の前記要素像を備える一セットのラジアンス像を得るステップ、前記装置のための固有マトリックスを得るために前記ラジアンス像を較正するステップ、および前記眼底の処理像を形成するために後続の処理ステップを行う前に前記複数の要素像の歪みを取り除くために前記固有マトリックスを適用するステップを行うための実行可能なプログラム命令を備えるメモリを備える。

他の一実施形態では、前記処理モジュールは、一つ以上のプロセッサ、および複数の要素像から前記眼底の像を描く像データを受け取り、前記像データから少なくとも一つのデータ構造を発生するためであって、前記少なくとも一つのデータ構造は、前記複数の要素像間の少なくとも一つの被写体の位置での差を記述するデータを備え、かつ前記少なくとも一つのデータ構造が前記眼底の前記像の少なくとも一つの領域に対応し、および前記少なくとも一つのデータ構造に基づいて深度図を発生する実行可能なプログラム命令を備えるメモリを備える。

他の一実施形態では、眼の眼底の眼科撮像のための方法であって、当該方法は、
光源からの光を被写体の前記眼に指向させることによって、被写体の前記眼を照明するステップ、
前記眼の眼底の部分の像を捕捉するために光センサアレイを配置するステップ、
像平面が前記光センサアレイから離れて配置されるように、該像平面上に前記眼底の像を形成するために前記眼底によって反射された屈折光に前記眼の前記眼底上の一点と交差する撮像軸に沿って対物レンズをアライメントするステップ、
前記対物レンズの前記像平面を中継するために前記対物レンズと前記光センサアレイとの間にリレーレンズを配置するステップ、および
複数のマイクロレンズを備えるマイクロレンズアレイを配置するステップであって、前記マイクロレンズアレイは、前記リレーレンズが前記対物レンズと前記マイクロレンズアレイとの間に配置されるように、前記対物レンズの前記像平面から背後に離間され、かつ前記マイクロレンズアレイは、前記対物レンズの前記像面と前記光センサアレイとの間に配置され、それによって前記アレイの各マイクロレンズは、前記リレーレンズの前記像平面に形成された前記像の異なる図を投射し、それによって前記光センサアレイ上に要素像のアレイを形成するステップを備える。

本発明の好適な特徴、実施形態および変形例は、当業者が本発明を実行するための十分な情報を提供する以下の詳細な説明から理解することができる。詳細な説明は、決して先の本発明の概要の範囲を制限するものとみなすべきではない。当該詳細な説明では、多数の図面への参照がなされるであろう。

本発明の一実施形態にしたがう眼科撮像装置１００の概略図である。 前記開口絞り１７０、被写体の前記眼１および対物レンズ２を参照して入射瞳（Ｅ）の概念を示す図である。 前記眼科撮像装置１００の部分図、特に前記開口絞り１７０の配置によってもたらされる利点を示す図である。 マイクロレンズアレイ６が、リレーレンズ４の像平面１２０を超えた位置に前記リレーレンズ４から離れて配置された第一の配置にある前記眼科撮像装置１００の一部を形成する前記マイクロレンズアレイ（６）および光センサアレイ７の拡大概略図である。 前記マイクロレンズアレイ６が、前記リレーレンズ４と前記リレーレンズ４の前記像平面１２０との間に配置され第二の配置にある前記眼科撮像装置１００の一部を形成する前記マイクロレンズアレイ（６）および前記光センサアレイ７の拡大概略図である。 要素像（３００）が部分像（３０１）に分解される方法を示す前記マイクロレンズアレイによって前記センサ上に形成された前記像の説明図である。 各マイクロレンズ（６）を通過する光が前記センサ７で捕捉される方法のモデルを示す図である。当該図は、前記捕捉された像のｘ平面のみを示すが、ｙ平面に関する図も同様である。 グレア（５００）を減少するためにサンプリングおよびレンダリングするために使用される部分像（３０１）のアレイの説明図である。 前記ライトフィールドのｓ−ｕ平面を横切るエピポーラスライス（６００）の説明図である。 前記眼科撮像装置１００のソフトウェア操作に含まれる様々なステップを示すフローチャートである。 像処理モジュール１５０と通信する演算ユニット１４０を組み込んだ眼科撮像システムのブロック図である。 ４Ｄライトフィールドの二平面パラメータ化モデルの図である。

図１を参照すると、眼科撮像装置１００の概略図が示されている。前記眼科撮像装置１００は、単一の図で被写体の眼１の眼底の複数の像を捕捉するために設けられる。前記用語「眼底」は、眼球の後極を指し、一般的には、網膜、黄斑および視神経を備えている。

前記装置１００の使用を含む典型的な眼底像捕捉方法は、像が網膜平面（Ｒ）に形成される固定ターゲット（１０）を備える固定アセンブリの使用によって前記眼（１）を正確な軸アライメントに案内することを含む。前記固定ターゲットは、レンズ（１１）によってコリメートされた低パワーＬＥＤ（１２）によって背面照明され、かつ前記固定ターゲットの像がレンズ（９）によってプレートビームスプリッタ（８）を通して前記対物レンズ（２）の背面にある焦点距離の一つの平面に焦点が合わされる。次に、これは、前記対物レンズ（２）によって投射され、結果として、前記固定ターゲット（１０）は、前記眼によって撮像される。前記眼に対して、前記固定ターゲット（１０）は、無限距離に表れる。結果として、前記固定ターゲット（１０）は、弛緩した正視眼に対して焦点が合ったままである。

前記眼（１）の網膜照明のための光は、集光レンズ（１３）によって集光されると平行ビームになるＬＥＤ源（１４）によって提供される。前記ＬＥＤ源（１４）からのこの光は、次に、プレートビームスプリッタ（３）を介してかつ前記対物レンズを通して前記眼科装置１００の主要光路に指向される。次に、前記ビームスプリッタ（３）によって指向された前記ビームは、前記眼の瞳平面（Ｐ）にまたは前記眼の瞳平面（Ｐ）のわずか背後に集光し、前記眼の中に広がって角度Φを超えて放射状に網膜表面を照明する。前記照明ＬＥＤは、２７００Ｋの「温白色」のラジアンスを有する。このスペクトルは、眼の損傷の光化学メカニズムに最も関与しているブルーレンジ（＜４５０ｍｍ）に出力が減少している。前記瞳平面での前記照明のラジアントパワーは、前記システムでの損失、主に前記ビームスプリッタの低反射率に起因して前記ＬＥＤによって送出されるラジアントパワーに比較して大きく減少し、かつ前記患者の安全を確保するとともに前記像のＳＮ比を最大にするように設計されている。

前記眼科撮像装置１００は、前記眼（１）の前記眼底の複数の部分の像を捕捉するために配置された光センサアレイ７を備える。前記対物レンズ（２）は、前記眼（１）の前記眼底上の一点と交差する撮像軸（１３０）に沿って配置される。前記対物レンズ（２）は、前記眼底によって反射された光を屈折させて前記対物レンズ（２）の像平面に前記眼底の像を形成するために配置される。前記正視眼（１）の前記網膜から反射された光は、前記人間の眼（１）の光学要素によってコリメートされかつ前記眼（１）の虹彩を通って放射される。前記眼（１）から放射された前記光のこのラジアンスは、前記対物レンズ（２）によって広角θにわたって捕捉され、かつ平面、特に前記像が反転されかつ正のリレーレンズ（４）を介してマイクロレンズアレイ（６）に中継される像平面に焦点を合わせる。ＳＮ比は、単一の直線偏光フィルタ（５）を使用して過剰な対物レンズの後方散乱をフィルタリングすることによって向上する。前記像平面は、前記光センサアレイ７から離れて配置されかつ前記マイクロレンズアレイ（複数のマイクロレンズを備える）は、前記アレイの各マイクロレンズが前記リレーレンズ（４）の前記像平面１２０上に形成された前記像の少なくとも一部を前記光センサアレイ７に投射するように構成される前記対物レンズ（２）と前記光センサアレイ７との間に配置される。

前記眼科撮像装置１００の少なくともいくつかの実施形態では、前記マイクロレンズアレイ（６）の前記マイクロレンズは、無限焦点ではなく、従来のプレノプティックカメラのように前記リレーレンズ（４）によって形成された前記眼底の像に焦点を合わせる。本発明の眼科撮像装置１００の前述の構成における前記マイクロレンズアレイ（６）の配置は、よりシャープでより高い空間解像度を得るのに役立つ。前記リレーレンズ（４）と共に前記対物レンズ（２）は、前記像平面に前記眼底の実像を形成する。前記像平面は、単純に、前記対物レンズ（２）および前記リレーレンズ（４）によって生成される「空中の」像を有するとみなすことができる空間中の一つの位置である。前記像平面に焦点が合わされている前記マイクロレンズアレイ（６）の前記マイクロレンズは、前記像平面に形成された前記眼底の前記像を捕捉する。各マイクロレンズは、前記像平面における前記像のより小さなエリアまたは領域を捕捉し、前記捕捉された領域を前記光センサアレイ７の対応する領域にマッピングするまたは投射する。

現在説明している眼科撮像装置１００の撮像処理は、二つの主要なステップを備えると理解することができる。第一のステップは、前記像平面に初期像を形成するために前記リレーレンズ（４）と共に前記照明および前記対物レンズ（２）を使用することによって前記眼（１）の前記眼底の像を捕捉する。第二の次のステップは、前記光センサアレイ（７）に前記初期像（前記像平面に形成された）の多数の小さい像を形成するために前記マイクロレンズアレイ（６）の前記マイクロレンズの使用を含む。本眼科撮像装置１００におけるこの配置は、逐次的に動作している二つのカメラを備える配置に理論上匹敵することができる。しかしながら、第二の理論上のカメラ（主に、前記マイクロレンズアレイ（６）および前記光センサアレイ７を備える）は、実際には前記マイクロレンズアレイ（６）の各マイクロレンズが事実上は前記像平面から小さな像を捕捉する小さなカメラであるので、小さなカメラのアレイと同等である。

使用中に、前記マイクロレンズアレイ（６）は、図２に示されるように、ｂ／ａの比率が乗じられた、ピクセル単位のセンササイズに同等の空間解像度でｕ×ｖ個の要素像をサンプリングする。前記マイクロレンズアレイ（６）は、直交パターンに配置された正方形のマイクロレンズ要素または六方最密充填要素のいずれかからなることができる。前記距離ｂおよびａは、典型的には前記マイクロレンズの焦点距離より大きいが、より小さくてもよく、その場合には、前記マイクロレンズアレイが前記リレーレンズ（４）によって形成された仮想像をサンプリングする。図２は、前記マイクロレンズアレイ６が、前記リレーレンズ４の前記像平面１２０を越えた位置に前記リレーレンズ４から離れて配置された第一の配置を示す。一方、図２Ａは、前記マイクロレンズアレイ６が、前記リレーレンズ４と前記リレーレンズ４の前記像平面１２０との間に配置された第二の配置を示す。

前記要素像は、電荷結合素子（ＣＣＤ）タイプまたは相補型金属酸化膜半導体（ＣＭＯＳ）等の任意の既知のタイプのものでよい前記光センサアレイ７上に形成される。カラー撮像のために、前記像センサは、典型的には、モザイク除去処理を介してＲＧＢカラーチャネルの分離を可能とするためにカラーフィルタアレイを特徴とするであろうが、Ｆｏｖｅоｎ３Ｘ等の他のセンサテクノロジーを利用することもできる。モノクロセンサも、可視照明または赤外線照明と共に、または異なる波長照明下で迅速に連続して記録された別々のカラーチャネルを有するバースト写真を使用することによって使用することができる。したがって、像中の、前記光センサアレイ７によって捕捉された前記結果としてのラジアンスは、多数（ｕ×ｖ）のサイズｓ×ｔ画素の要素像からなる。

開口絞り１７０が、前記対物レンズ２と前記リレーレンズ４との間に配置されると有利である。前記開口絞り１７０は、前記光センサアレイ７に到達する光線束のサイズを減少し、前記マイクロレンズアレイ６の前記マイクロレンズ下で前記光センサアレイ７に形成された前記要素像の各々の範囲または境界が重なり合うことなく連続するようにサイズが決められる。

図１Ｂを参照すると、前記開口絞り１７０は、前記被写体の前記眼の前記瞳に入射瞳を形成するため、および同時に前記マイクロレンズアレイ６の各マイクロレンズ下で形成された前記要素像が各マイクロレンズの前記直径と等しいかそれよりも小さいように前記光センサアレイ７の平面に出射瞳の像を投射ために、前記撮像軸に沿って配置される。前記要素像の過剰な口径食を回避するために、前記開口絞り１７０は、前記システムの入射瞳が、撮像対象の前記眼の最小瞳よりも小さいようにサイズも決めるべきである。無散瞳系のために、これは、典型的には、約２ｍｍから３ｍｍの直径になるであろう。さらに、前記マイクロレンズアレイ６のマイクロレンズによって形成された各要素像は、前記要素像が連続しかつ重なり合わないように前記開口絞り１７０によって生成された前記出射瞳の前記投射像によって仕切られている。前記入射瞳Ｅの概念が図１Ａに示されている。

図１Ｂに示されるように、前記リレーレンズ４の像側の前記リレーレンズ４の焦点距離（Ｆ_Ｒ）に等しい距離に前記開口絞り１７０を配置することによって、各光線束の主光線は、画角に関係なく前記撮像軸に平行な前記光センサアレイ７に向かって投射される。これは、像空間テレセントリック系と呼ばれ、いくつかの利点をもたらす。像空間光線束が均等かつ垂直に前記マイクロレンズアレイに交差するので、前記センサへの画角投射に起因する前記要素像の角度に依存する歪みはない。加えて、像強度への角度口径食の影響が除去され、大きな画角でより良好な像品質をもたらす。図１Ｂは、前記マイクロレンズアレイ６の前記中心のマイクロレンズを通して見える前記出射瞳（Ｉ_Ｅ）の像の形成を示している。前記中心のマイクロレンズ出射瞳（Ｉ_ＣＥ）の投射も前記光センサ７の平面に形成される。Ｅ_Ｘは、無限遠に形成された前記出射瞳を示す。

前記マイクロレンズアレイ（６）の個々のマイクロレンズの結果として前記光センサアレイ７によって捕捉された各要素像（３００）が、前記眼の前記眼底の僅かに異なる斜視図を提供することに留意することが重要である。換言すれば、前記光センサアレイ７の予め決められた数の画素に入射する各要素像は、前記マイクロレンズアレイ（６）の個々のマイクロレンズを通過する光を表している。前記リレーレンズ（４）によって生成された前記像に前記マイクロレンズアレイ（６）の前記マイクロレンズの焦点を合わせることによって、本眼科システムの実施形態は、前記ライトフィールドの前記位置情報をより良好に捕捉できる。以下のセクションで説明するように、ライトフィールドレンダリング方法を使用して、前記光センサアレイ７によって捕捉されたライトフィールドからの像を従来のライトフィールドレンダリング技術よりも高い空間解像度でレンダリングするために使用することもできる。

図８を参照すると、眼科撮像システムのブロック図が示されている。前記眼科撮像装置１００は、演算ユニット１４０のメモリデバイスに前記要素像を保存するために前記撮像装置１００の前記光センサアレイ７と通信する第１の演算ユニット１４０に接続することができる。前記演算ユニット１４０は、前記撮像装置１００を操作するまたは制御するために利用することもできる。前記演算ユニット１４０は、前記演算ユニット１４０の前記メモリデバイスに保存された前記要素像の像処理を実行するために使用することができる処理モジュール１５０と通信することもできる。前記像処理モジュール１５０は、一つ以上のプロセッサ、および先のセクションで説明するように様々な像処理機能を実行するための実行可能なプログラム命令を備えるメモリを備えることができる。前記像処理モジュール１５０は、前記装置１００および前記演算ユニット１４０から離したところに存在してもよい。

使用前に、前記眼科装置１００は、前記光学システム自体によって生じる歪みを補償するために前記捕捉されたライトフィールドに対してなすべき調整を可能とする工場での較正の処理を受けなければならない。前記較正は、前記演算ユニット１４０を使用して実行することができる。これに関して、前記眼科装置１００を操作するための一連のステップを概説する図７を参照する。最初の較正ステップ（７０１）は、多数の異なるポーズから特定の較正ターゲットのライトフィールドを捕捉すること、次に、前記眼科システムの固有のパラメータを計算するために連立方程式を解くことを含む。前記連立方程式が過剰に定義された場合、投射光線と実際の光線との差を表す誤差項が計算され、この誤差は、標準の最適化技術を使用して最小化される。加えて、前記センサのどの部分が前記マイクロレンズアレイ６のどのマイクロレンズに対応するかを示す「白色像」が捕捉される（７０３）。

ライトフィールドが前記センサに捕捉された（７０４）後に、前記ライトフィールドは、多数の異なる要素像（３００）よりなる２Ｄ像として表れる。これらの要素像（３００）を４Ｄライトフィールドに変換するために、図３に示すように、「復号」（７０５）と呼ばれる処理が実行される。復号は、上述の前記二平面パラメータ化方法と一貫した４Ｄ座標（ｕ、ｖ、ｓ、ｔ）に未処理の２Ｄ入力上の各（ｘ、ｙ）座標を変換することを備える。工場での較正中に捕捉された前記白色像は、前記入力像を一連の要素像（３００）に分離するグリッドを構築するために解析される。次に、各要素像（３００）の境界は、使用データの品質を向上する部分像（３０１）を生成するために無視され、各点は、（ｕ、ｖ）が、前記光線が衝突する前記マイクロレンズの指標であり、（ｓ、ｔ）が、前記光線が衝突する前記マイクロレンズ内の前記点の位置である前記点の４Ｄ座標が与えられる。

前記ライトフィールドは、レクティフィケーション（７０６）の処理によって前記眼科装置（１００）自体が生じる歪みを補償するように変更することができる。レクティフィケーション（７０６）は、工場での較正（７０１）中に計算された固有のパラメータのマトリックスを使用して前記ライトフィールドを前記ライトフィールドの歪のない形態に再マッピングすることによって実行される。

図４は、光が各マイクロレンズ（６）を通過して前記センサ７上で捕捉される方法を示す図である。前記図は、前記捕捉された像のｘ平面のみを示しているが、ｙ平面に関する図も同様である。

任意の特定の焦点深度で前記ライトフィールド（７１１）の２Ｄ図を発生させるための方法は、前記マイクロレンズアレイ（６）がピンホールカメラのアレイとしてモデル化されるレンダリングアルゴリズムを使用することが考えられる。以下の説明は、特に、図２に示すような前記マイクロレンズアレイおよび前記リレーレンズの前記第一の配置に関連する。前記計算が、以下に示すように、図２Ａに示す前記配置等の他の配置に変化してもよいことに留意することが重要である。レンダリング中（７１１）、前記像平面（１２０）に形成される前記出力像（サイズｄ＝マイクロレンズのサイズの）の一部分は、前記対応する部分像（３０１）のパッチ（４００）（サイズＭの）から生成される。前記出力像における各点ｐ（ｘ、ｙ）は、対応する点ｐ‘（ｕ、ｖ、ｓ、ｔ）として前記部分像（３０１）から直接引き出され、前記二つは以下の等式によって関連付けられている。

前記点ｐは、複数の部分像（３０１）上に対応する点を有し、前記像全体を通してｐを生成するためにこれらの全てをブレンドすることによって前記出力レンダリングでの前記アーチファクトの減少を可能とすることに留意することが重要である。前記光センサアレイ７と前記マイクロレンズアレイ（６）との間の距離は固定されるが、前記マイクロレンズアレイ（６）と前記像平面（１２０）との間の距離は変化してもよく、それは、事実上、Ｍのサイズを変化することに等しく（より小さなＭは前記マイクロレンズアレイ（６）と前記像平面（１２０）との間のより大きな距離に対応する）、したがって、前記Ｍの値を変化することは、前記レンダリングされた像の前記焦点深度を変化することに等しい。前記像平面の視点移動は、前記部分像（３０１）内の前記パッチ（４００）の前記位置を移動することによって達成することができる（前記パッチ（４００）は、図４では中心にある）。前記アルゴリズムの影響は本願で説明するように、前記光センサアレイ７に発生した各要素像（３００）の小さな部分を取り、前記小さな部分を対角線軸周りに裏返し、前記小さな部分を拡大しかつ前記小さな部分の全てを結合して出力像を生成することによってレンダリング処理を実行する処理を含むものとして考えることもできる。加えて、前記処理モジュール１５０は、各部分像（３０１）に対して異なるパッチ（４００）サイズを利用することによって一度に焦点が合っている前記全体の被写体を有する像をレンダリングするために使用することもできる。

前記処理モジュール１５０は、グレア（５００）が前記ライトフィールドに表れる場所を特定した後（７１０）、前記要素像（３００）が前記眼科装置１００によって捕捉されたずっと後で、いずれかのレンダリングされた像からグレア（５００）を除去するために利用することもできる。前記被写体の各部分が複数の部分像（３１０）にサンプリングされるので、最終像の各パッチを前記最終像の寄与する部分像パッチ（４００）の混ぜ合わせた組み合わせとしてレンダリングすることによって、かつグレア（５００）を含む前記部分像パッチ（４００）の一つ以上の部分を選択的に無視することによってグレア（５００）を回避することが可能である。図５は、部分像（３０１）の３×３アレイの典型的な像を示し、被写体が複数の部分像（３０１）にわたってサンプリングされる方法を示す。レンダリングされた部分は、前記未処理のデータ（輪郭線で描かれた点で示す）に前記対応するパッチ（４００）の全てを組み合わせることによって作られる。グレア（５００）は、前記例では、星として表され、かつ前記グレア（５００）は、前記組み合わせで使用された前記利用可能なパッチ（４００）のいくつかのみを覆っており、したがって前記像処理モジュール１５０によって実行されたレンダリング処理（７１１）を通して容易に回避することができることに留意すべきである。

捕捉されたライトフィールドは、検査中の前記眼の網膜トポグラフィーの３Ｄ再形成を可能とする深度図を生成するために使用することもできる。前記ライトフィールドの深度図を計算するために使用される処理（７１２）は、動きから深度を生成することを含み前記ライトフィールドから生成されたエピポーラ像（６００）の検査を通してなされる。エピポーラ像（６００）は、前記プレノプティックカメラで仮想的に実行される、前記カメラが一つの方向にパンするときの一場面における被写体の前記動きを追跡する像である。結果としての像は、前記一場面における各特徴に対応する一セットの傾斜線を備え、図６に示すように、前記傾斜の大きさは、前記カメラから前記特徴までの前記距離に比例する。したがって、深度図は、前記深度図の対応するエピポーラ像（６００）におけるライトフィールド中の各点の勾配を計算することによって生成することができる。

前記眼科撮像装置１００を使用することによって、像焦点および像捕捉の前記速度と信頼性において従来のデジタル眼底カメラに対して向上させることができる。前記装置１００の焦点合わせおよび位置合わせコンポーネントの単純化により、コストおよび複雑性を減少することができ、その結果、頑健で安価でかつ運搬性が高いシステムが得られる。さらなる新規な特徴は、合成的に捕捉後の像の焦点を再び合わせ（７１１）、グレアを除去し（７１０）、かつ深度図すなわち網膜表面の特徴の３Ｄレンダリングを生成する（７１２）能力を含む。

前記処理モジュール１５０は、医療に関連する情報の特定（７１３）において医療従事者にとって有用な任意の他の方法で前記眼底の図をレンダリングする（７１１）ためのソフトウェアを利用することもでき、例えば、ステレオ写真の生成は平凡なソフトウェア操作（同じ焦点深度であるが異なる視点の二つのレンダリングされた像）である。前記処理モジュール１５０は、ディープラーニングアルゴリズムのトレーニングに使用されるデータの組を生成するために使用することもできる。前記ディープラーニングアルゴリズムは、前記ライトフィールドにおけるグレアを特定し（７１０）、かつ関連する医療細部を抽出する（７１３）ために直接前記４Ｄライトフィールドを検査することができるであろう。

後のステージ（撮影後）で像に再び焦点を合わせる前記能力は、生体の動く眼の適切な焦点合わせおよび位置合わせが、特に運搬可能な現場機器では達成することが困難である可能性があるので、網膜撮像のために特に有用である。従来既知の眼科撮像システムのそのような欠点を克服することは、現在説明している眼科撮像装置１００の大きな利点の一つである。現在利用可能な眼科撮像システムは、一貫した結果を得るために患者の頭の拘束および軸配置アクチュエータを必要としている。

加えて、本眼科装置１００は、４Ｄライトフィールドデータのセットに関してトレーニングされたディープラーニング技術の前記使用も可能にし、前記使用によって、ノイズおよび像捕捉エラーに対する自動化疾患検出および診断の復元力における向上が約束される。前記装置１００は、遠隔撮像および診断遠隔医療のための頑健な低コストのプラットフォームを提供する可能性もある。したがって、前記装置１００は、現行の網膜撮像モダリティに対する向上した代替物を提供し、複雑で高価な網膜撮像器具をより単純で、運搬性がより高く、低コストのシステムで置き換える。

現在利用可能な撮像システムとは異なり、前記眼科撮像装置１００は、オペレータが一台の器具でより多くの状態を診断できる網膜トポグラフィーの３Ｄ再構成に有用である。前記装置１００は、また、光学システムの単純化および機械的位置合わせシステムの除去を通して器具の信頼性を増すこともできる。前記装置１００は、グレア除去および捕捉後像の焦点を再び合わせるための能力に起因して有用な写真の割合をより高め、したがって全体の操作費用を減少する。前記装置１００は、また、複数の光学機械コンポーネントを単一のマイクロレンズアレイ（６）で交換することによるコンポーネントの減少により有用である。

本出願人は、市場の要請に応じて手持ち型の眼科撮像システムおよび机上型の眼科撮像システムの両方として使用される前記眼科撮像装置１００の使用を想定している。図７のフローチャートは関連するソフトウェアプログラムの前記標準のフローを示している。
状況に応じて、本発明は、構造的または方法的特徴に幾分特有な言語で説明された。「comprises（備える）」という用語、および「comprising」および「comprised of」などの変形は、全体を通して包括的意味で使用されており、さらなる特徴を排除しない。

本明細書で記載された手段が、本発明を具体化する好適な形態を備えているので、本発明は図示されたまたは記載された特定の特徴に制限されないことが理解されるべきである。

したがって、本発明は、当業者によって適切に解釈される添付の特許請求の適切な範囲内で本発明の形態または変形のいずれかで請求される。

本明細書および特許請求の範囲（もしあれば）を通して、前記文脈上そうでない場合を除き、「substantially（実質的に）」または「about（約）」という用語は、当該用語によって修飾される範囲に関して前記値に制限されないことが理解されるであろう。

本発明のいずれの実施形態も例示的であるに過ぎず、本発明を制限していることを意味しない。したがって、本発明の精神および範囲から逸脱することなく記載されたいずれの実施形態に対しても様々な他の変化および変形がなすことができることが理解されるであろう。

Claims (20)

1. 眼科撮像装置であって、
   照明光源および当該照明光源からの光を被写体の眼の中に指向させるための光学アセンブリ、
   前記眼の眼底の部分の像を捕捉するために配置された複数の光センサを備える光センサアレイ、
   前記眼の前記眼底の一点と交差する撮像軸に沿って配置された対物レンズであって、当該対物レンズは、像平面が前記光センサアレイから離れて配置されるように、前記対物レンズの前記像平面上に前記眼底の像を形成するために前記眼底によって反射された光を屈折するために配置された当該対物レンズ、
   前記対物レンズの前記像平面を中継するために前記対物レンズと前記光センサアレイとの間に配置されるリレーレンズ、および
   複数のマイクロレンズを備えるマイクロレンズアレイであって、当該マイクロレンズアレイは、前記リレーレンズが前記対物レンズと前記マイクロレンズアレイとの間に配置されるように前記対物レンズの前記像平面から離してかつ前記像平面の背後に配置され、前記マイクロレンズアレイは、前記アレイ中の各マイクロレンズが前記リレーレンズの像平面に形成された像の異なる図を投射することによって、前記光センサアレイ上に要素像のアレイを形成するように、前記対物レンズの前記像平面と前記光センサアレイとの間に配置されかつ前記リレーレンズの前記像平面から離される前記マイクロレンズアレイを備える眼科撮像装置。
2. 前記リレーレンズの前記像平面上に形成された前記像の複数の連続する部分が前記アレイによって前記光センサアレイ上に投射される請求項１に記載の眼科撮像装置。
3. 使用中に、前記アレイの対応するマクロレンズによって投射された各要素像が前記光センサアレイの別個の部分で受け取られる請求項２に記載の眼科撮像装置。
4. 前記被写体の前記眼の瞳孔で入射瞳を形成するためおよび同時に前記マイクロレンズアレイの各マイクロレンズ下に形成された前記要素像が各マイクロレンズの直径と等しいかまたはそれより小さいように前記光センサアレイの平面に出射瞳の像を投射するために、前記撮像軸に沿って配置される開口絞りをさらに備える請求項１〜３の何れか一項に記載の眼科撮像装置。
5. 各要素像は、前記要素像が連続しかつ重なり合わないように前記開口絞りによって生成された前記出射瞳の投射された像によって仕切られ請求項４に記載の眼科撮像装置。
6. 前記開口絞りは、前記撮像軸に平行な、前記リレーレンズによって屈折された光線束の主光線が前記マイクロレンズアレイに指向させられ、かつ画角に関係なく実質的に同一のサイズおよび分離の要素像を生成することができるように配置される請求項４または５に記載の眼科撮像装置。
7. 前記マイクロレンズアレイの各マイクロレンズは、前記光センサアレイ上の対応するセットの画素に関連する請求項１〜６の何れか一項に記載の眼科撮像装置。
8. 前記マイクロレンズアレイの前記マイクロレンズの各々は、前記光センサアレイから距離ｂに配置され、ｆは前記マイクロレンズの焦点距離であり、かつｂはｆから独立している請求項１〜７の何れか一項に記載の眼科撮像装置。
9. 前記マイクロレンズアレイは前記対物レンズの投射軸に沿って配置される請求項１〜８の何れか一項に記載の眼科撮像装置。
10. ユーザの眼の前記対物レンズとの軸アライメントのための固定アセンブリをさらに備え、該固定アセンブリは、
    固定ターゲットであって、それによって使用中に前記固定ターゲットの像が第二の光源による前記固定ターゲットの背面照明によって前記眼の網膜平面に形成される該固定ターゲット、
    前記第二の光源からの前記光を前記ユーザの眼に投射するための一つ以上の集光レンズ、および
    前記固定ターゲットの像を前記対物レンズの焦平面にまたはその近くに形成するために前記一つ以上の集光レンズから受光した光を指向し直す一つ以上のビームスプリッタを備える請求項１〜９の何れか一項に記載の眼科撮像装置。
11. 前記照明光源からの光を前記眼に指向するための前記光学アセンブリは、
    前記照明光源からの光ビームをコリメートする一つ以上の集光レンズ、および
    前記眼の前記眼底を照明するために前記照明光源からのコリメートされた光を前記対物レンズに指向し直すための一つ以上のビームスプリッタをさらに備える請求項１〜１０の何れか一項に記載の眼科撮像装置。
12. 前記アレイの各マイクロレンズによって投射された前記要素像のパッチを繋ぎ合わせることによって二次元像をレンダリングするための処理モジュールをさらに備える請求項１〜１１の何れか一項に記載の装置を含む眼科撮像システム。
13. 前記レンダリングされた像の焦点深度は、前記処理モジュールによって繋ぎ合わされた前記要素像の前記パッチのサイズを変化させることによって調整されることができる請求項１２に記載の眼科撮像システム。
14. 前記処理モジュールは、前記マイクロレンズアレイの前記マイクロレンズの一つ以上によって投射された複数の前記要素像に関連する情報から前記眼底の深度図を再構成するように構成される請求項１２または１３に記載の眼科撮像システム。
15. 前記アレイの前記マイクロレンズによって投射された前記複数の前記要素像に関連する情報は、方向および位置に関連するライトフィールド情報を備える請求項１２から１４に記載の眼科撮像装置またはシステム。
16. 前記処理モジュールは、一つ以上のプロセッサ、および所定のルールにしたがってかつ複数の部分像を得るために複数の前記要素像の別個の領域を選択し、次に前記眼底の処理像を得るために前記部分像を繋ぎ合わせることによって前記部分像をレンダリングすることにより、複数の前記要素像を処理するための実行可能なプログラム命令を備えるメモリを備える請求項１２に記載の眼科撮像装置またはシステム。
17. 前記眼底の処理像におけるグレアを減少するまたは最小にするためであって、前記処理モジュールは、一つ以上のプロセッサ、および第一のセットの部分像を得るために複数の前記要素像の別個の領域を選択し、所定のルールにしたがってかつ前記部分像のサブセットを得るために前記部分像のうちの一つ以上の部分を選択的に無視し、次に、前記眼底の処理像を得るために前記部分像を繋ぎ合わせることによって前記サブセットから前記部分像をレンダリングすることにより、複数の前記要素像を処理するための実行可能なプログラム命令を備えるメモリを備える請求項１２に記載の眼科撮像装置またはシステム。
18. 前記処理モジュールは、一つ以上のプロセッサ、および複数の前記要素像を備える一セットのラジアンス像を得るステップ、前記装置のための固有マトリックスを得るために前記ラジアンス像を較正するステップ、および前記眼底の処理像を形成するために後続の処理ステップを行う前に複数の前記要素像の歪みを取り除くために前記固有マトリックスを適用するステップを行うための実行可能なプログラム命令を備えるメモリを備える請求項１２に記載の眼科撮像装置またはシステム。
19. 前記処理モジュールは、一つ以上のプロセッサ、および複数の要素像から前記眼底の像を描く像データを受け取り、前記像データから少なくとも一つのデータ構造を発生するためであって、前記少なくとも一つのデータ構造は、前記複数の要素像間の少なくとも一つの被写体の位置での差を記述するデータを備え、かつ前記少なくとも一つのデータ構造が前記眼底の前記像の少なくとも一つの領域に対応し、および前記少なくとも一つのデータ構造に基づいて深度図を発生する実行可能なプログラム命令を備えるメモリを備える請求項１２に記載の眼科撮像装置またはシステム。
20. 被写体の眼の眼底の眼科撮像の方法であって、該方法は、
    光源からの光を被写体の前記眼に指向させることによって、被写体の前記眼を照明するステップ、
    前記眼の眼底の部分の像を捕捉するために光センサアレイを配置するステップ、
    像平面が前記光センサアレイから離れて配置されるように、該像平面上に前記眼底の像を形成するために前記眼底によって反射された屈折光に前記眼の前記眼底上の一点と交差する撮像軸に沿って対物レンズをアライメントするステップ、
    前記対物レンズの前記像平面を中継するために前記対物レンズと前記光センサアレイとの間にリレーレンズを配置するステップ、および
    複数のマイクロレンズを備えるマイクロレンズアレイを配置するステップであって、前記マイクロレンズアレイは、前記リレーレンズが前記対物レンズと前記マイクロレンズアレイとの間に配置されるように、前記対物レンズの前記像平面から背後に離間され、かつ前記マイクロレンズアレイは、前記対物レンズの前記像平面と前記光センサアレイとの間に配置されかつ前記リレーレンズの像平面から離間され、それによって、前記アレイの各マイクロレンズは、前記リレーレンズの前記像平面に形成された前記像の異なる図を投射し、それによって前記光センサアレイ上に要素像のアレイを形成するステップを備える被写体の眼の眼底の眼科撮像の方法。