JP2017074377A - プレノプティック・カメラを使った個人の目のモデルの構築 - Google Patents

Abstract

【課題】個人の目の生体環境中での測定であって、個人の目の光学モデルを構築するために十分な測定を行なうための単一のイメージング・プラットフォームを提供する。【解決手段】本プラットフォームは、プレノプティック眼科カメラおよび照明モジュールを含む。ある構成では、プレノプティック眼科カメラは個人の目の角膜前面のプレノプティック像を捕捉する。別の構成では、プレノプティック眼科カメラは、個人の目によって生成される波面を測定するための波面センサーとして動作する。【選択図】図１

Description

関連出願への相互参照
本願は2015年10月16日に出願された「プレノプティック眼底カメラを使った個人の目のモデルの構築」という米国仮特許出願第62/242,679号への米国特許法第１１９条（ｅ）のもとでの優先権を主張するものである。同出願全体の主題はここに参照によってその全体において組み込まれる。

技術分野
本発明は、概括的には、目の測定およびそのような測定に基づく目のモデルの構築に関する。

過去数十年において、目の疾患の診断および治療を助けるために、人間の目についての多様な光学モデルが確立されてきた。しかしながら、込み入ったイメージング・システムであるそれぞれの個人の目は独自の生理的特性をもつ。個人の目の光学パラメータを特徴付けることは、角膜屈折手術後の創傷治癒を評価したり眼鏡やコンタクトレンズを最適化したりといった用途のために枢要である。

個人の目のモデルを構築するには、典型的には三つの目の表面がモデル化される：目の約70%の光学パワー（optical power）を受け持つ角膜の前面と、目の約30%の光学パワーを受け持つ水晶体の前面および後面である。個人の目のモデルは、角膜局所解剖学〔トポグラフィー〕（corneal topography）、波面収差測定および数値モデリングという三つの技法を組み合わせることによって、生体条件において確立できる。通常、角膜表面曲率は、プラシド（Placido）・ディスク（たとえばZeissのATLAS角膜局所解剖学システム）を使ってまたはスキャニング・スリット（たとえばOrbscan角膜局所解剖学取得器）もしくはシャインプルーフ（Scheimpflug）写真法（たとえばPentacam角膜局所解剖学取得器）を使って取得される。波面収差は典型的には、ハルトマン・シャック（Hartmann-Shack）センサー（たとえばZeissのi.Profiler波面解析器）を使って測定される。しかしながら、複数の高価な機器に依拠することは、一般の眼科医にとって、個人の目のモデルの構築の利用可能性を制限する。さらに、通常の角膜局所解剖学技法はスキャンに頼るため、測定を完了するために典型的には1〜2秒が必要とされる。このプロセスの間の目の動きは動きアーチファクトを導入することがある。

加えて、視差測定に基づいて奥行きを推定するために、プレノプティック・イメージングが使用されることができる。しかしながら、プレノプティック三次元イメージングでは、オブジェクトの奥行きを再構成するためには、事前の視差対奥行きの較正が一般に必要とされる。典型的には、較正の間、プレノプティック・イメージング・システムの前に格子または点ターゲットが置かれ、一つの軸（格子ターゲットの場合）または三つの空間軸（点ターゲットの場合）に沿ってスキャンされる。しかしながら、目をイメージングするときは、そのような手順は使えない。目の水晶体もイメージング・システムの一部であり、単純に個人の目の中に「既知の」奥行きをもつターゲットを置くことはできないからである。

このように、個人の目のモデルを構築するために使われる目の測定を行なうことに向けた、よりよいアプローチが必要とされている。

本開示は、個人〔個体〕の目の生体環境中での（in vivo）測定のための単一のイメージング・プラットフォームを提供することによって、従来技術の限界を克服する。ここで、前記測定は、個人の目の光学モデル（optical model）を構築するために十分なものである。本プラットフォームは、プレノプティック眼科カメラおよび照明モジュールを含む。本イメージング・プラットフォームの第一の構成では、プレノプティック眼科カメラは生体環境において個人の目の角膜前面のプレノプティック像を捕捉する。第二の構成では、プレノプティック眼科カメラは、個人の目を通じて伝搬する光によって生成される波面を生態環境において測定するための波面センサーとして動作する。個人の目の光学モデルは、捕捉されたプレノプティック像および測定された波面に基づいて生成される。

他の側面は、上記のいずれかに関係しているコンポーネント、装置、システム、改善、方法、プロセス、アプリケーション、コンピュータ可読媒体および他の技術を含む。

本開示の実施形態は、他の利点および特徴をもつ。それらは以下の詳細な説明および付属の請求項を付属の図面との関連で参酌すれば、容易に明白となるであろう。
ある実施形態に基づくイメージング・プラットフォームを示す図である。 ＡおよびＢは、ある実施形態に基づく、それぞれプレノプティック・イメージングおよび波面測定のために構成されたイメージング・プラットフォームを示す図である。 ある実施形態に基づく、個人の目の光学モデルを生成するための測定値の後処理のためのプロセスを示す図である。 ある実施形態に基づく、プレノプティック眼科カメラの例を示す図である。 ある実施形態に基づく、プレノプティック眼科カメラの例を示す図である。 ある実施形態に基づく、プレノプティック眼科カメラのもう一つの例を示す図である。 ある実施形態に基づく、奥行きを推定する後処理モジュールを示す図である。 Ａ〜Ｃは三つの異なる視点から見た二つのオブジェクトを示し、Ｄはある実施形態に基づく、対応するライトフィールドの(x,u)スライスを示す。 ある実施形態に基づく、グレースケール・シーンについてのライトフィールドからの(x,u)スライスに重畳された光線領域（ray region）を示す図である。 図面は単に例解の目的でさまざまな実施形態を描いている。当業者は、以下の議論から、本稿に開示される原理から外れることなく、本稿に示される構造および方法の代替的な実施形態が用いられてもよいことを容易に認識するであろう。

図面および以下の記述は単に例としての好ましい実施形態に関する。以下の議論から、ここに開示される構造および方法の代替的な実施形態が、特許請求されるものの原理から外れることなく用いられてもよい有望な代替として容易に認識されるであろうことを注意しておくべきである。

図１は、角膜局所解剖学および波面収差測定の両方を単一の機器――プレノプティック眼科カメラ１２０――を使って実装することができ後処理モジュール１３０を通じて個人の完全な目のモデル１４０を生成できるイメージング・プラットフォームを示している。本イメージング・プラットフォームは照明モジュール１１０およびプレノプティック眼科カメラ１２０を含んでいる。照明モジュール１１０は個人の目１５０を照明し、プレノプティック眼科カメラ１２０は照明された目の測定を行なう。後処理モジュール１３０（たとえばコンピュータ・システム）はこれらの測定値にアクセスして、個人の目の光学モデルを生成する。目のモデル１４０は好ましくは、角膜前面１５２、水晶体前面１５４および水晶体後面１５６の光学モデルを含む。

イメージング・プラットフォームの第一の構成では、プレノプティック眼科カメラ１２０は、個人の目の角膜前面のプレノプティック像を生体環境において捕捉する。第二の構成では、プレノプティック眼科カメラは、個人の目を通じて伝搬する光によって生成される波面を生体環境において測定するための波面センサーとして動作する。個人の目の光学モデルは、捕捉されたプレノプティック像および測定された波面に基づいて生成される。

第一の構成のある実装では、照明モジュールは角膜前面をあらかじめ定義されたパターンをもって照明し、プレノプティック眼科カメラは該あらかじめ定義されたパターンで照明されている角膜前面のプレノプティック像を捕捉する。捕捉されたプレノプティック像は、たとえばプレノプティック像における視差から角膜前面の奥行きマップを生成することによって個人の目の角膜前面の光学モデルを構築するために十分なデータを提供する。

第二の構成のある実装では、照明モジュールは個人の目の網膜上に点像を生成し、プレノプティック眼科カメラは、個人の目の網膜から反射された点像によって生成された波面を生体環境において測定するための波面センサーとして動作する。この場合、プレノプティック・システムは、波面を測定するために、目のひとみをイメージングする。波面測定は、個人の目の水晶体前面および水晶体後面の光学モデルを構築するために使われる。たとえば、個人の目のコンピュータ・シミュレーションが生成されることができる。角膜前面は、第一の構成測定からの結果に基づいてモデル化できる。前記コンピュータ・シミュレーションは、個人の目によって生成される波面をシミュレートするために使われる。水晶体前面および水晶体後面についての光学モデルは、シミュレートされた波面と測定された波面の間の差を減らすよう最適化される。

プラットフォームは、図２のＡ〜Ｂに示されるような二つの異なるモードのために構成されることができる。この例では、照明モジュール１１０は、電子表示画面２１２（LEDまたはOLED）のような照明源を含む。イメージング・プラットフォームは、偏光ビームスプリッター２１５および中継レンズをも含む。これらは、照明モジュール１１０およびプレノプティック眼科カメラ１２０のための光路を重畳させるために使われる。これは、照明モジュール１１０による照明およびプレノプティック眼科カメラ１２０による測定値の取得を同時に行なうことを許容する。

図２のＡでは、格子パターンのようなあらかじめ定義されたパターンが電子ディスプレイ２１２上に表示される。グリッド・パターンは、4fレンズ・システム２１６〜２１７を通じて中継され、個人の目１５０の角膜前面１５２を照明する。この例において、ビームスプリッター２１５は、角膜からの正反射光を阻止し、散乱された光のみを通過させる。プレノプティック眼科カメラ１２０は、好ましくは単一のスナップショットにおいて、照明された角膜１５２のプレノプティック像を捕捉する。角膜は4fレンズ・システム２１７〜２１８によってプレノプティック・センサー１６０（たとえばセンサー・アレイと組み合わされたマイクロレンズ・アレイ）上にイメージングされる。プレノプティック像は本来的に、複数の異なる視点から捕捉された角膜前面１５２の複数の像を含む。これらの異なる視点は、オブジェクトの奥行きマップを生成するために処理されることができる。これについてはのちにより詳細に述べる。

図２のＢでは、点オブジェクトが電子ディスプレイ２１２に表示される。この点源からの光は色消しレンズ２１７によってコリメートされ、個人の目１５０の網膜１５８上に合焦され、それにより網膜上に点像を生成する。点像は事実上、網膜１５８上に位置する点源として作用する。結果として得られる波面は、目の中の種々の面の効果を測定したものである。プレノプティック眼科カメラ１２０は、網膜１５８から反射された点像によって生成される波面を測定するために、目のひとみをイメージングすることによって、波面センサーとして作用する。目から放出された波面は、4fシステム２１７〜２１８を通じて、波面センサーとして作用するプレノプティック・センサー１６０に中継される。

図２のＡおよびＢに示される二つのモードの間で、プレノプティック眼科カメラ１２０は角膜前面１５２のプレノプティック像を捕捉し、網膜１５８上の点源によって生成された波面の波面測定をも捕捉する。後処理モジュール１３０はこれら二つの測定結果にアクセスし、それらを処理して、目の三つの表面の光学モデルを生成する。

図３は、このプロセスの例を示している。高レベルでは、角膜前面１５２についての光学モデルが、捕捉されたプレノプティック像に基づいて生成され（３１０）、水晶体前面および後面１５４、１５６についての光学モデルが、測定された波面に基づいて生成される（３２０）。個人についての目のモデル３４０はこれら三つの表面についての光学モデルを含む。

図３は、各ステップ３１０、３２０についてのより具体的な例をも示している。ステップ３１０の例では、角膜局所解剖学が次のように決定される。プレノプティック像から視差マップが計算される（３１２）。視差と奥行きの間には一対一のマッピングがあり、これはたとえば較正によって決定できる。よって、視差マップは、角膜１５２についての対応する奥行きマップを生成する（３１４）ために使われる。プレノプティック像三次元再構成の例は、下記およびここに参照によって組み込まれる「Processing of Light Fields by Transforming to Scale and Depth Space」という米国特許出願第14/064.090号により詳細に記載されている。この例では、角膜前面についての奥行きマップは、

の形のゼルニケ多項式に当てはめされる（３１６）。ここで、cは表面の曲率、rはレンズ単位での動径座標、kは円錐定数、A_iは第iゼルニケ多項式に対する係数、Nは級数におけるゼルニケ係数の数、Z_i(r,φ)はゼルニケ項であり、種々の波面収差に関連付けられている。角膜前面の再構成のためには、光学系は目のレンズを含まないことを注意しておく。よって、プレノプティック眼科カメラは、視差と奥行きの対応関係について、たとえばここに参照によって組み込まれる「Disparity-to-Depth Calibration for Plenoptic Imaging Systems」という米国特許出願第15/050,422号に記載されるように、事前較正されることができる。

ステップ３２０の例では、プレノプティック眼科カメラはハルトマン・シャック・センサーとして使われる。電子ディスプレイ上の点オブジェクトが患者の網膜上に合焦される。患者は、自分が見る点像を鮮鋭にするために調整をするよう求められてもよい。像は典型的には、わずかにオフセットされた点のアレイのように見え、各点は波面の局所的な傾きを表わす。捕捉された像は標準的な技法を使って波面関数に変換される。測定された波面誤差Wは次の形のゼルニケ多項式に当てはめされる（３２２）。

ここで、B_iは第iゼルニケ多項式に対する係数、Nは級数におけるゼルニケ係数の数、Z_i(r,φ)はゼルニケ項である。ゼルニケ表現は、光の波面についての良好な基底集合となり、ZemaxまたはCodeVといった光学設計ソフトウェアと一緒に使うのに好適なフォーマットで表現できるので、有用である。

個人の目のコンピュータ・シミュレーションが生成される（３２４）。この例では、コンピュータ・シミュレーションは、光学設計ソフトウェアで実装された一般的な目のモデル（たとえばアリゾナ眼モデル）で始まる。一般に、アリゾナ眼モデルは、平均臨床データに基づいて決定された軸上および軸外れ収差レベルにマッチする。この標準的なモデルをカスタマイズするために、標準モデルからの角膜前面が、ステップ３１０で計算された実際の表面によって置換される（３２６）。水晶体前面および後面はゼルニケ標準サグ（sag）表面型によって表現され、ゼルニケ係数が最適化のための変数として設定される。

個人の目の上記コンピュータ・シミュレーションは次いで、個人の目によって生成される波面をシミュレートするために使用できる。シミュレートされた波面と測定された波面の間の差に基づく性能関数（merit function）が定義される。波面は好ましくは、角膜前面に接し、光軸に垂直な平面において定義される。水晶体前面および後面についてのゼルニケ係数は、性能関数を改善する（すなわち、シミュレートされた波面と測定された波面の間の差を減らす）ことに基づいて最適化される（３２８）。結果は、目の光学パワーの大半を受け持つ三つの表面である角膜前面、水晶体前面および水晶体後面の光学モデルを含む個人の目のモデルである。

図４〜図５は、プレノプティック眼科カメラの例を示している。図４Ａ〜図４Ｂでは、プレノプティック眼科カメラ４２０は、対物レンズ４１２（図４Ａでは単一のレンズによって表わされる）と、二次結像アレイ４１４（像形成要素のアレイ）と、センサー・アレイ４８０とを含む。便宜上、結像光学系４１２は図４Ａでは単一の光学要素として描かれているが、複数の要素を含むことができることは理解しておくべきである。図４Ａの実装は中継レンズ４３２、４３４のセットをも含む。

二次結像アレイ４１４はマイクロ結像アレイと称されてもよい。二次結像アレイ４１４およびセンサー・アレイ４８０は一緒になって、プレノプティック・センサーまたはプレノプティック・センサー・モジュールと称されてもよい。この例では、二次結像アレイ４１４はマイクロレンズ・アレイである。マイクロ結像アレイ４１４の他の例はマイクロレンズ・アレイ、ピンホールのアレイ、マイクロミラー・アレイ、チェッカーボード格子および導波路／チャネル・アレイを含む。マイクロ結像アレイ４１４は長方形アレイ、六角形アレイまたは他の型のアレイであることができる。

これらのコンポーネントは、二つの重なり合う結像サブシステムをなす。第一の結像サブシステムでは、対物レンズ４１２が個人の目１５０の前方に位置付け可能であり、一次像平面IPにおいて目（この例では網膜）の光学像４５５を形成し、それが像ポートIP'のような共役面に中継される。この結像サブシステムはひとみ面をもつ。第二の結像サブシステムでは、二次結像アレイ４１４はひとみ面をセンサー・アレイ４８０上に結像する。これをするために、マイクロ結像アレイ４１４が像平面IPまたはその共役面の一つに位置され、それによりひとみ面が今ではセンサー面SPに対する共役面SP'に位置される。この例では、マイクロレンズ・アレイ４１４は共役面IP'に位置される。システムはその全体において、センサー面SPのところに、プレノプティック像４７０を形成する。これは、空間的に多重化され、インターリーブされた光学像を含む。

任意的に、フィルタ・モジュール４２５がセンサー面SPに共役な面SP'に位置されてもよい。実際の物理的な位置は、結像光学系４１２の前、後または中であってもよい。フィルタ・モジュールはいくつかの空間的に多重化されたフィルタ４２７Ａ〜Ｄを含む。この例では、フィルタ・モジュール４２５は図４Ａの上部に示される、フィルタ４２７の長方形アレイを含む。フィルタ・モジュール４２５は、スペクトル・フィルタ、偏光フィルタ、中性フィルタ、クリア・フィルター（すなわち、フィルタなし）またはこれらの組み合わせを含むことができる。

図４Ａの上部はさらなる詳細を与えている。この図において、オブジェクト１５０（たとえば角膜前面）は領域の3×3のアレイに分割され、それらの領域は１〜９とラベル付けされている。フィルタ・モジュール４２５は、個々のフィルタ４２７Ａ〜Ｄの2×2の長方形アレイである。たとえば、各フィルタ４２７Ａ〜Ｄは異なるスペクトル応答を有していてもよい。センサー・アレイ４８０は6×6長方形アレイとして示されている。

図４Ｂは、空間的に多重化された光学像４７０Ａ〜Ｄがセンサー・アレイ４８０のところでどのように生成され、インターリーブされるかを概念的に例解している。オブジェクト１５０が捕捉され、フィルタ４２７Ａによってフィルタリングされた場合、光学像４５５Ａを生成する。フィルタリングされた光学像４５５Ａをオブジェクトのフィルタリングされていない像から区別するために、3×3の領域は添え字Ａを用いて１Ａ〜９Ａとラベル付けされている。同様に、フィルタ４２７Ｂ、Ｃ、Ｄによってフィルタリングされたオブジェクト１５０は、１Ｂ〜９Ｂ、１Ｃ〜９Ｃおよび１Ｄ〜９Ｄとラベル付けされた3×3の領域をもつ対応する光学像１５５Ｂ、Ｃ、Ｄを生成する。これら四つの光学像４５５Ａ〜Ｄのそれぞれは、フィルタ・モジュール４２５内の異なるフィルタ４２７Ａ〜Ｄによってフィルタリングされているが、みなプレノプティック・イメージング・システム４２０によって同時に生成される。これは、単一のスナップショットで種々のモダリティの像および視点が捕捉されることを許容し、あとで諸画像を位置合わせするときに目の動きを補償する必要性をなくす。

四つの光学像４５５Ａ〜Ｄは、図４Ｂに示されるように、センサー平面においてインターリーブされた仕方で形成される。像４５５Ａを例として使うと、光学像４５５Ａからの3×3の領域１Ａ〜９Ａは、光学像４７０内の3×3ブロックにおいて連続しているのではない。むしろ、四つの異なる光学像からの領域１Ａ、１Ｂ、１Ｃおよび１Ｄが光学像４７０の左上に2×2に配置される（明確のため、像４７０の反転は無視する）。領域１〜９は同様に配置される。このように、光学像４７０Ａを作り上げる領域１Ａ〜９Ａは、プレノプティック像４７０を横断して拡散され、他の光学像４７０Ｂ〜Ｄの諸部分によって分離される。別の言い方をすると、センサーが個々のセンサー要素の長方形アレイであるとすると、全体的なアレイはセンサー要素の長方形のサブアレイ４７１（１）〜（９）に分割されることができる（一つのサブアレイ４７１（１）のみが図４Ｂでは示されている）。各領域１〜９について、各フィルタリングされた像からの対応する領域のすべてがサブアレイ上に結像される。たとえば、領域１Ａ、１Ｂ、１Ｃおよび１Ｄはみなサブアレイ４７１（１）上に結像される。フィルタ・モジュール４２５およびセンサー・アレイ４８０が共役な平面に位置しているので、アレイ４１４内の各結像要素はセンサー平面SPのところにフィルタ・モジュール４２５の像を形成することを注意しておく。複数の結像要素があるので、フィルタ・モジュール４２５の複数の像４７１が形成される。

プレノプティック像４７０は、処理モジュール１３０によって処理されて、オブジェクトの所望される画像を再構成する。処理は、インターリーブ解除および多重化解除であることができる。上記の奥行きマップ構築のような、より洗練された画像処理をも含むことができる。異なるフィルタリングを経験することに加えて、プレノプティック眼科カメラ４２０によって捕捉された画像データは異なる視点をも反映する。すなわち、多重化された像は異なる視点から捕捉される。この情報は、角膜前面１５０の三次元画像を再構成するために使用されることができる。こうして、再構成された画像４９５は、フィルタリングされた画像（たとえば、色および／または偏光画像）に加えて、三次元情報を含むことができる。システムは、奥行きモードとマルチフィルタ・モードとの間で切り換え可能であるよう設計されることができる。あるいはまた、システムは、奥行きおよびスペクトル／偏光情報を同時に捕捉することができる。

図４は、基礎になる概念を例解するために簡略化されていることを注意しておくべきである。たとえば、オブジェクト１５０は、全体的な結像関数をより簡単に説明するために、人工的にアレイに分割された。もう一つの例として、たいていの実際上のシステムは、特にセンサー・アレイにおいて、および可能性としてはフィルタ・モジュールにおいても、有意により大きなアレイを使う。さらに、センサー平面における6×6の領域とセンサー・アレイにおける基礎になるセンサー要素との間に2:1の関係がある必要はない。各領域は、たとえば、複数のセンサー要素に対応することができる。最後の例として、オブジェクトにおける１とラベル付けされた領域、フィルタリングされた像４５５Ａにおける１Ａとラベル付けされた領域およびプレノプティック像４７０における１Ａとラベル付けされた領域は、互いの正確な像である必要はない。いくつかの設計では、プレノプティック像４７０内での領域１Ａは、近似的にはオブジェクト１５０における領域１から、フィルタリングされたエネルギーを捕捉しうるが、実際に領域１の像でなくてもよい。このように、プレノプティック像４７０の領域１Ａにおけるセンサー要素によって収集されたエネルギーは、オブジェクト１５０の領域１における像（またはその像の何らかの変換）を積分およびサンプリングしていてもよく、その領域のオブジェクトの幾何学的再現を表わすのではなくてもよい。さらに、視差、周辺ぼけ（vignetting）、回折および光学伝搬といった効果が像形成に影響しうる。

図５は、ある実施形態に基づく、プレノプティック眼科カメラのもう一つの例を示している。この例では、マイクロレンズ・アレイ４１４は、像平面IPに直接位置するのであって、その共役面の一つにではない。

下記は、プレノプティック・カメラを使った角膜局所解剖学のためのいくつかの設計上の考察である。角膜は反射オブジェクトなので、表面の傾きは入射主光線を偏向させ、比較的大きな反射角を導入する。反射光を収集するために、前方光学系は比較的大きな開口数（NA）をもつ必要がある。たとえば、角膜上の直径3mmの視野（FOV: field of view）および0度の入射主光線角を与えられると、反射された主光線は光軸に対して0.24ラジアンの反射角をもつ。この反射された主光線を収集するために、プレノプティック眼科カメラの前方光学系は0.24より大きいNAをもつ必要がある。この要件を満たすために、我々は、図２のＢに示されるように0.25NAをもつ顕微鏡対物レンズを使った。加えて、角膜イメージングのための所望される横方向分解能は約100μm以下であり、所望される奥行き分解能は約50μm以下である。

図６〜図８は、角膜前面についての奥行きマップを決定すること（たとえば図３のステップ３１４）の例を示す。図６は、奥行きを推定する後処理モジュール１３０の一つの実装を示している。この例では、角膜のプレノプティック像は、ビュー抽出モジュール６９２によって受領され、ビュー抽出モジュール６９２は、図４Ｂにおいて述べたように、センサー・データを別個の像４５５（またはビュー）に分離する。これらのビューは互いに対してシフトされている。すなわち、これらは視差を呈する。好ましくは、あるビューから次のビューにかけての視差は1ピクセル未満である。すなわち、ビューからビューへの視差はサブピクセルである。視差決定モジュール６９４は視差を計算する。たとえば、これは、異なるビュー４５５における対応する特徴を比較することによって行なってもよい。あるいはまた、モジュール６９４は他の源から視差を取得してもよい。奥行き推定モジュール６９６は、モジュール６９４からの視差を対応する奥行きにマッピングすることによって、オブジェクトを横断した奥行きを推定する。モジュール６９６はこれを行なうために視差‐奥行きマッピング６９７を使う。ある実装では、奥行きと視差の間のマッピング６９７は較正プロセスの結果である。モジュール６９６の出力は、角膜前面上の種々の点への奥行きを推定する奥行きマップ６９８である。ある実施形態では、出力画像はピクセルで構成され、各ピクセルについて通常の画像データ（たとえばRGBデータ）をもつが、各ピクセルについて奥行き情報をも含む。

奥行き‐視差関係は図７〜図８に示されている。プレノプティック眼科カメラによって捕捉されたプレノプティック像は四次元のライトフィールドI(x,y,u,v)として表現できる。ここで、(x,y)は像座標であり、(u,v)は視点座標である。ライトフィールド画像I(x,y,u1,v1)は視点(u1,v1)から観察されるであろう、(x,y)の関数としての画像である。

図７のＡ〜Ｄに示されるように、ライトフィールドの二次元スライスI(x,u)は、一様に離間した諸視点での諸ライトフィールドの特性に固有なライン構造を示す。(x,u)領域におけるラインの角度はシーンにおける異なる奥行きに対応する。図７のＡは、異なる奥行きにある二つのオブジェクト７１０および７２０を示している。オブジェクト７２０はオブジェクト７１０の前方にあり、視点uに依存して、オブジェクト７１０を隠蔽することもしないこともある。

図７のＡは、視点u1から取られている。この視点からは、オブジェクト７１０はx区間７１１を占め、オブジェクト７２０はx区間７２１を占める。二つの区間７１１および７２１は重ならず、隠蔽はない。図７のＤはこれら二つのオブジェクトについてのライトフィールドの二次元(x,u)スライスを示している。図７のＡのxスライスは縦のu軸上でu1によってマークされている。二つの区間７１１および７２１は、図７のＤにおける座標u＝u1における二つの線分として再現されている。

図７のＢは、異なる視点u2からの同じ二つのオブジェクトを示している。この視点からは、オブジェクト７１０はx区間７１２を占め、オブジェクト７２０はx区間７２２を占める。これも図７Ｄにおける座標u＝u2における二つの線分によって示されている。座標u＝u1における線分に対してこれらの線分のシフトがあることを注意しておく。視点変化に起因するこの相対的なシフトは、パララックスまたはディスパリティ（視差）の結果である。図７Ｂでは、二つのx区間７１２および７２２はちょうど接している。図７のＣは視点u3からの上記二つのオブジェクトを示している。ここでは、オブジェクト７１０はx区間７１３を占め、オブジェクト７２０はx区間７２３を占め、やはり図７のＤにおけるu＝u3における二つの線分によって示されている。二つのx区間７１３および７２３は重なり合っており、これはオブジェクト７２０がオブジェクト７１０の一部を隠蔽することを意味する。このプロセスをたとえば他の視点uについて繰り返すことで、図７のＤに示される二つの台形７１９および７２９が得られる。これらは光線領域（ray region）と称される。重なり７３９のエリアは、オブジェクト７２０によるオブジェクト７１０の隠蔽を表わす。

図７のＤは、本来的なライン構造を示している。すなわち、オブジェクトにおける各点は(x,u)面において、x軸への法線に対して角度φのラインを作り出す。同じ奥行きの隣り合う点のセットは、ある幅の光線領域を作り出し、これは縦軸と角度φをなす。これらの角度は図７のＤではφ1およびφ2とラベル付けされている。一般的な四次元の場合には、これらの角度は(x,y)平面への法線に対してであろう。便宜上、角度φは視差角と称される。視差角φは視差の指標であり、オブジェクトの奥行き位置に依存する。パララックスのため、視点u平面から奥行きにおいてより遠いオブジェクトは、より小さな視差角φをもつラインを生成する（カメラは無限遠に焦点を当てているとして）。u軸からより遠いオブジェクト７１３に対応する光線領域７１９は、より低い視差角φをもつ。u軸により近いオブジェクト７２３に対応する光線領域７２９は、より大きな視差角φをもつ。プレノプティック・カメラのいくつかの構成では、角度φは負にもなる。これらの光線領域は、垂直な光線領域（すなわちφ＝0の光線領域）を生成するオブジェクトより、視点に向かう方向に沿ってより遠くに位置しているオブジェクトに対応する。一般に、角φは、区間（−π/2,π/2）内の値を取ることができる。

図８は、グレースケールのシーンについてのライトフィールドからの(x,u)スライスを示している。図８は、さまざまな角度（さまざまな奥行きに対応する）および幅の、三つの光線領域８１９、８２９および８３９をも示している。

視差角φと奥行き値zとの間に一対一のマッピングがある。このマッピングはプレノプティック眼科カメラの構成に依存し、典型的には、フィールド位置の関数として（すなわち、(x,y)座標の関数として）も変わる。奥行き‐視差マッピングは、較正プロセスによって得られることができる。あるアプローチでは、マッピングは線形モデル：

に当てはめされる。ここで、a(x,y)およびb(x,y)はそれぞれラジアン/mmおよびラジアンの単位でのマッピング係数である。プレノプティック像から奥行きマップを得るためのさらなる例示的な技法は、ここに参照によって組み込まれる「Processing of Light Fields by Transforming to Scale and Depth Space」という米国特許出願第14/064.090号に記載されている。

本詳細な説明は多くの個別的事項を含むが、これらは本発明の範囲を限定するものではなく、単に本発明の種々の例および側面を例解するものとして解釈されるべきである。本発明の範囲は上記で詳細に論じられていない他の実施形態を含むことは理解されるべきである。当業者には明白であろうさまざまな他の修正、変更および変形が、付属の請求項において定義される本発明の精神および範囲から外れることなく、本稿に開示される本発明の方法および装置の構成、動作および詳細になされてもよい。したがって、本発明の範囲は付属の請求項およびその法的な等価物によって定義されるべきである。

１１０ 照明モジュール
１２０ プレノプティック眼科カメラ
１３０ 後処理モジュール
１４０ 目のモデル〔眼モデル〕
１５０ オブジェクト／目
１６０ プレノプティック・センサー
３１２ 視差マップを計算
３１４ 奥行きマップを生成
３１６ ゼルニケ多項式に当てはめ
３２２ ゼルニケ多項式に当てはめ
３２４ 計算機シミュレーションを生成
３２６ 実際の角膜前面を使用
３２８ 水晶体表面を最適化
３４０ 目のモデル
４１２ 対物レンズ
４１４ マイクロレンズ・アレイ
４２５ フィルタ
４３２ 中継レンズ
４３４ 中継レンズ
４５５ 像
４７０ プレノプティック像
４８０ センサー・アレイ
４９５ 画像
６９２ ビュー抽出モジュール
６９４ 視差決定モジュール
６９６ 奥行き推定モジュール
６９８ 奥行きマップ

Claims (20)

1. プレノプティック眼科カメラを使って個人の目の光学モデルを構築する方法であって：
   前記プレノプティック眼科カメラが、生体環境において個人の目の角膜前面のプレノプティック像を捕捉する段階と；
   前記プレノプティック眼科カメラが、個人の目によって生成される波面を生態環境において測定するための波面センサーとして動作する段階と；
   個人の目の光学モデルを、捕捉されたプレノプティック像および測定された波面に基づいて生成する段階とを含む、
   方法。
2. 前記個人の目の光学モデルが、個人の目の角膜前面、個人の目の水晶体前面および個人の目の水晶体後面の光学モデルを含む、請求項１記載の方法。
3. 前記角膜前面、水晶体前面および水晶体後面の光学モデルがそれぞれゼルニケ多項式を使って表わされる、請求項２記載の方法。
4. 前記角膜前面、水晶体前面および水晶体後面の光学モデルがそれぞれ光学設計ソフトウェアと一緒に使うのに好適なフォーマットで表現される、請求項２記載の方法。
5. 前記個人の目の光学モデルは、個人の目の角膜前面の光学モデルを含み、前記光学モデルを生成する段階が：
   捕捉されたプレノプティック像についての視差マップを生成する段階と；
   前記視差マップに基づいて角膜前面の奥行きマップを生成する段階とを含む、
   請求項１記載の方法。
6. 生体環境において前記角膜前面のプレノプティック像を捕捉する段階が：
   角膜前面をあらかじめ定義されたパターンで照明する段階と；
   前記プレノプティック眼科カメラが、前記あらかじめ定義されたパターンによって照明された角膜前面のプレノプティック像を捕捉する段階とを含む、
   請求項５記載の方法。
7. 角膜前面の捕捉されたプレノプティック像における視差に基づいて角膜前面の奥行きマップを生成することが：
   前記プレノプティック眼科カメラについて奥行き‐視差マッピングを較正することと；
   較正された奥行き‐視差マッピングに基づいて角膜前面の前記奥行きマップを生成することとを含む、
   請求項５記載の方法。
8. 前記個人の目の光学モデルが個人の目の角膜前面、個人の目の水晶体前面および個人の目の水晶体後面の光学モデルを含み、前記光学モデルを生成する段階が：
   捕捉されたプレノプティック像に基づいて個人の目の角膜前面についての光学モデルを生成する段階と；
   測定された波面に基づいて個人の目の水晶体前面および水晶体後面についての光学モデルを生成する段階とを含む、
   請求項１記載の方法。
9. 測定された波面に基づいて個人の目の水晶体前面および水晶体後面についての光学モデルを生成する段階が：
   個人の目のコンピュータ・シミュレーションを生成する段階であって、前記コンピュータ・シミュレーションは、角膜前面についての前記の生成された光学モデルおよび水晶体前面および水晶体後面についての光学モデルを含む、段階と；
   前記コンピュータ・シミュレーションを使って個人の目によって生成される波面をシミュレートする段階と；
   シミュレートされた波面と測定された波面との間の差を小さくするよう前記水晶体前面および水晶体後面についての光学モデルを最適化する段階とを含む、
   請求項８記載の方法。
10. 個人の目によって生成される波面を生態環境において測定する段階は：
    個人の目の網膜上に点像を生成するよう個人の目を照明する段階と；
    前記プレノプティック眼科カメラが、個人の目の網膜から反射された前記点像によって生成される波面を生態環境において測定するための波面センサーとして動作する段階とを含む、
    請求項８記載の方法。
11. 個人の目の生体環境中での測定を行なうための単一のイメージング・プラットフォームであって、前記測定は、個人の目の光学モデルを構築するために十分なものであり、当該単一のイメージング・プラットフォームは：
    個人の目を照明するための照明モジュールと；
    前記照明モジュールによって照明された個人の目の測定値を取得するためのプレノプティック眼科カメラとを有しており、
    前記照明モジュールおよび前記プレノプティック眼科カメラは：
    前記プレノプティック眼科カメラが生体環境において個人の目の角膜前面のプレノプティック像を捕捉する第一の構成と；
    前記プレノプティック眼科カメラが個人の目によって生成される波面を生態環境において測定するための波面センサーとして動作する第二の構成
    のために構成可能である、
    単一のイメージング・プラットフォーム。
12. 前記測定が、個人の目の角膜前面、個人の目の水晶体前面および個人の目の水晶体後面の光学モデルを構築するための十分なものである、請求項１１記載の単一のイメージング・プラットフォーム。
13. 前記第一の構成からの測定が個人の目の水晶体前面の光学モデルを構築するために十分なものであり、
    前記第二の構成からの測定が、前記角膜前面の構築された光学モデルとともに、個人の目の水晶体前面および水晶体後面の光学モデルを構築するために十分なものである、
    請求項１２記載の単一のイメージング・プラットフォーム。
14. 前記第一の構成においては、前記照明モジュールは角膜前面をあらかじめ定義されたパターンで照明し、前記プレノプティック眼科カメラは、前記あらかじめ定義されたパターンによって照明された角膜前面のプレノプティック像を捕捉する、請求項１１記載の単一のイメージング・プラットフォーム。
15. 前記第二の構成においては、前記照明モジュールは個人の目の網膜上に点像を生成し、前記プレノプティック眼科カメラは、個人の目の網膜から反射された前記点像によって生成される波面を生態環境において測定するための波面センサーとして動作する、請求項１１記載の単一のイメージング・プラットフォーム。
16. 前記照明モジュールによる個人の目の照明および前記プレノプティック眼科カメラによる測定値の取得を同時に行なうことを許容するよう位置されたビームスプリッターをさらに有する、
    請求項１１記載の単一のイメージング・プラットフォーム。
17. 前記ビームスプリッターが、角膜から正反射された光を阻止し、角膜から散乱された光を通過させる、請求項１６記載の単一のイメージング・プラットフォーム。
18. プレノプティック・カメラによって捕捉された測定値を使って個人の目の光学モデルを構築するための、コンピュータ・システムによって実行可能なコンピュータ・プログラム命令を記憶している非一時的なコンピュータ可読記憶媒体であって、前記命令は前記コンピュータ・システムに：
    プレノプティック眼科カメラによって生体環境において捕捉された、個人の目の角膜前面のプレノプティック画像にアクセスする段階と；
    波面センサーとして動作する前記プレノプティック眼科カメラによって生体環境において測定された、個人の目によって生成された波面の測定値にアクセスする段階と；
    前記捕捉されたプレノプティック画像および前記測定された波面に基づいて個人の目の光学モデルを生成する段階とを含む方法を実行させるものである、
    非一時的なコンピュータ可読記憶媒体。
19. 前記個人の目の光学モデルが、個人の目の角膜前面、個人の目の水晶体前面および個人の目の水晶体後面の光学モデルを含む、請求項１８記載の非一時的なコンピュータ可読記憶媒体。
20. 前記個人の目の光学モデルが、個人の目の角膜前面、個人の目の水晶体前面および個人の目の水晶体後面の光学モデルを含み、前記光学モデルを生成する段階が：
    前記プレノプティック画像に基づいて個人の目の角膜前面についての光学モデルを生成する段階と；
    前記測定された波面に基づいて個人の目の水晶体前面についての光学モデルおよび水晶体後面についての光学モデルを生成する段階とを含む、
    請求項１８記載の非一時的なコンピュータ可読記憶媒体。

Images