JP2011514964A - ３次元シーンからの視覚情報のリアルタイムな取得のための方法およびカメラ - Google Patents

Abstract

本発明は、離散的な超立方体の制約された平面の長さに沿う和変換を使用して、物体空間と関連付けられる焦点スタックをそのプレノプティック関数から計算し、それにより、計算時間をかなり減らすことができる方法に関する。また、本発明は、得られた焦点スタックの分解能を高めるための方法に関する。更に、本発明は、３次元シーンの表面の各位置でそれぞれ深度および波面の複素振幅の係数および位相をリアルタイムに回収するための２つの方法、ならびに、前述した方法を実行するようにされたシステムに関する。

Description

本発明の目的
本発明は、物体体積と関連付けられる焦点スタックを計算するための方法、得られる焦点スタックの像の分解能を高めるための方法、３次元シーンにおける距離のリアルタイムな測定のための方法、および、波面と関連する電磁場の複素振幅のリアルタイムなトモグラフィ測定のための方法に関する。

本発明より、シーンの表面の位置における電磁場の複素振幅および距離を知ることができる。

また、本発明は、対物レンズ、対物レンズの像空間内に位置するレンズレットアレイ、レンズレットの焦点に配置される（レンズレットにより形成される像を収集する）センサ、および、カメラにより測定される物体体積と関連する焦点スタックを計算しかつ物体体積に関して電磁場の複素振幅（係数および位相）を計算するとともに検出された物体空間の任意の点での放射面の３次元位置を計算するようにされた並列演算処理手段の使用によって特徴付けられる、幅広い範囲のボリュームにおいて３次元シーンの視覚情報をリアルタイムに取得するためのカメラに関する。

この発明は、波面を知ることが必要とされる任意の分野または用途、すなわち、地上天文観測、眼科、ホログラフィなどにおいて、また、計測学が必要とされる任意の分野または用途、すなわち、リアルシーン、３Ｄテレビ、研磨ＣＣＤ、自動車システムなどにおいて役立ち得る。

技術分野
光学素子。画像処理。

発明の背景
本発明は、画質が（例えば、診断のために）最も重要な任意の光学的課題と関連する波面の複素振幅の３次元測定を達成する必要性、および、数ミクロン〜数キロメートルの幅広い範囲のボリュームで十分に信頼できる正確な深度マップを得る必要性の両方に関するとともに、３Ｄテレビ、３Ｄ映画、医薬などのための３次元情報のリアルタイムな生成に関する。

従来技術
大きい直径を有する現在の望遠鏡のための波面補償光学素子（ＧＲＡＮＴＥＣＡＮ，Ｋｅｃｋ，…）および将来の巨大望遠鏡は、多重共役光学素子と呼ばれるトモグラフィの形態を使用して大気相の３次元分布を測定することに焦点を合わせる。望遠鏡によって観測される物体の視野内に常に点光源が存在するように十分な数の自然点光源が天空に存在しなければ、人工の点光源、すなわち、Ｎａ星（高さ９０ｋｍ）を使用しなければならない。

焦点アニソプラナティズム（focal anisoplanatism）を防止して、天空中の物体からくる光ビームに影響を与える大気全体を補正するためには、これらの人工の星のうちの幾つか（少なくとも５個）を使用する必要がある。それらの星のそれぞれは、発生されるために、非常に高い分解能の高出力パルスレーザを必要とし、そのため、非常に高価な技術となる。また、そのような高いコストにもかかわらず、多重共役光学素子は、（３つの同時測定位相センサを用いて）せいぜい乱流の３つの水平層と関連する大気相を測定することしかできない。すなわち、多重共役光学素子は、像に影響を及ぼす３次元円柱の非常に僅かな部分を走査する。更に、可視域での大気の安定の時間内（１０ｍｓ）で光ビームの適応補正をひどく複雑にするそのような複雑な計算を用いた相の推定値が回収される。

しかしながら、発明の背景は、天体物理学の分野だけに焦点が合わされるわけではない。光学素子または眼科の分野では、人の眼のトモグラフィを行なうことへの最大の関心は、専門医がより簡単に診断を行なうことができるように患者の眼底網膜の鮮明な像を取得して有することに基づいている。眼内の房水、硝子体液、および、水晶体は、眼底網膜から取得され得る像に収差を与える手段のように振舞う。

この場合において、地表大気中と同じ頻度（１０ｍｓごと）で測定値を取得する必要がないとしても、それは安定した変形であるため、眼底網膜の良好な像を取得するだけでなく想定し得る眼障害の空間的位置も検出するために十分な３次元分解能が必要とされる。

最後に、テレビまたは映画の画像の分野などの他の分野では、３次元テレビに関する課題が存在する。その場合、必須の課題のうちの１つは、技術が非常に複雑で困難であるためにそれらが既存の３Ｄディスプレイ上に表示され得る３Ｄコンテンツの生成のためのプロセス中に人の介入を必要とする場合には、コンテンツのリアルタイムな生成である。この意味において、本明細書中で提案される技術の並列演算ハードウェア（ＧＰＵおよびＦＰＧＡ）での最適な実施は、リアルタイムな３次元コンテンツの生成を可能にする。

前述した分野の従来技術では、収束レンズの像平面内にレンズレットが配置され、それにより、像パラメータの測定のための装置および方法を生じさせる手法が知られているが、それらの手法は、光学収差のトモグラフィ測定値を取得するためにまたはシーンにおける距離を得るために前記アセンブリを使用しない。

例えば、ＡｄｅｌｓｏｎおよびＷａｎｇ（「Ｓｉｎｇｌｅ ｋｅｎｓ ｓｔｅｒｅｏ ｗｉｔｈ ａ ｐｌｅｎｏｐｔｉｃ ｃａｍｅｒａ」，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．１４，Ｎｏ．２，９９−１０６，１９９２）は、本発明の技術とは完全に異なる技術を用いて距離を得るための装置を使用する。

著者Ｒｅｎ Ｎｇ等（「Ｌｉｇｈｔ ｆｉｅｌｄ ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ ｈａｎｄ−ｈｅｌｄ ｐｌｅｎｏｐｔｉｃ ｃａｍｅｒａ」，Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２）は、典型的な視野深度（field depth）技術よりも明らかに良好な品質をもって数立方メートルの体積の範囲で実際のシーンの焦点の合った写真を得るためだけに像平面内のレンズレットと関連付けられるフーリエスライス技術を使用する。この場合、提案された技術は、当該技術が必要とされる体積をカバーする距離に関して繰り返し適用されれば、焦点スタックを計算でき、そのため、リアルタムな処理を不可能にする計算要件を伴う。

本明細書の全体にわたって、シーンの焦点スタックは、同じ視点から、しかし、焦点距離が異なる、一群の従来の写真画像を取得することによってもたらされる像体積として解釈される。

情報抽出のプロセスに関しては、レンズの平面の各点（ｕ，ｖ）からきてセンサのそれぞれの点（ｘ，ｙ）に到達する全ての光線を積分することによって、光照射野または４次元プレノプティック関数ｆ（ｕ，ｖ，ｘ，ｙ）から写真画像を得ることができることが知られている。前記積分によって、プレノプティック捕捉効果が取り消される。すなわち、光線がレンズレットによって捕捉されるときに光線の方向が異なる空間位置へと変えられる場合には、従来の像をやり直すために、異なる角度値（ｕ，ｖ）によってもたらされる１つの位置（ｘ，ｙ）に関して再編成する、すなわち、一般に再び積分する必要がある。

演算子Ｅ_Ｆ（ｘ，ｙ）＝∬ｆ（ｕ，ｖ，ｘ，ｙ）ｄｕ ｄｖ、または写真形成積分（photograhic formation integral）によって得られる像は、レンズレット−センサアセンブリの対物レンズに対して共役な距離Ｆを隔てて平面上に焦点が合わされる従来のセンサを用いて得られた写真画像を再画像化する。Ｆの前または後で距離Ｆ’＝α×ｘを隔てた平面内で再画像化することが望ましい場合、Ｒｅｎ Ｎｇは、三角形の類似性により、以下が評価されなければならないことを実証する。

それぞれの想定し得る距離α・Ｆにおけるこの演算子の評価は、Ｏ（Ｎ^４）個の演算を必要とし、したがって、Ｎ個の平面に関してはＯ（Ｎ^５）個の演算を必要とする。ここで、Ｎは、プレノプティック関数の次元のそれぞれがサンプリングされる分解能である。

また、Ｒｅｎ Ｎｇは、Ｏ（Ｎ^４ｌｏｇ_２Ｎ）個の複雑な加重演算および乗算演算を伴う光照射野の４Ｄフーリエ変換が計算される場合には、光照射野の４Ｄ変換関数の２Ｄ非フーリエ変換および不完全な２Ｄ回転を行うことによって、異なる再合焦面を得ることができることも実証しており、これらの変換のそれぞれは、検出される４Ｄ関数のフーリエ変換の初期コストに加えられるべきＯ（Ｎ^２）＋（Ｎ^２ｌｏｇ_２Ｎ）の計算複雑さを伴う。

したがって、焦点スタックの計算の演算コストを減らすことができ、それに応じてその計算時間を減らすことができる方法が必要である。

本発明の焦点スタックを計算するための方法の最も密接に関連する背景文献は、それぞれが２次元データグリッド上に配置される原点に対する勾配および変位によって特徴付けられる一連の離散的な線の長さに沿う値の総和をＯ（Ｎ^２ｌｏｇ_２Ｎ）個の和によって同時に求めるＧｏｔｚおよびＤｒｕｃｋｍｕｌｌｅｒ（「Ａ ｆａｓｔ ｄｉｇｉｔａｌ Ｒａｄｏｎ ｔｒａｎｓｆｏｒｍ−ａｎ ｅｆｆｉｃｉｅｎｔ ｍｅａｎｓ ｆｏｒ ｅｖａｌｕａｔｉｎｇ ｔｈｅ Ｈｏｕｇｈ ｔｒａｎｓｆｏｒｍ」．Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ｖｏｌ．２９，ｎｏ．４，ｐｐ．７１１−７１８，１９９６．）ならびにＢｒａｄｙ（「Ａ Ｆａｓｔ Ｄｉｓｃｒｅｔｅ Ａｐｐｒｏｘｉｍａｔｉｏｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ Ｒａｄｏｎ Ｔｒａｎｓｆｏｒｍ」．ＳＩＡＭ Ｊ．Ｃｏｍｐｕｔ．，ｖｏｌ．２７，ｎｏ．１，ｐｐ．１０７−１１９，１９９８）によって独立して提案される離散ランダム高速（または、著者によれば、近似）変換である。この場合、各線における総和の直接的な評価はＯ（Ｎ）個の演算を必要とし、したがって、Ｎ個の勾配およびＮ個の変位に関する評価はＯ（Ｎ^３）個の総和を必要とする。

最後に、シーンの情報を得るためのプロセスを無視するとともに本発明のシステムを考慮して、Ｒｉｃｈａｒｄ Ｍ．ＣｌａｒｅおよびＲｉｃｈａｒｄ Ｇ．ｌａｎｅ（「Ｗａｖｅ−ｆｒｏｎｔ ｓｅｎｓｉｎｇ ｆｒｏｍ ｓｕｂｄｉｖｉｓｉｏｎ ｏｆ ｔｈｅ ｆｏｃａｌ ｐｌａｎｅ ｗｉｔｈ ａ ｌｅｎｓｌｅｔ ａｒｒａｙ」，Ｊ．Ｏｐｔ．Ｓｏｃ．Ａｍ．Ａ，Ｖｏｌ．２２，Ｎｏ．１，１１７−１２５，２００５）は、レンズレットアレイが収束レンズの焦点の右側に配置されており像平面のいずれの位置にも配置されておらず、それにより、波面の位相がレンズの瞳孔でのみ得られるシステムを提案した。

したがって、波面の位相を、レンズの瞳孔だけでなく、トポグラフィカルに、すなわち、物体空間の３次元容積内の任意の距離で決定することができる方法が必要である。

発明の説明
本発明は、シーンと関連する焦点スタックを計算するための請求項１に係る方法を第１の態様で提供することによって前述した欠点を解決する。この方法により、プロセスの計算コストおよび計算時間をかなり減らすことができ、従来技術において知られる方法に対してかなり改善される。

本発明の更なる目的は、計算的に最適化されかつそれらの並列演算に適する、シーンの距離を測定するための方法および電磁場の複素振幅を測定するための方法を提案することである。

本発明は、
大気安定のそれぞれの時間内で単一の測定および単一のセンサに制限され得る。

使用する演算のタイプおよび数（総和）の考慮が速いがグラフィック処理ユニット（ＧＰＵ）またはＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ）などの再構成ハードウェアユニットに対するその知的適合によって加速され得る焦点スタックを計算するための方法によって、各乱流水平層、すなわち、大気全体のトモグラフィと関連付けられる位相および係数の回収を可能にする。

物体の像のリアルタイムな回収を地表大気への物体の到達時に行うことができるため、人工のレーザ星を使用する必要性を回避する。この新たな技術が、その後のデコンボリューションのためのポイント信号を用いた較正を必要としないからである。

ＳＣＰＨ（超立方体の制約された平面の総和）変換と称される本発明の焦点スタックを計算するための方法は、光軸の長さに沿う異なる位置で合焦される３次元シーンの一連の平面を得ることができ、それにより、プロセスの計算の複雑さが減少される。

本発明の焦点スタックを計算するための方法は、離散高速ランダム変換の計算のためのマルチスケール方法の原理に基づいており、再使用する部分結果を用いて実行されるべき演算の数を最小限に抑える。

焦点スタックの演算の計算コストを減少させるため、本発明の方法は、離散的な超立方体の制約された平面の長さに沿う総和変換を使用する。写真形成積分が、その領域が４次元超立方体である関数の平面の長さに沿う積分の評価と幾何学的に等しいことに留意しなければならない。これを理解することにより、写真形成積分は、実行されるべき演算の数を減らすことができる手近なケースにおいて積分平面を規定する勾配ｒ_１，ｒ_２が等しいという制限を加える

の特定のケースである。

焦点スタックを計算するための提案された方法は、離散４Ｄ関数ｆ（ｕ，ｖ，ｘ，ｙ）において平面上に位置する値の和を、そこに位置する点の座標がｘ＝ｕ・ｒ＋ｊおよびｙ＝ｖ・ｒ＋ｋを同時に満たすように、複数の離散平面によって含まれる点の部分和を再使用して特定の離散化条件下で同時に計算することから成る。この場合、ｕおよびｖは、レンズの平面上の水平寸法および垂直寸法であり、ｘおよびｙは、センサ平面上の水平寸法および垂直寸法であり、また、ｊ，ｋおよびｒは、取得されるべき焦点スタックの水平寸法、垂直寸法、および、深度寸法である。言い換えると、平面内での線積分のケースにおいて既に存在する離散高速近似ランダム変換を計算するアルゴリズムは、それが４次元超立方体の積分４次元超平面に達するまで拡張される。この場合、水平勾配および垂直勾配が同じであるという付加的なファクタを伴う。

データの部分変換は、ステップｍに至るまで、以下のように規定される。

この場合、関数がＮｘＮｘＮｘＮ寸法を有するとともに、ｎ＝ｌｏｇ_２Ｎであり、関数

が、ｕ∈［０，Ｎ）において一連の点

が勾配ｓ／（Ｎ−１）の離散的な線を形成する点（０，ｄ）および（Ｎ−１，ｓ＋ｄ）を結合する離散的態様を表し、また、関数

がバイナリ

に対応する値λ（ｕ）∈Ｚを戻すことが考慮される。

ステップ０まで変換されたデータ

が取得データｆ（ｓ，ｔ，ｊ，ｋ）に等しくなるようにされる場合には、すなわち、

の場合には、

となる。これは、Ｎ個の深度平面のボリュームに関して写真形成積分

を近似する。

他のＮ個の深度平面は、マイナスの勾配に関して同様に計算できる。半ボリュームの両方が深度０を共有するため、異なる距離で再合焦される２Ｎ−１個の像から成る全焦点スタックが得られる。

２つの部分ステップｍ，ｍ＋１をマッピングする漸化式は、方法を完全に表しており、ｎ回適用されなければならない。すなわち、

Ｏ（Ｎ^４）個の和を必要とするプロセスでは、部分変換

が表される領域が、４Ｄ領域から３Ｄ領域へと漸進的に変換される

により必要とされる領域の半分であり、それにより、結果として、現在のプロセスに対して８０パーセントを超える計算時間の節約になることに留意しなければならない。

このプロセスに従うことにより、また、本明細書中で提案される方法を用いると、シーンの表面の各位置で深度および波面の複素振幅の係数および位相を回収することができ、それにより、シーンの完全な３次元のリアルタイムな走査が可能となり、したがって、前述した分野で大いに適用できる。

本発明の焦点スタックを計算するための方法は、乗算または三角演算を必要とせずに総和だけを必要とするため有益であり、また、その計算の複雑さは、寸法Ｎ^４の光照射野から異なる深度で合焦される２Ｎ−１個の写真面を含む最終ボリュームにおいてＯ（Ｎ^４）程度である。

本発明の方法は、全体のボリュームに関して、従来技術（Ｒｅｎ Ｎｇ）に記載される焦点スタックを得るための方法が単一の平面を計算するために使用する演算数よりも少ない数の演算により焦点スタックを計算することができる。

それにもかかわらず、４Ｄ光照射野を計算する際に生じる問題は、２次元センサを使用する必要性である。２Ｄセンサに関する情報の４Ｄボリューム全体を得るためには、非常に高い分解能を有するセンサが必要である。したがって、Ｏ（Ｎ^４）ピクセルのセンサにおいて、Ｏ（Ｎ^２）ピクセルの像から成る焦点スタックを得ることしかできず、したがって、Ｏ（Ｎ^２）個の距離しか得ることができない。Ｏ（Ｎ^２）程度の分解能のこの減少により、非常に高価なセンサを使用する必要がある。

この問題を解決するため、本発明の第２の態様は、焦点スタックの像の分解能を高めるための請求項２に記載の方法を提供する。前記方法では、シーンの要素がランバート型の反射率を有すること、すなわち、物体の一点によって放射される強度が角度とは無関係であることを前提とする。この場合、光照射野はＯ（ａＮ^２）程度の冗長性情報を有する。ここで、ａは任意の定数（０＜ａ＜１）である。この冗長性情報は、焦点スタックの像の分解能を高めるために使用できる。

請求項２に係る方法は、分解能Ｏ（Ｎ^２）を有する像を伴う焦点スタックから分解能Ｏ（（１−ａ）Ｎ^４）を有する像を伴う他の焦点スタックへと移ることができる。

決定された距離の平面に対応する焦点スタックの像が与えられると、焦点スタックの分解能を高める方法は、
１．光照射野のＯ（Ｎ^４）個の光線をその面から逆投影して、これらの光線の部分位置を用いて高分解能の像を構成し、
２．ランバート前提に起因して冗長性を決定し、
３．分解能が高い（超分解能の）この像では、２つのタイプのピクセルが存在し、すなわち、逆投影された光線の値を入れられる冗長性が存在しないピクセルと、平均値などの冗長光線の代表値が入れられる冗長性が存在するピクセルが存在する。

当初の焦点スタックの像のＯ（Ｎ^２）個の像のそれぞれにおいてＯ（ａＮ^２）個の冗長性を仮定すると、焦点スタックの像の最終的な分解能はＯ（Ｎ^２）からＯ（（１−ａ）Ｎ^４）へと高められる。

本明細書の文脈において、超分解能は、レンズレットにおける分解能Ｏ（Ｎ^２）に対する両方の像および関連する距離マップの任意の高められた鮮明度として解釈される。したがって、その最大限度はピクセルの数Ｏ（Ｎ^４）にあり、本発明の方法によってＯ（（１−ａ）Ｎ^４）程度の分解能が有利に得られる。

一般に、ａの値は、考慮されるべき焦点スタックの像に依存する。距離の計算に関しては、最小分解能が固定され、像が暗示的にまたは明示的に再サンプリングされて前記最小分解能が得られる。

本発明の第３の態様は、３次元シーンでの距離のリアルタイムな測定のための請求項３に係る方法を与える。該方法は、位相カメラを用いて物体空間の像を取得し、請求項１の方法によって焦点スタックを計算し、焦点スタックにおいて焦点品質測定演算子（分散、ラプラス、勾配）を適用し、ランダムマルコフ場での最適状態を計算することを含む。

前述した方法のステップは、ＧＰＵまたはＦＰＧＡなどの並列演算ハードウェアで実施され得るようになっており、それにより、処理時間の非常に有利な最適化がもたらされる。

第４の態様において、本発明は、波面と関連する電磁場の複素振幅のリアルタイムなトモグラフィ測定のための請求項５に係る方法を提供する。該方法は、位相カメラを用いて物体空間の像を取得し、波面の複素振幅の平方係数のトモグラフィを与える請求項１の方法によって焦点スタックを計算し、物体空間の容積の任意の点での波面位相の勾配の生成のための演算子を適用し、関連する電磁場の波面の位相を回収することを含む。

前述した方法のステップは、ＧＰＵまたはＦＰＧＡなどの並列演算ハードウェアで実施され得るようになっており、それにより、処理時間の非常に有利な最適化がもたらされる。

３次元シーンでの距離のリアルタイムな測定のための方法、および、波面と関連する電磁場の複素振幅のリアルタイムなトモグラフィ測定のための方法のいずれにおいても、物体空間の測定は１回だけ行われる。すなわち、単一の像が３次元環境を回収するための十分な情報を含む。そのような像は、４つの寸法、すなわち、各レンズレットの内部と関連付けられる検出器上の２つの座標と、レンズレットアレイと関連付けられる２つの他の座標とから成るものと理解され得る。

アセンブリは、３次元物体空間のトモグラフィ測定値の取得を可能にする、収束レンズの像空間の位置に位置付けられる十分な分解能を検出するための検出面（例えばＣＣＤ装置）上に像を形成する単一のレンズレットアレイから成る。

最後に、本発明の第５の態様は、収束レンズと、収束レンズの像空間の位置に配置され、十分な分解能を検出するための検出面上に像を形成するレンズレットアレイと、カメラにより測定される物体空間と関連する焦点スタックを請求項１の方法によって計算し、電磁場の複素振幅（係数および位相）を取得し、検出された物体空間の任意の位置で距離を取得するようにされた並列演算処理手段と、を備える３次元シーンの視覚情報のリアルタイムな取得のための請求項７に係る位相カメラを提供する。

従来技術の方法およびシステムと比べて、本発明に係る焦点スタックを計算するための方法は、波面の位相をトポグラフィカルに、すなわち、物体空間の３次元容積内の任意の距離で決定することができる。更に、本発明の焦点スタックを計算するための方法は、平面内の波面の位相によってだけでなく全容積内の波面と関連付けられる電磁場の複素振幅によっても電磁場を特徴付けることができる。

以下で与えられる説明を完全にするため、また、本発明の特徴をより良く理解するのを助けるため、一組の図面が前記説明の一体部分として添付されており、以下の図面は例示的かつ非限定的な特徴をもって描かれている。

３次元シーンの視覚情報のリアルタイムな取得のための本発明に係るカメラの主要な要素の概略的な描写を示している。 波面補償光学素子を用いた星（８）の天体物理観測において大気トモグラフィを行うための大型の主ミラー（１）を有する望遠鏡に適用される本発明の概念図を示している。 ２層の大気乱流（９）、（１０）中で多重共役波面補償光学素子を使用する星（８）の従来の天体物理観測の概念図を示している。

発明の好ましい実施形態の詳細な説明
本発明の第１の実用的な実施形態では、シーンの物体が位置付けられる距離の測定が考慮される。

家具付きの部屋の内部から成るシーンのこの発明による観察の特定のケースが考慮され、その場合、カメラの位置から０．５メートル〜４メートルの範囲の深度に位置付けられる幾つかの物体を構成要素として区別できる。

図１は、本発明に係る位相カメラに含まれる開口レンズ（１）、レンズレットアレイ（２）、および、検出面（３）の配置を概略的に描いている。また、収束レンズから物体空間の決定された物体に焦点を合わせるレンズまでの距離（５）、レンズレットアレイの各レンズレットの焦点（６）、波面の局所的な傾斜角度（７）、および、収差がない乱流波面が受ける光路の互いに対する変位（４）も示されている。また、本発明のカメラは、図示しない処理手段も備える。

３次元シーンの視覚情報をリアルタイムで取得するための本発明のカメラを形成するために、最大分解能が４０００×２６７２のＣＣＤセンサ、Ｉｍｐｅｒｘ ＩＰＸ−１１Ｍ５ モデルが使用される。ＣＣＤの前に配置される図１のアセンブリに続いて、１０２４×１０２４ピクセルをカバーするＣＣＤに焦点が合わされる後続のレンズレットアレイ（１６×１６、Ｆ−Ｎｉｋｏｎマウント）と同じ口径比を有する対物レンズが存在する。この配置のカメラは、３０°の水平開口角を有しており、約２メートルにあるシーンの中央領域に焦点が合わされる。

検出された像は、処理手段によって処理され、この例では、
並列演算ハードウェアで最適に実施されるように適応された本発明の焦点スタックを計算するための方法によって焦点スタックを計算し；
同じ並列演算ハードウェアに最適に適合される、焦点スタックにおける焦点品質測定演算子、例えば焦点の品質を推定するための演算子「ｖａｒｉａｎｃｅ」を適用し、
ランダムマルコフ場での最適状態を計算することにより、例えば並列演算ハードウェアにおいて最適化された方法で実施されるコルモゴロフツリーの再重み付けに基づく信念の伝播により、距離を回収する、
ようにされたＧＰＵ ｎＶｉｄｉａ ８８００ ＧＴＸグラフィックスカードによって処理される。

シーンの深度マップは、本発明のカメラおよび方法を用いて得られる。

本発明の第２の実用的な実施形態では、電磁場の複素振幅の測定が考慮される。

大気のコヒーレンス直径ｒ_０（可視域で約２０ｃｍ）よりも大きい直径を有する望遠鏡を用いた天体物理観測の特定のケースが考慮される。大気の乱流は、望遠鏡を用いて得られる像の分解能の損失、すなわち、高い空間周波数の情報の損失を引き起こす。これを防止するため、研究中の星からくる光の波面を大気乱流が劣化させる態様が分からなければならない。そのために、大気によってもたらされる波面の変形を特徴付けることができる自然のまたは人工の点星を基準として使用できる。

図３は、２層の大気乱流中で従来の多重共役波面補償光学素子を使用する星（８）の天体物理観測を概略的に描いている。多重共役波面補償光学素子を用いると、乱流の個々の層に対して共役なそれぞれの変形可能なミラーによって波面位相センサが使用されなければならない。すなわち、光軸の異なる位置で平行に位置合わせされて動作されなければならない２つの異なる位相センサ（ＷＦＳ）が使用されなければならない。図は、各乱流層（９）、（１０）に対して共役な態様で関連付けられる２つの波面センサ（１１）、（１２）ならびに望遠鏡（１）を描いている。従来の多重共役波面補償光学素子によれば、非常に僅かな数の個々の乱流層（最大でも３つの層）を回収することができるにすぎない。可視域では大気が１０ミリ秒ごとに変化するため、速度に関する計算および必要性における複雑さにより、現在、たった３層の大気乱流において補正を克服することができない。

図１に示される構成であって、この場合にはその動作が図２に示される構成によれば、本発明において、光軸の単一の位置に配置される１つのセンサだけが使用される。

図２は、波面補償光学素子を用いた星（８）の天体物理観測において大気トモグラフィを行うための本発明に係るシステムを概略的に示している。大気中の乱流の個々の層が（９）、（１０）に対応する。この場合、前述した望遠鏡（１）自体は対物レンズとして機能する。ＩＸＯＮ ＡＮＤＯＲモデル５１２×５１２ピクセルカメラ（３）に焦点を合わせるレンズレットアレイ（２）（３２×３２、マウントＣ）がその像空間内に配置される。本発明の位相カメラは、望遠鏡の最終的な像に影響を及ぼす大気乱流（１３）の円柱全体を走査できる。データは、以下のプロセスによって実行するように既にされたＶｉｒｔｅｘ ＭＬ５０１モデルＦＰＧＡを用いて収集されて処理される、
請求項１の方法を用いて焦点スタックを計算する。この場合、焦点スタックの平方根は、物体空間の容積の任意の点での電磁場の複素振幅の係数を直接的に与える。
物体空間の容積の任意の点での波面位相の勾配の生成のための演算子（例えば、クラーク・レーン演算子）を適用する。
例えば複素指数関数の展開、ゼルニケ多項式またはＨｕｄｇｉｎアルゴリズムに応じた展開を用いた方法によって、関連する電磁場の波面の位相を回収する。

以前の技術とは異なり、本発明の方法では、波面位相の勾配の生成のための演算子が、プレノプティック像全体ではなく局所的に適用される。

その後に前述したように処理される単一の測定値は、本発明のために使用される望遠鏡を用いた観察に影響を及ぼす大気柱全体と関連付けられる乱流の３次元マップ（波面の複素振幅）、および、これらの乱流層が位置する高さ、ならびに、人工のレーザ星が使用された場合には距離および３次元プロファイルのリアルタイムな取得を可能にする。

Claims (10)

1. 物体空間と関連付けられる焦点スタックをその離散プレノプティック関数ｆ（ｓ， ｔ， ｊ， ｋ）から計算するための方法であって、４Ｄ超立方体の平面の長さに沿う総和としての写真形成積分を評価することを含み、写真形成積分の前記評価は、
   計算の開始時に取得データｆ（ｓ，ｔ，ｊ，ｋ）がステップ０までの変換データ
   

   

   に等しくなるようにする、すなわち、
   

   

   となるようにするステップと、その後、以下の部分変換
   

   

   をｎ＝ｌｏｇ_２Ｎ回適用するステップと、を含む方法。
2. 請求項１に係る方法によって得られる焦点スタックの像の分解能を高めるための方法であって、
   決定された距離で焦点スタックの像が与えられると、光照射野のＯ（Ｎ^４）個の光線を逆投影して、これらの光線の部分位置を用いて高分解能の像を構成するステップと、
   シーンの要素がランバート型の反射率を有するという前提により冗長性を決定するステップと、
   冗長性が存在しない超分解能を伴う焦点スタックの位置に、逆投影された光線の値を入れるとともに、冗長性が存在する位置に、平均値などの冗長光線の代表値を入れるステップと、
   を含む方法。
3. ３次元シーンでの距離のリアルタイムな測定のための方法であって、
   位相カメラを用いて物体空間の像を取得するステップと、
   請求項１の方法によって焦点スタックを計算するステップと、
   焦点スタックにおいて焦点品質測定演算子を適用するステップと、
   ランダムマルコフ場での最適状態を計算するステップと、
   を含む方法。
4. 請求項２の方法によって焦点スタックの像の分解能を高めることを更に含む、請求項３に記載の３次元シーンでの距離のリアルタイムな測定のための方法。
5. 波面と関連する電磁場の複素振幅のリアルタイムなトモグラフィ測定のための方法であって、
   位相カメラを用いて物体空間の像を取得するステップと、
   請求項１の方法によって焦点スタックを計算し、焦点スタックの平方根が、物体空間の容積の任意の点での電磁場の複素振幅の係数を直接的に与えるステップと、
   物体空間の容積の任意の点での波面位相の勾配の生成のための演算子を適用するステップと、
   関連する電磁場の波面の位相を回収するステップと、
   を含む方法。
6. 請求項２の方法によって焦点スタックの像の分解能を高めることを更に含む請求項５に記載の波面と関連する電磁場の複素振幅のリアルタイムなトモグラフィ測定のための方法。
7. 収束レンズと、
   収束レンズの像空間の位置に配置され、十分な分解能を検出するための検出面上に像を形成するレンズレットアレイと、
   カメラにより測定される物体空間と関連する焦点スタックを請求項１の方法によって計算し、
   電磁場の複素振幅（係数および位相）を取得し、
   検出された物体空間の任意の位置で距離を取得する、
   ようにされた並列演算処理手段と、
   を備える３次元シーンの視覚情報のリアルタイムな取得のための位相カメラ。
8. 処理手段は、請求項２の方法によって焦点スタックの像の分解能を高めるようにされた、請求項７に記載の３次元シーンの視覚情報のリアルタイムな取得のための位相カメラ。
9. 処理手段は、請求項３の方法によって物体空間の任意の位置で距離を取得するようにされた、請求項７に記載の３次元シーンの視覚情報のリアルタイムな取得のための位相カメラ。
10. 処理手段は、請求項５の方法によって電磁場の複素振幅を取得するようにされた、請求項７に記載の３次元シーンの視覚情報のリアルタイムな取得のための位相カメラ。

Images