JP2012531789A - 立体イメージ取得方法、システム及びカメラ - Google Patents

Abstract

光学デバイス（８）を有するカメラ及びカメラシステムが供される。光学デバイスは、センサ上のオブジェクトの２つ以上のイメージを同時に生成し、複合イメージを形成する。複合イメージ内での、オブジェクトの構成イメージ間の距離ｄは、カメラに対する距離Ｚに依存する。複合イメージは、ダブルイメージ間の距離ｄを決定するために、解析される（９）、例えばデコンボリューションされる。これらの距離は、その後、深度図（１０）へと変換される。

Description

本発明は、イメージデータを記録するためのシステム、イメージデータを記録するための方法及びイメージデータを記録するためのカメラに関する。

近年、３−Ｄイメージ表示で、３−Ｄイメージを供することへの大きな関心がある。３−Ｄイメージは、カラー画像化の後の、イメージングにおける次の大きなイノベーションになるであろうと考えられる。我々はこれから、消費者市場に関して、３Ｄ表示の採用の到来にある。

３−Ｄ表示デバイスは、通常、イメージが表示されるディスプレイ画面を有する。基本的には、３次元インプレッション（ｉｍｐｒｅｓｓｉｏｎ）は、ステレオ画像、即ち、ビューアーの２つの目で管理された（ｄｉｒｅｃｔｅｄ）、２つのわずかな違いを有するイメージ、により生成され得る。そのようなデバイスの例は、自動立体視ディスプレイである。他のデバイスにおいて、イメージは、全ての方向で送られ、ガラスが、３Ｄの知覚を与えるために、（複数の）イメージを妨げるように使用される。

どのようなタイプの３−Ｄディスプレイが使用されても、３−Ｄイメージ情報は、ディスプレイデバイスに供されなければならない。これは、通常、デジタルデータを含む３−Ｄイメージ信号の形状でなされる。

３−Ｄイメージの発生は、従来、追加的な深度図（ｄｅｐｔｈ ｍａｐ）によってなされ、前記深度図は、イメージ内のピクセルの深さについての情報を供し、それ故に３Ｄ情報を供する。イメージに関する深度図を使用して、左及び右のイメージを、３Ｄイメージを供して構成することができる。

イメージからの３Ｄ情報の復元は、３−Ｄイメージングに関連する基本的な課題の１つである。深度図を算出する最も一般的な方法は、立体視を使用することである。立体視において、多くの進歩がなされてきたけれども、根本的な対応問題は、現実世界のアプリケーションにおいて、困難なままである。具体的には、２つのカメラの間における、超精密調整の要求が、安価な民生用アプリケーションを妨げる。

単一のイメージから３−Ｄ情報を抽出するよう提案される、いくつかの方法がある。これらの方法の１つは、例えば、“ｄｅｐｔｈ ｆｒｏｍ ｄｅｆｏｃｕｓ”原理を使用することである。この方法において、可変レンズは、領域（ｓｃｅｎｅ）に至る焦点面を探索し（ｓｗｅｅｐ）、どの焦点位置で、各々のオブジェクトが最もシャープに観察されるかを決定するように使用される。しかしながら、これは、単一のイメージに関してうまく機能し得るけれども、オブジェクトが動き回っているビデオイメージに関して、これは非常に困難になる。可変レンズを使用して、一方でそれと同時に、内容変化を伴うビデオイメージを記録することは、非常に速い可変レンズ及び非常に速い（ｍａｓｓｉｖｅ）計算能力を必要とする、困難な課題を引き起こす。また、それは、従来のカメラにおいて、使用され得ない。もし、それが、必要とされる速度及び範囲の焦点変化（ｆｏｃｕｓ ｖａｒｉａｔｉｏｎ）を有する可変レンズを有していないなら。

他の方法は、所謂、Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ（ＴｏＦ）原理を使用することである。光は、調節され、オブジェクトに向かって送られ、カメラは、送られた光と受信した光との間の時間遅延を測定する。光が、固定の速度ｃで伝わるので、人はこの方法で距離を測定することができる。３ＤＶシステム、メサイメージング（Ｍｅｓａ Ｉｍａｇｉｎｇ）及びカネスタ（Ｃａｎｅｓｔａ）は、ＴｏＦ技術に基づいて、カメラを開発してきた。しかしながら、それらは、非常に高価であり、限られた空間分解能を有する（例えば、カネスタのセンサに関して、６４×６４）。それらはまた、従来のカメラに適用することない、又は適用するのが非常に困難である。短い距離では、短い飛行時間により、とにかくどんなものでも（ａｎｙｔｈｉｎｇ ａｔ ａｌｌ）測定することが困難となる。今のところ（ｙｅｔ）、他のシステムは、単一のカメラを使用して、イメージの１つが入らないようにするシャッターを使用して、左及び右のイメージを二者択一的に記録する。

左及び右のイメージを二者択一的に記録することは、静止したオブジェクトに関してうまく機能するが、オブジェクトは、イメージを撮影している間にも移動しているので、動いているオブジェクトに関して、左及び右のイメージが同じでないという欠点を有する。左のイメージと右のイメージとの間のオブジェクトの位置の差は、その結果、オブジェクトのレンズに対する距離と同時に、オブジェクトの移動にも依存する。正確な距離の決定を得るために、正確なモーション・サーチ（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）、さらに（ｐｌｕｓ）ステレオ・マッチングが実行されなければならない。距離及びモーションの、両方のパラメータは、事前に知られず、また、未知の方法で、時間変動するであろう。それは、正確なモーション・サーチが予定される前の、複数のフレームを必要とする。高速で移動している若しくは一貫性のないモーションを有している、繰り返しパターン若しくはオブジェクトを移動させるといった、状況において、正確なモーション・サーチは、ほとんど不可能である又は全く不可能である（ｈａｒｄｌｙ ｏｒ ａｔ ａｌｌ ｐｏｓｓｉｂｌｅ）。

したがって、単一のカメラに基づいて、比較的単純な方法で３−Ｄ情報を供することが可能で、既存のカメラを使用することができ、上述の問題が低減される、システムに関する要求がある。

この目的に対して、本発明の方法、システム及びカメラは、イメージを記録するための、レンズ及びイメージセンサの前に、前記イメージセンサ上に、同じオブジェクトに関して、2つ以上の重ねあわされた、同時に撮影されたイメージを含む、複合イメージを作り出すための光学デバイスが供され、前記複合イメージ内の、共通するイメージセンサ上の対応するオブジェクトの間の距離は、前記のイメージ化されたオブジェクトの、前記レンズからの距離に依存し、前記複合イメージは、前記センサ上の前記複合イメージ内の対応する前記オブジェクトの間の空間距離を決定するよう解析される、ということで特徴付けられる。

本発明は、複合イメージ、即ち、同時に撮影された左の及び右の（又はそれより多くの方向から撮影された）イメージを含むイメージを作り出す光学デバイスを使用することにより、記録されたオブジェクトの、レンズに対する距離を決定し、それにより、前記記録されたイメージ関する深度図を生成することが可能であるということを、実現している。２つのカメラの必要性が無く、したがって、カメラの正確な調節の必要性が発生しない。イメージは同時に撮影され、したがって、左のイメージ及び右のイメージが撮影されている時間の間の、オブジェクトのモーションによる、動いているオブジェクトの移動が有する問題は、取り除かれる。複合イメージの解析により、例えば、複合イメージのデコンボリューション（ｄｅｃｏｎｖｏｌｕｔｉｏｎ）により、複合イメージの、同時に撮影された、２つ以上の構成画像を抽出することができる。これにより、記録された複合イメージ内の対応するオブジェクトの間の、ピクセルでの又はｃｍでの距離を決定することができる。複合イメージ間での距離は、その後、レンズに対する距離に容易に変換され得る。それは、この距離によって決定されるだけであるので。

ダブルイメージを生成する多くの光学デバイスがある。例えば：
−回折格子（ｇｒａｔｉｎｇ）。回折格子は、回折により、記録している平面内の、オブジェクトに関するメインイメージとは別の（ｎｅｘｔ ｔｏ）、（複数の）サイドイメージを生成する。メインイメージ内のオブジェクトと、サイドイメージ内のオブジェクトと、の間の距離は、レンズに対する距離に、直接依存する。この依存性は別として、前記距離は、また、光の波長にも依存する。この実施形態は、既知の波長である又はほとんど単色光である、光の使用がなされる場合に、非常に役に立つ。これは、計算を単純化するので。

−複屈折板。複屈折板は、光の偏光に依存して、２つのイメージを生成するために使用され得る。イメージに関する２つの光軸の間に小さい角度があり、これは、記録している平面内のオブジェクト間の距離が、共通のレンズからのそれらの距離の関数である、ということを意味する。このタイプのデバイスの利点は、回折格子を使用することと比して、それが、光の波長に依存しない又は適度にだけ依存するということである。

−プリズムパターン（ｐｒｉｓｍ ｐａｔｔｅｒｎ）。プリズムパターンを使用して、ある距離で隔てられる、同じオブジェクトの２つ以上のイメージを生成することが可能である。このタイプのデバイスの利点は、光の波長に依存しない又は適度にだけ依存するということである。

第１のビュー（ｖｉｅｗ）及び第２のビューを生成するための、ミラー及びビームスプリッタを含む構成。２つのビューがイメージオブジェクト（ｉｍａｇｅ ｏｂｊｅｃｔｓ）へと向けられる角度は、異なる。このタイプのデバイスの利点は、光の波長に依存しない又はほとんど依存しないということである。

２つのミラーの構成であって、その少なくとも１つは、互いに距離を有する２つの反射面を有する、構成。このタイプのデバイスは、光の波長に依存しない又はほとんど依存しないということである。

基本的には、２つの主要タイプがある：
回折格子といった、一方のタイプでは、光は、オブジェクト上のあるポイントから、２つ以上の方向へと向かって進み、種々の位置にあるセンサに達する。単一のビューは、それにより、２つ以上のイメージに分けられ、センサ上のイメージの距離は、オブジェクトの、レンズ又はセンサに対する距離に関する評価基準（ｍｅａｓｕｒｅ）である。

ミラー及びビームスプリッタの構成といった、他方のタイプでは、光は、いくつかの基準線によって隔てられた、２つの異なる位置からではあるが、同じ方向へと向かって進む。２つのわずかに異なるビューは、センサ上の複合イメージ内で記録される。

後者のタイプは、第１のタイプと比較して、最前面のオブジェクト（ｆｏｒｅｇｒｏｕｎｄ ｏｂｊｅｃｔ）の背後を、ある程度見ることが可能であるという、利点を有する。わずかに異なったビューイングポイント（ｖｉｅｗｉｎｇ ｐｏｉｎｔ）が使用されるので。

２つの異なるタイプは、センサに対する距離と、センサ上の対応するイメージ間の距離と、の間で、異なった関係性を有する。

共通の発明概念は、カメラの前に配置された光学デバイスを用いて、イメージセンサ上の同じオブジェクトの２つ以上のイメージを含む複合イメージを生成することであり、複合イメージの２つ以上のイメージは同時に撮影され、構成イメージは、記録された複合画像内の各々に関して、空間的にシフトされ、空間的なシフトは、オブジェクトのカメラに対する距離に依存する。

記録されたイメージは、その後、センサ上の距離を決定するために解析され、オブジェクトのカメラに対する距離を決定することができる。これにより、深度図を作ることが可能となる。

好ましい実施形態において、解析は、更に一歩進めて（ｏｎｅ ｓｔｅｐ ｆｕｒｔｈｅｒ）、構成イメージの１つが、記録された複合イメージから再構成されるという点で、もたらされる。これにより、ユーザは、ユーザが見慣れているような（ａｓ ｈｅ ｉｓ ｕｓｅｄ ｔｏ ｓｅｅ）イメージを見ることができる。

要するに、ソフトウェアは、次に挙げるタスクを実効する：
−回折プロセス（回折格子に関する）又はシフト（ｓｈｉｆｔ）（ミラー及びビームスプリッタに関する）による、２つ以上の構成イメージの間の、変位（ｄｉｓｐｌａｃｅｍｅｎｔ）を推定する。

−この変位に基づいて、深度図を計算し、そして光学的に、
−手に入れた深度図に基づいて、歪んでいない（ｕｎｄｉｓｔｏｒｔｅｄ）イメージを再構成する。

再構成されたイメージは、実施形態において、システム又はカメラのディスプレイ上に示され、深度図は、また可視化されても良く、又は、実施形態において、イメージは、２つを単一のイメージへと結合して示されても良い。あるいは、もしカメラが立体視する手段を含むなら、立体イメージが表示されても良い。

ビデオ情報がフレーム内に記憶される実施形態において、本発明のシステム及びカメラは、実施形態において、光学デバイスの作動を制御することにより、複数のシンプルイメージ（ｓｉｍｐｌｅ ｉｍａｇｅｓ）及び複数の複合イメージを含む、複数のフレームを記録するよう準備される（ａｒｒａｎｇｅｄ）。

もし、単一のイメージ、即ち、複合化されていないイメージ、が知られているなら、シンプルイメージ上で得られた情報により、複合イメージから、構成イメージを比較的容易に抽出することができる、及び／又は、比較的信頼できて、結果を確認することができる、及び／又は、構成イメージの１つを比較的容易に再構成することができる。しかしながら、本発明に対する本質的要素は、複合イメージが、
１．構成イメージが同時に撮影され、
２．イメージが、同じセンサで記録されて、
撮影されることである。

第１の特徴、即ち、構成イメージを同時に記録すること、は、構成イメージが撮影される時間の間の、オブジェクトのモーションによる、オブジェクトの位置のシフトの如何なる問題を除外する。

第２の特徴は、センサの調整又はセンサ間の差異における、不確実性による、如何なる問題を除外する。好ましくは、構成イメージは、また、レンズの調整を有する如何なる問題を避けるために、同じレンズを通じて撮影される。

好ましくは、構成イメージは、強度の点又は色内容の点のいずれかで異なり、その差異は、比較的小さい。もし、２つのイメージが、同じ内容（ｃｏｎｔｅｎｔ）を有するなら、複合イメージをデコンボリューションする（ｄｅｃｏｎｖｏｌｕｔｅ）ことが困難となる。

本発明のこれら及び更なる様態は、添付の図を例として、かつ、参照して、より詳細に説明されるであろう。

図１は、電子イメージデータを記録するための、標準的な方法を説明する。 図２は、本発明に係る方法、システム及びカメラを説明する。 図３は、レンズの前での回折格子の使用を示す、実施形態を説明する。 図４は、レンズに対する格子間隔（ｇｒａｔｉｎｇ ｓｐａｃｉｎｇ）ｄの距離と、複合イメージ内の構成イメージ間の距離と、の間の関係を説明する。 図５は、回折パターンの強度を説明する。 図６は、センサ上の対応するイメージのピクセルでの距離（ｐｉｘｅｌ ｄｉｓｔａｎｃｅ）と、センサに対する距離と、の間の関係を説明する。 図７は、ミラーを含む配置で、ビームスプリッタが使用される、第２の実施形態を説明する。 図８は、センサ上の対応するイメージのピクセルでの距離と、センサに対する距離と、の間の関係を説明する。 図９は、対応するオブジェクトの間の空間距離を、複合イメージから決定するための方法を説明する。 図１０は、決定された距離の性質（ｑｕａｌｉｔｙ）に関する、評価基準（ｍｅａｓｕｒｅ）を説明する。

図１は、イメージを記録するための、システム、方法及びカメラを概略的に説明する。

オブジェクト１は、カメラ２のレンズ３により、とらえられる。イメージは、センサ４、例えば、ＣＣＤ、上で焦点が合わせられる。このデバイスは、信号を生み出し、それは、例えばエンコーダ５によって信号６へと変換される。エンコーダ５は、ある画像処理をすることができる、さもなければ、イメージ信号を改善することができる。

信号は、エンコードされた形態で又は直接的のいずれかで、イメージ１’を見ることができる、ディスプレイ７を有する表示デバイスに送られ得る。信号６はまた、何らかのタイプの記録媒体上に、記録され得る。

図２は、本発明に係る、イメージデータを記録するための、システム、方法及びカメラを概略的に説明する。

レンズの前に、光学デバイス８が配置される。光学デバイスは、カメラからある距離を有して、又はカメラに取り付けられて、配置され得る。光学デバイスは、センサ上に2つ以上の重ね合わせられたイメージを生成する。ディスプレイ７上において、人は、お互いに関してわずかにシフトされた、２つ以上の構成イメージを見るであろう。シフト（shift）ｄは、オブジェクトのレンズに対する距離ｚに関する評価基準である。構成イメージは、同時に記録される。複合イメージの信号６は、複合イメージ内のオブジェクトの距離ｄを決定し、距離ｄからイメージに関するｚ−ｍａｐを算出するよう、イメージを解析するアナライザ９へと向けられる。このアナライザは、ｚ−マップを直接決定するために、システム、デバイス及びカメラの一部とすることができる。或いは、複合イメージに関する信号を、ｚ−ｍａｐを決定するために、別個のアナライザへと送ることができる。例えば、カメラはイメージを記録することができ、信号は、インターネットを介して、インターネットサイトと関連付けられたアナライザへと送られる。信号６は、また、先ず、電子記録媒体上に記録され、その後に、解析のために、アナライザへと送ることができる。

図３は、光学デバイス、この例では回折格子、が、レンズの前に配置される、本発明の実施形態を説明する。回折格子８は、回折により、ちょうど１つの直接イメージＲ、即ち、通常の標準的なイメージ、だけでなく、複数の、より高次の（ｈｉｇｈｅｒ ｏｒｄｅｒ）回折イメージＶ１及びＶ２も、センサ上に生成する。データ内に供されたときのイメージは、したがって、直接イメージだけでなく、２つのサイドイメージ（ｓｉｄｅ ｉｍａｇｅｓ）Ｖ１’及びＶ２’も含む。単純化のための目的で、これらのサイドイメージは、各々、“ゴーストイメージ”Ｖ１及びＶ２と呼ばれるであろう。直接イメージＲと、ゴーストイメージＶ１及びＶ２と、の間の距離ｄは、光の波長及びオブジェクトのセンサに対する距離の関数として表現され得る。直接イメージは、また、下記で、リアルオブジェクトと呼ばれ、ゴーストイメージは、バーチャルオブジェクトと呼ばれる。

これは、変位ｄをもたらす、１次回折イメージの主要なラインを概略的に示す図４において、説明される。センサ４は、位置０（ゼロ）にあり、レンズ３は位置Ｌ上にあり、回折格子８は位置Ｇ上にあり、オブジェクト１は、オブジェクト位置Ｏ上にある。

効果が定性的にどのように機能するかを理解して、これより、定量的な関係を推定することができる。図４での概略図を発端として、センサ上のリアルオブジェクトとバーチャルオブジェクトとの間の距離（我々が変位ｄと呼ぶ）を、距離ｂ（光軸と回折格子の偏向（ｄｅｆｌｅｃｔｉｏｎ）ポイントとの間の）で、関連付けることができる：

さらに、回折格子での角度の変化を、回折格子の式によって記述することができる：

式内のｄ_{ｇｒａｔｉｎｇ}は、回折格子の周期性（ｐｅｒｉｏｄｉｃｉｔｙ）であり、λは光の波長であり、ｎ＝１の回折次数である。小さい角度で機能するとき、これは、次のように近似することができる：

ところで、次のように（小さい角度での近似において）ｂを計算することができる：

この式からｂを取り出すと、次の結果になる：

そしてその式は、変位ｄを計算するために使用することができる：

そして逆に、我々が変位ｄを測定したときの、オブジェクトＯの距離は：

この実施形態は、オブジェクトのあるポイントから、光が種々の方向へと進む、第１のタイプの光学デバイスの例である。ｄが測定され、Ｌ及びＧが知られており、θ_{ｇｒａｔｉｎｇ}が、ｎ＝１で所定の波長に関して、知られているので、オブジェクトの距離Ｏを、測定されたｄから計算することができる。単純化のために、−１，０，＋１の回折次数だけを有する回折格子が、使用され得る；より複雑な構成において、より高次の回折次数を使用しても良い。また、例えば、１次回折パターンへと、より大きな強度を放出する、回折次数が強調される回折格子を構成することができる。主に−１，０，１の回折次数を有する回折格子は、例えば、５０％のデューティサイクルを有する、位相格子により得ることができ、回折の成分α（ｆｒａｃｔｉｏｎ ａｌｐｈａ）は、エッチング深さ（ｅｔｃｈｉｎｇ ｄｅｐｔｈ）に直接的に関連している。この場合、イメージ形成プロセスは、図５を参照した、中心に強度１−２αの強いピークと、回折次数に対応する所定の位置での、強度αのより弱いピークと、を有する、オリジナルのイメージ（回折格子無し）の点広がり関数（ＰＳＦ）での単純なコンボリューションとして、見受けられる（ｔｈｅ ｉｍａｇｅ ｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓ ｃａｎ ｂｅ ｓｅｅｎ ａｓ ａ ｓｉｍｐｌｅ ｃｏｎｖｏｌｕｔｉｏｎ ｏｆ ｔｈｅ ｏｒｉｇｉｎａｌ ｉｍａｇｅ （ｗｉｔｈｏｕｔ ｇｒａｔｉｎｇ）ｗｉｔｈ ａ ｐｏｉｎｔ−ｓｐｒｅａｄ ｆｕｎｃｔｉｏｎ （ＰＳＦ））。サブピークの強度、即ちα、は、回折格子の設計（ｄｅｓｉｇｎ）の一部として選択され得、一度測定される必要があるだけである。

入ってくる信号Ｆ（ｘ）は、回折シグナルを供与する。

このＰＳＦは、Ｚ−ドメイン（又はフーリエ空間）で、次のように、数学的に表現され得る：

取得された複合イメージから深度図を得るために、イメージの一部に関して変位ｄを推定し、対応するオブジェクト距離Ｏを、変位方程式で計算すべきである。

文献で知られている、種々の推定方法があり、我々は、首尾よく、下記を試している。イメージウィンドウ（ｘ−座標ｘ_ｗ及びｙ−座標ｙ_ｗによって定義された）と、両側でのｄシフトしたウィンドウとの間で相関関係にある、サブピークを見つけることにより、局所的な（ｌｏｃａｌ）変位ｄを推定することができる。

相関関係は、もしシフトｄが、回折によるシフトに等しいなら、最も高くなるであろう。その結果、ウィンドウに関して、ｄに関する値を見つける。

一般的に知られているように、そのような相関関係は、ＤＣが抑制されるときに、はるかに良好に機能する。これは、イメージを、ハイパスフィルタ（例えば、微分フィルタ（ｄｅｒｉｖａｔｉｖｅ ｆｉｌｔｅｒ）［＋１，−１］）でプレフィルタリングすることにより、達成され得る。

オブジェクトの深さは知られているから、αの小さい値に関して、ｚ−ドメインで、次のＦＩＲ（有限インパルス応答）フィルタを用いて近似され得る、回折格子のＰＳＦを反転させることにより、回折格子の効果を外すよう試みることができる：

液体焦点／自動焦点レンズを、その方法に付け足すこともできる。これは、利点として、焦点ボケ（ｄｅｆｏｃｕｓ ｂｌｕｒ）を最小にすることができ、よりはっきりしたＰＳＦ推定をもたらす。

図６は、レンズ距離が２５０ｍｍで、おおよそ６５０ｎｍの波長を有する光に関する、距離Ｏの関数としての、ピクセルでの測定された変位ｄに関する、実験的な結果を示す。実験結果は、種々の回折格子に関して、数が、ｍｍあたりのラインの数を表して、与えられる。

上で説明された実施形態は、回折格子により、同じオブジェクトの２つ以上の（この場合は３つであり、中央のイメージ及び２つのゴーストイメージである）イメージが、センサ上に作られる、デバイスを使用する。オブジェクト間の距離ｄは、オブジェクトのセンサに対する距離ｄに関する、かつ、同様に前述の構成要素に対する、知られているレンズの距離（Ｌ）及び回折構成の距離（Ｇ）を有する、評価基準である。

これらの実施形態は、それらは機能するが、欠点を有する；回折格子の回折は、波長依存性である。使用が、単一の波長λ、又はほとんど単一の波長、又は支配的な波長を有する光でなされるとき、これは問題ではない。したがって、例えば、この実施形態は、ある知られた波長の人工光が当てられた、監視カメラが測定している領域で使用されて、非常に効果的になり得る。より洗練された場合において、距離ｄを探索するための解析は、イメージ内で入手可能である、色情報を使用することができる。距離Ｏのおおまかな第１の近似は、色内容に依存する距離ｄを使用して為すことができ、続いて、色内容を使用して、より詳細な決定を為すことができる。

回折格子はまた、例えば、ＬＣＤセルに基づく回折格子であることができる、その回折格子は、例えば、ＬＣＤセルの透明度を調節することにより、自由自在にスイッチを入れたり、切ったりすることができる。あるいは、どこでも１の透明度（ｔｒａｎｓｐａｒｅｎｃｙ）を有するが、調整は光学屈折率ｎ内である、振幅変調よりも、より効率的である、位相調整マスクを使用することができる。１つの偏光子及びＬＣだけが、そのとき、必要とされる。回折格子のスイッチを入れたり、切ったりすることにより、カメラは、全てのセルが透明であるときに正常な２Ｄイメージを供する、‘通常の’カメラ及び“３−Ｄカメラ”として使用され得る。回折格子を、セルのブロッキングラインによってモデル化することにより（ｂｙ ｓｉｍｕｌａｔｉｎｇ ａ ｇｒａｔｉｎｇ ｂｙ ｂｌｏｃｋｉｎｇ ｌｉｎｅｓ ｏｆ ｃｅｌｌｓ）。

回折格子が切替可能である実施形態において、デバイスを、多数のフレームを記録するよう手配することができる。フレームのいくつかは、回折格子の使用無しで、フレームのいくつかは、回折格子を使用して。例えば、回折格子は、１秒あたり、２５の複合イメージが挟みこまれた２５の単純イメージが（ｐｅｒ ｓｅｃｏｎｄ ２５ ｓｉｍｐｌｅ ｉｍａｇｅｓ ｉｎｔｅｒｌｅａｖｅｄ ｗｉｔｈ ２５ ｃｏｍｐｏｕｎｄ）、記録されるよう、作動され得る。

これは、多数の可能性を開き、例えば：
−複合イメージ及び通常のイメージの両方を、同じ信号で供する。通常のイメージは、その後、例えば、カメラのディスプレイに送られ、操作者は、‘通常のイメージ’を見る。一方で、複合イメージは、記憶され、及び／又は解析される。

−解析を単純化し、通常のイメージのフレームは、解析のための、良好な開始点（ｓｔａｒｔｉｎｇ ｐｏｉｎｔ）を形成する。

しかしながら、そのような実施形態において、動的システム（ｄｙｎａｍｉｃ ｓｙｓｔｅｍ）が使用されるけれども、それは、複合イメージが、同時に記録された複数のビューを含むという、本質的要素を残す。この例において、３つのビューがある：中央のビュー及び２つのサイドビューである。

図７は、本発明の他の実施形態を説明する。この実施形態において、光学デバイスは、ミラー７２及びビームスプリッタ７４を含む構成を含む。ダイレクトビュー（ｄｉｒｅｃｔ ｖｉｅｗ）７１は、ビームスプリッタを通じて記録され、ミラー７２は、サイドビュー７３を反射し、それは、その後、ビームスプリッタによって反射され、また、カメラ２のレンズに進入する。減光フィルタ７５が、ビームスプリッタが、５０％／５０％ビームスプリッタである場合に、ミラーの前に供される。この例示された実施形態の記述において、第１のビューが“ダイレクトビュー”と呼ばれ；第２のビューが“サイドビュー”と呼ばれる。しかしながら、これは、制限するものとして取られるべきでない；少なくとも２つのビューがあり、この実施形態において、ビューの１つは、‘ダイレクトビュー’と呼ばれ得る。他の実施形態において、ビューの両方が、サイドビューとなり得る。わずかに左からの一方と、わずかに右からの他方である。また、それは、２つのビューであるという制限ではない；２つより多くのビューを同時に撮影することができる。ミラー及びビームスプリッタを有する配置は、例えば、横変位ビームスプリッタといった、これらの要素の組み合わせを含む。このタイプのデバイスは、光が、ベースラインによって、センサに向かう同じ方向へと分けられた、２つの異なる位置から来る。

光学要素は、好ましくは、図１を参照して（ｓｅｅ Ｆｉｇｕｒｅ １）、例えば４０％／６０％の、非対称な光強度分布を有するビームスプリッタ、その他にも、サイドビューの前に、減光フィルタを有する５０％／５０％ビームスプリッタである。カメラ２のセンサ４により取得されたイメージは、次のように形作られる（ｍｏｄｅｌｌｅｄ）。

式中、０．５より小さいαは、複合イメージＩ_{ｓｅｎｓｏｒ}（ｘ，ｙ）中のサイドビューからの寄与を表すパラメータであり、ｄ（ｘ，ｙ）は、ビームスプリッタによる視差（ｄｉｓｐａｒｉｔｙ）（２つのイメージの対応する部分のセンサ上での距離）である。視差ｄ（ｘ，ｙ）は、図８で説明されるように、オブジェクトに向かう距離Ｄ（ｘ，ｙ）と、ベースラインバンド、カメラ内のレンズとセンサとの間の距離Ｌといった（ｓｕｃｈ ａｓ ｂａｓｅ ｌｉｎｅ ｂａｎｄ ｔｈｅ ｄｉｓｔａｎｃｅ Ｌ ｂｅｔｗｅｅｎ ｔｈｅ ｌｅｎｓ ａｎｄ ｔｈｅ ｓｅｎｓｏｒ ｉｎ ｔｈｅ ｃａｍｅｒａ）、光学システムのパラメータと、の関数である。

したがって、深さ推定（ｄｅｐｔｈ ｅｓｔｉｍａｔｅ）Ｄ（ｘ，ｙ）は、結合イメージＩ_{ｓｅｎｓｏｒ}（ｘ，ｙ）上の視差ｄ（ｘ，ｙ）の目算（ｅｓｔｉｍａｔｅ）に相当する。このタイプの光学デバイスに関する、Ｄとｄとの間の関係は、図３の回折格子によって説明されたような、第１のタイプに関するＯとｄとの間の関係とは、少し異なっているということが言及され得る。これは有利である。

例として、かつ、上述された実行可能なアルゴリズムに加えて、下記に、結合イメージＩ_{ｓｅｎｓｏｒ}（ｘ，ｙ）から、視差マップ及びダイレクトビューＩ_{ｄｉｒｅｃｔ}（ｘ，ｙ）を見出す、反復アルゴリズムを説明する。

アルゴリズムは反復性であり、全ての反復において、ダイレクトイメージの近似（値）（ｄｉｒｅｃｔ ｉｍａｇｅ ａｐｐｒｏｘｉｍａｔｉｏｎ）Ｉ_ｏｕｔ（ｘ，ｙ）及び深度図の近似（値）（ｄｅｐｔｈ ｍａｐ ａｐｐｒｏｘｉｍａｔｉｏｎ）ｄ_ｏｕｔ（ｘ，ｙ）は、結合イメージＩ_{ｓｅｎｓｏｒ}（ｘ，ｙ）と、ダイレクトイメージの近似Ｉ_ｏｕｔ（ｘ，ｙ）及び深度図の近似ｄ_ｏｕｔ（ｘ，ｙ）に関する以前の値と、から算出される。

アップデートされた近似値は、Ｉ_ｏｕｔ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）で、ｄ_ｏｕｔ（ｘ，ｙ）＝ｄ（ｘ，ｙ）であるように初期化され、その後、それらは、ブロックベース（ｂｌｏｃｋ ｂａｓｉｓ）でアップデートされる。ブロックの大きさ（ｄｉｍｅｎｔｉｏｎｓ）Δ_ｘ、Δ_ｙは、アルゴリズムのパラメータである。Ｉ_ｏｕｔ（ｘ，ｙ）及びｄ_ｏｕｔ（ｘ，ｙ）は、その後、３Ｄ回帰探索３ＤＲＳによりアップデートされる。３ＤＲＳによると、全てのイメージブロックを連続して処理し、全てのブロックに関して、複数の深さ候補値（ｃａｎｄｉｄａｔｅ）を評価する。候補値は、隣接するブロック及びランダムのアップデートの値の入り混じりである（ｔｈｅ ｍｉｘｔｕｒｅ ｏｆ ｖａｌｕｅｓ ｏｆ ｎｅｉｇｈｂｏｕｒｉｎｇ ｂｌｏｃｋｓ ａｎｄ ｔｈｅ ｒａｎｄｏｍ ｕｐｄａｔｅｓ）。候補値を供する隣接したブロックの位置は、例えば、深さの候補値を供する、ブロックの例示された位置を示す、図９を参照して、ブロックの格子（ｇｒｉｄ）上のスキャン方向に依存し得る。図９において、既に処理されたブロックは、文字ａで、現在の部炉置くは文字Ｃで、“空間的に”隣接しているブロックは文字Ｂで、“一次的な”隣接しているブロックは、文字Ｄで与えられる。矢印は、処理方向を示す。

ランダムの候補は、他の候補の値に対して、ランダムのアップデートを加えることによって得られうる。各々の候補は評価され、その後、最善のものが選択され、進行中のブロックで、ｄ_ｏｕｔ（ｘ，ｙ）の値を供する。評価プロセスは、３つの段階から成る：第１は、進行中のブロックでの、ｄ_ｏｕｔ（ｘ，ｙ）の値が、評価された候補の値へと変えられる。第２は、深度図を考慮して（ｇｉｖｅｎ）、結合イメージＩ_{ｓｅｎｓｏｒ}（ｘ，ｙ）が、局所的に（部分的に）デコンボリューションされる（ｄｅ−ｃｏｎｖｏｌｖｅｄ）。（部分的な）デコンボリューションは、多くの方法で為すことができる。例えば、進行中のブロックの近辺で、ガウス−ザイデル デコンボリューション法の複数の反復を使用することができる：

第３の段階で、進行中のブロックの近辺における、Ｉ_ｏｕｔ（ｘ，ｙ）の品質は、非基準の（ｎｏ−ｒｅｆｅｒｅｎｃｅ）品質測定法により評価される。この目的のために、例えば、次を使用することができる。

式中、Ｂは、進行中のブロックについての、ある領域（ｓｏｍｅ ｎｅｉｇｈｂｏｕｒｈｏｏｄ）である。品質測定を最大化する候補値が、進行中のブロックでの、ｄ_ｏｕｔ（ｘ，ｙ）の値を供する最良のものとして、選択される。

ここで留意すべきは、候補値の各々の評価の後、Ｉ _ｏｕｔ（ｘ，ｙ）の値を初期の状態へと復元し、全ての評価の後、ｄ_ｏｕｔ（ｘ，ｙ）の値がアップデートされるとき、進行中のブロックの領域内にあるＩ_ｏｕｔ（ｘ，ｙ）を（部分的に）デコンボリューションする。

上述された、深さ検出の方法は、最適性能のために最適化され得る、多数のパラメータを有する。

まず第１に、結果は、強度の混合（ｍｉｘ ｏｆ ｉｎｔｅｎｓｉｔｉｅｓ）、即ち、αに関する値、に依存し、非常に良好な結果は、０．２８と０．４９との間、又は、０．５１と０．７２との間、例えば、α≒０．４５、で得られうるということがわかった。これは、イメージの一方、Ｉ_{ｄｉｒｅｃｔ}又はＩ_ｓｉｄｅのいずれか、は、他方のイメージの強度よりも、より高い、４％から１３３％までの間の強度を有するということを意味する。図１０は効果を説明する。横軸は、αに関する値を与え、縦軸の誤差は、真値（ｔｒｕｅ ｖａｌｕｅ）に関する、計算された視差内の平均２乗誤差（ＭＳＥ）である。明らかな最小値が、α＝０．４５付近、特にα＝０．４２及び０．４８の間、に現れる。好ましくは、ダイレクトビューイメージは、サイドビューよりも、より高い強度を有する。ダイレクトビュー内に大部分の強度を有することが、有利となる場合に、ダイレクトビューが、何らかの目的で、最良に再構築され得る（Ｆｏｒ ｓｏｍｅ ｐｕｒｐｏｓｅｓ ｔｈｅ ｄｉｒｅｃｔ ｖｉｅｗ ｃａｎ ｂｅｓｔ ｂｅ ｒｅｃｏｎｓｔｒｕｃｔｅｄ， ｉｎ ｗｈｉｃｈ ｃａｓｅ ｉｔ ｉｓ ａｄｖａｎｔａｇｅｏｕｓ ｔｏ ｈａｖｅ ｍｏｓｔ ｏｆ ｔｈｅ ｉｎｔｅｎｓｉｔｙ ｉｎ ｔｈｅ ｄｉｒｅｃｔ ｖｉｅｗ）。構成イメージが、等しい強度であるとき、２つのイメージを区別することが非常に困難となり、その方法は非常に複雑になる。イメージの一方が、他方と比して非常に弱いとき、このイメージは、区別することが困難となる。

深さ推定の質の、サイドビュー（ａｌｐｈａ）からの寄与因子への依存性が、次のように調査された。所定の深度図に関してビームスプリッタで取得されたイメージが、モデル化された。その後、モデル化された複合イメージから、深度図を評価するために、記載されているデコンボリューションアルゴリズムを使用した。使用された深度図と評価された深度図との間の平均２乗誤差は、品質基準として取られた。図１０において、アルファからの品質基準の依存性が与えられる。図は、最良の結果が、［０．２８， ０．４８］内のアルファで達成され得るということを示し、これは、ダイレクトビューの強度と、サイドビューの強度との間の割合１．０７−２．５７（＝（１−α）／α）に対応する。最小値は、０．４２と０．４７との間のアルファである。

第２に、アルゴリズムは、複数の反復を仮定するので、各々の反復に関して、異なるΔ_ｘ、Δ_ｙを選択することができる。通常、Δ_ｘ、Δ_ｙの大きい値は収束（ｃｏｎｖｅｒｇｅｎｃｅ）を改善する一方で、より小さい値は、近似された深度図の空間分解能を改善する。我々の評価内において、各々の反復で減少するΔ_ｘ、Δ_ｙで、最良の結果を得た。例えば、８００×５７６のピクセルを有するイメージに関して、第１の反復で、Δ_ｘ＝Δ_ｙ＝１６を、第２の反復で、Δ_ｘ＝Δ_ｙ＝８を、第３の反復で、Δ_ｘ＝Δ_ｙ＝４を、使用した。そのような実施形態は、結果物の迅速な収束と、高い分解能とを兼ねる。

回折格子を有する実施形態あるように、減光フィルタは、時間切替可能である又はまさに時間調節され得、その減光フィルタ（ｎｅｕｔｒａｌ ｆｉｌｔｅｒ）がオン又はオフであるかどうかに依存した、２つの目的を兼ねた使用、即ち、通常の２Ｄカメラ及び３Ｄカメラのような、可能性を供する。また、フレームの連続において、そこでは、多数のフレームは、ダイレクトビュー（又はサイドビュー）だけを表す非複合イメージを含み、かつ、多数のフレームは、複合イメージを含む（Ａｌｓｏ ｓｅｑｕｅｎｃｅｓ ｏｆ ｆｒａｍｅｓ ｗｈｅｒｅｉｎ ａ ｎｕｍｂｅｒ ｏｆ ｆｒａｍｅｓ ｃｏｍｐｒｉｓｅ ａ ｎｏｎ−ｃｏｍｐｏｕｎｄ ｉｍａｇｅ ｐｒｅｓｅｎｔｉｎｇ ｏｎｌｙ ａ ｄｉｒｅｃｔ ｖｉｅｗ （ｏｒ ｓｉｄｅ ｖｉｅｗ） ａｎｄ ａ ｎｕｍｂｅｒ ｏｆ ｆｒａｍｅｓ ｃｏｍｐｒｉｓｅ ｃｏｍｐｏｕｎｄ ｉｍａｇｅｓ）。

減光フィルタは、また、空間的変動を有し得る。これにより、サイドビューは、空間フィルタリングを用いて、より容易にダイレクトビューから区別することができ、解析に関する入力データとなり得て、より迅速な及び／又はより正確な視差の決定を可能にする。しかしながら、たとえイメージのいくらかは複合物であり、いくらかは単一物であるとしても複合化されたイメージの構成イメージは、同時に撮影されるということが、本質である。構成イメージの同時記録は、オブジェクトの移動が有する問題を排除する。この観点において、左及び右のビューでの、オブジェクト間のピクセルで計測された距離は、通常、数十ピクセルであるということが言及され得る。この距離での差異が、深さの大きさ（ｍｅａｓｕｒｅ）であり、したがって、通常、数十ピクセルより小さいピクセル（ｌｏｗｅｒ ｔｅｎｓ ｏｆ ｐｉｘｅｌｓ）内にある。フレーム間でのオブジェクトの移動は、ピクセルでの同様の距離を供し得る。

したがって、異なる時間で撮影された、即ち多層構造でない、左のイメージ及び右のイメージを比較することは、ほんの１フレームが別々になっても、事態を複雑にする。動いているオブジェクトに関して、オブジェクトのモーションを知らなければならないだろう。オブジェクトのモーションの正確な測定を取得することは、複数のフレームを必要とする。移動が知られているときにだけ、動いているオブジェクトに関する測定された距離を、深さを測定することができる、視差によるピクセルでの距離と、深さと直接関連がない、移動によるピクセルでの距離と、に分類することが可能である。移動しているオブジェクトに関する正確な深さ測定を得るために、比較的大きな数のイメージのデータが、解析されなければならない。通常、モーションにおける複数のさらなる仮定をなさなければならない。例えば、モーションが、フレーム間で、多かれ少なかれ同じである、又は直線的に変化しているという。全面的に、これは、複雑な計算につながり、移動の決定での、そのような如何なる不正確さでさえ、視差の、したがって、深さの決定での不正確さにつながる。具体的な問題は、移動しているオブジェクトが、繰り返しパターンを含むときに起こる。もし、フレーム間で、繰り返しパターンが１段階変わるように、オブジェクトがふと移動するなら、不可能ではないにしても、正確にモーション推定を供することは非常に困難になる。複合イメージの構成イメージを同時に記録することにより、モーションに付随する如何なる問題も排除される。更なる問題は、カメラからは離れて移動する又はカメラに向かって移動するオブジェクトに関して生じる。そのような移動を正確に推定することは、非常に困難である。

実施形態において、複合イメージはさておき、単一のイメージが撮影され得るという事実は、この事実を認めない（ｄｏｅｓ ｎｏｔ ｄｅｆｅｒ ｆｒｏｍ）。単一のイメージ（中央、左又は右のイメージ）により、結果の確認ができ、これにより、深さのより正確な決定及び／又は複合イメージから構成イメージに一方又は両方を、より容易に分ける（ｄｉｓｔｒａｃｔ）ことができる。

カメラのビューアーには、実施形態において、複合イメージでななく、非複合イメージが表示される。複合イメージを見ることは、人間に、不安を生じさせる。実施形態において、カメラはまた、ｚ−ｍａｐ又は両方のパラメータを結合する映像を可視化する、奥行きイメージを直接表示することができる。

イメージを可視光で撮影することができるが、赤外光で同様に良好である。赤外線カメラは、ダブル複合イメージ（ｄｏｕｂｌｅ ｃｏｍｐｏｕｎｄ ｉｍａｇｅ）を生成するために、光学デバイスを用いて供され得、ソフトウェアは、ダブルイメージから非複合イメージを生成し、イメージ強度は、熱をこらえ（ｓｔａｎｄｓ ｆｏｒ ｈｅａｔ）、更に、カラーコードが、センサに対する距離に依存して、オブジェクトに対して使用される。これにより、ナイトゴーグルを使用している観察者は、暗闇の中で移動するときに、人やオブジェクトを見ることができるだけでなく、これらの人やオブジェクトが観察者からどれくらい離れているかが、即座に知ることができる。

要約すると、本発明は次のように述べることができる：
カメラ及びカメラシステムは、光学デバイス（８）で供される。光学デバイスは、複合イメージを形成するために、センサ（４）上に、オブジェクトの２つ以上のイメージを同時に生成する。複合イメージ内のオブジェクトの構成イメージ間の距離ｄは、カメラに対する距離Ｚに依存する。複合イメージは、ダブルイメージ間の距離ｄを決定するために、解析される（９）、例えばデコンボリューションされる。これらの距離は、その後、深度図（１０）へと変換される。

本発明はまた、プログラムが、コンピュータ上で動くときに、本発明に係る方法を実行するための、プログラムコード手段を含む、コンピュータプログラム及び、本発明に係る方法を実行するための、コンピュータ可読媒体上に保存された、プログラムコード手段を含むコンピュータプログラムプロダクトに関連する。

特許請求の範囲内において、丸括弧間に配置された如何なる参照符号は、特許請求の範囲を制限するよう解釈されるべきでない。

“含む”なる語は、特許請求の範囲内に配置された要素又は段階より他の要素又は段階の存在を除外しない。本発明は、上述された種々の異なる好ましい実施形態の特徴の如何なる組み合わせによっても、実行され得る。

カメラは、イメージを作る如何なるデバイスである。それは、また、そのような通信といった他の目的で使用される、又は、そのような通信装置に取り付けられる、一体化される若しくは協力する、デバイスの一部でもあり得る。

左及び右のイメージを二者択一的に記録することは、静止したオブジェクトに関してうまく機能するが、オブジェクトは、イメージを撮影している間にも移動しているので、動いているオブジェクトに関して、左及び右のイメージが同じでないという欠点を有する。左のイメージと右のイメージとの間のオブジェクトの位置の差は、その結果、オブジェクトのレンズに対する距離と同時に、オブジェクトの移動にも依存する。正確な距離の決定を得るために、正確なモーション・サーチ（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）、さらに（ｐｌｕｓ）ステレオ・マッチングが実行されなければならない。距離及びモーションの、両方のパラメータは、事前に知られず、また、未知の方法で、時間変動するであろう。それは、正確なモーション・サーチが予定される前の、複数のフレームを必要とする。高速で移動している若しくは一貫性のないモーションを有している、繰り返しパターン若しくはオブジェクトを移動させるといった、状況において、正確なモーション・サーチは、ほとんど不可能である又は全く不可能である（ｈａｒｄｌｙ ｏｒ ａｔ ａｌｌ ｐｏｓｓｉｂｌｅ）。
ＵＳ６８０７２９５には、レンズの後に、エントランスレンズ（entrance lens）の異なる部分から光が通る、２つの小さい開口部を有するマスクが供される、システムが記載されているということがわかる。レンズの後のマスク内の開口部の供与は、焦点が合っていないイメージについて、オブジェクトに関する種々のスポットを供する。焦点がはずれたスポット間の距離は、焦点が合っているオブジェクトに関してゼロであり、オブジェクトの焦点がはずれるにつれて増加する。この構成を、従来のカメラに関して、容易に使用することはできない。

この目的に対して、本発明の方法、システム及びカメラは、イメージを記録するための、レンズ及びイメージセンサの前に、前記イメージセンサ上に、同じオブジェクトに関して、２つ以上の重ねあわされた、同時に撮影されたイメージを含む、複合イメージを作り出すための光学デバイスが供され、前記複合イメージ内の、共通するイメージセンサ上の対応するオブジェクトの間の距離は、前記のイメージ化されたオブジェクトの、前記レンズからの距離に依存し、前記の２つ以上の重ねあわされたイメージは、共通のレンズによって、共通の前記イメージセンサ上にイメージ化され、前記複合イメージは、前記センサ上の前記複合イメージ内の対応する前記オブジェクトの間の空間距離を決定するよう解析される、ということで特徴付けられる。

Claims (15)

1. イメージを記録するためのイメージセンサの前に、光学デバイスが、前記センサ上に複合イメージを作り出すために供され、前記複合イメージは、同じオブジェクトについての、同時に撮影された、2つ以上の重ねあわされたイメージを含み、
   共通の前記イメージセンサ上の対応する複数のオブジェクト間の、前記複合イメージ内での空間距離は、イメージ化された前記オブジェクトの、前記レンズからの距離に依存し、
   前記複合イメージは、前記センサ上の前記複合イメージ内の対応する前記複数のオブジェクト間の前記空間距離を決定するために解析される、
   イメージデータを記録するための方法。
2. イメージウィンドウ内のピクセルに関して、相関関係にあるピークが、イメージウィンドウのシフトに関して計算される、請求項１に記載のイメージデータを記録するための方法。
3. 反復プロセスにおいて、全ての反復で、ダイレクトイメージの近似値Ｉ_ｏｕｔ（ｘ，ｙ）及び深度図の近似値ｄ_ｏｕｔ（ｘ，ｙ）は、結合されたイメージＩ_{ｓｅｎｓｏｒ}（ｘ，ｙ）と、深度図の近似値ｄ（ｘ，ｙ）及びダイレクトイメージの近似値Ｉ（ｘ，ｙ）の以前の値と、から算出される、請求項１に記載のイメージデータを記録するための方法。
4. 前記光学デバイスは、回折格子を含む、請求項１乃至３のいずれか一項に記載のイメージデータを記録するための方法。
5. 前記光学デバイスは、ミラー及びビームスプリッタを含む、請求項１乃至３のいずれか一項に記載のイメージデータを記録するための方法。
6. 前記光学デバイスは、単一のイメージが記録される第１の作動状態と、前記複合イメージが記録される第２の作動状態と、の間で切替可能であるよう構成される、請求項１乃至５のいずれか一項に記載のイメージデータを記録するための方法。
7. 第１のビューが第１の強度（Ｉ_{ｄｉｒｅｃｔ}）で記録され、第２のビューが第２の強度（Ｉ_ｓｉｄｅ）で記録され、
   前記強度間の比は、１．０４と２．５７との間、又は、１／２．５７と１／１．０４との間である、
   請求項３に記載のイメージデータを記録するための方法。
8. レンズと、
   イメージセンサと、
   前記レンズの前に、同じオブジェクトについての、同時に撮影された、2つ以上の重ねあわされたイメージを含む、前記センサ上の複合イメージを作り出すための光学デバイスと、
   を含み、
   共通の前記イメージセンサ上の対応する複数のオブジェクト間の、前記複合イメージ内での空間距離は、イメージ化された前記オブジェクトの、前記レンズからの距離に依存する、
   イメージデータを記録するためのシステム。
9. 前記光学デバイスは、単一のイメージが記録される第１の作動状態と、前記複合イメージが記録される第２の作動状態と、の間で切替可能である、請求項８に記載のイメージデータを記録するためのシステム。
10. 前記システムは、前記センサ上の前記複合イメージ内の対応する前記複数のオブジェクト間の、前記空間距離を決定するために、前記複合イメージを解析するためのアナライザを含む、請求項８又は９に記載のイメージデータを記録するためのシステム。
11. 前記光学デバイスは、回折格子を含む、請求項８乃至１０のいずれか一項に記載のイメージデータを記録するためのシステム。
12. 前記光学デバイスは、ミラー及びビームスプリッタを含む、請求項８乃至１０のいずれか一項に記載のイメージデータを記録するためのシステム。
13. レンズと、
    イメージセンサと、
    前記レンズの前に、同じオブジェクトについての、同時に撮影された、2つ以上の重ねあわされたイメージを含む、前記センサ上の複合イメージを作り出すための光学デバイスと、
    記録された前記複合イメージに対応するイメージ信号を出力するための出力と、
    を含み、
    共通の前記イメージセンサ上の対応する複数のオブジェクト間の、前記複合イメージ内での空間距離は、イメージ化された前記オブジェクトの、前記レンズからの距離に依存する、
    イメージデータを記録するためのカメラ。
14. ディスプレイを有し、
    非複合イメージ及び／又は推定された深度図及び／又はイメージ情報及び深さ情報を供するイメージが、前記カメラの前記ディスプレイ上に表示される、
    請求項１３に記載のカメラ。
15. コンピュータプログラムであって、
    請求項１乃至７のいずれか一項に記載の方法を実行するためのプログラムコード手段を含み、
    当該プログラムは、コンピュータ上で動く、
    コンピュータプログラム。

Images