JP2016524125A - カメラアレイを用いた立体撮像のためのシステムおよび方法 - Google Patents

Abstract

本発明の実施形態によるカメラアレイで立体撮像するためのシステムおよび方法を開示する。１つの実施形態では、それぞれが複数の撮像装置を含む２つまたはそれを上回るアレイカメラを用いて物体の奥行情報を生成する方法は、第１の視点の集合から捕捉された第１の画像データ集合を取得するステップと、第１の画像データ集合の中から物体を識別するステップと、第１の奥行測定値を決定するステップと、第１の奥行測定値が閾値を超えるかどうかを決定するステップと、奥行が閾値を超えるときに、第１の視点の集合中の１つの視点から既知の距離に位置付けられた第２の視点の集合からの同一の場面の第２の画像データ集合を取得するステップと、第２の画像データ集合の中から物体を識別するステップと、第１の画像データ集合および第２の画像データ集合を用いて、第２の奥行測定値を決定するステップとを含む。

Description

本発明は、カメラアレイによる立体撮像と、これが単一のモノリシック明視野カメラアレイのコア機能をどのように拡張するかとに関する。

デジタルカメラによって捕捉された画像は、場面中での物体の場所と、１つの物体の別の物体に対する場所とのある感覚を提供する。第３の次元（奥行）の情報がないと、場所および直線的測定に関して厳密な結論を出すのが困難になり得る。

レガシーの立体カメラは、２つまたはそれを上回るレンズに、それぞれのレンズに対して個別の画像センサセンサを持たせた種類のカメラである。これは、カメラが、人間の両目視と、三次元（立体）画像を捕捉する能力とをシミュレートすることを可能にする。レガシー立体カメラは、２つのカメラ間のベースライン、すなわち、距離が既知であるときに、物体のその視野中での奥行を決定するある能力を有する。

アレイカメラは、それぞれの撮像装置によって取得された画像が少し異なる視点からのものである場面中の画像を捕捉することができる、複数の個々の撮像装置（すなわち、カメラ）を含む。視点間の情報の多様性は、奥行情報を計算するために用いることができる。アレイカメラにおける奥行計算は、立体カメラにおけるよりも洗練されているが、その理由は、アレイ中の異なるカメラからの画像のさらなる組み合わせを比較して相互に関連付けて、推定値をノイズおよびエイリアシングの存在下でより強固にすることができるからである。奥行を計算するために用いられる情報は、物体がカメラからより遠くになるほど、その値がより多様でなくなるため、アレイカメラシステムは、典型的に、カメラからのある距離を超えた奥行を決定する精度が依然として減少している。

本発明の実施形態によるカメラアレイで立体撮像するためのシステムおよび方法が、開示される。１つの実施形態では、それぞれが複数の撮像装置を含む２つまたはそれを上回るアレイカメラを用いてある場面中の物体の奥行情報を生成する方法であって、それぞれの撮像装置が場面の画像を捕捉し、第１の異なる視点の集合から捕捉された場面の画像データを含む第１の画像データ集合を取得するステップと、第１の画像データ集合の中から対象とする物体を識別するステップと、対象とする物体の第１の奥行測定値を、第１の画像データ集合のうちの少なくとも一部分を用いて決定するステップと、対象とする物体の第１の奥行測定値が所定の閾値を超えるかどうかを決定するステップと、対象とする物体の奥行が所定の閾値を超えるときに、第１の異なる視点の集合中の少なくとも１つの視点から既知の距離に位置付けられた第２の異なる視点の集合からの同一の場面の画像データを含む第２の画像データ集合を取得するステップと、第２の画像データ集合の中から対象とする物体を識別するステップと、第１の画像データ集合の少なくとも一部分および第２の画像データ集合の少なくとも一部分を用いて、対象とする物体の第２の奥行測定値を決定するステップとを含む。

さらなる実施形態では、第１の異なる視点の集合から捕捉された場面の画像データを含む第１の画像データ集合を取得するステップは、第１のアレイ中の第１の複数の撮像装置を用いて第１の画像データ集合を捕捉するステップを含む。

別の実施形態は、第１のアレイ中のアクティブな撮像装置の画像捕捉設定を決定するステップをさらに含む。

さらに別の実施形態では、第１のアレイ中のアクティブな撮像装置の画像捕捉設定を決定するステップは、複数の第１の複数の撮像装置のレンズにおける非直線性を較正するステップを含む。

さらに別の実施形態では、撮像装置のうちの１つが、基準カメラとして指定されて、基準視点から画像データを捕捉する。

さらに別の実施形態では、第１の画像データ集合の中からの対象とする物体を識別するステップは、プレビュー画像を生成するステップと、プレビュー画像を、画面を介して提示するステップと、ユーザ入力を捕捉するステップとを含む。

さらに別の実施形態では、第１の画像データ集合の中から対象とする物体を識別するステップは、場面の領域中の運動を検出するステップを含む。

さらなる実施形態ではまた、第１の画像データ集合の中から対象とする物体を識別するステップは、指定された対象とする区域中の物体を検出するステップを含む。

別の実施形態ではまた、第１の画像データ集合の中から対象とする物体を識別するステップは、１つまたはそれを上回る画素を選択して、１つまたはそれを上回る画素を物体と関連付けるステップを含む。

さらに別の追加の実施形態では、第１の異なる視点の集合中の少なくとも１つの視点から既知の距離に位置付けられた第２の異なる視点の集合からの同一の場面の画像データを含む第２の画像データ集合を取得するステップは、第２のアレイ中の第２の複数の撮像装置を用いて第２の画像データ集合を捕捉するステップを含む。

さらに別の追加の実施形態では、第２のアレイは、第１のアレイが第１の画像データ集合を捕捉した場所とは異なる場所に配置された第１のアレイである。

さらに別の実施形態はまた、第１の画像データ集合および第２の画像データ集合からの対応する画素の１つまたはそれを上回る集合を相互相関させることによって、２つのアレイ間のベースライン距離を推定するステップをさらに含む。

さらに別の実施形態では、対象とする物体の第１の奥行測定値を、第１の画像データ集合のうちの少なくとも一部分を用いて決定するステップは、第１の画像データ集合中の１つの画像中の画素の場所と第１の画像データ集合中の第２の画像中の対応する画素との間の視差を決定するステップを含む。

さらに別の実施形態はまた、対象とする物体の奥行の信頼基準を計算するステップをさらに含む。

さらに別の実施形態はまた、対象とする物体が第２の画像データ集合中で可視であるかどうかを決定するステップと、対象とする物体が第２の画像データ集合中で可視であるときに、第２の画像データ集合の中から対象とする物体を識別するステップとをさらに含む。

さらに別の追加の実施形態では、第１の画像データ集合の少なくとも一部分および第２の画像データ集合の少なくとも一部分を用いて、対象とする物体の第２の奥行測定値を決定するステップは、第１の画像データ集合中の少なくとも１つの画像中の対象とする物体と関連付けられた第１の画素と第２の画像データ集合中の少なくとも１つの画素中の対応する第２の画素との間の視差を決定するステップを含む。

さらに別の追加の実施形態では、第１の画像データ集合の少なくとも一部分および第２の画像データ集合の少なくとも一部分を用いて、対象とする物体の第２の奥行測定値を決定するステップは、第１の画像データ集合中の１つの画像中の画素の場所と第２の画像データ集合中の第２の画像中の対応する画素との間の視差を計算するステップを含む。

さらに別の実施形態ではまた、第１の画像データ集合の少なくとも一部分および第２の画像データ集合の少なくとも一部分を用いて、対象とする物体の第２の奥行測定値を決定するステップは、対象とする物体の第１の奥行測定値を利用するステップを含む。

さらに別の実施形態ではまた、それぞれが複数の撮像装置を含み、それぞれの撮像装置がある場面の画像を捕捉する１つまたはそれを上回るアレイカメラを用いてその場面中の物体の速度を計算する方法は、第１の異なる視点の集合から捕捉された場面の画像データを含む第１の画像データ集合を取得するステップと、第１の画像データ集合の中から対象とする物体を識別するステップと、対象とする物体の第１の奥行測定値および第１の角度測定値を、第１の画像データ集合のうちの少なくとも一部分を用いて決定するステップと、対象とする物体の第１の場所を、少なくとも第１の奥行測定値および第１の角度測定値を用いて決定するステップと、第１の画像データ集合が捕捉されてから時間ｔ後に第２の異なる視点の集合から捕捉された場面の第２の画像データを含む第２の画像データ集合を取得するステップと、第２の画像データ集合の中から対象とする物体を識別するステップと、対象とする物体の第２の奥行測定値および第２の角度測定値を、第２の画像データ集合のうちの少なくとも一部分を用いて決定するステップと、対象とする物体の第２の場所を、少なくとも第２の奥行測定値および第２の角度測定値を用いて決定するステップと、対象とする物体の速度を、対象とする物体の少なくとも第１の場所および第２の場所を用いて計算するステップとを含む。

さらに別の追加の実施形態では、第１の異なる視点の集合から捕捉された場面の画像データを含む第１の画像データ集合を取得するステップは、第１のアレイ中の第１の複数の撮像装置を用いて第１の画像データ集合を捕捉するステップを含み、第１の画像データ集合が捕捉されてから時間ｔ後に第２の異なる視点の集合から捕捉された場面の第２の画像データを含む第２の画像データ集合を取得するステップは、第１の画像データ集合が捕捉されてから時間ｔ後に第２の複数の撮像装置を用いて第２の画像データ集合を捕捉するステップを含む。

さらに別の追加の実施形態では、第２の複数の撮像装置は、第１の複数の撮像装置と同一であり、第２の異なる視点の集合が、第１の異なる視点の集合と同一である。

さらに別の追加の実施形態ではまた、第２の複数の撮像装置は、第１のアレイとは異なる第２のアレイから選択される。

さらに別の追加の実施形態はまた、第１のアレイ中のアクティブな撮像装置の画像捕捉設定を決定するステップをさらに含む。

さらに別の実施形態ではまた、第１の画像データ集合の中から対象とする物体を識別するステップは、プレビュー画像を生成するステップと、プレビュー画像を、画面を介して提示するステップと、ユーザ入力を捕捉するステップとを含む。

さらに別の実施形態ではまた、第１の画像データ集合の中から対象とする物体を識別するステップは、場面の領域中の運動を検出するステップを含む。

さらに別の追加の実施形態ではまた、第１の画像データ集合の中から対象とする物体を識別するステップは、指定された対象とする区域中の物体を検出するステップを含む。

さらに別の追加の実施形態ではまた、第１の画像データ集合中の対象とする物体を識別するステップは、１つまたはそれを上回る画素を選択して、１つまたはそれを上回る画素を物体と関連付けるステップを含む。

さらに別の追加の実施形態ではまた、第１のアレイ中の第１の複数の撮像装置を用いて第１の画像データ集合を捕捉するステップは、第１の場所で第１の画像データ集合を捕捉するステップを含み、第１の画像データ集合が捕捉されてから時間ｔ後に第２の複数の撮像装置を用いて第２の画像データ集合を捕捉するステップは、第１の画像データ集合が捕捉されてから時間ｔ後に第２の場所の第２の画像データ集合を捕捉するステップを含み、対象とする物体の第２の場所を、少なくとも第２の奥行測定値および第２の角度測定値を用いて決定するステップは、第１の場所から第２の場所への変化を決定するステップを含む。

さらに別の追加の実施形態ではまた、第１のアレイ中の第１の複数の撮像装置を用いて第１の画像データ集合を捕捉するステップは、第１のアレイの第１の方位を決定するステップを含み、第１の画像データ集合が捕捉されてから時間ｔ後に第２の複数の撮像装置を用いて第２の画像データ集合を捕捉するステップは、第１の画像データ集合が捕捉されてから時間ｔ後に第１のアレイの第２の方位を決定するステップを含み、対象とする物体の第２の場所を、少なくとも第２の奥行測定値および第２の角度測定値を用いて決定するステップは、第１の方位から第２の方位への変化を決定するステップを含む。

さらに別の追加の実施形態はまた、対象とする物体の速度の信頼基準を計算するステップをさらに含む。

さらに別の追加の実施形態ではまた、第２の画像データ集合の少なくとも一部分を用いて、対象とする物体の第２の奥行測定値および第２の角度測定値を決定するステップは、第１の画像データ集合の少なくとも一部分および第２の画像データ集合の少なくとも一部分を用いて、対象とする物体の第２の奥行測定値を決定するステップを含む。

図１は、本発明の実施形態による様々なアレイカメラ構成で用いることができるアレイカメラアーキテクチャの概念図である。 図２は、２カメラ式システムで捕捉された画像に対するパララックス効果の図である。 図３Ａは、物体距離対観察された視差を図示するグラフである。 図３Ｂは、物体距離対奥行誤差を図示するグラフである。 図４は、本発明の実施形態による立体アレイカメラを用いて奥行を測定するプロセスを図示する。 図５は、本発明の実施形態による奥行情報を再使用するプロセスを図示する。 図６は、本発明の実施形態によるアレイカメラを用いて速度を測定するプロセスを図示する。

ここで図面を検討すると、本発明の実施形態による距離および速度を測定するためのシステムおよび方法が図示されている。本発明の多くの実施形態では、１つまたはそれを上回るアレイカメラを利用して、少し異なる視点から場面の画像データを捕捉する。異なる視点から取得された情報の多様性を用いて、場面中の物体の奥行と、場面に対する奥行情報の集合を含む奥行マップとを計算することできる。本発明の多くの実施形態では、２つのアレイカメラから成る立体アレイカメラは、１つのアレイカメラであり得るカメラからより遠くの距離でより高い精度で奥行を計算するために用いることができる奥行情報を提供する。他の実施形態では、立体アレイカメラは、アレイカメラおよびレガシーカメラ（すなわち、１つのレンズおよび１つのセンサ／撮像装置を有する）から成る。

異なる視点から画像データを捕捉するために利用することができるカメラモジュールを含むアレイカメラが、その開示が全体的に参照により本明細書に組み込まれる、２００９年５月２０日に出願された「Ｃａｐｔｕｒｉｎｇ ａｎｄ Ｐｒｏｃｅｓｓｉｎｇ ｏｆ Ｉｍａｇｅｓ Ｕｓｉｎｇ Ｍｏｎｏｌｉｔｈｉｃ Ｃａｍｅｒａ Ａｒｒａｙ ｗｉｔｈ Ｈｅｔｅｒｏｇｅｎｅｏｕｓ Ｉｍａｇｅｓ」という題名の米国特許出願第１２／９３５，５０４号に開示されている。アレイカメラは、レガシーカメラに優る多くの利点および特徴を提供する。アレイカメラは、典型的には、２つまたはそれを上回る撮像装置（カメラと呼ばれることがある）を含み、そのそれぞれは個別のレンズシステムを通して光を受容する。撮像装置は、少し異なる視点から場面の画像データを捕捉するように動作する。アレイカメラは、超解像処理および奥行計算で用いることができる複数の視点から画像データを捕捉することを含む様々な応用分野を有する。

対象とする物体の奥行は、２つの異なるカメラからの画像中の物体を作り上げる対応する画素（場面中の同一のコンテンツを捕捉する画素）の場所の視差、すなわち、差異を観察することによって計算することができる。以下にさらに検討するように、カメラ間のベースライン距離、カメラの背面焦点距離、および視差は、奥行を決定する際の要因である。その距離での所与の物体の画像のカメラ間視差が、距離が増加するに連れて減少するため、奥行測定の正確さは、カメラからのさらなる距離とともに減少する。ついには、視差は、所与の画素サイズに対するある閾値サブ画素量よりも小さくなり、奥行測定の解像度は、そのため、奥行が増すにつれてより粗く数値化されるようになる。ベースラインが増すと視差が増すため、奥行測定の正確さもまた、それに応じて、ベースラインを伴わずに、増加させることができる。本発明の多くの実施形態では、立体アレイカメラ構成は、固定した距離だけ離れて実装された２つのアレイカメラを含む。固定距離は、１つのアレイ中のカメラ間の距離よりも大きく、立体アレイカメラは、したがって、奥行を推定するときに、１つのアレイの場合よりも高い正確さを提供することができる。

対象とする物体の奥行および二次元場所（アレイカメラによって捕捉された画像等からの）を用いて、三次元空間中で物体の位置を見つけることができる。物体の三次元座標および経過時間の２つの集合を与えられれば、物体の速度および方向を、２つの測定での奥行推定値の正確さに応じてある正確さ以内で計算することができる。本発明のいくつかの実施形態では、物体の速度および方向は、アレイカメラまたは立体アレイカメラを用いて決定された奥行および三次元場所情報から計算される。本発明の実施形態による奥行および速度の測定のために用いることができるアレイカメラアーキテクチャが、以下で検討される。

（アレイカメラアーキテクチャ）
本発明の実施形態による様々なアレイカメラ構成で用いることができるアレイカメラアーキテクチャが、図１に図示される。アレイカメラ１００は、プロセッサ１０８に接続される撮像装置アレイ１０２を含む。アレイ１０２中の撮像装置１０６は、５×５の方形中に等間隔で置かれている。他の実施形態では、撮像装置は、異なる間隔を有し得る、または、アレイ中で他の方位で配列することができる。プロセッサ１０４は、ハードウェア、ソフトウェア、ファームウェア、または、撮像装置アレイ１０２の様々な動作パラメータを制御する、それらの組み合わせである。プロセッサ１０４はまた、撮像装置アレイ１０２から受信された画像を処理して、超解像プロセスを用いて合成されたより高い解像度の画像を生成する、または、画像を他のハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせに転送して画像を処理するように機能することができる。システムはまた、画像を記憶するための、プロセッサ１０４と通信状態にあるメモリ１０８を含むことができる。本発明の実施形態により利用することができる撮像装置アレイのアーキテクチャは、その開示が全体的に参照により本明細書に組み込まれる、Ｐａｉｎらに対する「Ａｒｃｈｉｔｅｃｔｕｒｅｓ ｆｏｒ Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ Ａｒｒａｙ Ｃａｍｅｒａｓ」という題名の米国特許出願第１３／１０６，７９７号およびＶｅｎｋａｔａｒｍａｎらに対する「Ｃａｐｔｕｒｉｎｇ ａｎｄ Ｐｒｏｃｅｓｓｉｎｇ ｏｆ Ｉｍａｇｅｓ ｕｓｉｎｇ Ｍｏｎｏｌｉｔｈｉｃ Ｃａｍｅｒａ Ａｒｒａｙ ｗｉｔｈ Ｈｅｔｅｒｏｇｅｎｅｏｕｓ Ｉｍａｇｅｒｓ」という題名の米国特許出願第１２／９３５，５０４号に開示されるものを含む。

特定的なアーキテクチャを図１に示すが、合成された高解像度画像を生成するために低解像度画像の捕捉および超解像度プロセスの適用を可能とするカメラの任意のＭ×Ｎアレイを含む様々なアーキテクチャの任意のものを本発明の実施形態により利用することができる。

（立体アレイカメラ）
本発明の多くの実施形態では、固定距離だけ離れて実装された２つのアレイカメラは、一対の立体アレイカメラを形成する。他の実施形態では、アレイカメラおよびレガシーカメラは、立体アレイカメラを形成する。各アレイカメラは、図１に関連して上述したようなアーキテクチャのものであり得る。いくつかの実施形態では、アレイカメラは、限定されないが、カメラの数、アレイの寸法、カメラの解像度、および／またはカラーフィルタの配列等の特徴に類似した構成を有する。いくつかの実施形態では、第１および／または第２のアレイカメラ中のアクティブな撮像装置（画像データを捕捉するために用いられる撮像装置）は、それらが同一のスペクトル帯域の光を捕捉するように構成されるように、カラーフィルタまたは他の機構を有する。このスペクトル帯域は、（限定されないが）赤、青、緑、赤外色、または拡張色であり得る。拡張色は、少なくとも２つの色の波長の帯域の少なくとも一部分を含む帯域である。拡張色を捕捉して利用するためのシステムおよび方法は、その開示が全体的に参照により本明細書に組み込まれる、「Ｅｘｔｅｎｄｅｄ Ｃｏｌｏｒ Ｐｒｏｃｅｓｓｉｎｇ ｏｎ Ｐｅｌｉｃａｎ Ａｒｒａｙ Ｃａｍｅｒａｓ」という題名の２０１３年３月１５日に出願された米国特許出願第６１／７９８，６０２号および「Ｅｘｔｅｎｄｅｄ Ｃｏｌｏｒ Ｐｒｏｃｅｓｓｉｎｇ ｏｎ Ｐｅｌｉｃａｎ Ａｒｒａｙ Ｃａｍｅｒａｓ」という題名の２０１３年１２月３１日に出願された米国特許出願第１４／１４５，７３４号に記載されている。他の実施形態では、アレイカメラは、特定の応用分野に適切なように、１つまたはそれを上回る特徴に異なる構成を有する。多くの実施形態では、それぞれのアレイ上の１つまたはそれを上回る場所を基準にした２つのアレイ間（または、アレイカメラとレガシーカメラとの間）の距離は、既知である。加えて、それぞれのアレイ内の各カメラの場所は既知である。したがって、第１のアレイ中の任意のカメラと第２のアレイ中の任意のカメラ（またはレガシーカメラ）との間のベースライン（任意の２つのカメラ間の距離）は、既知であるか、または決定することができる。

（アレイカメラを用いる距離測定）
アレイカメラのうちの異なるカメラによって捕捉された場面の画像は、カメラの異なる場所に起因する異なる視点による差、すなわち、パララックスとして知られる効果を有する。これらの差は、視差として知られていて、場面内の物体の奥行を測定するために用いることができる情報を提供する。視差を検出して画像の奥行マップを計算するためのシステムおよび方法は、その開示が全体的に参照により本明細書に組み込まれる、２０１２年８月２１日に出願された、Ｖｅｎｋａｔａｒａｍａｎらに対する「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｐａｒａｌｌａｘ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｃｏｒｒｅｃｔｉｏｎ ｉｎ Ｉｍａｇｅｓ Ｃａｐｔｕｒｅｄ Ｕｓｉｎｇ Ａｒｒａｙ Ｃａｍｅｒａｓ」という題名の米国特許出願第６１／６９１，６６６号に検討されている。

２カメラ式システムでのパララックスが、図２に図示される。２つのカメラ２００、２０２は、レンズスタック２０４および焦点面２０６を含む。各カメラは、背面焦点距離ｆを有し、２つのカメラは、２ｈのベースライン距離だけ離されている。両方のカメラの視野は、前景物体２０８および背景物体２１０を含む場面を範囲に収める。２つのカメラ２００、２０２の異なる視野によって導入される視差は、前景物体２０８の場所の、第１のカメラによって捕捉された画像中のその場所（−ｕ_Ｌと示されるその光軸２１２に対する第１のカメラ２００の焦点面上の点のオフセットとして表される）と第２のカメラによって捕捉された画像のその場所（ｕ_Ｒとして示されるその光軸２１４に対する第２のカメラ２０２の焦点面上の点のオフセットとして表される）との間の差に等しい。

前述で組み込まれた米国特許出願第６１／６９１，６６６号は、視差と奥行との間の次の関係を用いる奥行の測定を、図２を参照して検討する。

上記の式および図から、カメラによって捕捉された画像間の視差は、２つのカメラ間のエピポーラ線と呼ばれ得る２つのカメラのベースラインの方向のベクトルに沿っていることが分かる。さらに、視差の大きさは、２つのカメラ間のベースライン距離間隔およびカメラの背面焦点距離に正比例し、カメラから場面に現れている物体までの距離に逆比例する。２つのカメラから前景物体までの距離（または、奥行）は、捕捉された２つの画像中の前景物体の視差を決定することによって取得することができる。

アレイカメラによって捕捉された画像を用いて画素または物体の奥行を決定する１つの方法は、基準視点／またはカメラから捕捉された画像からの選択された画素に対する初期の仮定された奥行または距離を選択するステップと、基準視点／カメラと、類似した／一致する画素に対する他の画像のそれぞれを捕捉するカメラとの間のエピポーラ線に沿って他の画像中の画素場所を検索するステップとを含む。このプロセスは、上記の参照により組み込まれた特許に検討されていて、以下にさらに検討されるように、より高い精度にまで奥行を決定するために１つのアレイ中のカメラよりもさらに離れて設定された２つのアレイカメラを利用するように修正することができる。

前述で組み込まれた特許出願に開示されたような技法は、典型的には、基準視点からの奥行マップを生成するために用いられる。基準視点は、カメラアレイ中のカメラのうちの１つの視点からであり得る。代替では、基準視点は、任意の仮想視点であることができる。奥行マップは、基準視点からの場面物体の表面の距離を示す。視差を用いて奥行を計算するためのプロセスを前述で検討したが、奥行を計算するための様々な技法のうちの任意のものを、本発明の実施形態により利用することができる。立体アレイカメラを用いて奥行測定するためのプロセスを以下に検討する。

（立体アレイカメラを用いて強化された距離測定）
物体がアレイカメラにより近いほど、アレイ中の異なるカメラによって捕捉された異なる画像中の物体の場所で観察される視差は、より大きくなる。観察された視差に対する物体の距離の代表的なグラフが、図３Ａに図示される。物体の距離がゼロに近づく（すなわち、カメラにより近くなる）につれて、視差は劇的に増大することがグラフから分かる。逆に、物体の距離が増すにつれて、視差は減少する。視差の変化率は、物体の距離が増すにつれて減少することも分かる。視差の誤差に対する物体の距離の代表的なグラフが、図３Ｂに図示される。グラフは、任意の２つの隣接し合うカメラ間のベースラインが２．３ｍｍであり、画素サイズが１．７５μｍであり、焦点距離が約２ｍｍである４×４のアレイを前提としている。視差の誤差は、物体の距離を奥行の解像度で除算した百分率として計算され、ここで奥行の解像度は、所与の物体距離での奥行の解像度（２つの物体を、アレイカメラがそれらを２つの個別の奥行として区別するように分離すべき距離）を示す。奥行の誤差は、物体の距離とともに増すことが分かる。

カメラが基準視点からより遠くにあるほど、視差は、より大きく観察されるであろう。典型的には、より大きくシフトするほど、奥行をより高い精度で決定することが可能となる。ベースライン（カメラ間の距離）を増すと、観察される視差もそれに応じて増加する。したがって、奥行情報を決定するために基準視点から画像を捕捉するカメラおよびそのカメラから最も遠いカメラを用いることは、精度を向上させることができる。

本発明の多くの実施形態では、２つのアレイカメラは、立体アレイカメラ構成中で既知の距離に分離されるように設定され、２つのアレイカメラからの画像データを用いて、カメラによって観察される物体の奥行情報を生成する。他の実施形態では、立体アレイカメラは、相互から既知の距離に位置付けられたアレイカメラおよびレガシーカメラを含む。本発明の実施形態による立体アレイカメラを用いて奥行を測定するためのプロセスが、図４に図示される。プロセスは、第１のアレイおよび第２のアレイの中のアクティブなカメラに対する画像捕捉設定を決定するステップ（３１０）を含む。画像捕捉設定は、（例えば、場面から独立した幾何学的なシフトを適宜組み込むことによって）レンズの非直線性または不整合の較正を含むことができる。

第１の画像データ集合は、第１のアレイ中のアクティブなカメラを用いて捕捉される（３２０）。典型的には、各カメラは、カメラの視点からの画像を形成するために用いることができる画像データを収集する。アレイカメラでは、多くの場合、１つのカメラは、基準カメラに指定され、そのカメラによって捕捉された画像データは、基準視点から捕捉されたものと呼ばれる。本発明の多くの実施形態では、捕捉された画像データは、基準カメラからの画像データを含む。いくつかの実施形態では、画像データを捕捉するアクティブなカメラは、カラーフィルタまたは捕捉される光のスペクトル帯域を制限する他の機構で構成される。スペクトル帯域は、（限定されないが）、赤、青、緑、赤外色、または拡張色であることができる。拡張色は、少なくとも２つの色の波長の帯域の少なくとも一部分を含む帯域である。拡張色を捕捉して利用するためのシステムおよび方法は、前述で参照により組み込まれた、米国特許出願第６１／７９８，６０２号および第１４／１４５，７３４号に開示されている。

対象とする物体は、第１の画像データ集合の中から識別される（３２５）。識別は、限定されないが、ユーザ入力（例えば、画面上での選択）、運動起動、形状認識、および対象とする区域を含む様々な技法に基づくことができる。識別は、第１のアレイ中のカメラからの第１の画像データ集合から生成された画像の中で実行することができる。例えば、対象とする物体は、第１の画像データ集合から生成されたプレビュー画像中で、または第１のアレイ中の基準カメラに対応する基準視点からの基準画像中で示すことができる。識別は、物体と関連付けられた画像内の画素または画素の集合の選択を含むことがある。

第１の画像データ集合を用いて、物体の奥行が決定される（３３０）。物体の奥行を決定するための技法は、前述で参照により組み込まれさらに検討された米国特許出願第６１／６９１，６６６号に開示されるものを含み得る。ノイズの影響は、限定されないが、その開示が全体的にこれにより組み込まれる、Ｍｏｌｉｎａに対する「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｒｅｄｕｃｉｎｇ Ｍｏｔｉｏｎ Ｂｌｕｒ ｉｎ Ｉｍａｇｅｓ ｏｒ Ｖｉｄｅｏ ｉｎ Ｕｌｔｒａ Ｌｏｗ Ｌｉｇｈｔ ｗｉｔｈ Ａｒｒａｙ Ｃａｍｅｒａｓ」という題名の２０１３年３月１４日に出願された米国特許出願第６１／７８３，４４１号およびＭｏｌｉｎａに対する「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｒｅｄｕｃｉｎｇ Ｍｏｔｉｏｎ Ｂｌｕｒ ｉｎ Ｉｍａｇｅｓ ｏｒ Ｖｉｄｅｏ ｉｎ Ｕｌｔｒａ Ｌｏｗ Ｌｉｇｈｔ ｗｉｔｈ Ａｒｒａｙ Ｃａｍｅｒａｓ」という題名の２０１４年３月１２日に出願された米国特許出願第１４／０２５，１００号に開示されているもの等の技法を利用する異なるカメラによって捕捉された画像全体にわたって対応する画素を切り捨てるまたは平均化することによって、軽減することができる。本発明のいくつかの実施形態では、中間画像は、画素値が異なる画像中の対応する画素から切り捨てられるまたは平均化される各画像中の場所中の画素値で形成することができる。「平均化された」ノイズ構成要素を有する中間画像は、次いで、奥行計算に用いることができる。

物体の視差が所定の閾値を超える、すなわち、第１のアレイから所定の距離以内にあれば（３４０）、前述で計算された奥行（３３０）は、物体の奥行として容認される（３５０）。レンズの較正および／または画素の解像度（画素がカメラからの距離に基づいて表す幅）等の要因に基づく信頼基準を与えることができる。信頼基準はまた、前述で参照により組み込まれた米国特許出願第６１／６９１，６６６号に開示されている特定の画素に対する奥行測定値の信頼性を表す信頼マップからの情報を組み込むことがある。

物体の視差が所定の閾値未満であれば（３４０）、物体の奥行測定値は、第２のアレイ中のカメラからの第２の画像データ集合を用いて精緻化される。いくつかの実施形態では、第２のアレイは、むしろレガシーカメラである。前述でさらに検討したように、奥行の測定に際してさらなる距離にまで視差が増すため、カメラ間のより長いベースラインは、増加した精度を提供することができる。

第２の画像データ集合は、第２のアレイ中の少なくとも１つのカメラ（またはレガシーカメラ）を用いて捕捉される（３５５）。対象とする物体は、第１の画像データ集合から物体を識別することに関して前述で検討された技法または技術上既知の他の追跡技法を含み得る様々な技法に基づいて、第２の画像データ集合中から識別される（３７０）。システムが、対象とする物体が第２のアレイに対して可視であることを前提としない場合、最初に、物体が第２のアレイ中の少なくとも１つのカメラに対して可視であるかどうかを決定する（３６０）。視認性は、例えば、前述で参照により組み込まれた米国特許出願第６１／６９１，６６６号中の図９を参照して検討されたように、類似した画素を探索することによって決定することができる。

奥行測定は、第１の画像データ集合の少なくとも一部分および第２の画像データ集合の少なくとも一部分を用いて物体に対して実施される（３８０）。測定は、第１のアレイ中の１つまたはそれを上回るカメラによって捕捉された画像中の対象とする物体と関連付けられた画素と、第２のアレイ中の１つまたはそれを上回るカメラによって捕捉された画像中の対応する画素との間の視差を決定するステップを含むことができる。いくつかの実施形態では、第２のアレイは、むしろ、１つの画像を捕捉するレガシーカメラである。１つの画像は、第１の画像データ集合および第２の画像データ集合の中の画素間に画素対応性を発見することができる限り、視差を決定するために第２の画像データ集合として同様に用いることができる。

複数のアレイカメラを用いて奥行測定値を取得する特定的なプロセスを前述で説明したが、２つまたはそれを上回るアレイカメラの様々な組み合わせのうちの任意のものを利用して、本発明の実施形態による特定的な応用分野に適宜利用することができる２つのアレイカメラ内のカメラによって捕捉された画像データ間で観察された視差に基づいて奥行測定値を取得することができる。

立体アレイカメラ構成は、１つのアレイカメラを用い、かつアレイカメラの位置を変化させることによって、アドホック様式で形成することができる。本発明の多くの実施形態では、アドホック立体アレイカメラは、１つの位置で場面の画像を捕捉し、アレイカメラを第２の位置に移動させ、第２の位置で第２の画像をアレイカメラで捕捉するアレイカメラを含む。このようにして捕捉された２つの画像は、アドホック画像対を形成することができる。２つの画像からの特徴を互いと相互関連付ける、またジャイロスコープおよび／または加速度計等の内部センサを組み合わせて一致した特徴と相互に関連付けることによって、（カメラの投影中心およびカメラの視野角等の）カメラの外因性を決定することができる。

（統一的なパララックス計算）
立体アレイカメラは、１つのアレイカメラと比較して、パララックス視差の計算でのさらなる最適化の可能性を提供する。パララックスの計算は、前述で参照により組み込まれた米国仮特許出願第６１／６９１，６６６号に開示されているもののようなプロセスを用いて実施することができる。本発明のある実施形態に関連して前述で検討されたように、パララックス計算は、立体アレイカメラ中の第１のアレイ中のカメラを用いて奥行を計算するために実施することができる。多くの実施形態では、第１のアレイを用いて計算された情報を用いて、立体アレイカメラ中の第２のアレイによる奥行の計算を加速することができる。例えば、奥行を計算するための多くのプロセスでは、米国仮特許出願第６１／６９１，６６６号に検討されるように、画像は、類似した画素に対してサンプリングして、視差を決定する。画素および／または物体が、第１のアレイによって既に計算されている奥行を有するとき、第２のアレイ中の類似した画素の探索は、同一の画素／物体の奥行情報を開始点として用いる、および／または既存の奥行情報によって予測されるように画像の「期待される」部分に対する探索を制限することができる。いくつかの実施形態では、それに対応して、画素／物体は、対応する画素／物体が画像内の同一の場所にはないときでさえも、既存の奥行が正しい画素／物体に適用することが可能であるように、第２のアレイによって捕捉された画像中で識別することができる。多くの実施形態では、画素／物体の対応性は、必ずしも、画像の部分または全体に対して決定されることはなく、第１の画像中の各画素の奥行は、第２の画像中の同一の場所の画素の奥行を計算するために用いられる。

本発明の実施形態による奥行情報を再使用するためのプロセスが、図５に図示される。プロセスは、ある画素の奥行が第１のアレイによって計算されたかどうかを決定するステップ（３９０）を含む。奥行が計算されなかった場合、画素の奥行は、第２のアレイからの画像データを用いて計算される（３９２）。画素の奥行が計算された場合、例えば、前述で検討したように類似した画素の探索を制限する、および／または精緻化することによって、第１のアレイからの奥行情報を考慮して、第２のアイレからの画像データを用いて、奥行を計算する（３９４）。

（高解像度画像合成）
アレイカメラによって捕捉された低解像度画像中の画像データを用いて、Ｌｅｌｅｓｃｕらに対する「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｓｙｎｔｈｅｓｉｚｉｎｇ Ｈｉｇｈ Ｒｅｓｏｌｕｔｉｏｎ Ｉｍａｇｅｓ Ｕｓｉｎｇ Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ Ｐｒｏｃｅｓｓｅｓ」という題名の米国特許出願第１２／９６７，８０７号に説明されているそれらのような超解像度プロセスを用いて高解像度画像を合成することができる。米国特許出願第１２／９６７，８０７号の開示は、その全体を参照により本明細書により組み込まれる。超解像度（ＳＲ）プロセスを利用して、アレイカメラによって捕捉された低解像度（ＬＲ）画像から、より高い解像度（ＨＲ）の２Ｄ画像またはより高い解像度の２Ｄ立体画像対を合成することができる。高いまたはより高い解像度（ＨＲ）ならびに低いまたはより低い解像度（ＬＲ）という用語は、本明細書では、相対的な意味で用いられていて、アレイカメラによって捕捉される画像の特定的な解像度を示すものではない。

立体アレイカメラ構成はまた、両方のアレイからのカメラを用いてＨＲ画像を作成するために用いることができる。２つの立体アレイカメラ間の比較的大きいベースラインは、結果として、（パララックス効果が、１つのカメラで捕捉された一部のコンテンツを別のカメラで捕捉されないように遮断する）比較的大きい閉塞ゾーンを生じるが、他の可視領域では、２つのアレイからのカメラは、達成される最終的な解像度を高める。好ましくは、各アレイカメラは、そのスペクトルサンプリングにおいて完全であり、πカラーフィルタパターンを利用し、それによって、１つのアレイ中のカメラを用いて合成された画像が閉塞ゾーンでパララックスアーチファクトがないようにされる。いくつかの実施形態では、その開示が全体的に参照により本明細書に組み込まれる、２０１２年５月１日に出願された、Ｎｉｓｅｎｚｏｎらに対する「Ｃａｍｅｒａ Ｍｏｄｕｌｅｓ Ｐａｔｔｅｒｎｅｄ ｗｉｔｈ ｐｉ Ｆｉｌｔｅｒ Ｇｒｏｕｐｓ」という題名の米国仮特許出願第６１／６４１，１６５号にさらに検討するように、個々のカメラ中のカラーフィルタを用いて、πフィルタ群でカメラモジュールをパターン化することができる。

高解像度（ＨＲ）画像は、前述でさらに説明したもの等のプロセスにおける立体の（２つまたはそれを上回る）アレイカメラを用いて奥行測定を向上させるために用いることができる。本発明のいくつかの実施形態では、ＨＲ画像は、立体アレイカメラ中のカメラによって捕捉された画像データから生成される。各ＨＲ画像は、一方のアレイ中のカメラによって捕捉された画像または両方のアレイ中のカメラによって捕捉された画像を用いて生成することができる。ＨＲ画像は、次いで、前述で説明したもの等の奥行測定値を生成するためのプロセス中で画像データとして用いることができる。典型的には、ノイズに対してより敏感ではないため、測定値は、ＨＲ画像を用いればより強固となり得る。本発明の実施形態により高解像度奥行マップを作成することを、以下に検討する。

（高解像度奥行マップ）
立体アレイカメラによって捕捉された画像データを用いて、いずれかのアレイ内の個々のカメラのベースラインではなく、２つのカメラ間のベースライン距離間隔によって正確さが決定される高解像度奥行マップを生成することができる。奥行マップは、前述で参照により組み込まれた米国仮特許出願第６１／６９１，６６６号に開示されているものを含む様々なプロセスの任意のものによって生成することができる。前述でさらに検討したように、アレイカメラによる奥行測定の正確さは、カメラからのさらなる距離で減少する。第２のアレイ中のカメラによって捕捉された画像を持つ立体アレイ構成中の一方のアレイ中のカメラによって捕捉された画像を用いることによって、２つのカメラ間のベースラインは、１つのアレイ中の２つのカメラ間のベースラインよりも有意に増加する。

（立体アレイカメラの自動較正）
レガシー立体カメラは、典型的には、立体効果を達成するために、２つのカメラ間での非常に正確な較正に依存する。しかしながら、２つのカメラが（例えば、落とされたことによって）ずれた場合、２つのカメラ間のベースラインは未知となる。ベースラインが分からないと、測定された視差が、正確な奥行推定値に変換することができないため、カメラシステムから立体画像を生成する能力は失われる。

本発明の実施形態による立体構成中に配列されたアレイカメラの場合、各アレイは、個々に場面中の物体の奥行情報を生成することができる。２つのアレイカメラの画素または２つのアレイカメラによって計算された奥行を相互相関させることによって、２つのアレイカメラ間のベースラインを推定することができる。ベースラインを推定する本方式は、典型的には、奥行が各カメラアレイを独立に用いて適度に正確に計算することができる両方のカメラアレイに対して可視な物体が存在するときに良好に機能するだけである。無限遠の物体のみが両方のカメラアレイに可視である場合、本明細書に説明するような自動較正は、機能し得ない。１つのアレイカメラで計算された奥行は、多くの場合、カメラのレンズのノイズ、非直線性、または製造上の欠陥、および／または他の要因によるある程度の誤差を有するであろう。誤差は、アレイカメラによって捕捉された奥行の統計的変動に現れることができる。立体アレイカメラ中の１つのアレイによって計算された奥行を第２のアレイによって計算された奥行および／または一方のアレイからの画像を第２のアレイからの画像とともに用いて計算された奥行と相互関連させることによって、立体アレイ中の２つのアレイカメラ間の最も可能性の高いベースラインを推定することができる。

計算されたベースラインを用いて、立体アレイカメラは、例えば、前述でさらに概説したように、アレイ中の両方のカメラに対して可視である任意の物体の奥行をより高い精度で計算する（または再計算する）ことができる。

（近視野および遠視野の立体画像）
レガシーカメラを用いると、物体は、典型的には、それが両方の（左右の）カメラの視野内にある場合のみ、立体では捕捉されない。しかしながら、物体が立体カメラに近づくにつれて、結局、一方のカメラの視野の中に留まりながら、他方のカメラの視野の外に出る。この時点で、一方のカメラのみ、物体を「見る」ことができるため、立体効果は、失われる。

本発明の実施形態による立体アレイカメラは、近視野と遠視野との両方の立体画像を生成することができる。物体が、立体構成中の一方のアレイカメラの視野内に留まりながら他方のアレイカメラの視野に近づき、外に出るにつれて、それでも立体で捕捉されるであろう。続いて、物体を「見る」第２のアレイ中のカメラを用いて、１つまたはそれを上回る仮想視点（例えば、左目および右目の視界）を合成することができる。奥行の解像度（すなわち、奥行測定の精度）が高くなるほど十分に物体が近いため、良好な立体的鋭敏さを期待することができる。本発明の実施形態による立体視野の仮想視点を生成するためのプロセスは、その開示が全体的に参照によりそれに組み込まれる、２０１３年３月１３日に出願された、Ｖｅｎｋａｔａａｍａｎらに対する「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｐａｒａｌｌａｘ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｃｏｒｒｅｃｔｉｏｎ ｉｎ Ｉｍａｇｅｓ Ｃａｐｔｕｒｅｄ Ｕｓｉｎｇ Ａｒｒａｙ Ｃａｍｅｒａｓ」という題名の米国仮特許出願第６１／７８０，９０６号に開示されている。

カメラによって捕捉された２つの画像間で経過した時間を場所とともに利用して、速度測定を提供することができる。本発明の実施形態によるアレイカメラを用いる速度測定を以下に検討する。

（アレイカメラを用いる速度測定）
デジタルカメラの視野にわたる物体の運動は、概して、画素サイズおよび背面焦点距離が既知であれば、１つの画素および１つの画素の対応する角度尺度の許容範囲内で、角度測定値（または経過時間情報を持つ角度速度）に変換することができる。カメラからの任意の所与の距離ｄにおいて、１つの画素の角度尺度は直線尺度に一意に対応する。したがって、デジタルカメラで捕捉された二次元画像中の物体の開始場所および終了場所ならびにカメラからの物体の開始距離および終了距離が与えられれば、三次元空間における物体の相対的な開始場所および終了場所を決定することができる。画像間で経過した時間が提供されれば、物体の速さ（または速度）も計算することができる。１つの開始場所および１つの終了場所を与えられれば、これは、直線速度として表すことができる。時間経過に渡る複数の場所が与えられれば、連続する場所の各対間の距離（すなわち、セグメント）を決定することができ、セグメントの距離を組み合わせて合計距離を与えることができる。加えて、合計平均速度は、全体距離を経過時間で除算することによって、または合計経過時間にわたる各セグメント中での速度（距離をそのセグメント中での経過時間で除算したもの）を平均化することによって、知ることができる。

従来のデジタルカメラは、典型的には、奥行／距離測定の機能がなく、二次元画像を捕捉し、したがって、運動の角度測定に限られる。前述でさらに検討したように、アレイカメラを用いれば、アレイ中の異なるカメラによって捕捉された複数の画像間の視差を観察することによって、視差を決定することができる。前述で参照により組み込まれた、米国特許出願第６１／６９１，６６６号におけるように、画素視差に対する距離を決定するための公式および技法も、カメラからの所与の距離で１つの画素の幅が対応する直線尺度を決定するために用いることができる。加えて、単に、開始フレームと終了フレームとの間のフレームの数をカウントし、カメラのビデオ捕捉のフレームレートを観察することによって、それら間で経過した時間を計算することができる。

本発明の多くの実施形態では、物体の奥行情報は、物体の位置の角度尺度と組み合わされて、物体の三次元場所を提供する。本発明の様々な実施形態では、奥行は、前述でさらに検討したように、立体構成中の１つのアレイカメラまたは２つのアレイカメラを用い計算することができる。２つまたはそれを上回る画像中の物体の三次元場所を用いて、物体の速度および方向を計算することができる。本発明の実施形態によりアレイカメラを用いて速度を測定するためのプロセスが、図６に図示される。プロセスは、アレイカメラ中のアクティブなカメラの画像捕捉設定を決定するステップ（４１０）を含む。画像捕捉設定は、（例えば、場面から独立した幾何学的なシフトを適宜組み込むことによって）レンズの非直線性または不整合の較正を含むことができる。例えば、レンズスタックの物理的特徴により、カメラの中心線により近い画素は、中心線からより遠い画素とは、画素が捕捉する場面の面積が異なり得る。

第１の画像データ集合は、アレイカメラ中のアクティブなカメラを用いて捕捉される（４２０）。典型的には、各カメラは、カメラの視点からの画像を形成するために用いることが可能な画像データを収集する。アレイカメラでは、多くの場合、１つのカメラが基準カメラに指定され、そのカメラによって捕捉された画像データは、基準視点から捕捉されたものと呼ばれる。本発明の多くの実施形態では、奥行測定は、アレイ内の少なくとも１つの他のカメラ（代替のビューカメラ）を用いて、基準カメラの視点に対して行われる。

対象とする物体は、第１の画像データ集合の中から識別される（４３０）。識別は、限定されないが、ユーザ入力（例えば、画面上での選択）、運動起動、形状認識、および対象とする区域を含む、様々な技法に基づき得る。識別は、第１のアレイ中のカメラからの第１の画像データ集合から生成された画像の中で実行することができる。例えば、対象とする物体は、第１の画像データ集合から生成されたプレビュー画像中で、または、第１のアレイ中の基準カメラに対応する基準視点からの基準画像中で示すことができる。識別は、物体と関連付けられた画像内の画素または画素の集合の選択を含むことがある。

第１の画像データ集合を用いて、物体の第１の奥行尺度および第１の場所が決定される（４４０）。物体の奥行を決定するための技法は、前述でさらに参照により組み込まれ、かつ検討された米国特許出願第６１／６９１，６６６号に開示されているものを含み得る。奥行は、前述でさらに検討したように、立体構成中の１つのアレイカメラまたは２つのアレイカメラを用いて計算することができる。画像（例えば、基準画像）中の物体の二次元場所を用いて、カメラに対する物体の場所の角度尺度を決定することができる。角度尺度を奥行尺度と組み合わせることは、カメラに対する物体の三次元場所を与える。様々な座標系のうちの任意のものを本発明の実施形態により利用して、物体の計算された場所を表すことができる。本発明のいくつかの実施形態では、カメラの中心線は、原点として扱われる。

第１の画像データ集合の捕捉後のある時点ｔで、第２の画像データ集合が、アレイ中のカメラを用いて捕捉される（４５０）。本発明の多くの実施形態では、第１の画像データ集合を捕捉するために利用されたのと同一のカメラ集合を用いて、第２の画像データ集合を捕捉するために用いられる。他の実施形態では、カメラの異なる組み合わせを持つ第２の集合が、第２の画像データ集合を捕捉するために用いられる。

対象とする物体は、第２の画像データ集合の中から識別される（４６０）。識別は、第１の画像データ集合の中から物体を識別することに関連して前述で検討したものを含み得る、様々な技法および技術上既知の他の追跡技法に基づき得る。

第２の画像データ集合を用いて、物体の第２の奥行尺度および第２の場所が決定される（４７０）。奥行は、立体構成中の１つのアレイカメラまたは２つのアレイカメラを用いて前述で検討した技法を用いて計算することができる。場所は、前述でさらに検討した技法を用いて計算することができ、第１のカメラに対する第２のカメラの場所に関する既知の情報を組み込む（例えば、パララックス効果を除去する）ことができる。

異なるシナリオでは、速度測定目的で画像データ集合を捕捉するために用いられたアレイカメラは、静止している（例えば、三脚搭載）または運動中（例えば、手持ちされている、または場面上でパンされている）であり得る。それはまた、より大きいベースラインおよびより正確な奥行の利点を得るために少し異なる視点からの複数の画像捕捉物を用いるアレイカメラを含むことができる。本発明のいくつかの実施形態では、アレイカメラは、静止していて、カメラ運動を補償する必要はないと仮定される。本発明の他の実施形態では、アレイカメラは、３つの直交軸に沿った運動およびそれを中心とした回転を含む、カメラの最大で６度の運動までのカメラ運動情報を収集する（４８０）センサを含む。これらのセンサは、限定ではないが、慣性センサおよびＭＥＭＳジャイロスコープを含むことができる。収集されたカメラ運動情報は、対象とする物体の速度および／または方向を計算するときに運動補償を組み込むために用いることができる（すなわち、基準のフレームとしてカメラを使用する）。運動補償は、安定化（例えば手の移動による、カメラの少しの移動に起因するジッタが存在するとき）または物体を追跡する（移動する物体をカメラの視野内に保つためにカメラをパンする）等の機能にとっては適切であり得る。本発明のさらなる実施形態では、アレイカメラは、それが静止している（運動補償はなし）という仮定と、それが移動しているまたは移動可能である（運動補償を適用する）という仮定との間で切り替わるように構成される。

対象とする物体の速度は、物体の第１の場所および第２の場所を用いて計算される（４９０）。方向もまた、場所情報ならびに物体の速度および方向を表すベクトルから計算することができる。

レンズ較正および／または画素解像度（画素がカメラからの距離に基づいて表す幅）等の要因に基づく信頼基準を与えることができる。信頼基準はまた、前述で参照により組み込まれた米国特許出願第６１／６９１，６６６号に開示されている特定の画素に対する奥行測定値の信頼性を示す信頼マップからの情報を組み込むことがある。

加えて、本発明の実施形態により速度を計算することは、図４に関連して前述でさらに検討したような２つまたはそれを上回るアレイカメラまたは同一のアレイカメラによる２つの個別の画像捕捉物を用いて、精緻化された奥行測定値を計算することを含み得る。同一のアレイカメラによる同一場面の２つの異なる画像捕捉物を用いる技法もまた、レガシーカメラに拡張することができ、その場合、レガシーカメラは、異なる視点から２つの画像を捕捉し、奥行および他の測定値は、画像の相互相関によって取得することができる。本発明のさらなる実施形態では、超解像度プロセスを利用して、より高い精度で、基準視点に対する角度位置の測定を実施することができる。超解像度プロセスは、より高い解像度の画像を合成し、合成されたより高い解像度の画像は、より高い精度で、画像内の原点に対する物体の場所の測定を可能とする。したがって、超解像度プロセスを用いて、ある時間系列のより高い構造度の画像を合成することは、基準カメラによって捕捉されたより低い解像度の画像データを用いて取得される測定よりも高い精度の速度測定を容易化することができる。速度を計算するための特定的なプロセスを、図６を参照して前述で検討したが、速度を計算するための様々なプロセスのうちの任意のものを、本発明の実施形態により利用することができる。

本発明をある特定的な側面で説明したが、多くのさらなる修正例および変更例が当業者には明らかであろう。したがって、本発明は、本発明の範囲および精神から逸脱することなく、実装例での様々な変更例を含み、特定的に説明されたのとは異なるように実用化され得ることが理解されるべきである。したがって、本発明の実施形態は、全ての点において、例示的であり、限定的であると考えられるべきではない。

Claims (31)

1. ２つまたはそれを上回るアレイカメラを用いて、場面中の物体の奥行情報を生成する方法であって、前記２つまたはそれを上回るアレイカメラは、それぞれが、複数の撮像装置を含み、各撮像装置が、ある場面の画像を捕捉し、前記方法は、
   第１の異なる視点の集合から捕捉された場面の画像データを含む第１の画像データ集合を取得するステップと、
   前記第１の画像データ集合の中から対象とする物体を識別するステップと、
   前記対象とする物体の第１の奥行測定値を、前記第１の画像データ集合のうちの少なくとも一部分を用いて決定するステップと、
   前記対象とする物体の前記第１の奥行測定値が、所定の閾値を超えるかどうかを決定するステップと、
   前記対象とする物体の前記奥行が、前記所定の閾値を超えるときに、
   前記第１の異なる視点の集合中の少なくとも１つの視点から既知の距離に位置付けられた第２の異なる視点の集合からの前記同一の場面の画像データを含む第２の画像データ集合を取得するステップと、
   前記第２の画像データ集合の中から前記対象とする物体を識別するステップと、
   前記第１の画像データ集合の少なくとも一部分および前記第２の画像データ集合の少なくとも一部分を用いて、前記対象とする物体の第２の奥行測定値を決定するステップと、
   を含む、方法。
2. 第１の異なる視点の集合から捕捉された場面の画像データを含む第１の画像データ集合を取得するステップは、第１のアレイ中の第１の複数の撮像装置を用いて第１の画像データ集合を捕捉するステップを含む、請求項１に記載の方法。
3. 前記第１のアレイ中のアクティブな撮像装置の画像捕捉設定を決定するステップをさらに含む、請求項２に記載の方法。
4. 前記第１のアレイ中のアクティブな撮像装置の画像捕捉設定を決定するステップは、複数の前記第１の複数の撮像装置のレンズにおける非直線性を較正するステップを含む、請求項３に記載の方法。
5. 前記撮像装置のうちの１つは、基準カメラとして指定されて、基準視点から画像データを捕捉する、請求項２に記載の方法。
6. 前記第１の画像データ集合の中から対象とする物体を識別するステップは、プレビュー画像を生成するステップと、前記プレビュー画像を、画面を介して提示するステップと、ユーザ入力を捕捉するステップとを含む、請求項２に記載の方法。
7. 前記第１の画像データ集合の中から対象とする物体を識別するステップは、前記場面の領域中の運動を検出するステップを含む、請求項２に記載の方法。
8. 前記第１の画像データ集合の中から対象とする物体を識別するステップは、指定された対象とする区域中の物体を検出するステップを含む、請求項２に記載の方法。
9. 前記第１の画像データ集合の中から対象とする物体を識別するステップは、１つまたはそれを上回る画素を選択して、前記１つまたはそれを上回る画素を前記物体と関連付けるステップを含む、請求項２に記載の方法。
10. 前記第１の異なる視点の集合中の少なくとも１つの視点から既知の距離に位置付けられた第２の異なる視点の集合からの同一の場面の画像データを含む第２の画像データ集合を取得するステップは、第２のアレイ中の第２の複数の撮像装置を用いて第２の画像データ集合を捕捉するステップを含む、請求項２に記載の方法。
11. 前記第２のアレイは、前記第１のアレイが前記第１の画像データ集合を捕捉した場所とは異なる場所に配置された前記第１のアレイである、請求項１０に記載の方法。
12. 前記第１の画像データ集合および前記第２の画像データ集合からの対応する画素の１つまたはそれを上回る集合を相互相関させることによって、前記２つのアレイ間の前記ベースライン距離を推定するステップをさらに含む、請求項１１に記載の方法。
13. 前記対象とする物体の第１の奥行測定値を、前記第１の画像データ集合のうちの少なくとも一部分を用いて決定するステップは、前記第１の画像データ集合中の１つの画像中の画素の場所と前記第１の画像データ集合中の第２の画像中の対応する画素との間の視差を決定するステップを含む、請求項１に記載の方法。
14. 前記対象とする物体の前記奥行の信頼基準を計算するステップをさらに含む、請求項１に記載の方法。
15. 前記対象とする物体が前記第２の画像データ集合中で可視であるかどうかを決定するステップと、前記対象とする物体が前記第２の画像データ集合中で可視であるときに、前記第２の画像データ集合の中から前記対象とする物体を識別するステップとをさらに含む、請求項１に記載の方法。
16. 前記第１の画像データ集合の少なくとも一部分および前記第２の画像データ集合の少なくとも一部分を用いて、前記対象とする物体の第２の奥行測定値を決定するステップは、前記第１の画像データ集合中の少なくとも１つの画像中の前記対象とする物体と関連付けられた第１の画素と前記第２の画像データ集合中の少なくとも１つの画素中の対応する第２の画素との間の視差を決定するステップを含む、請求項１に記載の方法。
17. 前記第１の画像データ集合の少なくとも一部分および前記第２の画像データ集合の少なくとも一部分を用いて、前記対象とする物体の第２の奥行測定値を決定するステップは、前記第１の画像データ集合中の１つの画像中の画素の場所と前記第２の画像データ集合中の第２の画像中の対応する画素との間の視差を計算するステップを含む、請求項１に記載の方法。
18. 前記第１の画像データ集合の少なくとも一部分および前記第２の画像データ集合の少なくとも一部分を用いて、前記対象とする物体の第２の奥行測定値を決定するステップは、前記対象とする物体の前記第１の奥行測定値を利用するステップを含む、請求項１に記載の方法。
19. １つまたはそれを上回るアレイカメラを用いて、場面中の物体の速度を計算する方法であって、前記１つまたはそれを上回るアレイカメラは、それぞれが複数の撮像装置を含み、各撮像装置がある場面の画像を捕捉し、前記方法は、
    第１の異なる視点の集合から捕捉された場面の画像データを含む第１の画像データ集合を取得するステップと、
    前記第１の画像データ集合の中から対象とする物体を識別するステップと、
    前記対象とする物体の第１の奥行測定値および第１の角度測定値を、前記第１の画像データ集合のうちの少なくとも一部分を用いて決定するステップと、
    前記対象とする物体の第１の場所を、少なくとも前記第１の奥行測定値および第１の角度測定値を用いて決定するステップと、
    前記第１の画像データ集合が捕捉されてから時間ｔ後に第２の異なる視点の集合から捕捉された場面の第２の画像データを含む第２の画像データ集合を取得するステップと、
    前記第２の画像データ集合の中から前記対象とする物体を識別するステップと、
    前記対象とする物体の第２の奥行測定値および第２の角度測定値を、前記第２の画像データ集合のうちの少なくとも一部分を用いて決定するステップと、
    前記対象とする物体の第２の場所を、少なくとも前記第２の奥行測定値および第２の角度測定値を用いて決定するステップと、
    前記対象とする物体の速度を、前記対象とする物体の少なくとも前記第１の場所および前記第２の場所を用いて計算するステップと、
    を含む、方法。
20. 第１の異なる視点の集合から捕捉されたある場面の画像データを含む第１の画像データ集合を取得するステップは、第１のアレイ中の第１の複数の撮像装置を用いて第１の画像データ集合を捕捉するステップを含み、
    前記第１の画像データ集合が捕捉されてから時間ｔ後に第２の異なる視点の集合から捕捉された場面の第２の画像データを含む第２の画像データ集合を取得するステップは、前記第１の画像データ集合が捕捉されてから時間ｔ後に第２の複数の撮像装置を用いて第２の画像データ集合を捕捉するステップを含む、請求項１９に記載の方法。
21. 前記第２の複数の撮像装置は、前記第１の複数の撮像装置と同一であり、前記第２の異なる視点の集合は、前記第１の異なる視点の集合と同一である、請求項２０に記載の方法。
22. 前記第２の複数の撮像装置は、前記第１のアレイとは異なる第２のアレイから選択される、請求項２０に記載の方法。
23. 前記第１のアレイ中のアクティブな撮像装置の画像捕捉設定を決定するステップをさらに含む、請求項２０に記載の方法。
24. 前記第１の画像データ集合の中から対象とする物体を識別するステップは、プレビュー画像を生成するステップと、前記プレビュー画像を、画面を介して提示するステップと、ユーザ入力を捕捉するステップとを含む、請求項２０に記載の方法。
25. 前記第１の画像データ集合の中から対象とする物体を識別するステップは、前記場面の領域中の運動を検出するステップを含む、請求項２０に記載の方法。
26. 前記第１の画像データ集合の中から対象とする物体を識別するステップは、指定された対象とする区域中の物体を検出するステップを含む、請求項２０に記載の方法。
27. 前記第１の画像データ集合中の対象とする物体を識別するステップは、１つまたはそれを上回る画素を選択して、前記１つまたはそれを上回る画素を前記物体と関連付けるステップを含む、請求項２０に記載の方法。
28. 第１のアレイ中の第１の複数の撮像装置を用いて第１の画像データ集合を捕捉するステップは、第１の場所で第１の画像データ集合を捕捉するステップを含み、
    前記第１の画像データ集合が捕捉されてから時間ｔ後に第２の複数の撮像装置を用いて第２の画像データ集合を捕捉するステップは、前記第１の画像データ集合が捕捉されてから時間ｔ後に第２の場所の第２の画像データ集合を捕捉するステップを含み、
    前記対象とする物体の第２の場所を、少なくとも前記第２の奥行測定値および第２の角度測定値を用いて決定するステップは、前記第１の場所から前記第２の場所への変化を決定するステップを含む、請求項２０に記載の方法。
29. 第１のアレイ中の第１の複数の撮像装置を用いて第１の画像データ集合を捕捉するステップは、前記第１のアレイの第１の方位を決定するステップを含み、
    前記第１の画像データ集合が捕捉されてから時間ｔ後に第２の複数の撮像装置を用いて第２の画像データ集合を捕捉するステップは、前記第１の画像データ集合が捕捉されてから時間ｔ後に前記第１のアレイの第２の方位を決定するステップを含み、
    前記対象とする物体の第２の場所を、少なくとも前記第２の奥行測定値および第２の角度測定値を用いて決定するステップは、前記第１の方位から前記第２の方位への変化を決定するステップを含む、請求項２０に記載の方法。
30. 前記対象とする物体の前記速度の信頼基準を計算するステップをさらに含む、請求項１９に記載の方法。
31. 前記第２の画像データ集合の少なくとも一部分を用いて、前記対象とする物体の第２の奥行測定値および第２の角度測定値を決定するステップは、前記第１の画像データ集合の少なくとも一部分および前記第２の画像データ集合の少なくとも一部分を用いて、前記対象とする物体の第２の奥行測定値を決定するステップを含む、請求項１９に記載の方法。
    
    

Images