JP2021503133A - カメラおよび回折光学要素の外因性較正のためのシステムおよび方法 - Google Patents

Abstract

複数のカメラが、カメラリグに結合される。複数の回折光学要素（ＤＯＥ）が、ＤＯＥプロップに結合される。各カメラは、ＤＯＥのアイボックス内に位置付けられ、カメラが、ＤＯＥに対して第１の位置、第２の位置、および第３の位置に位置付けられているとき、画像を撮影する。３つの画像が、第１の位置、第２の位置、および第３の位置の各１つにおいて、各カメラによって撮影される。画像は、カメラリグに結合されたプロセッサに伝送される。各画像に関して、プロセッサは、データ対を識別し、各データ対は、画像における強度ピークのピクセル座標と、強度ピークに対応する回折光学要素によって生成された仮想光源とを含み、各画像に関して識別されたデータ対を使用して、カメラの外因性パラメータを決定する。

Description

（関連出願の相互参照）
本願は、その開示が、あらゆる目的のために、参照することによってその全体として本明細書に組み込まれる２０１７年１１月１５日に出願され、「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＥＸＴＲＩＮＳＩＣ ＣＡＬＩＢＲＡＴＩＯＮ ＯＦ ＣＡＭＥＲＡＳ ＡＮＤ ＤＩＦＦＲＡＣＴＩＶＥ ＯＰＴＩＣＡＬ ＥＬＥＭＥＮＴＳ」と題された米国仮特許出願第６２／５８６，６９１号、および２０１７年１１月１７日に出願され、「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＥＸＴＲＩＮＳＩＣ ＣＡＬＩＢＲＡＴＩＯＮ ＯＦ ＣＡＭＥＲＡＳ ＡＮＤ ＤＩＦＦＲＡＣＴＩＶＥ ＯＰＴＩＣＡＬ ＥＬＥＭＥＮＴＳ」と題された米国仮特許出願第６２／５８８，２３９号の優先権を主張する。

現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に生成された画像またはその一部が、それらが、現実であるように見える様式またはそのように知覚され得る様式において、ウェアラブルデバイスユーザに提示される。仮想現実または「ＶＲ」シナリオは、典型的に、他の実際の実世界視覚的入力への透明度を伴わずに、デジタルまたは仮想画像情報の提示を伴い、拡張現実または「ＡＲ」シナリオは、典型的に、ユーザの周囲の実際の世界の可視化への拡張として、デジタルまたは仮想画像情報の提示を伴う。

ＡＲおよびＶＲシステムにおいて行われた進歩にもかかわらず、当技術分野において、ＡＲおよびＶＲシステムのコンテキストにおいて、カメラ較正に関連する改良された方法およびシステムの必要がある。

本発明の実施形態は、概して、カメラの内因性較正と同時、またはそれと並行、またはその後の複数のカメラの外因性較正に関する。複数の回折光学要素（ＤＯＥ）が、カメラの外因性および／または内因性較正のために使用され得る。いくつかの実施形態では、ＤＯＥの外因性パラメータも、カメラの外因性パラメータとともに決定され得る。

種々の実施形態は、複数のカメラの外因性パラメータを決定するためのシステムを提供する。システムは、複数の回折光学要素と、複数のカメラと、複数のカメラに結合され、画像データを複数のカメラから受信するプロセッサとを含む。複数のカメラは、少なくとも１つの支持ビームを含む第１の支持システムに結合され得る。複数の回折光学要素は、少なくとも１つの支持ビームを含む支持システムに結合され得る。複数のカメラの各１つは、複数のカメラが、複数の回折光学要素に対して、第１の位置、第２の位置、および第３の位置に位置付けられているとき、複数の回折光学要素の各１つのアイボックス内に位置付けられる。複数のカメラの各１つは、第１の位置、第２の位置、および第３の位置の各１つに位置付けられているとき、１つの画像を撮影する。複数の画像は、各カメラによって撮影される少なくとも３つの画像を含み、各画像は、第１の位置、第２の位置、および第３の位置のうちの１つに対応する。プロセッサは、プロセッサによって実行されると、プロセッサに、複数の画像を複数のカメラから受信させ、各画像に関して、データ対を識別させ、各データ対は、画像における強度ピークのピクセル座標と、強度ピークに対応する回折光学要素によって生成された仮想光源とを含み、各画像に関して識別されたデータ対を使用して、複数のカメラの外因性パラメータを決定させる実行可能命令を記憶する。プロセッサは、プロセッサによって実行されると、プロセッサに、第１の位置、第２の位置、および第３の位置の各１つにおいて各画像に関して識別されたデータ対を使用して、複数の回折光学要素の外因性パラメータをさらに決定させる実行可能命令を記憶し得る。

いくつかの実施形態では、プロセッサは、プロセッサによって実行されると、プロセッサに、複数のカメラの外因性パラメータの決定と同時に、またはそれと並行して複数のカメラの内因性パラメータをさらに決定させる実行可能命令を記憶し得る。内因性パラメータは、カメラの焦点距離、主点、および歪み係数のうちの１つ以上のものを含む。

いくつかの実施形態は、複数のカメラの外因性パラメータを決定する方法を提供する。複数の回折光学要素が、提供される。複数のカメラは、複数のカメラが、複数の回折光学要素に対して第１の位置、第２の位置、および第３の位置に位置付けられているとき、複数の回折光学要素の各１つのアイボックス内に位置付けられる。複数の画像は、複数のカメラから受信される。複数のカメラの各１つは、第１の位置、第２の位置、および第３の位置の各１つに位置付けられているとき、１つの画像を撮影する。複数の画像が、各カメラによって撮影される少なくとも３つの画像を含み、各画像は、第１の位置、第２の位置、および第３の位置のうちの１つに対応する。各画像に関して、データ対が、識別される。各データ対は、画像における強度ピークのピクセル座標と、強度ピークに対応する回折光学要素によって生成された仮想光源とを含む。複数のカメラの外因性パラメータは、各画像に関して識別されたデータ対を使用して決定される。方法は、第１の位置、第２の位置、および第３の位置の各１つにおいて各画像に関して識別されたデータ対を使用して、複数の回折光学要素の外因性パラメータを決定することも含み得る。

いくつかの実施形態では、方法は、複数のカメラの外因性パラメータの決定と同時に、またはそれと並行して複数のカメラの内因性パラメータを決定することも含み得る。内因性パラメータは、カメラの焦点距離、主点、および歪み係数のうちの１つ以上のものを含む。

種々の実施形態は、複数の回折光学要素を使用して、複数のカメラの外因性パラメータを決定する方法を提供する。複数の回折光学要素が、提供される。複数のカメラは、複数の回折光学要素の各１つのアイボックス内に位置付けられる。複数の画像が、単一画像が複数の回折光学要素のうちの１つに対するカメラの所与の位置において、複数のカメラの各１つから受信されるように、複数のカメラから受信される。各画像に関して、データ対が、識別される。各データ対は、画像における強度ピークのピクセル座標と、強度ピークに対応する回折光学要素によって生成された仮想光源とを含む。複数のカメラの外因性パラメータが、識別されたデータ対および複数の回折光学要素の所定の変換行列を使用して決定される。いくつかの実施形態では、方法は、データ対のうちの少なくとも一部の和を含むコスト関数を決定することと、コスト関数を最適化し、複数のカメラのうちの各１つのための第１の変換行列を決定することとを含み得る。第１の変換行列は、所与のカメラの座標系を対応する回折光学要素の座標系に写像する。外因性パラメータは、第１の変換行列を使用して決定される。

種々の実施形態は、複数の回折光学要素を使用して複数のカメラの外因性パラメータを決定するためのシステムを提供する。システムは、複数の回折光学要素と、複数のカメラと、複数のカメラに結合され、画像データを複数のカメラから受信するプロセッサとを含む。複数のカメラは、少なくとも１つの支持ビームを含む第１の支持システムに結合され得る。複数の回折光学要素は、少なくとも１つの支持ビームを含む支持システムに結合され得る。複数のカメラの各１つは、複数の回折光学要素の各１つのアイボックス内に位置付けられる。プロセッサは、プロセッサによって実行されると、プロセッサに、単一画像が、複数の回折光学要素のうちの１つに対するカメラの所与の位置における複数のカメラの各１つから受信されるように、複数の画像を複数のカメラから受信させ、各画像に関して、データ対を識別させる実行可能命令を記憶する。各データ対は、画像における強度ピークのピクセル座標と、強度ピークに対応する回折光学要素によって生成された仮想光源とを含む。実行可能命令は、プロセッサによって実行されると、さらにプロセッサに、識別されたデータ対および複数の回折光学要素の所定の変換行列を使用して、複数のカメラの外因性パラメータを決定させる。いくつかの実施形態では、実行可能命令は、プロセッサによって実行されると、プロセッサに、データ対のうちの少なくとも一部の和を含むコスト関数を決定させ、コスト関数を最適化し、複数のカメラのうちの各１つのための第１の変換行列をさらに決定させる。第１の変換行列は、所与のカメラの座標系を対応する回折光学要素の座標系に写像する。外因性パラメータは、第１の変換行列を使用して決定される。

追加の特徴、利点、および実施形態は、下記の詳細な説明、図、および請求項に説明される。

図１は、本発明の例示的実施形態によるカメラ座標系および世界座標系を図示する。

図２は、本発明のいくつかの実施形態によるカメラの内因性較正のための例示的システムを図示する。

図３は、本発明のいくつかの実施形態によるカメラによって捕捉されるような仮想光源の例示的結像されたパターンを図示する。

図４は、本発明のいくつかの実施形態による回折光学要素（ＤＯＥ）プロップを図示する簡略化された概略図である。

図５は、本発明のいくつかの実施形態によるカメラリグを図示する簡略化された概略図である。

図６は、本発明のいくつかの実施形態による複数のカメラの外因性較正のためのシステムを図示する簡略化された概略図である。

図７Ａ−７Ｃは、本発明のいくつかの実施形態によるカメラリグおよびＤＯＥプロップの３つの異なる相対的位置を図示する。

図８は、本発明のいくつかの実施形態による複数のカメラの外因性パラメータを決定する方法を図示する簡略化されたフローチャートである。

図９は、本発明のいくつかの実施形態による複数のカメラの外因性パラメータを決定するための別の方法を図示する簡略化されたフローチャートである。

本発明の実施形態は、マルチカメラ較正のための画像ディスプレイシステムおよび方法を対象とする。より具体的には、本発明の実施形態は、回折光学要素（ＤＯＥ）を使用して複数のカメラの外因性パラメータを決定することを対象とする。ＤＯＥは、入力光源から、光のビームのパターンを生成する光学要素である。光の各ビームの方向は、所与のＤＯＥに関して既知である。いくつかの実施形態では、カメラの内因性パラメータも、カメラの外因性パラメータに先立って、それと同時に、またはそれと並行して決定され得る。さらに他の実施形態では、ＤＯＥの外因性パラメータも、カメラの外因性パラメータとともに決定され得る。

本発明の実施形態によると、ウェアラブルデバイスは、拡張および／または仮想現実眼鏡を含み得る。カメラは、眼鏡に結合され得る。実世界オブジェクトの実際の場所を拡張および／または仮想現実眼鏡上で視認するために、カメラは、較正される必要がある。カメラを較正することは、カメラの内因性および／または外因性パラメータを決定することを含み得る。内因性パラメータは、３−Ｄカメラの座標から２−Ｄ画像座標への射影変換を表す。内因性パラメータは、焦点距離（ｆ_ｘ，ｆ_ｙ）、主点、および歪み係数を含み得る。他方で、外因性パラメータは、第１の座標系から第２の座標系への変換を表す。種々の実施形態によると、カメラリグの外因性パラメータは、カメラリグにおける１つのカメラの座標系から別のカメラの座標系への座標変換を指し得る。種々の実施形態によると、ＤＯＥプロップの外因性パラメータは、ＤＯＥプロップにおける１つのＤＯＥの座標系から別のＤＯＥの座標系への座標変換を指し得る。いくつかの実施形態では、外因性パラメータは、世界基準からカメラ基準またはカメラ基準からＤＯＥ基準への変換を指し得る。外因性パラメータは、回転行列および平行移動ベクトルを含む。外因性パラメータは、世界座標におけるカメラ中心の位置およびカメラの向きを決定することに役立ち得る。

故に、カメラ較正は、カメラのレンズおよび画像センサのパラメータを推定し得る。決定されたパラメータは、３−Ｄ場面再構成において、レンズ歪みを補正すること、世界ユニットにおけるオブジェクトのサイズを測定すること、または場面内のカメラの場所を決定することを行うために使用され得る。

従来のシステムは、所与のカメラの内因性パラメータを決定することを可能にする。いくつかの従来の較正技法は、チェッカーボードアプローチを使用し、それは、各画像間でカメラに対して移動させられるチェッカーボードの複数の画像（例えば、１００＋画像）をカメラが捕捉することを要求する。入手された画像は、次いで、処理され、カメラの内因性パラメータを決定する。較正は、各画像上のチェッカーボードの一部（例えば、チェッカーボードの角）の場所を決定し、その点の座標をカメラの場所と互いに関係付けることによって遂行される。しかしながら、ロボットシステム、自動車、航空用乗り物、水中および水上艦艇、監視システム等のシステムに関して、複数のカメラが、使用され得る。複数のカメラが必要とされるシステムに関して、各カメラは、個々に内因性に較正されなければならず、それは、時間がかかり、かつ煩雑である。

図１は、本発明の例示的実施形態によるカメラ座標系および世界座標系を図示する。実世界オブジェクト１０８は、カメラ座標系１０２の中心に提供されるカメラ１００を使用して、結像されている。カメラ１００は、実世界オブジェクト１０８の３Ｄ点を像面１０４上の２Ｄ点に写像する。オブジェクト１０８の位置は、世界座標系１０６を使用して定義される。カメラ１００を使用して、オブジェクト１０８の画像が、像面１０４上に形成される。例えば、像面上の像点１１２は、オブジェクト１０８の点１１０に対応する。カメラ座標系１０２は、回転（回転行列によって表される）および平行移動（平行移動ベクトルによって表される）によって、世界座標系１０６に関連付けられ得る。

３Ｄ点のカメラ中心座標は、_ＣＡ＝（ｘ，ｙ，ｚ）として例証され得る。２Ｄピクセル座標は、_ｐＵ＝（ｕ，ｖ）を用いて例証され得る。３Ｄ点は、_ｐＵ＝ｆ（_ＣＡ，θ）として２Ｄピクセル座標に写像され得、式中、ｆ（）は、射影関数であり、θは、カメラの光学特性を説明する「内因性パラメータ」のベクトルである。例えば、θは、カメラの焦点距離および主点を保持し得る。例えば、θ＝（ｆ_ｘ，ｆ_ｙ，ｃ_ｘ，ｃ_ｙ）であり、ｆ_ｘおよびｆ_ｙは、カメラのｘ−およびｙ−焦点距離であり、（ｃ_ｘ，ｃ_ｙ）は、カメラの主点である。焦点距離および主点は、ピクセル単位で測定され得る。射影関数は、次いで、以下として表され得る。

いくつかの実施形態によると、レンズ歪みも、射影関数を使用してモデル化され得る。

カメラ１００を較正し、仮想現実（ＶＲ）／拡張現実（ＡＲ）表現における実世界オブジェクトおよび／またはモデルの正確な再構成を達成することが必要であり得る。カメラ較正は、カメラおよび／または結像システムに関連付けられたあるパラメータを決定することを含み得る。例えば、カメラ較正は、カメラの内因性パラメータ、カメラの外因性パラメータ、およびＤＯＥの外因性パラメータ（適用可能である場合）のうちの１つ以上のものを決定することを含み得る。

上で提供されるように、外因性パラメータは、世界座標系１０６からカメラ座標系１０２への変換を表し得る。外因性パラメータは、回転行列および平行移動ベクトルを含む。外因性パラメータは、世界座標系１０６におけるカメラ中心１００の位置およびカメラの向きを決定することに役立ち得る。

上で提供されるように、内因性パラメータは、カメラ座標系１０２から像面１０４上の２−Ｄ画像座標への射影変換を表し得る。内因性パラメータは、焦点距離（ｆ_ｘ，ｆ_ｙ）、主点、および歪み係数を含む。焦点距離は、カメラ座標系１０２の中心と像面１０４との間の距離を指す。主点１１４は、主軸（すなわち、カメラ座標系１０２のｚ−軸）が像面１０４と交差する場所である。歪み係数は、特定のカメラのレンズによって導入される歪みを補正するために使用される特定のカメラに関連付けられた係数であり得る。従来のシステムは、内因性カメラ較正のために、所定の較正グリッド（例えば、チェッカーボードオブジェクト等の既知の３Ｄ較正標的オブジェクト）を使用する。異なる向きを伴ういくつかの観察が、単一カメラのパラメータを推定するために必要とされる。

ＤＯＥは、レーザと格子とを含み得る。レーザがオンにされると、レーザは、仮想光の組（「仮想光源」と称される）を既知の位置に作成し得る。ＤＯＥによって作成された仮想光源は、「ＤＯＥのアイボックス」と呼ばれる空間の領域内に位置する（および適切に向けられた）観察者によって見られ得る。

カメラによって生成されるデジタル画像において、各仮想光源は、グレーレベルの極大として識別可能であり得る。画像が、自動的に処理され、極大のリストを算出し得る。表記_ｐＵ’_１、・・・、_ｐＵ’_Ｎは、画像における仮想光源の射影の画像のリストを例証するために使用され得る。各_ｐＵ’_ｉは、画像内の点のｘ−座標およびｙ−座標から成る２次元ベクトルである。２次元ベクトルは、強度ピークと称され得る。

仮想光源_ＤＡの３Ｄ位置は、４つの同次座標_ＤＡ＝（ｘ，ｙ，ｚ，ｔ）のベクトルによって表され得る。故に、有限距離における仮想光源は、ベクトル_ＤＡ＝（ｘ，ｙ，ｚ，１）によって一意に表され得る一方、無限遠における仮想光源は、ベクトル_ＤＡ＝（ｘ，ｙ，ｚ，０）によって一意に表され得る。ベクトル_ＤＡに関する座標は、「ディスプレイ座標系」において書き込まれる。ＤＯＥを作成するとき、仮想光源の位置は、例えば、特定の実装に従って選択され得る。したがって、例示的ＤＯＥは、ＤＯＥに付属させられた基準座標系における既知の座標を用いて、Ｎ個の仮想光源_ＤＡ_１、・・・、_ＤＡ_Ｎの組を作成する。特に、「ゼロ次光源」と称される１つの仮想光源は、格子を通したレーザの直接透過に対応する。ゼロ次仮想光源は、他の光源より明るい。

ＤＯＥは、典型的に、微視的格子をシリコン結晶等の固体表面上にエッチングすることによって作成される。ＤＯＥを製造するとき、巨視的可視パターンが、例えば、ＤＯＥ座標系のＸ−軸を視覚的に識別する目的のために、エッチングされ得る。いくつかのＤＯＥについて、Ｘ−軸とＹ−軸とは、入れ替えられ得る。そのようなＤＯＥは、「対称ＤＯＥ」と称され得、それらは、ＤＯＥ座標Ｄ（０，０，０）の原点を含み、それぞれの法線Ｄ（１，０，０）と、Ｄ（０，１，０）とを有する２つの平面に対して対称であるように設計される。その結果、対称ＤＯＥの仮想光源の組は、Ｚ−軸の周囲において９０、１８０、および２７０度の回転による不変量である。

仮想光源が、ＤＯＥ座標系における座標_ＤＡを有する場合、カメラ座標系における座標ｃＴ_Ｄ・_ＤＡを有し、ｃＴ_Ｄは、座標をＤＯＥ座標系からカメラ座標系に変換する、４×４行列である。変換は、４×４剛体変換ｃＴ_Ｄを３×３回転行列_ｃＲ_Ｔと３×ｌ平行移動ベクトル_ｃｔ_Ｄとに分解することによって遂行され得る。回転_ｃＲ_Ｔは、一般に、カメラに対するＤＯＥの向きと呼ばれる。

カメラは、ＤＯＥのアイボックスに全体的に含まれたその入射瞳を有し、カメラがＤＯＥの仮想光源の画像を形成するように向けられるように設置され得る。ＤＯＥの向きも、ほぼ既知であり得る。例えば、カメラとＤＯＥとは、ＤＯＥ座標系のＸ−軸と実質的に平行なカメラ座標系のＸ−軸を有するように設置され得る。

_ＤＡ_１が、ゼロ次仮想光源である場合、最も明るい強度ピーク_ｐＵ’_ｉが、画像の強度ピーク_ｐＵ’_１、・・・、_ｐＵ’_Ｎから識別され得る。最も明るい強度ピークは、_ｐＵ_１：＝_ｐＵ’_ｉを割り当てられ得る。このゼロ次強度ピークから、全ての仮想光源_ＤＡ_ｉに対応する各強度ピーク_ｐＵ’_ｉが、識別され得る。

図２は、カメラの内因性較正のための例示的システムを図示する。ＤＯＥ２０４が、光源２０６（例えば、コリメートされた光源）とカメラ２０２との間に提供される。種々の実施形態によると、光源２０６は、レーザを含み得る。ＤＯＥ２０４は、コリメートされたレーザビーム２１２等の入力光源から仮想光源のパターンを作成するために使用され、仮想光源のパターンは、次いで、カメラ２０２によって、画像として捕捉される。カメラ２０２は、捕捉された画像２１０（または画像は、カメラ２０２から読み出され得る）を画像処理サーバコンピュータ２０８に伝送し得る。

図３は、カメラ２０２によって捕捉されるような仮想光源の例示的結像されたパターン３００を図示する。受信時、画像処理サーバコンピュータ２０８は、結像されたパターン３００上の最も明るい強度ピーク３０２の座標を決定し得る。画像処理サーバコンピュータ２０８は、次いで、識別された最も明るい強度ピーク３０２に対応するＤＯＥ２０４によって生成された仮想光源を決定する。画像処理サーバコンピュータ２０８は、最初に識別された最も明るい強度ピーク３０２から所定の距離で移動することによって、結像されたパターン３００上の強度ピークと対応するＤＯＥ２０４によって生成された仮想光源との対を識別し続ける。同一プロセスは、入手された画像の各々に関して完了され、カメラの内因性パラメータを決定する。

本明細書に開示される本発明のシステムおよび方法の実施形態は、ＤＯＥを使用して、２つ以上のカメラの外因性パラメータ（および内因性パラメータ）を決定する。カメラの外因性および／または内因性パラメータに加え、いくつかの実施形態は、ＤＯＥの外因性パラメータも決定し、それによって、所定の外因性パラメータを伴うＤＯＥを使用する必要性を排除する。

実施形態は、互いに対して位置付けられたカメラリグ４００とＤＯＥプロップ５００とを対象とする。図４に図示されるように、いくつかの実施形態では、カメラリグ４００は、第１の支持システムに取り付けられた第１のカメラ４０２と、第２のカメラ４０４とを含む。いくつかの実施形態では、第１のカメラ４０２および第２のカメラ４０４は、支持システムに強固に取り付けられ得る。第１の支持システムは、支持ビーム４０６を含み得、カメラリグ４００は、支持ビーム４０６の反対端に取り付けられた第１のカメラ４０２と、第２のカメラ４０４とを含み得る。図５に図示されるように、ＤＯＥプロップ５００は、第２の支持システムに取り付けられた第１のＤＯＥ５０２と、第２のＤＯＥ５０４とを含む。第２の支持システムは、支持ビーム５０６を含み得、ＤＯＥプロップ５００は、支持ビーム５０６の反対端に取り付けられた第１のＤＯＥ５０２と、第２のＤＯＥ５０４とを含み得る。第１のＤＯＥ５０２および第２のＤＯＥ５０４の正面に提供されたそれぞれの第１のアイボックス５０８および第２のアイボックス５１０は、仮想（すなわち、非物理的）ボックスであり、仮想ボックスは、空間の体積を表し、レンズシステムまたは視覚的ディスプレイが、その中に有効に視認可能な画像を形成する。すなわち、第１のＤＯＥ５０２および第２のＤＯＥ５０４によって生成された光は、視認者（例えば、カメラ）がそれぞれのアイボックス（例えば、第１のアイボックス５０８および第２のアイボックス５１０）内に位置付けられたとき、視認可能である。プロップにおけるＤＯＥが、カメラリグにおける全てのカメラがＤＯＥのうちの１つのアイボックス内に設置されるように、設置されたとき、カメラリグは、ＤＯＥプロップに適合していると言われ得る。

当業者は、カメラの数およびＤＯＥの数が本願の図に示される例証的例に限定されないことを理解されるであろう。任意の数のカメラおよびＤＯＥが、本発明の実施形態に関連して使用され得る。多くのカメラと同数のＤＯＥとが、使用され、本発明の種々の実施形態に従って、同時に、または並行して較正され得る。

図６に図示されるように、カメラリグ４００は、第１のカメラ４０２が、第１のＤＯＥ５０２の第１のアイボックス５０８内に位置付けられ、第２のカメラ４０４が、第２のＤＯＥ５０４の第２のアイボックス５１０内に位置付けられるように、ＤＯＥプロップ５００の向かいに位置付けられる。図６は、２つのカメラを伴うカメラリグ４００および２つのＤＯＥを伴うＤＯＥプロップ５００を図示するが、しかしながら、本発明は、２つのカメラおよび２つのＤＯＥに限定されない。

ＤＯＥが、オンにされると、各ＤＯＥは、仮想光源のパターンを有限距離（ＤＯＥが、有限距離ＤＯＥであるとき）または無限遠（ＤＯＥが、無限距離ＤＯＥであるとき）に生成する。各カメラは、カメラがＤＯＥに対して所与の位置に位置付けられるとき、対応するＤＯＥによって生成される仮想光源のパターンの単一画像を撮影する。本発明の実施形態は、各位置変化に関する少なくとも回転軸の変化を有する異なる位置において各カメラによって撮影される少なくとも３つの画像を使用して、複数のカメラの外因性パラメータを決定し得る。複数のカメラは、３つの画像が、第１の位置、第２の位置、および第３の位置の各１つにおいて、第１のカメラによって撮影され、３つの画像が、第１の位置、第２の位置、および第３の位置の各１つにおいて、第２のカメラによって撮影されるように、ＤＯＥに対して、第１の位置、第２の位置、および第３の位置に位置付けられる。

当業者は、位置の数が異なり得、本明細書に説明されるシステムおよび方法が任意の数の位置（３つ以上）で機能し得ることを理解されるであろう。例えば、システムおよび方法は、Ｋ個のカメラと、Ｐ個の位置とを含み、Ｋ^＊Ｐ子の画像が処理される結果をもたらし得る。カメラリグ４００は、画像処理サーバコンピュータ６００に結合され得る（有線または無線接続６０２を介して）。カメラリグ４００に結合されるカメラは、有線または無線接続６０２を介して、入手された画像を画像処理サーバコンピュータ６００に伝送し得る。画像処理サーバコンピュータ６００は、プロセッサ６０４と、メモリ６０６と、ディスプレイ６０８と、入力要素６１０（限定ではないが、タッチスクリーン、キーボード、マウス等を含む）とを含み得る。プロセッサ６０４は、１つ以上の集積回路（例えば、１つ以上のシングルコアもしくはマルチコアマイクロプロセッサおよび／またはマイクロコントローラ）として実装されることができ、カメラから受信された画像の処理を制御するために使用される。プロセッサ６０４は、システムメモリ６０６内に記憶されるプログラムコードまたはコンピュータ読み取り可能なコードに応答して、種々のプログラムを実行することができ、複数の並行して実行されるプログラムまたはプロセスを維持することができる。

システムメモリ６０６は、任意の数の不揮発性メモリ（例えば、フラッシュメモリ）および揮発性メモリ（例えば、ＤＲＡＭ、ＳＲＡＭ）の任意の組み合わせ、または任意の他の非一過性記憶媒体、もしくはそれらの媒体の組み合わせを使用して、実装されることができる。システムメモリ６０６は、オペレーティングシステム（ＯＳ）、および本明細書に説明される機能のいずれかを実施するためにプロセッサ６０４によって実行可能なコンピュータコードを記憶し得る。

画像を受信すると、画像処理サーバコンピュータ６００は、各画像に関して、データ対を識別する。各データ対は、画像における強度ピークのピクセル座標と、強度ピークに対応するＤＯＥによって生成される仮想光源とを含む。画像処理サーバコンピュータ６００は、各画像に関して識別されたデータ対を使用して、カメラの外因性パラメータを決定する。外因性パラメータは、第１のカメラ（例えば、第１のカメラ４０２）の座標系における座標を別のカメラ（例えば、第２のカメラ４０４）の座標系における座標に写像する剛体変換を含む。剛体変換は、行列（例えば、４×４行列）を使用して表され得る。種々の実施形態によると、第１のカメラの座標系から別のカメラの座標系への剛体変換は、本明細書に説明される方法の実行中、一定である。_ｃ１Ｔ_ｃ２と称される例示的４×４行列は、第２のカメラ４０４の座標系における座標（例えば、ｃ２）を第１のカメラ４０２の座標系（例えば、ｃ１）に写像する変換行列（例えば、Ｔ）を示す。

種々の実施形態によると、例示的４×４剛体変換_ｃ１Ｔ_ｃ２は、３×３回転行列_ｃ１Ｒ_ｃ２および３×１平行移動ベクトル_ｃ１ｔ_ｃ２に分解され得る_。較正されるカメラリグは、カメラリグにおけるカメラの対間の変換_ｃ１Ｔ_ｃ２および全ての他の変換_ｃｉＴ_ｃｊが把握されるカメラリグである。Ｋ個のカメラリグの全ての変換_ｃｉＴ_ｃｊ，ｉ，ｊ∈１・・・Ｋを把握するために、ｉ∈２・・・Ｋに関するＫ−１個の変換_ｃ１Ｔ_ｃｉを把握することで十分である。ｉ∈２・・・Ｋに関する剛体変換_ｃ１Ｔ_ｃｉの組は、検討されるカメラリグの外因性較正と称される。

種々の実施形態によると、画像処理サーバコンピュータ６００は、第１の位置、第２の位置、および第３の位置の各１つにおいて各画像に関して識別されたデータ対を使用して、ＤＯＥの外因性パラメータも決定し得る。ＤＯＥプロップ５００に結合されたＤＯＥの外因性較正は、第１のＤＯＥ（例えば、第１のＤＯＥ５０２）の座標系における座標を別のＤＯＥ（例えば、第２のＤＯＥ５０４）の座標系における座標に写像する剛体変換を決定することを含む。剛体変換は、行列（例えば、４×４行列）を使用して表され得る。種々の実施形態によると、第１のＤＯＥの座標系から別のＤＯＥの座標系への剛体変換は、本明細書に説明される方法の実行中、一定である。_ｐ１Ｔ_ｐ２と称される例示的４×４行列は、第２のＤＯＥ５０４の座標系における座標（例えば、ｐ２）を第１のＤＯＥ５０２（例えば、ｐ１）の座標系に写像する変換行列（例えば、Ｔ）を示す。較正されるＤＯＥプロップは、ＤＯＥプロップにおけるＤＯＥの対間の変換_ｐ１Ｔ_ｐ２および全ての他の変換_ｐｉＴ_ｐｊが把握されるＤＯＥプロップである。

いくつかの実施形態では、カメラリグの外因性パラメータは、多くのマルチビューコンピュータビジョンアルゴリズムを起動するために使用され得る。例えば、カメラリグの外因性パラメータは、ステレオリグによって撮影される画像からの場面の３Ｄ再構成を実施するために使用され得る。

実施形態は、２つのタイプのＤＯＥを含み得る：パターンを有限距離に示す有限距離ＤＯＥ、および、パターンを無限距離に示す無限距離ＤＯＥ。２つの有限距離ＤＯＥ間の剛体変換は、回転行列と、平行移動ベクトルとによって定義される。いくつかの実施形態では、２つの有限距離ＤＯＥ間の剛体変換は、回転行列と、平行移動ベクトルとによって全体的に定義され得る。無限距離ＤＯＥと有限距離ＤＯＥとの間の剛体変換は、回転行列のみによって特徴付けられる。加えて、無限距離ＤＯＥとカメラとの間の剛体変換は、回転行列のみによって定義される。

本明細書で使用されるように、_ｃｋＸ＝（_ｃｋｘ，_ｃｋｙ，_ｃｋｚ）は、カメラ番号ｋの座標系における３Ｄ点の座標を示す（記憶を助けるために、「カメラ」に関して「ｃ」が使用される）。３Ｄ点_ｃｋｘは、カメラ番号ｋの画像内のピクセル場所に射影する。

本明細書で使用されるように、ｆ（_ｃｋＸ，θ_ｋ）は、射影された点_ｃｋＸのピクセル座標を示し、式中、θ_ｋは、カメラ番号ｋの内因性パラメータである。カメラの内因性パラメータが、既知であると、すなわち、カメラの較正が、既知であると、θ_ｋは、表記から省略され、ｆ（_ｃｋＸ）をもたらし、それは、射影された点_ｃｋＸのピクセル座標を示し得る。
（カメラの外因性パラメータおよびＤＯＥの外因性パラメータを決定する）

いくつかの実施形態によると、ＤＯＥプロップおよびカメラリグの外因性パラメータは、実質的に同時に、またはそれと並行して決定され得る。そのような実施形態では、既知の変換行列は、存在しない。方法は、カメラリグおよびＤＯＥプロップが互いに対して異なる位置にあるとき、２つ以上のカメラを用いて、３つ以上の画像を捕捉することを含む。

図７Ａ−７Ｃは、３つの異なる相対的位置におけるカメラリグ４００と、ＤＯＥプロップ５００とを図示する。第１の画像は、カメラリグ４００およびＤＯＥプロップ５００が互いに対して第１の位置７００にあるとき（図７Ａに図示されるように）、少なくとも第１のカメラ（または第１のカメラの組）によって捕捉される。第２の画像は、カメラリグ４００およびＤＯＥプロップ５００が互いに対して第２の位置７０２にあるとき（図７Ｂに図示されるように）、少なくとも第１のカメラ（または第１のカメラの組）によって捕捉される。第３の画像は、カメラリグ４００およびＤＯＥプロップ５００が互いに対して第３の位置７０４にあるとき（図７Ｃに図示されるように）、少なくとも第１のカメラ（または第１のカメラの組）によって捕捉される。第１の位置７００、第２の位置７０２、および第３の位置７０４の全ては、互いに異なる。同一プロセスは、カメラリグに取り付けられた他のカメラ（例えば、カメラリグ４００に取り付けられた第２のカメラ）に関して同時に起こる。

本明細書で使用されるように、_ｃ１Ｔ_ｐ１ ^１は、カメラリグ４００およびＤＯＥプロップ５００が互いに対して第１の位置７０２（例えば、姿勢番号１）にあるときの第１のＤＯＥ（例えば、ｐ１）から第１のカメラ（例えば、ｃ１）への剛体変換を表す。ＤＯＥプロップ５００に対するカメラリグ４００の相対的位置は、カメラリグ４００が依然としてＤＯＥプロップ５００に適合し（例えば、カメラがＤＯＥのアイボックス内に提供される）、運動（例えば、相対的運動の変化）が第１の回転を含むように、第１の位置７０２から第２の位置７０４に変化し得る。ＤＯＥプロップ５００に対するカメラリグ４００の相対的位置は、カメラリグ４００が依然としてＤＯＥプロップ５００に適合し（例えば、カメラがＤＯＥのアイボックス内に提供される）、運動（例えば、相対的運動の変化）が第２の回転を含むように、第２の位置７０２から第３の位置７０４に変化し得る。第２の回転の回転軸は、第１の回転の回転軸と異なる。

いくつかの実施形態では、ＤＯＥプロップに対するカメラリグの位置は、手動で調節され得る。代替として、ＤＯＥプロップに対するカメラリグの位置は、コンピューティングまたはロボットシステム（例えば、画像処理サーバコンピュータ６００）を使用して調節され得る。例えば、画像処理サーバコンピュータ６００のプロセッサは、カメラリグに結合されるカメラおよび／またはカメラリグの位置を制御するための信号を生成し、信号を有線または無線接続６０２を介してカメラリグに送信し得る。

カメラリグおよびＤＯＥプロップを外因性に較正する（例えば、同時に、または並行してＤＯＥプロップおよびカメラリグの外因性パラメータを決定する）ための例示的方法８００が、図８に図示される。ステップＳ８０２では、複数のＤＯＥが、図５に図示されるＤＯＥプロップ５００に類似するＤＯＥプロップ上に提供される。次に議論される例示的実施形態によると、ＤＯＥは、例証的目的のために、有限距離ＤＯＥであり得る。ステップＳ８０４では、図４に図示されるカメラリグ４００等の複数のカメラを含むカメラリグが、各カメラがそれぞれのＤＯＥのアイボックス内に設置されるように、ＤＯＥプロップの正面に位置付けられる（図６に図示される構成に類似する）。

カメラリグおよびＤＯＥプロップが、互いに対して第１の位置（例えば、姿勢番号１）にあるとき、ＤＯＥは、各ＤＯＥがビームのパターンを入力光から生成するように、アクティブにされる。各カメラは、少なくとも１つの画像を第１の位置におけるそのそれぞれのアイボックス内のそのそれぞれのＤＯＥから捕捉する。いくつかの実施形態によると、複数の画像が、第１の位置において捕捉され、画像Ｉ^１，１、・・・、Ｉ^Ｋ，１の組をもたらし得、Ｉ^Ｋ，１は、位置場号１におけるｋ番目のカメラによって捕捉された画像である。複数のカメラのうちの任意の所与のカメラは、各カメラが、少なくとも３つの画像（すなわち、第１の位置、第２の位置、および第３の位置の各１つにおける１つの画像）を捕捉するように、カメラが、第１の位置、第２の位置、および第３の位置のうちの任意の１つにある間、単一画像を捕捉する。

ステップＳ８０６では、画像の組が、画像処理サーバにおいて受信される。ステップＳ８０８では、画像処理サーバは、各画像における強度ピークのピクセル座標を識別し、強度ピークの検出されたピクセル座標のＫ個の組

をもたらす。同一サイズＮが、各組のために使用されているが、本発明は、例示的実施形態に限定されず、各組は、異なるサイズＮ_１、・・・、Ｎ_Ｋを有し得る。

ステップＳ８１０では、画像処理サーバ６００は、強度ピークの識別されたピクセル座標とＤＯＥによって作成された光との間の対応を識別する。本質的に、画像処理サーバは、データ対を識別し、各データ対は、強度ピークのピクセル座標と、強度ピークを画像上に形成するＤＯＥによって作成された対応する光とを含む。その結果、画像処理サーバは、各位置におけるデータ対のＫ個のリストを取得する。データ対は、第１の位置における

、第２の位置における

、および第３の位置における

のように表され得、_ｐＵ^ｋ，１ _ｉは、画像における強度ピークのピクセル座標を表し、_ＤＡ^ｋ _ｉは、ＤＯＥ中心座標における光の対応する方向を表す。

ステップＳ８１０では、画像処理サーバは、識別されたデータを使用して、カメラの外因性パラメータ（例えば、_ｃｋＴ_ｃ１）と、ＤＯＥの外因性パラメータ（例えば、_ｐ１Ｔ_ｐｋとを決定する。すなわち、画像処理サーバ６００は、

を最小化する、剛体変換

、ｋ−１個の変換

およびｋ−１個の変換

ＤＯＥの識別された変換_ｐ１Ｔ_ｐｋ（例えば、外因性パラメータ）は、所与のＤＯＥの座標系を他のＤＯＥの座標系に写像する。複数のカメラの識別された変換_ｃｋＴ_ｃ１（例えば、外因性パラメータ）は、所与のカメラの座標系を他のカメラの座標系に写像する。いくつかの実施形態では、カメラ以外のセンサが、カメラリグ４００に結合され得る。そのような実施形態では、複数のカメラの識別された変換_ｃｋＴ_ｃ１（例えば、外因性パラメータ）は、所与のカメラの座標系を他のセンサの座標系に写像する。
（ＤＯＥの外因性パラメータ、カメラの外因性パラメータ、およびカメラの内因性パラメータを決定する）

種々の実施形態によると、画像処理サーバ６００は、カメラの外因性パラメータおよびＤＯＥの外因性パラメータの決定と同時に、またはそれと並行して（もしくはそれに先立って）、カメラの内因性パラメータをさらに決定し得る。所与のカメラの内因性パラメータ（例えば、
）
は、カメラの焦点距離、主点、および歪み係数を含む。

いくつかの実施形態では、画像処理サーバ６００は、ステップＳ８１０を修正し、

を最小化する、剛体変換
、
Ｋ−１個の変換

Ｋ−１個の変換

および、Ｋ個のカメラの内因性パラメータ

を決定する（例えば、計算する）ことによって、カメラの内因性パラメータ（例えば、

をさらに決定し得る。

種々の実施形態によると、カメラおよびＤＯＥの同時外因性較正において使用されるＤＯＥは、無限距離ＤＯＥであり得る。無限距離ＤＯＥは、仮想光源のパターンを無限遠に生成する。故に、互いに対するカメラまたはＤＯＥの平行移動は、捕捉された画像上に影響を及ぼさない。そのような実施形態に関して、ＤＯＥ間の回転行列のみおよびカメラ間の回転行列のみが、決定されるであろう。画像処理サーバ６００は、

を最小化する回転

、Ｋ−１個の変換

、および、Ｋ−１個の変換

を決定する（例えば、計算する）。

種々の実施形態によると、カメラの同時外因性較正、ＤＯＥの外因性較正、およびカメラの内因性較正において使用されるＤＯＥは、無限距離ＤＯＥであり得る。無限距離ＤＯＥは、同時に、または並行してＤＯＥの外因性パラメータ、カメラの外因性パラメータ、およびカメラの内因性パラメータを決定するために使用され得る。無限距離ＤＯＥは、仮想光源のパターンを無限遠に生成する。故に、互いに対するカメラまたはＤＯＥの平行移動は、捕捉された画像上に影響を及ぼさない。そのような実施形態では、画像処理サーバ６００は、

を最小化する回転

、Ｋ−１個の変換

、および、Ｋ−１個の変換

を決定する（例えば、計算する）。
（外因性に較正されるＤＯＥを使用して、カメラの外因性パラメータを決定する）

本発明の種々の実施形態は、事前に外因性に較正されたＤＯＥ（例えば、変換_ｐ１Ｔ_ｐｋ
は、全てのＤＯＥに関して既知であるか、または事前決定されている）を使用して、カメラの外因性パラメータを決定する。較正されたＫ個のＤＯＥのＤＯＥプロップを使用して、Ｋ個のカメラのカメラリグの外因性パラメータを較正するために、カメラリグ上に配置されるカメラは、ＤＯＥプロップのそれぞれのＤＯＥアイボックス内に位置付けられ、個々のＤＯＥは、仮想光源のパターンを事前に規定された焦点距離に生成し、ＤＯＥプロップの外因性較正は、既知である（すなわち、変換_ｐ１Ｔ_ｐｋは、全ての２≦ｋ≦Ｋに関して既知である）と仮定される。いくつかの実施形態では、有限焦点距離ＤＯＥが、平行移動および回転変換決定とともに使用される。いくつかの実施形態では、無限焦点距離ＤＯＥが、回転変換決定のために使用されることができる。

カメラリグの外因性パラメータを較正するための例示的方法９００が、図９に図示される。ステップＳ９０２では、複数のＤＯＥが、図５に図示されるＤＯＥプロップ５００に類似するＤＯＥプロップ上に提供される。次に議論される例示的実施形態によると、ＤＯＥは、有限距離ＤＯＥであり得る。ステップＳ９０４では、図４に図示されるカメラリグ４００等の複数のカメラを含むカメラリグが、各カメラがそれぞれのＤＯＥのアイボックス内に設置されるように、ＤＯＥプロップの正面に位置付けられる（図６に図示される構成に類似する）。ＤＯＥは、各ＤＯＥが光のビームの所定のパターンを生成するように、オンにされる。

カメラリグに取り付けられた各カメラは、画像（例えば、所与の位置における単一画像）を捕捉し、画像Ｉ^１、・・・、Ｉ^Ｋの組をもたらし、Ｉ^Ｋは、ｋ番目のカメラによって捕捉された画像である。本発明の実施形態によると、各カメラは、所与の位置における単一画像を捕捉し、それによって、３つの異なる位置における合計３つの画像を捕捉する。ステップＳ９０６では、画像の組が、画像処理サーバにおいて受信される。ステップＳ９０８では、画像処理サーバは、各画像における強度ピークのピクセル座標を識別し、強度ピークの検出されたピクセル座標のＫ個の組

をもたらす。同一サイズＮが、各組のために使用されているが、本発明は、例示的実施形態に限定されず、各組は、異なるサイズＮ_１、・・・、Ｉ_Ｋを有し得る。

ステップＳ９０８では、画像処理サーバ６００は、強度ピークの識別されたピクセル座標とＤＯＥによって作成された光との間の対応を識別する。本質的に、画像処理サーバは、データ対を識別し、各データ対は、強度ピークのピクセル座標と、強度ピークを画像上に形成するＤＯＥによって作成された対応する光とを含む。その結果、画像処理サーバは、データ対

のＫ個のリストを取得し、_ｐＵ^ｋ _ｉは、画像における強度ピークのピクセル座標を表し、_ＤＡ^ｋ _ｉは、ＤＯＥ中心座標における光の対応する方向を表す。

ステップＳ９１０では、画像処理サーバは、識別されたデータ対およびＤＯＥの所定の変換行列（例えば、_ｐ１Ｔ_ｐｋ）を使用して、カメラの外因性パラメータを決定する。すなわち、画像処理サーバ６００は、各ｋ（１≦ｋ≦Ｋ）のためのコスト関数

を最小化する（例えば、最適化する）、剛体変換

を決定する（例えば、計算する）。次いで、画像処理サーバは、以下：
各ｋ（２≦ｋ≦Ｋ）に関して、

のように、既知の変換_ｐ１Ｔ_ｐｋおよび事前に決定された剛体変換

を使用して、変換

を計算する。

種々の実施形態によると、カメラの外因性較正において使用されるＤＯＥは、無限距離ＤＯＥであり得る。無限距離ＤＯＥは、仮想光源のパターンを無限遠に生成する。故に、互いに対するカメラの平行移動は、捕捉された画像上に影響を及ぼさない。そのような実施形態に関して、１≦ｋ≦Ｋに関するカメラ間の回転行列_ｃｋＲ_ｃ１のみが、決定されるであろう。故に、画像処理サーバは、識別されたデータ対およびＤＯＥの所定の変換行列（例えば、_ｐ１Ｒ_ｐｋ）を使用して、カメラの外因性パラメータ（すなわち、回転行列）を決定する。すなわち、画像処理サーバ６００は、各ｋ（２≦ｋ≦Ｋ）に関して、

を最小化する回転

を決定する（例えば計算する）。次いで、画像処理サーバは、以下：各ｋ（２≦ｋ≦Ｋ）に関して、

のように、既知の変換_ｃｋＲ_ｃ１および事前に決定された剛体変換

を使用して、変換

を計算する。
（外因性に較正されたカメラを使用して、ＤＯＥの外因性パラメータを決定する）

本発明の種々の実施形態は、事前に外因性に較正されたカメラ（例えば、変換_ｃ１Ｔ_ｃｋは、全てのカメラに関して既知であるか、または事前に決定されている）を使用して、ＤＯＥの外因性パラメータを決定する。例えば、カメラの外因性パラメータを決定すると、ＤＯＥプロップに結合されたＤＯＥは、外因性に較正されるべき異なるＤＯＥと置換され得る。

Ｋ個のＤＯＥのＤＯＥプロップ（例えば、Ｋ個のＤＯＥを有するＤＯＥプロップ）の外因性パラメータが、外因性に較正されたＫ個のカメラのカメラリグ（例えば、Ｋ個のカメラを有するカメラリグ）を使用して決定され得る。カメラリグは、外因性に較正されているので、変換_ｃ１Ｔ_ｃｋは、１・・・Ｋにおける全てのｋに関して既知であり、変換_ｐ１Ｔ_ｐｋは、決定されるであろう。故に、画像処理サーバは、識別されたデータ対およびカメラの所定の変換行列（例えば、_ｃ１Ｔ_ｃｋ）を使用して、ＤＯＥの外因性パラメータを決定する。すなわち、画像処理サーバ６００は、各ｋ（１≦ｋ≦Ｋ）に関して、

を最小化する、変換行列

を決定する（例えば、計算する）。次いで、画像処理サーバは、以下：各ｋ（２≦ｋ≦Ｋ）に関して、

のように、既知の変換_ｃ１Ｔ_ｃｋおよび事前に決定された剛体変換

を使用して、変換

を計算する。種々の実施形態によると、ＤＯＥによって生成される光の数は、互いに異なり得る。

種々の実施形態によると、複数のカメラの外因性パラメータおよび複数の有限距離回折光学要素の外因性パラメータを決定する方法は、複数の強固に接続された内因性に較正されたカメラ（例えば、カメラリグ）と、複数の強固に接続されたＤＯＥ（例えば、ＤＯＥプロップ）とを提供することを含み得、ＤＯＥは、カメラと同一数Ｎである。方法は、各カメラが１つのＤＯＥのパターンを見るように、カメラリグおよびＤＯＥプロップを第１の位置に位置付けることを含み得、それによって、カメラ番号ｉが、１・・・Ｎにおけるｉに関して、ＤＯＥ_ｉのパターンを見る。方法は、各カメラによって１つの画像を捕捉し、画像Ｉ_１、・・・、Ｉ_Ｎの収集をもたらすことを含み得、画像Ｉ_ｉは、カメラ番号ｉによって生成される。

続いて、方法は、各カメラが、上で説明されるように、カメラによって見られる同一ＤＯＥのパターンを見る（例えば、カメラ番号ｉが、依然として、１・・・Ｎにおけるｉに関して、ＤＯＥ_ｉのパターンを見る）ように、カメラリグおよびＤＯＥプロップを第２の位置に位置付けることをさらに含み得る。第１の位置から第２の位置への運動は、非自明な回転を含み得る。方法は、各カメラによって１つの画像を捕捉することに進み得る。

続いて、方法は、各カメラが、上で説明されるように、カメラによって見られる同一ＤＯＥのパターンを見る（例えば、カメラ番号ｉが、依然として、１・・・Ｎにおけるｉに関して、ＤＯＥ_ｉのパターンを見る）ように、カメラリグおよびＤＯＥプロップを第３の位置に位置付けることを含み得る。第１の位置から第２の位置への運動は、非自明な回転を含み得る。第１の位置から第２の位置への回転軸は、第１の位置から第３の位置への回転軸と異なり得る。方法は、各カメラによって１つの画像を捕捉することに進み得る。

第１、第２、および第３の位置に関して捕捉された各画像に関して、ピクセルとＤＯＥ光との間の４つ以上の対応の組が、決定され得る。これらの対応を使用して、方法は、カメラリグにおけるカメラの外因性（例えば、回転および平行移動）パラメータを決定することと、ＤＯＥプロップにおける回折要素の外因性（例えば、回転および平行移動）パラメータを決定することとを含み得る。

いくつかの実施形態では、上で説明される方法は、無限距離ＤＯＥを使用して実施され得る。そのような実施形態では、決定される唯一の外因性パラメータは、回転パラメータを含むであろう。

いくつかの実施形態では、上で説明される方法は、内因性に較正されていないカメラを使用して実施され得る。そのような実施形態では、カメラの内因性パラメータが、カメラの外因性パラメータに加えて決定される。

種々の実施形態によると、複数のカメラの外因性パラメータを決定する方法は、複数の強固に接続されたカメラ（例えば、カメラリグ）を提供することを含み得、カメラの内因性パラメータは、既知である（すなわち、カメラは、内因性に較正される）。方法は、複数の強固に接続された有限距離ＤＯＥ（例えば、ＤＯＥプロップ）を提供することも含み得、ＤＯＥは、カメラと同一数Ｎであり、ＤＯＥプロップの外因性パラメータは、既知である（すなわち、ＤＯＥプロップは、外因性に較正される）。方法は、各カメラが１つのＤＯＥのパターン（例えば、カメラ番号ｉは、１・・・Ｎにおけるｉに関して、ＤＯＥ_ｉのパターンを見る）を確認するように、カメラリグを位置付けることを含み得る。方法は、各カメラによって１つの画像を捕捉し、画像Ｉ_１、・・・、Ｉ_Ｎの収集をもたらすことを含み得、画像Ｉ_ｉは、カメラ番号ｉによって生成される。捕捉された各画像に関して、ピクセルとＤＯＥ光との間の４つ以上の対応の組が、算出される。これらの対応から、カメラリグにおけるカメラの外因性（例えば、回転および平行移動）パラメータが、算出される。

いくつかの実施形態では、上で説明される方法は、無限距離ＤＯＥを使用して実施され得る。そのような実施形態では、決定されるカメラリグにおけるカメラの唯一の外因性パラメータは、回転パラメータを含むであろう。

いくつかの実施形態では、上で説明される方法は、内因性に較正されていないカメラを使用して（すなわち、カメラの内因性パラメータの知識を伴わずに）実施され得る。そのような実施形態では、カメラの内因性パラメータが、カメラの外因性パラメータに加えて決定される。

種々の実施形態によると、複数のＤＯＥの外因性パラメータを決定する方法は、複数の強固に接続されたカメラ（例えば、カメラリグ）を提供することを含み得、カメラの内因性パラメータは、既知であり（すなわち、カメラは、内因性に較正されている）、カメラの外因性（すなわち、回転および平行移動）パラメータも、既知である（すなわち、カメラは、外因性に較正される）。方法は、複数の強固に接続された有限距離ＤＯＥ（例えば、ＤＯＥプロップ）を提供することも含み得、ＤＯＥは、カメラと同一数Ｎである。方法は、各カメラが１つのＤＯＥのパターンを見る（カメラ番号ｉは、１・・・Ｎにおけるｉに関して、ＤＯＥ_ｉのパターンを見る）ように、カメラリグを位置付けることを含み得る。方法は、各カメラによって１つの画像を捕捉し、画像Ｉ_１、・・・、Ｉ_Ｎの収集をもたらすことも含み得、画像Ｉ_ｉは、カメラ番号ｉによって生成される。捕捉された各画像に関して、ピクセルとＤＯＥ光との間の４つ以上の対応の組が、算出され得る。対応から、ＤＯＥプロップにおけるＤＯＥの外因性（例えば、回転および平行移動）パラメータが、算出され得る。

いくつかの実施形態では、上で説明される方法は、無限距離ＤＯＥを使用して実施され得る。そのような実施形態では、決定されるＤＯＥプロップにおけるＤＯＥの唯一の外因性パラメータは、回転パラメータを含むであろう。

実施形態は、以前のシステムに優るいくつかの利点を提供する。実施形態は、複数のカメラおよび複数のＤＯＥの同時外因性較正ならびにカメラの内因性較正を可能にする。全ての外因性および内因性パラメータは、各カメラに所与の位置における単一画像を捕捉させることによって決定され得る。したがって、本発明の実施形態は、従来のシステムより少ない画像を使用して、同時較正を達成する。

本明細書に述べられたコンピュータシステムのいずれか（例えば、画像処理サーバコンピュータ）は、任意の好適な数のサブシステムを利用し得る。いくつかの実施形態では、コンピュータシステムは、単一コンピュータ装置を含み、サブシステムは、コンピュータ装置のコンポーネントであることができる。他の実施形態では、コンピュータシステムは、複数のコンピュータ装置を含むことができ、各々は、内部コンポーネントを伴うサブシステムである。

コンピュータシステムは、例えば、外部インターフェースによって一緒に接続される複数の同一コンポーネントまたはサブシステムを含むことができる。いくつかの実施形態では、コンピュータシステム、サブシステム、または装置は、ネットワークを経由して、通信することができる。そのようなインスタンスでは、１つのコンピュータは、クライアントと見なされ、別のコンピュータは、サーバと見なされ得る。クライアントおよびサーバの各々は、本明細書に述べられた複数のシステム、サブシステム、またはコンポーネントを含むことができる。

特定の実施形態の具体的詳細は、本発明の実施形態の精神および範囲から逸脱することなく、任意の好適な様式において組み合わせられ得る。しかしながら、他の本発明の実施形態は、各個々の側面またはこれら個々の側面の具体的組み合わせに関連する、具体的実施形態を対象とし得る。

上で説明されるような本発明は、モジュール式または統合された様式において、ハードウェアを使用して、および／またはコンピュータソフトウェアを使用して、制御論理の形態で実装されることができることを理解されたい。本明細書に提供される本開示および教示に基づいて、当業者は、ハードウェアおよびハードウェアとソフトウェアの組み合わせを使用して、本発明を実装する他のやり方および／または方法を把握および理解するであろう。

本願に説明されるソフトウェアコンポーネントまたは機能のいずれかは、例えば、従来またはオブジェクト指向技法を使用して、例えば、Ｊａｖａ（登録商標）、Ｃ＋＋、またはＰｅｒｌ等の任意の好適なコンピュータ言語を使用して、プロセッサによって実行されるためのソフトウェアコードとして実装され得る。ソフトウェアコードは、一連の命令またはコマンドとして、記憶および／または伝送のためのコンピュータ読み取り可能な媒体上に記憶され得、好適な媒体は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、ハードドライブまたはフロッピー（登録商標）ディスク等の磁気媒体、またはコンパクトディスク（ＣＤ）またはＤＶＤ（デジタル多用途ディスク）、フラッシュメモリ等の光学媒体を含む。コンピュータ読み取り可能な媒体は、そのような記憶装置または伝送デバイスの任意の組み合わせであり得る。

さらに、そのようなプログラムは、インターネットを含む種々のプロトコルに準拠する有線、光学、および／または無線ネットワークを介した伝送のために適合されるキャリア信号を使用して、エンコードおよび伝送され得る。したがって、本発明のある実施形態によるコンピュータ読み取り可能な媒体は、そのようなプログラムでエンコードされたデータ信号を使用して、作成され得る。プログラムコードでエンコードされたコンピュータ読み取り可能な媒体は、適合性があるデバイスとパッケージ化されるか、または他のデバイスと別個に提供され得る（例えば、インターネットダウンロードを介して）。任意のそのようなコンピュータ読み取り可能な媒体は、単一コンピュータプログラム製品（例えば、ハードドライブ、ＣＤ、またはコンピュータシステム全体）上または内に常駐し得、システムまたはネットワーク内の異なるコンピュータプログラム製品上または内に存在し得る。コンピュータシステムは、本明細書に述べられた結果のいずれかをユーザに提供するために、モニタ、プリンタ、または他の好適なディスプレイを含み得る。

本発明の例示的実施形態の上記説明は、例証および説明目的のために提示されている。包括的であること、または本発明を説明される精密な形態に限定することを意図するものではなく、多くの修正および変形例が、上記の教示に照らして可能性として考えられる。実施形態は、本発明の原理およびその実践的用途を最良に説明するために選定および説明されており、それによって、当業者が、本発明を種々の実施形態において、特定の用途に好適であると想定される種々の修正とともに、最良に利用することを可能にする。

Claims (34)

1. 複数のカメラの外因性パラメータを決定するためのシステムであって、前記システムは、
   複数の回折光学要素と、
   複数のカメラであって、前記複数のカメラは、前記複数のカメラが前記複数の回折光学要素に対して第１の位置、第２の位置、および第３の位置に位置付けられているとき、前記複数の回折光学要素の各１つのアイボックス内に留まるように構成されている、複数のカメラと、
   前記複数のカメラに結合され、画像データを前記複数のカメラから受信するプロセッサと
   を備え、
   前記プロセッサは、実行可能命令を記憶しており、前記命令は、前記プロセッサによって実行されると、
   前記第１の位置、前記第２の位置、および前記第３の位置の各１つにおいて、
   複数の画像を前記複数のカメラから受信することであって、前記複数のカメラの各１つは、前記第１の位置、前記第２の位置、および前記第３の位置の各１つに位置付けられているとき、少なくとも１つの画像を撮影する、ことと、
   各画像に関して、データ対を識別することであって、各データ対は、前記画像における強度ピークのピクセル座標と、前記強度ピークに対応する前記回折光学要素によって生成された仮想光源とを含む、ことと、
   各画像に関する前記識別されたデータ対を使用して、前記複数のカメラの外因性パラメータを決定することと
   を前記プロセッサに行わせる、システム。
2. 前記プロセッサは、実行可能命令を記憶しており、前記命令は、前記プロセッサによって実行されると、
   前記第１の位置、前記第２の位置、および前記第３の位置の各１つにおける各画像に関する前記識別されたデータ対を使用して、前記複数の回折光学要素の外因性パラメータを決定することを前記プロセッサに行わせる、請求項１に記載のシステム。
3. 前記複数の回折光学要素の前記外因性パラメータは、前記複数のカメラの前記外因性パラメータと並行して決定される、請求項２に記載のシステム。
4. 前記複数の回折光学要素の前記外因性パラメータは、前記複数の回折光学要素のうちの所与の回折光学要素の座標系を前記複数の回折光学要素のうちの他の回折光学要素の座標系に写像する、請求項２に記載のシステム。
5. 前記プロセッサは、実行可能命令を記憶しており、前記命令は、前記プロセッサによって実行されると、
   前記複数のカメラの前記外因性パラメータを決定すると同時に、またはそれと並行して、前記複数のカメラの内因性パラメータを決定することを前記プロセッサに行わせ、前記内因性パラメータは、カメラの焦点距離、主点、および歪み係数のうちの１つ以上のものを含む、請求項１に記載のシステム。
6. 前記複数のカメラの前記外因性パラメータは、前記複数のカメラのうちの所与のカメラの座標系を前記複数のカメラのうちの他のカメラの座標系に写像する、請求項１に記載のシステム。
7. 前記複数のカメラの前記外因性パラメータは、前記複数のカメラのうちの所与のカメラの座標系を複数のセンサの座標系に写像する、請求項１に記載のシステム。
8. 前記複数のカメラは、少なくとも１つの支持ビームを含む第１の支持システムに結合されている、請求項１に記載のシステム。
9. 前記複数のカメラは、前記第１の支持システムに同時に２つ結合され、前記複数の回折光学要素は、少なくとも１つの支持ビームを含む第２の支持システムに結合された２つの回折光学要素を含む、請求項８に記載のシステム。
10. 前記複数の回折光学要素は、少なくとも１つの支持ビームを含む支持システムに結合されている、請求項１に記載のシステム。
11. 前記プロセッサは、実行可能命令を記憶しており、前記命令は、前記プロセッサによって実行されると、
    前記複数のカメラのうちのあるカメラを前記第１の位置、前記第２の位置、または前記第３の位置のうちの１つに位置付けることを前記プロセッサに行わせる、請求項１に記載のシステム。
12. 複数のカメラの外因性パラメータを決定する方法であって、前記方法は、
    （ａ）複数の回折光学要素を提供することと、
    （ｂ）複数のカメラを提供することであって、前記複数のカメラは、前記複数のカメラが前記複数の回折光学要素に対して第１の位置、第２の位置、および第３の位置に位置付けられているとき、前記複数の回折光学要素の各１つのアイボックス内に位置付けられている、ことと、
    前記第１の位置、前記第２の位置、および前記第３の位置の各１つにおいて、
    （ｃ）複数の画像を前記複数のカメラから受信することであって、前記複数のカメラの各１つは、前記第１の位置、前記第２の位置、および前記第３の位置の各１つに位置付けられているとき、少なくとも１つの画像を撮影する、ことと、
    （ｄ）各画像に関して、データ対を識別することであって、各データ対は、前記画像における強度ピークのピクセル座標と、前記強度ピークに対応する前記回折光学要素によって生成された仮想光源とを含む、ことと、
    （ｅ）各画像に関する前記識別されたデータ対を使用して、前記複数のカメラの外因性パラメータを決定することと
    を含む、方法。
13. 前記第１の位置、前記第２の位置、および前記第３の位置の各１つにおける各画像に関する前記識別されたデータ対を使用して、前記複数の回折光学要素の外因性パラメータを決定することをさらに含む、請求項１２に記載の方法。
14. 前記複数の回折光学要素の前記外因性パラメータは、前記複数のカメラの前記外因性パラメータと同時に、またはそれと並行して決定される、請求項１３に記載の方法。
15. 前記複数の回折光学要素の前記外因性パラメータは、前記複数の回折光学要素のうちの所与の回折光学要素の座標系を前記複数の回折光学要素のうちの他の回折光学要素の座標系に写像する、請求項１３に記載の方法。
16. 前記複数のカメラの前記外因性パラメータを決定すると同時に、またはそれと並行して、前記複数のカメラの内因性パラメータを決定することをさらに含み、前記内因性パラメータは、カメラの焦点距離、主点、および歪み係数のうちの１つ以上のものを含む、請求項１２に記載の方法。
17. 前記複数のカメラの前記外因性パラメータは、前記複数のカメラのうちの所与のカメラの座標系を前記複数のカメラのうちの他のカメラの座標系に写像する、請求項１２に記載の方法。
18. 前記複数のカメラは、少なくとも１つの支持ビームを含む第１の支持システムに同時に２つ結合され、前記複数の回折光学要素は、少なくとも１つの支持ビームを含む第２の支持システムに結合された２つの回折光学要素を含む、請求項１２に記載の方法。
19. 前記複数のカメラの前記外因性パラメータは、前記複数のカメラのうちの所与のカメラの座標系を複数のセンサの座標系に写像する、請求項１２に記載の方法。
20. 前記複数のカメラのうちのあるカメラを前記第１の位置、前記第２の位置、または前記第３の位置のうちの１つに位置付けることをさらに含む、請求項１２に記載の方法。
21. 複数の回折光学要素を使用して、複数のカメラの外因性パラメータを決定する方法であって、前記方法は、
    複数の回折光学要素を提供することと、
    前記複数の回折光学要素の各１つのアイボックス内に位置付けられた複数のカメラを提供することと、
    複数の画像を前記複数のカメラから受信することであって、単一画像は、前記複数の回折光学要素のうちの１つに対する所与の位置における前記複数のカメラの各１つから受信される、ことと、
    各画像に関して、データ対を識別することであって、各データ対は、前記画像における強度ピークのピクセル座標と、前記強度ピークに対応する前記回折光学要素によって生成された仮想光源とを含む、ことと、
    前記識別されたデータ対と前記複数の回折光学要素の所定の変換行列とを使用して、前記複数のカメラの外因性パラメータを決定することと
    を含む、方法。
22. 前記データ対のうちの少なくとも一部の和を含むコスト関数を決定することと、
    前記コスト関数を最適化し、前記複数のカメラのうちの各１つのための第１の変換行列を決定することと
    をさらに含み、
    前記第１の変換行列は、所与のカメラの座標系を対応する回折光学要素の座標系に写像し、前記外因性パラメータは、前記第１の変換行列を使用して決定される、請求項２１に記載の方法。
23. 前記複数のカメラのうちの１つの前記外因性パラメータは、前記複数のカメラのうちの１つの座標系を前記複数のカメラのうちの別の１つの座標系に写像する第２の変換行列を含む、請求項２１に記載の方法。
24. 前記回折光学要素は、無限距離回折光学要素であり、前記複数のカメラのうちの１つの前記外因性パラメータは、前記複数のカメラのうちの前記１つの座標系における回転を前記複数のカメラのうちの別の１つの座標系に写像する回転行列を含む、請求項２１に記載の方法。
25. 前記複数のカメラの前記外因性パラメータを決定すると同時に、またはそれと並行して、前記複数のカメラの内因性パラメータを決定することをさらに含み、前記内因性パラメータは、カメラの焦点距離、主点、および歪み係数のうちの１つ以上のものを含む、請求項２１に記載の方法。
26. 前記複数のカメラの外因性パラメータを決定すると、
    前記複数の回折光学要素を異なる回折光学要素と置換することと、
    前記複数のカメラの前記外因性パラメータを使用して、前記異なる回折光学要素の外因性パラメータを決定することと
    をさらに含む、請求項２１に記載の方法。
27. 前記異なる回折光学要素の前記外因性パラメータは、前記異なる回折光学要素のうちの所与の回折光学要素の座標系を前記異なる回折光学要素のうちの他の回折光学要素の座標系に写像する、請求項２６に記載の方法。
28. 複数の回折光学要素を使用して、複数のカメラの外因性パラメータを決定するためのシステムであって、前記システムは、
    複数の回折光学要素と、
    前記複数の回折光学要素の各１つのアイボックス内に留まるように構成された複数のカメラと、
    前記複数のカメラに結合されたプロセッサと
    を備え、
    前記プロセッサは、実行可能命令を記憶しており、前記命令は、前記プロセッサによって実行されると、
    複数の画像を前記複数のカメラから受信することであって、単一画像は、前記複数の回折光学要素のうちの１つに対する所与の位置における前記複数のカメラの各１つから受信される、ことと、
    各画像に関して、データ対を識別することであって、各データ対は、前記画像における強度ピークのピクセル座標と、前記強度ピークに対応する前記回折光学要素によって生成された仮想光源とを含む、ことと、
    前記識別されたデータ対と前記複数の回折光学要素の所定の変換行列とを使用して、前記複数のカメラの外因性パラメータを決定することと
    を前記プロセッサに行わせる、システム。
29. 前記実行可能命令は、前記プロセッサによって実行されると、
    前記データ対のうちの少なくとも一部の和を含むコスト関数を決定することと、
    前記コスト関数を最適化し、前記複数のカメラのうちの各１つのための第１の変換行列を決定することと
    を前記プロセッサにさらに行わせ、
    前記第１の変換行列は、所与のカメラの座標系を対応する回折光学要素の座標系に写像し、前記外因性パラメータは、前記第１の変換行列を使用して決定される、請求項２８に記載のシステム。
30. 前記複数のカメラのうちの１つの前記外因性パラメータは、前記複数のカメラのうちの１つの座標系を前記複数のカメラのうちの別の１つの座標系に写像する第２の変換行列を含む、請求項２８に記載のシステム。
31. 前記回折光学要素は、無限距離回折光学要素であり、前記複数のカメラのうちの１つの前記外因性パラメータは、前記複数のカメラのうちの前記１つの座標系における回転を前記複数のカメラのうちの別の１つの座標系に写像する回転行列を含む、請求項２８に記載のシステム。
32. 前記実行可能命令は、前記プロセッサによって実行されると、
    前記複数のカメラの前記外因性パラメータを決定すると同時に、またはそれと並行して、前記複数のカメラの内因性パラメータを決定することを前記プロセッサにさらに行わせ、
    前記内因性パラメータは、カメラの焦点距離、主点、および歪み係数のうちの１つ以上のものを含む、請求項２８に記載のシステム。
33. 前記実行可能命令は、前記プロセッサによって実行されると、
    前記複数のカメラの外因性パラメータを決定すると、
    前記複数の回折光学要素を異なる回折光学要素と置換することと、
    前記複数のカメラの前記外因性パラメータを使用して、前記異なる回折光学要素の外因性パラメータを決定することと
    を前記プロセッサにさらに行わせる、請求項２８に記載のシステム。
34. 前記異なる回折光学要素の前記外因性パラメータは、前記異なる回折光学要素のうちの所与の回折光学要素の座標系を前記異なる回折光学要素のうちの他の回折光学要素の座標系に写像する、請求項３３に記載のシステム。