JP2021503133A5 - - Google Patents

Description

追加の特徴、利点、および実施形態は、下記の詳細な説明、図、および請求項に説明される。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
複数のカメラの外因性パラメータを決定するためのシステムであって、前記システムは、
複数の回折光学要素と、
複数のカメラであって、前記複数のカメラは、前記複数のカメラが前記複数の回折光学要素に対して第１の位置、第２の位置、および第３の位置に位置付けられているとき、前記複数の回折光学要素の各１つのアイボックス内に留まるように構成されている、複数のカメラと、
前記複数のカメラに結合され、画像データを前記複数のカメラから受信するプロセッサと
を備え、
前記プロセッサは、実行可能命令を記憶しており、前記命令は、前記プロセッサによって実行されると、
前記第１の位置、前記第２の位置、および前記第３の位置の各１つにおいて、
複数の画像を前記複数のカメラから受信することであって、前記複数のカメラの各１つは、前記第１の位置、前記第２の位置、および前記第３の位置の各１つに位置付けられているとき、少なくとも１つの画像を撮影する、ことと、
各画像に関して、データ対を識別することであって、各データ対は、前記画像における強度ピークのピクセル座標と、前記強度ピークに対応する前記回折光学要素によって生成された仮想光源とを含む、ことと、
各画像に関する前記識別されたデータ対を使用して、前記複数のカメラの外因性パラメータを決定することと
を前記プロセッサに行わせる、システム。
（項目２）
前記プロセッサは、実行可能命令を記憶しており、前記命令は、前記プロセッサによって実行されると、
前記第１の位置、前記第２の位置、および前記第３の位置の各１つにおける各画像に関する前記識別されたデータ対を使用して、前記複数の回折光学要素の外因性パラメータを決定することを前記プロセッサに行わせる、項目１に記載のシステム。
（項目３）
前記複数の回折光学要素の前記外因性パラメータは、前記複数のカメラの前記外因性パラメータと並行して決定される、項目２に記載のシステム。
（項目４）
前記複数の回折光学要素の前記外因性パラメータは、前記複数の回折光学要素のうちの所与の回折光学要素の座標系を前記複数の回折光学要素のうちの他の回折光学要素の座標系に写像する、項目２に記載のシステム。
（項目５）
前記プロセッサは、実行可能命令を記憶しており、前記命令は、前記プロセッサによって実行されると、
前記複数のカメラの前記外因性パラメータを決定すると同時に、またはそれと並行して、前記複数のカメラの内因性パラメータを決定することを前記プロセッサに行わせ、前記内因性パラメータは、カメラの焦点距離、主点、および歪み係数のうちの１つ以上のものを含む、項目１に記載のシステム。
（項目６）
前記複数のカメラの前記外因性パラメータは、前記複数のカメラのうちの所与のカメラの座標系を前記複数のカメラのうちの他のカメラの座標系に写像する、項目１に記載のシステム。
（項目７）
前記複数のカメラの前記外因性パラメータは、前記複数のカメラのうちの所与のカメラの座標系を複数のセンサの座標系に写像する、項目１に記載のシステム。
（項目８）
前記複数のカメラは、少なくとも１つの支持ビームを含む第１の支持システムに結合されている、項目１に記載のシステム。
（項目９）
前記複数のカメラは、前記第１の支持システムに同時に２つ結合され、前記複数の回折光学要素は、少なくとも１つの支持ビームを含む第２の支持システムに結合された２つの回折光学要素を含む、項目８に記載のシステム。
（項目１０）
前記複数の回折光学要素は、少なくとも１つの支持ビームを含む支持システムに結合されている、項目１に記載のシステム。
（項目１１）
前記プロセッサは、実行可能命令を記憶しており、前記命令は、前記プロセッサによって実行されると、
前記複数のカメラのうちのあるカメラを前記第１の位置、前記第２の位置、または前記第３の位置のうちの１つに位置付けることを前記プロセッサに行わせる、項目１に記載のシステム。
（項目１２）
複数のカメラの外因性パラメータを決定する方法であって、前記方法は、
（ａ）複数の回折光学要素を提供することと、
（ｂ）複数のカメラを提供することであって、前記複数のカメラは、前記複数のカメラが前記複数の回折光学要素に対して第１の位置、第２の位置、および第３の位置に位置付けられているとき、前記複数の回折光学要素の各１つのアイボックス内に位置付けられている、ことと、
前記第１の位置、前記第２の位置、および前記第３の位置の各１つにおいて、
（ｃ）複数の画像を前記複数のカメラから受信することであって、前記複数のカメラの各１つは、前記第１の位置、前記第２の位置、および前記第３の位置の各１つに位置付けられているとき、少なくとも１つの画像を撮影する、ことと、
（ｄ）各画像に関して、データ対を識別することであって、各データ対は、前記画像における強度ピークのピクセル座標と、前記強度ピークに対応する前記回折光学要素によって生成された仮想光源とを含む、ことと、
（ｅ）各画像に関する前記識別されたデータ対を使用して、前記複数のカメラの外因性パラメータを決定することと
を含む、方法。
（項目１３）
前記第１の位置、前記第２の位置、および前記第３の位置の各１つにおける各画像に関する前記識別されたデータ対を使用して、前記複数の回折光学要素の外因性パラメータを決定することをさらに含む、項目１２に記載の方法。
（項目１４）
前記複数の回折光学要素の前記外因性パラメータは、前記複数のカメラの前記外因性パラメータと同時に、またはそれと並行して決定される、項目１３に記載の方法。
（項目１５）
前記複数の回折光学要素の前記外因性パラメータは、前記複数の回折光学要素のうちの所与の回折光学要素の座標系を前記複数の回折光学要素のうちの他の回折光学要素の座標系に写像する、項目１３に記載の方法。
（項目１６）
前記複数のカメラの前記外因性パラメータを決定すると同時に、またはそれと並行して、前記複数のカメラの内因性パラメータを決定することをさらに含み、前記内因性パラメータは、カメラの焦点距離、主点、および歪み係数のうちの１つ以上のものを含む、項目１２に記載の方法。
（項目１７）
前記複数のカメラの前記外因性パラメータは、前記複数のカメラのうちの所与のカメラの座標系を前記複数のカメラのうちの他のカメラの座標系に写像する、項目１２に記載の方法。
（項目１８）
前記複数のカメラは、少なくとも１つの支持ビームを含む第１の支持システムに同時に２つ結合され、前記複数の回折光学要素は、少なくとも１つの支持ビームを含む第２の支持システムに結合された２つの回折光学要素を含む、項目１２に記載の方法。
（項目１９）
前記複数のカメラの前記外因性パラメータは、前記複数のカメラのうちの所与のカメラの座標系を複数のセンサの座標系に写像する、項目１２に記載の方法。
（項目２０）
前記複数のカメラのうちのあるカメラを前記第１の位置、前記第２の位置、または前記第３の位置のうちの１つに位置付けることをさらに含む、項目１２に記載の方法。
（項目２１）
複数の回折光学要素を使用して、複数のカメラの外因性パラメータを決定する方法であって、前記方法は、
複数の回折光学要素を提供することと、
前記複数の回折光学要素の各１つのアイボックス内に位置付けられた複数のカメラを提供することと、
複数の画像を前記複数のカメラから受信することであって、単一画像は、前記複数の回折光学要素のうちの１つに対する所与の位置における前記複数のカメラの各１つから受信される、ことと、
各画像に関して、データ対を識別することであって、各データ対は、前記画像における強度ピークのピクセル座標と、前記強度ピークに対応する前記回折光学要素によって生成された仮想光源とを含む、ことと、
前記識別されたデータ対と前記複数の回折光学要素の所定の変換行列とを使用して、前記複数のカメラの外因性パラメータを決定することと
を含む、方法。
（項目２２）
前記データ対のうちの少なくとも一部の和を含むコスト関数を決定することと、
前記コスト関数を最適化し、前記複数のカメラのうちの各１つのための第１の変換行列を決定することと
をさらに含み、
前記第１の変換行列は、所与のカメラの座標系を対応する回折光学要素の座標系に写像し、前記外因性パラメータは、前記第１の変換行列を使用して決定される、項目２１に記載の方法。
（項目２３）
前記複数のカメラのうちの１つの前記外因性パラメータは、前記複数のカメラのうちの１つの座標系を前記複数のカメラのうちの別の１つの座標系に写像する第２の変換行列を含む、項目２１に記載の方法。
（項目２４）
前記回折光学要素は、無限距離回折光学要素であり、前記複数のカメラのうちの１つの前記外因性パラメータは、前記複数のカメラのうちの前記１つの座標系における回転を前記複数のカメラのうちの別の１つの座標系に写像する回転行列を含む、項目２１に記載の方法。
（項目２５）
前記複数のカメラの前記外因性パラメータを決定すると同時に、またはそれと並行して、前記複数のカメラの内因性パラメータを決定することをさらに含み、前記内因性パラメータは、カメラの焦点距離、主点、および歪み係数のうちの１つ以上のものを含む、項目２１に記載の方法。
（項目２６）
前記複数のカメラの外因性パラメータを決定すると、
前記複数の回折光学要素を異なる回折光学要素と置換することと、
前記複数のカメラの前記外因性パラメータを使用して、前記異なる回折光学要素の外因性パラメータを決定することと
をさらに含む、項目２１に記載の方法。
（項目２７）
前記異なる回折光学要素の前記外因性パラメータは、前記異なる回折光学要素のうちの所与の回折光学要素の座標系を前記異なる回折光学要素のうちの他の回折光学要素の座標系に写像する、項目２６に記載の方法。
（項目２８）
複数の回折光学要素を使用して、複数のカメラの外因性パラメータを決定するためのシステムであって、前記システムは、
複数の回折光学要素と、
前記複数の回折光学要素の各１つのアイボックス内に留まるように構成された複数のカメラと、
前記複数のカメラに結合されたプロセッサと
を備え、
前記プロセッサは、実行可能命令を記憶しており、前記命令は、前記プロセッサによって実行されると、
複数の画像を前記複数のカメラから受信することであって、単一画像は、前記複数の回折光学要素のうちの１つに対する所与の位置における前記複数のカメラの各１つから受信される、ことと、
各画像に関して、データ対を識別することであって、各データ対は、前記画像における強度ピークのピクセル座標と、前記強度ピークに対応する前記回折光学要素によって生成された仮想光源とを含む、ことと、
前記識別されたデータ対と前記複数の回折光学要素の所定の変換行列とを使用して、前記複数のカメラの外因性パラメータを決定することと
を前記プロセッサに行わせる、システム。
（項目２９）
前記実行可能命令は、前記プロセッサによって実行されると、
前記データ対のうちの少なくとも一部の和を含むコスト関数を決定することと、
前記コスト関数を最適化し、前記複数のカメラのうちの各１つのための第１の変換行列を決定することと
を前記プロセッサにさらに行わせ、
前記第１の変換行列は、所与のカメラの座標系を対応する回折光学要素の座標系に写像し、前記外因性パラメータは、前記第１の変換行列を使用して決定される、項目２８に記載のシステム。
（項目３０）
前記複数のカメラのうちの１つの前記外因性パラメータは、前記複数のカメラのうちの１つの座標系を前記複数のカメラのうちの別の１つの座標系に写像する第２の変換行列を含む、項目２８に記載のシステム。
（項目３１）
前記回折光学要素は、無限距離回折光学要素であり、前記複数のカメラのうちの１つの前記外因性パラメータは、前記複数のカメラのうちの前記１つの座標系における回転を前記複数のカメラのうちの別の１つの座標系に写像する回転行列を含む、項目２８に記載のシステム。
（項目３２）
前記実行可能命令は、前記プロセッサによって実行されると、
前記複数のカメラの前記外因性パラメータを決定すると同時に、またはそれと並行して、前記複数のカメラの内因性パラメータを決定することを前記プロセッサにさらに行わせ、
前記内因性パラメータは、カメラの焦点距離、主点、および歪み係数のうちの１つ以上のものを含む、項目２８に記載のシステム。
（項目３３）
前記実行可能命令は、前記プロセッサによって実行されると、
前記複数のカメラの外因性パラメータを決定すると、
前記複数の回折光学要素を異なる回折光学要素と置換することと、
前記複数のカメラの前記外因性パラメータを使用して、前記異なる回折光学要素の外因性パラメータを決定することと
を前記プロセッサにさらに行わせる、項目２８に記載のシステム。
（項目３４）
前記異なる回折光学要素の前記外因性パラメータは、前記異なる回折光学要素のうちの所与の回折光学要素の座標系を前記異なる回折光学要素のうちの他の回折光学要素の座標系に写像する、項目３３に記載のシステム。

Claims (26)

1. 複数のカメラの外因性パラメータを決定するためのシステムであって、前記システムは、
   複数の回折光学要素と、
   複数のカメラであって、前記複数のカメラは、前記複数のカメラが前記複数の回折光学要素に対して第１の位置、第２の位置、および第３の位置に位置付けられているとき、前記複数の回折光学要素の各１つのアイボックス内に留まるように構成されている、複数のカメラと、
   前記複数のカメラに結合され、画像データを前記複数のカメラから受信するプロセッサと
   を備え、
   前記プロセッサは、実行可能命令を記憶しており、前記命令は、前記プロセッサによって実行されると、
   前記第１の位置、前記第２の位置、および前記第３の位置の各１つにおいて、
   複数の画像を前記複数のカメラから受信することであって、前記複数のカメラの各１つは、前記第１の位置、前記第２の位置、および前記第３の位置の各１つに位置付けられているとき、少なくとも１つの画像を撮影する、ことと、
   各画像に関して、データ対を識別することであって、各データ対は、前記画像における強度ピークのピクセル座標と、前記強度ピークに対応する前記回折光学要素によって生成された仮想光源とを含む、ことと、
   各画像に関する前記識別されたデータ対を使用して、前記複数のカメラの外因性パラメータを決定することと、
   前記第１の位置、前記第２の位置、および前記第３の位置の各１つにおける各画像に関する前記識別されたデータ対を使用して、前記複数の回折光学要素の外因性パラメータを決定することであって、前記複数の回折光学要素の前記外因性パラメータは、前記複数の回折光学要素のうちの所与の回折光学要素の座標系を前記複数の回折光学要素のうちの他の回折光学要素の座標系に写像する、ことと
   を前記プロセッサに行わせる、システム。
2. 前記複数の回折光学要素の前記外因性パラメータは、前記複数のカメラの前記外因性パラメータと並行して決定される、請求項１に記載のシステム。
3. 前記プロセッサは、実行可能命令を記憶しており、前記命令は、前記プロセッサによって実行されると、
   前記複数のカメラの前記外因性パラメータを決定すると同時に、またはそれと並行して、前記複数のカメラの内因性パラメータを決定することを前記プロセッサに行わせ、前記内因性パラメータは、カメラの焦点距離、主点、および歪み係数のうちの１つ以上のものを含む、請求項１に記載のシステム。
4. 前記複数のカメラの前記外因性パラメータは、前記複数のカメラのうちの所与のカメラの座標系を前記複数のカメラのうちの他のカメラの座標系に写像する、請求項１に記載のシステム。
5. 前記複数のカメラの前記外因性パラメータは、前記複数のカメラのうちの所与のカメラの座標系を複数のセンサの座標系に写像する、請求項１に記載のシステム。
6. 前記複数のカメラは、少なくとも１つの支持ビームを含む第１の支持システムに結合されている、請求項１に記載のシステム。
7. 前記複数のカメラは、前記第１の支持システムに同時に２つ結合され、前記複数の回折光学要素は、少なくとも１つの支持ビームを含む第２の支持システムに結合された２つの回折光学要素を含む、請求項６に記載のシステム。
8. 前記複数の回折光学要素は、少なくとも１つの支持ビームを含む支持システムに結合されている、請求項１に記載のシステム。
9. 前記プロセッサは、実行可能命令を記憶しており、前記命令は、前記プロセッサによって実行されると、
   前記複数のカメラのうちのあるカメラを前記第１の位置、前記第２の位置、または前記第３の位置のうちの１つに位置付けることを前記プロセッサに行わせる、請求項１に記載のシステム。
10. 複数のカメラの外因性パラメータを決定する方法であって、前記方法は、
    （ａ）複数の回折光学要素を提供することと、
    （ｂ）複数のカメラを提供することであって、前記複数のカメラは、前記複数のカメラが前記複数の回折光学要素に対して第１の位置、第２の位置、および第３の位置に位置付けられているとき、前記複数の回折光学要素の各１つのアイボックス内に位置付けられている、ことと、
    前記第１の位置、前記第２の位置、および前記第３の位置の各１つにおいて、
    （ｃ）複数の画像を前記複数のカメラから受信することであって、前記複数のカメラの各１つは、前記第１の位置、前記第２の位置、および前記第３の位置の各１つに位置付けられているとき、少なくとも１つの画像を撮影する、ことと、
    （ｄ）各画像に関して、データ対を識別することであって、各データ対は、前記画像における強度ピークのピクセル座標と、前記強度ピークに対応する前記回折光学要素によって生成された仮想光源とを含む、ことと、
    （ｅ）各画像に関する前記識別されたデータ対を使用して、前記複数のカメラの外因性パラメータを決定することと、
    （ｆ）前記第１の位置、前記第２の位置、および前記第３の位置の各１つにおける各画像に関する前記識別されたデータ対を使用して、前記複数の回折光学要素の外因性パラメータを決定することであって、前記複数の回折光学要素の前記外因性パラメータは、前記複数の回折光学要素のうちの所与の回折光学要素の座標系を前記複数の回折光学要素のうちの他の回折光学要素の座標系に写像する、ことと
    を含む、方法。
11. 前記複数の回折光学要素の前記外因性パラメータは、前記複数のカメラの前記外因性パラメータと同時に、またはそれと並行して決定される、請求項１０に記載の方法。
12. 前記複数のカメラの前記外因性パラメータを決定すると同時に、またはそれと並行して、前記複数のカメラの内因性パラメータを決定することをさらに含み、前記内因性パラメータは、カメラの焦点距離、主点、および歪み係数のうちの１つ以上のものを含む、請求項１０に記載の方法。
13. 前記複数のカメラの前記外因性パラメータは、前記複数のカメラのうちの所与のカメラの座標系を前記複数のカメラのうちの他のカメラの座標系に写像する、請求項１０に記載の方法。
14. 前記複数のカメラは、少なくとも１つの支持ビームを含む第１の支持システムに同時に２つ結合され、前記複数の回折光学要素は、少なくとも１つの支持ビームを含む第２の支持システムに結合された２つの回折光学要素を含む、請求項１０に記載の方法。
15. 前記複数のカメラの前記外因性パラメータは、前記複数のカメラのうちの所与のカメラの座標系を複数のセンサの座標系に写像する、請求項１０に記載の方法。
16. 前記複数のカメラのうちのあるカメラを前記第１の位置、前記第２の位置、または前記第３の位置のうちの１つに位置付けることをさらに含む、請求項１０に記載の方法。
17. 複数の回折光学要素を使用して、複数のカメラの外因性パラメータを決定する方法であって、前記方法は、
    複数の回折光学要素を提供することと、
    前記複数の回折光学要素の各１つのアイボックス内に位置付けられた複数のカメラを提供することと、
    複数の画像を前記複数のカメラから受信することであって、単一画像は、前記複数の回折光学要素のうちの１つに対する所与の位置における前記複数のカメラの各１つから受信される、ことと、
    各画像に関して、データ対を識別することであって、各データ対は、前記画像における強度ピークのピクセル座標と、前記強度ピークに対応する前記回折光学要素によって生成された仮想光源とを含む、ことと、
    前記識別されたデータ対と前記複数の回折光学要素の所定の変換行列とを使用して、前記複数のカメラの外因性パラメータを決定することと、
    前記複数のカメラの外因性パラメータを決定すると、
    前記複数の回折光学要素を異なる回折光学要素と置換することと、
    前記複数のカメラの前記外因性パラメータを使用して、前記異なる回折光学要素の外因性パラメータを決定することであって、前記異なる回折光学要素の前記外因性パラメータは、前記異なる回折光学要素のうちの所与の回折光学要素の座標系を前記異なる回折光学要素のうちの他の回折光学要素の座標系に写像する、ことと
    を含む、方法。
18. 前記データ対のうちの少なくとも一部の和を含むコスト関数を決定することと、
    前記コスト関数を最適化し、前記複数のカメラのうちの各１つのための第１の変換行列を決定することと
    をさらに含み、
    前記第１の変換行列は、所与のカメラの座標系を対応する回折光学要素の座標系に写像し、前記外因性パラメータは、前記第１の変換行列を使用して決定される、請求項１７に記載の方法。
19. 前記複数のカメラのうちの１つの前記外因性パラメータは、前記複数のカメラのうちの１つの座標系を前記複数のカメラのうちの別の１つの座標系に写像する第２の変換行列を含む、請求項１７に記載の方法。
20. 前記回折光学要素は、無限距離回折光学要素であり、前記複数のカメラのうちの１つの前記外因性パラメータは、前記複数のカメラのうちの前記１つの座標系における回転を前記複数のカメラのうちの別の１つの座標系に写像する回転行列を含む、請求項１７に記載の方法。
21. 前記複数のカメラの前記外因性パラメータを決定すると同時に、またはそれと並行して、前記複数のカメラの内因性パラメータを決定することをさらに含み、前記内因性パラメータは、カメラの焦点距離、主点、および歪み係数のうちの１つ以上のものを含む、請求項１７に記載の方法。
22. 複数の回折光学要素を使用して、複数のカメラの外因性パラメータを決定するためのシステムであって、前記システムは、
    複数の回折光学要素と、
    前記複数の回折光学要素の各１つのアイボックス内に留まるように構成された複数のカメラと、
    前記複数のカメラに結合されたプロセッサと
    を備え、
    前記プロセッサは、実行可能命令を記憶しており、前記命令は、前記プロセッサによって実行されると、
    複数の画像を前記複数のカメラから受信することであって、単一画像は、前記複数の回折光学要素のうちの１つに対する所与の位置における前記複数のカメラの各１つから受信される、ことと、
    各画像に関して、データ対を識別することであって、各データ対は、前記画像における強度ピークのピクセル座標と、前記強度ピークに対応する前記回折光学要素によって生成された仮想光源とを含む、ことと、
    前記識別されたデータ対と前記複数の回折光学要素の所定の変換行列とを使用して、前記複数のカメラの外因性パラメータを決定することと、
    前記複数のカメラの外因性パラメータを決定すると、
    前記複数の回折光学要素を異なる回折光学要素と置換することと、
    前記複数のカメラの前記外因性パラメータを使用して、前記異なる回折光学要素の外因性パラメータを決定することであって、前記異なる回折光学要素の前記外因性パラメータは、前記異なる回折光学要素のうちの所与の回折光学要素の座標系を前記異なる回折光学要素のうちの他の回折光学要素の座標系に写像する、ことと
    を前記プロセッサに行わせる、システム。
23. 前記実行可能命令は、前記プロセッサによって実行されると、
    前記データ対のうちの少なくとも一部の和を含むコスト関数を決定することと、
    前記コスト関数を最適化し、前記複数のカメラのうちの各１つのための第１の変換行列を決定することと
    を前記プロセッサにさらに行わせ、
    前記第１の変換行列は、所与のカメラの座標系を対応する回折光学要素の座標系に写像し、前記外因性パラメータは、前記第１の変換行列を使用して決定される、請求項２２に記載のシステム。
24. 前記複数のカメラのうちの１つの前記外因性パラメータは、前記複数のカメラのうちの１つの座標系を前記複数のカメラのうちの別の１つの座標系に写像する第２の変換行列を含む、請求項２２に記載のシステム。
25. 前記回折光学要素は、無限距離回折光学要素であり、前記複数のカメラのうちの１つの前記外因性パラメータは、前記複数のカメラのうちの前記１つの座標系における回転を前記複数のカメラのうちの別の１つの座標系に写像する回転行列を含む、請求項２２に記載のシステム。
26. 前記実行可能命令は、前記プロセッサによって実行されると、
    前記複数のカメラの前記外因性パラメータを決定すると同時に、またはそれと並行して、前記複数のカメラの内因性パラメータを決定することを前記プロセッサにさらに行わせ、
    前記内因性パラメータは、カメラの焦点距離、主点、および歪み係数のうちの１つ以上のものを含む、請求項２２に記載のシステム。