JP2017229067A5 - - Google Patents

Description

以上より、前述の説明は、本開示の原理を説明し、よって、当業者は、たとえ本明細書中で明示的に記載されていなくても、本開示の原理を具現化し且つその主旨及び適用範囲の中にある多数の代替の配置を思い付くことができると認識されるだろう。従って、多数の変更は、実例となる実施形態に対して行われ、他の配置は、本開示の適用範囲から逸脱することなしに想到され得ることが理解されるべきである。
上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
少なくとも１つのライトフィールドカメラにより一対の立体画像を生成する方法であって、
左ビュー及び右ビューについての夫々の必要とされるカメラパラメータを受け取り、該必要とされるカメラパラメータは、理論上のステレオ画像対を定義し、
前記ライトフィールドカメラによって捕捉された画像に基づき生成される夫々のサブアパーチャ画像についての夫々の実際のカメラパラメータを取得し、
前記左ビューについての必要とされるカメラパラメータを前記夫々のサブアパーチャ画像についての前記実際のカメラパラメータと比較することによって前記左ビューについてのベストマッチングのサブアパーチャ画像を決定し、前記右ビューについての必要とされるカメラパラメータを前記夫々のサブアパーチャ画像についての前記実際のカメラパラメータと比較することによって前記右ビューについてのベストマッチングのサブアパーチャ画像を決定し、
前記左ビューについてのベストマッチングのサブアパーチャ画像及び前記右ビューについてのベストマッチングのサブアパーチャ画像を立体画像の対として関連付ける
ことを有する方法。
（付記２）
前記サブアパーチャ画像についての前記実際のカメラパラメータは、
前記ライトフィールドカメラによって捕捉された前記画像におけるシーン内のオブジェクトの画像を受け取り、該オブジェクトの夫々の特徴点のシーンワールド座標を取得し、
前記オブジェクトの前記受け取られた画像から複数のサブアパーチャ画像を生成し、
前記オブジェクトの夫々の特徴点の前記シーンワールド座標と、夫々の特徴点の前記シーンワールド座標に対応する前記サブアパーチャ画像内のピクセル座標とに基づき、前記実際のカメラパラメータを推定する
ことによって推定される、
付記１に記載の方法。
（付記３）
前記実際のカメラパラメータ及び前記必要とされるカメラパラメータは、回転行列Ｒ及び並進ベクトルｔを夫々有する、
付記１に記載の方法。
（付記４）
前記左ビューについての決定されたベストマッチングのサブアパーチャ画像の実際のカメラパラメータは、前記左ビューについての必要とされるカメラパラメータに対して最も近い値を有し、前記右ビューについての決定されたベストマッチングのサブアパーチャ画像の実際のカメラパラメータは、前記右ビューについての必要とされるカメラパラメータに対して最も近い値を有する、
付記１に記載の方法。
（付記５）
前記ライトフィールドカメラは、左ビューのためのライトフィールドカメラ及び右ビューのためのライトフィールドカメラを含み、
前記決定することは、
前記左ビューについての必要とされるカメラパラメータを、前記左ビューのためのライトフィールドカメラによって捕捉された画像に基づき生成される夫々のサブアパーチャ画像についての夫々の実際のカメラパラメータと比較することによって、前記左ビューについてのベストマッチングのサブアパーチャ画像を決定し、
前記右ビューについての必要とされるカメラパラメータを、前記右ビューのためのライトフィールドカメラによって捕捉された画像に基づき生成される夫々のサブアパーチャ画像についての夫々の実際のカメラパラメータと比較することによって、前記右ビューについてのベストマッチングのサブアパーチャ画像を決定する
ことを更に含む、
付記１に記載の方法。
（付記６）
前記関連付けることは、
前記左ビューについてのベストマッチングのサブアパーチャ画像以外のサブアパーチャ画像である前記左ビューについての残りのサブアパーチャ画像の実際のカメラパラメータを前記左ビューについてのベストマッチングのサブアパーチャ画像の実際のカメラパラメータに移すことができる伝達行列Ｄ _Ｌｒｅｍ を計算し、該伝達行列Ｄ _Ｌｒｅｍ は、左ビューについての夫々のサブアパーチャ画像について計算され、
前記右ビューについてのベストマッチングのサブアパーチャ画像以外のサブアパーチャ画像である前記右ビューについての残りのサブアパーチャ画像の実際のカメラパラメータを前記右ビューについてのベストマッチングのサブアパーチャ画像の実際のカメラパラメータに移すことができる伝達行列Ｄ _Ｒｒｅｍ を計算し、該伝達行列Ｄ _Ｒｒｅｍ は、右ビューについての夫々のサブアパーチャ画像について計算され、
前記左ビューについての残りのサブアパーチャ画像を、前記Ｄ _Ｒｒｅｍ が前記Ｄ _Ｌｒｅｍ に対して最も近い値を有するところの前記右ビューについての残りのサブアパーチャ画像と関連付ける
ことを更に有する、
付記４に記載の方法。
（付記７）
前記ベストマッチングのサブアパーチャ画像以外である残りのサブアパーチャ画像を、左ビューについての残りのサブアパーチャ画像又は右ビューについての残りのサブアパーチャ画像のいずれかに分類することを更に有し、
前記分類することは、
前記残りのサブアパーチャ画像の実際のカメラパラメータを前記左ビューについてのベストマッチングのサブアパーチャ画像の実際のカメラパラメータに移すことができるＤ _Ｌｒｅｍ を計算し、
前記残りのサブアパーチャ画像の実際のカメラパラメータを前記右ビューについてのベストマッチングのサブアパーチャ画像の実際のカメラパラメータに移すことができるＤ _Ｒｒｅｍ を計算し、
前記Ｄ _Ｌｒｅｍ 及び前記Ｄ _Ｒｒｅｍ を比較し、前記残りのサブアパーチャ画像を、前記Ｄ _Ｌｒｅｍ が前記Ｄ _Ｒｒｅｍ よりも小さい場合には、前記左ビューについての残りのサブアパーチャ画像に分類し、前記Ｄ _Ｌｒｅｍ が前記Ｄ _Ｒｒｅｍ よりも小さくない場合には、前記右ビューについての残りのサブアパーチャ画像に分類する
ことを有する、
付記１に記載の方法。
（付記８）
前記Ｄ _Ｌｒｅｍ 及び前記Ｄ _Ｒｒｅｍ を比較し、前記Ｄ _Ｌｒｅｍ が前記Ｄ _Ｒｒｅｍ に等しい場合には、前記左ビューについての残りのサブアパーチャ画像にも、前記右ビューについての残りのサブアパーチャ画像にも分類しないことを更に有する
付記７に記載の方法。
（付記９）
前記左ビューについての残りのサブアパーチャ画像に分類された前記残りのサブアパーチャ画像を、前記Ｄ _Ｒｒｅｍ が、前記左ビューについての残りのサブアパーチャ画像に分類された前記残りのサブアパーチャ画像の前記Ｄ _Ｌｒｅｍ に対して最も近い値を有するところの、前記右ビューについての残りのサブアパーチャ画像に分類された前記残りのサブアパーチャ画像と関連付けることを更に有する
付記７に記載の方法。
（付記１０）
一対の立体画像を生成するデバイスであって、
プロセッサを有し、該プロセッサは、
左ビュー及び右ビューについての夫々の必要とされるカメラパラメータを受け取り、該必要とされるカメラパラメータは、理論上のステレオ画像対を定義し、
ライトフィールドカメラによって捕捉された画像に基づき生成される夫々のサブアパーチャ画像についての夫々の実際のカメラパラメータを取得し、
前記左ビューについての必要とされるカメラパラメータを前記夫々のサブアパーチャ画像についての前記実際のカメラパラメータと比較することによって前記左ビューについてのベストマッチングのサブアパーチャ画像を決定し、前記右ビューについての必要とされるカメラパラメータを前記夫々のサブアパーチャ画像についての前記実際のカメラパラメータと比較することによって前記右ビューについてのベストマッチングのサブアパーチャ画像を決定し、
前記左ビューについてのベストマッチングのサブアパーチャ画像及び前記右ビューについてのベストマッチングのサブアパーチャ画像を立体画像の対として関連付ける
よう構成される、デバイス。
（付記１１）
前記サブアパーチャ画像についての前記実際のカメラパラメータは、
前記ライトフィールドカメラによって捕捉されたシーン内のオブジェクトの画像を受け取り、該オブジェクトの夫々の特徴点のシーンワールド座標を取得し、
前記オブジェクトの前記受け取られた画像から複数のサブアパーチャ画像を生成し、
前記オブジェクトの夫々の特徴点の前記シーンワールド座標と、夫々の特徴点の前記シーンワールド座標に対応する前記サブアパーチャ画像内のピクセル座標とに基づき、前記実際のカメラパラメータを推定する
ことによって推定される、
付記１０に記載のデバイス。
（付記１２）
コンピュータによって読み出し可能な及び／又はプロセッサによって実行可能な媒体に記録され且つ／あるいは通信ネットワークからダウンロードされるコンピュータプログラムであって、
付記１乃至９のうちいずれか一項に記載の方法を実施するプログラムコード命令を有する
コンピュータプログラム。
（付記１３）
付記１乃至９のうちいずれか一項に記載の方法を実施するプログラムコード命令を含む、プロセッサによって実行されることが可能なコンピュータプログラムが記録されている非一時的なコンピュータ可読媒体。

Claims (13)

1. 少なくとも１つのライトフィールドカメラにより一対の立体画像を生成する方法であって、
   ソースから、左ビュー及び右ビューについての夫々の理論上のライトフィールドカメラパラメータを受け取り、前記理論上のライトフィールドカメラパラメータは、理論上のステレオ画像対を定義し、
   前記少なくとも１つのライトフィールドカメラにより画像を取得し、
   前記少なくとも１つのライトフィールドカメラにより捕捉された前記画像に基づいて、前記少なくとも１つのライトフィールドカメラによって捕捉された前記画像から生成される夫々のサブアパーチャ画像についての夫々の実際のライトフィールドカメラパラメータを取得し、
   前記左ビューについての前記理論上のライトフィールドカメラパラメータを前記夫々のサブアパーチャ画像についての前記実際のライトフィールドカメラパラメータと比較することによって前記左ビューについてのベストマッチングのサブアパーチャ画像を決定し、前記右ビューについての前記理論上のライトフィールドカメラパラメータを前記夫々のサブアパーチャ画像についての前記実際のライトフィールドカメラパラメータと比較することによって前記右ビューについてのベストマッチングのサブアパーチャ画像を決定し、
   前記一対の立体画像を生成するために、前記左ビューについてのベストマッチングのサブアパーチャ画像及び前記右ビューについてのベストマッチングのサブアパーチャ画像を関連付け、
   前記左ビューについての前記ベストマッチングのサブアパーチャ画像の前記実際のライトフィールドカメラパラメータは、左ビューについての前記理論上のライトフィールドカメラパラメータに対して最も近い値を有し、右ビューについての前記ベストマッチングのサブアパーチャ画像の前記実際のライトフィールドカメラパラメータは、前記右ビューについての前記理論上のライトフィールドカメラパラメータに対して最も近い値を有する、
   ことを有する方法。
2. 前記サブアパーチャ画像についての前記実際のライトフィールドカメラパラメータは、
   前記少なくとも１つのライトフィールドカメラによって捕捉された前記画像におけるシーン内のオブジェクトの画像を受け取り、前記オブジェクトの夫々の特徴点のシーンワールド座標を取得し、
   前記オブジェクトの前記受け取られた画像から複数のサブアパーチャ画像を生成し、
   前記オブジェクトの夫々の特徴点の前記シーンワールド座標と、夫々の特徴点の前記シーンワールド座標に対応する前記サブアパーチャ画像内のピクセル座標とに基づき、前記実際のライトフィールドカメラパラメータを推定する
   ことによって推定される、
   請求項１に記載の方法。
3. 前記実際のライトフィールドカメラパラメータ及び前記理論上のライトフィールドカメラパラメータは、回転行列Ｒ及び並進ベクトルｔを夫々有する、
   請求項１に記載の方法。
4. 前記少なくとも１つのライトフィールドカメラは、左ビューのためのライトフィールドカメラ及び右ビューのためのライトフィールドカメラを含み、
   前記決定することは、
   前記左ビューについての前記理論上のライトフィールドカメラパラメータを、前記左ビューのためのライトフィールドカメラによって捕捉された画像に基づき生成される夫々のサブアパーチャ画像についての前記夫々の実際のライトフィールドカメラパラメータと比較することによって、前記左ビューについてのベストマッチングのサブアパーチャ画像を決定し、
   前記右ビューについての前記理論上のライトフィールドカメラパラメータを、前記右ビューのためのライトフィールドカメラによって捕捉された画像に基づき生成される夫々のサブアパーチャ画像についての前記夫々の実際のライトフィールドカメラパラメータと比較することによって、前記右ビューについてのベストマッチングのサブアパーチャ画像を決定する
   ことを更に含む、
   請求項１に記載の方法。
5. 前記関連付けることは、
   前記左ビューについてのベストマッチングのサブアパーチャ画像以外のサブアパーチャ画像である前記左ビューについての残りのサブアパーチャ画像の実際のライトフィールドカメラパラメータを前記左ビューについてのベストマッチングのサブアパーチャ画像の実際のライトフィールドカメラパラメータに移せる伝達行列Ｄ_Ｌｒｅｍを計算し、前記伝達行列Ｄ_Ｌｒｅｍは、左ビューについての夫々のサブアパーチャ画像について計算され、
   前記右ビューについてのベストマッチングのサブアパーチャ画像以外のサブアパーチャ画像である前記右ビューについての残りのサブアパーチャ画像の実際のライトフィールドカメラパラメータを前記右ビューについてのベストマッチングのサブアパーチャ画像の実際のライトフィールドカメラパラメータに移せる伝達行列Ｄ_Ｒｒｅｍを計算し、前記伝達行列Ｄ_Ｒｒｅｍは、右ビューについての夫々のサブアパーチャ画像について計算され、
   前記左ビューについての残りのサブアパーチャ画像を、前記Ｄ_Ｒｒｅｍが前記Ｄ_Ｌｒｅｍに対して最も近い値を有するところの前記右ビューについての残りのサブアパーチャ画像と関連付け、
   前記残りのサブアパーチャ画像は、前記ベストマッチングのサブアパーチャ画像以外のサブアパーチャ画像である、
   ことを更に有する、
   請求項１に記載の方法。
6. 前記ベストマッチングのサブアパーチャ画像以外である残りのサブアパーチャ画像を、左ビューについての残りのサブアパーチャ画像又は右ビューについての残りのサブアパーチャ画像のいずれかに分類することを更に有し、
   前記分類することは、
   前記残りのサブアパーチャ画像の実際のライトフィールドカメラパラメータを前記左ビューについてのベストマッチングのサブアパーチャ画像の実際のライトフィールドカメラパラメータに移せるＤ_Ｌｒｅｍを計算し、
   前記残りのサブアパーチャ画像の実際のライトフィールドカメラパラメータを前記右ビューについてのベストマッチングのサブアパーチャ画像の実際のライトフィールドカメラパラメータに移せるＤ_Ｒｒｅｍを計算し、
   Ｄ_Ｌｒｅｍ及びＤ_Ｒｒｅｍを比較し、前記残りのサブアパーチャ画像を、前記Ｄ_Ｌｒｅｍが前記Ｄ_Ｒｒｅｍよりも小さい場合には、前記左ビューについての残りのサブアパーチャ画像に分類し、前記Ｄ_Ｌｒｅｍが前記Ｄ_Ｒｒｅｍよりも小さくない場合には、前記右ビューについての残りのサブアパーチャ画像に分類する
   ことを有する、
   請求項１に記載の方法。
7. Ｄ_Ｌｒｅｍ及びＤ_Ｒｒｅｍを比較し、前記Ｄ_Ｌｒｅｍが前記Ｄ_Ｒｒｅｍに等しい場合には、前記左ビューについての残りのサブアパーチャ画像にも、前記右ビューについての残りのサブアパーチャ画像にも分類しないことを更に有する
   請求項６に記載の方法。
8. 前記左ビューについての残りのサブアパーチャ画像に分類された前記残りのサブアパーチャ画像を、Ｄ_Ｒｒｅｍが、前記左ビューについての残りのサブアパーチャ画像に分類された前記残りのサブアパーチャ画像のＤ_Ｌｒｅｍに対して最も近い値を有するところの、前記右ビューについての残りのサブアパーチャ画像に分類された前記残りのサブアパーチャ画像と関連付けることを更に有する
   請求項６に記載の方法。
9. 一対の立体画像を生成するデバイスであって、
   プロセッサを有し、前記プロセッサは、
   ソースから、左ビュー及び右ビューについての夫々の理論上のライトフィールドカメラパラメータを受け取り、前記理論上のライトフィールドカメラパラメータは、理論上のステレオ画像対を定義し、
   少なくとも１つのライトフィールドカメラにより捕捉された画像に基づいて、前記少なくとも１つのライトフィールドカメラによって捕捉された画像から生成される夫々のサブアパーチャ画像についての夫々の実際のライトフィールドカメラパラメータを取得し、
   前記左ビューについての前記理論上のライトフィールドカメラパラメータを前記夫々のサブアパーチャ画像についての前記実際のライトフィールドカメラパラメータと比較することによって前記左ビューについてのベストマッチングのサブアパーチャ画像を決定し、前記右ビューについての前記理論上のライトフィールドカメラパラメータを前記夫々のサブアパーチャ画像についての前記実際のライトフィールドカメラパラメータと比較することによって前記右ビューについてのベストマッチングのサブアパーチャ画像を決定し、
   前記一対の立体画像を生成するために、前記左ビューについてのベストマッチングのサブアパーチャ画像及び前記右ビューについてのベストマッチングのサブアパーチャ画像を関連付け、
   前記左ビューについての前記決定されたベストマッチングのサブアパーチャ画像の前記実際のライトフィールドカメラパラメータは、左ビューについての前記理論上のライトフィールドカメラパラメータに対して最も近い値を有し、右ビューについての前記決定されたベストマッチングのサブアパーチャ画像の前記実際のライトフィールドカメラパラメータは、前記右ビューについての前記理論上のライトフィールドカメラパラメータに対して最も近い値を有する、
   よう構成される、デバイス。
10. 前記サブアパーチャ画像についての前記実際のライトフィールドカメラパラメータは、
    前記少なくとも１つのライトフィールドカメラによって捕捉されたシーン内のオブジェクトの画像を受け取り、前記オブジェクトの夫々の特徴点のシーンワールド座標を取得し、
    前記オブジェクトの前記受け取られた画像から複数のサブアパーチャ画像を生成し、
    前記オブジェクトの夫々の特徴点の前記シーンワールド座標と、夫々の特徴点の前記シーンワールド座標に対応する前記サブアパーチャ画像内のピクセル座標とに基づき、前記実際のライトフィールドカメラパラメータを推定する
    ことによって推定される、
    請求項９に記載のデバイス。
11. 前記少なくとも１つのライトフィールドカメラは、左ビューのためのライトフィールドカメラ及び右ビューのためのライトフィールドカメラを含み、
    前記決定することは、
    前記左ビューについての前記理論上のライトフィールドカメラパラメータを、前記左ビューのためのライトフィールドカメラによって捕捉された画像に基づき生成される夫々のサブアパーチャ画像についての前記夫々の実際のライトフィールドカメラパラメータと比較することによって、前記左ビューについてのベストマッチングのサブアパーチャ画像を決定し、
    前記右ビューについての前記理論上のライトフィールドカメラパラメータを、前記右ビューのためのライトフィールドカメラによって捕捉された画像に基づき生成される夫々のサブアパーチャ画像についての前記夫々の実際のライトフィールドカメラパラメータと比較することによって、前記右ビューについてのベストマッチングのサブアパーチャ画像を決定する
    ことを更に含む、
    請求項９に記載のデバイス。
12. コンピュータによって読み出し可能なプログラムコード命令を記録した媒体であって、
    前記プログラムコード命令は、請求項１乃至８のうちいずれか一項に記載の方法を実行する
    コンピュータプログラム。
13. 請求項１乃至８のうちいずれか一項に記載の方法を実行するプログラムコード命令を含む、プロセッサによって実行されることが可能なコンピュータプログラムが記録されている非一時的なコンピュータ可読媒体。