JP2017529620A5 - - Google Patents

Claims (15)

1. 一連の画像フレームのうちの第1の画像フレームを画像取り込みデバイスから受信するステップと、
   前記第1の画像フレームと第2の画像フレームとを第1の解像度において比較することによって、前記第1の画像フレームに対応するカメラ姿勢をプロセッサにおいて推定するステップであって、前記第2の画像フレームが、前記一連の画像フレーム内で前記第1の画像フレームに先行する、推定するステップと、
   前記推定されたカメラ姿勢に基づいて選択されたキーフレームのセットからキーフレームを選択するステップと、
   前記第1の画像フレームと前記選択されたキーフレームとを前記第1の解像度より高い第2の解像度において比較することによって、前記第1の画像フレームに対応する精細化されたカメラ姿勢を前記プロセッサにおいて推定するステップとを含み、前記選択されたキーフレームが、前記一連の画像フレーム内で前記第2の画像フレームに先行する画像フレームに対応する、方法。
2. 前記カメラ姿勢を推定するステップが、前記カメラ姿勢を前記プロセッサの第1の処理スレッドの一部として前記推定するステップを実行するステップを含み、前記精細化されたカメラ姿勢を推定するステップが、前記精細化されたカメラ姿勢を前記プロセッサの第2の処理スレッドの一部として前記推定するステップを実行するステップを含むか、または、
   前記プロセッサが、処理スレッドを並列に実行するように構成され、前記第1の処理スレッドおよび前記第2の処理スレッドが並列に実行される、請求項1に記載の方法。
3. 前記第1の画像フレームに対応する前記カメラ姿勢を推定するステップが、
   前記第1の画像フレームの第1の取り込みと前記第2の画像フレームの第2の取り込みとの間の、前記画像取り込みデバイスの相対運動の推定値に基づいて前記第1の画像フレームを変換することによって、曲げられたフレームを生成するステップと、
   前記曲げられたフレームの1つまたは複数のピクセルと前記第2の画像フレームの1つまたは複数のピクセルとの間のピクセル強度の差を示すピクセル強度エラーを決定するステップと、
   前記第2の画像フレームの前記1つまたは複数のピクセルの法線値に基づいて深度エラーを決定するステップとを含み、前記深度エラーが、前記曲げられたフレームの前記1つまたは複数のピクセルと前記第2の画像フレームの前記1つまたは複数のピクセルとの間の深度の差を示すか、または、
   前記第1の画像フレームに対応する前記精細化されたカメラ姿勢を推定するステップが、
   前記第1の画像フレームの第1の取り込みと前記キーフレームの第2の取り込みとの間の、前記画像取り込みデバイスの相対運動の推定値に基づいて前記第1の画像フレームを変換することによって、曲げられたフレームを生成するステップと、
   前記曲げられたフレームの1つまたは複数のピクセルと前記キーフレームの1つまたは複数のピクセルとの間のピクセル強度の差を示すピクセル強度エラーを決定するステップと、
   前記キーフレームの前記1つまたは複数のピクセルの法線値に基づいて深度エラーを決定するステップとを含み、前記深度エラーが、前記曲げられたフレームの前記1つまたは複数のピクセルと前記キーフレームの前記1つまたは複数のピクセルとの間の深度の差を示す、請求項1に記載の方法。
4. 前記第1の画像フレームと前記キーフレームとの間の、前記第1の画像フレームの第1のピクセル値と前記キーフレームの第2のピクセル値とのピクセルごとの比較に基づく、重複率を前記プロセッサにおいて決定するステップと、
   前記重複率と重複率しきい値とを比較して比較結果を生成するステップと、
   前記第1の画像フレームおよび前記キーフレームが相違していることを示す前記比較結果に基づいて新しいキーフレームを生成するステップとをさらに含むか、または、
   前記新しいキーフレームを生成するステップが、メモリ内の前記第1の画像フレームに対応するコピー画像フレームを生成するステップを含み、前記コピー画像フレームを前記新しいキーフレームとして指定するステップをさらに含むか、または、
   前記第1のピクセル値が、深度値、測光値、またはそれらの組合せを含む、請求項1に記載の方法。
5. 前記精細化されたカメラ姿勢および前記一連の画像フレームに基づいて3次元点群を生成するステップをさらに含むか、または、
   前記一連の画像フレームのうちの1つまたは複数の追加の画像フレームを前記画像取り込みデバイスから受信するステップと、
   前記1つまたは複数の追加の画像フレームに基づいて前記3次元点群を更新するステップとをさらに含み、前記3次元点群を更新するレートが、前記1つまたは複数の追加の画像フレームを受信するレートに実質的に等しいレートを含む、請求項1に記載の方法。
6. 前記カメラ姿勢が、前記第1の画像フレームが取り込まれていることに基づいて特定の時間における、前記画像取り込みデバイスの位置の近似値を示すか、または、
   前記画像取り込みデバイスが、前記第2の解像度より高い第3の解像度において前記第1の画像を取り込む、請求項1に記載の方法。
7. プロセッサと、
   命令を記憶するメモリとを備え、前記命令が、前記プロセッサに、
   一連の画像フレームのうちの第1の画像フレームを画像取り込みデバイスから受信することと、
   前記第1の画像フレームと第2の画像フレームとの、第1の解像度における第1の比較に基づいて前記第1の画像フレームに対応するカメラ姿勢を推定することであって、前記第2の画像フレームが前記一連の画像フレーム内で前記第1の画像フレームに先行する、推定することと、
   前記推定されたカメラ姿勢に基づいて選択されたキーフレームのセットからキーフレームを選択することと、
   前記第1の画像フレームと前記選択されたキーフレームとの、前記第1の解像度より高い第2の解像度における第2の比較に基づいて前記第1の画像フレームに対応する精細化されたカメラ姿勢を推定することとを行わせることを、前記プロセッサによって実行可能であり、前記選択されたキーフレームが、前記一連の画像フレーム内で前記第2の画像フレームに先行する画像フレームに対応する、装置。
8. 前記プロセッサが、前記カメラ姿勢を前記プロセッサの第1の処理スレッドの一部として前記推定することを実行し、前記プロセッサが、前記精細化されたカメラ姿勢を前記プロセッサの第2の処理スレッドの一部として前記推定することを実行する、請求項7に記載の装置。
9. 前記命令が、前記プロセッサに、
   前記画像取り込みデバイスの位置と前記第2の画像フレームに対応する座標との間の相対運動の推定値に基づいて前記第1の画像フレームを変換することと、
   前記変換された第1の画像に基づいて、曲げられたフレームを生成することとを行わせることをさらに実行可能である、請求項7に記載の装置。
10. 前記命令が、前記プロセッサに、前記曲げられたフレームの1つまたは複数のピクセルと前記第2の画像フレームの1つまたは複数のピクセルとの間のピクセル強度の差を示す、ピクセル強度エラーを決定させることをさらに実行可能であり、
    前記命令が、前記プロセッサに、前記第2の画像フレームの1つまたは複数のピクセルの法線値に基づいて深度エラーを決定させることをさらに実行可能であり、前記深度エラーが、前記曲げられたフレームの1つまたは複数のピクセルと前記第2の画像フレームの1つまたは複数のピクセルとの間の深度の差を示す、請求項9に記載の装置。
11. 前記命令が、前記プロセッサに、前記第1の画像フレームとキーフレームとの間の重複率を決定させることをさらに実行可能である、請求項7に記載の装置。
12. 前記重複率が、前記第1の画像フレームの第1のピクセル値と前記キーフレームの第2のピクセル値とのピクセルごとの比較に基づく、請求項11に記載の装置。
13. 前記命令が、前記プロセッサに、前記重複率と重複率しきい値との比較に基づく結果を生成させることをさらに実行可能である、請求項11に記載の装置。
14. 前記命令が、前記プロセッサに、前記第1の画像フレームが前記キーフレームに類似していないことを示す前記結果に基づいて、新しいキーフレーム生成させることをさらに実行可能である、請求項13に記載の装置。
15. 命令を記憶するコンピュータ可読記憶デバイスであって、前記命令が、プロセッサによって実行されたとき、前記プロセッサに、
    一連の画像フレームのうちの第1の画像フレームを画像取り込みデバイスから受信することと、
    前記第1の画像フレームと第2の画像フレームとの、第1の解像度における第1の比較に基づいて前記第1の画像フレームに対応するカメラ姿勢を推定することであって、前記第2の画像フレームが前記一連の画像フレーム内で前記第1の画像フレームに先行する、推定することと、
    前記推定されたカメラ姿勢に基づいて選択されたキーフレームのセットからキーフレームを選択することと、
    前記第1の画像フレームと前記選択されたキーフレームとの、前記第1の解像度より高い第2の解像度における第2の比較に基づいて前記第1の画像フレームに対応する精細化されたカメラ姿勢を推定することとを行わせ、前記選択されたキーフレームが、前記一連の画像フレーム内で前記第2の画像フレームに先行する画像フレームに対応する、コンピュータ可読記憶デバイス。