JP2015176600A5 - - Google Patents

Claims (12)

1. ３次元モデルを生成するシステムであって、
   シーンの奥行きを表すレンジデータを取得する複数のレンジデータ取得デバイスおよびシーンの可視画像データを取得する複数の可視画像取得デバイスから、観測点が異なる複数の可視画像データおよび複数のレンジデータを取得する取得部と、
   対応する観測点のレンジデータと可視画像データを組み合わせることによって前記観測点ごとに３次元モデルを作り出すモデル作成部と、
   観測点が異なる複数の前記の３次元モデルをソース非依存の正準空間上に幾何変換することにより前記複数の３次元モデルをマージするシーン位置合わせを遂行するシーン位置合わせ処理部と、
   を含む、システム。
2. 前記レンジデータをフィルター処理し、前記レンジデータに含まれるノイズを低減するプロセッサーをさらに含む、請求項１に記載のシステム。
3. 前記シーンモデルをエンコードしてネットワークを通じて伝送する伝送部
   をさらに含む、請求項１または２に記載のシステム。
4. エンコードされたシーンモデルを受信し、前記エンコードされたシーンモデルを用いて１つ以上のディスプレイデバイスを用いて表示するために前記シーンの視像をレンダリングするレンダリング処理部をさらに含む、請求項３に記載のシステム。
5. 前記モデル作成部に通信可能に結合され、１つ以上のオーディオ入力デバイスから前記シーンに関するオーディオデータを受信するオーディオモジュールをさらに含む、請求項１ないし４のいずれか一項に記載のシステム。
6. 前記シーン位置合わせ処理部が、
   入力デバイスが、入力デバイスのセンサーの一部に前記センサーの視野内に影響を受けることに応答して、前記入力デバイスがそのセンサーの前記影響を受けた部分をマスクするための画像マスクを生成するステップ、
   複数の入力デバイスの前記視野内に点取得デバイスを配置するステップ、
   複数の入力デバイスによってキャプチャーされたデータ間の点の対応を見つけるために用いられる点を生成するために、前記点取得デバイスからの１つ以上の信号を用いるステップ、
   シーンの複数の画像データの各々の内の３次元点を特定するために前記点の対応を用いるステップ、および
   シーン位置合わせ行列を得るべくバンドル調整を遂行するために前記特定された３次元点の少なくとも一部を用いるステップ、
   を遂行するように構成される、請求項１ないし４のいずれか一項に記載のシステム。
7. 前記シーン位置合わせ処理部が、
   観測点から獲得された前記シーンに関するデータからの点群生成を遂行するステップ、
   前記点群内の平面表面を検出するステップ、
   前記検出された平面表面の中から床面を特定するステップ、
   前記床面に対応する点がｚ＝０平面へ写像され、垂直方向が正しくなるように、前記点群を変換する正準変換を推定するステップ、
   前記シーン内のコンテンツを前記床面へ投影することによってボクセルセグメント化を遂行するステップ、
   前記検出された平面表面から選択された潜在的壁面との前記床面の交線を特定するステップ、
   点群間の１つ以上の面内回転推定を特定するために前記交線の少なくとも一部をガイドライン交線として用いるステップ、
   前記ボクセルマップを参照して面内並進移動推定を得るステップ、および
   点群のために、シーン位置合わせ行列を形成するために前記正準変換、面内回転、および面内並進移動を組み合わせるステップ、
   を遂行するように構成される、請求項１ないし５のいずれか一項に記載のシステム。
8. 前記シーン位置合わせ処理部が、１つ以上の幾何変換を改善するためにシーン再位置合わせを遂行するステップをさらに遂行する、請求項１ないし６のいずれか一項に記載のシステム。
9. 
10. 再投影する前記ステップが、
    未知の値を表現する識別子で埋められる第１の奥行きバッファーを生成すること、
    前記入力デバイスの１つから得られた点群内の点のために、初期変換およびカメラ固有値を用いて、投影されたピクセル値を算出すること、
    前記投影されたピクセルの前記値を前記第１の奥行きバッファー内の対応するピクセルの値と比較し、前記第１の奥行きバッファー内の前記値が（１）前記未知の値であるかまたは（２）前記対応する投影されたピクセルの奥行き値よりも大きいことに応答して、前記第１の奥行きバッファー内の前記奥行き値を、投影されたピクセルの奥行き値に設定すること、
    第２の適当な大きさの奥行きバッファーを作成し、それを、未知の値を表現する識別子で埋めること、
    前記第１の奥行きバッファー内のピクセル値を貫いてループすることであって、
    前記第１の奥行きバッファー内の前記値が未知の値ではない場合には、前記第２の奥行きバッファー内のピクセルの奥行き値を、前記第１の奥行きバッファー内の前記対応するピクセルの前記値に設定し、
    さもなければ、未知の値ではない前記第１の奥行きバッファー内の値の近傍がいくらかでも存在する場合には、前記ピクセルの奥行き値を、未知の値ではない前記第１の奥行きバッファー内の値の近傍の平均値に設定するために、
    ループすること、
    前記第２の奥行きバッファーからの値を用いて実世界のＸおよびＹ値を生成すること、
    ならびに
    投影点を得るためにＸ、Ｙ、およびＺ値を組み合わせること、
    を含む、請求項９に記載のシステム。
11. ３次元モデルを生成する方法であって、
    観測点が異なる複数の可視画像データおよびシーンの奥行きを表す複数のレンジデータを取得するステップと、
    同じ観測点のレンジデータと可視画像データを組み合わせることによって前記観測点ごとに３次元モデルを作り出すステップと、
    観測点が異なる複数の前記３次元モデルをソース非依存の正準空間上に幾何変換することにより前記複数の３次元モデルをマージするシーン位置合わせを遂行するステップと、
    を含む、方法。
12. ３次元モデルを生成するためのプログラムであって、
    コンピューターに、
    観測点が異なる複数の可視画像データおよびシーンの奥行きを表す複数のレンジデータを取得するステップと、
    同じ観測点のレンジデータと可視画像データを組み合わせることによって前記観測点ごとに３次元モデルを作り出すステップと、
    観測点が異なる複数の前記３次元モデルをソース非依存の正準空間上に幾何変換することにより前記複数の３次元モデルをマージするシーン位置合わせを遂行するステップと、
    を実行させるプログラム。