JP2018124984A - モバイル装置の環境の３ｄ再構成のための方法および対応するコンピュータ・プログラム・プロダクトおよび装置 - Google Patents

Abstract

【課題】カメラを含むモバイル装置の環境の３Ｄ再構成のための方法を提供する。【解決手段】第１の再構成方法によって環境の少なくとも１つのエリアの粗い３Ｄ再構成を計算し、１つ以上のカメラによってキャプチャされた１つ以上のエリアの少なくとも第１のピクチャを考慮するステップ１００と、１つ以上のオブジェクト属性の１つ以上の検出に基づいて１つ以上のターゲット部分が環境に存在するかどうかを自動的に判定する、検出が第１のピクチャのうちの１つ以上を考慮するステップ１１０と、第２の再構成方法によって１つ以上のターゲット部分の精密な３Ｄ再構成を計算するステップ１２０であって、１つ以上のカメラによってキャプチャされた１つ以上のターゲット部分の少なくとも第２のピクチャを考慮するステップ１２０と、環境の３Ｄ再構成を提供するために計算された再構成を集計するステップ１３０と、を含む。【選択図】図１ａ

Description

本開示内容の分野は、環境の３Ｄ再構成（3D reconstruction of an environment）の分野である。

より具体的には、本開示内容は、モバイル装置の環境の３Ｄ再構成（再構築）のための方法に関する。

本開示内容は、３Ｄ再構成がモバイル装置に関わるどのような分野にも関わることがある。

この項は、読者に対し、様々な技術的な態様を紹介することを意図している。これらの技術的な態様は、以下に説明する、さらに／または、以下の請求項に記載する本願の開示内容の様々な態様に関連するであろう。この説明が本開示内容の様々な態様をより良好に理解しやすくするための背景情報を読者に対して提供するのに役立つと確信する。したがって、それぞれの記載は、この点に鑑みて読まれるべきものであり、先行技術を自認するものではないことを理解すべきである。

現在、「運動からの構造復元（ＳｆＭ：Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）」、「多数視点ステレオ（ＭＶＳ：Ｍｕｌｔｉ−Ｖｉｅｗ Ｓｔｅｒｅｏ）」、または位置推定とマッピングの同時実行（ＳＬＡＭ：Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ）」のような適応化方法が開発されており、このような適応化方法は、ライブまたはリアルタイムの３Ｄ再構成のためにモバイル装置上で実施されることがある（例えば、「Ｐ． Ｏｎｄｒｕｓｋａ，Ｐ． Ｋｏｈｌｉ，Ｓ． Ｉｚａｄｉ．「ＭｏｂｉｌｅＦｕｓｉｏｎ：携帯電話上でのリアルタイム体積表面再構成および深度トラッキング（ＭｏｂｉｌｅＦｕｓｉｏｎ：Ｒｅａｌ−ｔｉｍｅ Ｖｏｌｕｍｅｔｒｉｃ Ｓｕｒｆａｃｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ａｎｄ Ｄｅｎｓｅ Ｔｒａｃｋｉｎｇ ｏｎ Ｍｏｂｉｌｅ Ｐｈｏｎｅｓ）」参照。可視化およびコンピュータ・グラフィックスについてのＩＥＥＥ論文誌、２０１５）」。しかしながら、これらの方法には高周波ノイズが伴う。さらにまた、これらの技術は、通常、良好なテクスチャのオブジェクトのジオメトリ（幾何学的な性質）を再構成する際にのみ良好な結果を生み出す。光沢のある素材またはテクスチャが少ない場合のような特定の特性では、再構成の品質が悪くなり、良好な３Ｄ再構成を実現するために代替的な技術が考慮されることがある。

その観点において、照度差ステレオ（photometric stereo）（例えば、「Ｃ． Ｈｅｒｎａｎｄｅｚ，Ｇ． Ｖｏｇｉａｔｚｉｓ，Ｒ． Ｃｉｐｏｌｌａ． マルチビュー・フォトメトリック・ステレオ（Ｍｕｌｔｉ−ｖｉｅｗ ｐｈｏｔｏｍｅｔｒｉｃ ｓｔｅｒｅｏ）、ＰＡＭＩ、２００８．」は、より精細な再構成品質を改善する代替的な方法である。しかしながら、例えば、メモリ、処理の電力およびバッテリ容量のようなモバイル・ハードウェアの制約の下で、このような照度差方法をモバイル装置の大規模な環境において適用することが不可能である。

したがって、モバイル装置の環境の３Ｄ再構成のための方法に対するニーズが存在する一方で、演算上の要求条件を制限し、特定の特性を有するオブジェクト、例えば、光沢のある素材でできたオブジェクトまたはテクスチャの少ないオブジェクトに対してより精細な、良好な再構成品質が得られるようにするニーズが存在する。

本開示内容の特定の態様は、少なくとも１つのカメラを含むモバイル装置の環境の３Ｄ再構成のための方法に関する。
この方法は、第１の再構成方法によって環境の少なくとも１つのエリアの粗い３Ｄ再構成（coarse 3D reconstruction）を計算するステップであって、上記第１の再構成方法は、少なくとも１つのカメラによってキャプチャされた少なくとも１つのエリアの少なくとも第１のピクチャを考慮する、このステップと、
少なくとも１つのオブジェクト属性の少なくとも１つの検出に基づいて少なくとも１つのターゲット部分が環境に存在するかどうかを自動的に判定するステップであって、
上記検出が第１のピクチャのうちの少なくとも１つを考慮する、このステップと、
第２の再構成方法によって少なくとも１つのターゲット部分の精密な３Ｄ再構成（refined 3D reconstruction）を計算するステップであって、上記第２の再構成方法は、少なくとも１つのカメラによってキャプチャされた少なくとも１つのターゲット部分の少なくとも第２のピクチャを考慮する、このステップと、
上記環境の３Ｄ再構成を提供するために計算された再構成を集計するステップと、を含む。

したがって、本開示内容は、モバイル装置の環境の３Ｄ再構成を判定し、その一方で、その判定に必要な演算上の要求条件を制限するための新規で進歩的な解決法を提案する。

このことを可能とするために、環境のエリアに対してモバイル装置のカメラによってキャプチャされた第１の画像に基づいて粗い３Ｄ再構成が行われる。ここで、粗い３Ｄ再構成であっても、その品質は、依然として、最終的なアプリケーションにとって十分に良好なものである。これにより、実際に、全体的な再構成の演算負荷が制限される。

その反対に、モバイル装置のカメラによってキャプチャされる第２の画像（すなわち、第１の画像と比較して異なる性質を持つ画像）に基づく精密な３Ｄ再構成は、この精密な３Ｄ再構成に対するニーズを有する環境のターゲット部分、すなわち、粗い３Ｄ再構成方法に属している、演算上の要求条件をより少なくした方法では品質の低下が生じる懸念のあるエリアに制限される。その場合、精密な３Ｄ再構成をターゲット部分に対して意図的に行うようにするだけで、演算負荷がさらに制限される。

さらに、精密な３Ｄ再構成を使用するべきターゲット部分の判定は、粗い３Ｄ再構成に使用されるように意図された第１の画像のうちの少なくとも幾らかに存在するオブジェクト属性の検出に基づいて自動的に行われる。祖雑な３Ｄ再構成モードと精密な３Ｄ再構成モードとの間の切り替えをこのように最適化することで、環境の３Ｄ再構成のターゲット品質にとって必要な全体的な演算負荷を最小限にすることができる。

最後に、開示された技術に関わるものは、モバイル装置、例えば、カメラ・センサの従来の特徴のみである。

結果として、モバイル装置の制限されたハードウェア性能（これらは、メモリ、処理電力、バッテリ容量も含む）を用いて３Ｄ再構成を計算且つ使用することができる。

様々な実施形態によれば、少なくとも１つのオブジェクト属性（object attribute）は、
ターゲット部分をこのターゲット部分の近傍に対して相対的に目立たせる品質を表現する顕著性属性（saliency attribute）と、
ターゲット部分の幾何学的な属性（geometry attribute）と、
ターゲット部分のオブジェクト分類を表現するカテゴリー属性（category attribute）と、
顕著性属性、幾何学的な属性、およびカテゴリー属性の重み付けされた組み合わせと、
からなる群（group）に属する。

したがって、環境のエリアの３Ｄ再構成のために使用される動作モード（粗い動作モードまたは精密な動作モード）を、客観的な基準に基づいて自動的に決定することができる。

別の実施形態によれば、少なくとも１つの幾何学的な属性は、
スケール・サイズと、
３Ｄポイント（3D points）の分布密度（distribution density）と、
平面性（planarity）と、
形状（shape）と、
からなる群に属する。

一実施形態によれば、自動的に判定するステップは、モバイル装置のユーザ・インタフェースを介して環境における少なくとも１つのローカライズされたエリア（one localized area）をローカライズするステップであって、少なくとも１つのターゲット部分は、少なくとも１つのローカライズされたエリアで自動的に判定される、このステップをさらに含む。

したがって、ユーザは、（例えば、ズームインを使用し、環境におけるオブジェクトまたはより小さな領域に対して２Ｄ境界曲線を描くことによって）精密な３Ｄ再構成が行われることのあるターゲット部分をより正確に制御することができる。

一実施形態によれば、少なくとも１つのターゲット部分の精密な３Ｄ再構成を計算するステップは、モバイル装置のユーザによって少なくとも１つのターゲット部分を承認するステップをさらに含み、精密な３Ｄ再構成を計算するステップは、少なくとも１つのターゲット部分が承認にされたときに行われる。

したがって、ユーザは、（例えば、精密な３Ｄ再構成を起動するためにモバイル装置のユーザ・インタフェースにあるボタンを押すことによって）自動的に判定されたターゲット部分に対して精密な３Ｄ再構成を計算するかどうかを制御することができる。

一実施形態によれば、環境の少なくとも１つのエリアの粗い３Ｄ再構成を計算するステップは、第１のピクチャをキャプチャする第１の動作モードで少なくとも１つのカメラを起動するステップをさらに含む。

したがって、粗い３Ｄ再構成モードに入る際のカメラに関わる何らかの機能を、このモードに入るときにオンに切り換え、粗い３Ｄ再構成モードが停止したときにオフに切り換えることができる。

別の実施形態によれば、環境の少なくとも１つのエリアの粗い３Ｄ再構成を計算するステップは、与えられた前処理された第１のピクチャに基づいて粗い３Ｄ再構成を計算する前に、カメラによってキャプチャされた第１のピクチャを前処理するステップをさらに含み、前処理された第１のピクチャのサイズは、モバイル装置の演算の能力に適合している。

したがって、エリアの粗い３Ｄ再構成を行うために使用されるべきデータをさらに最適化することによって演算負荷を制限することができる。

一実施形態によれば、第１の再構成方法は、
Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ（ＳｆＭ）と、
Ｍｕｌｔｉ−Ｖｉｅｗ Ｓｔｅｒｅｏ（ＭＶＳ）と、
Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ（ＳＬＡＭ）と、
からなる群に属する。

したがって、当業者にとって公知な方法を実施することで、粗い３Ｄ再構成を行うことができ、開示された技術を堅牢且つ効率的に実施できるようになる。

一実施形態によれば、モバイル装置は、深度センサをさらに含み、環境の少なくとも１つのエリアの粗い３Ｄ再構成は、深度センサによって受け渡されるエリアの深度マップをさらに考慮する。

したがって、エリアの粗い３Ｄ再構成の精度を、モバイル装置の追加的なセンサによって受け渡される追加的な情報を使用して改善することができる。

一実施形態によれば、少なくとも１つのターゲット部分の精密な３Ｄ再構成を計算するステップは、第２のピクチャをキャプチャする第２の動作モードで少なくとも１つのカメラを起動するステップをさらに含む。

よって、精密な３Ｄ再構成が起動されたときに、カメラが特定の動作モードで起動される。これによって、精密な３Ｄ再構成モード入る際のカメラに関わる何らかの機能を、このモードに入るときにオンに切り換え、精密な３Ｄモードが停止したときにオフに切り換えることができる。

一実施形態によれば、モバイル装置は、第２のモードで起動される少なくとも１つのフラッシュ・ライトをさらに含む。少なくとも１つのターゲット部分の精密な３Ｄ再構成を計算するステップは、第２のピクチャおよび少なくとも１つのフラッシュ・ライトの関連する位置に基づく照度差データを考慮したマルチビュー照度差ステレオ法（multiview photometric stereo method）を実施し、少なくとも１つのフラッシュ・ライトの関連する位置は、モバイル装置の少なくとも１つのカメラの位置から推定される

したがって、第２のモードで起動されるカメラによってキャプチャされる第２のピクチャに基づいて提供される照度差データに基づいて、マルチビュー照度差ステレオ法を実施して精密な３Ｄ再構成を行うことができる。これが可能となるのは、モバイル装置が動いた場合であってもカメラの位置を通じてフラッシュ・ライトの位置を取得できるからである。これによって、開示された技術を効率的に実施できるようになり、その一方で、従来の照度差ステレオ法とは異なり、第２の画像をキャプチャする移動可能なカメラを利用できるという利点がある。

一実施形態によれば、マルチビュー照度差ステレオ法は、少なくとも１つのターゲット部分のオブジェクト分類に関連付けられた反射率をさらに考慮する。

したがって、（例えば、ターゲット部分のオブジェクト分類に関連付けられた、反射率など、素材パラメータを通じて）再構成しようとするターゲット部分の反射率を利用できるようにすることで、マルチビュー照度差ステレオ法の処理時間が減少する。

一実施形態によれば、第２のピクチャは、連続的なピクチャであり、照度差データは、連続したピクチャにおける同一の位置での画素間の対応における信頼水準を考慮して連続的なピクチャから選択されるピクチャに基づく。

したがって、信頼性のある精密な３Ｄ照度差演算のために、キャプチャされたピクチャの選択も行われる。

一実施形態によれば、少なくとも１つのターゲット部分の精密な３Ｄ再構成を計算するステップは、与えられた前処理された照度差データに基づいて精密な３Ｄ再構成を計算する前に照度差データを前処理するステップをさらに含み、前処理された照度差データのサイズは、モバイル装置の演算能力に適合している。

したがって、（例えば、キー・フレームの選択、パッチ・クロッピング、特徴表現など
を通じて）ターゲット部分の精密な３Ｄ再構成を行うために使用されるべきデータをさらに最適化することによって演算負荷を制限することができる。

一実施形態によれば、少なくとも１つのエリアに対して計算された再構成を集計することにより、マルチビュー・ステレオの方法論が実施され、環境の３Ｄ再構成としての多重解像度表現が提供される。

したがって、モバイル装置のような制限された演算リソースを用いた装置上で環境の３Ｄ再構成のレンダリングを行うことが容易となる。

本開示内容の別の態様は、プログラムのコード命令を含むコンピュータ・プログラム・プロダクツに関し、プログラムがコンピュータまたはプロセッサ上で実行されると、（様々な実施形態のいずれかにおける）少なくとも１つのカメラを含むモバイル装置の環境の３Ｄ再構成のための上述した方法を実施する。

本開示内容の別の態様は、プログラム・コードの命令を含むコンピュータ・プログラム・プロダクツを記憶した非一時的コンピュータ読み取り可能担持媒体に関し、コンピュータ・プログラム・プロダクトがコンピュータまたはプロセッサによって実行されると、コンピュータまたはプロセッサに（様々な実施形態のいずれかにおける）少なくとも１つのカメラを含むモバイル装置の環境の３Ｄ再構成のための上述した方法を実施させる。

本開示内容の別の態様は、少なくとも１つのカメラを含むモバイル装置の環境を３Ｄ再構成するための装置に関する。この装置はメモリと少なくとも１つのプロセッサとを含み、このプロセッサは、
第１の再構成方法は、少なくとも１つのカメラによってキャプチャされた少なくとも１つのエリアの少なくとも第１のピクチャを考慮した第１の再構成方法によって環境の少なくとも１つのエリアの粗い３Ｄ再構成を計算し、
第１のピクチャのうちの少なくとも１つを考慮した少なくとも１つのオブジェクト属性の少なくとも１つの検出に基づいて少なくとも１つのターゲット部分が環境に存在するかどうかを自動的に判定し、
少なくとも１つのカメラによってキャプチャされた少なくとも１つのターゲット部分の少なくとも第２のピクチャを考慮した第２の再構成方法によって少なくとも１つのターゲット部分の精密な３Ｄ再構成を計算し、
環境の３Ｄ再構成を提供するために計算された再構成を集計するように構成されている。

本開示内容のさらに別の態様は、少なくとも１つのカメラを含むモバイル装置の環境の３Ｄ再構成のための別の装置に関する。この装置は、第１の再構成方法によって環境の少なくとも１つのエリアの粗い３Ｄ再構成を計算し、第１の再構成方法は、少なくとも１つのカメラによってキャプチャされた少なくとも１つのエリアの少なくとも第１のピクチャを考慮する、この手段と、少なくとも１つのオブジェクト属性の少なくとも１つの検出に基づいて少なくとも１つのターゲット部分が環境に存在するかどうかを自動的に判定し、この検出が、第１のピクチャのうちの少なくとも１つを考慮する、この手段と、第２の再構成方法によって少なくとも１つのターゲット部分の精密な３Ｄ再構成を計算し、第２の再構成方法は、少なくとも１つのカメラによってキャプチャされた少なくとも１つのターゲット部分の少なくとも第２のピクチャを考慮する、この手段と、環境の３Ｄ再構成を提供するために計算された再構成を集計する、この手段と、を含む。

このような装置は、（様々な実施形態のいずれかにおける）本願の開示内容に従った少なくとも１つのカメラを含むモバイル装置の環境の３Ｄ再構成のための方法を実施するように特に構成されている。したがって、このような装置の特性および利点は、（様々な実施形態のいずれかにおける）少なくとも１つのカメラを含むモバイル装置の環境の３Ｄ再構成のための開示された方法と同様である。

本願の開示内容の別の態様は、上記に開示した少なくとも１つのカメラを含むモバイル装置の環境を３Ｄ再構成するための装置を含むモバイル装置に関する。

したがって、このようなモバイル装置の特性および利点は、（様々な実施形態のいずれかにおける）少なくとも１つのカメラを含むモバイル装置の環境の３Ｄ再構成のための開示された方法と同様である。

様々な実施形態によれば、モバイル装置は、好ましくは、携帯電話およびタブレットのうちから選択される。

実施形態の他の特徴事項および利点は、例示的且つ非網羅的に与えられている以下の説明、さらに、添付図面から理解されるであろう。

本開示内容の相異なる実施形態に従ったモバイル装置の環境の３Ｄ再構成のために開示された方法の特定の実施形態のフローチャートである。 本開示内容の相異なる実施形態に従ったモバイル装置の環境の３Ｄ再構成のために開示された方法の特定の実施形態のフローチャートである。 図１ａおよび図１ｂの方法の一実施形態に従ったターゲット部分の精密な３Ｄ再構成のために実施されるマルチビュー照度差ステレオ法に関わるコンセプトを示す図である。 図１ａおよび図１ｂの方法の一実施形態に従ったモバイル装置が変位する間のモバイル装置の環境の３Ｄ再構成のために開示された方法の実施態様を示す図である。 図１ａおよび図１ｂに関連して開示された相異なる実施形態に従ったモバイル装置の環境の３Ｄ再構成のための方法の実施に使用可能な例示的な装置の構造的なブロックの模式図である。

本明細書の図面の全てにおいて、同様の参照符号は同様の要素およびステップを指す。

開示された方法の一般的な原理は、モバイル装置の１つのカメラによってキャプチャされるエリアの少なくとも第１のピクチャを考慮した第１の再構成方法を使用して、モバイル装置の環境のエリアの粗い３Ｄ再構成を計算することにある。この環境におけるターゲット部分の存在は、第１のピクチャの少なくとも１つを考慮した少なくとも１つのオブジェクト属性の検出に基づいて自動的に判定される。ターゲット部分の精密な３Ｄ再構成は、モバイル装置のカメラによってキャプチャされるターゲット部分の少なくとも第２のピクチャを考慮した第２の再構成方法を使用して計算される。計算された再構成が集計されてモバイル装置の環境の３Ｄ再構成を提供する。これにより、限定された演算コストで環境の３Ｄの再構成を実現することが可能となり、その一方で、特定の特性、すなわち、ターゲット部分として自動的に判定されたオブジェクトとに対し、精詳な良好な再構成品質が提供される。

次に、図１ａおよび図１ｂを参照すると、本開示内容の相異なる実施形態に従ったモバイル装置の環境の３Ｄ再構成の方法が例示されている。

ブロック１００において、モバイル装置（２００）の環境のエリアの粗い３Ｄ再構成がモバイル装置（２００）のカメラ（２０１）によってキャプチャされるエリアの少なくとも第１のピクチャを考慮した第１の再構成方法を使用して計算される。

このため、ブロック１００ａにおいて、モバイル装置（２００）（例えば、携帯電話またはタブレット）のカメラ（２０１）が第１のピクチャをキャプチャする第１の動作モードで、例えば、ライブリーに起動される。

エリアの粗い３Ｄ再構成を実施するために使用される第１の方法に依存して、モバイル装置（２００）のカメラ（２０１）は、相異なる方法で起動されることもあれば、カメラ（２０１）に関わる何らかの機能が、粗い３Ｄ再構成モードに入ったときにオンに切り換えられ、粗い３Ｄ再構成モードが停止したときにオフに切り換えられることもある。例えば、カメラ（２０１）をカラー・モードで起動し、（すなわち、第１のピクチャの色をキャプチャする）、カメラの較正された固有パラメータを一定のままとすることができる。

様々な実施形態においては、第１の方法は、
Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ（ＳｆＭ）と、
Ｍｕｌｔｉ−Ｖｉｅｗ Ｓｔｅｒｅｏ（ＭＶＳ）と、
Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ（ＳＬＡＭ）と、
からなるグループに属する。

このような場合、粗い３Ｄ再構成は、例えば、「Ｐ． Ｏｎｄｒｕｓｋａ， Ｐ． Ｋｏｈｌｉ， Ｓ． Ｉｚａｄｉ．「ＭｏｂｉｌｅＦｕｓｉｏｎ：携帯電話上でのリアルタイムな体積表面再構成および密なトラッキング（Ｒｅａｌ−ｔｉｍｅ Ｖｏｌｕｍｅｔｒｉｃ Ｓｕｒｆａｃｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ａｎｄ Ｄｅｎｓｅ Ｔｒａｃｋｉｎｇ ｏｎ Ｍｏｂｉｌｅ Ｐｈｏｎｅｓ．）」可視化およびコンピュータ・グラフィックスについてのＩＥＥＥ論文誌、２０１５」に記載されているような、当業者にとって公知な方法に基づく。

このような方法は、従来のフォトグラフィック・ピクチャを使用することにより深度マップを決定し、エリアの粗い３Ｄ再構成を計算できるようにする。その場合、カメラ（２０１）は、したがって、（例えば、ＣＭＯＳセンサの使用に基づく）スマートフォンのような携帯電話が従来備えているようなカラー・カメラとすることができる。

一実施形態においては、モバイル装置（２００）は、深度センサをさらに含む。その場合、エリアの粗い３Ｄ再構成を計算するために使用される第１の方法は、深度センサによって受け渡されるエリアの深度マップをさらに考慮する。このように、モバイル装置の追加的なセンサによって受け渡される追加的な情報を使用してエリアの粗い３Ｄ再構成の精度を改善させることができる。

同様に、上述した方法は、モバイル装置（２００）のカメラ（２０１）の変位を判定する第１の方法として使用可能であり、粗い３Ｄ再構成を計算するために、にカメラ（２０１）によって（例えば、リアルタイムなカメラ・トラッキングによって）キャプチャされる第１のピクチャの分析に基づいている。しかしながら、代替的な実施形態においては、モバイル装置（２００）は、さらに、その変位を導出することが可能なセンサ、例えば、慣性計測装置、加速度計、ジャイロスコープ、コンパス、ＧＰＳのような位置追跡装置などを備える。この場合、モバイル装置のこのような追加的なセンサによって受け渡される追加的な情報によって、エリアの粗い３Ｄ再構成の精度を向上させることができる。

一実施形態においては、ブロック１００ｂにおいて、与えられた前処理された第１のピクチャに基づく粗い３Ｄ再構成を計算する前に、カメラ（２０１）によってキャプチャされる第１のピクチャが前処理される。その場合、前処理された第１のピクチャのサイズは、モバイル装置（２００）の演算能力に適合したものとなっており、（例えば、キー・フレームの選択、パッチ・クロッピング、特徴表現などを通じて）エリアの粗い３Ｄ再構成の演算負荷をさらに最適化することができ、前処理された第１のピクチャのサイズがメモリおよびモバイル装置の演算能力に適合できるようにする。

ブロック１１０において、少なくとも１つのオブジェクト属性の少なくとも１つの検出に基づいてターゲット部分（例えば、粗い３Ｄ再構成が劣悪な結果を生じさせるような環境における特定のオブジェクト）がモバイル装置（２００）の環境に存在するかどうかが自動的に判定される。このような検出は、環境の１つ以上のエリアからのカメラ（２０１）によってキャプチャされた、第１のピクチャのうちの少なくとも１つを考慮する。

様々な実施形態においては、このようなオブジェクト属性は、
ターゲット部分をその隣接部分に対して相対的に目立たせるような品質を表現する顕著性と、
ターゲット部分の幾何学的な属性と、
ターゲット部分のオブジェクト分類を表現するカテゴリー属性と、
顕著性、幾何学的な属性、およびカテゴリー属性の重み付けされた組み合わせと、
からなるグループに属するものとすることができる。

より具体的には、ターゲット部分を、例えば、顕著性検出のための既知の方法を使用して（例えば、「Ａ． Ｂｏｒｊｉ， Ｍ． Ｃｈｅｎｇ， Ｈ． Ｊｉａｎｇ Ｊ． ＬＩ．「顕著性オブジェクト検出：調査（Ｓａｌｉｅｎｔ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ：Ａ Ｓｕｒｖｅｙ．）」ａｒＸｉｖ ｅｐｒｉｎｔ，２０１４．」を参照）、第１のピクチャのうちの少なくとも１つにおけるこのターゲット部分の顕著性に基づいて、自動的に検出することができる。顕著性検出のためのこのような方法は、通常、顕著性マップおよびオブジェクト全体のセグメンテーションの双方を出力する。顕著性マップにおける各画素の強度は、この画素が顕著性を有するオブジェクトに属する可能性を表すことがあり、これを使用して、自動的に検出されるターゲット部分の顕著性属性を表す顕著性スコア値を計算することができる。

同様にして、様々な実施形態において、幾何学的な属性は、
スケール・サイズと、
３Ｄポイントの分布密度と、
平面性と、
形状と、
からなる群に属する。

このような幾何学的な属性は、環境の１つまたは複数のエリアからキャプチャされた第１のピクチャ（またはブロック１００ｂが実施されるかどうかに依存する前処理された第１のピクチャ）の処理を通じて導出することができるため、判定しようとするターゲット部分における特定の幾何学的な属性を認識することができる。

最後に、例えば、ターゲット部分の素材に基づいて、ターゲット部分のオブジェクト分類を表現するカテゴリー属性が判定される。これは、例えば、良く行われる分類を行うためにＩｍａｇｅＮｅｔデータセットにおいてトレーニングされる大規模で深い畳み込みニューラル・ネットワークを使用して行われる（例えば、「Ａ． Ｋｒｉｚｈｅｖｓｋｙ， Ｉ． Ｓｕｔｓｋｅｖｅｒ，Ｇ．Ｅ． Ｈｉｎｔｏｎ． 「深い畳み込みニューラル・ネットワークを用いたＩｍａｇｅＮｅｔ分類（ＩｍａｇｅＮｅｔ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｗｉｔｈ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ．）」参照」。そして、カテゴリー属性は、例えば、オブジェクト分類に属する様々なカテゴリーをマッピングする、対応するルックアップ・テーブルを使用して、さらに、精密にしようとする対応するターゲット部分に対応する必要性を表現すると解釈することができる、各々の対応するカテゴリー分類属性（例えば、各々の共通素材パラメータ）を使用して、オブジェクト分類から導出することができる。例えば、金属素材の場合には、金属（例えば、「光沢のある」オブジェクト）でできた対応するターゲット部分は、木の素材でできたターゲット部分と比較して、精密な３Ｄ再構成する条件がより厳しくなるカテゴリー属性となる。

一実施形態においては、オブジェクト属性は、対応するターゲット部分を精密にすることが必要であるかどうかを判定するために、顕著性属性、幾何学的な属性、およびカテゴリー属性のうちの２つまたは３つを重み付けして組み合わせたものである。様々な実施形態において、オブジェクト属性の検出において使用される重みは、ユーザの経験により調節されてもよく、マシン・ラーニング法を使用した大きなデータセットからのラーニングされたパラメータに従って初期化されてもよい。

精密な３Ｄ再構成が計算されたターゲット部分は、よって、このようなオブジェクト属性の検出に基づいて、自動的に判定することができる。

一実施形態においては、ブロック１１０ａで、環境における少なくとも１つのローカライズされたエリアは、モバイル装置（２００）のユーザ・インタフェースを通じて（例えば、ズームインを使用し、環境におけるオブジェクトまたはより小さな領域上の２Ｄ境界曲線を描くことによって）、ローカライズされたものである。

その場合、その実施形態のいずれにおいても、ターゲット部分は、ブロック１００に関連して上に開示した方法に従ってローカライズされたエリアにおいて自動的に判定される。モバイル装置（２００）のユーザは、よって、精密な３Ｄ再構成が行われ可能性があるターゲット部分に対するより正確な制御を行うことができる。

ブロック１２０において、モバイル装置（２００）のカメラ（２０１）によってキャプチャされるターゲット部分の少なくとも２つのピクチャを考慮した第２の再構成方法を使用して、ブロック１１０で自動的に判定されたターゲット部分の精密な３Ｄ再構成が計算される。

一実施形態においては、精密な３Ｄ再構成が行われるべきターゲット部分は、まず、ブロック１２０ａにおいて、モバイル装置（２００）のユーザによって承認される。

例えば、ターゲット部分に対してブロック１１０において判定されたオブジェクト属性をユーザ・インタフェースを通じてモバイル装置（２００）のユーザに対して提供することで、ユーザが関連する客観的な情報に基づいて（例えば、精密な３Ｄ再構成を起動するためにモバイル装置のユーザ・インタフェースにあるボタンを押すことによって）ターゲット部分を承認するかどうかを選択できるようにする。

この場合、ユーザが自動的に判定されたターゲット部分の精密な３Ｄ再構成の計算を制御することもあれば、しないこともある。

ブロック１２０ｂにおいて、モバイル装置（２００）のカメラ（２０１）は、第２のピクチャをキャプチャするための第２動作モードで起動される。

エリアの精密な３Ｄ再構成を実施するための第２の方法に依存して、モバイル装置（２００）のカメラ（２０１）を、実際には、複数の異なる方法で起動させることができる。したがって、精密な３Ｄ再構成モード入る際のカメラ（２０１）に関連付けられた何らかの機能を、このモードに入るときにオンに切り換え、精密な３Ｄモードが停止するときにオフに切り換えることができる。

例えば、一実施形態においては、第２の方法は、マルチビュー照度差ステレオ法である。その場合、モバイル装置（２００）は、さらに、少なくとも１つのフラッシュ・ライト（２０２）を含み、このフラッシュ・ライト（２０２）は、照度差データの基となる第２のピクチャをキャプチャするための３Ｄ再構成モードに入るときに起動される。フラッシュ・ライト（２０２）は、そして、精密な３Ｄ再構成が終了したときにオフに切り換える。照度差データの基となっている第２のピクチャをキャプチャできるようにすることに加え、フラッシュ・ライトをオンにすることにより、モバイル装置（２００）が精密な３Ｄ再構成モードに入ったことをモバイル装置（２００）のユーザに警告することができる。したがって、ユーザは、精密な３Ｄ再構成に関わる第２の方法を実施するために必要な第２のピクチャをキャプチャするのにより適合した（例えば、よりゆっくりした、または、ターゲット部分に近い）方法で、ターゲット部分の周囲でモバイル装置（２００）を移動させることができる。

ブロック１２０に戻ると、一実施形態において、第２の方法は、公知の照度差ステレオ法であり、すなわち、強度が可変である１組の光源に基づいており、その一方で、位置が第２のピクチャをキャプチャする間に固定されている。しかしながら、このような従来の方法は、光源、すなわち、フラッシュ・ライト（２０２）がモバイル装置（２００）に従って動くような、モバイル装置には、良好には適していないように見受けられる。

したがって、別の実施形態においては、第２の方法は、例えば、「Ｃ． Ｈｅｒｎａｎｄｅｚ， Ｇ． Ｖｏｇｉａｔｚｉｓ，Ｒ． Ｃｉｐｏｌｌａ． マルチビュー照度差ステレオ（Ｍｕｌｔｉ−ｖｉｅｗ ｐｈｏｔｏｍｅｔｒｉｃ ｓｔｅｒｅｏ）、ＰＡＭＩ、２００８．」に開示されているような、すなわち、第２のピクチャをキャプチャする間に垂直位置が移動する光源を用いたマルチビュー照度差ステレオ法である。しかしながら、このような方法は、モバイル装置（２００）に従って動く光源を考慮するように構成することができる。図２に例示されているように、このような方法は、表面を推定し、この推定は、通常、様々な反射率のモデルを使用した複数の異なる光条件の下で、表面を観察することによって行われる。このため、精密にしようとするターゲット部分における１つの３Ｄポイントｐの第２のピクチャは、例えば、モバイル装置２００が位置ｐ０から位置ｐ１まで移動するときに、フラッシュ・ライト２０２の複数の異なる位置でカメラ２０１によってキャプチャされる。

カメラ２０１およびフラッシュ・ライト２０２がモバイル装置２００上に固定されるため、光源の位置をモバイル装置２００のカメラ２０１の位置から推定することができる。（そして、このモバイル装置２００のカメラ２０１の位置を、例えば、リアルタイムのカメラ・トラッキング、または、例えば、ブロック１００に関連して上述したような、慣性計測装置、加速度計、ジャイロスコープ、コンパス、ＧＰＳのような位置追跡装置など、さらに別のセンサから受け渡される情報を使用して、カメラ２０１によってキャプチャされる第２のピクチャの分析に基づいて推定することができる。）

これにより、マルチビュー照度差ステレオ法を効率的に実施できるようになり、その一方で、従来の照度差ステレオ法を実施する場合と比較して、第２の画像をキャプチャするカメラの移動性を利用することができるという利点がある。

一実施形態においては、第２の再構成方法は、精密にしようとするターゲット部分のオブジェクト分類に関連付けられた反射率を考慮したマルチビュー照度差ステレオ法を実施する。

実際、環境は、通常、周囲の光条件下に置かれると想定される。さらに、環境における１つのオブジェクトの反射率は、ランベルトの法則に従う。すなわち、表面上の点は、考慮されている視点とは無関係に、各々の外観を一定に維持する。したがって、マルチビュー照度差ステレオ法で環境における反射率を推定する代わりに、ブロック１００で検出されたオブジェクト属性（例えば、カテゴリー属性）を、ターゲット部分の候補となっている環境におけるオブジェクトに反射率を関連付けるために使用することができる。このような関連付けは、既存のデータベースの使用に基づくものとすることができる（例えば、プラスティック、木材、金属、フェノール、アクリル等の共通素材の数百の測定された等方性ＢＲＤＦ関数（双方向反射率分布関数）を含むＭＥＲＬ（三菱電機研究開発・技術研究開発研究所）（Ｍｉｔｓｕｂｉｓｈｉ Ｅｌｅｃｔｒｉｃ Ｒｅｓｅａｒｃｈ Ｌａｂｏｒａｔｏｒｉｅｓ）のデータベースのような、「Ｗ． Ｍａｔｕｓｉｋ， Ｈ． Ｐｆｉｓｔｅｒ，Ｍ． Ｂｒａｎｄ， Ｌ． ＭｃＭｉｌｌａｎ． 「データドリブン反射率モデル（Ａ Ｄａｔａ−Ｄｒｉｖｅｎ Ｒｅｆｌｅｃｔａｎｃｅ Ｍｏｄｅｌ）」グラフィックスについてのＡＣＭ会議録、２００３年」を参照）。オブジェクトカテゴリ属性を入力としたルックアップ・テーブルを使用することで、ターゲット部分の反射率を最初に迅速に判定することができ、マルチビュー照度差ステレオ法の処理をより速やかに行うことができるようになる。

別の実施形態においては、第２のピクチャは、連続したピクチャからなり、照度差データは、連続したピクチャにおける同一の位置での画素間の対応における信頼水準を考慮することによって連続したピクチャから選択されたピクチャに基づいている。換言すれば、第２の動作モードで起動されるカメラ２０１によってキャプチャされる連続したピクチャにおける同一の場所での画素間の対応における信頼水準は、照度差データを導出するために使用されるべきピクチャを選択する際の基準として使用されることがある。ターゲット部分の計算された精密な３Ｄモデルは、したがって、より信頼性が高い。

さらに別の実施態様においては、第２のピクチャから導出された照度差データは、与えられた前処理された照度差データに基づく精密な３Ｄ再構成を計算するために、ブロック１２０ｃで前処理される。

より具体的には、前処理された照度差データのサイズは、（例えば、キー・フレーム、パッチ・クロッピング、特徴表現などの選択を通じて）モバイル装置２００の演算能力に適合したものにされる。ターゲット部分の精密な３Ｄ再構成を実行するために使用されるべきデータは、このように、さらに最適化することによって、モバイル装置２００の演算負荷を制限することができる。

ブロック１３０において、環境のエリアに対してブロック１００で計算された粗い再構成および環境のターゲット部分に対してブロック１２０で計算された精密な３Ｄ再構成は、環境の３Ｄ再構成を提供するために集計される。

一実施形態においては、まず、全ての粗い３Ｄ再構成および精密な３Ｄ再構成が計算され、処理の最後で、すなわち、利用可能な全ての計算済の３Ｄ再構成を集計することによって、集計が行われる。

別の実施形態においては、祖雑な３Ｄ再構成および精密な３Ｄ再構成がオンザフライで、すなわち、利用可能になった時点で、処理の最後での環境の３Ｄ再構成に対応する現在の３Ｄ再構成に対して集計される。

一実施形態においては、粗い３Ｄ再構成および精密な再構成を集計することにより、多重解像度表現の形態で環境の３Ｄ再構成を提供するために、マルチビュー・ステレオの方法論が実施される（例えば、「Ｋ． Ｍｏｒｏｏｋａ， Ｈ． Ｎａｇａｈａｓｈｉ． 「３Ｄモデル構築のために複数の異なる解像度を用いてレンジ画像を統合する方法（Ａ Ｍｅｔｈｏｄ ｆｏｒ Ｉｎｔｅｇｒａｔｉｎｇ Ｒａｎｇｅ Ｉｍａｇｅｓ ｗｉｔｈ Ｄｉｆｆｅｒｅｎｔ Ｒｅｓｏｌｕｔｉｏｎｓ ｆｏｒ ３−Ｄ Ｍｏｄｅｌ Ｃｏｎｓｔｒｕｃｔｉｏｎ．）」ＩＣＲＡ，２００６」）を参照）。

結果として、３Ｄ再構成は、（メモリ、処理電力、バッテリ容量も含む）モバイル装置２００の限定されたハードウェア性能を用いて計算且つ使用することができる。

次に、図３を参照すると、図１ａおよび図１ｂの方法の一実施形態に従ったモバイル装置２００の変位の間のモバイル装置２００の環境の３Ｄ再構成のために開示された方法の実施態様が示されている。

例として、２つのキューブ状のオブジェクト３０１、３０２が木製であり、多角形のオブジェクト３１０が金属製であることを想定する。

モバイル装置２００は、位置Ｐ’０に位置しており、開示された方法は、カメラ２０１によって見ることのできる粗い３Ｄ再構成から開始される。粗い３Ｄ再構成は、第１の動作モードで起動されたカメラ２０１によってキャプチャされた第１のピクチャに基づく。より具体的には、位置Ｐ’０において、カメラ２０１によってキャプチャされたエリアは、平面を含む。したがって、その幾何学的な属性が精密な３Ｄ再構成および粗い３Ｄ再構築を必要としないオブジェクトを表すものとして検出される。

モバイル装置２００が位置Ｐ’１に向かって移動したとき、モバイル装置２００のカメラ２０１によって見ることのできるエリアは、金属製の多角形のオブジェクト３１０を含む。多角形のオブジェクト３１０の顕著性属性は、精密な３Ｄ再構成を必要とする可能性があるオブジェクトを表しているものとして、位置Ｐ’１にあるカメラ２０１によってキャプチャされる第１のピクチャのうちの少なくとも１つに基づいて検出される。しかしながら、カメラ２０１と多角形の形状のオブジェクト３１０との間に距離があるため、そのスケール・サイズは、カメラ２０１によって見ることのできるエリアの場合の通常のサイズと比較して大幅に小さいままとなる。検出されたカテゴリー属性は、（多角形のオブジェクト３１０を形成する金属素材のために）精密な３Ｄ表現を必要とすることがあるオブジェクトを表現することがあり、その幾何学的な属性は、精密な３Ｄ再構成を必要としないオブジェクトを表現したままであり、最終的に精密にするべきターゲット部分として識別されないようにする。結果として、粗い３Ｄ再構成は、この位置でカメラ２０１によってキャプチャされる第１のピクチャに基づいて続けられる。

カメラが位置Ｐ’２に移動すると、位置Ｐ’２でカメラ２０１によってキャプチャされる第１のピクチャのうちの少なくとも１つのピクチャに基づいて検出された、多角形のオブジェクト３１０の顕著性属性は、依然として、精密な３Ｄ再構成を必要とする可能性があるオブジェクトを表現する（代替的には、多角形のオブジェクト３１０の顕著性属性は、対応する第１のピクチャにおける多角形のオブジェクト３１０の表現において重なりが存在する場合、位置Ｐ’１でカメラ２０１によってキャプチャされた第１のピクチャのうちの少なくとも１つおよび位置Ｐ’２でカメラ２０１によってキャプチャされた第１のピクチャのうちの少なくとも１つを組み合わせたものに基づいて検出される。）。同様にして、幾何学的な属性およびそのカテゴリー属性の両方が精密な３Ｄ再構成を必要とする可能性があるオブジェクトを表現するものとして検出される。多角形の形状のオブジェクト３１０は、結果的に、精密にするべきターゲット部分として識別される。

そして、フラッシュ・ライト２０２がオンに切り換えられ、カメラが第２のピクチャをキャプチャする第２の動作モードで起動される。ターゲット部分の精密な３Ｄ再構成を計算して、第２のピクチャに基づいた照度差データを考慮してマルチビュー照度差ステレオ法を実施する。

なお、精密な３Ｄ再構成は、フラッシュ・ライト２０２がオンになっている状態でユーザが多角形の形状のオブジェクト３１０を位置Ｐ’３の周囲でカメラ２０１を位置Ｐ’３に向かって動かし続けることによって続けられる。モバイル装置２００が位置Ｐ’２から位置Ｐ’３に変位する間、多角形のオブジェクト３１０に対してオブジェクト属性がほぼ同一に維持されるため、精密な３Ｄ再構成は、変位している間、継続して行われる。

カメラ２０１が位置Ｐ’４に移動すると、カメラ２０１によってキャプチャされるエリアは、平面を含む。結果として、検出した幾何学的な属性は、精密な３Ｄ再構成を必要としないオブジェクトを表現し、したがって、多角形のオブジェクト３１０の精密な３Ｄ再構成が終了する。

次に、フラッシュ・ライト２０２がオフに切り換えられ、第１のピクチャをキャプチャするための第１の動作モードでカメラが起動される。位置Ｐ’４でカメラ２０１によって見ることのできる環境のエリアの粗い３Ｄ再構成は、深度マップおよびブロック１００に関連して上述したカメラ２０１によってキャプチャされる第１のピクチャの分析に基づいて取得されるモバイル装置２００のカメラ２０１の変位の双方に基づいて計算される。

図４を参照すると、図１ａおよび図１ｂに関連して上に開示した実施形態のいずれかに従ったモバイル装置の環境の３Ｄ再構成の方法を実施するために使用することができる、例示的な装置の構造的なブロックが例示されている。

一実施形態においては、開示された方法を実施する装置４００は、不揮発性メモリ４０３（例えば、読み出し専用メモリ（ＲＯＭ）またはハードディスク）、揮発性メモリ４０１（例えば、ランダム・アクセス・メモリまたはＲＡＭ）、およびプロセッサ４０２を含む。不揮発性メモリ４０３は、不揮発性のコンピュータ読み取り可能担持媒体である。この媒体は、実行可能なプログラムのコード命令を記憶し、このプログラムのコード命令がプロセッサ４０２によって実行されると、図１ａおよび図１ｂとの関連で開示される様々な実施形態において、上述した方法（モバイル装置の環境の３Ｄ再構成のための方法）を実施可能にする。

初期化が行われると、上述したプログラムのコード命令は、プロセッサ４０２によって実行されるように、不揮発性メモリ４０３から揮発性メモリ４０１に転送される。不揮発性メモリ４０１は、同様に、この実行のために必要な変数およびパラメータを記憶するためのレジスタを含む。

モバイル装置の環境の３Ｄ再構成のための上述した方法のステップの全ては、ＰＣタイプの装置、ＤＳＰ（ディジタル信号プロセッサ）、または、マイクロコントローラなどの再プログラム可能なコンピューティング・マシンによって実行される１組のプログラム・コードの命令を実行することによっても同様に実施することができる。このプログラム・コードの命令は、着脱可能な（例えば、フロッピー・ディスク、ＣＤ−ＲＯＭ、または、ＤＶＤ−ＲＯＭ）または着脱不可能な不揮発性のコンピュータ読み取り可能担持媒体に記憶することができる。また、モバイル装置の環境の３Ｄ再構成のための上述した方法のステップの全ては、ＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ）、ＡＳＩＣ（特定用途向け集積回路）などの、専用のマシンまたはコンポーネントまたは他の任意の専用ハードウェア・コンポーネントによっても同様に実施することができる。

換言すれば、開示内容は、純粋に、コンピュータ・プログラム命令の形態のソフトウェアベースの実施態様に限定されず、ハードウェアの形態で実施されることもあれば、ハードウェア部分およびソフトウェア部分を組み合わせた任意の形態で実施されることもある。

一実施形態においては、モバイル装置の環境の３Ｄ再構成のための開示された方法を実施する装置４００は、モバイル装置２００に直接埋め込まれ、モバイル装置２００において環境の３Ｄ再構成の生成が可能である。

別の実施形態においては、開示した方法を実施するための装置４００は、遠隔地のサーバに埋め込まれる。その場合、例えば、モバイル装置２００によって第１および第２のピクチャを表現するデータをサーバに対して送信した後に、サーバは、環境の３Ｄ再構成の生成を実行する。

Claims (20)

1. 少なくとも１つのカメラを含むモバイル装置の環境の再構成のための方法であって、
   第１の再構成方法によって前記環境の少なくとも１つのエリアの粗い３Ｄ再構成を計算するステップであって、前記第１の再構成方法は、前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つのエリアの少なくとも第１のピクチャを考慮する、前記ステップと、
   少なくとも１つのオブジェクト属性の少なくとも１つの検出に基づいて少なくとも１つのターゲット部分が前記環境に存在するかどうかを自動的に判定するステップであって、前記検出が前記第１のピクチャのうちの少なくとも１つを考慮する、前記ステップと、
   第２の再構成方法によって前記少なくとも１つのターゲット部分の精密な３Ｄ再構成を計算するステップであって、前記第２の再構成方法は、前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つのターゲット部分の少なくとも第２のピクチャを考慮する、前記ステップと、
   前記環境の前記３Ｄ再構成を提供するために前記計算された再構成を集計するステップと、を含む、前記方法。
2. 前記少なくとも１つのオブジェクト属性は、
   前記ターゲット部分を当該ターゲット部分の近傍に対して相対的に目立たせる品質を表現する顕著性属性と、
   前記ターゲット部分の幾何学的な属性と、
   前記ターゲット部分のオブジェクト分類を表現するカテゴリー属性と、
   前記顕著性属性、前記幾何学的な属性、および前記カテゴリー属性の重み付けされた組み合わせと、からなる群に属する、請求項１に記載の方法。
3. 前記少なくとも１つの幾何学的な属性は、
   スケール・サイズと、
   ３Ｄポイントの分布密度と、
   平面性と、
   形状と、
   からなる群に属する、請求項２に記載の方法。
4. 前記自動的に判定するステップは、さらに、前記モバイル装置のユーザ・インタフェースを介して前記環境における少なくとも１つのローカライズされたエリアをローカライズするステップを含み、前記少なくとも１つのターゲット部分は、前記少なくとも１つのローカライズされたエリアで自動的に判定される、請求項１に記載の方法。
5. 前記少なくとも１つのターゲット部分の精密な３Ｄ再構成を計算するステップは、
   前記モバイル装置のユーザによって前記少なくとも１つのターゲット部分を承認するステップ、をさらに含み、前記精密な３Ｄ再構成を計算するステップは、前記少なくとも１つのターゲット部分が承認されたときに行われる、請求項１に記載の方法。
6. 前記環境の少なくとも１つのエリアの粗い３Ｄ再構成を計算するステップは、
   前記第１のピクチャをキャプチャする第１の動作モードで前記少なくとも１つのカメラを起動するステップをさらに含む、請求項１に記載の方法。
7. 前記第１の再構成方法は、
   Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ（ＳｆＭ）と、
   Ｍｕｌｔｉ−Ｖｉｅｗ Ｓｔｅｒｅｏ（ＭＶＳ）と、
   Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ（ＳＬＡＭ）と、からなる群に属する、請求項１に記載の方法。
8. 前記モバイル装置は、深度センサをさらに含み、前記環境の少なくとも１つのエリアの前記粗い３Ｄ再構成は、前記深度センサによって受け渡される前記エリアの深度マップをさらに考慮する、請求項１に記載の方法。
9. 前記少なくとも１つのターゲット部分の前記精密な３Ｄ再構成を計算するステップは、
   前記第２のピクチャをキャプチャする第２の動作モードで前記少なくとも１つのカメラを起動するステップをさらに含む、請求項１に記載の方法。
10. 前記モバイル装置は、前記第２のモードで起動される少なくとも１つのフラッシュ・ライトをさらに含み、前記少なくとも１つのターゲット部分の前記精密な３Ｄ再構成を計算するステップは、前記第２のピクチャおよび前記少なくとも１つのフラッシュ・ライトの関連する位置に基づく照度差データを考慮してマルチビュー照度差ステレオ法を実施し、前記少なくとも１つのフラッシュ・ライトの前記関連する位置は、前記モバイル装置の前記少なくとも１つのカメラの位置から推定される、請求項９に記載の方法。
11. 前記少なくとも１つのオブジェクト属性は、前記少なくとも１つのターゲット部分のオブジェクト分類を表現するカテゴリーを含み、前記マルチビュー照度差ステレオ法は、前記少なくとも１つのターゲット部分のオブジェクト分類に関連付けられた反射率をさらに考慮する、請求項１０に記載の方法。
12. 前記少なくとも１つのエリアに対して計算された前記再構成を集計するステップは、前記環境の前記３Ｄ再構成であるマルチ解像度表現を提供するマルチビュー・ステレオ法を実施する、請求項１に記載の方法。
13. 少なくとも１つのカメラを含むモバイル装置の環境を３Ｄ再構成するための装置であって、
    メモリと、
    少なくとも１つのプロセッサと、を含み、前記少なくとも１つのプロセッサは、
    前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つのエリアの少なくとも第１のピクチャを考慮した、第１の再構成方法によって前記環境の少なくとも１つのエリアの粗い３Ｄ再構成を計算し、
    前記第１のピクチャのうちの少なくとも１つを考慮した、少なくとも１つのオブジェクト属性の少なくとも１つの検出に基づいて少なくとも１つのターゲット部分が前記環境に存在するかどうかを自動的に判定し、
    前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つのターゲット部分の少なくとも第２のピクチャを考慮した、第２の再構成方法によって前記少なくとも１つのターゲット部分の精密な３Ｄ再構成を計算し、
    前記環境の前記３Ｄ再構成を提供するために前記計算された再構成を集計するように構成された前記装置。
14. 請求項１３に記載の装置を含むモバイル装置であって、好ましくは、携帯電話およびタブレットのうちから選択される、前記モバイル装置。
15. 前記少なくとも１つのプロセッサは、
    前記第２のピクチャをキャプチャする第２の動作モードで前記少なくとも１つのカメラを起動することによって、
    前記少なくとも１つのターゲット部分の前記精密な３Ｄ再構成を計算するようにさらに構成される、請求項１３に記載の装置。
16. 前記モバイル装置は、前記第２のモードで起動される少なくとも１つのフラッシュ・ライトをさらに含み、前記少なくとも１つのプロセッサは、前記第２のピクチャおよび前記少なくとも１つのフラッシュ・ライトの関連する位置に基づく照度差データを考慮してマルチビュー照度差ステレオ法を実施することによって、前記少なくとも１つのターゲット部分の前記精密な３Ｄ再構成を計算するようにさらに構成され、前記少なくとも１つのフラッシュ・ライトの前記関連する位置は、前記モバイル装置の前記少なくとも１つのカメラの位置から推定される、請求項１５に記載の装置。
17. 前記少なくとも１つのオブジェクト属性は、前記少なくとも１つのターゲット部分のオブジェクト分類を表現するカテゴリーを含み、前記マルチビュー照度差ステレオ法は、前記少なくとも１つのターゲット部分のオブジェクト分類に関連付けられた反射率をさらに考慮する、請求項１６に記載の装置。
18. 前記少なくとも１つのプロセッサは、前記少なくとも１つのオブジェクト属性の少なくとも１つの検出に基づいて前記少なくとも１つのターゲット部分が前記環境に存在するかどうかを自動的に判定するようにさらに構成され、当該判定は、前記モバイル装置のユーザ・インタフェースを介して前記環境における少なくとも１つのローカライズされたエリアをローカライズすることによって行われ、前記少なくとも１つのターゲット部分は、前記少なくとも１つのローカライズされたエリアで自動的に判定される、請求項１３に記載の装置。
19. 前記少なくとも１つの属性は、
    前記ターゲット部分を当該ターゲット部分の近傍に対して相対的に目立たせる品質を表現する顕著性属性と、
    前記ターゲット部分の幾何学的な属性と、
    前記ターゲット部分のオブジェクト分類を表現するカテゴリー属性と、
    前記顕著性属性、前記幾何学的な属性、および前記カテゴリー属性の重み付けされた組み合わせと、からなる群に属する、請求項１３に記載の装置。
20. コンピュータ・プログラム・プロダクツを記憶する非一時的コンピュータ読み取り可能担持媒体であって、前記コンピュータ・プログラム・プロダクトがコンピュータまたはプロセッサによって実行されると、前記コンピュータまたは前記プロセッサに少なくとも１つのカメラを含むモバイル装置の環境の３Ｄ再構成を実行させ、当該再構成は、
    第１の再構成方法によって前記環境の少なくとも１つのエリアの粗い３Ｄ再構成を計算するステップであって、前記第１の再構成方法は、前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つのエリアの少なくとも第１のピクチャを考慮する、前記ステップと、
    少なくとも１つのオブジェクト属性の少なくとも１つの検出に基づいて少なくとも１つのターゲット部分が前記環境に存在するかどうかを自動的に判定するステップであって、前記検出が前記第１のピクチャのうちの少なくとも１つを考慮する、前記ステップと、
    第２の再構成方法によって前記少なくとも１つのターゲット部分の精密な３Ｄ再構成を計算するステップであって、前記第２の再構成方法は、前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つのターゲット部分の少なくとも第２のピクチャを考慮する、前記ステップと、
    前記環境の前記３Ｄ再構成を提供するために前記計算された再構成を集計するステップと、によって行われる、前記非一時的コンピュータ読み取り可能担持媒体。

Images