JP2014110043A - 複数の３次元モデルをつなぎ合わせる装置、方法及びプログラム - Google Patents

Abstract

【課題】１つの視野に収まらないような大規模な物体の３次元モデルを適切に生成する。
【解決手段】複数の部分的な３次元モデルを組み合わせて３次元モデルを生成する装置は、それぞれの部分的な３次元モデルが有する一連の２次元画像の画像特徴を識別し、ある部分的な３次元モデルと他の部分的な３次元モデルとの間で一連の２次元画像をマッチングすることで、重複する画像特徴をより多く有する何れかの２次元画像をそれぞれの部分的な３次元モデルについて選択し、ある部分的な３次元モデルと他の部分的な３次元モデルとの間の３次元座標系における変換として、選択した２次元画像における画像特徴が重複する部分の３次元座標の違いを最小化する変換を算出し、算出した変換に基づいてそれぞれの部分的な３次元モデルの３次元座標系を変換し結合することで３次元モデルを生成する。
【選択図】図１

Description

本開示は、３次元モデルの生成に関し、より具体的には、複数の部分的な３次元モデルをつなぎ合わせて３次元モデルを生成することに関する。

３次元の物体をＲＧＢなどの色彩だけでなく奥行きの情報と共にキャプチャーする技術（例えばカメラ、レーザー装置など）が用いられている。非特許文献１については後述する。

ニューコンベ(Newcombe)他、「キネクト・フュージョン・リアルタイム精密表面マッピング及びトラッキング(Kinect Fusion Real-Time Dense Surface Mapping and Tracking)」、ＩＥＥＥ ＩＳＭＡＲ、２０１１年１０月

しかしながら、上記のキャプチャーする技術は、複数の視点や位置から物体をキャプチャーすることには対応していない。従って、例えば、１つの視野に収まらない大規模な物体をキャプチャーすることはできない。

本発明の第１の態様は、複数の部分的な３次元モデルを組み合わせて３次元モデルを生成する装置であって、それぞれの前記部分的な３次元モデルが有する一連の２次元画像を記憶手段から読み出してその画像特徴を識別する画像特徴解析部と、ある前記部分的な３次元モデルと他の前記部分的な３次元モデルとの間で一連の２次元画像をマッチングすることで、重複する画像特徴をより多く有する何れかの２次元画像をそれぞれの前記部分的な３次元モデルについて選択する重複画像特徴識別部と、ある前記部分的な３次元モデルと他の前記部分的な３次元モデルとの間の３次元座標系における変換として、選択した前記２次元画像における画像特徴が重複する部分の３次元座標の違いを最小化する変換を算出する第１制御部と、算出した前記変換に基づいてそれぞれの前記部分的な３次元モデルの３次元座標系を変換し結合することで３次元モデルを生成する第２制御部と、を備える。

本発明の第２の態様は、第１の態様の装置であって、前記記憶手段は、それぞれが互いに異なる３次元座標系において定義された複数のモデルを、前記複数の部分的な３次元モデルとして記憶し、前記複数の部分的な３次元モデルのそれぞれは、当該部分的な３次元モデルの外観を一部ずつ表現した複数の画像を前記一連の２次元画像として有し、前記一連の２次元画像のそれぞれについて、当該２次元画像のそれぞれの部分は３次元座標系における３次元座標に関連付けられている。

本発明の第３の態様は、第２の態様の装置であって、前記重複画像特徴識別部は、それぞれの前記部分的な３次元モデルについて、画像特徴が重複する部分における３次元座標系の共分散行列の最小の（３番目の）固有値がより大きい２次元画像を、一連の２次元画像の中から選択する。

本発明の第４の態様は、第３の態様の装置であって、前記複数の部分的な３次元モデルは少なくとも３以上の部分的な３次元モデルであり、前記第１制御部は、画像特徴が重複する部分的な３次元モデルのペアの各々の間で変換を算出し、算出した当該変換を当該３以上の部分的な３次元モデルを接続するスパニング・ツリーに沿って伝播させることで、当該３以上の部分的な３次元モデルを１つの３次元座標系に統一する変換を算出する。

本発明の第５の態様は、第４の態様の装置であって、前記第１制御部は、選択した前記２次元画像における画像特徴が重複する部分を全て特定し、当該全ての重複する部分の３次元座標の違いを最小化する変換を算出する。

本発明の第６の態様は、第５の態様の装置であって、前記第１制御部は、算出した前記変換について、さらに、前記３以上の部分的な３次元モデルから抽出した少なくとも３つの画像特徴が重複する部分の３次元座標の違いを最小化するよう最適化することで、算出した前記変換を改善し、画像特徴が重複していない前記部分的な３次元モデルのペアについて、対応する少なくとも１つの部分の３次元座標の違いを最小化する繰り返し解析を用いて、算出した前記変換を更に改善する。

本発明の第７の態様は、第６の態様の装置であって、前記第１制御部は、算出した前記変換を改善するために、下式のように関数を最小化する。
ここで、
（ｕ,ｖ）は画像特徴が重複する少なくとも２つの部分的な３次元モデルを表し、
（Ｉ,ｊ）は、重複する画像特徴のペアを表し、
ｘ_ｕ，ｉは、部分的なモデルｕの画像特徴ｉの３次元座標を表し、
Ｒ_ｕは部分的なモデルｕの大域的な回転を表し、
ｔ_ｕは部分的なモデルｕの大域的な平行移動を表し、
ｘ_ｖ，ｊは、部分的なモデルｖの画像特徴ｉの３次元座標を表し、
Ｒ_ｖは部分的なモデルｖの大域的な回転を表し、
ｔ_ｖは部分的なモデルｖの大域的な平行移動を表す。

本発明の第８の態様は、第１〜第７のいずれかの態様の装置であって、前記画像特徴解析部は、スケール不変特徴変換の画像認識によって、２次元画像の画像特徴を識別する。

本発明の第９の態様は、複数の部分的な３次元モデルを組み合わせて３次元モデルを生成する方法であって、コンピュータが、それぞれの前記部分的な３次元モデルが有する一連の２次元画像を記憶手段から読み出してその画像特徴を識別し、ある前記部分的な３次元モデルと他の前記部分的な３次元モデルとの間で一連の２次元画像をマッチングすることで、重複する画像特徴をより多く有する何れかの２次元画像をそれぞれの前記部分的な３次元モデルについて選択し、ある前記部分的な３次元モデルと他の前記部分的な３次元モデルとの間の３次元座標系における変換として、選択した前記２次元画像における画像特徴が重複する部分の３次元座標の違いを最小化する変換を算出し、算出した前記変換に基づいてそれぞれの前記部分的な３次元モデルの３次元座標系を変換し結合することで３次元モデルを生成する。

本発明の第１０の態様は、複数の部分的な３次元モデルを組み合わせて３次元モデルを生成させるプログラムであって、コンピュータに、それぞれの前記部分的な３次元モデルが有する一連の２次元画像を記憶手段から読み出してその画像特徴を識別し、ある前記部分的な３次元モデルと他の前記部分的な３次元モデルとの間で一連の２次元画像をマッチングすることで、重複する画像特徴をより多く有する何れかの２次元画像をそれぞれの前記部分的な３次元モデルについて選択し、ある前記部分的な３次元モデルと他の前記部分的な３次元モデルとの間の３次元座標系における変換として、選択した前記２次元画像における画像特徴が重複する部分の３次元座標の違いを最小化する変換を算出し、算出した前記変換に基づいてそれぞれの前記部分的な３次元モデルの３次元座標系を変換し結合することで３次元モデルを生成する、ことを実行させる。

１つの視野に収まらないような大規模な物体についてその３次元モデルを適切に生成することができる。

ある実施例において、複数の部分的な３次元モデルをつなぎ合わせて３次元モデルを生成する方法の例示的なフローチャートである。 深さ検出カメラを用いてキャプチャーされた部屋についての、６つの部分的なモデルの例を示す。 ある実施例において、第１の部分的なモデルを構成する一連の画像と第２の部分的なモデルを構成する一連の画像との比較を示す。 画像の中で識別されたＳＩＦＴ画像特徴を用いて見つけられた、２つの部分的なモデルの間において対応する特徴の例を示す。 一対の変換をスパニング・ツリーに沿って伝播させることによって算出した初期の大域的な変換を示す。 重複する部分的なモデルの全てのペアの間の接続を示す。 スパニング・ツリーを用いた方法だけを用いて作られた３次元モデルを示す。 スパニング・ツリーを用いた方法、および、それに続く大域的な最適化の両方を用いて作られた３次元モデルを示す。 １０個の部分的なモデルをつなぎ合わせて作られたモデルを示す。 １４個の部分的なモデルをつなぎ合わせて作られたモデルを示す。 少なくとも１つの実施例を実装するために適したコンピューティング・デバイス及びコンピューティング環境の例を示す。 ある実施例のハードウェアによる実装の例を示す。

（関連技術の説明）
最近、３次元の構造をキャプチャーするためのさまざまなデバイスが出現してきている。例えば、レーザー／ライダー・センサ、ステレオ・カメラ、および、価格の安い消費者向けのＲＧＢ奥行き検出カメラ、例えばマイクロソフトのキネクトなどである。これらのデバイスは視野の中の３次元の構造をポイントクラウド或いは深さマップの形式でキャプチャーすることができる。しかしながら、これらのデバイスは単一の視点から３次元の構造をキャプチャーすることはできるが、典型的には、複数の視点及び／又は地点から３次元をキャプチャーすることはできなかった。

さらに、３次元モデルを利用するサービス、例えばグーグル・アースおよびアップル・マップなどは、益々よく使われるようになっている。３次元モデルを使用することで、ナビゲーション、サイト・プロモーション、及び、仮想現実あるいは複製現実(mirrored reality)を実現できる。これらのサービスを提供するためには、物理環境をあらわす３次元モデルを生成する方法が存在する必要がある。これまで、３次元モデルは手作業で作成されており、時間や費用が多くかかっていた。したがって、モデル作成のプロセスを自動化することが必要となりうる。

本開示は、複数の視点及び地点からキャプチャーされた部分的な３次元のモデルをつなぎ合わせて完全な３次元のモデルを自動的に作成する方法に関する。このような部分的な３次元モデルは、既に述べたどの方法から作られてもよく、それはそれそのままの形式であっても、何らかの処理がされた形式であってもよい。ある実施例において、部分的な３次元モデルの間の相対的な変換を推定し、そして、それらの変換をそれらの部分的なモデルに適用することによってつなぎ合わせ、完全な３次元モデルを生成する。相対的な変換は特徴のマッチングによって推定されてよく、特徴は、例えば２次元の画像の特徴を用いて見つけてもよい。本開示全体にわたって、３次元モデルという用語、及び、３次元の部分的なモデルという用語は、ポイントクラウド、メッシュ、あるいは、容積構造(volumetric structure)としてあらわされる３次元の構造を示すものとして使用されうる。

（実施例）
次に説明する詳細な説明において、同じ機能の要素には同様の参照符号が付されることによって、図面への参照が行われる。上記の添付図面は、説明のためであって、限定のためではなく、実施例の思想と整合した具体的な実装を示す。これらの実装は、当業者であれば実施例を十分実践できる程度に詳細に述べられている。また、他の実装が利用されてもよいし、この実施例の精神および範囲から逸脱することなく、さまざまな要素の置き換えができることが理解されよう。加えて、この発明のそのようなさまざまな実施例は、説明されるように、汎用コンピュータ上で実行されるソフトウェアとして、専用ハードウェアとして、あるいは、ソフトウェアおよびハードウェアの組み合わせとして実装されてよい。

この出願においては、順序付けされていない複数の部分的な３次元モデルをつなぎ合わせて３次元モデルを提供する方法及び装置を説明する。すなわち、順序付けされていない複数の部分的な３次元モデルは初めにキャプチャーされ、或いは、３次元モデルの提供元から受信される。その方法は、ある特定のタイプの３次元提供元に限定されることは無く、さまざまな提供元から提供された３次元モデルを取り扱うことができる。提供元としては、これに限定されないが、下記の例が含まれる。

●光学的に調整されたカメラを伴うレーザー／ライダー・センサ：
ライダー・センサは正確で信頼性ある３次元のポイントクラウドの測定を可能とする。これらは、デバイスから遠く離れた３次元の構造を高精度でキャプチャーすることができ、したがって、大規模な環境における３次元モデルの提供元として利用することができる。レーザー／ライダー・センサは、表面が高反射で無い場合は、例えばテクスチャの無い表面などのさまざまな表面をキャプチャーすることができる。これに加えて、調整されたカメラは、画像の特徴をマッチするために使うことができる。しかしながら、このタイプのセンサは高価で大規模なため取り扱いが困難である。

●ステレオ・カメラ：
レーザー／ライダー・センサに比べると、ステレオ・カメラは安価で取り扱いが容易である。３次元測定の精度は２つのカメラの基準距離に依存する。しかしながら、白い壁などのテクスチャの無い表面をキャプチャーするのは難しい。対応を取るための画像特徴が無いからである。

●一般消費者向けの奥行き検出カメラ：
最近、マイクロソフトのキネクトなどの一般消費者向けの奥行き検出カメラがゲームやコンピュータのユーザ・インターフェイスで用いるために利用可能になった。このカメラは、ＲＧＢイメージと奥行きイメージを同時にキャプチャーするために、画像キャプチャー・センサと奥行きセンサを組み合わせたものである。奥行きを推測するために光の伝達時間や光の構造を利用する技術は過去にも存在したが、これらのシステムは最近まで一般消費者用に用いることができないほどに高価であった。

●３次元及び画像測定の他の提供元：
これに加えて、３次元及び画像測定の提供元として他のものを用いてもよい。例えば、本願発明者らは、リアルタイムでの表面のマッピング及び追跡の技術を用いてカメラからのインプットのデータを処理することについて実験してきた。例えば、上述の非特許文献１において議論されたものと類似の技術である。この方法は、カメラの微小な動きを追跡し、そして、奥行きイメージを滑らかにすることに関する。滑らかになった３次元のポイントクラウド及びそれに関連付けられた画像は、本出願の実施例の入力として用いることができる。もちろん、部分的な３次元モデルを生成するカメラからキャプチャーされた画像を処理するための他の如何なる技術を用いてもよいことが、当業者には明らかであろう。

さらに、３次元測定結果の提供元についての上述の議論に加えて、調整された一連の２次元画像も、部分的な３次元モデルの提供元として用いられてもよい。ここで用いられる「調整された一連の２次元画像」というのは、そこに含まれる、ある定められたポイントについて、３次元の測定結果の提供元から提供された３次元の位置がエンコードされた画像を意味する。

図１は、ある実施例において複数の部分的な３次元モデルをつなぎ合わせて３次元のモデルを生成する方法１００を示す。ある実施例は、パーソナル・コンピュータ上で動作するソフトウェアを含む。しかし、実施例はパーソナル・コンピュータ上で動作するソフトウェアに特に限定されず、その代わりに、携帯デバイス上で動作するアプリケーション・プログラムを含んでよいし、サーバや他のコンピューティング・デバイスやそれらと携帯デバイスの組み合わせの上で動作するソフトウェアでもよいし、ハードウェアとして埋め込まれてもよい。

「複数の部分的な３次元モデルのキャプチャー」
図１の方法１００の例において、ある環境について複数の部分的な３次元モデルが１１０においてキャプチャーされる。この部分的な３次元モデルは、既に議論した１つ又は複数の提供元から集められてもよいし、その他の如何なる３次元モデルであってもよいことが、当業者にとって明らかであろう。換言すれば、それぞれの部分的な３次元モデルは、ポイントクラウド、メッシュ、または容積構造としてあらわされる３次元構造、および、その部分的な３次元モデルが属する３次元座標系に対応付けられた１つ又は複数の画像から得られた２次元画像の情報を含み、これによって、その２次元画像の情報は３次元構造の表面にオーバーレイすることができるようになる。

図２は、奥行き検出カメラを用いてキャプチャーされた部屋についての、６つの部分的なモデル（２０５、２１０、２１５、２２０、２２５、２３０）の例を示す。この実施例において、上述の非特許文献１において議論されたような、リアルタイムの表面のマッピングおよび追跡の技術を用いて、６つの部分的なモデルが既に処理されている。この実施例において、これらの部分的なモデルの間の相対的な配置に関する前提は与えられていないし不要である。

「部分的な３次元モデルにおける画像特徴の識別、および、部分的な３次元モデルの間における重複する一対の画像のマッチング」
複数の部分的な３次元モデルが１１０においてキャプチャーされた後に、１１５において、それぞれの部分的な３次元モデルが処理されて画像特徴が識別される。上述のように、それぞれの部分的な３次元モデルは、関連付けられた１つ又は複数の２次元画像を有している。１１５において、それぞれの部分的な３次元モデルに関連付けられたそれぞれの２次元画像は、画像の特徴やオブジェクトを識別するための、１つ又は複数の画像識別技術を用いて処理される。例えば、その部分的な３次元モデルに関連付けられたそれぞれの画像は、スケール不変特徴変換（ＳＩＦＴ）画像認識処理を用いて分析され、それぞれの画像の特徴が識別されてもよい。１１５において、他の分析方法が用いられてもよい。

１１５において、それぞれの部分的な３次元モデルに関連付けられたそれぞれの画像が画像特徴を識別するために処理されると、他の部分的な３次元モデル（例えば２１０）において識別された特徴と重複或いはマッチングしている、部分的な３次元モデルのうちの１つ（例えば２０５）において識別された画像特徴が、１２０において重複する画像特徴として識別される。言い換えると、その画像、あるいは、部分的なモデルのペア（２０５および２１０）のそれぞれと関連付けられた画像は、特徴がマッチする、或いは、重複するかどうかを判断するために解析される。このように、部分的な３次元モデルの１つについてのそれぞれの画像の中の特徴であって、他の部分的な３次元モデルについての１つ又は複数の画像と共通するものが、重複する特徴として識別される。

図３Ａは、部分的なモデル２０５を構成する一連の画像及び部分的なモデル２１０を構成する一連の画像の比較を示す。示されるように、部分的なモデル（２０５、２１０）のそれぞれは、その部分的なモデルを示す３次元空間にオーバーレイすることのできる一連の２次元画像３００を有している。１１５において識別される画像特徴に基づいて、その部分的なモデル（２０５、２１０）に関連付けられた一連の画像３００は、１２０において解析されて、重複する画像特徴を含む画像が識別される。一連の画像３００のうち複数の画像が重複する特徴を含んでいると判断された場合には、重複する特徴が最も多い画像（３０５、３１０）が、それぞれの部分的なモデル２０５、２１０の中から選択される。

異なる部分的な３次元モデルの画像の中から共通の特徴が識別されると、その部分的な３次元モデルの中の画像の３次元座標が解析される。それぞれの部分的なモデル（２０５、２１０）に関連付けられた画像３０５、３１０が１つ又は複数のマッチした画像特徴を含み、かつ、特徴が同一直線上や同一平面上に配置されないように充分に離散していると判断された場合に、部分的なモデル（２０５および２１０）のペアが重複する部分的な３次元モデルであると識別される。この離散は、下記に議論する方法によって定量化される。さらに、その部分的なモデルが複数の関連付けられた画像を有し、かつ、部分的なモデル（２０５、２１０）のペアの中にマッチする画像特徴が充分ないくつかの画像のペアがある場合には、相対的な姿勢をよく制約する１つの画像のペアが選択される。

特徴の離散および相対的な姿勢の制約は、それぞれの部分的な３次元モデルのマッチした画像の３次元座標に対して主成分分析（ＰＣＡ:Principal Component Analysis）を行うことによって判断される。そして、その画像特徴に関連付けられた３次元座標の共分散行列の最小の（３番目の）固有値が最大の画像特徴のペアが、上述のこれに続く解析のために用いられる。上述のように、これによって、その特徴が同一直線上や同一平面上に配置されることを防ぐことができ、そして、相対的な姿勢を充分に制約できなくなってしまうことを防ぐことができる。

この実施例において、部分的な３次元モデルのそれぞれから最もよく画像特徴が重複する１つの画像が選択され、そして、上述のこれに続く解析のために用いられる。しかしながら、本出願の実施例は、部分的な３次元モデルのそれぞれから画像を１つだけ選択して用いる必要は無く、その代わりに、２つ以上の画像をそれぞれの部分的な３次元モデルから選択してもよい。

部分的な３次元モデルの重複が識別されると、２つの部分的な３次元モデルについての変換が推定される。具体的には、ランダムサンプル一致（ＲＡＮＳＡＣ: Random Sample Consensus) プロクラテス解析を用いて、対応する或いはマッチする画像特徴の間の３次元のユークリッド距離を最小化する変換が算出される。

図３Ｂは、部分的なモデル２０５、２１０にそれぞれ対応する画像３０５、３１０において識別されたＳＩＦＴ画像特徴を用いて２つの部分的なモデル２０５、２１０の間に見つかった特徴の対応の例を示す。２つのモデル２０５、２１０の間の相対的な変換（回転および平行移動）は、マッチしている或いは重複しているとして認識された画像３０５，３１０の特徴を用いて算出されてよい。

「それぞれの部分的なモデルのペアについての初期の大域的な変換の算出」
１２５において、重複する部分的なモデル（２０５、２１０、２１５、２２０、２２５、２３０）の全てのペアについての変換が推定されると、１３０において、部分的なモデル（２０５、２１０、２１５、２２０、２２５、２３０）の全組み合わせについての初期の大域的な変換が算出される。図４Ａは、スパニング・ツリーに沿って一対の変換を伝播させることによって初期の大域的な変換を算出する手法を示す。言い換えると、それぞれの部分を単一のモデルを通して接続し、即ち１つの「幹（主要部）」になるべく多くの他のモデルが「枝」として接続するように試みることによって、接続４００，４０５を重複する部分的なモデルの間に確立させるように、部分的なモデル（２０５、２１０、２１５、２２０、２２５、２３０）を配置する。

このように部分的なモデル（２０５、２１０、２１５、２２０、２２５、２３０）の組み合わせを解析することで、どの部分的なモデルが他の部分的なモデルと最も多く重複するかが判断される。図４Ａに示す実施例のように、部分的なモデル２１０は、４つの他の部分的なモデル（２０５、２１５、２２０、２３０）と重複するので、スパニング・ツリーの幹として選択される。部分的なモデル２１０と重複する４つの部分的なモデルは、１２５において算出された変換の推定に基づいて部分的なモデル２１０との相対的な関係において配列され、そして、幹である部分的なモデル２１０に対する接続４００が確立される。さらに、幹である部分的なモデル２１０と重複する枝である部分的なモデル（２０５、２１５、２２０、２３０）が配置され、そして、幹である部分的なモデル２１０と重複しないが枝である部分的なモデルとは重複する他の部分的なモデル（２２５）が、それと重複する、枝である部分的なモデル２２０との相対位置に配列され、その間に接続４０５が生成される。スパニング・ツリーの手法を用いることによって、上述のように、部分的なモデルの大域的な変換が、スパニング・ツリーのエッジに沿って一対の変換を複合することによって算出される。

「画像特徴の対応の最適化による大域的な変換の改善」
初期の大域的な変換が１３０において算出され、図４Ａに示す初期の姿勢や配置が作られると、１３５において、重複する全ての部分的なモデルのペアの重複する全ての画像特徴を用いて、その大域的な変換が改善される。図４Ｂは、重複する部分的なモデル（２０５、２１０、２１５、２２０、２２５、２３０）の全てのペアの間の接続（４００、４０５、４１０、４１５、４２０）を示す。具体的には、１３０におけるスパニング・ツリーの手法によって初期の姿勢及び配置が決定された時には接続されていなかった、接続４１０、４１５、および４２０によって部分的なモデル２１５、２２０、２２５、２３０および２０５が接続される。さらに、大域的な初期の変換は、下式のように関数を最小化することによって全ての部分的なモデル（２０５、２１０、２１５、２２０、２２５、２３０）の重複する画像特徴の間の全ての距離の合計を最小化する大域的な最適化ルーチンを実行することで改善されうる。

ここで、
（ｕ,ｖ）は画像特徴が重複する少なくとも２つの部分的な３次元モデルを表し、
（ｉ,ｊ）は、重複する画像特徴のペアを表し、
ｘ_ｕ，ｉは、部分的なモデルｕの画像特徴ｉの３次元座標を表し、
Ｒ_ｕは部分的なモデルｕの大域的な回転を表し、
ｔ_ｕは部分的なモデルｕの大域的な平行移動を表し、
ｘ_ｖ，ｊは、部分的なモデルｖの画像特徴ｉの３次元座標を表し、
Ｒ_ｖは部分的なモデルｖの大域的な回転を表し、
ｔ_ｖは部分的なモデルｖの大域的な平行移動を表す。

ある実施例において、この回転行列は、ロドリーグの公式を用いた３次元のベクトルとしてあらわされてよく、これによって、回転のパラメータを、最適化の処理中に回転のグループ（数３）における有効な回転となるように維持できる。これによって、制約の無い一般的な目的のための最適化パッケージを利用することができる。

上述の実施例において、初期の大域的な変換は、部分的な３次元モデルの全てにおける重複する全ての特徴を用いて改善されてもよい。しかしながら、本出願の実施例は初期の大域的な変換を改善するために重複する特徴の全てのペアを用いる必要は無い。代わりに、ある実施例においては、部分的な３次元モデルの重複する特徴の少なくとも３つのペアだけを用いて初期の大域的な変換を改善してもよい。少なくとも３つの重複する特徴のペアを用いることで３次元座標における回転を防ぐことができる。図５Ａは、１３０において議論したスパニング・ツリーのアプローチだけを使って生成した３次元モデルを示す。図５Ｂは、１３５において、大域的な最適化を実行した後に生成された３次元モデルを示す。

「最終の大域的な変換の算出、及び、最終の３次元モデルの生成」
１３５において初期の大域的変換が改善された後に、１４０において、重複する画像特徴に対応していない、重複する部分的なモデル中のポイントのペアを用いてその大域的な変換が更に改善されてもよい。具体的には、まだ重複する画像特徴として識別されなかった部分的なモデル中の対応するポイントに対して、繰り返し近接点（ＩＣＰ:Iterative Closest Points）解析を用いて、その大域的な変換が更に改善されてもよい。ある実施例において、ＩＣＰ解析は、部分的なモデルの対応する全てのポイントに対して実行されてもよい。より多くの対応するポイント（即ち、重複する画像特徴に関連付けられていないポイント、或いは、部分的なモデルの全てのポイント）を用いることによって、最終のモデルをよく揃えることができる。

それぞれの部分的な３次元モデルをあらわすためにポイントクラウドが使われる実施例において、全てのポイントクラウドは、上述の算出された最終の大域的な変換を用いることによって１つの３次元座標にまとめられ、最終のモデルが生成される。これに加えて、ある実施例においては、適切なダウンサンプリングの方法が用いられ、これによって、必要であればポイントの密度を減らしてもよい。

それぞれの部分的な３次元モデルをあらわすためにメッシュや他の容積構造が用いられる他の実施例において、最終のモデルを生成するために追加的な処理が部分的な３次元モデルに対して実行されてもよい。例えば、それぞれの部分的な３次元モデルに関連付けられた画像情報が、再びメッシュ化され、組み合わされた部分的なモデルを滑らかにして１つの最終のモデルを生成してもよい。

上述の実施例において、最終の３次元モデルを生成するために６つの部分的なモデルが用いられる。しかしながら、本出願は６つの部分的なモデルを用いることに限定されず、任意の数のモデルを用いることも含む。例えば、図６Ａは、１０個の部分的なモデルをつなぎ合わせたモデルを示し、図６Ｂは、１４個の部分的なモデルをつなぎ合わせたモデルを示す。

最終の大域的な変換に基づいて最終の３次元モデルが生成された後には、その最終の３次元モデルの用途は特別なものに限定されない。例えば、最終の３次元モデルは、３次元画像の表示装置に表示されてもよい。これに代えて、最終の３次元モデルは、ブラウズ可能な電子フォーマットに従ってユーザに対し提供されてもよい。

「コンピューティング・デバイス及び環境の例」
図７は、本発明を実施するための形態を実装するのに適したコンピューティング・デバイスの例を示す。コンピューティング環境７００の中のコンピューティング・デバイス７０５は、１つまたは複数の処理ユニット、処理コア、もしくは、プロセッサ７１０と、メモリ７１５（例えば、ＲＡＭやＲＯＭなど）と、内部ストレージ７２０（例えば、磁気的ストレージ、光学的ストレージ、ソリッドステート・ストレージ、および／または有機的なストレージ）と、Ｉ／Ｏインターフェイス７２５と、を備え、それらの全ては通信メカニズム、例えばバス７３０に接続されて情報の通信を行う。

コンピューティング・デバイス７０５は、入力／ユーザ・インターフェイス７３５および出力・デバイス／インターフェイス７４０に通信可能に接続されてもよい。入力／ユーザ・インターフェイス７３５、出力・デバイス／インターフェイス７４０、部分モデルキャプチャー装置７８５の少なくとも１つ或いは全ては、有線あるいは無線のインターフェイスによって接続されてもよいし、取り外し可能であってもよい。入力／ユーザ・インターフェイス７３５は、入力機能を提供する如何なるデバイス、コンポーネント、センサ、あるいは、インターフェイスであってよく、それは、物理的なものでも仮想的なものでもよい（例えば、キーボード、ポインティング／カーソル装置（例えばマウス）、マイク、カメラ、点字入力キーボード、モーションセンサ、および／または、光学読み取り機のようなもの）。出力・デバイス／インターフェイス７４０は、ディスプレイ、モニタ、プリンタ、スピーカ、または点字プリンタのようなものであってよい。部分モデル画像キャプチャーデバイス７８５は、上述の３次元モデルをキャプチャーするために用いられうる如何なるデバイス、コンポーネント、或いはセンサを有してよい。

ある実施例では、入力／ユーザ・インターフェイス７３５および出力・デバイス／インターフェイス７４０は、コンピューティング・デバイス７０５に埋め込まれ、あるいは、物理的に接続されてよい(例えば、ボタンやタッチスクリーンの入力／ユーザ・インターフェイスを備えたモバイルデバイス、ディスプレイやプリンタ、テレビなど)。

コンピューティング・デバイス７０５は、外部ストレージ７４５およびネットワーク７５０に接続され、同一または異なる設定を有する１つまたは複数のコンピューティング・デバイスを含む、如何なるネットワークコンポーネント、デバイス、および、システムと通信してもよい。コンピューティング・デバイス７０５や接続しているそのほかのデバイスは、サーバ、クライアント、シン・サーバ、汎用機、専用機、その他として機能し、それらのサービスを提供し、あるいは、それらとして参照されてよい。

Ｉ／Ｏインターフェイス７２５は、有線または無線の、如何なる通信あるいはＩ／Ｏのプロトコルまたは規格（例えば、イーサネット（登録商標）、８０２．１１ｘ、ユニバーサル・シリアル・バス、ワイマックス、モデム、携帯電話ネットワークプロトコルなど）を用いて、コンピューティング環境７００に接続された全てのコンポーネント、デバイス、そして、ネットワークと相互に通信してよいが、これらに限定されない。ネットワーク７５０は、如何なるネットワーク、あるいは、ネットワークの組み合わせであってよい（たとえば、インターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、電話のネットワーク、携帯電話のネットワーク、衛星通信のネットワークなど）。

コンピューティング・デバイス７０５は、状態遷移が可能あるいは不能なものを含む、コンピュータによって利用可能あるいは読み出し可能な媒体を用いてよく、または、これらを用いて通信してよい。一時的な媒体は、伝送媒体（例えば、金属ケーブルや光ファイバー）、信号、搬送波などであってよい。非一時的な媒体は、磁気媒体（例えばディスクやテープ）、光学媒体（例えばＣＤ ＲＯＭ、デジタルビデオディスク、ブルーレイ・ディスク）、ソリッド・ステートメディア（例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ソリッドステート・ストレージ）、および、その他の不揮発性のストレージやメモリであってよい。

コンピューティング・デバイス７０５は、少なくとも１つの実施例、例えばここで説明された実施例を実装するための、技術、方法、アプリケーション、プロセス、あるいは、コンピュータにより実行可能な命令列を実装するために用いられてよい。コンピュータにより実行可能な命令列は、状態遷移が可能なメディアから読み出され、状態遷移が不能なメディアに格納され、そして、状態遷移が不能なメディアからさらに読み出されてよい。実行可能な命令列は、如何なるプログラム言語、スクリプト言語、機械語（例えば、Ｃ、Ｃ＋＋、Ｃ♯、Ｊａｖａ（登録商標）、Ｖｉｓｕａｌ Ｂａｓｉｃ、Ｐｙｔｈｏｎ、Ｐｅｒｌ、ＪａｖａＳｃｒｉｐｔ（登録商標）、およびその他）から生成されてよい。

プロセッサ７１０は、現実の、あるいは仮想的な環境において、如何なるオペレーティングシステム（ＯＳ）(不図示)の下で実行されてもよい。ここで説明した実施例を実装するために、ロジック・ユニット７６０、アプリケーション・プログラミング・インターフェイス（ＡＰＩ）ユニット７６５、入力部７７０、出力部７７５、画像特徴識別部７８０、重複モデル識別部７８１、初期大域変換算出部７９０、大域変換最適化部７９１、最終大域変換算出部７９２、異なる部材が相互に、あるいは、ＯＳと、あるいは、さらに別のアプリケーション（不図示）と通信するための相互通信メカニズム７９５を含む、１つまたは複数のアプリケーションが配置されてよい。例えば、出力部７７５、画像特徴識別部７８０、重複モデル識別部７８１、初期大域変換算出部７９０、大域変換最適化部７９１、最終大域変換算出部７９２は、図１にて示した１つまたは複数のプロセスを実装してよい。説明した部材や要素は、設計、機能、設定、あるいは、実装の上で異なってもよく、ここで説明したものには限定されない。

「ハードウェアによる実装」
本発明のある実施例は例えばコンピュータ上で動作するソフトウェアとして実装されてよいが、これに限定されるものではない。図８は、ある実施例のハードウェアによる実装の一例を示している。

図８は、３次元モデル生成装置８００を示す。３次元モデル生成装置８００は、部分モデルキャプチャー装置８０５と、画像特徴解析部８１０と、重複画像特徴識別部８１５と、表示部８２０と、制御部８３０と、表示制御部８２５と、を有する。部分モデルキャプチャー装置８０５は、複数の部分的な３次元モデルをキャプチャーしてよく、上述のようにどのような３次元モデルの提供元であってもよい。さらに、画像特徴解析部８１０は、図１に関して上述したプロセスを用いて３次元モデルを構成する画像を解析することで画像特徴を検出してもよい。同様に、重複画像特徴識別部８１５は、図２に関して上述したプロセスを用いて、他の３次元モデルの画像特徴と重複する３次元モデルの画像特徴を識別してもよい。

これに加えて、制御部８３０は、部分的な３次元モデルについて重複する画像特徴の間の相対的な変換を推定してもよく、スパニング・ツリーを用いて部分的な３次元モデルの間の初期の大域的な変換を算出してもよいし、重複する画像特徴のペアの全ての間の距離を最適化することによって初期の大域的な変換を改善してもよく、そして、最終的な大域的な変換を図１について議論したプロセスを用いて算出してよい。これに加えて、表示制御部８２５は、表示部８２０を制御して、最終的な３次元モデルを、最終的な大域的な変換に基づいて表示してもよい。表示部８２０は、特に何かに限定されているわけではなく、ＬＣＤディスプレイ、ＬＥＤディスプレイ、プラズマディスプレイ、そして、ＣＲＴディスプレイなどを含んでよいが、これに限定されるわけではないことが当業者にとって明らかであろう。

いくつかの実施例が示されて説明されたが、これらの実施例は、ここで述べられた主題をこの分野に詳しい方々に説明するために提供されるものである。ここで説明された主題は、ここで説明された実施例に限定されること無くさまざまな形で実施化されうることが理解されるべきである。ここで述べられた主題は、これら具体的に定義された、あるいは、説明された事柄を伴わなくても実施化でき、あるいは、ここで述べられなかった他のあるいは異なる要素や事柄を伴って実施化されうる。当業者には、そのような変更が、ここに添付されたクレームやその均等範囲によって定義され、ここで述べられた主題から逸脱することなく、この実施例の中で可能であることが理解されよう。

この実施例に関連する複数の側面について、部分的には上述の説明の中で説明されてきており、部分的には上述の説明から明らかなはずであり、また、本発明の実施から理解されうる。本実施例の複数の側面は、さまざまな要素や詳細な説明および添付のクレームにおいて特に指摘した側面の組み合わせから実現あるいは達成されてよく、さらに、さまざまな要素からなる方法によって、実現あるいは達成されてもよい。

上述の説明は、例示あるいは説明のためだけであって、限定を意図したものではないことが理解されよう。

８００ ３次元モデル生成装置
８０５ 部分モデルキャプチャー装置
８１０ 画像特徴解析部
８１５ 重複画像特徴識別部
８２０ 表示部
８２５ 表示制御部
８３０ 制御部

Claims (10)

1. 複数の部分的な３次元モデルを組み合わせて３次元モデルを生成する装置であって、
   それぞれの前記部分的な３次元モデルが有する一連の２次元画像を記憶手段から読み出してその画像特徴を識別する画像特徴解析部と、
   ある前記部分的な３次元モデルと他の前記部分的な３次元モデルとの間で一連の２次元画像をマッチングすることで、重複する画像特徴をより多く有する何れかの２次元画像をそれぞれの前記部分的な３次元モデルについて選択する重複画像特徴識別部と、
   ある前記部分的な３次元モデルと他の前記部分的な３次元モデルとの間の３次元座標系における変換として、選択した前記２次元画像における画像特徴が重複する部分の３次元座標の違いを最小化する変換を算出する第１制御部と、
   算出した前記変換に基づいてそれぞれの前記部分的な３次元モデルの３次元座標系を変換し結合することで３次元モデルを生成する第２制御部と
   を備える装置。
2. 前記記憶手段は、それぞれが互いに異なる３次元座標系において定義された複数のモデルを、前記複数の部分的な３次元モデルとして記憶し、
   前記複数の部分的な３次元モデルのそれぞれは、当該部分的な３次元モデルの外観を一部ずつ表現した複数の画像を前記一連の２次元画像として有し、
   前記一連の２次元画像のそれぞれについて、当該２次元画像のそれぞれの部分は３次元座標系における３次元座標に関連付けられている、
   請求項１に記載の装置。
3. 前記重複画像特徴識別部は、それぞれの前記部分的な３次元モデルについて、画像特徴が重複する部分における３次元座標系の共分散行列の最小の（３番目の）固有値がより大きい２次元画像を、一連の２次元画像の中から選択する、請求項２に記載の装置。
4. 前記複数の部分的な３次元モデルは少なくとも３以上の部分的な３次元モデルであり、
   前記第１制御部は、画像特徴が重複する部分的な３次元モデルのペアの各々の間で変換を算出し、算出した当該変換を当該３以上の部分的な３次元モデルを接続するスパニング・ツリーに沿って伝播させることで、当該３以上の部分的な３次元モデルを１つの３次元座標系に統一する変換を算出する、請求項３に記載の装置。
5. 前記第１制御部は、選択した前記２次元画像における画像特徴が重複する部分を全て特定し、当該全ての重複する部分の３次元座標の違いを最小化する変換を算出する、請求項４に記載の装置。
6. 前記第１制御部は、算出した前記変換について、さらに、前記３以上の部分的な３次元モデルから抽出した少なくとも３つの画像特徴が重複する部分の３次元座標の違いを最小化するよう最適化することで、算出した前記変換を改善し、
   画像特徴が重複していない前記部分的な３次元モデルのペアについて、対応する少なくとも１つの部分の３次元座標の違いを最小化する繰り返し解析を用いて、算出した前記変換を更に改善する、請求項５に記載の装置。
7. ここで、
   （ｕ,ｖ）は画像特徴が重複する少なくとも２つの部分的な３次元モデルを表し、
   （ｉ,ｊ）は、重複する画像特徴のペアを表し、
   ｘ_ｕ，ｉは、部分的なモデルｕの画像特徴ｉの３次元座標を表し、
   Ｒ_ｕは部分的なモデルｕの大域的な回転を表し、
   ｔ_ｕは部分的なモデルｕの大域的な平行移動を表し、
   ｘ_ｖ，ｊは、部分的なモデルｖの画像特徴ｉの３次元座標を表し、
   Ｒ_ｖは部分的なモデルｖの大域的な回転を表し、
   ｔ_ｖは部分的なモデルｖの大域的な平行移動を表し、
   前記第１制御部は、算出した前記変換を改善するために、上式のように関数を最小化する、請求項６に記載の装置。
8. 前記画像特徴解析部は、スケール不変特徴変換の画像認識によって、２次元画像の画像特徴を識別する、請求項１〜７のいずれか１項に記載の装置。
9. 複数の部分的な３次元モデルを組み合わせて３次元モデルを生成する方法であって、
   コンピュータが、
   それぞれの前記部分的な３次元モデルが有する一連の２次元画像を記憶手段から読み出してその画像特徴を識別し、
   ある前記部分的な３次元モデルと他の前記部分的な３次元モデルとの間で一連の２次元画像をマッチングすることで、重複する画像特徴をより多く有する何れかの２次元画像をそれぞれの前記部分的な３次元モデルについて選択し、
   ある前記部分的な３次元モデルと他の前記部分的な３次元モデルとの間の３次元座標系における変換として、選択した前記２次元画像における画像特徴が重複する部分の３次元座標の違いを最小化する変換を算出し、
   算出した前記変換に基づいてそれぞれの前記部分的な３次元モデルの３次元座標系を変換し結合することで３次元モデルを生成する、
   方法。
10. 複数の部分的な３次元モデルを組み合わせて３次元モデルを生成させるプログラムであって、
    コンピュータに、
    それぞれの前記部分的な３次元モデルが有する一連の２次元画像を記憶手段から読み出してその画像特徴を識別し、
    ある前記部分的な３次元モデルと他の前記部分的な３次元モデルとの間で一連の２次元画像をマッチングすることで、重複する画像特徴をより多く有する何れかの２次元画像をそれぞれの前記部分的な３次元モデルについて選択し、
    ある前記部分的な３次元モデルと他の前記部分的な３次元モデルとの間の３次元座標系における変換として、選択した前記２次元画像における画像特徴が重複する部分の３次元座標の違いを最小化する変換を算出し、
    算出した前記変換に基づいてそれぞれの前記部分的な３次元モデルの３次元座標系を変換し結合することで３次元モデルを生成する、
    ことを実行させるプログラム。