JP2012527025A - 物体の３次元モデルを生成する方法 - Google Patents

Abstract

本発明は、特定の物体の３次元モデルを生成する方法に関する。この方法は最初に、物体の物体奥行き表現を決定するステップと、物体のテクスチャを生成するステップとを含む。次に、３次元モデルは、変位マッピングを前記物体の前記物体奥行き表現に適用し、次に前記テクスチャを前記変位マッピングを使用して生成された前記物体の前記３次元モデルに適用することによって生成される。

Description

本発明は、物体の３次元モデルを生成する方法および関連するシステムに関する。

そのような方法は、例えばｈｔｔｐ：／／ｉｅｅｅｘｐｌｏｒｅ．ｉｅｅｅ．ｏｒｇ／ｓｔａｍｐ／ｓｔａｍｐ．ｊｓｐ？ａｒｎｕｍｂｅｒ＝０１０２４１０７に公開された論文「ＤＡＴＡ ＰＲＯＣＥＳＳＩＮＧ ＩＮ ３Ｄ ＶＩＤＥＯ ＳＹＳＴＥＭ ＢＡＳＥＤ ＯＮ ＤＡＴＡ ＦＲＯＭ ＳＴＲＵＣＴＥＲＥＤ ＬＩＧＨＴ ＭＥＡＳＵＲＥＭＥＮＴ ＳＹＳＴＥＭ」によって既に当技術分野において知られている。

本論文において、構造化光を使用して物体の３次元表現が生成されるシステムおよび方法が記載される。そのようなシステムでは、提案された正確な３Ｄ映像は、干渉縞投影法に基づく光学式３Ｄ物体測定システムの使用に依存する。この構造化光測定システムは、複数の方向からの３Ｄ物体を表す座標点群の形での物体の全ての点に関する奥行き情報である出力データを提供する。点群は、３次元モデルである視覚化用に受け入れられたデータに変換され、３次元モデルは、最終的に仮想環境と組み合わせることができる。

構造化光３Ｄスキャナは、対象の上に光のパターンを投影し、対象の上のパターンの変形を見る。２次元格子または線縞パターンの例を挙げる。パターンの変形を見るためにパターン投影機からわずかにオフセットされたカメラを使用し、パターンにおけるそれぞれの点の距離を計算するためにかなり複雑なアルゴリズムを使用する。

この結果として生じる「点群」は物体の表面上に多数の点を含み、物体の表面はスキャンされたまたはデジタル化された物体の可視表面を表す。そのような「点群」自体は一般に多くの３Ｄ用途において直接使用することができず、したがって通常は、様々な目的に使用することができるように、一般にリバースエンジニアリングと呼ばれるプロセスによって三角メッシュモデル、ＮＵＲＢＳ表面モデル、またはＣＡＤモデルに変換される。「点群」から３Ｄモデルへの変換は、複雑な計算集約型手順としてよく知られている。

さらに、そのような構造化光システムは、現実の環境において実用的ではないと同時に、複雑な照明設置が要求されるという点で不利である。

ｈｔｔｐ：／／ｉｅｅｅｘｐｌｏｒｅ．ｉｅｅｅ．ｏｒｇ／ｓｔａｍｐ／ｓｔａｍｐ．ｊｓｐ？ａｒｎｕｍｂｅｒ＝０１０２４１０７に公開された論文、「ＤＡＴＡ ＰＲＯＣＥＳＳＩＮＧ ＩＮ ３Ｄ ＶＩＤＥＯ ＳＹＳＴＥＭ ＢＡＳＥＤ ＯＮ ＤＡＴＡ ＦＲＯＭ ＳＴＲＵＣＴＥＲＥＤ ＬＩＧＨＴ ＭＥＡＳＵＲＥＭＥＮＴ ＳＹＳＴＥＭ」

本発明の目的は、上記の知られているタイプの、ただし、３次元モデルの生成が通常の照明条件において行われる方法を提供することである。

本発明によれば、この目的は、請求項１に記載の方法、請求項７に記載のシステムおよび請求項８に記載の３次元モデル生成器によって達成される。

実際、最初に、物体に関連する奥行き情報を測定することによって物体の物体奥行き表現を生成することによって、また、物体のこの生成された物体奥行き表現に基づいて、次に、変位マッピングを物体の生成された物体奥行き表現に適用し、物体の生成されたテクスチャを変位マッピングを使用して作成された物体の３次元モデルにマッピングすることによって、物体の３次元モデルを作成することができ、物体のテクスチャ化された３次元モデルが通常の照明条件において得られる。

比較的速く効率的な処理により、したがって非常に短い時間で、変化する物体の場合、３Ｄモデルを生成する処理時間が短いので、リアルタイムソリューションにおいて使用することができるテクスチャ化された３次元物体をレンダリングする。

このテクスチャは、高精細画像から得ることができる任意のテクスチャ、標準精細テクスチャまたは前記画像を用いて更新された事前定義されたテクスチャであってもよい。

物体奥行き表現を生成することは、物体の奥行き測定値の決定および物体のそれぞれの点の奥行きを測定することによって物体の輪郭を再構築することである。

変位マッピングは、バンプマッピング、法線マッピング、および視差マッピングとは対照的な、（手続き型）テクスチャマップまたは高さマップを使用して効果をもたらす代替のコンピュータグラフィックス技術であり、テクスチャ処理された表面における点の実際の幾何学的位置は、テクスチャ機能が表面上のそれぞれの点に対して評価する値に従って、多くの場合は局部表面法線に沿って、変位される。これは表面に十分な奥行き感およびディテールを与え、特に、自己オクルージョン、自己シャドウイングおよびシルエットを可能にする。一方、これは、多量の追加ジオメトリのために、この種の技術のなかで最も費用のかかるものである。

次に、生成された（高精細）テクスチャのマッピングを変位マッピング後に得られた３次元モデルに適用するために、モデルの再構築された輪郭が使用される。

本発明の追加の利点は、変位マッピング技術は点群技術に比べて消費する計算リソースが少ないということにより、本発明の方法、関連するシステムおよび関連する装置は、より速く、より効率的な方法で、３次元表現を得るということである。したがって、３次元モデルの迅速な生成をもたらす処理が比較的単純であるため、本発明のシステムおよび方法をリアルタイムシステムにおいて使用することができる。

本発明のさらなる特徴的な特性は、請求項２に記載されている。

物体奥行き表現を決定するステップは、カメラ入力から得られた奥行きメッセージの抽出に基づく。典型的な奥行きメッセージは、カメラに最も近い点に最も白い白がマッピングされるグレースケール画像とすることができる。

本発明の別のさらなる特徴的な特性は、請求項３に記載されている。

物体の物体奥行き表現を決定するステップは、赤外線距離測定装置の奥行き測定値に基づく。物体奥行き表現は、赤外線距離測定値に基づいた物体のそれぞれの点の奥行きの決定に基づいて生成される。赤外線距離測定値は、粒子、物体またはストリームが測定時間にわたって移動しながら検出器に到達するまでの距離を測定するために使用される。

本発明のさらなる特徴的な特性は、請求項４に記載されている。

前記物体の（高精細）テクスチャを生成するステップは、カメラの（高精細）２次元画像を生成することである。ここでの画像は、３次元モデルにマッピングするための（高精細）テクスチャのレンダリングに使用される。

本発明のいっそうさらなる特徴的な特性は、請求項５に記載されている。

加えて、本方法は、物体奥行き表現からノイズおよび／またはバックグラウンド情報をフィルタリングするステップを含み、バックグラウンドフィルタリングが適用された場合、バックグラウンド情報のない改善された物体奥行き表現をもたらす。

この物体奥行き表現は、平均的には、構造化光測定システムから得ることができる物体奥行き表現よりもはるかにノイズが多い。ここでは、最初にノイズを低減するために、例えばガウシアンフィルタ、バイポーラフィルタのようなフィルタが使用される。

本発明のいっそうさらなる別の特徴的な特性は、請求項６に記載されている。

本発明による方法のさらなるステップは、変位マッピングおよび（高精細）テクスチャのマッピングを３次元モデルに適用する前に物体奥行き表現をさらにいっそう改善するために、最初の物体奥行き表現またはフィルタリングを適用することによって得られた改善された物体奥行き表現をぼかすステップを含む。物体奥行き表現をぼかすことによって、元の物体奥行き表現におけるノイズの影響をさらに低減することができる。

特許請求の範囲において使用される「備える（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、その後に列挙される手段に限定されるものとして解釈されるべきではないことに留意されたい。したがって、「手段ＡおよびＢを備える装置（ａ ｄｅｖｉｃｅ ｃｏｍｐｒｉｓｉｎｇ ｍｅａｎｓ Ａ ａｎｄ Ｂ）」という表現の範囲は、構成要素ＡおよびＢのみから成る装置に限定されるべきではない。これは、本発明に関して、装置の唯一の関連する構成要素はＡおよびＢであることを意味する。

同様に、やはり特許請求の範囲において使用される「結合された（ｃｏｕｐｌｅｄ）」という用語は、直接接続のみに限定されるものとして解釈されるべきではないことに留意されたい。したがって、「装置Ｂに結合された装置Ａ（ａ ｄｅｖｉｃｅ Ａ ｃｏｕｐｌｅｄ ｔｏ ａ ｄｅｖｉｃｅ Ｂ）」という表現の範囲は、装置Ａの出力が装置Ｂの入力に直接接続される装置またはシステムに限定されるべきではない。これは、Ａの出力とＢの入力との間に、他の装置または手段を含む経路であり得る経路が存在することを意味する。

添付の図面と併せて一実施形態の以下の説明を参照することによって、本発明の上記および他の目的および特徴がより明らかとなり、本発明自体が最もよく理解されるであろう。

本発明による３次元モデルを生成するシステムを表す図である。

以下の段落では、図面を参照しながら、添付の特許請求の範囲に記載された本発明の３次元モデルを生成するシステム、関連する方法、関連する３次元モデル生成装置３−ＤＭＧＤの、本発明による実施について説明する。

この説明の第１の段落では、図１に示される３次元モデルを生成するシステムの主な要素について説明する。第２の段落では、前述の要素と記載された手段との間の全ての接続を定義する。次に、全ての相互接続の説明に続いて、関連する３次元モデル生成装置３−ＤＭＧＤを含むシステムの全ての関連する機能的な手段について説明する。後続の段落では、３次元モデルを生成するシステムの実際の実施。

本発明のシステムの必須要素は、そこから３次元モデルが生成される物体Ｏの物体奥行き表現を決定するための物体奥行き表現決定部ＯＤＲＰである。タイムオブフライト式カメラのような赤外線指向測定装置を使用して、この物体奥行き表現を決定することができ、または別法として、ステレオペアのカメラを適用することによってステレオマッチングのような奥行き抽出アルゴリズムを適用することによって、物体奥行き表現を決定することができる。

加えて、物体の（高精細）テクスチャを生成するように構成されたテクスチャ決定部ＴＤＰがあり、ＵＶマッピングのようなよく知られている技術に基づいた高精細２次元画像または通常の２次元画像に基づいてテクスチャを生成することができる。

さらに、（高精細）テクスチャを物体奥行き表現決定部ＯＤＲＰによって決定された物体奥行き表現にマッピングすることによって３次元物体表現を生成するためのマッピング部ＭＰがある。

物体奥行き表現決定部ＯＤＲＰは、同時に３次元モデル生成装置３−ＤＭＧＤの入力端末である入力端末を有する。物体奥行き表現決定部ＯＤＲＰは、フィルタリング部ＦＰに結合されており、フィルタリング部ＦＰは、奥行きぼかし部ＤＢＰに結合されている。奥行きぼかし部ＤＢＰは、出力によってマッピング部ＭＰの第１の入力に結合されており、テクスチャ決定部ＴＤＰは、出力によってマッピング部ＭＰの第２の入力に結合されている。マッピング部は、３次元物体転送部３−ＤＯＦＰの入力端末に結合された出力端末を有し、３次元物体転送部３−ＤＯＦＰは、同時に３次元モデル生成装置３−ＤＭＧＤの出力端末である出力端末を有する。

３次元モデル生成装置３−ＤＭＧＤのこの出力端末は、Ｓｅｃｏｎｄ Ｌｉｆｅのような仮想環境に、またはアクセスネットワークおよびコア通信ネットワークのような通信ネットワークを介して結合され得る。

特定の人物の３次元物体表現が得られる本発明を説明するために。この特定の人物のそのような３次元物体表現は、Ｓｅｃｏｎｄ ＬｉｆｅまたはＯｐｅｎＳｉｍのような仮想環境にそのような表現を導入するために使用可能である。

最初に、物体奥行き表現決定部ＯＤＲＰは、３次元モデルが生成される人物である物体Ｏの物体奥行き表現を決定する。この物体奥行き表現は、タイムオブフライト式カメラのような赤外線指向測定装置のような距離測定装置ＤＭＤを使用して決定されるとみなされ、または別法としては、ステレオマッチングのような奥行き抽出アルゴリズムをステレオペアのカメラに適用することによって物体奥行き表現を決定することができる。

加えて、テクスチャ決定部ＴＤＰは物体の（高精細）テクスチャを生成し、カメラＣＡＭを使用して画像が撮影される場合、テクスチャは高精細２次元画像または通常の２次元画像であってもよい。

次に、マッピング部ＭＰは、最初に変位マッピングを物体奥行き表現決定部ＯＤＲＰによって決定される物体（Ｏ）の生成された物体奥行き表現に適用することによって、この人物の３次元モデルを生成する。次に、マッピング部ＭＰは、物体の生成された（高精細）テクスチャを変位マッピングを使用して作成された物体の３次元モデルにマッピングし、物体のテクスチャ化された３次元モデルが通常の照明条件において得られる。

マッピング部ＭＰは最初に、変位マッピング技術を物体奥行き表現決定部ＯＤＤＰによって決定された物体奥行き表現に適用し、変位マッピング技術は、（手続き型）テクスチャマップまたは高さマップを使用して効果をもたらすものとして定義され、表面における点の実際の幾何学的位置は、以前に計算された奥行き表現に基づいて変位される。

このモデルを仮想環境に投入するために、この人物の結果として生じるテクスチャ化された３次元モデルを３次元モデル転送部３−ＤＭＦＰによって使用することができる。ここでは人物のテクスチャ化された３次元モデルである投入されたテクスチャ化されたモデルを含むこの仮想環境ＶＥにアクセスすることができ、クライアント装置ＣＸ、ＣＹ、ＣＺのいずれかによってそのコンテンツを閲覧することができる。

現在の照明条件、すなわち、追加の照明が適用されていないことにより、この人物の物体奥行き表現の最初の決定において、奥行きを表すグレースケール値を有するグレースケール画像である結果として生じる物体奥行き表現は一定の量のノイズを含み、これは物体のそれぞれの点の奥行き値が完全に正確ではないことを意味する。

フィルタリング部によって専用のフィルタリングを使用して、物体奥行き表現に含まれるこのノイズを部分的にまたは全体的に除去することができる。

ノイズの第１の部分は、バックグラウンドが含まれ得る物体奥行き表現を生成する際に、物体のバックグラウンドによって構成される。

物体のバックグラウンドに関連する物体の全ての点を除去することによって、例えば、一定の奥行き範囲外にある物体奥行き表現（物体のバックグラウンドに関連する）の全ての点を除去することによって、このバックグラウンドを人物の物体奥行き表現から除去することができる。

不完全な照明条件によって構成されるノイズの第２の部分は、物体奥行き表現をフィルタリングすることによって除去される。このフィルタリングは、例えば、ガウシアンフィルタ、バイポーラフィルタの適用であってもよい。

改善された物体奥行き表現であり、もはや如何なるバックグラウンドも含まない、または限定されたもしくは部分的に残ったバックグラウンドのみを含む、結果として生じる物体奥行き表現を、テクスチャをこの改善された物体奥行き表現にマッピングし、このようにして人物の改善された３次元物体表現を生成するために、マッピング部の入力として使用することができる。

さらに、物体奥行き表現をさらに改善し、したがって人物のさらにいっそう改善された３次元物体表現を得るために、人物の第１の改善された物体奥行き表現を奥行きぼかし部ＤＢＰに入力することによって、奥行きをぼかすステップを適用することができる。この奥行きをぼかすステップにおいて、第１の改善された物体奥行き表現がさらに改善されて第１の変位マッピングステップおよび次のテクスチャマッピングステップに対してより適したものとなる。

次に、奥行きぼかし部ＤＰＰの出力によって生じるさらに改善された物体奥行き表現を、第１の変位マッピングステップおよび次のテクスチャマッピングステップのためにマッピング部の入力として使用することができ、テクスチャは改善された３Ｄモデルにマッピングされ、このようにして人物のテクスチャ化された改善された３次元物体表現を生成する。

最後の所見は、本発明の実施形態は機能ブロックに関して上記に説明されているということである。上記に挙げられた、これらのブロックの機能的な説明から、よく知られている電子構成部品を用いてこれらのブロックの実施形態をどのように製造することができるかが電子装置の設計分野における当業者に明らかとなろう。したがって、機能ブロックの内容の詳細なアーキテクチャは提示されない。

特定の装置に関連して本発明の原理を上記に説明してきたが、この説明は例としてなされたものに過ぎず、添付の特許請求の範囲において定義される本発明の範囲を限定するものとしてなされたものではないことが明確に理解されよう。

Claims (8)

1. 物体の３次元モデルを生成する方法であって、
   ａ．前記物体（Ｏ）の物体奥行き表現を決定するステップと、
   ｂ．前記物体（Ｏ）のテクスチャを生成するステップと、
   ｃ．変位マッピングを前記物体（Ｏ）の前記物体奥行き表現に適用し、次に前記テクスチャを前記変位マッピングを使用して生成された前記物体の前記３次元モデルに適用することによって、前記物体の３次元モデルを生成するステップと
   を含むことを特徴とする、方法。
2. 前記物体の物体奥行き表現を決定する前記ステップが、カメラ入力からの前記物体の奥行きメッセージの抽出に基づくことを特徴とする、請求項１に記載の方法。
3. 前記物体の物体奥行き表現を決定する前記ステップが、赤外線距離測定装置（ＤＭＤ）の奥行き測定値に基づくことを特徴とする、請求項１に記載の方法。
4. 前記物体のテクスチャを生成する前記ステップが、カメラ（ＣＡＭ）の２次元画像に基づくことを特徴とする、請求項１から３のいずれかに記載の方法。
5. 前記物体奥行き表現からノイズおよび／またはバックグラウンド情報をフィルタリングするステップをさらに含むことを特徴とする、請求項１から請求項３のいずれかに記載の方法。
6. 前記物体奥行き表現をぼかすステップをさらに含むことを特徴とする、請求項１から請求項３および請求項５のいずれかに記載の方法。
7. 物体（Ｏ）の３次元モデルを生成するシステムであって、
   ａ．距離測定装置（ＤＭＤ）によって実行された物体奥行き測定に基づいて前記物体（Ｏ）の奥行き情報を決定するように構成された物体奥行き表現決定部（ＯＤＲＰ）と、
   ｂ．前記物体（Ｏ）のテクスチャを生成するように構成されたテクスチャ決定部（ＴＤＰ）と、
   ｃ．変位マッピングを使用して、次に前記テクスチャを前記変位マッピングを使用して生成された前記物体の前記３次元モデルにマッピングして、前記物体の３次元モデルを生成するように構成されたマッピング部（ＭＰ）と
   備えることを特徴とする、システム。
8. 請求項１に記載の方法において使用するための３次元モデル生成器であって、
   ａ．前記物体（Ｏ）の奥行き情報を決定するように構成された物体奥行き表現決定部（ＯＤＲＤ）と、
   ｂ．前記物体のＨＤテクスチャを生成するように構成されたテクスチャ決定部（ＴＤＰ）と、
   ｃ．変位マッピングを使用して、次に前記テクスチャを前記変位マッピングを使用して生成された前記物体の前記３次元モデルにマッピングして、前記物体の３次元モデルを生成するように構成されたマッピング部（ＭＰ）と
   を備えることを特徴とする、３次元モデル生成器。

Images