JP2010526295A - ビデオカメラとｔｖモニタを使用した３次元オブジェクトのスキャン - Google Patents

Abstract

システムは、ディスプレイ装置に照明パターンを表示させて、物理的オブジェクトを付随的に照明することによって、物理的オブジェクトの３次元コンピュータモデルを作成する。このパターンによって照明されているオブジェクトの画像を、ビデオカメラが取得する。パターンは、オブジェクトの表面の陰影が大きく異なる画像を取得するために、動きと複数の色を含んでいてもよい。オブジェクトの表面上の点の向きを決定するために、取得したオブジェクトの画像に含まれる陰影値が解析される。システムは、取得した画像の品質を評価し、オブジェクトの特定の属性に合うパターンを選択する。点の陰影値を、較正陰影オブジェクトから取得した照明モデルまたは陰影値と比較することによって、点の向きが決定される。点の向きにモデル表面がフィットされる。アプリケーションは、どのような目的についてもモデルを使用することができ、これには、カスタマイズした仮想オブジェクトの作成および交換、オブジェクトのトラッキングの向上、ビデオ会議アプリケーションなどが含まれる。

Description

本発明は、オブジェクトの２次元画像からそのオブジェクトの３次元モデルを作成するための方法およびデバイスに関する。

関連出願への相互参照

本願は、２００７年８月１７日出願の米国特許出願第１１/８４０，８１３「ビデオカメラとＴＶモニタを使用した３次元オブジェクトのスキャン（3D Object Scanning Using Video Camera and TV Monitor」、ならびに２００７年４月２４日出願の米国仮特許出願第６０／９１３，７９３号「ビデオカメラとＴＶモニタを使用した３次元オブジェクトのスキャン（3D Object Scanning Using Video Camera and TV Monitor」に対する優先権を主張し、これらの出願を参照によりここに援用する。

コンピュータグラフィック画像の多くは、所定の視点から観た、シーン内の３次元モデルとの光の相互作用、いわゆるインタラクションを数学的にモデリングすることによって生成される。この処理はレンダリングと呼ばれ、所定の視点から観たシーンの２次元画像を生成するものであり、現実のシーンの写真を撮影することにたとえることができる。時間の経過に伴ってシーンを徐々に変えつつ、シーンの画像のシーケンスをレンダリングすることによって、アニメーションシーケンスを作成することができる。ゲーム、その他の教育用または娯楽用のアプリケーションなどのインタラクティブなソフトウェアアプリケーションは、多くの場合、レンダリング用のソフトウェアおよびハードウェアを使用して、ユーザ入力を受けてインタラクティブなフレームレートでコンピュータグラフィック画像を生成する。

通常、複雑な３次元の製図またはモデリング用のアプリケーションを使用して、コンピュータグラフィックアーティストにより、インタラクティブなソフトウェアアプリケーション内に３次元モデルが作成される。また、モデル作成者（sculptor）が、オブジェクトの物理的モデルを作成し、このモデルが、特殊な３次元スキャナを用いて３次元コンピュータグラフィックモデルに変換されうる。このような手法の全てでは、特殊なハードウェアとソフトウェアのほか、高度な技術を有するアーティストが必要となる。この複雑さのため、インタラクティブなソフトウェアアプリケーションに含まれる３次元オブジェクトは、通常、ソフトウェアの供給業者が供給するオブジェクトか、あるいは、３次元モデリングアプリケーションを利用できるユーザによって提供されるオブジェクトに限られている。
このため、インタラクティブなソフトウェアアプリケーションのためのオブジェクト物理的オブジェクトの３次元グラフィックモデルをユーザが作成できるようにするシステムおよび方法が望まれている。また、モデリングまたは製図用のアプリケーションを使用せずに、３次元コンピュータグラフィックモデルを作成できることが望まれている。更に、このシステムが、低価格で広く利用可能なコンシューマ向け電子機器を使用して実装できることが更に望まれている。

本発明の一実施形態は、物理的オブジェクトの３次元コンピュータグラフィックモデルを作成するためのシステムを有する。ディスプレイ装置に表示される照明パターンが、物理的オブジェクトを付随的に照明する。この照明パターンによって照明されている物理的オブジェクトの１つ以上の画像を、ビデオカメラが取得する。照明パターンは、ビデオカメラが、物理的オブジェクトの表面の陰影が大きく異なる画像を取得できるように、動きと複数の色を含んでいてもよい。物理的オブジェクト上の点の表面の向き（surface orientation）を決定するために、取得した物理的オブジェクトの画像に含まれる陰影値が解析される。本発明の一実施形態は、取得した画像の品質と適否を評価し、この評価結果を使用して、表示する別の適切な照明パターンを選択しうる。照明パターンは、物理的オブジェクトの特定の光学的、幾何学的および物理的な属性に合わせて調整することができ、タイプの異なる物体を用いることでシステムの汎用性を高めることができる。

一実施形態では、照明モデルが、照明パターンによって生成される物理的オブジェクトの画像内の各陰影値から、表面の向きの候補を１つ以上決定する。別の実施形態では、各照明パターンの陰影値が、既知の幾何学的形状を有し、同じ照明パターンで照明される較正物体の類似する陰影値と相互参照されうる。モデル表面を、モデル点の表面の向きにフィットすることができるまで、物理的オブジェクトの別の画像と追加の照明パターンとにより、物理的オブジェクトのモデル上の点に対する表面の向きの候補の組が絞られる。

本発明の実施形態は、どのような目的についても物理的オブジェクトのモデルをアプリケーションに提供することができ、これには、ユーザによるカスタマイズした仮想物体の作成および交換、物理的オブジェクトのトラッキングの向上、ビデオ会議アプリケーションなどが含まれる。

本発明の一実施形態に係る、物理的オブジェクトの３次元コンピュータグラフィックモデルを作成するためのシステムを示す。 本発明の一実施形態との使用に適した、物理的オブジェクト上の点の表面の向きを推定するための手法を示す。 本発明の一実施形態との使用に適した、物理的オブジェクト上の点の表面の向きを推定するための手法を示す。 本発明の一実施形態に係る、３次元コンピュータグラフィックモデルを作成するための方法を示す。 本発明の一実施形態との使用に適した表示パターンの例を示す。 本発明の一実施形態との使用に適した表示パターンの例を示す。 本発明の一実施形態との使用に適した表示パターンの例を示す。 本発明の一実施形態との使用に適した表示パターンの例を示す。 本発明の一実施形態との使用に適した較正オブジェクトの例を示す。 本発明の一実施形態との使用に適した較正オブジェクトの例を示す。 本発明の一実施形態との使用に適した較正オブジェクトの例を示す。 本発明の一実施形態の実装における使用に適したコンピュータシステムの例を示す。 本発明の一実施形態の実装における使用に適したプロセッサの例を示す。

本発明について図面を参照して説明する。

図１は、本発明の一実施形態に係る、物理的オブジェクトの３次元コンピュータグラフィックモデルを作成するためのシステム１００を示す。システム１００は、コンピュータ装置１０５を備え、これは、パーソナルコンピュータ、セットトップエンタテインメントボックス、家庭用またはポータブル式のビデオゲームコンソール、個人情報端末またはビデオ会議装置など、どのようなコンピューティング装置であってもよい。装置１０５は、有線または無線のインタフェースを介して、ビデオカメラ１１０に接続されている。一実施形態では、カメラ１１０が装置１０５に内蔵されている。他の実施形態では、カメラ１１０は装置１０５と別個に存在する。カメラ１１０は、静止画または動画をキャプチャし、この画像を装置１０５とやり取りするように構成されている。一実施形態では、カメラ１１０は１つ以上の内蔵式ライト１１２を更に備え、このライトは、可視照明または赤外照明を提供するように選択的に作動させることができる。同様に、カメラ１１０は、可視光および／または赤外光を含む画像をキャプチャすることもできる。代表的な実施形態では、カメラ１１０は、インターネットまたは他の広域ネットワークを介したビデオ会議に広く使用されている、低コストのウェブカメラと同様のものであってもよい。

システム１００は、カメラ１１０のほかに、ディスプレイ装置１１５も備える。ディスプレイ装置１１５は、ブラウン管、ＬＥＤ、ＬＣＤ、ＯＬＥＤおよび／またはプラズマディスプレイ技術などの、どのようなタイプの表示技術を採用しているテレビジョンまたはコンピュータモニタでもよい。装置１０５はディスプレイ１１５と接続されており、これにより、装置１０５によって生成されるコンピュータグラフィック画像およびパターンがディスプレイ装置１１５によって表示される。

システム１００の一実施形態では、ディスプレイ装置１１５によって生成される画像が、スキャン対象のオブジェクト１２０を照明するように、ディスプレイ装置１１５が配置されている。オブジェクト１２０は、ユーザが選択したどのような物理的オブジェクトであってもよい。ディスプレイ装置１１５は、スクリーンやほかの任意のオブジェクトに、画像またはパターンを投影するためのプロジェクタではないが、ディスプレイ装置１１５は、一般に、画像を表示している間は、オブジェクトを付随的に照明するのに十分明るい。

カメラ１１０は、ディスプレイ装置１１５によって生成される１つ以上のパターンによってオブジェクト１２０が照明されているときに、オブジェクト１２０の画像をキャプチャする。下で詳しく説明するように、オブジェクト１２０の正確なモデルを作成するために、ディスプレイ装置１１５によって多くの異なる照明パターンを出力することができる。また、ユーザは、オブジェクト１２０を回転または移動させて、その位置および向きを変えることができ、これにより、全角度からのオブジェクト１２０の完全なモデルを作成することができる。装置１０５は、この画像を解析することによって、オブジェクト１２０の３次元コンピュータグラフィックモデルを構築することができる。その後、この３次元コンピュータグラフィックモデルを、装置１０５またはその他のデバイスによって実行されるインタラクティブなソフトウェアアプリケーションが、その動作に取り込みうる。

１つ以上の画像からオブジェクトの構造または形状を決定するための手法が、従来技術において数多く知られている。一般的な一手法では、１つ以上の光源からの照明に応じたオブジェクトの陰影から、オブジェクトの表面上の点の向きを求める。図２Ａ〜２Ｂは、本発明の一実施形態との使用に適した、物理的オブジェクト上の点の表面の向きを推定するための手法を示す。

図２Ａは、オブジェクト上のある点におけるオブジェクト表面の向きに基づいて、その点における陰影を規定する一般照明モデル２００を示す。照明モデル２００では、表面２０７上の点２０５の陰影は、点２０５における表面２０７の法線ベクトル２１０と、点２０５から光源まで延びる光ベクトル２１５との間の角度に基づく。例えば、Ｐｈｏｎｇ照明モデルは、ベクトル２１０，２１５間のドット積または角度に基づき、ある点に、拡散陰影値を割り当てる。更に、照明モデル２００は、光ベクトル２１５の反射２２５と、点２０５からカメラまたは観察者まで延びる視点ベクトル２２０との間の角度における、点２０５の陰影の一部に基づきうる。例えば、Ｐｈｏｎｇ照明モデルは、ベクトル２２０，２２５間のドット積または角度の指数値に基づき、鏡面陰影値を割り当てる。

表面上の点の陰影は、表面の向きに基づくことから、陰影値から表面の向きを求めることができることになる。一般に、１つの光源からの所定の陰影値は、多数の可能な表面の向きに対応しうる。しかし、異なる位置で複数の光源からの画像を解析することによって、ある表面点に対する候補の向きの数を、通常は１つの向きに絞り込むことができる。その後、画像および得られた抽出された表面の向きのデータに対する追加の処理（例えば、ノイズリダクションやその他のフィルタリング、背景抽出、シルエット抽出、メッシュ生成、組み合わせおよび単純化など）を使用することで、オブジェクトの３次元コンピュータモデルを構築することができる。

図２Ｂは、オブジェクト２５０の画像を示す。オブジェクトを異なる光源から照明し、多数の点における表面の陰影を解析することによって、オブジェクト表面の向きを求めることができる。ベクトル２５５ａ〜２５５ｔを含むベクトル場は、オブジェクト２５０の表面の法線ベクトルを定義している。本発明の一実施形態は、表面をこのベクトル場にフィットさせて、オブジェクト２５０のコンピュータグラフィックモデルを定義する。ベクトル場２５５内のベクトルの数は、説明を目的として示しており、本発明の実施形態は、任意の数のベクトルを有するベクトル場を使用して、オブジェクトのモデルの表面を定義することができ、ベクトルの数は、カメラの解像度およびアプリケーションの要件のみによって制限される。

この手法の従来の実装においては、オブジェクトおよびカメラに対して特定の位置に、専用の光源が必要であった。多くの場合、正確かつ完全なオブジェクトを作成するために、このような光源を、特定のオブジェクトにおける固有の幾何学的、物理的および光学的な特性に合わせて調整する必要があった。

これに対し、本発明の実施形態は、ディスプレイ装置が生成する画像またはパターンを、オブジェクトを照明するための光源として使用する。ディスプレイ装置は、従来の光源では通常生成することができない複雑かつ変化するパターンを生成することができるため、本発明の実施形態は、ユーザによる光源の複雑な手動での調整を必要とせずに、多くの異なるタイプのオブジェクトのモデルを作成するために使用することができる。

図３は、本発明の一実施形態に係る、３次元コンピュータグラフィックモデルを作成するための方法３００を示す。任意選択のステップ３０５では、陰影パラメータを較正する。一実施形態では、ステップ３０５において、ディスプレイ装置に１つ以上の照明パターンを表示させて、既知のオブジェクトの表面の陰影値を測定し、カメラによってキャプチャした陰影値を、既知の表面の向きの値と対応させる。

ステップ３１０において、表示する照明パターンを選択する。一実施形態では、システムは、選択可能な多くの所定の照明パターンまたはアルゴリズムにより生成された照明パターンを有する。別の実施形態では、オブジェクトに対して光源が移動したときに、表面の陰影の変化をカメラがキャプチャすることができるように、照明パターンにアニメーションが含まれてもよい。下で詳しく説明するように、各照明パターンは、任意のタイプのオブジェクトと使用するに適しているか、あるいは、特定の幾何学的、物理的および／または光学的な特性を有するオブジェクトに関する詳細をキャプチャすることができるように調整されうる。ステップ３１０の最初の実行では、通常、一般的な照明パターンが選択される。その後、ステップ３１０が実行されるときには、この照明パターンを用いてキャプチャした画像と、モデルの幾何学的形状とを使用して、より特化した照明パターンが選択されうる。

ステップ３１５において、選択した照明パターンを表示し、オブジェクトの表面の陰影の１つ以上の画像を、カメラを使用してキャプチャする。一実施形態では、ステップ３１５において、照明パターンと空白のパターンを交互に表示する。この２つのパターンに関連する画像の差により、オブジェクトの表面の陰影に対する周囲の光源またはその他の光源の影響が除去または低減される。

ステップ３２０において、ステップ３１５で取得した１つ以上の画像のオブジェクト表面の陰影が、モデルの幾何学的形状の決定に使用するために適しているかどうかを判定する。例えば、画像の全体あるいは大半が空白の場合、この画像はオブジェクトの表面の向きの抽出には適していない。空白の画像は、オブジェクトが、照明パターンからの光を十分に反射しない場合、例えば、緑のオブジェクトに、青の照明パターンが投影された場合などに得られうる。適否の評価基準には、このほかに、かなりの画像ノイズがあるかどうか、画像が焦点が合っており、適切に露出されているかどうか、画像内のオブジェクトのシルエットが以前の画像から得られたシルエットと似ているかどうか、オブジェクトに関連する画像の一部が連続しているか、あるいは画像のこの一部に多くの空白領域またはギャップがあるかどうか、陰影が他の画像の陰影と矛盾がないかどうか、などがある。

ステップ３１５でキャプチャした画像内のオブジェクトの陰影が、オブジェクトのモデルの作成に使用するのに適さない場合、方法３００が、ステップ３２０からステップ３１０に戻り、異なる照明パターンを選択する。一実施形態では、ステップ３１０において、どの照明パターンから、オブジェクトの適切な画像または不適当な画像が得られたかの情報に基づいて、オブジェクトの別の画像をキャプチャするための適切な照明パターンを選択する。例えば、青の照明パターンにより空白の画像が得られ、オブジェクトが青色光を全く反射しないかほとんど反射しないことが示された場合、ステップ３１０の実施形態は、この後使用する照明パターンの選択を、赤色光または緑色光を含む照明パターンに限定しうる。

逆に、ステップ３１５でキャプチャした１つ以上の画像が十分な品質のオブジェクトの陰影を含む場合、方法３００が、ステップ３２０からステップ３２５に進む。ステップ３２５において、ステップ３１５でキャプチャした画像内のオブジェクトの陰影を使用して、幾何学的形状を更新する。一実施形態では、オブジェクトのシルエットが決定され、その内部が多くのメッシュ点と共に生成される。各メッシュ点に重複しているかまたはその近くに存在する１つ以上の画像点の陰影値を使用して、メッシュ点ごとに１つ以上の表面の向きの候補が決定される。１つ以上の照明モデルを使用して、陰影値から表面の向きの候補が決定されうる。異なる照明パターンから得た追加の画像の処理が進むと、メッシュ点ごとの表面の向きの値の候補の数が絞られていく。

一実施形態では、全てのとりうる表面の向きを含むように、各メッシュ点を初期化することによって、メッシュ点ごとの表面の向きの値の候補の数が絞られうる。あるメッシュ点に対して、照明パターンから表面の向きの候補の組が決定されると、表面の向きの候補のこの組と、メッシュ点の表面の向きの以前の候補との共通部分、いわゆるインターセクション部分が決定される。次に、表面の向きの候補のこの共通する部分集合が、メッシュ点の残った表面の向きの候補として記憶される。方法３００がその後繰り返されて、追加の照明パターンから得た別の表面の向きの候補について、メッシュ点のこの残った表面の向きとの共通部分が求められる。カメラからの測定誤差に対処するために、平均および最小自乗近似などの近似法および推定法が使用されうる。

ステップ３３０において、オブジェクトモデルの幾何学的形状が完全に定義されたかどうかを判定する。一実施形態では、ステップ３３０において、メッシュ点の実質的部分、つまり、全てまたは大半あるいは過半数に対して、残った表面の向きの候補が１つである場合、オブジェクトモデルの幾何学的形状が十分に完全であると判定する。別の実施形態では、補間により、ほかの任意のメッシュ点の表面の向きが決定されうる。メッシュ点の表面の向きが決定されると、表面の向きにフィットするモデル表面が定義される。モデル表面は、三角形、ポリゴン、ＮＵＲＢＳ、部分分割表面、パーティクルシステム、あるいは従来技術において公知のオブジェクトの幾何学的形状のほかの任意の数学的表現などの高次曲面を使用して定義することができる。

幾何学的形状が完全に規定されると、方法３００はステップ３３５に進み、オブジェクトモデルを出力する。完全ではない場合、方法３００はステップ３１０に進み、追加の照明パターンを選択する。一実施形態では、ステップ３１０のその後の繰り返しで選択される照明パターンは、メッシュ点の残った表面の向きの候補の数およびタイプにより、少なくとも部分的に決定される。

例えば、オブジェクトの表面点の表面の向きの候補に基づき、オブジェクトの表面の一部が凸状か凹状の場合、ステップ３１０の一実施形態は、凸状と凹状の幾何学的形状を区別するように設定された照明パターンを選択しうる。例えば、オブジェクトの凸状部分が下から照明されると、この部分の底部がこの部分の上部よりも明るくなる。逆に、オブジェクトの凹状部分が下から照明されると、この部分の上部がこの部分の底部よりも明るくなる。

別の実施形態では、前はカメラから見えなかったオブジェクトのほかの部分の幾何学的形状を決定するために、ユーザが、オブジェクトを新しい位置に回転させて、ステップ３１０〜３３０を繰り返すように指示しうる。オブジェクトの、全角度からの完全かつ閉じた形状（version）を生成するために、この幾何学的形状が、以前のオブジェクトの向きで特定されたオブジェクトの幾何学的形状と結合されうる。別の実施形態では、閉じたオブジェクトを作成するために、１つ以上の向きから決定されたオブジェクトの幾何学的形状が、予め定義されているオブジェクトの幾何学的形状と結合されうる。例えば、ユーザの顔の幾何学的形状を決定するために、方法３００を使用することができる。この幾何学的形状を、予め定義されている頭部モデルと結合することができる。別の実施形態では、オブジェクトの画像から、テクスチャマップまたはその他の表面の陰影情報も生成される。一実施形態では、この生成は、画像の１つまたは画像の組み合わせを選択し、背景を除去して、その後、モデル表面に画像を投影して、テクスチャ座標を決定することによって行うことができる。

本発明の実施形態は、さまざまな異なるタイプの照明パターンを使用して、オブジェクトの表面上の点の向きを決定しうる。一般に、照明パターンは、１つ以上の方向からオブジェクトの表面に光を投影するように設定されている。図４Ａ〜４Ｄは、本発明の一実施形態との使用に適した照明パターンの例を示す。

図４Ａは、照明パターンの例４００を示す。照明パターン４００には、パターンの左上隅の赤色光の領域４０５、右上隅の緑色光の領域４１０、および下中央の青色光の領域４１５が含まれる。照明パターン４００は、カラービデオカメラと使用するために適合されている。代表的なカラービデオカメラは、赤色光、緑色光および青色光を画像内で同時にキャプチャすることができるため、照明パターン４００により、カメラは、１つの画像内で、異なる位置の３つの異なる光源からのオブジェクトの陰影をキャプチャすることができる。この例では、画像内の赤色光の全て（すなわち各ピクセルの赤色成分）は領域４０５に由来し、画像内の緑色光の全て（すなわち各ピクセルの緑色成分）は領域４１０に由来し、画像内の青色光の全て（すなわち各ピクセルの青色成分）は領域４１５に由来する。

照明パターンの例４００は、オブジェクト表面が全ての色の光をほぼ均等に反射すると仮定している。光の色によってオブジェクト表面の反射光量が異なることを補償するために、各色成分の陰影値のスケーリングまたは正規化を行うことができる。別例として、図４Ｂは、第２の照明パターン４２０を示す。照明パターン４２０は、色領域の位置が入れ替わっている点を除き、パターン４００と同様である。照明パターン４２０では、赤色領域４３０が右上隅に、緑色領域４３５が下中央に、青色領域４２５が左上隅に位置している。本発明の一実施形態は、領域４０５と領域４２５、領域４１０と領域４３０、および領域４１５と領域４３５からのオブジェクトの陰影をそれぞれ比較することによって、オブジェクトの色の反射特性の差を補償することができる。例えば、領域４０５と領域４２５からの陰影値の比は、オブジェクトの赤青色と青色光の表面反射率の差の比に比例する。

色を使用することに加えて、可動光源に応じたオブジェクトの表面の陰影の変化を観察するために、照明パターンが、並進および回転などの動きを使用してもよい。図４Ｃは、第１の位置および向きにおける照明された三角形４４５を含む照明パターンの例４４０を示す。図４Ｄは、別の位置および向きにおける同様の三角形４６５を含む照明パターンの例４６０を示す。異なる位置および向きの間で三角形が移動したときのオブジェクトの陰影の画像をキャプチャすることによって、オブジェクトの表面上の点の向きを判別することが可能となる。

上で説明したように、表面光反射の陰影または照明モデルを使用して、光源からの点の陰影値に基づいて、その点に対する表面の向きの候補を決定することができる。別の実施形態では、表面の向きの解析の精度を改善するために、表面の向きが既知である較正オブジェクトを使用することができる。一実施形態では、システムは、１つ以上の照明パターンによって較正オブジェクトを照明する。多数の表面点における較正オブジェクトの表面の陰影が、カメラによってキャプチャされる。較正オブジェクトの幾何学的形状が既知であるため、各表面点の表面の向きもわかっている。このため、システムは、照明パターンごとに、各陰影値を１つ以上の表面の向きの候補と関連させたデータ構造を記憶している。同じ照明パターンを用いて未知のオブジェクトを解析する場合に、表面点の陰影値を使用して、このデータ構造から表面の向きの候補の組を取得することができる。

図５Ａ〜５Ｃは、本発明の一実施形態との使用に適した較正オブジェクトの例を示す。図５Ａは、第１の照明パターン５００によって照明されている較正オブジェクトの例を示す。この例では、較正オブジェクトは球体である。第１の照明パターンが、較正オブジェクトを正面から（head on）照明している場合、領域５０５はほぼ同じ陰影値を有することになる。較正オブジェクトの幾何学的形状が既知であるため、領域５０５は、表面法線ベクトル５１０ａ〜５１０ｈを含む表面の向きの候補の組と関連している。同じ照明パターンを用いて未知のオブジェクトを解析するときに、領域５０５と似た陰影値を有する任意の表面点が、表面の向きの候補の組５１０の一部または全てを割り当てられる。第１の照明パターンについて、別の陰影値を有する較正オブジェクトの表面の他の領域に対しても、同様の解析が実行されうる。

図５Ｂは、第２の照明パターン５２０によって照明されている較正オブジェクトの同じ例を示す。この例では、第２の照明パターン５２０は、較正オブジェクトを側面から照明する。較正オブジェクトの表面の領域５２５は、ほぼ同じ陰影値を有する。較正オブジェクトの幾何学的形状が既知であるため、領域５２５は、表面法線ベクトル５３０ａ〜５３０ｈを含む表面の向きの候補の組と関連している。同じ照明パターンを用いて未知のオブジェクトを解析するときに、領域５２５と似た陰影値を有する任意の表面点が、表面の向きの候補の組５３０の一部または全てを割り当てられる。第２の照明パターンについて、別の陰影値を有する較正オブジェクトの表面の他の領域に対しても、同様の解析が実行されうる。

特殊な較正オブジェクトの代替案として、本発明の一実施形態は、ユーザの顔の特徴を較正オブジェクトとして使用してもよい。図５Ｃは、照明パターンによって照明されているユーザの顔の例５５０を示す。ユーザの顔の特定の特徴は、既知の幾何学的形状を有しうる。例えば、鼻５６０の先、額５５５および目５６５の両方は、ほぼ球形である。本発明の一実施形態は、これらの顔の特徴のいずれかまたは両方の照明パターンからの陰影を使用して、陰影値を表面の向きの候補と関連させることができる。

本発明の実施形態を使用して作成されたオブジェクトモデルは、多くの方法でインタラクティブなソフトウェアアプリケーションに取り込むことができる。例えば、ユーザの好きなオブジェクトのモデルが、ユーザの仮想空間を装飾するか、または、他のユーザへの電子ギフトとしてプレゼントするために使用されてもよい。ユーザは、ゲームのキャラクタに自分の顔を追加することができる。ポリゴンラスタライゼーション法およびレイトレーシングレンダリング法などの従来技術において公知の任意のレンダリング手法を使用して、オブジェクトモデルを、レンダリングしてユーザに対して表示することができる。

別の例では、本発明の一実施形態は、ビデオ会議アプリケーションにおいてカメラ位置を修正することができる。通常、ビデオ会議のユーザは、カメラではなくビデオスクリーンを見ている。ビデオ会議アプリケーションでは、カメラは、一般にスクリーンの横または上に置かれるため、ビデオ会議でユーザ同士が目線を合わせることが困難である。本発明の一実施形態は、上で説明した手法を使用して、ユーザの頭部のモデルを作成する。このモデルを使用して、ユーザの頭部に対するカメラの位置が決定される。本発明の一実施形態のアプリケーションは、この情報に基づいて、キャプチャしたビデオをモデル上にテクスチャとしてマッピングし、ユーザの頭部のモデルを、正面からキャプチャしたビデオテクスチャで覆ってレンダリングする。これは、ユーザがカメラを直接見ている効果をシミュレーションする。

更に別の実施形態では、システムはディスプレイ装置から投影される照明パターンを使用して、オブジェクトの初期の高解像度モデルを作成する。システムは、次に、ディスプレイ装置の一部からの可視照明パターン、あるいはカメラあるいはもう一方に関連する光源から投影されている可視または赤外の照明パターンを使用して、オブジェクトの低解像度モデルをキャプチャすることができる。この低解像度モデルは、オブジェクトの位置および向きの変化をトラッキングする、あるいは、ユーザの顔の表情の変化など、オブジェクトの形の連続的な変化をキャプチャするために、アプリケーションによって使用されうる。この変化を使用して、高解像度のオブジェクトのモデルの位置または形状を変更することができる。低解像度モデルからのこの情報は、ユーザの表情をゲームのキャラクタの表情に反映させたり、アプリケーション内の仮想オブジェクトを、ユーザによる物理的オブジェクトの移動に追従させたりなど、アプリケーションへの入力として使用することができる。

図６は、本発明の一実施形態の実装における使用に適したコンピュータシステム１０００の例を示す。図６は、本発明の一実施形態の実施に適した、パーソナルコンピュータ、ビデオゲームコンソール、個人情報端末またはその他のデジタルデバイスなどの、コンピュータシステム１０００のブロック図である。コンピュータシステム１０００は、ソフトウェアアプリケーションを実行し、ロジック関数および任意選択でオペレーティングシステムを実装するための中央処理装置（ＣＰＵ）１００５を備える。ＣＰＵ１００５は、１つ以上の処理コアから構成されうる。メモリ１０１０は、ＣＰＵ１００５によって使用されるアプリケーションおよびデータを記憶する。記憶域１０１５は、アプリケーションおよびデータのための不揮発性記憶域を提供し、固定ディスクドライブ、リムーバブルディスクドライブ、フラッシュメモリデバイス、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ブルーレイ、ＨＤ−ＤＶＤ、またはその他の光記憶デバイスなどを備えうる。ユーザ入力デバイス１０２０は、一人以上のユーザからのユーザ入力をコンピュータシステム１０００に伝達するものであり、その例として、キーボード、マウス、ジョイスティック、タッチパッド、タッチスクリーン、静止カメラ、ビデオカメラおよび／またはマイクロフォンなどが挙げられる。ネットワークインタフェース１０２５は、コンピュータシステム１０００が、電子通信ネットワークを介して他のコンピュータシステムと通信できるようにし、これには、ローカルエリアネットワーク、あるいはインターネット等の広域ネットワークを介した有線通信または無線通信などが挙げられる。音声プロセッサ１０５５は、ＣＰＵ１００５、メモリ１０１０および／または記憶域１０１５によって提供される命令および／またはデータからアナログまたはデジタルの音声出力を生成するように適合されている。ＣＰＵ１００５、メモリ１０１０、データ記憶域１０１５、ユーザ入力デバイス１０２０、ネットワークインタフェース１０２５および音声プロセッサ１０５５などのコンピュータシステム１０００の構成要素は、１本以上のデータバス１０６０を介して接続されている。別の実施形態では、静止画カメラまたはビデオカメラ１０６５は、データバス１０６０によって接続されている。カメラ１０６５が、ＵＳＢインタフェースまたはＦｉｒｅｗｉｒｅインタフェース、無線インタフェースなどの外部インタフェース、あるいはデータバス１０６５との内部インタフェースを介して接続されてもよい。

データバス１０６０およびコンピュータシステム１０００の構成要素に、グラフィックサブシステム１０３０が更に接続されている。グラフィックサブシステム１０３０は、グラフィック処理装置（ＧＰＵ）１０３５およびグラフィックメモリ１０４０を備える。グラフィックメモリ１０４０は、出力画像のピクセルごとにピクセルデータを記憶するために使用されるディスプレイメモリ（例えば、フレームバッファ）を備える。グラフィックメモリ１０４０は、ＧＰＵ１０３５と同じデバイスに一体化されても、別個のデバイスとしてＧＰＵ１０３５と接続されても、メモリ１０１０内に実装されてもよい。ＣＰＵ１００５からグラフィックメモリ１０４０にピクセルデータが直接提供されうる。別の実施形態では、ＣＰＵ１００５は、所望の出力画像を定義しているデータおよび／または命令をＧＰＵ１０３５に提供し、ＧＰＵ１０３５が、これらから１つ以上の出力画像のピクセルデータを生成する。所望の出力画像を定義しているデータまたは命令は、メモリ１０１０および／またはグラフィックメモリ１０４０に記憶されうる。一実施形態では、ＧＰＵ１０３５は、シーンのための幾何学的形状、照明、陰影、テクスチャ、動きおよび／またはカメラパラメータを定義している命令およびデータから、出力画像のためのピクセルデータを生成するための３Ｄレンダリング機能を備えている。ＧＰＵ１０３５は、シェーダ（shader）プログラムを実行することができるプログラマブル実行ユニットも１つ以上備えうる。

グラフィックサブシステム１０３０は、グラフィックメモリ１０４０からの画像をディスプレイ装置１０５０に表示させるために、ピクセルデータを周期的に出力する。ディスプレイ装置１０５０はコンピュータシステム１０００からの信号を受けて、視覚的情報を表示することができる装置であればどのようなものであってもよく、ＣＲＴ、ＬＣＤ、プラズマディスプレイおよびＯＬＥＤディスプレイなどを備える。コンピュータシステム１０００は、ディスプレイ装置１０５０にアナログまたはデジタルの信号を提供しうる。

本発明の一実施形態では、ＣＰＵ１００５は、１つ以上の処理コアを有する１つ以上の汎用マイクロプロセッサである。本発明の別の実施形態は、メディアアプリケーションおよびインタラクティブなエンタテインメントアプリケーションなどの、高度な並列処理を行い演算量の多いアプリケーションのために特別に適合されたマイクロプロセッサアーキテクチャを有する１つ以上のＣＰＵを使用して実装されてもよい。図７は、本発明の一実施形態の実装に適したプロセッサの例を示す。

プロセッサ２０００は、それぞれが独立したプログラムを並列に実行することができるプロセッサエレメントを多数備える。プロセッサ２０００は、ＰＰＥプロセッサエレメント２００５を有する。ＰＰＥプロセッサエレメントは、ＣＩＳＣ、ＲＩＳＣ、あるいは従来技術において公知のほかのタイプのマイクロプロセッサアーキテクチャの汎用プロセッサである。一例では、ＰＰＥプロセッサエレメント２００５は、６４ビットマルチスレッド対応ＲＩＳＣアーキテクチャのマイクロプロセッサ（ＰｏｗｅｒＰＣアーキテクチャなど）である。ＰＰＥプロセッサエレメント２００５は、１レベル、２レベルまたはそれ以上のレベルに分割され、ＰＰＥプロセッサエレメント２００５によって実行されるデータおよび命令を一時的に保持するキャッシュメモリ２００７を備えうる。

プロセッサ２０００は、パフォーマンス向上のために、多数のＳＰＥプロセッサエレメント２０１０を有する。本例では、プロセッサ２０００は、８つのＳＰＥプロセッサエレメント２０１０Ａ〜２０１０Ｈを有するが、別の例では、プロセッサのＳＰＥプロセッサエレメントの個数が変わってもよい。ＳＰＥプロセッサエレメント２０１０は、データのストリーム処理に適合されている。ストリーム処理では、データの大きな組にある各項目に対して、プログラムが繰り返し実行される。ストリーム処理を容易にするために、ＳＰＥプロセッサエレメント２０１０は、複数のデータオペランドにＳＩＭＤ命令を同時に実行することができる命令実行ユニットを備えうる。ＳＰＥプロセッサエレメント２０１０は、より一般的な処理タスクのために、一命令一データ（ＳＩＳＤ）を実行することができる命令ユニットも備えうる。

ＳＰＥプロセッサエレメント２０１０Ａなど、各ＳＰＥプロセッサエレメントは、ローカルデータおよび命令記憶域２０１２Ａを有する。データおよび命令は、ＤＭＡユニット２０１４Ａを介して、ローカルデータおよび命令記憶域２０１２Ａとの間で転送されうる。ユニット２０１４ＡなどのＤＭＡユニットは、プロセッサの監視がなくても、ＳＰＥプロセッサエレメント２０１０のそれぞれとの間でデータを転送することができ、これにより、ＳＰＥプロセッサエレメント２０１０がストールすることなく連続的な処理が可能となる。

データおよび命令は、メモリおよびＩ／Ｏインタフェース２０１５を介して、プロセッサ２０００によって入出力される。データおよび命令は、プロセッサバス２０２０を介して、メモリおよびＩ／Ｏインタフェース２０１５、ＰＰＥプロセッサエレメント２００５およびＳＰＥプロセッサエレメント２０１０との間で伝達されうる。

上で説明したコンピュータシステムの例は、説明を目的として挙げたものであり、本発明の実施形態は、カメラと、近くにあるオブジェクトを照明することができる任意のタイプのディスプレイ装置とを備えた、どのようなタイプのシステムとも動作するように、容易に適合させることができる。他の実施形態は、当業者であれば、本明細書および図から想到することができる。別の実施形態では、上で開示した本発明のコンビネーションまたはサブコンビネーションを有利に作製することができる。理解しやすいように、アーキテクチャのブロック図およびフローチャートをグループ化している。しかし、本発明の代替の実施形態では、ブロックの組み合わせ、新しいブロックの追加、ブロックの組み替えなどが考察される。

このため、本明細書および図面は、限定的な意味ではなく、例示としてみなすべきである。しかし、特許請求の範囲に記載する本発明の広範な趣旨および範囲を逸脱することなく、さまざまな変形および変更を行うことができることが明らかである。

Claims (31)

1. 物理的オブジェクトのコンピュータグラフィックモデルを作成するための方法であって、
   第１の照明パターンを選択するステップと、
   前記第１の照明パターンが、物理的オブジェクトを照明するように、前記第１の照明パターンをディスプレイ装置に表示するステップと、
   前記第１の照明パターンによって照明されている前記物理的オブジェクトの少なくとも１つの画像であって、前記物理的オブジェクト上の点に対応し、陰影値を有する画像点を含む画像を取得するステップと、
   前記画像が前記物理的オブジェクトのコンピュータグラフィックモデルの作成に適しているかどうかを決定するステップと、
   前記画像が適していると判定されると、前記陰影値から、それぞれが前記画像点の少なくとも一部に関連しているコンピュータグラフィックモデルのモデル点の組のそれぞれに対して、表面の向きの候補を決定するステップと、
   前記画像が適していないと判定されると、第２の照明パターンを選択し、前記第２の照明パターンに対して、前記表示ステップ、取得ステップおよび前記画像の判定ステップを繰り返すステップと、を有する方法。
2. 前記第１の照明パターンは属性の第１の値を含み、前記第２の照明パターンは、前記属性の前記第１の値に基づいて選択される請求項１に記載の方法。
3. 前記第２の照明パターンを選択するステップは、照明パターンに対して、照明パターンの組から、前記第１の値とは異なる前記属性の第２の値を含む前記第２の照明パターンに基づいて前記第２の照明パターンを選択するステップを有する請求項２に記載の方法。
4. 前記属性は、前記第１の照明パターンの相当の部分を構成する色である請求項２に記載の方法。
5. モデル点の組のそれぞれに対して、表面の向きの候補を決定するステップは、
   各メッシュ点に関連する前記画像点の部分の陰影値を特定するステップと、
   メッシュ点ごとに、前記特定された陰影値に対応する表面の向きの候補の第１の組を関連させるステップと、を有する請求項１に記載の方法。
6. メッシュ点ごとに、以前に前記メッシュ点と関連していた表面の向きの候補の第２の組と、表面の向きの候補の前記第１の組との共通部分を決定するステップと、
   メッシュ点ごとに、表面の向きの候補の前記共通部分を前記メッシュ点と関連させるステップと、を更に有する請求項５に記載の方法。
7. 前記特定された陰影値に対応する表面の向きの候補の前記第１の組を関連させるステップは、
   前記特定された陰影値および照明モデルから、表面の向きの候補の前記第１の組を得るステップを有する請求項５に記載の方法。
8. 前記特定された陰影値に対応する表面の向きの候補の前記第１の組を関連させるステップは、
   前記陰影値を、既知の幾何学的形状を有し、前記第１の照明パターンによって照明される較正オブジェクトの画像から得られた較正陰影値と対応させるステップと、
   前記較正陰影値に対応する前記較正オブジェクトの前記既知の幾何学的形状の一部から、表面の向きの候補の前記第１の組を定義するステップと、を有する請求項５に記載の方法。
9. 前記較正オブジェクトはユーザの顔の一部分である請求項８に記載の方法。
10. 前記メッシュ点の少なくとも実質的部分のそれぞれが、１つの表面の向きの候補に関連しているかどうかを判定するステップと、
    前記メッシュ点の前記少なくとも実質的部分のそれぞれが、前記１つの表面の向きの候補に関連していると判定されると、前記メッシュ点の前記実質的部分の前記表面の向きの候補にフィットする前記コンピュータグラフィックモデルの表面を定義するステップと、を更に有する請求項１に記載の方法。
11. 物理的オブジェクトのコンピュータグラフィックモデルを作成するためのシステムであって、
    ディスプレイ装置と接続するように適合され、前記ディスプレイ装置によって出力される画像の第１の組を生成し、物理的オブジェクトの付随的な照明を提供するように適合された第１のインタフェースロジックを有する第１のインタフェースと、
    カメラデバイスと接続するように適合され、前記カメラデバイスによってキャプチャされた、画像の前記第１の組によって付随的に照明される前記物理的オブジェクトの画像を含む画像の第２の組を受信するように適合された第２のインタフェースロジックを有する第２のインタフェースと、
    前記画像の第２の組内で、前記物理的オブジェクトの前記画像を特定するように適合された第１のロジックと、
    前記物理的オブジェクトの前記特定された画像に対応するメッシュ点を含むコンピュータグラフィックモデルを定義するように適合された第２のロジックと、
    前記メッシュ点のそれぞれに対応する前記物理的オブジェクトの前記特定された画像の一部から、前記コンピュータグラフィックモデルの前記メッシュ点のそれぞれに対して表面の向きの候補を決定するように適合された第３のロジックと、
    前記メッシュ点の少なくとも実質的部分がそれぞれ１つの表面の向きの候補を有すると、表面を、前記メッシュ点の表面の向きの候補と整合する前記メッシュ点にフィットするように適合された第４のロジックと、を有するシステム。
12. 前記第２のインタフェースは内部インタフェースであり、前記システムは前記カメラデバイスを更に有する請求項１１に記載のシステム。
13. 前記第２のインタフェースは外部インタフェースである請求項１１に記載のシステム。
14. 前記第１のインタフェースは内部インタフェースであり、前記システムは前記ディスプレイ装置を更に有する請求項１１に記載のシステム。
15. 前記第１のインタフェースは外部インタフェースである請求項１１に記載のシステム。
16. 前記第１のロジックは、前記第２の画像の組のなかから、前記物理的オブジェクトを十分に表していない画像を特定し、前記第１のインタフェースロジックにフィードバック標識を提供するように更に適合され、前記第１のインタフェースロジックは、前記フィードバック標識を受けて前記ディスプレイ装置に代わりの画像の組を提供するように更に適合されている請求項１１に記載のシステム。
17. 前記第２の画像の組のなかから、前記物理的オブジェクトを十分に表していない前記画像は第１の属性値に関連し、前記代わりの画像の組は前記第１の属性値と異なる第２の属性値に関連する請求項１６に記載のシステム。
18. 前記属性は、前記第２の画像の組のなかから、前記物理的オブジェクトを十分に表していない前記画像を構成する色である請求項１７に記載のシステム。
19. 前記第３のロジックは、前記メッシュ点のそれぞれおよび照明モデルと対応する前記物理的オブジェクトの前記特定された画像の前記一部から表面の向きの候補の前記組を得るように更に適合されている請求項１１に記載のシステム。
20. 前記第３のロジックは、前記メッシュ点のそれぞれに対応する前記物理的オブジェクトの前記特定された画像の前記一部を、既知の幾何学的形状を有する較正オブジェクトの画像から得られ、画像の前記第１の組の少なくとも一部によって照明される較正陰影値と対応させ、
    前記較正陰影値に対応する前記較正オブジェクトの前記既知の幾何学的形状の一部から、表面の向きの候補の前記の組を定義するように更に適合されている請求項１１に記載のシステム。
21. 前記較正オブジェクトはユーザの顔の一部分である請求項２０に記載のシステム。
22. コンピュータに動作を実行させるように適合された命令を含む計算機可読媒体であって、前記動作は、
    第１の照明パターンを選択するステップと、
    前記第１の照明パターンが、物理的オブジェクトを照明するように、前記第１の照明パターンをディスプレイ装置に表示するステップと、
    前記第１の照明パターンによって照明されている前記物理的オブジェクトの少なくとも１つの画像であって、前記物理的オブジェクト上の点に対応し、陰影値を有する画像点を含む画像を取得するステップと、
    前記画像が前記物理的オブジェクトのコンピュータグラフィックモデルの作成に適しているかどうかを決定するステップと、
    前記画像が適していると判定されると、前記陰影値から、それぞれが前記画像点の少なくとも一部に関連しているコンピュータグラフィックモデルのモデル点の組のそれぞれに対して、表面の向きの候補を決定するステップと、
    前記画像が適していないと判定されると、第２の照明パターンを選択し、前記第２の照明パターンに対して、前記表示ステップ、取得ステップおよび前記画像の判定ステップを繰り返すステップと、を有する計算機可読媒体。
23. 前記第１の照明パターンは属性の第１の値を含み、前記第２の照明パターンは、前記属性の前記第１の値に基づいて選択される請求項２２に記載の計算機可読媒体法。
24. 前記第２の照明パターンを選択するステップは、照明パターンに対して、照明パターンの組から、前記第１の値とは異なる前記属性の第２の値を含む前記第２の照明パターンに基づいて前記第２の照明パターンを選択するステップを有する請求項２３に記載の計算機可読媒体。
25. 前記属性は、前記第１の照明パターンの相当の部分を構成する色である請求項２３に記載の計算機可読媒体。
26. モデル点の組のそれぞれに対して、表面の向きの候補を決定するステップは、
    各メッシュ点に関連する前記画像点の部分の陰影値を特定するステップと、
    メッシュ点ごとに、前記特定された陰影値に対応する表面の向きの候補の第１の組を結びつけるステップと、を有する請求項２２に記載の計算機可読媒体。
27. メッシュ点ごとに、以前に前記メッシュ点と関連していた表面の向きの候補の第２の組と、表面の向きの候補の前記第１の組との共通部分を決定するステップと、
    メッシュ点ごとに、表面の向きの候補の前記共通部分を前記メッシュ点と関連させるステップと、を更に有する請求項２６に記載の計算機可読媒体。
28. 前記特定された陰影値に対応する表面の向きの候補の前記第１の組を関連させるステップは、
    前記特定された陰影値および照明モデルから、表面の向きの候補の前記第１の組を得るステップを有する請求項２６に記載の計算機可読媒体。
29. 前記特定された陰影値に対応する表面の向きの候補の前記第１の組を関連させるステップは、
    前記陰影値を、既知の幾何学的形状を有し、前記第１の照明パターンによって照明される較正オブジェクトの画像から得られた較正陰影値と対応させるステップと、
    前記較正陰影値に対応する前記較正オブジェクトの前記既知の幾何学的形状の一部から、表面の向きの候補の前記第１の組を定義するステップと、を有する請求項２６に記載の計算機可読媒体。
30. 前記較正オブジェクトはユーザの顔の一部分である請求項２９に記載の計算機可読媒体。
31. 前記メッシュ点の少なくとも実質的部分のそれぞれが、１つの表面の向きの候補に関連しているかどうかを判定するステップと、
    前記メッシュ点の前記少なくとも実質的部分のそれぞれが、前記１つの表面の向きの候補に関連していると判定されると、前記メッシュ点の前記実質的部分の前記表面の向きの候補にフィットする前記コンピュータグラフィックモデルの表面を定義するステップと、を更に有する請求項２２に記載の計算機可読媒体。

Images