JP2011159329A - 自動３ｄモデリングシステム及び方法 - Google Patents

Abstract

【課題】３Ｄモデリングシステム及び方法、より具体的には、仮想３Ｄ人間の高速作成をもたらすために、画像ベースの自動モデル生成技術を対話式かつリアルタイムのキャラクター配向技術と結合させるシステム及び方法を提供する。
【解決手段】３Ｄモデルを写真又は他の画像から生成することができる自動３Ｄモデリングシステム及び方法。例えば、人の顔の３Ｄモデルを自動的に生成することができる。
本システム及び方法はまた、ジェスチャー／挙動を任意の３Ｄモデルに適用することができるように、３Ｄモデルに付随するジェスチャー／挙動を自動的に生成することを可能にする。
【選択図】図３

Description

関連出願
本出願は、本明細書において引用により組み込まれる、２００１年８月１４日出願の「自動３Ｄモデリングシステム及び方法」という名称の米国特許仮出願一連番号第６０／３１２，３８４号からの優先権を「３５ ＵＳＣ§１１９」の下に主張する。
本発明は、３Ｄモデリングシステム及び方法に関し、より具体的には、仮想３Ｄ人間の高速作成をもたらすために、画像ベースの自動モデル生成技術を対話式かつリアルタイムのキャラクター配向技術と結合させるシステム及び方法に関する。

コンピュータディスプレイ上に三次元対象物の動画を生成するための多くの異なる技術が存在する。最初は、動画は非常に良質というわけではなかったので、動画の画面（例えば、顔）は、まるで木で造られたキャラクターのように見えたものである。特に、ユーザは、一般に動画の顔を見るであろうが、その特徴や表情は静的であった。多分口は恐らく開閉し、目は瞬くかもしれないが、顔の表情やその動画一般は、木の人形に似ていた。問題は、これらの動画が一般的に最初から図面として作られ、より現実的な外観を捕えるために基礎的な３Ｄモデルを使用してレンダリングされなかったために、動画が現実的に見えず、それほど生きているようには見えなかったということである。より最近になって、一層現実的な動画画面をもたらすために、人物の骨格を皮膚で覆うことができるように動画が改良されてきた。

動画に対するより現実的な外観を捕えるために、そのような動画は、今では１つ又はそれ以上の変形グリッド上でレンダリングされるが、それでもなお動画は専門の会社でレンダリングされてユーザに再配布されることが多い。これは、高品質の動画をもたらすが、ユーザが、仮想人物として使用するために特定の動画、例えば、ユーザ自身の動画をカスタム化する能力を持たないという点で限界がある。「インターネット」又は「ワールドワイドウェブ」の機能が進歩すると、これらの仮想人物は、ユーザ間の能力及び対話を拡張することになる。従って、典型的なユーザが、写真のような仮想人物として有用な画像から迅速かつ容易に３Ｄモデルを生成することを可能にする３Ｄモデリングシステム及び方法を提供することが望ましいと考えられる。

米国特許仮出願一連番号第６０／３１２，３８４号

熟練動画製作者がモデルを作成した状態で、典型的なシステムはまた、その同じ動画製作者が、一般にそのモデルに与えたいと思う様々なジェスチャーを動画化するように要求されることを必要とした。例えば、動画製作者は、微笑む、手を振る、又は話すという動画を作成し、次に、これらの動画をモデルに組み込んで目標とするジェスチャーをモデルに与えるであろう。挙動／ジェスチャーデータを生成する処理は、遅くて高価であり、熟練の動画製作者を必要とする。熟練動画製作者の助けなしにモデルに対するジェスチャー及び挙動を生成するための自動機構を提供することが望まれる。本発明が目指すものは、これらの最終目標である。

本発明は、概して、人の顔のような対象物の、写真のようにリアルな３Ｄモデルを１つの画像（又は、複数の画像）から自動的に生成することを可能にする画像処理技術、統計解析、及び３Ｄ幾何変形を利用する。例えば、人の顔に関しては、１つの写真（又は一連の写真）から得られる顔立ちや特徴の細部が識別され、適切な３Ｄモデルを生成するために使用される。画像処理技術及びテクスチャ・マッピング技術はまた、１つ又は複数の写真を３Ｄモデルのための詳細で写真のようにリアルなテクスチャとして使う方法を最適化する。

本発明の別の態様によれば、人のジェスチャーは、これを他の任意のモデルに適用することができるように捕えて抽象化することができる。例えば、特定人物の生き生きとした微笑みを捕えることができる。次に、この微笑みは、ジェスチャーの抽象化をもたらす特徴空間に変換することができる。抽象化されたジェスチャー（例えば、モデルの異なる部分の動き）は、１つのジェスチャーとして捕えられる。このジェスチャーは、次に、他の任意のモデルのために使用することができる。すなわち、本発明によると、本システムは、他のモデルと共に使用することができるジェスチャーモデルの生成を可能にする。

本発明によれば、画像から対象物の三次元モデルを生成する方法が提供される。本方法は、モデル化される対象物の境界を判断する段階と、モデル化される対象物上の１つ又はそれ以上の目印の位置を判断する段階とを含む。この方法は、更に、目印の位置に基づいて画像内の対象物の縮尺及び向きとを判断する段階と、目印を有する対象物の画像を変形グリッドと位置合せする段階と、変形グリッドへの対象物の画像のマッピングに基づいて対象物の３Ｄモデルを生成する段階とを含む。

本発明の別の態様によれば、画像の三次元モデルを生成するためのコンピュータ実装システムが提供される。本システムは、対象物の画像を受信する命令と対象物の三次元モデルを自動的に生成する命令とを更に有する三次元モデル発生モジュールを含む。本システムは、更に、特徴空間を生成するための命令と、ジェスチャー挙動を対象物の別のモデルに適用することができるように、対象物のジェスチャーに対応するジェスチャーオブジェクトを生成するための命令とを更に有するジェスチャー発生モジュールを含む。

本発明の更に別の態様によれば、自動ジェスチャーモデルを自動的に生成する方法が提供される。本方法は、特定のジェスチャーを行う対象物の画像を受信する段階と、対象物の動きからジェスチャーに付随する動きを判断してジェスチャーオブジェクトを生成する段階とを含み、ジェスチャーオブジェクトは、更に、ジェスチャーの間に起こる配色の変化を記憶する配色変化変数と、ジェスチャーの間に起こる表面の変化を記憶する二次元変化変数と、ジェスチャーの間の対象物に付随する頂点の変化を記憶する三次元変化変数とを含む。
本発明の更に別の態様によれば、対象物に関するジェスチャーに付随するデータを記憶するジェスチャーオブジェクトデータ構造が提供される。ジェスチャーオブジェクトは、ジェスチャーの間のモデルの配色の変化を記憶するテクスチャ変化変数と、ジェスチャーの間のモデルの表面の変化を記憶するテクスチャマップ変化変数と、ジェスチャーの間のモデルの頂点の変化を記憶する頂点変化変数とを含み、テクスチャ変化変数、テクスチャマップ変化変数、及び頂点変化変数は、ジェスチャーをテクスチャ及び頂点を有する別のモデルに適用することを可能にする。ジェスチャーオブジェクトデータ構造は、モデルの多くの個々のインスタンスが配色、表面運動、及び３Ｄ運動を使用することができるベクトル空間にそのデータを記憶する。

人の顔の３Ｄモデルを生成する方法を説明した流れ図である。 本発明による３Ｄモデリング方法を実施するのに使用することができるコンピュータシステムの例を示す図である。 本発明による３Ｄモデル生成システムをより詳細に示すブロック図である。 画像取得処理中にコンピュータのメモリに読み込むことができる人の頭部の典型的な画像を示す図である。 「シード・フィル」操作で画像を処理した後の不透明な背景を有する図４の典型的な画像を示す図である。 両目の位置の周りの特定の境界区域を示す破線を有する図５の典型的な画像を示す図である。 破線によって特定された両目の高コントラスト輝度部分を有する図６の典型的な画像を示す図である。 人の頭部に対する様々な目印位置の点を示す例示的な図である。 本発明による人の顔の３Ｄモデルの一例を示す図である。 人の頭部の３Ｄモデルを生成するために使用することができるそれぞれの変形グリッドの１つを示す図である。 人の頭部の３Ｄモデルを生成するために使用することができるそれぞれの変形グリッドの１つを示す図である。 人の頭部の３Ｄモデルを生成するために使用することができるそれぞれの変形グリッドの１つを示す図である。 人の頭部の３Ｄモデルを生成するために使用することができるそれぞれの変形グリッドの１つを示す図である。 互いの上に重ねられた変形グリッドを示す図である。 本発明による自動ジェスチャー挙動生成方法を示す流れ図である。 本発明の画像処理技術を実行するための典型的な擬似コードを示す図である。 本発明の画像処理技術を実行するための典型的な擬似コードを示す図である。 本発明に従って３Ｄモデルを自動的に生成するための典型的な操作流れ処理を示す図である。 本発明に従って３Ｄモデルを自動的に生成するための典型的な操作流れ処理を示す図である。 本発明に従って自動ジェスチャー挙動モデルを実行するための典型的な擬似コードを示す図である。 本発明に従って自動ジェスチャー挙動モデルを実行するための典型的な擬似コードを示す図である。 第１のモデルであるクリステンに対する基本３Ｄモデルの例を示す図である。 第２のモデル、エリーに対する基本３Ｄモデルの例を示す図である。 中立的なジェスチャーをした第１のモデルの例を示す図である。 微笑みのジェスチャーをした第１のモデルの例を示す図である。 第１のモデルの中立的なジェスチャー及び微笑みのジェスチャーから生成された微笑みジェスチャーマップの例を示す図である。 両方のモデルが互いの上に重ねられた特徴空間の例を示す図である。 第２のモデルに対する中立的なジェスチャーの例を示す図である。 第２のモデルに微笑みのジェスチャーを生成するために第２のモデルに適用される、第１のモデルから生成された微笑みのジェスチャーの例を示す図である。

本発明は、広範な用途を有するが、これを人間の実態に付随する人の顔及びジェスチャーの３Ｄモデルを生成するという関連において以下に説明する。当業者は認識するであろうが、本明細書に説明する原理及び技術を使用して他の任意の３Ｄモデル及びジェスチャーを生成することが可能であり、従って、以下の説明は、単に本発明の特定用途を単に例示したものであり、本発明は、本明細書に説明する顔のモデルに限定されない。

人の顔の３Ｄモデルを生成するために、本発明は、好ましくは、３Ｄモデルを生成するための案内役を果たす一組の目印点１０を判断するために、一連の複雑な画像処理技術を実行する。図１は、人の顔の３Ｄモデルを生成するための好ましいアルゴリズムを説明した流れ図である。図１を参照すると、コンピュータメモリ内に人の顔（例えば、「顔写真」）の１つ又は複数の写真（又は、他の画像）を読み込むために画像取得処理（段階１）が使用される。画像は、好ましくは、「ＪＰＥＧ」画像として読み込むことができるが、本発明から逸脱することなく他の画像タイプのフォーマットも使用することができる。画像は、３Ｄモデルを生成するために画像に対して本発明の画像処理技術を実行することができるように、ディスケットから読み込むか、「インターネット」からダウンロードするか、又は、それ以外に公知の技術を用いてメモリ内に読み込むことができる。

異なる画像は異なる向きを有する場合があるので、適切な目印点１０を見つけて等級付けすることにより、画像の適正な向きを判断すべきである。画像の向きを判断することは、変形グリッド上への画像の一層現実的なレンダリングを可能にする。ここで、適切な目印点１０の位置決めについて以下に詳しく説明する。
図１を参照すると、画像上の目印点１０を見つけるには、頭部の境界（顔の場合）を画像上で分離することができるように、画像の可変的背景を削除するために、好ましくは、画像上で「シード・フィル」操作を実行することができる（段階２）。図４は、画像取得処理中にコンピュータメモリに読み込むことができる人の頭部の典型的な画像２０である（図１、段階１）。「シード・フィル」操作（図１、段階２）は、公知の反復ペイント・フィル操作であり、これは、例えば、１つ又は複数の点２２の色及び明度に基づいて、画像２０の背景２４内の１つ又はそれ以上の点２２を識別し、色及び明度が類似したペイント・フィル区域２６を点２２から外に向って拡張することにより達成される。好ましくは、「シード・フィル」操作は、画像の色及び明度の背景２４を不透明な背景とうまく置換するので、頭部の境界を一層容易に判断することができる。

再び図１を参照すると、頭部３０の境界は、例えば画像の垂直中心（線３２）を見つけ、頭部３０の幅を判断するために中心線３２から水平区域３４に亘って積分する（ノンフィル操作を使用）ことにより、かつ、画像の水平中心（線３６）を見つけ、頭部３０の高さを判断するために中心線３６から垂直区域３８に亘って積分する（ノンフィル操作を使用）ことによって判断することができる（段階３）。換言すると、対象物の存在又は背景の存在に基づいて値が異なるピクセルの場の統計指向線形積分が実行される。これは、不透明な背景２４を有する図４の典型的な画像２０を示す図５に示されている。

再び図１を参照すると、頭部３０の幅及び高さを判断すれば、頭部３０の境界は、頭部３０の高さの統計的特質と、積分された水平区域３４と頭部３０の上部との既知の特性とを使用することによって判断することができる。典型的には、頭部の高さは、画像高さの約２／３であり、頭部の幅は、画像幅の約１／３になることになる。頭部の高さはまた、頭部の幅の１．５倍としてもよく、これは、第１近似として使用される。

頭部３０の境界が判断された状態で、両目４０の位置を判断することができる（段階４）。両目４０は、典型的に頭部３０の上半分に位置するから、統計的計算を使用することができ、両目の境界区域４６ａ及び４６ｂを分離するために、頭部の境界を上半分４２と下半分４４とに分割することができる。頭部境界の上半分４２は、左目４０ａと右目４０ｂとを分離するために、それぞれ右側部分４６ａと左側部分４６ｂとに更に分割することができる。これは、破線で特定の境界区域を表した図４の典型的な画像２０を示す図６に詳しく示されている。

更に再び図１を参照すると、各々の目４０ａ及び４０ｂの最中心領域は、それぞれの目の境界４６ａ及び４６ｂ内の高コントラスト輝度の円形領域４８を識別することにより見つけることができる（段階５）。この操作は、境界で限られた区域４６ａ及び４６ｂに亘って最中心点４８から外に向けて繰返し実行することができ、両目４０ａ及び４０ｂの適正な境界を判断するためにその結果を等級付けすることができる。図７は、破線で特定された両目の高コントラスト輝度部分を有する図６の典型的な画像を示す。
再び図１を参照すると、両目４０ａ及び４０ｂが特定された状態で、両方の目４０ａ及び４０ｂを結ぶ線５０を解析し、画面の水平軸線からの線５０のオフセット角度を判断することにより、頭部３０の縮尺及び向きを判断することができる（段階６）。頭部３０の縮尺は、境界の幅／モデルの幅という式に従って境界の幅から導くことができる。

上述の情報を判断し終えたら、頭部３０上の近似目印点１０を適切に識別することができる。好ましい目印点１０としては、ａ）外側頭部境界６０ａ、６０ｂ、及び６０ｃ、ｂ）内側頭部境界６２ａ、６２ｂ、６２ｃ、及び６２ｄ、ｃ）右目境界６４ａ〜６４ｄ及び左目境界６４ｗ〜６４ｚ、ｄ）鼻の隅部６６ａ及び６６ｂ、及びｅ）口の隅部６８ａ及び６８ｅ（口の線）が含まれるが、本発明から逸脱することなく他の目印点を使用してもよいことを当業者は認めるであろう。図８は、図４の画像に対して示された上述の目印点を例示的に表すものである。

頭部３０上の適切な目印位置１０を判断し終えたら、画像は、頭部の３Ｄモデル７０を形成する１つ又はそれ以上の変形グリッド（後述する）と適切に位置合せすることができる（段階７）。以下においては、３Ｄモデル７０を形成するのに使用することができるいくつかの変形グリッドを説明するが、これらは、３Ｄモデルを形成するのに使用することができる変形グリッドのいくつかの例証に過ぎず、他の変形グリッドも本発明から逸脱することなく使用することができることを当業者は認めるであろう。図９は、本発明による３Ｄモデル生成方法を使用して生成された人の顔の３Ｄモデルの例を示すものである。ここで、３Ｄモデル生成システムを更に詳細に以下に説明する。

図２は、３Ｄモデル生成方法及びジェスチャーモデル生成方法を実施することができるコンピュータシステム７０の例を示す。特に、３Ｄモデル生成方法及びジェスチャーモデル生成方法は、コンピュータシステムにより実行されるソフトウエアコード（又は、コンパイルされたソフトウエアコード）の１つ又はそれ以上の部分として実施することができる。本発明による方法はまた、本発明による方法がハードウエア装置内にプログラムされたハードウエア装置上で実施することができる。図２に戻ると、図に示すコンピュータシステム７０は、パーソナルコンピュータシステムである。しかし、本発明は、クライアント／サーバシステム、サーバシステム、ワークステーションなどのような様々な異なるコンピュータシステム上で実施することができ、いかなる特定のコンピュータシステム上においてもその実施を限定されるわけではない。図示のコンピュータシステムは、ＣＲＴ又はＬＣＤのようなディスプレイ装置７２、シャーシ７４、及び、ユーザがコンピュータシステムと対話することを可能にする図示のキーボード７６やマウス７８のような１つ又はそれ以上の入出力装置を含むことができる。例えば、ユーザは、キーボード又はマウスを使用してデータ又は指令をコンピュータシステムに入力することができ、ディスプレイ装置（可視データ）やプリンタ（図示せず）などを使用してコンピュータシステムからの出力データを受信することができる。シャーシ７４は、コンピュータシステムの計算リソースを収納することができ、公知のようにコンピュータシステムの作動を制御する１つ又はそれ以上の中央演算処理装置（ＣＰＵ）８０と、コンピュータシステムに給電されていない時でも「ＣＰＵ」によって実行されるデータ及び命令を記憶するハードディスクドライブ、光ディスクドライブ、及びテープドライブなどのような永続的記憶装置８２と、公知のように「ＣＰＵ」によって現在実行されているデータ又は命令を一時的に記憶し、コンピュータシステムが給電されていない時にそのデータを失う「ＤＲＡＭ」のようなメモリ８４とを含むことができる。本発明による３Ｄモデル生成及びジェスチャーモデル生成方法を実施するために、メモリは、上述の３Ｄモデル及びジェスチャー生成方法を実行するために「ＣＰＵ」８０によって実行される一連の命令及びデータである３Ｄモデラー８６を記憶することができる。ここで、３Ｄモデラーをより詳しく以下に説明する。

図３は、図２に示す３Ｄモデラー８６のより詳細な図である。特に、３Ｄモデラーは、それぞれ１つ又はそれ以上のコンピュータプログラム命令を使用して実施される３Ｄモデル発生モジュール８８とジェスチャー発生モジュール９０とを含む。図１２Ａ〜１２Ｂ及び図１４Ａ〜１４Ｂには、これらのモジュールの各々を実施するために使用することができる擬似コードを示す。図３に示すように、人の顔のような対象物の画像は、図に示すようなシステムに入力される。画像は、図示のように３Ｄモデル発生モジュールと、同じくジェスチャー発生モジュールとに供給される。３Ｄモデル発生モジュールからの出力は、上述のように自動的に生成された画像の３Ｄモデルである。ジェスチャー発生モジュールからの出力は、１つ又はそれ以上のジェスチャーモデルであり、これは、次に、３Ｄモデル発生モジュールにより生成された任意のモデルを含む任意の３Ｄモデルに対して適用及び使用することができる。ジェスチャー発生器については、図１１を参照しながらより詳細に後述する。このようにして、本システムは、任意の対象物の３Ｄモデルを迅速に生成して実施することを可能にする。更に、ジェスチャー発生器は、微笑みのジェスチャーや手を振るジェスチャーなどのような１つ又はそれ以上のジェスチャーモデルを特定の画像から自動的に生成することを可能にする。ジェスチャー発生器の利点は、このジェスチャーモデルを次に任意の３Ｄモデルに適用することができるということである。ジェスチャー発生器はまた、ジェスチャーを実施するための熟練動画製作者の必要性を排除する。ここで、３Ｄモデル生成のための変形グリッドについて以下に説明する。

図１０Ａ〜図１０Ｄは、人の頭部の３Ｄモデル７０を形成するのに使用することができる典型的な変形グリッドを示す。図１０Ａは、好ましくは最も内側の変形グリッドである境界空間変形グリッド７２を示す。境界空間変形グリッド７２の上には、特徴空間変形グリッド７４（図１０Ｂに示す）が重ねられる。縁部空間変形グリッド７６（図１０Ｃに示す）は、好ましくは、特徴空間変形グリッド７４の上に重なる。図１０Ｄは、好ましくは最も外側の変形グリッドである詳細変形グリッド７８を示す。

グリッドは、好ましくは、頭部画像３０の目印位置１０が変形グリッドの目印位置１０と位置合せした時に頭部画像が変形グリッドとほぼ位置合せすることになるように、目印位置１０（図１０Ｅに示す）に従って位置合せされる。頭部画像３０を変形グリッドと適正に位置合せするために、ユーザは、例えばマウス又は他の入力装置を使用して特定の目印を画像３０上の異なる区域に「ドラッグする」ことにより、頭部画像３０上の目印位置精度を手動でより精緻にすることができる（段階８）。新しい目印位置情報を使用して、適切な場合には、頭部画像３０を変形グリッドと適正に位置合せするために画像３０を変形グリッドに対して修正することができる（段階９）。新しいモデルの状態を次に計算することができ、詳細グリッド７８をその後取り外すことができ（段階１０）、得られた３Ｄモデルに対して挙動をスケーリングすることができ（段階１１）、かつ、仮想人物として使用するためにそのモデルを記憶することができる（段階１２）。ここで、本発明による自動ジェスチャー生成についてより詳しく以下に説明する。

図１１は、本発明による自動ジェスチャーモデル生成方法１００を示す流れ図である。一般に、自動的なジェスチャーの生成は、ジェスチャーオブジェクトをもたらし、これは、次に、ジェスチャー挙動を迅速に生成して他のモデルに再使用することができるように、任意の３Ｄモデルに適用することができる。通常は、異なるタイプの３Ｄモデルに対して別々のジェスチャーモデルが必要であろう。例えば、微笑みジェスチャーは、そのジェスチャーをより現実的にするために、男性、女性、男の子、及び女の子に対して自動的に生成する必要があるであろう。本方法は、共通の特徴空間が生成される段階１０２で開始される。特徴空間は、顔のような対象物の画像、ジェスチャーの間の対象物の動き、及び異なる対象物間の差異を捕えるオブジェクトスケーラを記憶して表すために使用される共通の空間である。本方法を使用して生成されるジェスチャーオブジェクトはまた、運動と幾何データとの変換を可能にするモデル空間と特徴空間との間のマッピングを記憶するスケーラ場変数を記憶する。自動ジェスチャー生成方法は、顔のような対象物の特定画像を使用して微笑みのような対象物のジェスチャーの抽象化を発生させ、それが次にジェスチャーオブジェクトとして記憶され、それによってその後ジェスチャーオブジェクトを任意の３Ｄモデルに適用することができるようにする段階を伴う。

図１１に戻ると、本方法は、段階１０４において、ジェスチャーの間の画像の表面の動きに対する変化を表すテクスチャマップ変化を判断するために、特徴空間と画像空間との間の相関関係を判断する。段階１０６において、本方法は、画像からテクスチャマップを更新し（相関関係を検査するため）、得られたテクスチャマップを特徴空間に適用し、テクスチャマップ変化を記憶する、図１４Ａ及び１４Ｂに示す典型的な擬似コードに示すような変数「ｓｔＤｅｌｔａＣｈａｎｇｅ」を発生する。段階１０８において、本方法は、ジェスチャーの間に発生する３Ｄの動きを捕える、ジェスチャーの間の画像モデルの３Ｄ頂点の変化を判断する。段階１１０において、頂点変化は、特徴空間に適用され、図１４Ａ及び１４Ｂに示すように、ジェスチャーオブジェクト内の変数「ＶｅｒｔＤｅｌｔａＣｈａｎｇｅ」に捕えられる。段階１１２において、本方法は、ジェスチャーの間に発生するテクスチャの配色を判断し、それを特徴空間に適用する。テクスチャ配色は、ジェスチャーオブジェクト内の「ＤｅｌｔａＭａｐ」変数に捕えられる。段階１１４において、ジェスチャーの間に発生する配色と２Ｄ及び３Ｄの動きとを包含する「ｓｔＤｅｌｔａＣｈａｎｇｅ」、「ＶｅｒｔＤｅｌｔａＣｈａｎｇｅ」、及び「ＤｅｌｔａＭａｐ」変数を含むジェスチャーオブジェクトが生成される。これらの変数は、ジェスチャーオブジェクトを次に任意の３Ｄモデルに適用することができるように、ジェスチャーの間に発生する動き及び色変化のみを表す。要するに、ジェスチャーオブジェクトは、特定の画像モデルに存在するジェスチャーを抜き出して、そのジェスチャーの本質的な要素を包含する抽象的オブジェクトに変え、それによって次にそのジェスチャーを任意の３Ｄモデルに適用することができるようにする。

ジェスチャーオブジェクトはまた、幾何データ及び運動データの変換を可能にするために、ジェスチャーの特徴空間とモデルのモデル空間との間のマッピングを記憶するスケーラ場変数を含む。「ｓｃａｌｅｒＡｒｒａｙ」は、「ジェスチャー」オブジェクト内の各幾何頂点に対するエントリを有する。各エントリは、「特徴」レベルのその頂点に対するその変形されていない状態から変形された状態に至る縮尺の変化を保持する三次元ベクトルである。縮尺は、「特徴」空間内の頂点により、その頂点から接続された各頂点までの距離におけるスケーラの変化を評価することによって計算される。所定の「ジェスチャー」頂点に対するスケーラは、「特徴レベル」における多角形の「ＵＶ」空間にマップされた時のその「頂点」位置の重み付き補間によって計算される。特徴レベルにおける多角形の形状及び大きさは、同様にスケーリングされた動きの区域と適合するように選択される。これは、典型的な顔のジェスチャーの視覚的な流れを解析することにより判断される。上述の方法は、図１４Ａ及び１４Ｂに示す擬似コードに一層詳細に示されている。
図１２Ａ〜１２Ｂ及び図１３Ａ〜１３Ｂは、それぞれ、本発明に従って３Ｄモデルを自動的に生成するためのサンプル擬似コードアルゴリズム及び典型的な作業流れ処理を含む。

自動的に生成されたモデルには、組込み挙動動画及び対話性を組み込むことができる。例えば、人の顔に関しては、そのような表現には、ジェスチャー、唇同期（ｖｉｓｅｍｅｓ）のための口の位置、及び頭の動きが含まれる。そのような挙動は、自動唇同期、音声合成、自然言語処理、及び音声認識のような技術を用いて統合することができ、ユーザ又はデータ駆動イベントを開始するか、又はそれによって開始されることが可能である。例えば、自動的に生成されたモデルのリアルタイムの唇同期は、オーディオトラックと関連付けることが可能である。更に、インテリジェント・エージェントによって話された音声のリアルタイム解析を提供することができ、同期した頭及び顔のジェスチャーが開始されて、発語の配信に伴って自動的な生き生きとした動きを提供する。

すなわち、仮想人間は、知識ベースと、顧客リソース管理システムと、学習管理システムと、チャット、インスタントメッセージング、及び電子メールを通じた娯楽アプリケーション及び通信とに含まれた情報に対する対話式即応性フロントエンドとして使用することができるインテリジェント・エージェントとして働くように配置することができる。ここで、３Ｄモデルの画像から生成され、その後本発明に従って別のモデルに適用されるジェスチャーの例を以下に説明する。

図１５は、第１のモデルであるクリステンに対する基本３Ｄモデルの例を示す。図１５に示す３Ｄモデルは、３Ｄモデル生成処理を使用して上述のように以前に生成されたものである。図１６は、上述のように生成された第２の３Ｄモデルを示す。これら２つのモデルは、ジェスチャーオブジェクトを生成するために既存のモデルから微笑みジェスチャーを自動的に生成すること、及び、次にこのように生成されたジェスチャーオブジェクトを別の３Ｄモデルに適用することを説明するために使用されることになる。図１７は、中立的ジェスチャーにおける第１のモデルの例を示し、図１８は、微笑みジェスチャーにおける第１のモデルの例を示す。次に、第１のモデルの微笑みジェスチャーが上述のように捕えられる。図１９は、中立的ジェスチャー及び微笑みジェスチャーに基づいて第１のモデルから生成された微笑みジェスチャーマップ（上述したジェスチャーオブジェクトのグラフィックバージョン）の一例を示す。上述のように、ジェスチャーマップは、第１のモデルのジェスチャー挙動を一連の配色変化、テクスチャマップ変化、及び３Ｄ頂点変化に抽象化し、次に、これをテクスチャマップ及び３Ｄ頂点を有する他の任意の３Ｄモデルに適用することができる。次に、このジェスチャーマップ（上述の変数を含む）を使用して、ジェスチャーオブジェクトを本発明に従って別のモデルに適用することができる。このようにして、自動ジェスチャー生成処理は、３Ｄモデルに対する様々なジェスチャーを抽象化し、次に他の３Ｄモデルに適用することを可能にする。

図２０は、第１及び第２のモデルの特徴空間が互いに整合していることを示すために、両方のモデルが互いに重ねられた特徴空間の例である。ここで、別のモデルに対するジェスチャーマップ（従って、ジェスチャーオブジェクト）の適用について一層詳しく以下に説明する。特に、図２１は、第２のモデルの中立的ジェスチャーを示す。図２２は、第２のモデルが実際には微笑みを見せていない時でも第２のモデルに微笑みジェスチャーを与えるために第２のモデルに適用された微笑みジェスチャー（第１のモデルによって生成されたジェスチャーマップからの）を示す。

上述の通り、画像上の目印位置の点を見つける特定の方法、及びジェスチャーを生成する特定の方法に関連して説明したが、特許請求の範囲により規定された本発明から逸脱することなく他の技術を使用し得ることを当業者は認識するであろう。例えば、各レベルをダウンサンプリングして各レベルでの周波数の差を解析することによる画像の周波数解析を使用するピラミッド変換のような技術を使用することができる。更に、サイドサンプリング及び画像ピラミッド技術のような他の技術を使用して画像を処理することもできる。更に、直交（低域）フィルタリング技術を使用して顔の特徴の信号強度を増大させることができ、ファジー論理技術を使用して顔の全体的な位置を特定することができる。目印の位置は、次に、公知のコーナー発見アルゴリズムによって判断することができる。

いくつかの態様を記載しておく。
〔態様１〕
画像から対象物の三次元モデルを生成する方法であって、
モデル化される対象物の境界を判断する段階と、
モデル化される前記対象物上の１つ又はそれ以上の目印の位置を判断する段階と、
前記目印の位置に基づいて画像内の前記対象物の縮尺及び向きを判断する段階と、
前記目印を有する前記対象物の画像を変形グリッドと位置合せする段階と、
前記変形グリッドへの前記対象物の画像のマッピングに基づいて該対象物の３Ｄモデルを生成する段階と、
を含むことを特徴とする方法。
〔態様２〕
前記境界を判断する段階は、対象物の存在又は背景の存在によって値が異なるピクセルの場の統計指向線形積分を更に含むことを特徴とする態様１に記載の方法。
〔態様３〕
前記境界を判断する段階は、前記対象物の画像の周りの背景を除去するために、統計指向シード・フィル操作を実行する段階を更に含むことを特徴とする態様１に記載の方法。
〔態様４〕
前記目印を判断する段階は、手続き型相関又は帯域通過フィルタリングによって見出された特徴を識別する段階、及び前記境界判断の間に判断されたような統計的に特徴付けられた区域内で閾値分けする段階を更に含むことを特徴とする態様３に記載の方法。
〔態様５〕
前記目印を判断する段階は、前記境界区域の精緻化に基づいて追加の目印を判断する段階を更に含むことを特徴とする態様４に記載の方法。
〔態様６〕
前記目印を判断する段階は、ユーザによって前記目印を調節する段階を更に含むことを特徴とする態様５に記載の方法。
〔態様７〕
画像の三次元モデルを生成するためのコンピュータ実装システムであって、
対象物の画像を受信する命令と、該対象物の三次元モデルを自動的に発生させる命令とを更に含む三次元モデル発生モジュールと、
特徴空間を生成するための命令と、前記対象物のジェスチャーに対応するジェスチャーオブジェクトを発生させ、それによって該ジェスチャーの挙動を別の対象物のモデルに適用することができるようにするための命令とを更に含むジェスチャー発生モジュールと、
を含むことを特徴とするシステム。
〔態様８〕
自動ジェスチャーモデルを自動的に生成する方法であって、
特定のジェスチャーを行う対象物の画像を受信する段階と、
ジェスチャーオブジェクトを生成するために、前記対象物の動きから前記ジェスチャーに付随する動きを判断する段階と、
を含み、
前記ジェスチャーオブジェクトは、前記ジェスチャーの間に発生する配色の変化を記憶する配色変化変数と、該ジェスチャーの間に発生する表面の変化を記憶する二次元変化変数と、該ジェスチャーの間の前記対象物に付随する頂点の変化を記憶する三次元変化変数とを更に含む、
ことを特徴とする方法。
〔態様９〕
前記自動ジェスチャー生成処理中に前記ジェスチャーがマップされる特徴空間を生成する段階を更に含むことを特徴とする態様８に記載の方法。
〔態様１０〕
前記動きを判断する段階は、前記特徴空間と前記対象物の画像との間の相関関係を判断する段階を更に含むことを特徴とする態様９に記載の方法。
〔態様１１〕
幾何学的ベクトル及び運動ベクトルを特徴空間に及び特徴空間から変換する段階を更に含むことを特徴とする態様９に記載の方法。
〔態様１２〕
配色、テクスチャ運動、及び幾何学的運動の変化を前記特徴空間を使用して１つのモデルから別のモデルに適用する段階を更に含むことを特徴とする態様９に記載の方法。
〔態様１３〕
対象物のジェスチャーに付随するデータを記憶するジェスチャーオブジェクトデータ構造であって、
幾何データ及び運動データの変換を可能にするために、ジェスチャーの特徴空間とモデルのモデル空間との間のマッピングを記憶するスケーラ場変数と、
ジェスチャーの間のモデルの配色の変化を記憶するテクスチャ変化変数と、
前記ジェスチャーの間の前記モデルの表面の変化を記憶するテクスチャマップ変化変数と、
前記ジェスチャーの間の前記モデルの頂点の変化を記憶する頂点変化変数と、
を含み、
前記テクスチャ変化変数、前記テクスチャマップ変化変数、及び前記頂点変化変数は、前記ジェスチャーをテクスチャ及び頂点を有する別のモデルに適用することを可能にする、
ことを特徴とする構造。

８６ ３Ｄモデラー
８８ ３Ｄモデル発生モジュール
９０ ジェスチャー発生モジュール

Claims (10)

1. 画像から動画化された対象物の三次元モデルを生成する方法であって、
   境界判断手段によって、モデル化される前記動画化された対象物の境界を判断する段階と、
   目印位置判断手段によって、モデル化される前記動画化された対象物上の１つ又はそれ以上の目印の位置を判断する段階と、
   スケール・オリエンテーション判断手段によって、前記目印の位置に基づいて前記画像内の前記動画化された対象物のスケールおよびオリエンテーションを判断する段階と、
   位置合わせ手段によって、前記目印を有する前記動画化された対象物の画像を変形グリッドに位置合わせする段階と、
   ３Ｄモデル生成手段によって、前記変形グリッドへの前記対象物の画像のマッピングに基づいて該動画化された対象物の可変形３Ｄモデルを生成する段階と、
   定義手段によって、特徴空間に格納されたジェスチャーを用いて前記可変形３Ｄモデルの動きを動画化するよう前記可変形３Ｄモデルと特徴空間との間のマッピングを定義する段階であって、前記ジェスチャーは他の対象物の３次元モデルに適用されるよう構成されている、段階と、
   を有することを特徴とする方法。
2. 命令が記憶されたコンピュータ可読媒体を含む製造物であって、前記命令は、計算機による実行に応答して前記計算機に：
   ジェスチャーを実行する第一の対象物の画像を受信する段階と、
   前記第一の対象物の少なくとも一つの動きから前記ジェスチャーに関連付けられた少なくとも一つの動きを決定してジェスチャーオブジェクトを発生させる段階であって、前記ジェスチャーオブジェクトは、前記ジェスチャーの間に発生する配色の変化を記憶するよう構成された配色変化変数と、該ジェスチャーの間に発生する表面の変化を記憶するよう構成された二次元変化変数と、該ジェスチャーの間に発生する前記対象物に付随する少なくとも一つの頂点の変化を記憶するよう構成された三次元変化変数とを更に含む、段階と、
   前記ジェスチャーオブジェクトを第二の対象物の三次元モデルに適用して前記ジェスチャーオブジェクトを用いて前記第二の対象物を動画化する段階とを実行させるものである、製造物。
3. ジェスチャーモデルを生成する方法であって、
   ジェスチャーを行う第一の対象物の画像を受信する段階と、
   ジェスチャーオブジェクトを生成するために、前記第一の対象物の少なくとも一つのジェスチャーから前記ジェスチャーに付随する少なくとも一つの動きを判断する段階と、
   を含み、
   前記ジェスチャーオブジェクトは、前記ジェスチャーの間に発生する配色の変化を記憶する配色変化変数と、該ジェスチャーの間に発生する表面の変化を記憶する二次元変化変数と、該ジェスチャーの間に発生する前記対象物に付随する少なくとも一つの頂点の変化を記憶する三次元変化変数とを更に含み、そして
   前記ジェスチャーオブジェクトを第二の対象物の三次元モデルに適用して前記ジェスチャーオブジェクトを用いて前記第二の対象物を動画化する段階を備えた、
   ことを特徴とする方法。
4. 対象物のジェスチャーに付随するデータを記憶するよう構成されたジェスチャーオブジェクトデータ構造を記憶する有形のコンピュータ可読媒体であって、
   少なくとも一つの頂点の変換を可能にするために、ジェスチャーの特徴空間とテクスチャおよび少なくとも一つの頂点を有する第一のモデルのモデル空間との間のマッピングを記憶するよう構成されているスケーラ場変数と、
   ジェスチャーの間の前記モデルの配色の変化を記憶するよう構成されたテクスチャ変化変数と、
   前記ジェスチャーの間の前記モデルの表面の変化を記憶するよう構成されたテクスチャマップ変化変数と、
   前記ジェスチャーの間の前記モデルの前記少なくとも一つの頂点の変化を記憶するよう構成された頂点変化変数と、
   を含み、
   前記テクスチャ変化変数、前記テクスチャマップ変化変数、及び前記頂点変化変数は、前記ジェスチャーをテクスチャ及び少なくとも一つの頂点を有する第二のモデルに適用することを可能にするよう構成されている、
   ことを特徴とするコンピュータ可読媒体。
5. ジェスチャーモデルを生成するよう構成されたコンピュータ実装システムであって、
   対象物の画像を受信し、該対象物の三次元可変形モデルを発生させるよう構成され、三次元モデルは表面および複数の頂点をもつ、三次元モデル発生モジュールと、
   前記対象物のジェスチャーに対応するジェスチャーオブジェクトを発生させ、それによって該ジェスチャーを別の対象物の三次元可変形モデルに適用できるようにするよう構成されたジェスチャー発生モジュールとを備え、
   前記ジェスチャー発生モジュールは、前記ジェスチャーの間、前記三次元可変形モデル上で生じる配色変化を記憶する配色変化変数に値を入れ、前記ジェスチャーの間に生じる前記三次元可変形モデルの表面の変化を記憶する二次元変化変数に値を入れ、前記ジェスチャーの間に生じる前記三次元可変形モデルの前記頂点の変化を記憶する三次元変化変数に値を入れるよう更に構成されている、
   ことを特徴とするシステム。
6. 命令が記憶されたコンピュータ可読媒体を含む製造物であって、前記命令は、計算機による実行に応答して前記計算機に：
   画像から動画化された対象物の境界を判断する段階と、
   前記動画化された対象物上に１つ以上の目印の位置を判断する段階と、
   前記目印の位置に基づいて前記動画化された対象物のスケールとオリエンテーションを判断する段階と、
   前記目印を有する前記動画化された対象物の画像を変形グリッドと合わせる段階と、
   前記対象物の画像の前記変形グリッドへのマッピングに基づいて前記動画化された対象物の三次元可変形モデルを発生する段階と、
   特徴空間に記憶されたジェスチャーで前記三次元可変形モデルの動作を動画化するように前記三次元可変形モデルと特徴空間との間のマッピングを画定する段階とを実行させるものであり、前記ジェスチャーが他の対象物の三次元モデルに適用することができるようになっていることを特徴とするシステム。
7. ジェスチャーに関連付けられたジェスチャーオブジェクトに基づいて三次元モデルを動画化する方法であって、前記ジェスチャーオブジェクトは、前記ジェスチャーに関連付けられたテクスチャの変化と、前記ジェスチャーに関連付けられた少なくとも一つの頂点の変化と、前記ジェスチャーに関連付けられた色変化とを格納し、当該方法は：
   コンピューティング・デバイスにおいて、前記ジェスチャーオブジェクトのテクスチャの変化を前記三次元モデルに適用する段階と、
   コンピューティング・デバイスにおいて、前記ジェスチャーオブジェクトの前記少なくとも一つの頂点の変化を前記三次元モデルに適用する段階と、
   コンピューティング・デバイスにおいて、前記ジェスチャーオブジェクトの色変化を前記三次元モデルに適用する段階とを含む、
   方法。
8. ジェスチャーを実行する第一のオブジェクトの画像を受領する段階であって、前記第一のオブジェクトは表面および頂点をもつ、段階と；
   前記ジェスチャーに応答しての前記表面に関連付けられた変化を示すよう構成された二次元変数および前記ジェスチャーに応答しての前記頂点に関連付けられた変化を示すよう構成された三次元変数を有するジェスチャーオブジェクトを定義する段階と；
   第二のオブジェクトを動画化するよう前記ジェスチャー・オブジェクトを前記第二のオブジェクトのモデルに適用する段階とを含む、
   方法。
9. 命令を記憶した非一時的なコンピュータ可読媒体であって、前記命令は：
   ジェスチャーを実行する第一のオブジェクトの画像を受領するための命令であって、前記第一のオブジェクトは表面および頂点をもつ、命令と；
   前記ジェスチャーに応答しての前記表面に関連付けられた変化を示すよう構成された二次元変数および前記ジェスチャーに応答しての前記頂点に関連付けられた変化を示すよう構成された三次元変数を有するジェスチャーオブジェクトを定義するための命令と；
   第二のオブジェクトを動画化するよう前記ジェスチャー・オブジェクトを前記第二のオブジェクトのモデルに適用するための命令とを含む、
   コンピュータ可読媒体。
10. ジェスチャーを実行する第一のオブジェクトの画像を受領する手段であって、前記第一のオブジェクトは表面および頂点をもつ、手段と；
    前記ジェスチャーに応答しての前記表面に関連付けられた変化を示すよう構成された二次元変数および前記ジェスチャーに応答しての前記頂点に関連付けられた変化を示すよう構成された三次元変数を有するジェスチャーオブジェクトを定義する手段と；
    第二のオブジェクトを動画化するよう前記ジェスチャー・オブジェクトを前記第二のオブジェクトのモデルに適用する手段とを有する、
    装置。

Images