JP2002508867A - ２次元および３次元画像の変換制御用の方法および装置 - Google Patents

Abstract

(57)【要約】 本明細書に説明されている方法と装置は、モーフスすなわち開始グラフィカル画像を目的グラフィカル画像に変更することを自動化しかつ付加的特性を与える。本発明によって生成される改善された自動付加モーフスが、アニメーション技術の制限された範囲を拡大し、モーフプロセス中にキャラクターが喋り動作し感情表出することが可能である可動モーフスと、様々なキャラクターを生成するためにキャラクターに対して特徴が連続的に付加されることが可能であるパラメトリックキャラクター生成と、自動的に新たに生成されたキャラクターにキャラクターの挙動が自動的に転移されることが可能である挙動転移と、連続的な挙動パターンがキャラクターに同時に転移または授与されることが可能である挙動積み重ねとを実現する。本発明は、アニメーターが２次元画像または３次元画像を瞬時にかつ流動的に生成し、動かし、制御し、変形させることを可能にする。本発明は、アニメーション技術の既存状態の範囲と特性を拡張する優れた解決策を、従来によりも著しく低いコストで提供する。

Description

【発明の詳細な説明】 ２次元および３次元画像の変換制御用の方法および装置 発明の分野 本発明は、２次元画像および３次元画像の制御および変換のための自動化され た方法と装置とに関する。さらに特に、本発明は、１つ以上の変更データセット を使用することによって画素をリアルタイムで変化させるための方法と装置とに 関する。 著作権の注意 本特許文献の開示内容の一部分は、著作権保護を受ける資料を含む。著作権所 有者は、特許商標庁の特許ファイルまたは記録に示される通りの特許文献または 特許開示内容の複写のいずれに対しても異議を唱えないが、それ以外のあらゆる 場合には、全ての著作権を保有する。 発明の背景 第８図を参照すると、この図には当業で公知のコンピュータシステムが示され ている。コンピュータシステム８１０は、Ｉｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎ ，Ｓａｎｔａ Ｃｌａｒａ，Ｃａｌｉｆｏｒｎｉａによって製造されるＰｅｎｔ ｉｕｍ（登録商標）プロセッサのようなプロセッサ８１１を有するシステムユニ ットを含む。このプロセッサは、ブリッジ回路８１３によってシステムメモリ８ １２（例えば、ランダムアクセスメモリ（ＲＡＭ））に結合されている。ブリッ ジ回路８１３は、プロセッサ８１１とシステムメモリ８１２とを、ＰＣＩ規格（ Ｖｅｒｓｉｏｎ ２．１，１９９５，Ｐ ＣＩ Ｓｐｅｃｉａｌ Ｉｎｔｅｒｅｓｔ Ｇｒｏｕｐ，Ｐｏｒｔｌａｎｄ，Ｏ ｒｅｇｏｎ）に準拠して動作するバスのようなバス８１４に結合する。システム ８１０は、さらに、バス８１４に接続されているグラフィックスアダプタ８１５ も含み、このグラフィックスアダプタ８１５は、バスからのデータ信号を陰極管 （ＣＲＴ）ディスプレイ、アクティブマトリックスディスプレイ等のようなディ スプレイ装置８２０における出力のための情報に変形する。第１図のコンピュー タシステムを使用して、グラフィカル画像がディスプレイ装置８２０に表示可能 である。グラフィカル画像がコンピュータシステム８１０に対して内部的に生成 されるか、または、入力装置８３０（例えば、スキャナ、ビデオカメラ、ディジ タルカメラ等）によって入力されることが可能である。当業では公知であるよう に、グラフィカル画像は、その各々が表示されることが可能である多数の２次元 画素すなわち「ピクセル」として記憶される。 現状の技術では、１つ以上のピクセルの２次元位置を（例えば、マウスのよう なカーソル移動によって）「動かす」ことによってユーザがグラフィカル画像を 変更することを可能にすることによって、グラフィカル画像（例えば、人物の顔 の画像）が変化させられることが可能である（例えば、Ａｄｏｂｅ Ｐｈｏｔｏ ｓｈｏｐ Ｖｅｒｓｉｏｎ ３．０．５（Ａｄｏｂｅ Ｓｙｓｔｅｍｓ，Ｉｎｃ ．，Ｓａｎ Ｊｏｓｅ，Ｃａｌｉｆｏｒｎｉａ））。そうする際には、移動され ている１つのピクセルの周囲の他のピクセルが、新たなデータまたはグラフィカ ル画像からのその他のピクセルデータによって埋められる。例えば、人物の顔の グラフィカル画像は、この製品を使用して人物の鼻を大きくしたり小さくしたり することによって変更されることが可能である。この２次元的現象は、「ゴムシ ート」上にプリントされた写真を引っ張ったり歪めたりすることに 類似している。ＭｅＴａＴｏｏｌ，Ｉｎｃ（Ｃａｒｐｉｎｔｅｒｉａ，Ｃａｌｉ ｆｏｒｎｉａ）の「Ｋａｉ’ｓ Ｐｏｗｅｒ Ｇｏｏ」製品では、写真の変形が 、コンピュータスクリーン上に表示されている写真の表面上を操作者がマウスで 「クリック」および「ドラッグ」することによって「リアルタイム」で行われる ことが可能である。その操作者は、マウスの移動に伴って写真の伸び縮みを見る ことが可能である。このプロシージャは２次元画像を対象にするにすぎず、喋っ たり感情を表出したりするような高度のキャラクターのアニメーションを可能に はしない。 現状の技術では、映画やビデオで見られるような１つの画像を別の画像に段階 的に形状変化させることが「モーフ」と呼ばれている。現在のモーフは、特定の 開始画像の形状を特定の目的画像に変形させるようにコンピュータに命令する操 作者によって作り出される。典型的には、操作者が特定の開始画像の輪郭上の特 定の点を選択し、その次に、これらの点の各々を新たな位置に割り当て、それに よって所望の目的画像の新たな輪郭を画定することを可能にすることによって、 モーフプログラムが機能する。その次に、コンピュータが、（１）これらの点の 各々を始点から終点に滑らかに動かすことと、（２）モーフ進行中に画像内のそ の他の点全ての移動を補間することとによって、モーフを行う。 上記のこの方法には２つの明らかな欠点がある。第１に、この方法は、各々の 所望の変形のためにカスタムメイドのモーフが生じさせられることを必要とする 。第２に、この方法が、モーフがそれに対して行われる単一の画像またはフレー ムが選択されることを必要とするので、キャラクターの動作のフレーム毎の進行 が、モーフ進行中は停止しなければならない。これが、現行の映画において、モ ーフ進行中にはキャラクターが喋ったり動作したりはしないことの 理由である。現時点でモーフが比較的迅速に（すなわち、数秒内で）行われるの は、そうすれば、この動作の停止が観客に見破られないからである。 最近の映画では、キャラクターがモーフする（例えば、Ｊａｍｅｓ Ｃａｍｅ ｒｏｎの「Ｔｅｒｍｉｎａｔｏｒ ２」の悪漢ロボットが液体金属形態に変化す る）時には常に、モーフの進行中はキャラクターが動作を停止する。１９９７年 ５月に発表された「Ｆｉｆｔｈ Ｅｌｅｍｅｎｔ」では、キャラクターが自分の 頭を前後に揺すっている間にエイリアンから人間形態に変化するのが見てとれる 。これは、モーフの進行中にキャラクターが動作しているように見せかけている が、実際には、キャラクターの頭部が揺動している間、その下にあるキャラクタ ーの頭部の３Ｄ画像は停止しているのである。この方法は単に「フリーズフレー ム（ｆｒｅｅｚｅ ｆｒａｍｅ）」の３Ｄの等効物であるにすぎない。この方法 は、モーフ進行中にモーフ中のキャラクターが喋ったり、動作したり、感情を表 出したりすることを可能にはしない。今日の映画で使用されている静的モーフ手 法は低速でありかつ著しく高コストである。 発明のサマリー 本発明の実施様態では、第１のグラフィカル画像の第１の領域が識別され、そ の次に、予め決められた第１の変更データセットに基づいてこの領域が変更され る。グラフィカル画像のモーフ（ｍｏｒｐｈ）にこの方法を使用して、本発明の さらに別の実施様態によって、様々な応用が行われることが可能である。 第１に、第１の開始画像のためのモーフ（例えば、変更データの適用）が、他 の開始画像に容易に適用されることが可能である。言い換えると、そのモーフが 、自動的に、様々な開始画像に対して各 々に特有の仕方で所望の特徴を与える。モーフを生じさせるために特定の開始画 像上の各点の個別の選択と割当てとを必要とする従来技術に比べた場合に、この ことは改善を意味する。本明細書に開示されている本発明の方法は、このプロセ スを自動化するのである。特定の画像のモーフ、例えば、ある人物の大人から子 供へのモーフ、を個別的に生成させることをアーティストまたは技術者に要求す るのではなく、本発明のモーフは、単一の「チンパンジー」モーフを使用して様 々な種類の人間、動物、または、他のキャラクターがチンパンジー風にされるこ とを可能にする。この事例が図１に示されており、この図では、「チンパンジー 化」に関連する単一のモーフが３つの異った開始画像に適用されている。各々の 場合に、結果として得られる画像が、開始画像各々の認識可能な特徴を維持して いると同時に、「チンパンジー」モーフの所望の特徴を各々に独特な形で具体化 している。従って、従来においては、こうしたモーフは変更データと呼ばれてき た。変更データの例は、下記でさらに詳細に説明するデルタセット（ｄｅｌｔａ ｓｅｔ）とデルタゾーン（ｄｅｌｔａｚｏｎｅ）を含む。簡略的に述べると、自 動化モーフの所望の効果を保持する形で、個々の画像が個別的に変更されるよう に、デルタセットまたはデルタゾーンが、個々の画像内の領域を特徴毎にカテゴ リーによって識別する。単一のモーフが様々な画像に適用可能なので、モーフが 、そのモーフが効果を及ぼす画像から独立して、質的実体として存在する。この 独立性は、全く新しいツールであるモーフライブラリ（ｍｏｒｐｈ ｌｉｂｒａ ｒｙ）、すなわち、上記「チンパンジー化」の例に示されているように特有の所 望の効果を生じさせるために任意の開始画像に対して普遍的に使用されることが 可能である所望の変更または強調のコレクションを生じさせる。 第２に、画像に特定の特徴または性質を加えるために画像がモーフされた後に 、その結果得られた画像が、第２の特徴または性質を加えるための第２のモーフ を受けることが可能である。第２図は、子供風のチンパンジーを生じさせるため に「チンパンジー」モーフが「子供」モーフに加えられる、この付加特性の単純 な事例を示している（他の例がさらに詳細に後述される）。自動付加モーフシス テムの付加特性が、モーフプロセスに新たな機能性と範囲とをもたらすために様 々な形で使用されることが可能である。自動付加モーフの５つの付加特性の各々 を、その実際の適用例と共に下記で説明する。 第３に、グラフィカル画像キャラクターが喋ったり動作したり感情表出したり することを可能にするモーフが実現されることが可能である。本発明の実施様態 では、自動付加モーフを（「モーフシーケンス」）に対して交互適用することに よって、キャラクターがモーフ進行中に口の動きと動作と感情表出とを続けるこ とが可能である、可動モーフが実現できる。当業で公知であるモーフシーケンス （例えば、ｔｈｅ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｃａｌｉｆｏｒｎｉａ ａｔ Ｓａｎｔａ ＣｒｕｚのＭｉｃｈａｅｌ Ｃｏｈｅｎ博士によるプログラムと 、Ｐｒｏｔｏｚｏａ Ｉｎｃ．（Ｓａｎ Ｆｒａｎｃｉｓｃｏ，Ｃａｌｉｆｏｒ ｎｉａ）の作品に示されているモーフシーケンス）は、コンピュータ生成キャラ クターに「Ｖｉｓｅｍｅ」モーフシーケンスを施すことによって、そのキャラク ターがまるで話しているかのように、そのキャラクターが喋ることを可能にする 。（Ｖｉｓｅｍｅは、音素の視覚上の同等物であり、すなわち、発声時にキャラ クターが作る顔つきである。）こうしたプログラムは、停止中のキャラクターの 特定の初期画像と、目的画像のコレクションとを使用する。各々の目的画像が、 共通の発声で 使用される特定の顔面状態すなわち「Ｖｉｓｅｍｅ」に対応する。第３図は、ア ニメーション画像を発声時の唇の動きに近づけるために、どのようにこれらの目 的画像をモーフシーケンスで互いに繋ぎあわせるかを示している。この図は、キ ャラクターが単語「ｐｏｎｙ」を発声することを可能にするＶｉｓｅｍｅ端点の シーケンスを示している。このシーケンスの生成と性能には、本明細書に示され ているモーフシステムの特有な特性が不要であるということを指摘することが重 要である。従来技術におけるこのシーケンス内のモーフは普遍化されておらず（ 全てが、１つの特定の開始画像の変形である）、付加的ではない。従来技術で使 用されるＶｉｓｅｍｅは次から次へと連続するのであって、互いに付加されるこ とはない。本発明の実施様態では、モーフシーケンスの使用が、喋りだけでなく 、感情の流れと感情的反応の身体的要素とに拡大される。 例えば、第４図は、第３図における上記「ｐｏｎｙ」モーフシーケンスに対す る自動付加モーフの交互付加を示す。この図では、キャラクター画像の４つの縦 列が、上記「チンパンジー」モーフの漸進的適用を示す（左から右に、開始画像 に対する適用の前に、０％、３３％、６６％、１００％の乗数値を変形データに 掛け算する）。（本発明による自動付加モーフの全てと同様に）「チンパンジー 」モーフがその開始点に関しては非特異的であるので、モーフシーケンス内の開 始点を変化させながら「チンパンジー」モーフを漸進的に適用することによって 、黒い線で囲まれている対角線方向の正方形で示されている推移を生じさせるこ とが可能である。第４図の最下部に水平に示されている、この対角線方向の推移 が、モーフ中に喋ることが可能であるキャラクターを生じさせる。これが、可動 モーフの基本構造である。従来のモーフ（普遍的であるよりも特異的である）は 、この形で交互適用されることは不可能である。本発 明の方法を使用して生成されるキャラクターは、モーフシーケンスによって、喋 るだけでなく、さらには感情を表出し反応するように形成されることが可能であ る。従って、キャラクターは、従来技術のモーフの場合にそうであるようにモー フが完了するまで「停止フレーム（ｆｒｅｅｚｅ ｆｒａｍｅ）」である必要が 無く、自動付加モーフ中に完全に動作可能な状態であることが可能である。この 交互追加プロシージャのさらに別の利点は、開始キャラクターと最終キャラクタ ーの混成物である完全に動作可能な一貫した新たなキャラクターを得るために、 任意の時点でモーフが停止させられることが可能であるということである。 第４に、本発明の方法は、データベースまたはライブラリに記憶されている変 更データを使用して、新たに生成されたキャラクターが自動的に喋り、動作し、 感情を表すパラメトリックキャラクター生成を実現する。自動付加モーフシステ ムでは、（１）モーフが、あらゆる個別の開始画像から独立した質的属性として 存在することが可能であり、（２）モーフが、累積的効果を生じさせるために逐 次的に適用されることが可能である。質的属性が、外観パラメタ（鼻の長さおよ び幅、顎の出っ張りパラメタ、顔の丸み等）として定義される場合には、これら の属性が、単一の開始画像から任意の所望の顔を生成するように選択的に適用さ れることが可能である。例えば、多民族的な開始キャラクターが定義され、任意 の所望のキャラクターを生成するようにキャラクター特徴を調整するために使用 可能な外観パラメタのモーフライブラリが生成される。第５図は、このプロセス の一例を示す。明瞭に目に見える変化を生じさせるように、この図のパラメタ調 整は粗く、マンガ風である。リアリスティックなキャラクターの生成では、これ よりはるかに多いパラメタが、より一層漸進的に適用されることが可能である。 この図に示さ れている最初の３つのモーフは「形状モーフ」である。第５図の最後のステップ では、顔の形状自体の変化ではなく、顔の形状の上に重ねられている配色すなわ ち「スキン」が変化させられる。このステップは、結果として得られるキャラク ターにおける、所望の髪毛の色、目の色、皮膚の色合い、顔の毛等を生成するた めに使用される。 第５に、自動的に喋り、感情を表出し、動作するキャラクターを生成するため に、上記のパラメトリックキャラクター生成が、上記の可動モーフと組み合わさ れることが可能である。この２重の適用が第６図に示されており、この場合には 、基盤をなす構造だけでなく、オリジナルのキャラクターの完全な口の動きと感 情表出の機能性も、自動的に新たなキャラクターに転移される。第６図に示され ているキャラクターは、可変的な身体的外観を含むだけでなく、Ｖｉｓｅｍｅと 表情とコンピュータ生成の自律的および反応的挙動との完全なセットも含む。こ れらの機能性の全てが、パラメトリックキャラクター生成を使用して生成される ことが可能である様々なキャラクターに自動的に転移されることが可能である。 このことは、キャラクター自体だけでなく新たなキャラクターが行うあらゆる感 情表出、Ｖｉｓｅｍｅ、瞬き等までもカスタムメイドで生成することを必要とす る既存のプロシージャに比べて、アニメーション時間およびコストの指数関数的 節約を意味する。 第６に、モーフシーケンスは、別々の挙動シーケンスを同時に組み合わせるた めに使用されることが可能である。第７図は、感情表出シーケンスと、喋るシー ケンスとの同時使用を示している。この図では、キャラクターに「ｐｏｎｙ」と 言わせるのに必要なＶｉｓｅｍｅシーケンス（左列の絵）が、各シーケンスのタ イミングが維持されるように感情表出モーフシーケンス（中央の列）に加えられ ている。その結果として得られるシーケンス（右列）が、喋ると同時に感情を伴 って反応することが可能であるキャラクターを生成する。このプロシージャが、 自律的な感情要素（様々な感情または「ムード」を表すデルタのコンピュータ生 成循環）を、反応性要素（感情的影響をキャラクターに割り当てたキャラクター の環境内の要素の近接によって起動される感情的デルタ）と組み合わせるために 使用されることも可能である。こうしたプロシージャが、意識的感情と無意識的 感情との間の相互作用を視覚化するために使用されることが可能である。 本発明の上記の実施様態と他の実施様態とを、以下でさらに詳細に説明する。 図面の簡単な説明 第１図は、本発明の実施態様に基づく自動化モーフの例を示している。 第２図は、本発明の実施態様に基づく自動化加法モーフの例を示している。 第３図は、本発明の実施態様にしたがって実施できるモーフ・シーケンスの例 を示している。 第４図は、本発明の実施態様に基づくムーヴィング・モーフの例支援している 。 第５図は、本発明の実施態様に基づくパラメトリック・キャラクタ作成の例を 示している。 第６図は、本発明の実施態様に基づく自動動作転移の例を示している。 第７図は、本発明の実施態様に基づく動作層化の例を示している。 第８図は、技術上周知のコンピュータ・システムである。 第９図は、本発明の画像変形システムの全体ブロック図である。 第10ａ−ｄ図は、人間の頭部などのグラフィック画像の表示に使われる多角形 モデルである。 第11ａ−ｆ図は、本発明の実施態様に基づくデルタセットの応用を示す多角形 モデルである。 第12ａ−ｇ図は、本発明の実施態様にしたがって生成される人の頭部のグラフ ィック画像である。 第13図は、ある画像にデルタセットを応用した場合に生じる変形の量を制御す るための入力装置を示している。 第14ａ−ｄ図は、本発明の実施態様にしたがって生成される人の頭部のグラフ ィック画像である。 第15図は、本発明の典型的方法の場合の通信システム環境を示している。 詳細な説明 本発明の実施態様にしたがって、目的画像を構成するために初期画像に応用で きる変更データが生成される。たとえば、変更データは第一の画像と第二の画像 の間の差を決定することによって生成される差の値とすることができる。この差 が決定されたら、これを記憶して、映画業界において行われるモーフィングに関 する上記の大量のこまごとの手順を行うことなく、どのような初期画像にも上記 の値を応用して新しい目的画像を作成することができる。この差の値は、同じ数 の頂点を持つ形状間のモーフィングを容易にするために頂点ごとに作成すること ができる。代わりに、初期画像内での点の位置が自動化モーフ内でのモーション を決定するように、差の値を空間的に割り当てることができる。こうすることに よって、頂点 を明確に特定する必要がなくなり、与えられる画像の多角形構造に関係なくこれ らの方法および装置が機能できるようにすることができる。単純化するために、 変更データとしてデルタセットを使用する頂点ベースの自動化加法モーフィング ・システムの例について、下に説明する。デルタゾーン（変更データの別の例） など、多角形構造に関係なく画像をモーフィングできるポジション・ベースまた は空間ベースのモーフィング・システムは、頂点間のモーションを補間すること により作成される。 頂点ベースの本発明の実施態様の例は、各々空間ロケーション（たとえば二次 元空間または三次元空間において）を持つ第一の数の頂点から成る第一の画像（ たとえばニュートラルまたは初期画像）の生成を含み、同じ数の頂点を持つ第二 の画像（たとえば目標または目的画像）が生成される。第一の画像の第一の頂点 と第二の画像のこれに対応する頂点の差は、２つの頂点の間のロケーションの差 によって決まる。この差は、その後メモリ装置（たとえばRAM、ハードディスク 装置など）に記憶される。第一の画像と第二の画像のすべての対応する頂点の差 の値は、このステップを使って作成され、変数アレイ（本文書においてはデルタ セットと呼ぶ）として記憶することができる。次に、デルタセットを第一の画像 に応用して、第一の画像の頂点を第二の画像の該当のロケーションに移すことに よって、第二の画像を作成することができる。その代わりに、増倍または比率の 値にデルタセットのエントリを掛けて、第一の画像に応用して、中間グラフィッ ク画像を作成することができる。本発明の特徴によれば、デルタセットは、等し い数の頂点を持つどのような初期画像にも応用することができる。これにより、 ユーザーは、オリジナルのデルタセットを作成するために使われた数理計算を再 度行わなくても、新たな目的画像を作成することができる。 第９図を参照すると、本発明の画像変形システム900の全体ブロック図が示さ れている。本発明の実施態様にしたがって、システム900は、デルタセットのラ イブラリまたはデータベース931を含んでいる。デルタセットのライブラリ931は 、システム・メモリ912または小型コンピュータ標準インターフェイス（SCSI） ホスト・バス・アダプタ918を通じてバス914に連結されるハードディスク・ドラ イブ917などその他のメモリ装置に記憶することができる（第８図を参照のこと ）。下に詳しく説明するとおり、デルタセットは、初期画像の頂点に応用できる ポジション変動値の変数アレイである。第９図を参照すると、デルタセット情報 は、装置932（たとえば第８図のプロセッサ811およびシステム・メモリ812）に おいて構成され、キャッシュ・メモリとして記憶される。ここで、ニュートラル の形状933持つ第一の画像または初期画像を最終形状935を持つ目標画像に変形す るためにデルタセット情報が使われる。装置934により特徴（たとえば、毛）ま たはアクション（たとえば見回す）の追加など追加の形状処理を行うことができ る。その後、初期画像および第二の画像の両方をディスプレイ920または他の出 力装置（メモリ）に表示するか、またはファイル・エクスポート（たとえばイン ターネット・システム）に送ることができる。 第９図のシステム900への入力には、多様なユーザー制御937、自律動作制御93 8およびフェイス・トラッカ・データ入力939が含まれる。これらについては、下 でさらに説明する。その他の入力はいわゆるワールドワイド・ウェブ（WWW）な どその他のシステムから来ることが考えられる。また、デルタセット・キャッシ ングおよび構成装置932にデータを送ることができるオーディオ・データ入力装 置940も、オーディオ・データを送ることができる。 この実施態様において、ニュートラル形状933は、多様な既知の 方法（たとえば、ビデオ、スキャナなど）を使用して捕捉された人の頭部の画像 を土台としている。第10図を参照すると、人の頭部の画像データが多角形モデル 1051に置かれている。多角形モデルは、多数の頂点1052および頂点間に伸びる接 続線1053から成る。多角形モデルの各多角形1054は、３つ以上の頂点1052により 定義される。デルタセットの生成および第10ａ図の多角形モデルへのその応用を 示すために、単純な多角形（たとえば、正方形、三角形、長方形及び円形）を使 用して、下に例を示す。 各多角形は、識別可能な形状を持つ。たとえば、第11ａ図を見ると、二次元空 間に８つの頂点（点1100から1107まで）を持つ正方形が示されている。個々の頂 点を動かすことにより、正方形を長方形（第11ｂ図）、円形（第11ｃ図）及び三 角形（第11ｄ図−三角形においては頂点1100、1101及び1107が二次元において同 じ点に在る）など多数の他の多角形に変換することができる。デルタセットは、 各頂点（1100から1107まで）を初期多角形から目標または目的多角形に移動する ための一連のステップである。たとえば、第11ａ図の正方形から第11ｂ図の長方 形にするために必要なステップは、頂点1105、1106及び1107を一定距離"x"左に 移動し、点1100、1102および1103を同じ距離"x"右に移動し、頂点1100および110 4を同じ位置に置くことである。このように、デルタセットは、初期多角形から 目的の多角形に変形するときに各頂点が取るパスを定義する。言い換えると、デ ルタセットは、初期多角形と目標多角形の対応する頂点のポジションの差を定義 する。同様に、デルタセットは、第11ａ図の正方形を第11ｃ図の円形に及び第11 ａ図の正方形を第11ｄ図の三角形に変形するために作成することができる。 この実施態様において、デルタセットは、初期多角形を別の多角形に変形する ことによって作成されるが、当業者は、初期形状及び 目標形状を特定の形状とせず抽象的観念で作成できることが分かるだろう。さら に、デルタセットがひとたび作成されれば、新しい形状を作成するためにどのよ うな初期形状にもこれを使用できる。たとえば、第11ａ図の正方形を第11ｂ図の 長方形に変形するために使われるデルタセット（便宜上デルタセット１と呼ぶ） を、第11ｃ図の円形に使用することができる。こうすると、第11ｃ図の円形が初 期形状となり、デルタセット１を応用した後、第11ｅ図の楕円形（すなわち、目 標形状）になる。 デルタセットは、組み合わせて（たとえば加算して）新しいデルタセットを作 成することもできる。このように、デルタセット１、デルタセット２（すなわち 、第11ａ図の正方形から第11ｃ図の円形への変形）及びデルタセット３（すなわ ち、第11ａ図の正方形から第11ｃ図の三角形への変形）を組み合わせて、新しい デルタセット（デルタセット４）を構成することができる。第11ａ図の初期正方 形にデルタセット４を応用すると、第11ｆ図の目標形状が得られる。もっとも単 純な形態では、初期多角形、目的多角形及びデルタセットが同じ頂点の数を持た なければならない。頂点の数の異なる形状または対象間での変形には、追加の算 法が必要となる。 頂点を移動するための付加的方法は、モーションの連続フィールドが作成され るようにデルタセットの点までのモーションを補間するというデルタセット方法 から得ることができる。デルタゾーンと呼ばれるこれらのフィールドを使えば、 デルタセットが依存する運動と頂点の間の１対１の対応は、その初期ロケーショ ンにしたがって頂点を移動することにより数に関係なく頂点に作用する動的なモ ーション・システムに代わるので、特定の三角ストリップ・セットに関係なく画 像をモーフィングできる。 本文書においては、デルタセット実施及びグラフィック画像に対 するその作用の例が、技術上周知の"C"及び"C++"プログラミングに基づく擬似コ ードを参照して説明される。デルタセットのデータタイプ構造（Deltaset＿Type ）は、基本的な形状オブジェクトの場合と同様であり、擬似コードは第１表に示 されるとおりである。 上の表から分かるとおり、Deltaset＿type及びshape＿type変数は、各々［num points］値のアレイを含む。各値はshape＿type変数の頂点のポジション及びDel taset＿Type変数のデルタ値である。 初期オブジェクトから目的オブジェクトへのステップまたは差の値の計算を通 じてデルタセットを作成するための中核的ルーチンの例は、第２表に示されると おりである。 でのステップを計算し、これらのステップをデルタセットに記憶させる中核的ル ーチン 上の擬似コードから分かるとおり、変数"delta"は、形状の各頂点についてソ ース（src）と目的（dest）のポジションの差を一時的に記憶するために使われ る。各デルタ値はその後デルタセット・アレイ（dset）に記憶される。デルタセ ット・アレイはひとたび作成されると、同じ数の頂点を持つどのような初期形状 にも簡単に応用して、新しい目標形状を構成することができる。 初期形状に応用できるようにデルタセットを変更するために使うことのできる 擬似コードの例は第３表に示されるとおりである。 上の表から分かるとおり、ルーチンDeltaset＿Apply中、"amount"を使って送 られるパーセンテージ量に基づき単一の移行の計算が行われる。目的形状の各デ ータ・ポイントは、そのポイントのデルタセット値にパーセンテージ値"amount" （"amount"はマイナス値または１より大きい値が可能である）を掛けたものに基 づいて計算される。 第４表の擬似コードは、新しいブランク・デルタセットを作成しデータポイン トの数を設定するために使われる２つのユーティリティ・ルーチンを示している 。 第５表を参照すると、第11ａ図の正方形から第11ｅ図の形状に変形するための 擬似コードの例が示されている。 第５表の擬似コードから分かるとおり、データポイントは二次元ベクトルとし て定義され、正方形、長方形及び円形は横座標及び縦座標の値を持つ８つの点と して定義される。次に、デルタセットが、正方形から長方形へ及び正方形から円 形への移行について計算される。上で分かるとおり、その結果得られるデルタセ ット（rect＿dset及びcirc＿dset）は、それぞれ初期画像及び目標画像の横座標 及び縦座標の値の間の差を表す。これで、デルタセットを初期形状（この例にお いては初期画像newshapeは第11ａ図の正方形に設定される）に応用できる。まず 、rect＿dsetデルタセットを正方形に応用して中間形状を形成し、次に、circ＿ dsetをこの中間形状に応用して、第11ｅ図に示される目的形状を形成する。第11 ｆ図の形状を得るためには、第11ａ図の正方形から第11ｄ図の三角形への変形を 表すデルタセットを作成し、これを第11ｅ図に示される楕円形に応用する。 上のデルタセットの例は、簡単に三次元表示に拡張することができる。また、 三次元空間及びフェイシャル・アニメーションなどもっと入り組んだ複雑なアプ リケーションにこの例を拡大することができる。フェイシャル・アニメーション においてはデルタセットのアプリケーションが複雑になるにつれて、いくつか追 加の機能を加えることができる。たとえば、顔のある動きを目の瞬きなど特定の エリアに限定する。これに応じて、顔全体のデルタセットは目とまぶたを除いて ほぼ０（変化なしを示す）となり、このエリアが変化のために分離される。効率 をあげるために、デルタセット・データタイプを、非ゼロ値だけを記憶するよう に変えることができる。こうすると、Deltaset＿applyルーチン中、グラフィッ ク表現の各ポイントではなく変化するポイントだけが作用を受ける。 フェイシャル・アニメーションの実施態様については、第６表の 擬似コード例を参照しながら下で説明する。 上の例から分かるとおり、動画化された顔の画像は、三次元のデータポイント から成る。"neutralFace"は、１つまたはそれ以上のデルタセットに基づいて変 化する初期画像である。neutralFace画像は、第12ａ図に示される、目がまっす ぐ前を見て表情のない画像である。"overallMorphFace”はneutralFaceとは異な る顔である。この例では、overallMorphFaceは第12ｂ図に示される猫のイメージ である。完了した顔の動きを示す顔は、"blinkFace"であり、目を閉じている以 外はneutralFaceと同じ顔を示す（第12ｃ図を参照のこと）。"emoteFace"は、１ つまたはそれ以上の感情を示すための増補されたneutralFaceのアレイである。 たとえば、第12ｄ図は、幸福を表現するneutralFaceを示し、第12ｅ図は怒りを 表現するneutralFaceを示している。"speakFace"は、さまざまなフォニームの表 現を示す顔のアレイである。フォニームまたはvisemeは話し言葉を構成するため に使われるシラブルである（たとえば、"oo"、"ae"、"l"および"m"の音）。例と して、第12ｆ図は、フォニーム"oo"を表現するneutralFaceを示している。 変形またはモーフィングの量は、増倍または乗数値、overallMorphAmount、bl inkAmount、emoteAmount[ ]及びspeakAmount[ ]により制御できる。例として、 第12ａ図のneutralFaceに瞬きのデルタ セットを応用するときblinkAmountを1.0に設定すると、第12ｃ図の顔が得られる （すなわち、瞬き100％が応用される）。この変数に1.0より小さい数または大き い数を選ぶことができる。 次にneutralFace画像を変形するためにデルタセットを作成する。第６表の擬 似コードから分かるとおり、neutralFace（第12ａ図）からoverallMorphFace（ 第12ｂ図）に変えるためにデルタセットoverall＿dsetが作成される。neutralFa ce（第12ａ図）からblinkFace（第12ｃ図）に変えるためにデルタセットblink＿ dsetが作成される。neutralFace（第12ａ図）から各感情表現画像（たとえば第1 2ｄ図の「幸福」のemoteFace[ ]、第12ｅ図の「怒り」のemoteFace[ ]）に変え るためにデルタセットemote＿dset[ ]が作成される。また、neutralFace（第12 ａ図）から各フォニーム表現画像（たとえば第12ｆ図の"oo"speakFace[ ]）に変 えるためにデルタセットspeak＿dset[ ]が作成される。 主アニメーション・ループにおいて、各デルタセット変形の量（たとえば、ov erallMorphAmount、blinkAmount、emoteAmount[ ]、およびspeakAmount[ ]）が 計算される。emoteAmount[ ]およびspeakAmount[ ]アレイの場合、値はほとんど ゼロである。作成される新しい顔の画像はnewShapeFaceに記憶され、最初はneut ralFace画像に設定される。次に、上で計算されたデルタセットが、上で計算さ れた変形変数において設定される量だけnewShapeFaceに応用される。この例にお いて、overallMorphAmountは0.5（すなわち、neutralFaceとoverallMorphFaceの 中間）に設定され、blinkAmountは1.0（すなわち完全に閉じたブリンクアイ）に 設定され、「幸福」のemoteAmount[ ]は1.0に、その他のすべてのemoteAmount[ ]値は0に設定され、フォニーム"oo"のspeakAmount[ ]は1.0に、その他のすべて のspeakAmount[ ]値は0に設定される。これらの変数に基づ いて得られる画像が第12ｇ図に示されている。 上に説明したとおり、作成されたデルタセットは、これで、計算しなおさずに 別の初期画像（すなわち、第12ａ図に示されるneutralFace以外の画像）に応用 できる。これが第14ａ−ｄ図の例に示されている。上に述べた方法を使って、男 性の顔（第12ａ図に示される）から猫の顔（第12ｂ図に示される）への変化を表 すneutralFaceとoverallMorphFaceの間のデルタセットを作成することができる 。第14ａ図から分かるとおり、男性の顔はこのデルタセットを応用せずに示され ている。第14ｂ図は、このデルタセット（またはこのデルタセットの分数値）の 応用の効果を示し、男性の顔が「猫のよう」に見える。第14ａ図および第14ｂ図 の基礎となる多角形モデルは、それぞれ第10ａ図および第10ｂ図に示されるとお りである。第10ａ図および第10ｂ図から分かるとおり、第一の画像の頂点は目的 画像において異なるポジションに移動するように示される。再び第14ａ図および 第14ｂ図を参照すると、当業者であれば、これらの図の人間の画像と猫の画像の 各ピクセルについて色の差を記憶するデルタセットにしたがって各ピクセルの色 も変化しうることが、分かるだろう。上に説明されるデルタセットはニュートラ ルの女性の顔（第14ｃ図）に応用して、新しい目的画像（第14ｄ図）を形成する ことができる。 また、変数（たとえば、overallMorphAmount）を第13ａ−ｄ図に示されるグラ フィック・スライダを使って入力することもできる。この例では、いくつかのデ ルタセットを事前に決定しておく。最初のデルタセットは、唇が第一のポジショ ンにある初期画像と唇が第二のもっと高いポジションにある目標画像の間の差を 表す。第二のデルタセットはあごが第一のポジションにある初期画像とあごが突 き出た第二のポジションにある目標画像の間の差をあらわす。第三 のデルタセットは、比較的滑らかな皮膚の初期画像と年を取った（すなわち深い しわの皮膚）目標画像の間の差をあらわす。第13a−ｄ図を参照すると、第一、 第二および第三デルタセットの各々が第13ａ図のニュートラル画像に応用される 量は、単数または複数のスライダ1301−1303を配置することによって決定される 。この例においては、スライダが中央ポジションにある場合、デルタセットは全 く応用されない（すなわちデルタセットに0.0を掛けたものが画像に応用される ）。スライダが右に置かれる場合、デルタセットに1.0を掛けたものが画像に応 用され、左に置かれる場合デルタセットに-1.0を掛けたものが画像に応用される 。したがって、第10ａ図において、スライダ101-03は中央ポジションにある。第 13ｂ図においては、スライダ1301は右に動かされて（たとえば図に示されないが マウスを使って）、最初のデルタセット（に1.0を掛けたもの）が第13ａ図のニ ュートラル画像に応用される（こうして、唇がある距離上に動く）。同様に、第 13ｃ図において、スライダ1302が左に動かされて、上に説明される第二のデルタ セット（に-1.0を掛けたもの）が第13ｂ図の画像に応用される（こうして、あご が引っ込む）。また、第13ｄ図において、スライダ1303は右に動かされて、第三 のデルタセット（に1.0を掛けたもの）が第13ｃ図の画像に応用される。当業者 であれば、スライダ1301−03が-1.0から1.0までの中間値を持つことができるこ と、またはこの範囲を超える値を持つことができることが分かるだろう。 上の例から分かるとおり、ひとつまたは複数のデルタセットが作成されると、 第13図の実施態様のスライダ1301−03（たとえば）により制御される乗数値が、 初期画像を変更するために必要な唯一の入力となる。この特徴は、通信の分野で 有利である。第15図を参照すると、通信システムが示されている。このシステム においては、 第一のコンポーネント（サーバー1510など）が送信媒体1509を通じて第二のコン ポーネント（ディスプレイ1512に連結されたクライアント1511など）に連結され る。この例においては、送信媒体1509は、変動するが限定された帯域幅を持つい わゆるインターネット・システムである。サーバー1510およびクライアント1511 は第８図のシステム801と同様のコンピュータ・システムである。第一の画像（ たとえば、人の顔）は希望のデルタセット（上に説明するとおり）とともに送信 媒体1509を通じてサーバー1510からクライアントに送られる。一部のコードも送 られて、本文書において説明されるとおりに機能する。画像およびデルタセット はクライアント1511で記憶することができ、画像はディスプレイ1512に表示する ことができる。サーバー1510がクライアント1511で画像を変えるために、新しい 画像全体が送られる必要はない。送信媒体1509を通じてデルタセットの増倍値（ たとえば、第13図においてスライダが制御する値）を送って、ディスプレイ1512 で画像に希望の変化を加えることができる。このように、帯域幅が大幅に節約さ れ、画像の動画化および制御がより可能になる。 他の例では、第15図のシステムをビデオ電話システムに用いるが、送信するオ リジナルの画像は伝送媒体1509（例：平易な古い電話システム（POTS））でサー バ1510で発話者のものである。サーバ1510のユーザの会話は、音素に変換でき、 それは伝送媒体1509で音声信号と共に伝送される乗算値に変換され、クライアン ト1511での単語の「発声」を容易にする。 上述のように、人間のグラフィック画像は、例えば、人間の画像から始めてデ ルタセットをニュートラルに適用することで感情を表現することができる。感情 の表現が自立的な場合、人間のコンピュータグラフィック画像はより実物そっく りになる。人間は２つのカ テゴリーまたは極値にあてはまると結論することができる。１つは、幼児などの ような感情的に予測不可能な人（すなわち、感情をランダムに表現）、１つはす べての刺激に予め設定された反応を持つものである。本発明の実施例によれば、 それぞれが１つの感情に対応する多数の軸を含む「感情的状態空間」が作られる 。例えば、「幸福」と「警戒」の２つの感情しかないと想定し、ポイント（1.0 、0.0）でその人が幸福で、眠くも興奮してもおらず、ポイント（0.0、1.0）で 幸福でも悲しくもないが興奮していて、ポイント（-1.0、-1.0）で、その人が悲 しくて眠いとする。表現できる感情はさらに多くあるが、人は主に一度に１個か ２個以上の感情を表現しない。第９図に戻ると、要素937は感情表現に基づいて 中立画像の変更のインプットを提供する。感情表現の擬似符号の例を第８表に示 す。この擬似符号では、２つの感情が選択される。１つは表現されるもの、１つ は表現から現在消えているものである。 上記からわかるように、emoteAmounts[]は、"emoteNum"感情の１つの現在の表 現値のアレイである。例えば、「幸福」という感情に値が設定され（例：-1.0か ら1.0の間）、グラフィック画像の現在の状態を示している（例：第１２D図は、 値1.0で「幸福」を表現する中立顔を示す）。NextEmote変数は、表現する次の感 情レベルを保存する。LastEmote変数は、現在表現されており、また消えつつあ る感情のレベルを保存する。この感情が0.0まで消える秒数は変数decaySecsに保 存される。現在の感情量の後に次の感情が表現される秒数は0.0になる。 CalcEmoteAmountRandomルーチンの間、次の感情に行く確率値（probabilityOf NewEmote）と現在の感情の新しい量に変化する確率値（probabilityOfNewAmount ）が設定される。そして乱数が生成され、その数が確率値より小さいと、新しい 感情ランダム量が変数nextAmountに割り当てられ、第２乱数が選択され、その数 が確率値よ り小さいと、利用できるものから次の感情が選択され、ランダム量がnextAmount 変数に割り当てられる。 ルーチンのCalcEmoteAmountsReact中、その人のグラフィック画像周囲にある オブジェクトが分析され、どのオブジェクトが最も関心が高いかを決定する（例 ：オブジェクトの視認性、速度、その人のグラフィック画像に向かう速度、オブ ジェクト固有の感情反応性、その人のグラフィック画像の視野の中心までの距離 に基づく加重値を割り当てること等で）。各オブジェクトは、予め定義された感 情、反応性および位置を含むデータ構造を持つ。例えば、ガンのオブジェクトは その人への近さに応じて（すなわち距離）高程度の反応性の「恐怖」感情を引き 出すことになる。したがって、最も関心のあるオブジェクト（および人とオブジ ェクトとの関係）に基づき、nextEmotionを選択し、オブジェクトに基づきnextA mountを選択し、上記参照の乱数によって、nextEmotionを人間の画像が表現する か否かを決定する。第８表のルーチンを使って、人間の画像が若干ランダムであ るが特定の剌激に対応して発生可能なより実物に近い感情を表現する。 第８図を参照すると、入力装置830を備えて、ディスプレイ820に出力するグラ フィック画像の生成のためのデータの入力を行う。入力装置830は、ビデオカメ ラ、磁気トラッカー・モニタなどを含む幅広いコンポーネントであることができ る。かかるシステムで、選択したポイントを人の顔で追跡する。これら装置は、 人の顔で多数の選択位置が動く時にその座標と等しい情報ストリームを出力する （第９図の要素939参照）。例えば、口のまわりに６位置、各まぶたに１位置、 各眉毛に１位置、各頬に１位置をすべて追跡して図８のコンピュータシステムに 出力することができる。 本発明の実施例による顔追跡方法、人の中立３次元モデルを上述 のように作成し、顔に（上述のように）マーカーセットを有するテストサブジェ クト（例：人）を用いる。各マーカーについて、３個の３次元モデル顔を作り、 各３D軸（例：ｘ、ｙおよびｚ軸）に１個とする。これらモデルはそれぞれ中立 モデルと同じであるが、特定のマーカーが軸の１個に沿って周知の距離（例：１ インチその他単位）移動する。そのため、各マーカーについて、中立画像の制御 バージョンがあり、マーカーはｘ軸に沿ってのみ１単位動き、第２画像ではマー カーはｙ軸に沿ってのみ１単位動き、第３の画像は、マーカーはｚ軸に沿っての み１単位動く。そして中立画像と各マーカーの３個の歪曲バージョンのそれぞれ の間にデルタセットを作る。 作ったデルタセットで、マーカー位置の入力ストリームを入力装置830から受 け取る。そして中立画像は入力位置で直接ではなく、適切なデルタセットで修正 する。マーカーデータが２次元のみなら、対応する２個のゆがんだモデルしか必 要ない（およびそのマーカーには２個のデルタセットしか作られない）。１個の マーカーの動きは中立モデルの他のポイントの動きに影響することがある（実物 を模するか、ユーザが所望の通り）。また、１本の軸でのマーカーの動きは、１ 本以上の軸でモデルをゆがませることがある（例：縦方向の左眉毛のマーカーの 動きが、モデルに縦および水平の影響を与えることがある）。マーカー位置の入 力を実施するための擬似符号の例を第９表に示す。 上記からわかるように、入力された中立顔は、添付のマーカーを物理的に動か すことによって顔の動きを模すため作ったデルタセットで修正する。歪みがない と、neutralFaceはオリジナルの３D顔モデルで、outputFaceはサブジェクトの顔 の動きを模する３Dモデルである。フレームあたり１回実行できるメインアニメ ーションループ中、各マーカーがその位置を分析される。その結果としてマーカ ーの変位は上述のデルタセット適用ルーチンと前に作ったデルタセットの利用に よってoutputFaceに適用される（neutralFaceのコピーとして開始）。

Claims (1)

1. 【特許請求の範囲】 １．グラフィカル画像を変形する方法であって、 （ａ）第１のグラフィカル画像の第１の領域を識別することと、 （ｂ）予め決められた第１の変更データセットに基づいて前記第１のグラフィ カル画像の前記第１の領域を変更すること、とを含む方法。 ２．さらに、段階（ａ）の後に、（ａ１）複数の変更データセットを記憶する データベースから前記第１の変更データセットを読み出すこと、を含む、請求項 １記載の方法。 ３．さらに、（ｃ）第２のグラフィカル画像の第１の領域を識別することと、 （ｄ）前記予め決められた第１の変更データセットに基づいて少なくとも前記 第２のグラフィカル画像の前記第１の領域を変更すること、とを含む、請求項１ 記載の方法。 ４．さらに、（ｅ）第２の変更データセットに基づいて前記第１のグラフィカ ル画像の前記第１の領域をさらに変更することを含む、請求項１に記載の方法。 ５．さらに、（ｃ）前記第１のグラフィカル画像の第２の領域を識別すること と、 （ｄ）第２の変更データセットに基づいて、段階（ｂ）で変更された通りに前 記第１のグラフィカル画像の前記第２の領域を変更すること、とを含む、請求項 １記載の方法。 ６．開始グラフィカル画像を目的グラフィカル画像に変形する方法であって、 （ａ）第１の画像を生成することと、 （ｂ）第２の画像を生成することと、 （ｃ）前記第１の画像と前記第２の画像との間の相違値のセットを求めること と、 （ｄ）前記相違値を記憶装置内に記憶すること、とを含む方法。 ７．開始グラフィカル画像を目的グラフィカル画像に変形する方法であって、 （ａ）各頂点が空間位置を有する第１の個数の頂点を含む第１の画像を生成す ることと、 （ｂ）前記第１の個数の頂点に等しい個数の頂点を含む第２の画像を生成する ことと、 （ｃ）前記第１の画像の前記頂点の第１の頂点と前記第２の画像の対応する頂 点との間の差を求めることと、 （ｄ）前記差を記憶装置内に記憶すること、とを含む方法。 ８．開始グラフィカル画像を変更する方法であって、 （ａ）少なくとも前記開始グラフィカル画像の第１の領域を識別することと、 （ｂ）第１の変更データセットと第２の変更データセットとに基づいて前記開 始グラフィカル画像の前記第１の領域を変更すること、とを含む方法。 ９．さらに、段階（ｂ）の前に、 （ａ１）前記第１の変更データセットと前記第２の変更データセットとを加え 合わせることを含む、請求項８記載の方法。 １０．通信システムであって、 コンピュータシステムとディスプレイとを含むクライアントと、 少なくともコンピュータシステムを含み、かつ、第１の画像と少なくとも第１ の変更データセットとを前記クライアントに伝送することが可能であるサーバと を含み、 前記サーバが、乗数値が掛け算された前記第１の変更データセッ トに基づいて前記第１の画像が変更されるように、前記乗数値を前記クライアン トに伝送することによって前記第１の画像を変更することが可能である、通信シ ステム。 １１．開始グラフィカル画像を変更する方法であって、 （ａ）複数の特徴を有する開始画像を生成することと、 （ｂ）複数の変更データセットをライブラリの中に記憶することと、 （ｃ）前記ライブラリから第１の変更データセットを読み出すことと、 （ｄ）前記第１の開始画像の第１の特徴が変化させられるように、前記第１の 変更データセットに基づいて前記開始画像を変更すること、とを含む方法。 １２．さらに、段階（ｃ）の後に、 （ｃ１）前記第１の変更データセットに乗数値を掛け算することを含み、さら に、ステップ（ｄ）において、前記乗数値を掛け算した前記第１の変更データセ ットに基づいて前記開始画像を変更する、請求項１１記載の方法。 １３．前記乗数値をグラフィカルスライダーの相対位置によって入力する、請 求項１２記載の方法。 １４．さらに、前記開始画像の前記特徴の１つに対する各々の変更のために段 階（ｃ）および段階（ｄ）を反復することを含む、請求項１１記載の方法。 １５．さらに、前記開始画像の前記特徴の１つに対する各々の変更のために段 階（ｃ）、段階（ｃ１）および段階（ｄ）を反復することを含む、請求項１２記 載の方法。 １６．前記乗数値をグラフィカルスライダーの相対位置によって入力する、請 求項１４記載の方法。 １７．開始グラフィカル画像を変更する方法であって、 （ａ）複数の特徴を有する第１の開始画像を生成することと、 （ｂ）複数の変更データセットをライブラリの中に記憶することと、 （ｃ）前記ライブラリから第１の変更データセットと第２の変更データセット を読み出すことと、 （ｄ）前記開始画像の第１の特徴と第２の特徴とが別々に変更されるように、 前記第１の変更データセットと前記第２の変更データセットとに基づいて前記開 始画像を変更すること とを含む方法。 １８．さらに、段階（ｃ）の後に、 （ｃ１）前記第１の変更データセットに第１の乗数値を掛け算することと、 （ｃ２）前記第２の変更データセットに第２の乗数値を掛け算すること とを含み、 さらに、段階（ｄ）において、前記第１の乗数値を掛け算した前記第１の変更 データセットと前記第２の乗数値を掛け算した前記第２の変更データセットとに 基づいて前記開始画像を変更する、請求項１７記載の方法。 １９．前記第１の乗数値と前記第２の乗数値とを第１のグラフィカルスライダ ーの相対位置と第２のグラフィカルスライダーの相対位置とによって別々に入力 する請求項１８に記載の方法。 ２０．さらに、前記開始画像の前記第１の特徴と前記第２の特徴とに対する各 々の変更のために段階（ｃ）、段階（ｃ１）、段階（ｃ２）および段階（ｄ）を 反復することを含む、請求項１８記載の方法。 ２１．さらに、 （ｅ）複数の特徴を有する第２の開始画像を生成することと、 （ｆ）前記ライブラリから前記第１の変更データセットと前記第２の変更デー タセットを読み出すこと （ｇ）前記第２の開始画像の第１の特徴と第２の特徴とが別々に変化させられ るように、前記第１の変更データセットと前記第２の変更データセットとに基づ いて前記第２の開始画像を変更することとを含む、請求項１７記載の方法。 ２２．さらに、段階（ｆ）の後に、 （ｆ１）前記第１の変更データセットに第１の乗数値を掛け算することと、 （ｆ２）前記第２の変更データセットに第２の乗数値を掛け算すること とを含む、請求項２１記載の方法。 ２３．グラフィカル画像を変更する方法であって、 （ａ）複数の感情を表出可能であるキャラクターの開始画像を生成することと 、 （ｂ）感情表出に関連している変更データセットの各々がそのライブラリ内に 記憶されているライブラリから第１の変更データセットを読み出すことと、 （ｃ）第１の乗数値を前記第１の変更データセットに掛け算することと、 （ｄ）前記第１の乗数値を掛け算した前記第１の変更データセットに基づいて 前記開始グラフィカル画像を変更すること とを含む方法。 ２４．さらに、 （ｅ）第１の乱数を生成することと、 （ｆ）前記第１の乱数を第１の確率値と比較することと、 （ｇ）段階（ｆ）における前記比較に基づいて前記第１の乗数値のための新た な量を選択することと、 （ｈ）段階（ｃ）と段階（ｄ）を反復すること とを含む、請求項２３記載の方法。 ２５．さらに、 （ｅ）第２の乱数を生成することと、 （ｆ）前記第２の乱数を第２の確率値と比較することと、 （ｇ）段階（ｆ）における前記比較に基づいて第２の変更データセットを選択 することと、 （ｈ）第２の乗数値を前記第２の変更データセットに掛け算することと、 （ｉ）前記第２の乗数値を掛け算した前記第２の変更データセットに基づいて 前記開始画像を変更すること を含む、請求項２４記載の方法。 ２６．さらに、 （ｉ）第２の乱数を生成することと、 （ｊ）前記第２の乱数を第２の確率値と比較することと、 （ｋ）段階（ｊ）における前記比較に基づいて第２の変更データセットを選択 することと、 （ｌ）第２の乗数値を前記第２の変更データセットに掛け算することと、 （ｍ）前記第２の乗数値を掛け算した前記第２の変更データセットに基づいて 前記開始グラフィカル画像を変更すること を含む、請求項２４記載の方法。 ２７．グラフィカル画像を変更する方法であって、 （ａ）複数の感情を表出可能であるキャラクターの開始グラフィ カル画像を生成することと、 （ｂ）前記開始グラフィカル画像によって表出されるべき第１の感情を定義す るデータ構造を含む、前記グラフィカル画像の近接した位置にある少なくとも第 １のグラフィカルオブジェクトを生成することと、 （ｃ）前記開始グラフィカル画像と前記グラフィカルオブジェクトとの間の関 係を求めることと、 （ｄ）前記第１の感情の表出に関連している第１の変更データセットをライブ ラリから読み出すことと、 （ｅ）前記グラフィカルオブジェクトと前記開始グラフィカル画像との間の前 記関係に基づいて乗数値を生成することと、 （ｆ）前記乗数値を前記第１の変更データセットに掛け算することと、 （ｇ）前記第１の変更データセットに基づいて前記開始グラフィカル画像を変 更すること とを含む方法。 ２８．前記関係が前記グラフィカルオブジェクトと前記開始グラフィカル画像 との間の距離である、請求項２７記載の方法。