JP2008140385A - キャラクタアニメーション時の皮膚のしわのリアルタイム表現方法及び装置 - Google Patents

Abstract

【課題】本発明は、キャラクタアニメーション時の皮膚しわのレンダリングを、最適な速度で、かつ事実的な表現で、リアルタイムに行う方法を提供する。
【解決手段】本発明は、各表情別の皮膚のしわをノーマルマップ（Normal Map）とバンプマップ（Bump Map）で表現し、これらのマップを無表情の時、ノーマルマップ、バンプマップとの差異を計算して一般化された皮膚しわのデータ及び加重値データを生成し、希望のキャラクタの皮膚しわのデータを表情別に一般化されたしわデータを用いて生成し、現在アニメーションの時間ｔにおける表情別の加重値を用いて最終の皮膚しわを表すノーマルマップ、バンプマップを計算した後、これを画面にレンダリングする。
【選択図】図１

Description

本発明は、キャラクタアニメーション時に皮膚のしわのリアルタイム表現方法及び装置に関するものであって、さらに詳細には、リアルタイム３次元グラフィックスキャラクタのレンダリング分野において、シミュレーション、ゲーム、教育などでキャラクタの表現に用いられ、キャラクタの皮膚のしわを自然に表現することができるキャラクタアニメーションの際、皮膚のしわのリアルタイム表現方法及び装置に関するものである。

本発明は、情報通信部及び情報通信研究振興院のＩＴ新成長動力核心技術開発事業の一環として遂行した研究より導出されたものである。［課題管理番号：2006-S-044-01、課題名：マルチコーアＣＰＵ及びＭＰＵ基盤クロットプラットフォームゲーム技術］

現在リアルタイム３次元グラフィックス分野は、ハードウエアの改善と活用の増加に従って非常に早い速度で発展している。この中、キャラクタの皮膚のレンダリングは、シミュレーションだけではなく、ゲーム、教育用としても多く用いられている、このようなキャラクタの皮膚をレンダリングするにおいて、早くて事実感のある（現実的な）表現をするための色々な試しが行われてきた。

従来の技術としては、解剖学的な観点から見た筋肉モデル基盤のしわの表現、例題モデルに基盤をおいた顔のアニメーション、表面の内側（Subsurface）を用いた皮膚の表現及びパラメータ（Parameter）基盤の顔のアニメーションなどがあった。

この中、最も単純な方法は、皮膚の表現に必要なだけのポリゴンメッシュを生成した後、これらメッシュの頂点を細部調整することである。しかし、このような方法は、細かい表現をするために全体にポリゴン（頂点３つでなった三角形らの集合）を使用しているので、非常に多い数のポリゴンが必要であり、また、３Ｄレンダリングの際、非常に多く時間がかかり、モデリングも難しい。

他の方法は、ノーマルマップ（Normal Map）とバンプマップ（Bump Map）などを用いることである。

ノーマルマップとは、キャラクタモデルの法線（Normal）ベクタをテクスチャで表現したもので、キャラクタに広がった色相テクスチャ（Diffuse Color Texture）を被せて表現するように、光（Light）、環境マップ等を計算するとき、ノーマルマップを用いることである。

バンプマップとは、キャラクタモデルの高低を灰色（Gray Scale）で表現したもので、顔の微細な高低を表現することで顔の微妙な表現が可能である。

このようなノーマルマップとバンプマップは、皮膚の微細な屈曲をテクスチャ（Texture）を用いることで、容易で、さらに早くレンダリングできるように助力する。

顔のアニメーション際に、皮膚のしわを表現するため、解剖学的な筋肉モデルを基盤とした皮膚しわの方式が用いられてきた。しかし、この方法は、非常に多い計算を必要とし、頂点基盤モデルを用いているので、リアルタイムの３Ｄキャラクタアニメーションには用い難い。

一方、解剖学的な観点から見た筋肉モデル基盤のしわの表現方法に対しては、本出願人が2004年12月14日付で出願した大韓民国出願番号第10-2004-0106837号で、その発明の名称は『解剖データを用いた顔のアニメーション生成システム及びその方法』に次のような内容で開示されている。

前記従来の技術より、多数の顔モデルに該当する頭蓋骨、頭蓋骨幾何情報及び筋肉情報を貯蔵している解剖データの貯蔵手段と、顔のアニメーションを生成するため、外部から顔モデルを取り込まれることにより、前記取り込まれた顔モデルと最も類似する頭蓋骨を前記解剖データの貯蔵手段より検索し、前記検索した頭蓋骨に所定の個数の筋肉を配置するための筋肉配置手段と、前記筋肉配置手段において筋肉が配置された頭蓋骨に皮下脂肪層及び皮膚を結合させて顔のメッシュを生成し、筋肉の動きによる皮膚の動きを定義するための皮膚の生成手段と、及び外部から入力された筋肉調節信号によって前記生成した顔のメッシュより該当筋肉とそれと連結された皮下脂肪層及び皮膚を収縮、または弛緩させて特定表情を有する顔のメッシュを生成して貯蔵するための表情生成手段とを含む。

このような従来技術は、膨大なデータの処理により、その顔の表情の表現において、優れた効果を発揮し、また、キャラクタの表現において自然さを表現することができる。しかし、キャラクタアニメーションにおいて、誇張された表情の表現が必要な時に、誇張された表情が現実的（事実感があるよう）に表現できないなどの問題点がある。

本発明は、ノーマルマップとバンプマップに該当しわに対応する加重値を合成して顔のアニメーションの際、皮膚のしわを効果的に表現することができる方法及び装置と、キャラクタアニメーションの際、例題キャラクタモデルから抽出された皮膚しわのデータを一般キャラクタモデルに適用することができる皮膚のしわのリアルタイム表現方法及び装置を提供することにある。

本発明によるキャラクタアニメーションの際の皮膚のしわのリアルタイム表現方法は、現在時間でノーマルマップを合成するため、キャラクタの表情を取り出して、この表情らのしわが表現されたノーマルマップでの皮膚しわの加重値を計算する第１の計算段階と、計算段階で計算された加重値を加えて最終のノーマルマップを計算する第２の計算段階と、第２の計算段階で計算された最終のノーマルマップを用いて皮膚しわをレンダリングし、皮膚のしわを表現するレンダリング段階とで構成されることを特徴とする。

また、本発明によるキャラクタアニメーションの際の皮膚しわのリアルタイム表現方法は、現在時間でバンプマップを合成するため、キャラクタの表情を取り出して、この表情のしわが表現されたバンプマップでの皮膚しわの加重値を計算する第１の計算段階と、計算段階で計算された加重値を与えて最終のバンプマップを計算する第２の計算段階と、第２の計算段階で計算された最終のバンプマップを用いて皮膚しわをレンダリングし、皮膚のしわを表現する表現段階とで構成されることを特徴とする。

本発明によるキャラクタアニメーションの際の皮膚のしわのリアルタイム表現装置は、必要な表情の例題を予めモデリングしておいた後、これらを補間する方式でノーマルマップ化するノーマルマップモジュールと、必要な表情の例題を予めモデリングしておいた後、これらを補間する方式でバンプマップ化するバンプマップモジュールと、ノーマルマップ及びバンプマップに加重値を合成するための表情に対応する加重値を付与して合成することで、最終のノーマルマップ、または最終のバンプマップを求める計算モジュールと、加重値が採用されたノーマルマップ及びバンプマップを用いてレンダリングしてキャラクタのしわを表現するレンダリングモジュールとで構成されることを特徴とする。

以上で説明したように、キャラクタアニメーションの際の加重値により皮膚しわを容易に計算できるので、本発明は、筋肉基盤の表現と比較して、早くて更に安く自然に皮膚しわを表現できる効果がある。

また、本発明は一般化された皮膚しわのノーマルマップデータを用いると、全てのキャラクタに容易に適用して皮膚しわを表現することができる効果がある。

さらに、本発明は、どのモデルを使用したかによってしわの表現が異なるので、若い人の顔に年の取った人の顔モデルを適用すると無表情の時には構わないが、表情が変わると年の取った人のようにしわが見られるように設定することができる効果がある。

上の方式を全てＧＰＵのＨ／Ｗ Ｓｈａｄｅｒで処理することでリアルタイムのレンダリングが可能である。

よって、３次元のゲームやシミュレーション、教育等の実質的なキャラクタの皮膚を扱う分野において、以前よりさらに早くて事実感のある（現実的な）皮膚しわを表現することができるようになる。

以下、添付の図面を参照して本発明の構成についてさらに詳細に説明する。

図１は、本発明の一実施の形態に係るキャラクタアニメーション時に皮膚のしわをリアルタイムで表現するためのシステム構成を示したブロック図である。

図１を参照してみると、先ず本発明のＧＰＵ（Graphics Processing Unit）１０は、ノーマルマップモジュール１２、バンプマップモジュール１４、計算モジュール１６及びレンダリングモジュール１８を含む。

ＧＰＵ１０は、データを取り込んでグラフィックスを処理する処理装置である。グラフィックスのトランスフォーム（Transform）とライティング（Lighting）を処理する。

ノーマルマップモジュール１２は、インタフェース装置などを介して入力されたグラフィックスデータをノーマルマップ化する。ノーマルマップモジュール１２は、入力されたグラフィックスデータに例題基盤（case-based）モデルを用いてノーマルマップ化する。即ち、必要な表情の例題（case）を予めモデリング（ポリゴン及びノーマルマップ、バンプマップ）しておいた後、これらを補間する方式でノーマルマップ化する。

そして、バンプマップモジュール１４もノーマルマップモジュール１２と同じ方式で、インタフェース装置などを介して受信したグラフィックスデータを例題基盤モデルを用いてバンプマップ化する。

計算モジュール１６は、現在時間ｔに対応する加重値を合成するための表情らを取り出し、ノーマルマップ（Ｎｏｒｍａｌ Ｍａｐ）、またはバンプマップ（Ｂｕｍｐ ｍａｐ）に対応する表情に加重値を与えて（Ｗｅｉｇｈｔｅｄ）合成することで、最終ノーマルマップ、または最終のバンプマップを求める。即ち、ノーマルマップらを補間する時、各表情には、部位別に加重値（Ｗｅｉｇｈｔ）をおいて加重値によって補間する作業を行う。

このようなノーマルマップの合成及びバンプマップの合成にＧＰＵ１０のシェーダ（Ｓｈａｄｅｒ）を用いてテクスチャのピクセル値を処理し、しわの合成効果を一層事実的に発揮することができる。即ち、シェーダを用いてさらに効果的に合成することができる。

万一、ＧＰＵ１０の最大の同時テクスチャ個数が現在合成しようとする表情の個数より少ない場合、何回かに分けて計算することで修正可能である。この場合、以前段階（前の段階）で計算された合成ノーマルマップと加重値との合計が現在段階の入力に入り、追加的な表情と合成して修正する。

そして、レンダリングモジュール１８は、このようなアルゴリズムを適用して加重値が採用されたノーマルマップ及びバンプマップを用いてレンダリングしてキャラクタのしわを表現し、このようにしわをリアルタイムで表現したキャラクタアニメーションをディスプレイ２０を通じてディスプレイさせる。

図２は、本発明の一実施の形態に係るキャラクタアニメーション時に皮膚のしわをリアルタイムで表現する課程を順次に示したフローチャートであり、図３ａ及び図３ｂは、本発明の一実施の形態に係るキャラクタの顔をレンダリングする時に用いられるそれぞれのバンプマップ及びカラーマップであり、図４ａ及び図４ｂは、本発明の一実施の形態に係るキャラクタが笑っている表情をレンダリングする時に用いられるバンプマップと加重値マップである。

図２乃至図４ｂを参照してみると、前記のような目的を達成するためのキャラクタアニメーションの皮膚しわのレンダリング方法は、図２のように、現在の時間ｔで合成するためにキャラクタの表情を取り出し、この表情らのしわが表現されたノーマルマップ（Ｎｏｒｍａｌ Ｍａｐ）、またはバンプマップ（Ｂｕｍｐ Ｍａｐ）に図４ｂのように加重値が付与された（Ｗｅｉｇｈｔｅｄ）加重値マップを合成することで、即ち、加重値を計算してこれを適用することで、最終のノーマルマップ、または最終のバンプマップを求め、これを用いて皮膚しわをレンダリングして皮膚のしわを表現する。この際、図４ｂは、笑い顔に用いられる加重値マップなので、図４ｂを採用して加重値を適用すると笑い顔のキャラクタを得ることができる。

先ず、本発明は顔の皮膚を基準として説明する。しかし、本発明は、顔だけではなくキャラクタの全部分の表面のしわを表現することができる方法である。

また、本発明においてノーマルマップとバンプマップは適用する方式が同様なので、ノーマルマップを基準として説明することにする。本発明において皮膚しわの合成に必要なノーマルマップ、バンプマップデータは例題基盤モデルを用い、例題基盤モデルを用いてノーマルマップモジュール１２はノーマルマップを製作する。同様に、バンプアップモジュール１４も例題基盤モデルを用いてバンプマップを製作する（Ｓ１０）。言い換えると、ノーマルマップ及びバンプマップを製作する方式は必要な表情らの例題を予めモデリング（ポリゴン及びノーマルマップ、バンプマップ）しておいた後、これらを補間する方式である。

それぞれノーマルマップモジュール１２及びバンプマップモジュール１４によって製作されたノーマルマップ及びバンプマップは、３Ｄスキャナ装備を用いたり、２Ｄイメージを見てデザイナが直接製作したり、その他自動化された道具を用いて製作した各表情例題モデルのしわデータを取得する。各表情の例題モデルのしわデータは各表情別の皮膚しわが含まれたノーマルマップらを補間する時、各表情には部位別に加重値（Ｗｅｉｇｈｔ）を計算する（Ｓ２０）。

加重値は、０〜１との間の値である。０に近いほどその部位が表情に与える影響が小さく、１に近いほど部位が表情に与える影響が大きい。

現在表情において加重値データは、（無表情ノーマルマップ−現在表情ノーマルマップ）を初期データとして用いる。そして、バンプマップを用いる場合には、図３ａのバンプマップを初期データとして用いる。所望の場所におけるしわデータや、より微細な表情が必要な場合は、後で手作業で処理する。

加重値データは、ノーマルマップのアルファ部分に貯蔵することができる。最近のテクスチャは実数（ｆｌｏａｔ）値を表現できるので、これを活用するとさらに効果的である。

各表情による皮膚しわが表現されたノーマルマップ、バンプマップの例題モデルを作り、これらのモデルを加重値を採用して補間によって合成する（Ｓ３０）。図４ｂには、笑う表情に用いられる加重値マップが示されている。皮膚しわのノーマルマップの合成は、次の数学式１によって表現される。
（数学式１）
Normal(x, y) =
Sum( Normal(expr, x, y) * Weight(expr, x, y)) / Sum(Weight(expr, x, y))

数学式１において、ｅｘｐｒは合成に必要な表情を１…ｎまで並べた時のインデックスを示す。例えば、笑い顔、怒った顔、泣き顔等の多数のモデリングされた例題らである。

そして、Ｎｏｒｍａｌ（ｘ、ｙ）は、最終結果である皮膚しわのノーマルマップに対する（ｘ、ｙ）座標での加重値が採用されたノーマル値である。

Ｎｏｒｍａｌ（ｅｘｐｒ、ｘ、ｙ）は、現在合成する表情ｅｘｐｒの皮膚しわの表現であるノーマルマップ（ｘ、ｙ）座標でのノーマル値を示す。Ｗｅｉｇｈｔ（ｅｘｐｒ、ｘ、ｙ）は、現在合成する表情ｅｘｐｒの（ｘ、ｙ）座標における加重値である。

顔のアニメーションのように表現される場合、時間ｔにおける現在の顔のアニメーションと皮膚しわのノーマルマップの合成は、次の式によって表現される。
（数学式２）
Normal(t, x, y) =
Sum( Normal(expr, x, y) * Weight(expr, x, y) * TimedWeight(t, expr)) / Sum(Weight(expr, x, y) * TimedWeight(t, expr))

Ｎｏｒｍａｌ（ｔ、ｘ、ｙ）は、現在時間ｔで最終結果である皮膚しわのノーマルマップに対する（ｘ、ｙ）座標におけるノーマル値である。

ＴｉｍｅＷｅｉｇｈｔ（ｔ、ｅｘｐｒ）は、現在時間ｔにおいて該当しわの表情表現（ｅｘｐｒｅｓｓｉｏｎ）の合成加重値である。このようなノーマルマップの合成は、ＧＰＵ１０のハードウエア（Ｈ／Ｗ）であるシェーダを用いるとさらに効果的である。

シェーダの入力で各表情の皮膚しわのノーマルマップテクスチャと各表情別加重値が入り、出力では前記の合成式の数学式１及び２を用いて各ピクセル別に合成された結果の加重値が適用されたノーマルマップが出る。

万一、ＧＰＵ１０の最大同時テクスチャの個数が現在合成しようとする表情の個数より少ない場合、何回かに分けて計算することでアニメーションフレームに合せて表現が可能である。この場合、以前段階で計算された合成ノーマルマップと加重値の合計が現在段階の入力に入り、追加的な表情と合成することになってアニメーションの際、よりスムーズな映像が得られる。

１つの例題の表情ノーマルマップデータを用いて他のキャラクタのノーマルマップに適用してしわに加重値を与えた表情を生成するためには、一般化された表情ノーマルマップの差異データと加重値が必要である。一般化された表情ノーマルマップの差異データ（一般ＮｏｒｍａｌＭａｐＤｉｆｆ（ｅｘｐｒ、ｘ、ｙ））は、現在例題のノーマルマップデータから計算され、その式は次の数学式３と同様である。
（数学式３）
一般ＮｏｒｍａｌＭａｐＤｉｆｆ(ｅｘｐｒ、 ｘ、ｙ) = Ｎｏｒｍａｌ(ｅｘｐｒ、ｘ、 y) − Ｎｏｒｍａｌ(無表情、 ｘ、ｙ)

前記の数学式３を用いて各表情でのノーマルマップの差異データと加重値（Ｗｅｉｇｈｔ）を計算する。このように抽出されたノーマルマップの差異データは、他のキャラクタの表情にも適用することができる。他のキャラクタの表情に適用される場合の数学式は、次の数学式４と同様である。
（数学式４）
他のキャラクタＮｏｍａｌ（ｅｘｐｒ、ｘ、ｙ）
＝他のキャラクタＮｏｒｍａｌ（無表情、ｘ、ｙ）＋一般ＮｏｒｍａｌＭａｐＤｉｆｆ（ｅｘｐｒ、ｘ、ｙ）

このように、他のキャラクタの無表情の時には、ノーマルマップだけで多様な表情のノーマルマップを作ることができる。図４ａのバンプマップは加重値を適用して笑っている表情を生成したバンプマップである。この際、ポリゴンが参照するテクスチャの幾何構造が図３ａ乃至図４ｂに示されているように同一でなければならない。即ち、一般の例題モデルにおけるテクスチャ上に目の部位が他のキャラクタのテクスチャ上の目の部位と一致するように作らなければならない。そして、このような表情が被られたキャラクタの顔に図３ｂのようにカラーを被せてしわが形成されたキャラクタを完成する。

これまでは、ノーマルマップを主に説明したが、バンプマップでも同じアルゴリズムが適用される。そして、このようなアルゴリズムを適用して加重値が採用されたノーマルマップ及びバンプマップを用いてレンダリングモジュール１８でレンダリングする（Ｓ４０）。レンダリングされたデータは、ディスプレイ２０を介して表示される。

このようにすることで、どんな顔にも表情アニメーションの際、皮膚のしわを表現することができるようになる。

顔の部位ではない他の部位も同一な方式で用いることができる。それぞれの動作によるノーマルマップを一般化させ、これらを合成することで皮膚のしわを表現することができるようになる。

本発明の一実施の形態に係るキャラクタアニメーション時の皮膚のしわをリアルタイムで表現するための装置構成を示したブロック図。 発明の一実施の形態に係るキャラクタアニメーション時の皮膚のしわをリアルタイムで表現する過程を順次的に示したプローチャート。 本発明の一実施の形態に係るキャラクタの顔に用いられるバンプマップ。 本発明の一実施の形態に係るキャラクタの顔に用いられるカラーマップ（Ａｌｂｅｄｏ）。 本発明の一実施の形態に係るキャラクタが笑っている表情を示したバンプマップ。 本発明の一実施の形態に係るキャラクタが笑っている表情を示した加重値（Ｗｅｉｇｈｔ）マップ。

符号の説明

１０：ＧＰＵ １２：ノーマルマップモジュール
１４：バンプマップモジュール １６：計算モジュール
１８：レンダリングモジュール ２０：ディスプレイ

Claims (8)

1. 現在時間でノーマルマップを合成するため、キャラクタの表情を取り出して、この表情らのしわが表現されたノーマルマップに皮膚しわの加重値を計算する第１計算段階と、
   前記第１計算段階で計算された加重値を与えて最終ノーマルマップを計算する第２計算段階と、
   前記第２計算段階で計算された最終ノーマルマップを用いて皮膚しわをレンダリングし、皮膚のしわを表現するレンダリング段階とで構成されることを特徴とするキャラクタアニメーション時の皮膚のしわのリアルタイム表現方法。
2. 現在時間でバンプマップを合成するため、キャラクタの表情を取り出してこの表情らのしわが表現されたバンプマップに皮膚しわの加重値を計算する第１計算段階と、
   前記第１計算段階で計算された加重値を与えて最終のバンプマップを計算する第２計算段階と、
   前記第２計算段階で計算された最終のバンプマップを用いて皮膚しわをレンダリングし、皮膚のしわを表現する表現段階とで構成されることを特徴とするキャラクタアニメーション時の皮膚のしわのリアルタイム表現方法。
3. 前記バンプマップ及び前記ノーマルマップのデータは、モデリングされた例題基盤モデルを用いて製作することを特徴とする請求項１または２記載のキャラクタアニメーション時の皮膚のしわのリアルタイム表現方法。
4. 前記ノーマルマップ合成またはバンプマップ合成にＧＰＵ（Graphics Processing Unit）のシェーダを用いてテクスチャのピクセル値を処理することを特徴とする請求項１または２記載のキャラクタアニメーション時の皮膚のしわのリアルタイム表現方法。
5. 前記ＧＰＵの最大同時テクスチャの個数が現在合成しようとする表情の個数より少ない場合、複数回に分けて以前段階で計算された合成ノーマルマップまたは合成バンプマップと加重値の合計が現在段階の入力に入り、追加的な表情と合成して修正することを特徴とする請求項４記載のキャラクタアニメーション時の皮膚のしわのリアルタイム表現方法。
6. 前記ノーマルマップまたは前記バンプマップに他のキャラクタの前記最終のノーマルマップまたは前記最終のバンプマップをそれぞれ適用するため、一般化された表情のノーマルマップの差異データを求めて前記ノーマルマップの差異データと加重値を計算することを特徴とする請求項１または２記載のキャラクタアニメーション時の皮膚のしわのリアルタイム表現方法。
7. 前記ノーマルマップまたは前記バンプマップに他のキャラクタの前記最終のノーマルマップまたは前記最終のバンプマップをそれぞれ適用するため、前記ポリゴンが参照するテクスチャの幾何構造が同一の状態で適用されることを特徴とする請求項６記載のキャラクタアニメーション時の皮膚のしわのリアルタイム表現方法。
8. 必要な表情の例題を予めモデリングしておいた後、これらを補間する方式でノーマルマップ化するノーマルマップモジュールと、
   必要な表情の例題を予めモデリングしておいた後、これらを補間する方式でバンプマップ化するバンプマップモジュールと、
   前記ノーマルマップ及びバンプマップに加重値を合成するための表情に対応する加重値を付与して合成することで、最終ノーマルマップまたは最終のバンプマップを求める計算モジュールと、
   加重値が採用されたノーマルマップ及びバンプマップを用いてレンダリングし、キャラクタのしわを表現するレンダリングモジュールと、を含めてなることを特徴とするキャラクタアニメーション時の皮膚のしわのリアルタイム表現装置。