JP2022505746A - デジタルキャラクタブレンディング及び生成のシステム及び方法 - Google Patents

デジタルキャラクタブレンディング及び生成のシステム及び方法 Download PDF

Info

Publication number
JP2022505746A
JP2022505746A JP2021522403A JP2021522403A JP2022505746A JP 2022505746 A JP2022505746 A JP 2022505746A JP 2021522403 A JP2021522403 A JP 2021522403A JP 2021522403 A JP2021522403 A JP 2021522403A JP 2022505746 A JP2022505746 A JP 2022505746A
Authority
JP
Japan
Prior art keywords
model
texture
muscle
basic shapes
texture maps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021522403A
Other languages
English (en)
Other versions
JPWO2020085922A5 (ja
Inventor
マーク セイガー，アンドリュー
ス－シェン ウ，ティム
オレワゲン，ワーナー
タン，シアニ
Original Assignee
ソウル マシーンズ リミティド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソウル マシーンズ リミティド filed Critical ソウル マシーンズ リミティド
Publication of JP2022505746A publication Critical patent/JP2022505746A/ja
Publication of JPWO2020085922A5 publication Critical patent/JPWO2020085922A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

Figure 2022505746000001
仮想オブジェクト又はデジタルエンティティのモデルを作成するための方法が記載され、本方法は、複数のモデルのための複数の基本形状を受信する工程を含み、基本形状に行われるべき修正を指定する複数の指定された修正変数を受信し、且つ指定された１つまたは複数の修正を複数の基本形状に適用し、少なくとも一つのモデルのための複数の修正された基本形状を生成する。

Description

本発明は、デジタルキャラクタブレンディング及び生成のシステム及び方法に関する。
ゲーム又はデジタルヒューマンＡＩシステムのために使用するためのコンピュータアバター又はデジタルキャラクタを生成することは、周知である。コンピュータアバター又はデジタルキャラクタを生成するための従来技術のシステムは、品質を妥協する可能性がある費用効果の高いテクスチャ及び幾何学的形状の生成に焦点を当てている。複数の頭部画像のブレンディングは、典型的にはデジタルキャラクタ全体の線形結合によって実行される。幾何学的形状及びテクスチャの両方に線形の組み合わせを使用するのは、一般的である。
しかしながら、それらがブレンドするために使用するキャラクタが多いほど、得られるテクスチャはよりぼやけてしまい、細かい細部が失われてしまう。同様に、幾何学的形状については、より多くの面をブレンドするために使用するほど、得られる幾何学的形状はより滑らかになる。結局、顔は、平均的な顔モデルのように見えるようになってしまうだろう。
さらに、従来技術のシステムは、静的な顔のみをブレンドし、動的な表現は生成されない。人口統計学的推定も、通常は線形回帰に基づいて行われる。
本発明の目的は、デジタルキャラクタブレンディング及び生成に対するアプローチを提供すること、又は少なくとも公衆又は産業に有用な選択肢を提供することである。
一例としての実施形態によれば、仮想オブジェクト又はデジタルエンティティのモデルを作成するための方法が提供され、本方法は、以下を含む：
複数のモデルのための複数の基本形状をインプットとして受信する工程；
基本形状に行うべき修正を指定する少なくとも一つの修正変数をインプットとして受信する工程；及び
指定された修正を複数の基本形状に適用し、少なくとも一つのモデルのための複数の修正された基本形状を生成する工程。
さらなる例としての実施形態によれば、仮想オブジェクト又はデジタルエンティティのモデルを作成するためのシステムが提供され、システムは、
少なくとも一つのプロセッサ；及び
前記少なくとも一つのプロセッサと通信しているメモリを備える。
前記プロセッサは、
複数のモデルに対して複数の基本形状を受信し；
前記基本形状に対して行われるべき修正を指定する少なくとも一つの修正を受信し；且つ
指定された修正を複数の基本形状に適用し、少なくとも一つのモデルのために複数の修正された基本形状を生成する
ようにプログラムされている。
別の一例としての実施形態によれば、仮想オブジェクト又はデジタルエンティティに適用される領域マスクを作成するための方法が提供され、方法は、以下を含む：
基本形状は、筋肉変形記述子の集合として表され、複数のモデルのための複数の基本形状を受信する工程；
各筋肉変形記述子をそれらの影響領域に基づいてグループに分類する工程；及び
影響領域に基づいて少なくとも一つのモデルのために各基本形状の領域マスクを生成する工程。
更に別の例としての実施形態によれば、仮想オブジェクト又はデジタルエンティティに適用される領域マスクを作成するためのシステムが提供され、システムは、
少なくとも一つのプロセッサ；及び
前記少なくとも一つのプロセッサと通信しているメモリ、を備える
前記プロセッサは、
筋肉変形記述子の集合として表される基本形状であって、少なくとも一つのモデルのための複数の基本形状を受け取り；
各筋肉変形記述子を、それらの影響領域に基づいてグループに分類し；且つ
影響領域に基づいて少なくとも一つのモデルのために各基本形状の領域マスクを生成する
ようにプログラムされている。
更に別の例としての実施形態によれば、仮想オブジェクト又はデジタルエンティティに適用されるテクスチャモデルを作成する方法が提供され、方法は、
少なくとも一つのモデルのための一つ以上のテクスチャマップをインプットとして受信する工程；
手動、半自動、又は自動で、一つ以上のテクスチャマップの各々上で複数のユニバーサルフィーチャロケータを識別する工程；
テクスチャマップを複数のレイヤに分離し、各レイヤは、少なくとも一つの特徴を含む工程；
テクスチャマップに対して行われるべき修正を指定する複数の指定された修正変数をインプットとして受信する工程；
指定された修飾を適用する工程；及び
レイヤをブレンドし、少なくとも一つのモデルの一つ以上のテクスチャマップを作成する工程、を含む。
更なる例示としての実施形態によれば、仮想オブジェクト又はデジタルエンティティに適用されるテクスチャモデルを作成するためのシステムが提供され、システムは、 少なくとも一つのプロセッサ；及び
少なくとも一つのプロセッサと通信しているメモリ、を備える。
前記プロセッサは：
少なくとも一つのモデルのために一つ以上のテクスチャマップを受信し；
一つ以上のテクスチャマップの各々の上で複数のユニバーサルフィーチャロケータを識別し、
各々少なくとも一つの特徴を含む一つ以上のテクスチャマップの各々を複数のレイヤに分離し、
一つ以上のテクスチャマップに対して行われるべき修正を指定する複数の修正変数を受け取り；且つ
指定された修正を適用し、レイヤをブレンドし、少なくとも一つのモデルのための一つ以上のテクスチャマップを生成する、
ようにプログラムされている。
本明細書に組み込まれ、その一部を構成する添付の図面は、本発明の実施形態を示し、上記で与えられた本発明の一般的な説明、及び以下で与えられる実施形態の詳細な説明と共に、本発明の原理を説明する役割を果たす。
図１は、幾何学的ブレンディングプロセスのフローチャートである。 図２は、テクスチャブレンディングプロセスのフローチャートである。 図３は、領域マスク生成プロセスのフローチャートである。 図４は、欠落した形状を有する頭部モデルグリッドの一例である。 図５Ａは、グローバル幾何学形状ブレンディングの一例である。 図５Ｂは、保存された骨構造を用いた局所的な幾何学形状のブレンディングの一例である。 図５Ｃは、保存された骨構造を用いない局所的な幾何学形状のブレンディングの一例である。 図６Ａは、第１のテクスチャを有する頭部の一例である。 図６Ｂは、第２のテクスチャを有する頭部の一例である。 図６Ｃは、第１及び第２のテクスチャがブレンドされた頭部の一例である。 図７Ａは、額の筋肉ネットワークが示された頭部の一例である。 図７Ｂは、左眼窩の筋肉ネットワークが示された頭部の一例である。 図７Ｃは、右眼窩の筋肉ネットワークが示された頭部の一例である。 図７Ｄは、鼻の筋肉ネットワークが示された頭部の一例である。 図７Ｅは、首の筋肉ネットワークが示された頭部の一例である。 図７Ｆは、下面の筋肉ネットワークが示された頭部の一例である。 図８Ａは、幾何学的形状の制御インターフェースの一例である。 図８Ｂは、テクスチャの制御インターフェースの一例である。 図８Ｃは、色制御のインターフェースの一例である。 図９Ａは、元のテクスチャを示す頭部の一例である。 図９Ｂは、皮膚の欠陥を有するテクスチャの追加を示す頭部の一例である。 図９Ｃは、しわ及び顔の毛を有するテクスチャの追加を示す頭部の一例である。 図１０Ａは、基準となるテクスチャを示す目の一例である。 図１０Ｂは、新しいベースレイヤのテクスチャを有する眼の一例である。 図１０Ｃは、新しいディテールレイヤーのテクスチャを有する目の一例である。 図１１は、筋肉ネットワークが示された腕の一例である。 図１２は、一実施形態の一例としての実装形態のシステムである。
＜システム＞
一実施形態において、アバター又はデジタルキャラクタを含んでいるデジタルヒューマンのモデルをブレンドするためのシステム及び方法は、典型的には少なくとも一つのＣＰＵ、メモリ、及び典型的にはデータベースである記憶装置を有する一つ以上のコンピュータシステム上で実行される。更に、ＧＰＵ実装形態は、システムの性能を大幅に改善することができる。
図１２１２を参照すると、一例としての実施形態であるシステム１２００が示されている。第１のサーバシステム１２１０は、データ記憶装置１２２０に接続される。データ記憶装置１２２０は、データベースであってよい。そして、第１のサーバシステム１２１０は、一つ以上のサーバを含む。第１のサーバシステム１２１０は、インターネット１２４０に接続される。モデルのユーザの少なくとも一つの他のサーバシステム１２５０は、第１のサーバシステム１２１０に接続可能である。複数のユーザシステム１２３０、１２６０、１２７０は、様々なサーバシステム１２１０、１２５０に接続する。
一実装形態において、ブレンディングに使用されるデータベースは、好ましくは１０以上の様々な民族性、性別、年齢層及び体型にまたがる頭部モデル（Ｍ１、Ｍ２、．．．、Ｍｎ∈Ｍ）を含む。提供されるモデルが多ければ多いほど、ブレンディングシステムはより良好に機能する。１０個の頭部モデルは、好ましいが、より少ない数のモデルを使用することもできる。図４を参照すると、欠落した形状４１０を有する一例としての頭部モデルグリッドは、図示される。
好ましくは、各頭部モデル（キャラクタＡ～Ｄ）４２５は、少なくともニュートラルな顔面形状を含む必要があり、ニュートラルな形状は、同じメッシュトポロジーであり、ブレンド可能である。各頭部モデルは、筋肉変形記述子の集合を表す任意の数のブレンド形状、例えば、顔面動作分析システム（ＦＡＣＳ）によって識別される動作ユニット（ＡＵ）４２０を有することができる。動作ユニットの一例は、「眉の内側を上げる」、「眉の外側を上げる」、「唇を横に引っ張る」、「顎を開ける」及び「唇を横に引っ張る及び顎を開ける」を含む。
筋肉変形記述子は、統計的に計算することもできる。例えば、アニメーションにおけるフレームのメッシュ形状変化の主成分は、主成分分析（ＰＣＡ）を使用して計算することができる。関心のある筋肉のみがアニメーションに関与する場合、計算された主成分は、筋肉変形記述子として使用されてもよい。
頭部に関連して説明したが、システム及び方法は、身体、身体の一部、上半身、顔面、顔面の一部、又は頭部の一部に同様に使用することができる。身体の他の部分の場合、これらの記述子は、筋肉駆動骨格運動、姿勢、又は皮膚表面の変形によって表すことができる。
データベースにおいて、各筋肉変形記述子は、好ましくは少なくとも一つの頭部モデルによって表される。各筋肉変形記述子について、その筋肉変形記述を表す少なくとも一つの頭部モデルを有する必要がある。筋肉変形記述子は、頭部モデルのいずれかから得ることができる。図４に示すＦＡＣＳベースの一例としての頭部モデルセットでは、「キャラクタＣ」のみが「眉の外側を上げる」ＡＵを有する。
更に、各頭部モデル（キャラクタ）は、筋肉変形記述子の組み合わせ又は中間点として表される任意の数の表情ブレンド形状を有することができる。
各頭部モデル（キャラクタ）に関する情報には、民族性、性別、年齢グループ、及び体格などの人口統計学的情報、又はユーザが制御したい他の任意のものを含むメタデータがラベル付けされる。メタデータはまた、鼻の形状（例えば、ワシ鼻、肉厚、上向き鼻等）、瞼の構造（例えば、深い瞼、一重瞼、二重瞼等）、唇の形状（例えば、薄い、厚い等）のような物理的特徴を記述することができる。メタデータは、その他の物理的機能に関する情報も含むことができる。
頭部に関連する全ての解剖学的アセットを含む基準の頭部モデルが、選択される。解剖学的アセットは、頭蓋骨、歯、舌、眼球、角膜、及び詳細で現実的なデジタルヒューマン／アバターを構成する他の重要なメッシュモデルが含まれる。モデル（キャラクタ）は独自のヘアスタイル、まつげスタイル、顔面の毛を有することができ、モデルは、イヤリングなどの他のアクセサリを含むことができる。これらのアクセサリは、異なるメッシュトポロジーであってよい。
初期のデータベースは、まばらであってよく、多くの頭部モデル（キャラクタ）が欠落したブレンド形状を有する。顔ポーティングは、欠落したブレンド形状を生成して、ブレンド形状グリッドを完成させるために使用されてよく、又は代替的に、グリッド上の各ブレンド形状は、ユーザによって手動で彫られてもよい。
図１を参照すると、開始ライブラリ１００からのシステムは、安定化された頭部モデル１３０の集合を生成する。これは欠落した筋肉変形記述子１０５を生成することによって、又はユーザによって彫られた筋肉変形記述子を有することによって行われ、それによって、各モデルについて筋肉変形記述子の完全に充填されたライブラリが存在する。欠落したアセットがある場合、それらは、ステップ１１５において生成する又はユーザが手動で作成することができる。アセットが完全に充填されると、システムは、全ての頭部モデルを基準の頭部モデルに対して安定化することができるため、頭部モデル１３０の安定化された集合が存在する。
＜領域区分及び再構成＞
領域分割は、各頭部モデルのために異なる顔領域を区分するために使用される。これらの領域マスクは例えば、前頭骨、左右の眼窩ソケット周囲、鼻部周囲、頸部領域、及び顔面下部の筋肉の位置に基づいて、筋肉変形記述子をグループ化することによって区分される。顔面下部の筋肉変形記述子は更に、唇、頬部の塊及び顎骨を動かすものに分類される。異なる顔領域にまたがる筋肉変形記述子の組み合わせは、無視される。これらのグループ分けから、前頭部、左眼窩、右眼窩、鼻部、左頬部、右頬部、口部、頸部、及び残りの頭部といった顔面領域マスクが導出される。顔領域は、図７Ａ～７Ｆに示される。各グループの領域マスクは、各グループ内の各筋肉変形記述子上の各頂点の変位の大きさにガウス分布を当てはめることによって計算することができ（変形勾配をここで使用することもできる）、領域どうしは、重なり合うことができる。筋肉変形記述子ベースの区分を使用することには、この区分が筋肉の活動及び影響に基づくため、本方法を使用して抽出された領域は、動的に変形可能な顔（静止した顔だけでなく）上で最適なカバー率及び滑らかさを有するという利点がある。同様に、図１１に示す腕１１００の筋肉１１１０を選択するといったように、身体の一部について領域マスクを計算することができる。
図３を参照すると、領域分割及び再構成のプロセスが示される。本プロセスは、筋肉変形記述の区分を伴う様々な頭部モデルのライブラリから開始する（３１０）。各筋肉変形記述子は、影響領域に基づいてグループに分類される。次に頭部モデルは、筋肉変形記述子の形状に基づいてグループ化される（３２０）。次にシステムは、ニュートラル形状に対する各筋肉変形記述子の形状について頂点ごとの変形勾配を計算する。変形勾配の分布が計算され（３２５）、各頭部モデル（キャラクタ）に対する各領域グループに対する変形勾配分布マップが計算される。閾値は、分布を平滑化されるマスクに変換するために使用される（３３５）。この結果、各モデルに固有の領域マスクが得られる（３４０）。
＜幾何学形状モデルのブレンディング＞
平均頭部モデル（
Figure 2022505746000002
）は、全ての頭部モデル（Ｍ）を平均することによって計算される。頭部デルタは、定義され、頭部モデルと平均頭部モデルの違い
Figure 2022505746000003
である。
ブレンド形状方程式を用いて新しい頭部を再構成できる：
Figure 2022505746000004
は、デルタの組み合わせが実行可能な解決策であることを保証するために実施される。
好ましい実施形態において、ｓは、出力頭部モデルのカリカチュアを変更するために使用することができるユーザが定義する値である。
上述したブレンディングプロセスは、頭部モデルのグローバルブレンディング工程であり、表現ブレンド形状グリッドにおけるニュートラル形状及び全ての表現形状を結果として生じる。
＜領域ブレンディング＞
各領域は、グローバルブレンディングとは独立してブレンドされ、共に結合され、グローバルブレンドヘッドモデルに適用されて、最終的なブレンドモデルを形成することができる。領域ブレンディング及び再構成は、以下のように達成される。
頭部モデル及び静的領域マスクは、ユーザが提供したブレンドの重みに基づいて、共に混合される。グローバルブレンディングに適用されるように、上述した同じコンベックス制約は、領域ブレンディングに適用される。
再び図１を参照して、領域に基づいてブレンドすると、システムは、各筋肉変形記述子のセグメント化された領域モデル（１４５）を生成するために、前述したブレンドされた静的領域マスク（１４０）を使用することによって、各領域をセグメント化する（１３５）。
次にシステムは、プロクラステス変換を実行し（１５０）、各セグメント化された頂点を、平均頭部モデル上のそれぞれの位置に整列させる。この工程において、各頂点ポイントは、領域マスクに基づいて異なって重み付けされる。プロクラステス変換は、ニュートラル形状を使用して計算され、ニュートラル形状及び表現形状に適用される。その結果、表現形状は、ニュートラル形状と同じ配置を有する。
領域の各ニュートラル形状は、有限要素法（ＦＥＭ）を用いて共に結合される（１５５）。ＦＥＭの目標は、以下の目的関数を最小化することである：
Figure 2022505746000005
ここで、Ｅｒｅｇｉｏｎ、Ｅｓｍｏｏｔｈ及びＥｃｅｎｔｒｏｉｄは、領域ブレンド項、平滑化項、及び重心制約項である：
Figure 2022505746000006
ここで、Ｗｒは、領域ｒのブレンドされたマスクの重み、Ｒは、ブレンドされる領域の合計数、ｙｒは、整列された領域セグメンテーションのターゲット頂点座標、ｘは、グローバルにブレンドされた頂点座標である。Ｅｓｍｏｏｔｈは、２次ソボレフ平滑化関数であり、領域から領域への移行が平滑及び現実的であることを保証する。
Figure 2022505746000007
ここで、ａ１及びａ２は、輪郭及び表面の曲率の滑らかさをそれぞれ制御する平滑化パラメータであり、ｙは、結果の頂点座標である。Ｅｃｏｎｔｒｏｉｄは、結果として得られるブレンドされた領域がグローバルブレンドされたメッシュ内のそれぞれの位置に留まることを保証する弱い制約を導入する。
Figure 2022505746000008
ここで、ｃは、メッシュ内の各要素の重心を返す重心関数である。目的関数Ｅを最小化することは、有限要素設定において線形化されることができる。本問題を解くことは、方程式のスパース線形のシステムを解くことを含む。
表現形状の領域メッシュを結合するために、上述したプロセスが適用される。しかしながら、領域ブレンド項は、頂点位置ではなく変形勾配テンソルに作用するように変更される。
Figure 2022505746000009
ここで、
Figure 2022505746000010
は、グローバルブレンドされた表現形状（ｙｇ）のそれぞれの頂点位置及びグローバルブレンドされたニュートラル形状（ｘｇ）に対応する頂点位置から計算された変形勾配テンソルである。そして、
Figure 2022505746000011
は、領域ブレンドされた表現形状（ｙｒ）のそれぞれの頂点位置及び領域ブレンドされたニュートラル形状（ｘｒ）に対応する頂点位置から計算された変形勾配テンソルである。ＦＥＭフィッティングの目的関数は次のようになる：
Figure 2022505746000012
結果として得られるモデルの解剖学的アセットアクセサリは、ＲＢＦ補間又はリベットリギングのいずれかを介して生成される。ＲＢＦ補間は、頭蓋骨、歯、眼球などといった、顔面メッシュに取り付けられていないアセットに適用される。一方、リベットリギングは、まつげや顔面の毛といった、顔面のメッシュ上に結合点を有するアセットに適用される。
領域頭部モデルが一旦、計算されると、モデルは圧縮され(１７０)、ブレンディングモデルに追加され得る。上記の工程は、標準的には準備中に予め計算される(１９５)。オンラインにおいて、ブレンディングの重みは、ブレンドモデルに適用し(１９８)、ブレンドされた頭部モデルをリアルタイムで作成することができる。一例は、デジタルヒューマンが対話しているユーザに基づいて、ブレンドされたデジタルヒューマンを作成することであり得る。
＜骨構造保存＞
システムは、領域区分を全体的にブレンドされた顔モデルに配置させるので、システムは、顔の特徴のサイズ及び異なる顔の特徴間の相対位置を維持する。識別を変更するとき、これは、アイデンティティを変えるときに、顔の骨構造を（全体的にブレンドされた頭部モデルに対して）維持することと同等である。また、配置比率を変更するときに、頭部モデルの骨構造を変えることができる。この関係に基づいて、システムは、骨構造を変更するために配置比率を変えることができる。図５Ａ～５Ｃを参照すると、ブレンドする特徴の例が示されている。全ての場合において、５１０、５３０、５５０で示される開始モデルは、同じである。図５Ａにおいて、グローバルブレンディングは、モデルに適用される（５２０）。図５Ｂにおいて、骨構造が保存されている新しいアイデンティティへの領域ブレンディングが適用される。図５Ｃにおいて、骨構造が保存されていない新しいアイデンティティへの領域ブレンディングが適用される。
＜人口統計学的予測＞
システムは、人口統計学的パラメータの集合から人口統計学的予測を学習し、予測し（１６７）、頭部モデルに適用することもできる。人口統計学的パラメータは、二次予測子変換を伴う部分最小二乗回帰（ＰＬＳＲ）を使用して、年齢、性別、民族性、及び体格を含む。
Figure 2022505746000013
Figure 2022505746000014
ここで、Ｘは、人口統計学的パラメータであり、Ｙは、メッシュ頂点の推定座標である。Φ（Ｘ）は、Ｘの二次変換関数である。Ｔ＝ΦＶは、ΦとＹの間の説明された共分散を最大にする重みマトリックスＶによって得られる、Φから抽出されたスコアベクトルのマトリックスである。マトリックスＰ及びＱは、ローディングマトリックスである。Ｅ及びＦは、それぞれＸ及びＹの説明されていない分散をカプセル化する残差マトリックスである。
ＰＬＳＲは、人口統計学的パラメータ（Ｘ）及び頭部モデル（Ｙ）における頂点の座標との間の最適な関係を推定し、一方、人口統計学的パラメータ（Ｘ）において説明される分散のレベルを保存する。これは、ΦとＹとの間の関係をモデル化することによって、ＴがＹとの関連性が高くなるようにＴが抽出されるためである。本出願において、ＰＬＳＲは、人口統計学的パラメータを共に変化させることによって引き起こされる幾何学的変化を推定する複雑な多変量問題をモデル化するために、単純な関係（潜在空間において定義される）を使用することを可能にする。例えば、老化の影響は、異なる性別、民族性、又は体格について変化し得る。
リアルタイム性能を確保するために、領域ブレンディング、変形移転、及び平滑化を含む高度な計算を事前に計算してもよい（１９５）。次に、ブレンドシェイプ補間システムを使用して、リアルタイムにおいて変形を再補間する。
あるいは、ＰＬＳＲモデルは、ブレンディングシステムをエミュレートするように訓練することもできる。ＰＬＳＲは、ブレンディングモデルに最適な圧縮を提供し、リアルタイムブレンディングコスト及びメモリフットプリントを低減することができる。
＜カスタマイズ＞
図８Ａに示されるブレンディングシステムへのユーザインターフェースは、ユーザが幾何学形状アセットの操作によってデジタルヒューマンの幾何学形状に関連する特徴８１０、８２０、８３０をカスタマイズする能力を有することを可能にし得る。これは、リアルタイムであってもよい。操作することができるアセットは、まつげ、虹彩、歯、舌、髪、アクセサリ、及び衣服を切り替えることが含まれる。
身体部分をブレンドするとき、体型のタイプ、筋肉量、及び領域の特徴のカスタマイズ、例えば、広い肩及び大きな足をブレンドすることができる。上記の概要に続いて、身体の一部又は身体へのブレンドは、筋肉モデルに基づく、領域ブレンディングを再び含む身体の一部又は身体へのブレンディングについて説明する。
＜テクスチャブレンディング＞
各トレーニングアバターからの皮膚テクスチャは、双方向ガウスフィルタの階層を通過する。階層の各レイヤは、顔の毛、しわ、ほくろ、そばかす、及び皮膚の孔などの特定の種類のテクスチャの細部を抽出するように設計される。レイヤが一旦、抽出されると、次に各レイヤを独立してブレンドし、合成して、新しいテクスチャマップを形成することができる。このレイヤリングアプローチの利点は、ブレンディングプロセスの間、皮膚の細部を保存することができることである。
テクスチャをブレンドする場合、システムはｎ（ｎ＞＝２）個のデジタルキャラクタの顔テクスチャのデータベースを持つことができる。顔テクスチャの各々の集合は、テクスチャマップ（Ｔ１、Ｔ２、．．．、Ｔｍ）のコレクションとして定義され、俳優／女優の写真から再構成される。集合内のすべてのデジタルキャラクタのためのテクスチャマップの集合は、一貫した照明条件及び色空間を有するべきである。
テクスチャマップは、最終画像をレンダリングするために照明モデル内で使用されることができる、空間的に変化する特徴を表す。複数のテクスチャマップは、レンダリングするためにシェーディングモデルによって使用される、被写体の空間的に変化するグラフィック品質を表すことができる。テクスチャマップの例は、アルベドマップ、拡散マップ、シェーディングマップ、バンプマップ、又はスペキュラマップを含む。別の実施形態において、レンダリングテクスチャマップは、ディープアピアランスモデル（Ｓ・Ｌｏｍｂａｒｄｉ－２０１８）などの深層学習モデルから生成することができる。
好ましくは、テクスチャマップの集合上の個々の画素は、各デジタルキャラクタについて同じ顔面の解剖学的位置を示す。ポイントどうしの対応は、異なるデジタルキャラクタの間で厳密には必要とされないが、顔の特徴は、テクスチャマップの集合上の同様の位置を占めるべきである。テクスチャマップのサイズは、すべてのデジタルキャラクタで同じにする必要がある。
図２を参照すると、顔の特徴を概説するユニバーサルフィーチャロケータ（ｐ１、ｐ２、・・・、ｐｎ）が、識別される（２１５）。これらのユニバーサルフィーチャロケータ（アルベドマップ上のピクセル位置として）は、各デジタルキャラクタに対して手動、半自動的、又は自動的に識別することができる。機械学習アルゴリズムを用いてユニバーサルフィーチャロケータを自動的に識別するために、アルベドマップ上で識別されるユニバーサルフィーチャロケータの複数の例が必要とされる。これらの例は、アルベドマップの画像特徴とユニバーサルフィーチャロケータの位置との間の関係を学習するために、適切な機械学習アルゴリズムに供給される。このような関係が、一旦確立されると、ユニバーサルフィーチャロケータの位置は、新しいデジタルキャラクタのアルベドマップ上で自動的に検出されてもよい。デジタルキャラクタ毎のテクスチャマップ（Ｔ１、Ｔ２、．．．、Ｔｍ）は、ベースレイヤとｌ－１の特徴レイヤを妥協するｌレイヤに分離される。ベースレイヤ（Ｔ１１、Ｔ２１、．．．、Ｔｍ１）は、デジタルキャラクタの最も一般的でユニバーサルフィーチャ、たとえば、皮膚の複雑さ及び顔面の全体的な形状などを含む。各特徴のレイヤは、異なるサイズ及びコントラストの顔面の特徴（Ｔｉ１、Ｔｉ２、．．．、Ｔｉｌ、ｊ＝２、３、．．．、ｌ）を含み、ここで、
Figure 2022505746000015
個々の特徴レイヤ（Ｔｉｊ、ｊ＝２、３、．．．、ｌ）は元のテクスチャマップとバイラテラルガウスフィルタテクスチャマップ間の差分／デルタとして計算され、他の特徴レイヤによって考慮されていた特徴は削除される。基本レイヤ及びデジタルキャラクタのテクスチャマップの全ての特徴レイヤの合計は、元のテクスチャマップを再構築するべきである。
双方向ガウスフィルタが必要とするパラメータは、領域及び範囲の標準偏差を含む領域フィルタの標準偏差は、ピクセル単位の特徴の幅によって決まる。より小さな特徴は、抽出するためにより小さなドメイン標準偏差を必要とし、より大きな特徴は、抽出するためにより大きなドメイン標準偏差を必要とする。標準偏差の範囲は、特徴のコントラストによって決定される。標準偏差の範囲を大きくすると、より大きいコントラストを持つ隣接するピクセルの平滑化を結果として生じる。
ユニバーサルフィーチャロケータ２１５の画素位置に基づいて計算される、放射状基準補間のための重みマトリックス２２５は、各デジタルキャラクタに対して計算される。
テクスチャマップを生成するために、エンドユーザは一連のブレンディングの重み２０５（ｗｉｊ、ここでｉ＝１、２、．．．ｎ及びｊ＝１、２、．．．、ｌ）をシステムに提供する。ブレンディングの重みの数は、デジタルキャラクタの数及びテクスチャマップが分離されるレイヤの数の積である。重みは、０と１の間にあるように制限される。テクスチャマップのベースレイヤ（Ｔ１１、Ｔ２１、．．．Ｔｍ１）の全てのデジタルキャラクタのブレンディングの重みの合計は１であるべきである。この制約は、特徴レイヤには必要とされない。
出力テクスチャマップ内のユニバーサルフィーチャロケータ（ｑ、２２０）のピクセル位置は、デジタルキャラクタの重み付けされたユニバーサルフィーチャロケータ位置の線形結合として計算される（２１０）。
Figure 2022505746000016
次に、ユニバーサルフィーチャロケータ（ｑ）は、ブレンドされたユニバーサルフィーチャロケータ（ｑ）２２０として使用される。
放射状基準補間を用いて各デジタルキャラクタ２３０に対してｑとｐｉ（ｉ＝１、２、．．．、ｎ）の間に変位マップ２３５が作成され、次にレイヤに分離されたテクスチャマップの集合は、出力されるユニバーサルフィーチャロケータｑの位置を反映するために、変位マップに基づいてワープされる（Ｔ’ｊｋ、ｊ＝１、２、．．．、ｌ；ｍ＝１、２、．．．、ｍ）（２５０）。これは、各キャラクタにＲＢＦを使用して行うことができる。
出力されるテクスチャマップ（Ｓ１、Ｓ２、．．．、Ｓｍ）２７０は、重み付けされたテクスチャマップを線形結合することによって生成される。
Figure 2022505746000017
ブレンディングマスクは、テクスチャマップの各領域に対して作成される。ブレンディングマスクにおける重みは、０と１の間である。任意のピクセルに対する全ての領域ブレンディングマスクの重みの合計は、１である。各領域について、テクスチャマップ内の関連ピクセルは、ブレンディングマスクに基づいて識別される。
領域テクスチャマップの生成は、上記のセクションで説明したような同じプロセスを用いて実行される。個々の領域テクスチャマップは、ブレンディングマスクを用いて、完全なテクスチャマップを形成するために共に結合される。
幾何学形状の正規化の一部として、テクスチャは、ＵＶベースの移転方法を必要とする自動化されたプロセスによって、新しい正規化されたトポロジーに移転されてもよい。
テクスチャは、テクスチャのブレンディングが一貫したままであることを可能にするために、周囲のレベルを含む、光強度及び色空間に基づく正規化を受けることができる。これは、ライブラリに追加する前に、ターゲットテクスチャの最良の露出を予測するコンピュータビジョンシステムを使用して行うことができる。
一実施形態において、出力するテクスチャマップは、機械学習又は敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）若しくは変分自動エンコーダのような深層学習フレームワークによって生成される。これは、以下の工程を使用して生成される可能性がある：
１．各デジタルキャラクタに、あらかじめ定義されたテクスチャマップの集合を抽出する工程。テクスチャマップからの特徴レイヤは、双方向ガウスフィルタ、又は他の手動、若しくは自動画像特徴フィルタリング技術を含む、任意の適切な方法を使用して抽出されてよい。
２．各特徴レイヤに、各デジタルキャラクタからの対応する特徴レイヤを使用して、機械学習又は深層学習モデルをトレーニングする工程。これは、各特徴レイヤのために機械学習モデル、例えば、ベーストーンのための一つの機械学習又は深層学習モデル、皮膚の斑点のための別のモデルなどを、結果として生じる。使用することができる機械学習モデルの例は、敵対的生成ネットワーク、変分自動エンコーダ、又は深層畳み込みニューラルネットワーク（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）である。
３．リアルタイムテクスチャ再構成の間、モデル推論によって各特徴レイヤを個別に合成し、個別の再構成された特徴レイヤを組み合わせて、レンダリングの準備ができた出力するテクスチャマップを形成する。
更なる実施形態において、顔にメイクアップを適用又は除去して、デジタルヒューマンの外観をカスタマイズするために、顔を強調及び／又は身体を強調することができるメイクアップレイヤシステムを追加することができる。目の色、歯の白さ、皮膚の色素、斑点、刺青、及び傷痕などといったテクスチャに関連する特徴も、デジタルヒューマンのリアリズム又は所望のカスタムな外観を向上させるために操作することができる。
ＰＬＳＲは、幾何学性状ブレンディングプロセスにおいて説明したのと同様のワークフローを使用して、テクスチャマップの人口統計学的変化を予測するために使用することができる。
＜皮膚欠陥の追加と除去＞
テクスチャブレンディングのセクションで説明したレイヤ分離ワークフローを使用して、皮膚の細部及び不完全性を除去することができる。例えば、フィルタパラメータ（領域及び範囲の標準偏差）を調整することによって、バイラテラルガウスフィルタを使用して、他の細部を保存しながら、特徴、例えば皮膚の孔、しわ、斑点、にきび、又は顔面の毛を抽出することができる。これらの特徴をカプセル化するレイヤの、テクスチャマップの出力する集合への寄与は、デジタルキャラクタに対して、低減され、誇張され、又は完全に除去され得る。
同様に、これらの特徴をカプセル化するレイヤは、視覚的外観を変えるために他のデジタルキャラクタに移転することができる。
＜デジタルメイクアップ＞
レイヤ分離ワークフローの別のアプリケーションは、デジタルメイクアップの適用又は除去である。メイクアップ処理の効果、例えば、スキンファンデーション、唇の色、ブラッシャー、顔面の輪郭、アイライナー、アイシャドウ、及びハイライターの適用は、デジタルキャラクタから抽出することができる。そのような効果は、デジタルキャラクタから低減、強化、又は除去されてもよい。デジタルメイクアップの効果は、他のデジタルキャラクタにも適用することができる。
デジタルメイクアップの適用は、メイクアップの有無によるテクスチャマップ間のピクセル対応の識別において、高いレベルの精度を必要とする。画像位置合わせ精度アルゴリズム、例えば、オプティカルフロー又はテンプレートマッチングを使用して、デジタルキャラクタのテクスチャマップ間のポイントどうしの対応の精度を改善することができる。
メイクアップの有無にかかわらず、テクスチャマップ間のポイントどうしの対応の精度を改善するために、ユニバーサルフィーチャロケータに加えて、個々の特定のフィーチャロケータを含めることもできる。例えば、メイクアップの有無にかかわらず、テクスチャマップの両方に存在するスキンモルをマーキングするために、個人固有の特徴ロケータを作成することができる。
入れ墨、誕生マーク、又は他の大きな皮膚の特徴もまた、デジタルメイクアップと同様の方法で、適用、除去、又は強度を低減され得る。
モデルに適用されるテクスチャシステムの一例を図９Ａ～図１０Ｃに示す。図９Ａは、元のテクスチャを有する頭部モデルを示し、図９Ｂは皮膚の欠陥を有するテクスチャを追加した頭部モデルを示し、図９Ｃは、しわ及び顔の毛を有するテクスチャを追加した頭部モデルの一例を示す。
テクスチャシステムはまた、図１０Ａ～１０Ｃに示される目の例のために、他のアセットに適用され得る。図１０Ａは、基準テクスチャを有する眼を示し、図１０Ｂは、新しいベースレイヤテクスチャを有する同じ眼を示し、図１０Ｃは、新しい細部のレイヤテクスチャを有する図１０Ａの眼を示す。
図８Ｂ～図８Ｃに示されるシステムへのユーザインターフェース８００は、ユーザがキャラクタのテクスチャ及び色の操作によって、デジタルヒューマンのテクスチャに関連した特徴８５０、８６０及び色８７０をカスタマイズする能力を有することを可能にし得る。
〔解釈〕
説明した方法及びシステムは、任意の適切な電子計算システム上で利用することができる。以下に説明する実施形態によれば、電子計算システムは、様々なモジュール及びエンジンを使用して本発明の方法を利用する。
電子計算システムは、少なくとも一つのプロセッサ、一つ以上のメモリデバイス、又は一つ以上のメモリデバイスに接続するためのインターフェース、システムが一つ以上のユーザ又は外部システムからの指示を受信し、それに基づいて動作することを可能にするために外部装置に接続するためのインプット及びアウトプットインターフェース、様々な構成要素間の内部及び外部通信のためのデータバス、及び適切な電源を備えてもよい。更に電子計算システムは、外部及び内部装置と通信するための一つ以上の通信装置（有線又は無線）と、ディスプレイ、ポインティングデバイス、キーボード又は印刷装置などの一つ以上のインプット／アウトプット装置とを備えてもよい。
プロセッサは、メモリデバイス内にプログラム命令として記憶されたプログラムの工程を実行するようにアレンジされる。プログラム命令は、本明細書に記載されるような本発明を実行する様々な方法が実行されることを可能にする。プログラム命令は、任意の適切なソフトウェアプログラミング言語及びツールキット、例えば、Ｃベース言語及びコンパイラを使用して開発又は実行することができる。更に、プログラム命令は例えば、コンピュータ読み取り可能な媒体に記憶されるような、メモリデバイスに転送されたり、プロセッサによって読み出されたりすることができるように、任意の適切な方法で記憶することができる。コンピュータ読み取り可能な媒体は例えば、ソリッドステートメモリ、磁気テープ、コンパクトディスク（ＣＤ－ＲＯＭ又はＣＤ－Ｒ／Ｗ）、メモリカード、フラッシュメモリ、光ディスク、磁気ディスク、又は任意の他の適切なコンピュータ読み取り可能な媒体などの、プログラム命令を有形に記憶するための任意の適切な媒体であってよい。
電子計算システムは、関連データを検索するために、データ記憶システム又はデバイス（例えば、外部データ記憶システム又はデバイス）と通信するようにアレンジされる。
本明細書で説明されるシステムは、本明細書で説明される様々な機能及び方法を実行するようにアレンジされた一つ以上の要素を含むことが理解されるであろう。本明細書で説明される実施形態は、システムの要素を構成する様々なモジュール及び／又はエンジンが機能が実装されることを可能にするためにどのように相互接続され得るかの例を読者に提供することを目的とする。更に、本明細書の実施形態は、システム関連の詳細において、本明細書に記載された方法の工程がどのように実行され得るかを説明する。概念図は、様々なデータ要素が様々な異なるモジュール及び／又はエンジンによって様々な段階でどのように処理されるかを読者に示すために提供される。
モジュール又はエンジンの配置及び構造は、システム及びユーザの要件に応じて適宜適合され得ることが理解されるであろう。様々な機能が本明細書で説明されるものとは異なるモジュール又はエンジンによって実行されてもよく、特定のモジュール又はエンジンは、単一のモジュール又はエンジンに組み合わされてもよい。
説明されたモジュール及び／又はエンジンは、任意の適切な形態の技術を使用して実装され、命令を提供され得ることが理解されるであろう。例えば、モジュール又はエンジンは、任意の適切な言語で書かれた任意の適切なソフトウェアコードを使用して実装又は作成することができ、そこでコードは、任意の適切なコンピューティングシステム上で動作することができる実行可能プログラムを生成するようにコンパイルされる。代替として、又は実行可能プログラムと併せて、モジュール又はエンジンは、ハードウェア、ファームウェア、及びソフトウェアの任意の適切な混合を使用して実装され得る。例えば、モジュールの部分は、特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳｏＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は任意の他の適切な適応可能又はプログラマブルプロセス装置を用いて実装することができる。
本明細書で説明する方法は、説明する工程を実行するように特にプログラムされた汎用コンピューティングシステムを使用して実装することができる。代替として、本明細書に記載の方法は、人工知能コンピュータシステムなどの特定の電子コンピュータシステムを使用して実行することができ、この場合、コンピュータは、特定のフィールドに関連する環境から取り込まれた特定のデータに対して、記載された工程を実行するように特に適合されている。
リアルタイム性能及びタイミング制御；ユーザ入力に対するエージェントのリアルタイム応答。システムの各部の待ち時間は、最低限に抑える必要があり、一方で動作のオンタイムな実行を保証する必要がある。したがって、厳密な時間モデルが必要である。
多くの方法が上述されている。これらの方法のいずれも、一連の命令によって具現化され得ることが理解されるであろう。一連の命令は、コンピュータプログラムを形成することができる。これらの命令又はこのコンピュータプログラムは、コンピュータ読み取り可能な媒体に記憶することができる。コンピュータ読み取り可能な媒体は、非一時的な場合がある。実行されるとき、これらの命令又はこのプログラムは、プロセッサが説明されている方法を実行する場合がある。いくつかのケースにおいて、各モジュールが上述の工程のうちの一つ以上を実行するように構成されたモジュールを提供する装置又はシステムが提供されてもよい。
上記の方法は、特定の順序で説明されてきたが、これは単に例示として解釈されるべきである。すなわち、文脈上、特に必要でない限り（依存性など）、工程は、異なる実施形態において任意の順序で、又は並行して実行され得る。
その上、いくつかのケースにおいて、文脈が別段の要求をしない限り、方法全体から工程を省略することができる。
用語「備える（ｃｏｍｐｒｉｓｅ）」、「備える（ｃｏｍｐｒｉｓｅｓ）」、及び「備えている（ｃｏｍｐｒｉｓｉｎｇ）」は、本明細書で使用され、特に断らない限り、包括的な意味を有することが意図される。すなわち、それらは、直接参照する列挙された構成要素又は要素、及び可能性として他の特定されていない構成要素又は要素の包含を意味すると解釈される。
本明細書中のいずれかの文献への言及は、それが従来技術であること、他の文献と有効に組み合わせ可能であること、又はそれが技術常識の一部を構成することを認めるものではない。
本発明は、その実施形態の説明によって説明され、実施形態は細部に渡って説明されてきたが、添付の特許請求の範囲をそのような細部に限定することは出願人の意図ではなく、また、いかなる方法によっても限定することはできない。付加的な利点及び改良は、当業者にとっては容易に想到されるものである。したがって、本発明は、その広範な態様において、特定の詳細、代表的な装置及び方法、並びに示され及び説明された図の例に限定されない。従って、本発明と相違する発明であっても、本発明の技術的思想や技術的範囲から逸脱するものではない。

Claims (78)

  1. 仮想オブジェクト又はデジタルエンティティのモデルを作成する方法であって、
    複数のモデルの複数の基本形状を受信する工程、
    前記基本形状に行うべき１つまたは複数の修正を指定する複数の修正変数を受信する工程、及び
    前記指定された１つまたは複数の修正を前記複数の基本形状に適用し、少なくとも一つのモデルのために複数の修正された基本形状を生成する工程、
    を含む、方法。
  2. 前記指定された修正変数は、選択された特徴を保存するための保存変数を含む、請求項１に記載の方法。
  3. 前記複数の基本形状の領域を分離するために前記指定された１つまたは複数の修正を適用し、前記１つまたは複数の修正を共にブレンドする工程を更に含む、請求項１又は請求項２に記載の方法。
  4. 前記複数の基本形状は、身体、身体の一部、上半身、顔、及び顔の一部からなるグループから選択される少なくとも一つの要素を含む、請求項１～３のいずれか１項に記載の方法。
  5. 前記指定された修正変数は、１つまたは複数の人口統計学的予測修正を含み、指定された１つまたは複数の人口統計学的予測修正は、年齢、性別、民族性、及び体格からなるグループから選択される少なくとも一つの要素を含む、請求項１～４のいずれか１項に記載の方法。
  6. １つまたは複数の人口統計学的予測修正は、少なくとも二つの変数を使用する部分最小二乗回帰（ＰＬＳＲ）を使用する予測に基づいて行われる、請求項５に記載の方法。
  7. 前記１つまたは複数の人口統計学的予測修正は、基本形状の領域に行われ、ブレンドされる、請求項５又は６に記載の方法。
  8. 筋肉変形記述子の集合に基づいて筋肉の影響を分析することによって、領域がセグメント化される、請求項７に記載の方法。
  9. 前記筋肉変形記述子の集合は、手動、統計的方法、又は物理的シミュレーションの使用によって生成される、請求項８に記載の方法。
  10. 筋肉ベースの顔面動作分析システム（ＦＡＣＳ）に基づいて筋肉の影響を分析することによって、領域がセグメント化される、請求項７に記載の方法。
  11. 前記基本形状は、筋肉変形記述子の集合として表される、請求項１～１０のいずれか１項に記載の方法。
  12. 前記生成された複数の修正された基本形状は、筋肉変形記述子の完全な集合であり、前記筋肉変形記述子の組み合わせは、一連の動作をアニメーション化することができる、請求項１１に記載の方法。
  13. 前記基本形状は、筋肉ベースの顔面動作分析システム（ＦＡＣＳ）として表される、請求項１～１０のいずれか１項に記載の方法。
  14. 前記生成された複数の修正された基本形状は、完全な筋肉変形記述子のリグである、請求項１３に記載の方法。
  15. 前記複数の基本形状は、顔又は顔の一部であり、前記複数の修正された基本形状を生成する工程は、眼球、角膜、歯、舌及び頭蓋骨のアセットからなる前記グループから選択される少なくとも一つの要素を生成する工程を含む、請求項１～１４のいずれか１項に記載の方法。
  16. 複数の基本形状は、顔又は顔の一部であり、前記複数の修正された基本形状を生成する工程は、前記修正された基本形状のために毛髪及びまつげのうち少なくとも１つのスタイルを生成する工程を含む、請求項１～１５のいずれか１項に記載の方法。
  17. 請求項１～１６のいずれか１項に記載の方法を実行するようにプログラムされた又は動作可能である、コンピュータ。
  18. コンピュータ装置によって使用されるとき、前記コンピュータ装置に請求項１から１６のいずれか１項に記載の方法を実行させる、コンピュータ使用可能命令を記憶する一つ以上のコンピュータ読み取り可能媒体。
  19. 請求項１～１６のいずれか１項に記載の方法によって生成された複数の基本形状を含んでいる、幾何学形状モデル。
  20. 仮想オブジェクト又はデジタルエンティティのモデルを作成するためのシステムであって、前記システムは、
    少なくとも一つのプロセッサ、及び
    前記少なくとも一つのプロセッサと通信しているメモリ、を備え、
    前記プロセッサは、
    複数のモデルに対する複数の基本形状を受信し、
    前記基本形状に対して行われるべき１つまたは複数の修正を指定する複数の指定された修正変数を受信し、且つ
    前記指定された１つまたは複数の修正を前記複数の基本形状に適用し、少なくとも一つのモデルのために複数の修正された基本形状を生成する、
    ようにプログラムされているシステム。
  21. 前記指定された修正変数は、選択された特徴を保存するための保存変数を含む、請求項２０に記載のシステム。
  22. 前記プロセッサは、前記指定された１つまたは複数の修正を適用し、前記複数の基本形状の領域を分離し、前記１つまたは複数の修正を共にブレンドするように、更にプログラムされる、請求項２０又は請求項２１に記載のシステム。
  23. 前記複数の基本形状は、身体、身体の一部、上半身、顔、及び顔の一部からなるグループから選択される少なくとも一つの要素を備える、請求項２０～２２のいずれか１項に記載のシステム。
  24. 前記指定された修正変数は、１つまたは複数の人口統計学的予測修正を含み、ユーザ指定の１つまたは複数の人口統計学的予測修正は、年齢、性別、民族性、及び体格からなるグループから選択される少なくとも一つの要素を含む、請求項２０～２３のいずれか１項に記載のシステム。
  25. １つまたは複数の人口統計学的予測修正は、少なくとも二つの変数を使用する部分最小二乗回帰（ＰＬＳＲ）を使用する予測に基づいて行われる、請求項２４に記載のシステム。
  26. 前記１つまたは複数の人口統計学的予測修正は、基本形状の領域に対して行われ、ブレンドされる、請求項２４又は２５に記載のシステム。
  27. 筋肉変形記述子の集合に基づいて筋肉の影響を分析することによって、領域がセグメント化される、請求項２２に記載のシステム。
  28. 前記筋肉変形記述子の集合は、手動、統計的方法、又は物理的シミュレーションの使用によって生成される、請求項２７に記載のシステム。
  29. 筋肉ベースの顔面動作分析システム（ＦＡＣＳ）の動作ユニット（ＡＵ）に基づいて筋肉の影響を分析することによって、領域がセグメント化される、請求項２７に記載のシステム。
  30. 前記基本形状は、筋肉変形記述子の集合として表される、請求項２０～２７のいずれか１項に記載のシステム。
  31. 前記生成された複数の修正された基本形状は、筋肉変形記述子の完全な集合であり、前記筋肉変形記述子の組み合わせは、一連の動作をアニメーション化することができる、請求項３０に記載のシステム。
  32. 前記基本形状は、筋肉ベースの顔面動作分析システム（ＦＡＣＳ）として表される、請求項２０～２７のいずれか１項に記載のシステム。
  33. 前記生成された複数の修正された基本形状は、完全な筋肉変形記述子のリグである、請求項３１に記載のシステム。
  34. 前記複数の基本形状は、顔又は顔の一部であり、前記複数の修正された基本形状を生成することは、眼球、角膜、歯、舌及び頭蓋骨のアセットからなる前記グループから選択される少なくとも一つの要素を生成することを含む、請求項２０～３３のいずれか１項に記載のシステム。
  35. 複数の基本形状は、顔又は顔の一部であり、前記複数の修正された基本形状を生成することは、前記修正された基本形状のために毛髪及びまつげのうち少なくとも１つのスタイルを生成することを含む、請求項２０～３４のいずれか１項に記載のシステム。
  36. 請求項２０～３５のいずれか１項に記載の前記システムによって生成された複数の基本形状を含む幾何学形状モデル。
  37. 仮想オブジェクト又はデジタルエンティティに適用される領域マスクを作成するための方法であって、
    少なくとも一つのモデルのために複数の基本形状を受信する工程であり、前記基本形状は、筋肉変形記述子の集合として表され、前記基本形状の組み合わせは、一連の動作をアニメーション化することができる工程と、
    各筋肉変形記述子をそれらの影響の領域に基づいてグループに分類する工程、及び
    前記影響の領域に基づいて少なくとも一つのモデルのために各基本形状の領域マスクを生成する工程、
    を含む、方法。
  38. 前記領域マスクは、変形していない筋肉の形状に対する計算された変形勾配に基づいて生成される、請求項３７に記載の方法。
  39. 前記筋肉変形記述子は、顔面動作分析システム（ＦＡＣＳ）を使用して表される、請求項３７に記載の方法。
  40. 前記筋肉変形記述子は、顔面動作分析システム（ＦＡＣＳ）の動作ユニット（ＡＵ）を使用して表される、請求項３７又は３９に記載の方法。
  41. 前記領域マスクは、ニュートラルなＦＡＣＳ形状に対する計算された変形勾配に基づいて生成される、請求項３９又は４０に記載の方法。
  42. 前記生成された領域マスクは、前頭部、左眼窩、右眼窩、鼻部、左頬、右頬、口、首部、及び残りの頭部の内の少なくとも一つを含む、請求項３７～４１のいずれか１項に記載の方法。
  43. 請求項３７～４２のいずれか１項に記載の方法を実行するようにプログラムされた又は動作可能である、コンピュータ。
  44. コンピュータ装置によって使用されるとき、前記コンピュータ装置に請求項３７～４２のいずれか一つの方法を実行させる、コンピュータ使用可能命令を記憶する一つ以上のコンピュータ読み取り可能媒体。
  45. 仮想オブジェクト又はデジタルエンティティに適用される領域マスクを作成するためのシステムであって、前記システムは、
    少なくとも一つのプロセッサ、及び
    前記少なくとも一つのプロセッサと通信しているメモリ、を備え、
    前記プロセッサは、
    少なくとも一つのモデルのための複数の基本形状であって、筋肉変形記述子の集合として表される前記複数の基本形状を受信し、各筋肉変形記述子を、それらの影響の領域に基づいてグループに分類し、且つ
    前記影響の領域に基づいて少なくとも一つのモデルのために各基本形状について領域マスクを生成する、
    ようにプログラムされている、システム。
  46. 前記領域マスクは、変形していない筋肉の形状に対する計算された変形勾配に基づいて生成される、請求項３４に記載のシステム。
  47. 前記生成された領域マスクは、前頭部、左眼窩、右眼窩、鼻部、左頬、右頬、口、首部、及び残りの頭部の内の少なくとも一つを含む、請求項４５又は４６に記載のシステム。
  48. 仮想オブジェクト又はデジタルエンティティに適用されるテクスチャモデルを作成する方法であって、
    少なくとも一つのモデルのために一つまたは複数のテクスチャマップを受信する工程、
    前記テクスチャマップの各々の上の複数のユニバーサルフィーチャロケータを識別する工程、
    前記テクスチャマップを各々が少なくとも一つの特徴を含む複数のレイヤに分離する工程、
    前記テクスチャマップに行われるべき１つまたは複数の修正を指定する複数の指定された修正変数を受信する工程、
    前記指定された１つまたは複数の修正を適用する工程、及び、
    前記レイヤをブレンドし、少なくとも一つのモデルのための一つまたは複数の修正されたテクスチャマップを作成する工程、
    を含む、方法。
  49. 少なくとも一つのモデルのための一つ以上のテクスチャマップを受信する工程は、複数のモデルのための一つ以上のテクスチャマップを受信する工程を含み、少なくとも一つのモデルのための一つ以上の修正されたテクスチャマップを生成するために、前記レイヤをブレンドする工程は、少なくとも二つのモデルからレイヤをブレンドし、少なくとも一つのモデルのための一つ以上の修正されたテクスチャマップを生成することを更に含む、請求項４８に記載の方法。
  50. 前記テクスチャマップは、一貫した照明条件を有する、請求項４８又は４９に記載の方法。
  51. 前記複数のテクスチャマップの各々に対して、ポイントどうしの対応を有する、請求項４８～５０のいずれか１項に記載の方法。
  52. 各モデルのための前記複数のテクスチャマップ上の個々の画素は、同じ顔面の解剖学的位置を示す、請求項４８～５１のいずれか１項に記載の方法。
  53. 前記複数のモデルの全てのための前記複数のテクスチャマップの全ては、同じサイズである、請求項４８～５２のいずれか１項に記載の方法。
  54. 前記テクスチャマップに対して行われるべき修正を指定する前記複数の指定された修正変数は、メイクアップレイヤを追加するための修正を指定する修正変数を含む、請求項４８～５３のいずれか１項に記載の方法。
  55. 前記テクスチャマップに対して行われるべき修正を指定する前記複数の指定された修正変数は、目の色、歯の白さ、皮膚の色素、斑点、入れ墨、及び傷痕からなる前記グループから選択される少なくとも一つの修正変数を含む、請求項４８～５４のいずれか１項に記載の方法。
  56. 前記テクスチャマップは、シェーディングモデルによって使用される前記仮想オブジェクト又はデジタルエンティティの空間的に変化するグラフィック品質を表す、請求項４８～５５のいずれか１項に記載の方法。
  57. 前記モデルの各々に対して、前記複数のテクスチャマップを、請求項１～１２のいずれか１項に記載の方法によって生成された複数の修正された基本形状に適用することを更に含む、請求項４８～５６のいずれか１項に記載の方法。
  58. 前記複数のユニバーサルフィーチャロケータは、手動、半自動的、又は自動的に識別される、請求項４８～５７のいずれか１項に記載の方法。
  59. メイクアップレイヤを生成する工程を更に含み、前記少なくとも一つのモデルのための一つ以上の修正されたテクスチャマップを作成するために前記レイヤをブレンドする工程は前記メイクアップレイヤをブレンドする工程を含む、請求項４８～５８のいずれか１項に記載の方法。
  60. 前記モデルの各々に対して、前記複数のテクスチャマップを、請求項１～１６のいずれか１項に記載の方法によって生成された複数の修正された基本形状に適用する工程を更に含む、請求項４８～５９のいずれか１項に記載の方法。
  61. 請求項４８～６０のいずれか１項に記載の方法を実行するようにプログラムされた又は動作可能である、コンピュータ。
  62. コンピュータ装置によって使用されるとき、前記コンピュータ装置に請求項４８～６０のいずれか１つの方法を実行させる、コンピュータ使用可能命令を記憶する一つ以上のコンピュータ読み取り可能媒体。
  63. 請求項４８～６０のいずれか１項に記載の方法によって生成された複数のテクスチャマップを含む、テクスチャモデル。
  64. 請求項５７に記載の方法によって生成された複数の基本形状を含む、幾何学形状モデル。
  65. 仮想オブジェクト又はデジタルエンティティに適用されるテクスチャモデルを生成するシステムであって、
    少なくとも一つのプロセッサ、及び
    前記少なくとも一つのプロセッサと通信しているメモリ、を備え、
    前記プロセッサは、
    少なくとも一つのモデルのための一つ以上のテクスチャマップを受信し、
    前記一つ以上のテクスチャマップの各々の上の複数のユニバーサルフィーチャロケータを識別し、
    各々が少なくとも一つの特徴を含む前記一つ以上のテクスチャマップの各々を複数のレイヤに分離し、前記一つ以上のテクスチャマップに対して行われるべき一つまたは複数の修正を指定する複数の指定された修正変数を受信し、
    前記指定された一つまたは複数の修正を適用し、レイヤをブレンドし、少なくとも一つのモデルのための一つ以上の修正されたテクスチャマップを生成する、
    ようにプログラムされているシステム。
  66. 少なくとも一つのモデルのための一つ以上のテクスチャマップを受信することは、複数のモデルのための一つ以上のテクスチャマップを受信することを更に含み、少なくとも一つのモデルのための一つ以上の修正されたテクスチャマップを作成するためにレイヤをブレンドすることは、少なくとも二つのモデルからレイヤをブレンドし、少なくとも一つのモデルのための一つ以上の修正されたテクスチャマップを作成することを更に含む、請求項６５に記載のシステム。
  67. 前記テクスチャマップは、一貫した照明条件を有する、請求項６５又は６６に記載のシステム。
  68. 各モデルのための前記複数のテクスチャマップは、ポイントどうしの対応を有する、請求項６５～６７のいずれか１項に記載のシステム。
  69. 各モデルに対する前記複数のテクスチャマップ上の個々の画素は、同じ顔面の解剖学的位置を示す、請求項６５～６８のいずれか１項に記載のシステム。
  70. 前記複数のモデルの全てのための前記複数のテクスチャマップの全ては、同じサイズである、請求項６５から６９のいずれか１項に記載のシステム。
  71. 前記テクスチャマップに対して行われるべき修正を指定する前記複数の指定された修正変数は、メイクアップレイヤを追加するための修正を指定する修正変数を含む、請求項６５～７０のいずれか１項に記載のシステム。
  72. 前記テクスチャマップに対して行われるべき修正を指定する前記複数の指定された修正変数は、目の色、歯の白さ、皮膚の色素、斑点、入れ墨、及び傷痕からなる前記グループから選択される少なくとも一つの修正変数を含む、請求項６５～７１のいずれか１項に記載のシステム。
  73. 前記プロセッサは、メイクアップレイヤを生成するように更にプログラムされ、前記レイヤをブレンドするとき、前記プロセッサは、前記メイクアップレイヤをブレンドして、前記少なくとも一つのモデルのための一つ以上の修正されたテクスチャマップを作成するようにプログラムされる、請求項６５～７２のいずれか１項に記載のシステム。
  74. 前記テクスチャマップは、シェーディングモデルによって使用される前記仮想オブジェクト又はデジタルエンティティの空間的に変化するグラフィック品質を表す、請求項６５～７３のいずれか１項に記載のシステム。
  75. 前記複数のユニバーサルフィーチャロケータは、手動、半自動的、又は自動的に識別される、請求項６５～７４のいずれか１項に記載のシステム。
  76. 前記プロセッサは、前記モデルの各々に対して、前記複数のテクスチャマップを、請求項２０～３５のいずれか１項に記載のシステムによって生成された複数の修正された基本形状に適用するように、更にプログラムされる、請求項６５～７５のいずれか１項に記載のシステム。
  77. 請求項６５～７５のいずれか１項に記載のシステムによって生成された複数のテクスチャマップを含むテクスチャモデル。
  78. 請求項７６に記載のシステムによって生成された複数の基本形状を含む幾何学形状モデル。
JP2021522403A 2018-10-26 2019-10-25 デジタルキャラクタブレンディング及び生成のシステム及び方法 Pending JP2022505746A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
NZ747626 2018-10-26
NZ74762618 2018-10-26
PCT/NZ2019/050142 WO2020085922A1 (en) 2018-10-26 2019-10-25 Digital character blending and generation system and method

Publications (2)

Publication Number Publication Date
JP2022505746A true JP2022505746A (ja) 2022-01-14
JPWO2020085922A5 JPWO2020085922A5 (ja) 2022-11-01

Family

ID=70330525

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021522403A Pending JP2022505746A (ja) 2018-10-26 2019-10-25 デジタルキャラクタブレンディング及び生成のシステム及び方法

Country Status (9)

Country Link
US (1) US11354844B2 (ja)
EP (1) EP3871194A4 (ja)
JP (1) JP2022505746A (ja)
KR (1) KR20210069093A (ja)
CN (1) CN112970046A (ja)
AU (1) AU2019364148A1 (ja)
CA (1) CA3111498A1 (ja)
SG (1) SG11202102961YA (ja)
WO (1) WO2020085922A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023148826A1 (ja) * 2022-02-01 2023-08-10 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理方法、及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11983834B1 (en) * 2019-11-14 2024-05-14 Radical Convergence Inc. Rapid generation of three-dimensional characters

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1039417B1 (en) 1999-03-19 2006-12-20 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Method and device for the processing of images based on morphable models
US7039222B2 (en) * 2003-02-28 2006-05-02 Eastman Kodak Company Method and system for enhancing portrait images that are processed in a batch mode
JP2007503966A (ja) 2003-05-13 2007-03-01 エレクトロニック アーツ インコーポレイテッド モーフターゲットと別の要素からのモーフィングを用いたビデオゲーム内のプレーヤーのカスタマイズ
JP4682373B2 (ja) 2005-11-01 2011-05-11 株式会社国際電気通信基礎技術研究所 顔画像合成装置、顔画像合成方法および顔画像合成プログラム
US20070229498A1 (en) 2006-03-29 2007-10-04 Wojciech Matusik Statistical modeling for synthesis of detailed facial geometry
WO2008151421A1 (en) 2007-06-11 2008-12-18 Darwin Dimensions Inc. User defined characteristics for inheritance based avatar generation
GB2450757A (en) 2007-07-06 2009-01-07 Sony Comp Entertainment Europe Avatar customisation, transmission and reception
WO2009067560A1 (en) * 2007-11-20 2009-05-28 Big Stage Entertainment, Inc. Systems and methods for generating 3d head models and for using the same
KR101608253B1 (ko) 2011-08-09 2016-04-01 인텔 코포레이션 이미지 기반 멀티 뷰 3d 얼굴 생성
US9607441B2 (en) 2012-10-02 2017-03-28 Autodesk, Inc. Morphological attractor for creating custom ancestors in inheritance-based character generation
US10181213B2 (en) * 2013-08-02 2019-01-15 Soul Machines Limited System for neurobehavioural animation
CN106204698A (zh) 2015-05-06 2016-12-07 北京蓝犀时空科技有限公司 为自由组合创作的虚拟形象生成及使用表情的方法和系统
CN107408290A (zh) 2015-07-09 2017-11-28 瑞穗情报综研株式会社 增龄化预测系统、增龄化预测方法以及增龄化预测程序
CN105488472B (zh) 2015-11-30 2019-04-09 华南理工大学 一种基于样本模板的数字化妆方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023148826A1 (ja) * 2022-02-01 2023-08-10 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
WO2020085922A1 (en) 2020-04-30
US11354844B2 (en) 2022-06-07
CA3111498A1 (en) 2020-04-30
EP3871194A1 (en) 2021-09-01
KR20210069093A (ko) 2021-06-10
AU2019364148A1 (en) 2021-06-03
EP3871194A4 (en) 2022-08-24
CN112970046A (zh) 2021-06-15
SG11202102961YA (en) 2021-04-29
US20210390751A1 (en) 2021-12-16

Similar Documents

Publication Publication Date Title
JP7198332B2 (ja) 画像正則化及びリターゲティングシステム
Li et al. Learning a model of facial shape and expression from 4D scans.
US11270489B2 (en) Expression animation generation method and apparatus, storage medium, and electronic apparatus
Ichim et al. Phace: Physics-based face modeling and animation
US7804997B2 (en) Method and system for a three dimensional facial recognition system
Bailey et al. Fast and deep deformation approximations
Ersotelos et al. Building highly realistic facial modeling and animation: a survey
US9202312B1 (en) Hair simulation method
CN111833236B (zh) 产生模拟用户的三维脸部模型的方法及装置
KR20090081004A (ko) 모션 픽쳐에서의 표면 캡처링
CN103208133A (zh) 一种图像中人脸胖瘦的调整方法
JP2024500896A (ja) ３ｄ頭部変形モデルを生成するための方法、システム及び方法
JP2024503794A (ja) ２次元（２ｄ）顔画像から色を抽出するための方法、システム及びコンピュータプログラム
JP2022505746A (ja) デジタルキャラクタブレンディング及び生成のシステム及び方法
JP2024506170A (ja) 個人化された３ｄ頭部モデルおよび顔モデルを形成するための方法、電子装置、およびプログラム
CN114359453A (zh) 一种三维特效渲染方法、装置、存储介质及设备
Zhang et al. Anatomy-based face reconstruction for animation using multi-layer deformation
Liu et al. Three-dimensional cartoon facial animation based on art rules
Liu et al. RAS: A Data‐Driven Rigidity‐Aware Skinning Model For 3D Facial Animation
US10878610B1 (en) Generating an animation feature from line deformations
CN114514564B (zh) 资讯处理装置及资讯处理方法
Li et al. Physically-based facial modeling and animation with Unity3D game engine
CN117671090A (zh) 一种表情处理方法、装置、电子设备及存储介质
CN115023742A (zh) 具有详细褶皱的面部网格变形
Lin Three dimensional modeling and animation of facial expressions

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20210423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221024

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240109

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240307