JP2022539101A - テクスチャ操作を使用するアニメーション化された顔 - Google Patents

テクスチャ操作を使用するアニメーション化された顔 Download PDF

Info

Publication number
JP2022539101A
JP2022539101A JP2021577058A JP2021577058A JP2022539101A JP 2022539101 A JP2022539101 A JP 2022539101A JP 2021577058 A JP2021577058 A JP 2021577058A JP 2021577058 A JP2021577058 A JP 2021577058A JP 2022539101 A JP2022539101 A JP 2022539101A
Authority
JP
Japan
Prior art keywords
face
layer
graphical element
animation
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021577058A
Other languages
English (en)
Other versions
JP7364702B2 (ja
Inventor
ディーパック・チャンドラセカレン
スティーブン・ジョーブ
ヴィンス・ダミリオ
Original Assignee
ロブロックス・コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ロブロックス・コーポレーション filed Critical ロブロックス・コーポレーション
Publication of JP2022539101A publication Critical patent/JP2022539101A/ja
Application granted granted Critical
Publication of JP7364702B2 publication Critical patent/JP7364702B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/503Blending, e.g. for anti-aliasing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

テクスチャ操作を使用してアニメーション化された顔を作成する方法およびシステムが提供される。ユーザが顔の特徴を定義することを可能にするための顔テンプレートが提供される。最下層と、アニメーション層と、静止層とを含む複数の層から合成顔が作成される。合成顔は、層のうちの1つまたは複数を選択的にアニメーション化することによってアニメーション化される。

Description

実施形態は、一般に、コンピュータベースのゲームに関し、より詳細には、コンピュータ対応ゲームにおけるゲームキャラクタのアニメーションのための方法、システム、およびコンピュータ可読媒体に関する。
いくつかのオンラインゲームプラットフォームは、ユーザが互いに接続すること、(たとえば、ゲーム内で)互いに対話すること、および/またはネットワークを介して(たとえば、インターネット上で)互いに情報を共有することを可能にする。オンラインゲームプラットフォームのユーザは、マルチプレイヤーゲーム環境に(たとえば、仮想2次元または3次元環境に)参加すること、カスタムゲーム環境をデザインすること、キャラクタとアバターとをデザインすること、アバターを装飾すること、他のユーザと仮想アイテムを交換すること、オーディオメッセージング、ビデオメッセージング、またはテキストメッセージングを使用して他のユーザと通信することなどを行い得る。
キャラクタのアニメーションは、より豊かなゲーム体験をプレイヤーに提供する。しかしながら、キャラクタをアニメーション化するための現在の技法の欠点に対処するために、改善が必要である。
いくつかの実装形態は、上記の必要性に照らして着想された。
本明細書で説明されている実装形態は、キャラクタのアニメーションに関する。いくつかの実装形態では、目、眉毛、鼻、および口のうちの少なくとも1つを含む顔の2次元(2D)画像をアニメーション化する方法は、複数のセルを備える格子配列を定義するステップを含む。いくつかの実装形態では、複数のセルのうちの特定のセルは、アニメーション化されるべき顔の特徴に対応する。少なくともいくつかの実装形態では、アニメーション化されるべき特徴は、目を表す第1のグラフィカル要素、鼻を表す第2のグラフィカル要素、および口を表す第3のグラフィカル要素のうちの少なくとも1つを含む。
方法は、アニメーション化されるべき顔の特徴をアニメーション層内に配置するステップと、顔の静的特徴を含む最下層の上にアニメーション層をオーバーレイするステップとをさらに含む。いくつかの実装形態では、静的特徴は、目の虹彩を表す第4のグラフィカル要素、および口の内側を表す第5のグラフィカル要素のうちの少なくとも1つを含む。
方法は、アニメーション層の上に最上層をオーバーレイするステップをさらに含む。いくつかの実装形態では、最上層は、顔に関連付けられた少なくとも1つのさらなる静的特徴を含む。いくつかの実装形態では、最下層、最下層の上にオーバーレイされたアニメーション層、アニメーション層の上にオーバーレイされた最上層は、一緒に顔の2D画像を形成する。
方法は、最下層内の静的特徴および最上層内の少なくとも1つのさらなる静的特徴が静止している間に、格子配列の特定のセルに対応する、顔の特徴の少なくとも一部を選択的にアニメーション化するステップをさらに含む。
いくつかの実装形態では、第1のグラフィカル要素は、少なくとも部分的に透明であり、目を表す第1のグラフィカル要素が虹彩を表す第4のグラフィカル要素の上にオーバーレイされたときに、虹彩が2次元画像において見えるようにすることができる。いくつかの実装形態では、第3のグラフィカル要素が、少なくとも部分的に透明であり、口を表す第3のグラフィカル要素が口の内側を表す第5のグラフィカル要素の上にオーバーレイされたときに、口の内側が2次元画像において見えるようにすることができる。
いくつかの実装形態では、最下層は、第1の最下層を含み、最上層は、第1の最上層を含み、顔は、第1の顔を含み、2D画像は、第1の2D画像を含む。いくつかの実装形態では、方法は、第2の顔の第2の2D画像に関連付けられた第2の最下層の上にアニメーション層をオーバーレイするステップと、第2の最下層の上にオーバーレイされたアニメーション層の上に第2の最上層をオーバーレイするステップとをさらに含む。いくつかの実装形態では、第2の最下層、第2の最下層の上にオーバーレイされたアニメーション層、およびアニメーション層の上にオーバーレイされた第2の最上層は、一緒に第2の顔の第2の2D画像を形成する。
いくつかの実装形態では、方法は、第2の顔の第2の2D画像をアニメーション化するために、格子配列の特定のセル内に含まれる部分のうちの少なくとも1つを選択的にアニメーション化するステップをさらに含む。
いくつかの実装形態では、顔に関連付けられた少なくとも1つのさらなる静的特徴は、髪、帽子、眼鏡、傷跡、または眼帯のうちの1つまたは複数を含む。いくつかの実装形態では、顔の特徴の少なくとも一部を選択的にアニメーション化するステップは、特徴の少なくとも一部に対応する少なくとも1つのセルの座標に従って、アニメーション化されたアニメーションのための特徴の少なくとも一部を選択するステップと、少なくとも1つのセルに対応するピクセルをアルゴリズムで修正するステップとを含む。
いくつかの実装形態では、方法は、ユーザが顔の特徴を格子配列の対応するセルにマッピングすることを可能にするユーザインタフェース(UI)を提供するステップをさらに含む。いくつかの実装形態では、方法は、顔の特徴を格子配列の対応するセルにマッピングするために、自動顔追跡技法を使用するステップをさらに含む。これらの実装形態のうちの少なくともいくつかでは、自動顔追跡技法は、カメラを含む。
いくつかの実装形態は、目、眉毛、鼻、および口のうちの少なくとも1つを含む顔の2次元(2D)画像をアニメーション化するシステムを含む。システムは、メモリと、複数のセルを含む格子配列を定義する動作を含む動作を実行するかまたは実行させるように構成された、メモリに結合された処理デバイスとを含む。いくつかの実装形態では、複数のセルのうちの特定のセルは、アニメーション化されるべき顔の特徴に対応し、アニメーション化されるべき特徴は、目を表す第1のグラフィカル要素、鼻を表す第2のグラフィカル要素、および口を表す第3のグラフィカル要素のうちの少なくとも1つを含む。
いくつかの実装形態では、動作は、アニメーション化されるべき顔の特徴をアニメーション層内に配置する動作と、顔の静的特徴を含む最下層の上にアニメーション層をオーバーレイする動作とを含む。実装形態のうちの少なくともいくつかでは、静的特徴は、目の虹彩を表す第4のグラフィカル要素、および口の内側を表す第5のグラフィカル要素のうちの少なくとも1つを含む。
いくつかの実装形態では、動作は、アニメーション層の上に最上層をオーバーレイする動作をさらに含む。いくつかの実装形態では、最上層は、顔に関連付けられた少なくとも1つのさらなる静的特徴を含み、最下層、最下層の上にオーバーレイされたアニメーション層、アニメーション層の上にオーバーレイされた最上層は、一緒に顔の2D画像を形成する。
いくつかの実装形態では、動作は、最下層内の静的特徴および最上層内の少なくとも1つのさらなる静的特徴が静止している間に、格子配列の特定のセルに対応する、顔の特徴の少なくとも一部を選択的にアニメーション化する動作を含む。
いくつかの実装形態では、第1のグラフィカル要素は、少なくとも部分的に透明であり、目を表す第1のグラフィカル要素が虹彩を表す第4のグラフィカル要素の上にオーバーレイされたときに、虹彩が2次元画像において見えるようにすることができる。
いくつかの実装形態では、第3のグラフィカル要素は、少なくとも部分的に透明であり、口を表す第3のグラフィカル要素が口の内側を表す第5のグラフィカル要素の上にオーバーレイされたときに、口の内側が2次元画像において見えるようにすることができる。いくつかの実装形態では、最下層は、第1の最下層を含み、最上層は、第1の最上層を含み、顔は、第1の顔を含み、2D画像は、第1の2D画像を含む。
いくつかの実装形態では、動作は、第2の顔の第2の2D画像に関連付けられた第2の最下層の上にアニメーション層をオーバーレイする動作と、第2の最下層の上にオーバーレイされたアニメーション層の上に第2の最上層をオーバーレイする動作とをさらに含む。いくつかの実装形態では、第2の最下層、第2の最下層の上にオーバーレイされたアニメーション層、およびアニメーション層の上にオーバーレイされた第2の最上層は、一緒に第2の顔の第2の2D画像を形成する。
いくつかの実装形態では、動作は、第2の顔の第2の2D画像をアニメーション化するために、格子配列の特定のセル内に含まれる部分のうちの少なくとも1つを選択的にアニメーション化する動作を含む。いくつかの実装形態では、顔に関連付けられた少なくとも1つのさらなる静的特徴は、髪、帽子、眼鏡、傷跡、または眼帯のうちの1つまたは複数を含む。
いくつかの実装形態では、動作は、ユーザが顔の特徴を格子配列の対応するセルにマッピングすることを可能にするユーザインタフェース(UI)を提供する動作をさらに含む。
いくつかの実装形態は、処理デバイスによる実行に応答して、処理デバイスに、複数のセルを含む格子配列を定義する動作を含む動作を実行させるか、または実行させるようにさせる命令を含む非一時的コンピュータ可読媒体を含む。いくつかの実装形態では、複数のセルのうちの特定のセルは、アニメーション化されるべき顔の特徴に対応し、アニメーション化されるべき特徴は、目を表す第1のグラフィカル要素、鼻を表す第2のグラフィカル要素、および口を表す第3のグラフィカル要素のうちの少なくとも1つを含む。
いくつかの実装形態では、動作は、アニメーション化されるべき顔の特徴をアニメーション層内に配置する動作と、顔の静的特徴を含む最下層の上にアニメーション層をオーバーレイする動作とを含む。これらの実装形態のうちのいくつかでは、静的特徴は、目の虹彩を表す第4のグラフィカル要素、および口の内側を表す第5のグラフィカル要素のうちの少なくとも1つを含む。
いくつかの実装形態では、動作は、アニメーション層の上に最上層をオーバーレイする動作を含む。これらの実装形態のうちのいくつかでは、最上層は、顔に関連付けられた少なくとも1つのさらなる静的特徴を含み、最下層、最下層の上にオーバーレイされたアニメーション層、アニメーション層の上にオーバーレイされた最上層は、一緒に顔の2次元画像を形成する。
いくつかの実装形態では、動作は、最下層内の静的特徴および最上層内の少なくとも1つのさらなる静的特徴が静止している間に、格子配列の特定のセルに対応する顔の特徴の少なくとも一部を選択的にアニメーション化する動作を含む。
いくつかの実装形態では、第1のグラフィカル要素は、少なくとも部分的に透明であり、目を表す第1のグラフィカル要素が虹彩を表す第4のグラフィカル要素の上にオーバーレイされたときに、虹彩が2次元画像において見えるようにすることができる。
いくつかの実装形態では、動作は、ユーザが顔の特徴を格子配列の対応するセルにマッピングすることを可能にするユーザインタフェース(UI)を提供する動作をさらに含む。いくつかの実装形態では、動作は、顔の特徴を格子配列の対応するセルにマッピングするために、自動顔追跡技法を使用する動作をさらに含む。これらの実装形態のうちのいくつかでは、自動顔追跡技法は、カメラを含む。
いくつかの実装形態による、オンラインゲームアニメーションのための例示的なシステムアーキテクチャの図である。 いくつかの実装形態による、顔テンプレートを示す図である。 いくつかの実装形態による、多層合成顔の層を示す図である。 いくつかの実装形態による、顔をアニメーション化する方法を示すフローチャートである。 いくつかの実装形態による、合成顔を示す図である。 いくつかの実装形態による、アニメーション層内の特徴のアニメーションから結果として生じるアニメーションフレームのシーケンスを示す図である。 いくつかの実装形態による、最下(下)層内の特徴のアニメーションから結果として生じるアニメーションフレームのシーケンスを示す図である。 いくつかの実装形態による、例示的なコンピューティングデバイスを示すブロック図である。
以下の詳細な説明では、本明細書の一部を形成する添付の図面への参照がなされる。図面では、文脈が別段の指示をしていない限り、典型的には、同様の記号は、同様の構成要素を識別する。詳細な説明、図面、および特許請求の範囲において説明されている例示的な実施形態は、限定することを意味していない。本明細書で提示されている主題の要旨または範囲から逸脱することなく、他の実施形態が利用され得、他の変更がなされ得る。本開示の態様は、本明細書で一般的に説明され、図に示されているように、多種多様な異なる構成において配置され得、置換され得、組み合わされ得、分割され得、設計され得、それらのすべてが本明細書において企図されている。
オンラインゲームプラットフォーム(「ユーザ生成コンテンツプラットフォーム」または「ユーザ生成コンテンツシステム」とも呼ばれる)は、ユーザが互いに対話するための様々な方法を提供する。たとえば、オンラインゲームプラットフォームのユーザは、共通の目標に向かって協力すること、様々な仮想ゲームアイテムを共有すること、相互に電子メッセージを送信することなどを行い得る。オンラインゲームプラットフォームのユーザは、仮想キャラクタとしてゲームに参加し、ゲーム固有の役割を演じ得る。たとえば、仮想キャラクタは、各キャラクタに特定の役割が割り当てられ、各キャラクタが役割に対応する関連パラメータ、たとえば、衣類、防具、武器、スキルなどを有するチームまたはマルチプレイヤー環境の一部であり得る。別の例では、仮想キャラクタは、たとえば、単一のプレイヤーがゲームの一部である場合、コンピュータで生成されたキャラクタによって参加され得る。
オンラインゲームプラットフォームはまた、プラットフォームのユーザが新しいキャラクタおよびアバターを作成し、アニメーション化することを可能にし得る。たとえば、オンラインゲームプラットフォームのユーザは、新しいキャラクタを作成し、デザインし、カスタマイズすることが可能であり得る。
いくつかの実装形態では、アニメーションは、歩く、走る、ジャンプする、踊る、戦う、剣などの武器を振り回すなどの動きをシミュレートするために、1つまたは複数の身体部分を動かすキャラクタを含み得る。いくつかの実装形態では、キャラクタは、キャラクタの身体の一部または全体が動く顔の表情を生成し得る。アニメーションは、様々な動き、たとえば、優雅な動き、戦士のような動き、バレエのような動きなどに対応し得、人気のある実在のキャラクタおよび架空のキャラクタの動きを模倣し得る。
ユーザがキャラクタを作成し、アニメーション化することを可能にするために、特に、素人のユーザにとって学習および使用するのが容易なアニメーションの方法が提供され得る。
異なる顔の特徴を有する画像の複数の層をオーバーレイすることによって、目、眉毛、鼻、口などを有する顔の2次元(2D)画像がユーザによって作成され得、アニメーションを作成するために層のうちのいくつかだけが変更されるようなテクスチャ操作によってアニメーションが提供され得る。
図1は、本開示のいくつかの実装形態による、例示的なシステムアーキテクチャ100を示す。図1および他の図は、同様の要素を識別するために同様の参照番号を使用する。「110」などの参照番号の後の文字は、テキストがその特定の参照番号を有する要素を特に指していることを示す。「110」などの後続の文字のないテキスト中の参照番号は、その参照番号を有する図中の要素のうちのいずれかまたはすべてを指す(たとえば、テキスト中の「110」は、図中の「110a」、「110b」、および/または「110n」を指す)。
システムアーキテクチャ(本明細書では「システム」とも呼ばれる)は、オンラインゲームサーバ102と、データストア120と、クライアントデバイス110a、110b、および110n(本明細書では総称して「クライアントデバイス110」と呼ばれる)とを含む。ゲーミングサーバ102、データストア120、およびクライアントデバイス110は、ネットワーク122を介して結合される。
オンラインゲームサーバ102は、とりわけ、ゲームエンジン104と、1つまたは複数のゲーム106と、グラフィックエンジン108とを含むことができる。クライアントデバイス110は、ゲームアプリケーション112と、入力/出力(I/O)インタフェース114(たとえば、入力/出力デバイス)を含むことができる。入力/出力デバイスは、マイクロフォン、スピーカ、ヘッドフォン、ディスプレイデバイス、マウス、キーボード、ゲームコントローラ、タッチスクリーン、仮想現実コンソールなどのうちの1つまたは複数を含むことができる。
システムアーキテクチャ100は、例示のために提供されている。異なる実装形態では、システムアーキテクチャ100は、図1に示されているものと同じまたは異なる方法で構成された、同じ、より少ない、より多い、または異なる要素を含み得る。
いくつかの実装形態では、ネットワーク122は、公衆ネットワーク(たとえば、インターネット)、プライベートネットワーク(たとえば、ローカルエリアネットワーク(LAN)またはワイドエリアネットワーク(WAN)、有線ネットワーク(たとえば、イーサネットネットワーク)、ワイヤレスネットワーク(たとえば、802.11ネットワーク、Wi-Fi(登録商標)ネットワーク、またはワイヤレスLAN(WLAN))、セルラーネットワーク(たとえば、5Gネットワーク、ロングタームエボリューション(LTE)ネットワークなど)、ルータ、ハブ、スイッチ、サーバコンピュータ、またはそれらの組合せを含み得る。
いくつかの実装形態では、データストア120は、非一時的なコンピュータ可読メモリ(たとえば、ランダムアクセスメモリ)、キャッシュ、ドライブ(たとえば、ハードドライブ)、フラッシュドライブ、データベースシステム、またはデータを記憶することができる別のタイプの構成要素もしくはデバイスであり得る。データストア120は、複数のコンピューティングデバイス(たとえば、複数のサーバコンピュータ)にもまたがり得る複数のストレージ構成要素(たとえば、複数のドライブまたは複数のデータベース)も含み得る。
いくつかの実装形態では、オンラインゲームサーバ102は、1つまたは複数のコンピューティングデバイス(たとえば、クラウドコンピューティングシステム、ラックマウントサーバ、サーバコンピュータ、物理サーバのクラスタなど)を有するサーバを含むことができる。いくつかの実装形態では、オンラインゲームサーバ102は、独立したシステムであり得、複数のサーバを含み得、または別のシステムもしくはサーバの一部であり得る。
いくつかの実装形態では、オンラインゲームサーバ102は、1つまたは複数のコンピューティングデバイス(ラックマウントサーバ、ルータコンピュータ、サーバコンピュータ、パーソナルコンピュータ、メインフレームコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、デスクトップコンピュータなど)、データストア(たとえば、ハードディスク、メモリ、データベース)、ネットワーク、ソフトウェア構成要素、および/またはオンラインゲームサーバ102上で動作を実行し、ユーザにオンラインゲームサーバ102へのアクセスを提供するために使用され得るハードウェア構成要素を含み得る。オンラインゲームサーバ102は、オンラインゲームサーバ102によって提供されるコンテンツへのアクセスをユーザに提供するために使用され得るウェブサイト(たとえば、ウェブページ)またはアプリケーションバックエンドソフトウェアも含み得る。たとえば、ユーザは、クライアントデバイス110上のゲームアプリケーション112を使用してオンラインゲームサーバ102にアクセスし得る。
いくつかの実装形態では、オンラインゲームサーバ102は、ユーザ間の接続を提供する一種のソーシャルネットワーク、またはユーザ(たとえば、エンドユーザまたは消費者)がオンラインゲームサーバ102上の他のユーザと通信することを可能にする一種のユーザ生成コンテンツシステムであり得、通信は、音声チャット(たとえば、同期および/または非同期の音声通信)、ビデオチャット(たとえば、同期および/または非同期のビデオ通信)、またはテキストチャット(たとえば、同期および/または非同期のテキストベースの通信)を含み得る。本開示のいくつかの実装形態では、「ユーザ」は、単一の個人として表され得る。しかしながら、本開示の他の実装形態は、ユーザのセットまたは自動化されたソースによって制御されるエンティティである「ユーザ」(たとえば、作成ユーザ)を包含する。たとえば、ユーザ生成コンテンツシステムにおけるコミュニティまたはグループとして連合された個々のユーザのセットは、「ユーザ」と見なされ得る。
いくつかの実装形態では、オンラインゲームサーバ102は、仮想ゲームサーバであり得る。たとえば、ゲームサーバは、ネットワーク122を介してクライアントデバイス110を使用してゲームにアクセスまたはゲームと対話し得るユーザのコミュニティにシングルプレイヤーゲームまたはマルチプレイヤーゲームを提供し得る。いくつかの実装形態では、ゲーム(本明細書では「ビデオゲーム」、「オンラインゲーム」、または「仮想ゲーム」とも呼ばれる)は、たとえば、2次元(2D)ゲーム、3次元(3D)ゲーム(たとえば、3Dユーザ生成ゲーム)、仮想現実(VR)ゲーム、または拡張現実(AR)ゲームであり得る。いくつかの実装形態では、ユーザは、他のユーザとのゲームプレイに参加し得る。いくつかの実装形態では、ゲームは、ゲームの他のユーザとリアルタイムでプレイされ得る。
いくつかの実装形態では、ゲームプレイは、ゲーム(たとえば、106)内のクライアントデバイス(たとえば、110)を使用する1人または複数のプレイヤーの対話、またはクライアントデバイス110のディスプレイまたは他のユーザインタフェース(たとえば、114)における対話の提示を指し得る。
いくつかの実装形態では、ゲーム106は、ゲームコンテンツ(たとえば、デジタルメディアアイテム)をエンティティに提示するように構成されたソフトウェア、ファームウェア、またはハードウェアを使用して実行またはロードされ得る電子ファイルを含むことができる。いくつかの実装形態では、ゲームアプリケーション112が実行され得、ゲーム106がゲームエンジン104に関連してレンダリングされ得る。いくつかの実装形態では、ゲーム106は、共通のルールのセットまたは共通の目標を有し得、ゲーム106の環境は、共通のルールのセットまたは共通の目標を共有する。いくつかの実装形態では、異なるゲームは、互いに異なるルールまたは目標を有し得る。
いくつかの実装形態では、ゲームは、複数の環境がリンクされ得る1つまたは複数の環境(本明細書では「ゲーム環境」または「仮想環境」とも呼ばれる)を有し得る。環境の例は、3次元(3D)環境であり得る。ゲーム106の1つまたは複数の環境は、本明細書では、集合的に「世界」または「ゲーム世界」または「仮想世界」または「ユニバース」と呼ばれる場合がある。世界の例は、ゲーム106の3D世界であり得る。たとえば、ユーザは、別のユーザによって作成された別の仮想環境にリンクされた仮想環境を構築し得る。仮想ゲームのキャラクタは、隣接する仮想環境に入るために仮想境界を越え得る。
3D環境または3D世界は、ゲームコンテンツを表す幾何学的データの3次元表現を提供する(または幾何学的データの3D表現が使用されているかどうかにかかわらず、少なくともゲームコンテンツを3Dコンテンツとして現れるように提示する)グラフィックを使用することが留意され得る。2D環境または2D世界は、ゲームコンテンツを表す幾何学的データの2次元表現を提供するグラフィックを使用する。
いくつかの実装形態では、オンラインゲームサーバ102は、1つまたは複数のゲーム106をホストすることができ、ユーザがクライアントデバイス110のゲームアプリケーション112を使用してゲーム106と対話することを許可することができる。オンラインゲームサーバ102のユーザは、ゲーム106をプレイし得、ゲーム106を作成し得、ゲーム106と対話し得、ゲーム106を構築し得、他のユーザと通信し得、ならびに/またはゲーム106のオブジェクト(たとえば、本明細書では、「アイテム」または「ゲームオブジェクト」、または「仮想ゲームアイテム」とも呼ばれる)を作成および構築し得る。たとえば、ユーザ生成仮想アイテムを生成する際に、ユーザは、とりわけ、キャラクタ、キャラクタのためのアニメーション、キャラクタのための装飾、インタラクティブゲーム用の1つまたは複数の仮想環境、またはゲーム106において使用されるビルド構造を作成し得る。いくつかの実装形態では、ユーザは、プラットフォーム内通貨(たとえば、仮想通貨)などのゲーム仮想ゲームオブジェクトを、オンラインゲームサーバ102の他のユーザと購入、販売、または交換し得る。いくつかの実装形態では、オンラインゲームサーバ102は、ゲームコンテンツをゲームアプリケーション(たとえば、112)に送信し得る。いくつかの実装形態では、ゲームコンテンツ(本明細書では「コンテンツ」とも呼ばれる)は、オンラインゲームサーバ102またはゲームアプリケーションに関連する任意のデータまたはソフトウェア命令(たとえば、ゲームオブジェクト、ゲーム、ユーザ情報、ビデオ、画像、コマンド、メディアアイテムなど)を指す場合がある。いくつかの実装形態では、ゲームオブジェクト(たとえば、本明細書では「アイテム」または「オブジェクト」または「仮想ゲームアイテム」とも呼ばれる)は、オンラインゲームサーバ102のゲームアプリケーション106またはクライアントデバイス110のゲームアプリケーション112において使用、作成、共有、または他の方法で描写されるオブジェクトを指す場合がある。たとえば、ゲームオブジェクトは、部品、モデル、キャラクタ、またはそれらの構成要素(顔、腕、唇など)、ツール、武器、衣類、建物、車両、通貨、植物相、動物相、前述の構成要素(たとえば、建物の窓)などを含み得る。
ゲーム106をホストするオンラインゲームサーバ102は、例示の目的のために提供されていることが留意され得る。いくつかの実装形態では、オンラインゲームサーバ102は、1人のユーザから1人または複数の他のユーザへの通信メッセージを含むことができる1つまたは複数のメディアアイテムをホストし得る。メディアアイテムは、限定はしないが、デジタルビデオ、デジタルムービー、デジタル写真、デジタル音楽、オーディオコンテンツ、メロディ、ウェブサイトコンテンツ、ソーシャルメディアアップデート、電子書籍、電子雑誌、電子新聞、デジタルオーディオブック、電子ジャーナル、ウェブログ、リアルシンプルシンジケーション(real simple syndication)(RSS)フィード、電子コミックブック、ソフトウェアアプリケーションなどを含むことができる。いくつかの実装形態では、メディアアイテムは、デジタルメディアアイテムをエンティティに提示するように構成されたソフトウェア、ファームウェア、またはハードウェアを使用して実行またはロードされ得る電子ファイルであり得る。
いくつかの実装形態では、ゲーム106は、特定のユーザもしくはユーザの特定のグループに関連付けられ得るか、またはオンラインゲームサーバ102のユーザに広く利用可能にされ得る(たとえば、パブリックゲーム)。いくつかの実装形態では、オンラインゲームサーバ102が1つまたは複数のゲーム106を特定のユーザまたはユーザのグループと関連付ける場合、オンラインゲームサーバ102は、ユーザアカウント情報(たとえば、ユーザ名およびパスワードなどのユーザアカウント識別子)を使用して、特定のユーザをゲーム102と関連付け得る。
いくつかの実装形態では、オンラインゲームサーバ120またはクライアントデバイス110は、ゲームエンジン104またはゲームアプリケーション112を含み得る。いくつかの実装形態では、ゲームエンジン104は、ゲーム106の開発または実行のために使用され得る。たとえば、ゲームエンジン104は、数ある機能の中でも、2D、3D、VR、もしくはARグラフィックのためのレンダリングエンジン(「レンダラー」)、物理エンジン、衝突検出エンジン(および衝突応答)、サウンドエンジン、スクリプト機能、アニメーションエンジン、人工知能エンジン、ネットワーキング機能、ストリーミング機能、メモリ管理機能、スレッド機能、シーングラフ機能、またはシネマティクス用のビデオサポートなどの機能を含み得る。ゲームエンジン104の構成要素は、ゲームを計算およびレンダリングするのを助けるコマンド(たとえば、レンダリングコマンド、衝突コマンド、アニメーションコマンド、物理コマンドなど)を生成し得る。いくつかの実装形態では、クライアントデバイス110のゲームアプリケーション112は、それぞれ、独立して、オンラインゲームサーバ102のゲームエンジン104と協働して、またはその両方を組み合わせて動作し得る。
いくつかの実装形態では、オンラインゲームサーバ102とクライアントデバイス110の両方は、ゲームエンジン(それぞれ、104および112)を実行し得る。ゲームエンジン104を使用するオンラインゲームサーバ102は、いくつかもしくはすべてのゲームエンジン機能(たとえば、物理コマンド、レンダリングコマンドなどを生成する)を実行するか、またはいくつかもしくはすべてのゲームエンジン機能をクライアントデバイス110のゲームエンジン104にオフロードし得る。いくつかの実装形態では、各ゲーム106は、オンラインゲームサーバ102において実行されるゲームエンジン機能と、クライアントデバイス110において実行されるゲームエンジン機能との間に異なる比率を有し得る。たとえば、オンラインゲームサーバ102のゲームエンジン104は、少なくとも2つのゲームオブジェクト間に衝突が存在する場合、物理コマンドを生成するために使用され得、一方、追加のゲームエンジン機能(たとえば、レンダリングコマンドを生成する)は、クライアントデバイス110にオフロードされ得る。いくつかの実装形態では、オンラインゲームサーバ102およびクライアントデバイス110において実行されるゲームエンジン機能の比率は、ゲームプレイ条件に基づいて(たとえば、動的に)変更され得る。たとえば、特定のゲーム106のゲームプレイに参加するユーザの数がしきい値数を超える場合、オンラインゲームサーバ102は、クライアントデバイス110によって以前に実行された1つまたは複数のゲームエンジン機能を実行し得る。
たとえば、ユーザは、クライアントデバイス110においてゲーム106をプレイしている場合があり、制御命令(たとえば、右、左、上、下、ユーザ選択、またはキャラクタの位置および速度情報などのユーザ入力)をオンラインゲームサーバ102に送信し得る。クライアントデバイス110から制御命令を受信した後、オンラインゲームサーバ102は、制御命令に基づいて、ゲームプレイ命令(たとえば、グループゲームプレイに参加しているキャラクタの位置および速度情報、またはレンダリングコマンド、衝突コマンドなどのコマンド)をクライアントデバイス110に送信し得る。たとえば、オンラインゲームサーバ102は、クライアントデバイス110のためのゲームプレイ命令を生成するために、(たとえば、ゲームエンジン104を使用して)制御命令に対して1つまたは複数の論理演算を実行し得る。他の例では、オンラインゲームサーバ102は、1つのクライアントデバイス110からの制御命令のうちの1つまたは複数を、ゲーム106に参加している他のクライアントデバイスに(たとえば、クライアントデバイス110aからクライアントデバイス110bに)渡し得る。クライアントデバイス110は、ゲームプレイ命令を使用し、クライアントデバイス110のディスプレイ上に提示するためにゲームプレイをレンダリングし得る。
いくつかの実装形態では、制御命令は、ユーザのキャラクタのゲーム内のアクションを示す命令を指す場合がある。たとえば、制御命令は、右、左、上、下、ユーザ選択、ジャイロスコープの位置および方位データ、力センサデータなどの、ゲーム内のアクションを制御するユーザ入力を含み得る。制御命令は、キャラクタの位置および速度情報を含み得る。いくつかの実装形態では、制御命令は、オンラインゲームサーバ120に直接送信される。他の実装形態では、制御命令は、クライアントデバイス110から別のクライアントデバイスに(たとえば、クライアントデバイス110bからクライアントデバイス110nに)送信され得、他のクライアントデバイスは、ローカルゲームエンジン104を使用してゲームプレイ命令を生成する。制御命令は、オーディオデバイス(たとえば、スピーカ、ヘッドフォンなど)において別のユーザからの音声通信メッセージまたは他の音、たとえば、本明細書で説明されているようにオーディオ空間化技法を使用して生成された音声通信または他の音を再生する命令を含み得る。
いくつかの実装形態では、ゲームプレイ命令は、クライアントデバイス110がマルチプレイヤーゲームなどのゲームのゲームプレイをレンダリングすることを可能にする命令を指す場合がある。ゲームプレイ命令は、ユーザ入力(たとえば、制御命令)、キャラクタの位置および速度情報、またはコマンド(たとえば、物理コマンド、レンダリングコマンド、衝突コマンドなど)のうちの1つまたは複数を含み得る。
いくつかの実装形態では、キャラクタ(または一般にゲームオブジェクト)は、編集する際にユーザを支援するために自動的に結合する、その1つまたは複数がユーザによって選択され得る構成要素から構築される。1つまたは複数のキャラクタ(本明細書では、「アバター」または「モデル」とも呼ばれる)は、ユーザに関連付けられ得、ユーザは、ゲーム106とのユーザの対話を容易にするためにキャラクタを制御し得る。いくつかの実装形態では、キャラクタは、身体部分(たとえば、髪、腕、脚など)の構成要素および付属品(たとえば、Tシャツ、眼鏡、装飾画像、ツールなど)などの構成要素を含み得る。いくつかの実装形態では、カスタマイズ可能なキャラクタの身体部分は、数ある中で、頭部タイプ、身体部分タイプ(腕、脚、胴体、および手)、顔タイプ、髪タイプ、および皮膚タイプを含む。いくつかの実装形態では、カスタマイズ可能な付属品は、衣類(たとえば、シャツ、パンツ、帽子、靴、眼鏡など)、武器、または他のツールを含む。いくつかの実装形態では、ユーザは、キャラクタのスケール(たとえば、高さ、幅、または奥行き)またはキャラクタの構成要素のスケールも制御し得る。いくつかの実装形態では、ユーザは、キャラクタのプロポーション(たとえば、がっしりした(blocky)、解剖学的など)を制御し得る。いくつかの実装形態では、キャラクタは、キャラクタゲームオブジェクト(たとえば、身体部分など)含まない場合があるが、ユーザは、ゲーム(たとえば、レンダリングされたキャラクタゲームオブジェクトが存在しないが、ユーザがゲーム内のアクションを制御するためにキャラクタを依然として制御するパズルゲーム)とのユーザの対話を容易にするために、キャラクタを制御し得ることが留意され得る。
いくつかの実装形態では、身体部分などの構成要素は、ブロック、円柱、球などのプリミティブな幾何学的形状、またはくさび、トーラス、チューブ、チャネルなどのなにか他のプリミティブな形状であり得る。いくつかの実装形態では、クリエータモジュールは、オンラインゲームサーバ102の他のユーザによる閲覧または使用のためにユーザのキャラクタを公開し得る。いくつかの実装形態では、キャラクタ、他のゲームオブジェクト、ゲーム106、またはゲーム環境を作成すること、変更すること、またはカスタマイズすることは、I/Oインタフェース(たとえば、開発者インタフェース)を使用して、スクリプトの有無を問わず(またはアプリケーションプログラミングインタフェース(API)の有無を問わず)、ユーザによって実行され得る。例示の目的のために、キャラクタは、人型の形状を有するものとして説明されていることが留意され得る。キャラクタは、車両、動物、無生物、または他の創造的な形態などの任意の形態を有し得ることがさらに留意され得る。
いくつかの実装形態では、オンラインゲームサーバ102は、ユーザによって作成されたキャラクタをデータストア120内に記憶し得る。いくつかの実装形態では、オンラインゲームサーバ102は、ユーザに提示され得るキャラクタカタログおよびゲームカタログを維持する。いくつかの実装形態では、ゲームカタログは、オンラインゲームサーバ102上に記憶されたゲームの画像を含む。それに加えて、ユーザは、選択されたゲームに参加するために、キャラクタカタログからキャラクタ(たとえば、ユーザまたは他のユーザによって作成されたキャラクタ)を選択し得る。キャラクタカタログは、オンラインゲームサーバ102上に記憶されたキャラクタの画像を含む。いくつかの実装形態では、キャラクタカタログ内のキャラクタのうちの1つまたは複数は、ユーザによって作成またはカスタマイズされている場合がある。いくつかの実装形態では、選択されたキャラクタは、キャラクタの構成要素のうちの1つまたは複数を定義するキャラクタ設定を有し得る。
いくつかの実装形態では、ユーザのキャラクタは、構成要素の構成を含むことができ、構成要素の構成および外観、ならびにより一般的にはキャラクタの外観は、キャラクタ設定によって定義され得る。いくつかの実装形態では、ユーザのキャラクタのキャラクタ設定は、少なくとも部分的にユーザによって選択され得る。他の実装形態では、ユーザは、デフォルトのキャラクタ設定または他のユーザによって選択されたキャラクタ設定を用いてキャラクタを選択し得る。たとえば、ユーザは、事前定義されたキャラクタ設定を有するキャラクタカタログからデフォルトのキャラクタを選択し得、ユーザは、キャラクタ設定のうちのいくつかを変更する(たとえば、カスタマイズされたロゴを有するシャツを追加する)ことによって、デフォルトのキャラクタをさらにカスタマイズし得る。キャラクタ設定は、オンラインゲームサーバ102によって特定のキャラクタに関連付けられ得る。
いくつかの実装形態では、クライアントデバイス110は、各々、パーソナルコンピュータ(PC)、モバイルデバイス(たとえば、ラップトップ、携帯電話、スマートフォン、タブレットコンピュータ、またはネットブックコンピュータ)、ネットワーク接続テレビ、ゲームコンソールなどを含み得る。いくつかの実装形態では、クライアントデバイス110は、「ユーザデバイス」と呼ばれる場合もある。いくつかの実装形態では、1つまたは複数のクライアントデバイス110は、任意の所与の瞬間にオンラインゲームサーバ102に接続し得る。クライアントデバイス110の数は、例示として提供されていることが留意され得る。いくつかの実装形態では、任意の数のクライアントデバイス110が使用され得る。
いくつかの実装形態では、各クライアントデバイス110は、それぞれ、ゲームアプリケーション112のインスタンスを含み得る。一実装形態では、ゲームアプリケーション112は、ユーザが、オンラインゲームサーバ102によってホストされる仮想ゲーム内の仮想キャラクタを制御すること、またはゲーム106、画像、ビデオアイテム、ウェブページ、文書などのコンテンツを閲覧もしくはアップロードすることなど、オンラインゲームサーバ102を使用し、オンラインゲームサーバ102と対話することを許可し得る。一例では、ゲームアプリケーションは、ウェブサーバによって提供されるコンテンツ(たとえば、仮想環境内の仮想キャラクタなど)にアクセスすること、そのコンテンツを検索すること、提示すること、またはナビゲートすることができるウェブアプリケーション(たとえば、ウェブブラウザと協働して動作するアプリケーション)であり得る。別の例では、ゲームアプリケーションは、クライアントデバイス110にローカルにインストールおよび実行され、ユーザがオンラインゲームサーバ102と対話することを可能にするネイティブアプリケーション(たとえば、モバイルアプリケーション、アプリ、またはゲームプログラム)であり得る。ゲームアプリケーションは、コンテンツ(たとえば、ウェブページ、メディアビューア)をユーザに対してレンダリング、表示、または提示し得る。一実装形態では、ゲームアプリケーションは、ウェブページに埋め込まれる埋込み型メディアプレイヤー(たとえば、Flash(登録商標)プレイヤー)も含み得る。
本開示の態様によれば、ゲームアプリケーションは、ユーザが、コンテンツを構築し、作成し、編集し、オンラインゲームサーバ102にアップロードし、ならびにオンラインゲームサーバ102と対話する(たとえば、オンラインゲームサーバ102によってホストされるゲーム106をプレイする)ためのオンラインゲームサーバアプリケーションであり得る。したがって、ゲームアプリケーションは、オンラインゲームサーバ102によってクライアントデバイス110に提供され得る。別の例では、ゲームアプリケーションは、サーバからダウンロードされるアプリケーションであり得る。
いくつかの実装形態では、ユーザは、ゲームアプリケーションを介してオンラインゲームサーバ102にログインし得る。ユーザは、ユーザアカウント情報(たとえば、ユーザ名およびパスワード)を提供することによってユーザアカウントにアクセスし得、ユーザアカウントは、オンラインゲームサーバ102の1つまたは複数のゲーム106に参加するために利用可能な1つまたは複数のキャラクタに関連付けられる。
一般に、オンラインゲームサーバ102によって実行されるものとして1つの実装形態で説明されている機能は、適切であれば、他の実装形態では、クライアントデバイス110またはサーバによって実行もされ得る。それに加えて、特定の構成要素に帰属する機能は、一緒に動作する異なるまたは複数の構成要素によって実行され得る。オンラインゲームサーバ102は、適切なアプリケーションプログラミングインタフェース(API)を介して他のシステムまたはデバイスに提供されるサービスとしてアクセスもされ得、したがって、ウェブサイトにおける使用に限定されない。
いくつかの実装形態では、オンラインゲームサーバ102は、グラフィックエンジン108を含み得る。いくつかの実装形態では、グラフィックエンジン108は、オンラインゲームサーバ102がグラフィックとアニメーション能力とを提供することを許可するシステム、アプリケーション、またはモジュールであり得る。いくつかの実装形態では、グラフィックエンジン108は、図4に示されているフローチャートに関連して以下に説明されている動作のうちの1つまたは複数を実行し得る。
図2は、いくつかの実装形態による、顔テンプレート200を示す図である。
いくつかの実装形態では、顔テンプレート200は、オンラインゲームサーバ120上(たとえば、データストア120内)またはクライアントデバイス110のうちの1つまたは複数において記憶されたグラフィカルテンプレートであり得る。いくつかの実装形態では、顔テンプレート200は、ゲームエンジン104によってクライアントデバイス110のうちのいずれか上でレンダリングされ得る。
いくつかの実装形態では、顔テンプレート200は、たとえば、ユーザが顔の異なる特徴を閲覧および/または設計することを可能にするグラフィカルユーザインタフェースを介してユーザに提供され得る。いくつかの実装形態では、顔テンプレートは、いくつかの領域、たとえば、左眉毛210、右眉毛220、左目230、右目240、および口250を含む。顔テンプレート200は、グラフィカル画像を設計するためにユーザによってガイドとして使用するために提供され得る。いくつかの実装形態では、顔テンプレート200は、顔テンプレート200内に格子配列を定義するために利用され得るグリッド線を含み得る。いくつかの実装形態では、格子配列は、非破壊的な方法において1つまたは複数の点(たとえば、一緒に顔の特徴を定義する点)の変形および操作を可能にする。いくつかの実装形態では、顔テンプレート200は、顔テンプレート内の点および領域の正確な定義を可能にする参照座標を含み得る。
いくつかの実装形態では、1つまたは複数の追加の特徴が顔テンプレート内に含まれ得る。たとえば、鳥のような顔のための顔テンプレート内の適切な位置にくちばしが含まれ得、哺乳類のような頭部のためのテンプレート内には角が含まれ得、ロボットのような顔については、アンテナおよび同様の特徴が含まれ得る。他の顔の特徴、たとえば、より多いまたはより少ない数の目、鼻、より多いまたはより少ない数の耳なども、適切な顔テンプレートを使用して定義され得る。いくつかの実装形態では、顔テンプレートは、図2において示されている領域をさらに細分化することによって、より多くの領域を定義し得、たとえば、左目230は、上目領域と下目領域とに細分され得、口250は、上唇領域と下唇領域とに細分化され得る、などである。いくつかの実装形態では、顔テンプレート内の特徴は、非対称の特徴、たとえば、軸外の目、図2に示されているような2つの目の代わりに顔の片側における単一の目、顔の左と右のサイズが異なるサイズの特徴などであり得る。
図3は、いくつかの実装形態による、多層合成顔の層の例を示す。異なる実装形態では、複数の層は、層のうちの1つまたは複数をアニメーション化することによって、アニメーションのために使用され得る合成顔を作成するために利用され得る。
いくつかの実装形態では、多層合成顔の複数の層は、メモリ内(たとえば、データストア120内またはクライアントデバイス110上)に記憶され得る。複数の層の各々は、顔テンプレート200に対応し得、ユーザが顔の特定の特徴を描写することを可能にし得る。クライアントデバイス110のユーザは、たとえば、ゲームアプリケーション112を使用して、複数の層の設計を可能にするユーザインタフェースを提供され得る。
図3に示されているように、最下(下)層310は、虹彩と、口の内側と、他の特徴とを描写するために使用され得る。最下層310は、顔テンプレート200に関して定義された異なる座標における特徴を含み得る。いくつかの実装形態では、追加のカスタムアニメーション化可能な特徴が最下層内に含まれ得る。
アニメーション層320は、眉毛と、瞼と、鼻と、口とを描写するために使用され得る。
非アニメーション化静止層330は、傷跡、刺青、眼帯などの顔の静的特徴のために利用され得る。いくつかの実装形態では、非アニメーション化静止層330は、髪、帽子、眼鏡、または他の付属品を含み得る。静的特徴は、顔テンプレートを使用して描写され、他の層(たとえば、層310および320)内に描写されている特徴に適切に位置合わせされる。顔テンプレート200の利用は、異なる層にわたって特徴を位置合わせすることができる。
いくつかの実装形態では、各層(たとえば、310、320、330)は、対応する層の深さまたはレベルに関連付けられ得る。たとえば、最下層310は、1の深さに関連付けられ得、アニメーション層320は、2の深さに関連付けられ得、非アニメーション化静止層330は、3の深さに関連付けられ得る。層に関連付けられた深さ情報は、図3に描写されているように、顔、たとえば、顔340の表現を提供するために、層を重ね合わせるために利用され得る。いくつかの実装形態では、層の深さまたはレベルは、メタデータとして、または各層に関する名前文字列として記憶され得る。いくつかの実装形態では、層の深さまたはレベルを別々に記憶する代わりに、各層に対して、層の深さを指定する層の識別子または名前、たとえば、「層1」、「層2」が利用され得る。いくつかの実装形態では、欠落した層に対してデフォルト値が適用され得る。
いくつかの実装形態では、顔のグラフィカル表現を作成するために、より少ないまたはより多い数の層が使用され得る。顔を2D画像として描写するために、互いに重ね合わされた層340の組合せが使用される。重ね合わせは、最下層が最下になるように実行され、連続する層の1つまたは複数の特徴が下にある層の特徴にオーバーレイするように、後続の層が順番に上に配置される。たとえば、重ね合わせは、層の深さまたはレベル情報を使用して実行され得る。
図4は、いくつかの実装形態による、顔をアニメーション化する例示的な方法400を示すフローチャートである。処理は、格子配列が定義されるブロック410において開始する。格子配列は、アニメーション化されるべき顔の特徴に対応する複数のセルを含み得る。アニメーション化される特徴は、目、鼻、口、または顔の他の要素を表すグラフィカル要素を含み得る。
いくつかの実装形態では、ユーザが顔の特徴をテンプレート(たとえば、図2を参照して説明されているテンプレート200)または格子配列にマッピングすることを可能にするユーザインタフェース(UI)が提供され得る。UIは、格子配列の対応するセルへの顔の特徴のマッピングを可能にするように構成され得る。UIは、たとえば、ディスプレイまたは他のIOインタフェースを介してユーザにフィードバックを提供し得る。ユーザインタフェースは、タッチスクリーンインタフェース、音声インタフェース、マウスベースのインタフェースなどのうちの1つまたは複数を含み得る。ユーザの許可があれば、ユーザによって選択された過去のデザインの履歴が保存され、ユーザにオプションを提示するために利用され得る。いくつかの実装形態では、ゲームネットワーク全体でおよび/または複数のユーザから人気のある特徴が優先され、選択のためにユーザに表示され得る。ブロック410の後に、ブロック420が続き得る。
ブロック420において、アニメーションの一部である顔の1つまたは複数の特徴、たとえば、上記で説明されている320内に含まれているものと同様の特徴が、アニメーション層内に配置される。アニメーション層内に配置された特徴は、アニメーションがユーザに対して表示されるときに、層内の1つまたは複数の他の特徴と一緒に移動する。たとえば、眉毛および唇は、同じ層の一部であり得る。いくつかの実装形態では、同じ層内の1つまたは複数の特徴は、協調してアニメーション化され得、たとえば、両方の瞳孔が同期して動かされ得る。
いくつかの実装形態では、特徴の一部がアニメーション化され得、特徴の別の部分がアニメーション化されない場合がある。ブレンドされた表現を可能にするために、アニメーション特徴がブレンドされ得る。たとえば、邪悪な笑いを生成するために、眉をひそめたアニメーションが、笑顔のアニメーションとマージされ得る。ブロック420の後に、ブロック430が続き得る。
ブロック430において、アニメーション層は、顔の静的特徴を含む最下層の上にオーバーレイされる。静的特徴は、目の虹彩および口の内側などの特徴を含み得る。静止層内の虹彩の位置は、少なくとも部分的に透明であり得、層がオーバーレイされたときに異なる層から虹彩を表すグラフィカル要素が見えるようにすることができ得る。いくつかの実装形態では、虹彩は、完全に透明であるか、または着色され得る。
いくつかの実装形態では、ゲームの読み込み時に1つまたは複数の層が組み合わされ(合成され)、アニメーションデータの検出時に、レンダリングされた画像が更新される。そのような読み込みは、アニメーションデータがない場合でも優れたパフォーマンスを可能にし得る。
口を表すグラフィカル要素が口の内側を表すグラフィカル要素の上にオーバーレイされたとき、口の内側は、2次元画像において見えるようにされ得る。ブロック430の後に、ブロック440が続き得る。
ブロック440において、最上層(静止層)がアニメーション層の上にオーバーレイされ得る。最上層は、顔に関連付けられた静的特徴を含む。ブロック440の後に、ブロック450が続き得る。
ブロック450において、アニメーション層に対応する顔の特徴がアニメーション化される。顔のいくつかの特徴に対応するセルの1つまたは複数の座標を修正することによって、アニメーションがレンダリングされ得る。いくつかの実装形態では、アニメーションは、一連の画像フレームを利用することによってレンダリングされ得る。いくつかの実装形態では、修正は、一連の画像フレーム内の顔の特徴の変換を含み得る。いくつかの実装形態では、修正は、一連の画像フレーム内の顔の特徴の形状の変更を含み得る。いくつかの実装形態では、修正は、顔の特徴の形状の変換および変更を含み得る。いくつかの実装形態では、特徴の形状の変更は、アニメーション層上の格子点をアニメーション化することによってレンダリングされる。いくつかの実装形態では、顔の特徴を表すピクセルが修正される。いくつかの実装形態では、ピクセルの修正は、顔の1つまたは複数の特徴の動きの視覚的効果を作成するために利用され得る。
いくつかの実装形態では、最下層および最上層における静的特徴は、静止したままである。アニメーション層における特徴の選択的なアニメーションは、多層顔の2D画像のアニメーションを結果としてもたらす。
いくつかの実装形態では、アニメーションは、非破壊的な方法で、特徴を定義するために使用される基礎となるメッシュを変形させる格子変形によって実装される。いくつかの実装形態では、特徴は、格子変形によって一様にスケーリングされ得る。いくつかの実装形態では、変形は、所定の関数によって定義され得る。
いくつかの実装形態では、変形は、たとえば、オンラインゲームサーバ102上(たとえば、データベース120内)に記憶され、ユーザによって呼び出され得る所定の関数を含み得る。たとえば、オンラインゲームサーバ102は、利用可能な格子変形関数のライブラリから1つまたは複数の格子変形関数を選択するオプションをユーザに提供し得る。
いくつかの実装形態では、ユーザによってカスタム変形が定義および利用され得る。いくつかの実装形態では、ユーザ(たとえば、アニメータ)は、特定の特徴の開始状態と終了状態とを提供することによって、特徴のアニメーションを構成することができる。いくつかの実装形態では、ユーザは、開始状態および終了状態に加えて、特定の特徴のための1つまたは複数の中間状態を提供し得る。
ブロック410~450によって表されている動作は、上記で説明されている順序とは異なる順序で実行(または反復)され得、および/または1つもしくは複数の動作は、省略、修正、補足、または他の動作と組み合わされ得る。
いくつかの実装形態では、顔の特徴を格子配列の対応するセルにマッピングするために、自動顔追跡技法が提供され得る。自動顔追跡技法は、カメラを利用し、カメラによってキャプチャされた画像から顔の特徴を作成し得る。画像は、(ユーザの許可を得て取得された)ユーザの実際の顔の画像、絵、漫画、または別の画像であり得る。
いくつかの実装形態では、ユーザが顔に追加されるグラフィカル要素を選択することを可能にするために、ユーザインタフェースを介して追加のグラフィカル要素が提供され得る。
図5は、いくつかの実装形態による合成顔を示す。
アニメーション層520が最下層510の上にオーバーレイされる。静止層530がアニメーション層520の上にオーバーレイされる。合成顔540は、様々な層から合成され、すべての層からの特徴を含む。
いくつかの実装形態では、いくつかの層は、透過的にレンダリングされ、他の下位層からの特徴が見えるようにすることができる。たとえば、図5における図示の例では、静止層530は、任意の特徴(たとえば、顔上のマーク)を除いて透明であり、他の層の上に重ね合わされたときに、他の層からの特徴およびアニメーションの可視化を可能にする。
図6は、いくつかの実装形態による、アニメーション層内の特徴のアニメーションから結果として生じるアニメーションフレームのシーケンスを示す。
図6は、(たとえば、図5に関して説明されているアニメーション層520と同様の)アニメーション層のアニメーションによってレンダリングされた(たとえば、図5に関して説明されている合成顔540と同様の)合成顔610のアニメーションを示す。
この例示的な例では、口(630)のアニメーションが描かれている。アニメーションは、口を定義するために利用されるメッシュ(620)の格子変形によってもたらされる。(図6に描かれているフレームのシーケンスによって示されるように)メッシュの変形が進行するにつれて、アニメーション層によってレンダリングされた画像は、変換され、動きの外観を作成する。アニメーション層のレンダリングされた画像の変換は、異なる層(たとえば、図5に関して説明されている層510、520、および530)から合成されたレンダリングされた合成顔の画像の変換においてももたらされ、結果として生じる合成顔における(この例では口の)動きの外観を作成する。
図7は、いくつかの実装形態による、最下(下)層における特徴のアニメーションから結果として生じるアニメーションフレームのシーケンスを示す。
図7は、(たとえば、図5に関して説明されているアニメーション層510と同様の)最下層のアニメーションによってレンダリングされた(たとえば、図5に関して説明されている合成顔540と同様の)合成顔710のアニメーションを示す。
この例示的な例では、目(720)が描かれている。具体的には、合成顔710における目の動きの外観が、最下層における目の虹彩の横方向の動きによって作成される。たとえば、虹彩(730)は、最下層において横方向に左にシフトされ、合成顔画像において横方向の目の動きの外観を作成する。
いくつかの実装形態では、特徴の動きの量(740)は、1つまたは複数の次元においてユーザ(たとえば、アニメータ、デザイナーなど)によって指定され得る。いくつかの実装形態では、特徴の動きの量は、ピクセルの数として指定され得る。
この例示的な例では、図7は、左方向および右方向における合成顔における目の動きを描写するアニメーションフレームのシーケンスを示す。アニメーションフレームのシーケンスは、他の層がフレーム間で変更されないままの状態で、最下層におけるフレームのシーケンスを利用することによって作成される。
(ここには示されていない)いくつかの実装形態では、追加の効果(たとえば、目および口の同時の動き)を作成するために、1つまたは複数の層が同時にアニメーション化され得る。
図8は、本明細書で説明されている1つまたは複数の特徴を実装するために使用され得る例示的なコンピューティングデバイス800のブロック図である。図1のクライアントデバイス110および/またはゲームサーバ102は、図8のコンピューティングデバイス800の形態において提供され得る。一例では、デバイス800は、コンピュータデバイス(たとえば、図1の102または110)を実装し、本明細書で説明されている適切な方法の実装形態を実行するために使用され得る。コンピューティングデバイス800は、任意の適切なコンピュータシステム、サーバ、または他の電子デバイスもしくはハードウェアデバイスであり得る。たとえば、コンピューティングデバイス800は、メインフレームコンピュータ、デスクトップコンピュータ、ワークステーション、ポータブルコンピュータ、または電子デバイス(ポータブルデバイス、モバイルデバイス、携帯電話、スマートフォン、タブレットコンピュータ、テレビ、TVセットトップボックス、携帯情報端末(PDA)、メディアプレイヤー、ゲームデバイス、ウェアラブルデバイスなど)であり得る。いくつかの実装形態では、デバイス800は、プロセッサ802と、メモリ804と、入力/出力(I/O)インタフェース806と、オーディオ/ビデオ入力/出力デバイス814とを含む。
プロセッサ802は、プログラムコードを実行し、デバイス800の基本的な動作を制御する1つまたは複数のプロセッサおよび/または処理回路であり得る。「プロセッサ」は、データ、信号、または他の情報を処理する任意の適切なハードウェアおよび/もしくはソフトウェアシステム、機構、または構成要素を含む。プロセッサは、汎用中央処理装置(CPU)を有するシステム、複数の処理ユニット、機能を達成するための専用回路、または他のシステムを含み得る。処理は、特定の幾何学的な場所に限定される必要はなく、または時間的な制限を有する必要はない。たとえば、プロセッサは、その機能を「リアルタイム」、「オフライン」、「バッチモード」などで実行し得る。処理の一部は、異なる(または同じ)処理システムによって、異なる時間および異なる場所において実行され得る。コンピュータは、メモリと通信する任意のプロセッサであり得る。
メモリ804は、典型的には、プロセッサ802によるアクセスのためにデバイス800内に設けられ、プロセッサによる実行のための命令を記憶するのに適し、かつプロセッサ802から分離して配置されたおよび/またはそれと一体化された任意の適切なプロセッサ可読記憶媒体、たとえば、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、電気的消去可能読み取り専用メモリ(EEPROM)、フラッシュメモリなどであり得る。メモリ804は、オペレーティングシステム808、1つまたは複数のアプリケーション810、たとえば、オーディオ空間化アプリケーション、およびアプリケーションデータ812を含む、プロセッサ802によってサーバデバイス800上で動作するソフトウェアを記憶することができる。いくつかの実装形態では、アプリケーション810は、プロセッサ802が本明細書で説明されている機能、たとえば、図4の方法のうちのいくつかまたはすべてを実行することを可能にする命令を含むことができる。
たとえば、アプリケーション810は、本明細書で説明されているように、オンラインゲームサーバ(たとえば、102)内でオーディオ空間化を提供することができるオーディオ空間化モジュール812を含むことができる。メモリ804内のソフトウェアのいずれかは、代替的に、任意の他の適切な記憶場所またはコンピュータ可読媒体上に記憶され得る。加えて、メモリ804(および/または他の接続された記憶デバイス)は、本明細書で説明されている特徴において使用される命令およびデータを記憶することができる。メモリ804、および任意の他のタイプのストレージ(磁気ディスク、光ディスク、磁気テープ、または他の有形の媒体)は、「ストレージ」または「記憶デバイス」と見なされ得る。
I/Oインタフェース806は、サーバデバイス800を他のシステムおよびデバイスとインタフェースすることを可能にする機能を提供することができる。たとえば、ネットワーク通信デバイス、記憶デバイス(たとえば、メモリおよび/またはデータストア120)、および入力/出力デバイスが、インタフェース806を介して通信することができる。いくつかの実装形態では、I/Oインタフェースは、入力デバイス(キーボード、ポインティングデバイス、タッチスクリーン、マイクロフォン、カメラ、スキャナなど)および/または出力デバイス(ディスプレイデバイス、スピーカデバイス、プリンタ、モータなど)を含むインタフェースデバイスに接続することができる。
オーディオ/ビデオ入力/出力デバイス814は、オーディオメッセージを入力として受信するために使用され得るオーディオ入力デバイス(たとえば、マイクロフォンなど)、オーディオ出力デバイス(たとえば、スピーカ、ヘッドフォンなど)、および/またはグラフィカル出力および視覚的出力を提供するために使用され得るディスプレイデバイスを含むことができる。
説明を容易にするために、図8は、プロセッサ802、メモリ804、I/Oインタフェース806、ならびにソフトウェアブロック808および810の各々について1つのブロックを示す。これらのブロックは、1つもしくは複数のプロセッサもしくは処理回路、オペレーティングシステム、メモリ、I/Oインタフェース、アプリケーション、および/またはソフトウェアモジュールを表し得る。他の実装形態では、デバイス800は、示されている構成要素のすべてを有さない場合があり、および/または本明細書で示されているものの代わりに、もしくはそれに加えて他のタイプの要素を含む他の要素を有する場合がある。オンラインゲームサーバ102は、本明細書のいくつかの実装形態で説明されているような動作を実行するものとして説明されているが、オンラインゲームサーバ102もしくは同様のシステムの任意の適切な構成要素もしくは構成要素の組合せ、またはそのようなシステムに関連する任意の適切なプロセッサは、説明されている動作を実行し得る。
ユーザデバイスはまた、本明細書で説明されている特徴を実装および/またはそれとともに使用され得る。例示的なユーザデバイスは、デバイス800と同様のいくつかの構成要素、たとえば、プロセッサ802、メモリ804、およびI/Oインタフェース806を含むコンピュータデバイスであり得る。クライアントデバイスに適したオペレーティングシステム、ソフトウェア、およびアプリケーションが、メモリ内に提供され、プロセッサによって使用され得る。クライアントデバイスのためのI/Oインタフェースは、ネットワーク通信デバイス、ならびに入力デバイスおよび出力デバイス、たとえば、音をキャプチャするためのマイクロフォン、画像もしくはビデオをキャプチャするためのカメラ、音を出力するためのオーディオスピーカデバイス、画像もしくはビデオを出力するためのディスプレイデバイス、または他の出力デバイスに接続され得る。オーディオ/ビデオ入力/出力デバイス814内のディスプレイデバイスは、たとえば、本明細書で説明されているように、前処理および後処理で画像を表示するためにデバイス800に接続され(またはその中に含まれ)得、そのようなディスプレイデバイスは、任意の適切なディスプレイデバイス、たとえば、LCD、LED、もしくはプラズマディスプレイ画面、CRT、テレビ、モニター、タッチスクリーン、3-Dディスプレイ画面、プロジェクタ、または他の視覚的ディスプレイデバイスを含むことができる。いくつかの実装形態は、オーディオ出力デバイス、たとえば、テキストを話す音声出力または合成を提供することができる。
本明細書で説明されている1つまたは複数の方法(たとえば、方法400)は、コンピュータ上で実行され得るコンピュータプログラム命令またはコードによって実装され得る。たとえば、コードは、1つまたは複数のデジタルプロセッサ(たとえば、マイクロプロセッサまたは他の処理回路)によって実装され得、半導体またはソリッドステートメモリ、磁気テープ、リムーバブルコンピュータディスケット、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、フラッシュメモリ、リジッド磁気ディスク、光ディスク、ソリッドステートメモリドライブなどを含む非一時的コンピュータ可読媒体(たとえば、記憶媒体)、たとえば、磁気記憶媒体、光記憶媒体。電磁記憶媒体、または半導体記憶媒体を含むコンピュータプログラム製品上に記憶され得る。プログラム命令はまた、たとえば、サーバ(たとえば、分散システムおよび/またはクラウドコンピューティングシステム)から配信されるサービスとしてのソフトウェア(SaaS)の形態で、電子信号内に含まれ得、電子信号として提供され得る。代替的に、1つまたは複数の方法は、ハードウェア(論理ゲートなど)において、またはハードウェアとソフトウェアとの組合せにおいて実装され得る。例示的なハードウェアは、プログラマブルプロセッサ(たとえば、フィールドプログラマブルゲートアレイ(FPGA)、複合プログラマブル論理デバイス)、汎用プロセッサ、グラフィックプロセッサ、特定用途向け集積回路(ASIC)などであり得る。1つまたは複数の方法は、システム上で実行されるアプリケーションの一部もしくは構成要素として、または他のアプリケーションおよびオペレーティングシステムと関連して実行されるアプリケーションもしくはソフトウェアとして実行され得る。
本明細書で説明されている1つまたは複数の方法は、任意のタイプのコンピューティングデバイス上で実行され得るスタンドアロンプログラム、ウェブブラウザ上で実行されるプログラム、モバイルコンピューティングデバイス(たとえば、携帯電話、スマートフォン、タブレットコンピュータ、ウェアラブルデバイス(腕時計、腕輪、宝石、帽子、ゴーグル、眼鏡など)、ラップトップコンピュータなど)上で実行されるモバイルアプリケーション(「アプリ」)において実行され得る。一例では、クライアント/サーバアーキテクチャが使用され得、たとえば、モバイルコンピューティングデバイス(クライアントとして)は、ユーザ入力データをサーバデバイスに送信し、サーバから、出力のための(たとえば、表示のための)最終的な出力データを受信する。別の例では、すべての計算は、モバイルコンピューティングデバイス上のモバイルアプリ(および/または他のアプリ)内で実行され得る。別の例では、計算は、モバイルコンピューティングデバイスと1つまたは複数のサーバデバイスとの間で分割され得る。
説明は、その特定の実装形態に関して説明されてきたが、これらの特定の実装形態は、単なる例示であり、制限的なものではない。例において示されている概念は、他の例および実装形態に適用され得る。
本開示で説明されている機能ブロック、動作、特徴、方法、デバイス、およびシステムは、当業者に知られているように、システム、デバイス、および機能ブロックの異なる組合せに統合または分割され得ることに留意されたい。任意の適切なプログラミング言語およびプログラミング技法が、特定の実装形態のルーチンを実装するために使用され得る。様々なプログラミング技法、たとえば、手続き型またはオブジェクト指向が用いられ得る。ルーチンは、単一の処理デバイスまたは複数のプロセッサ上で実行され得る。ステップ、動作、または計算は、特定の順序で提示されている場合があるが、順序は、異なる特定の実装形態では変更され得る。いくつかの実装形態では、本明細書で順次であるように示されている複数のステップまたは動作は、同時に実行され得る。
100 システムアーキテクチャ
102 オンラインゲームサーバ、ゲームサーバ、コンピュータデバイス
104 ゲームエンジン
106 ゲーム、ゲームアプリケーション
108 グラフィックエンジン
110 クライアントデバイス、コンピュータデバイス
110a クライアントデバイス
110b クライアントデバイス
110n クライアントデバイス
112 ゲームアプリケーション、ゲームエンジン
114 入力/出力(I/O)インタフェース
120 データストア
122 ネットワーク
200 顔テンプレート
210 左眉毛
220 右眉毛
230 左目
240 右目
250 口
310 最下(下)層、最下層
320 アニメーション層
330 非アニメーション化静止層
340 顔
510 最下層
520 アニメーション層
530 静止層
540 合成顔
610 合成顔
620 メッシュ
630 口
710 合成顔
720 目
730 虹彩
740 特徴の動きの量
800 コンピューティングデバイス、デバイス、サーバデバイス
802 プロセッサ
804 メモリ
806 入力/出力(I/O)インタフェース、I/Oインタフェース
808 オペレーティングシステム
810 アプリケーション
812 アプリケーションデータ、オーディオ空間化モジュール
814 オーディオ/ビデオ入力/出力デバイス

Claims (20)

  1. 目、眉毛、鼻、および口のうちの少なくとも1つを含む顔の2次元(2D)画像をアニメーション化する方法であって、前記方法が、
    複数のセルを備える格子配列を定義するステップであって、前記複数のセルのうちの特定のセルが、アニメーション化されるべき前記顔の特徴に対応し、前記アニメーション化されるべき特徴が、前記目を表す第1のグラフィカル要素、前記鼻を表す第2のグラフィカル要素、および前記口を表す第3のグラフィカル要素のうちの少なくとも1つを含む、ステップと、
    前記アニメーション化されるべき顔の前記特徴をアニメーション層内に配置するステップと、
    前記顔の静的特徴を含む最下層の上に前記アニメーション層をオーバーレイするステップであって、前記静的特徴が、前記目の虹彩を表す第4のグラフィカル要素、および前記口の内側を表す第5のグラフィカル要素のうちの少なくとも1つを含む、ステップと、
    前記アニメーション層の上に最上層をオーバーレイするステップであって、前記最上層が、前記顔に関連付けられた少なくとも1つのさらなる静的特徴を含み、前記最下層、前記最下層の上にオーバーレイされた前記アニメーション層、前記アニメーション層の上にオーバーレイされた前記最上層が、一緒に前記顔の前記2D画像を形成する、ステップと、
    前記最下層内の前記静的特徴および前記最上層内の前記少なくとも1つのさらなる静的特徴が静止している間に、前記格子配列の前記特定のセルに対応する、前記顔の前記特徴の少なくとも一部を選択的にアニメーション化するステップと
    を含む、方法。
  2. 前記第1のグラフィカル要素が、少なくとも部分的に透明であり、前記目を表す前記第1のグラフィカル要素が前記虹彩を表す前記第4のグラフィカル要素の上にオーバーレイされたときに、前記虹彩が前記2次元画像において見えるようにすることを可能にする、請求項1に記載の方法。
  3. 前記第3のグラフィカル要素が、少なくとも部分的に透明であり、前記口を表す前記第3のグラフィカル要素が前記口の前記内側を表す前記第5のグラフィカル要素の上にオーバーレイされたときに、前記口の前記内側が前記2次元画像において見えるようにすることを可能にする、請求項1に記載の方法。
  4. 前記最下層が、第1の最下層を含み、前記最上層が、第1の最上層を含み、前記顔が、第1の顔を含み、前記2D画像が、第1の2D画像を含み、前記方法が、
    第2の顔の第2の2D画像に関連付けられた第2の最下層の上に前記アニメーション層をオーバーレイするステップと、
    前記第2の最下層の上にオーバーレイされた前記アニメーション層の上に第2の最上層をオーバーレイするステップであって、前記第2の最下層、前記第2の最下層の上にオーバーレイされた前記アニメーション層、および前記アニメーション層の上にオーバーレイされた前記第2の最上層が、一緒に前記第2の顔の前記第2の2D画像を形成する、ステップと、
    前記第2の顔の前記第2の2D画像をアニメーション化するために、前記格子配列の前記特定のセル内に含まれる部分のうちの少なくとも1つを選択的にアニメーション化するステップと
    をさらに含む、請求項1に記載の方法。
  5. 前記顔に関連付けられた前記少なくとも1つのさらなる静的特徴が、髪、帽子、眼鏡、傷跡、または眼帯のうちの1つまたは複数を含む、請求項1に記載の方法。
  6. 前記顔の前記特徴の前記少なくとも一部を選択的にアニメーション化するステップが、
    前記特徴の前記少なくとも一部に対応する少なくとも1つのセルの座標に従って、アニメーション化されたアニメーションのための前記特徴の前記少なくとも一部を選択するステップと、
    前記少なくとも1つのセルに対応するピクセルをアルゴリズムで修正するステップと
    を含む、請求項1に記載の方法。
  7. ユーザが前記顔の前記特徴を前記格子配列の対応するセルにマッピングすることを可能にするユーザインタフェース(UI)を提供するステップをさらに含む、請求項1に記載の方法。
  8. 前記顔の前記特徴を前記格子配列の対応するセルにマッピングするために、自動顔追跡技法を使用するステップをさらに含む、請求項1に記載の方法。
  9. 前記自動顔追跡技法が、カメラを含む、請求項8に記載の方法。
  10. 目、眉毛、鼻、および口のうちの少なくとも1つを含む顔の2次元(2D)画像をアニメーション化するシステムであって、前記システムが、
    メモリと、
    前記メモリに結合された処理デバイスであって、前記処理デバイスが、動作を実行するように、または実行させるように構成された、処理デバイスと
    を備え、前記動作が、
    複数のセルを含む格子配列を定義する動作であって、前記複数のセルのうちの特定のセルが、アニメーション化されるべき前記顔の特徴に対応し、前記アニメーション化されるべき特徴が、前記目を表す第1のグラフィカル要素、前記鼻を表す第2のグラフィカル要素、および前記口を表す第3のグラフィカル要素のうちの少なくとも1つを含む、動作と、
    前記アニメーション化されるべき顔の前記特徴をアニメーション層内に配置する動作と、
    前記顔の静的特徴を含む最下層の上に前記アニメーション層をオーバーレイする動作であって、前記静的特徴が、前記目の虹彩を表す第4のグラフィカル要素、および前記口の内側を表す第5のグラフィカル要素のうちの少なくとも1つを含む、動作と、
    前記アニメーション層の上に最上層をオーバーレイする動作であって、前記最上層が、前記顔に関連付けられた少なくとも1つのさらなる静的特徴を含み、前記最下層、前記最下層の上にオーバーレイされた前記アニメーション層、前記アニメーション層の上にオーバーレイされた前記最上層が、一緒に前記顔の前記2D画像を形成する、動作と、
    前記最下層内の前記静的特徴および前記最上層内の前記少なくとも1つのさらなる静的特徴が静止している間に、前記格子配列の前記特定のセルに対応する、前記顔の前記特徴の少なくとも一部を選択的にアニメーション化する動作と
    を含む、システム。
  11. 前記第1のグラフィカル要素が、少なくとも部分的に透明であり、前記目を表す前記第1のグラフィカル要素が前記虹彩を表す前記第4のグラフィカル要素の上にオーバーレイされたときに、前記虹彩が前記2次元画像において見えるようにすることを可能にする、請求項10に記載のシステム。
  12. 前記第3のグラフィカル要素が、少なくとも部分的に透明であり、前記口を表す前記第3のグラフィカル要素が前記口の前記内側を表す前記第5のグラフィカル要素の上にオーバーレイされたときに、前記口の前記内側が前記2次元画像において見えるようにすることを可能にする、請求項10に記載のシステム。
  13. 前記最下層が、第1の最下層を含み、前記最上層が、第1の最上層を含み、前記顔が、第1の顔を含み、前記2D画像が、第1の2D画像を含み、前記動作が、
    第2の顔の第2の2D画像に関連付けられた第2の最下層の上に前記アニメーション層をオーバーレイする動作と、
    前記第2の最下層の上にオーバーレイされた前記アニメーション層の上に第2の最上層をオーバーレイする動作であって、前記第2の最下層、前記第2の最下層の上にオーバーレイされた前記アニメーション層、および前記アニメーション層の上にオーバーレイされた前記第2の最上層が、一緒に前記第2の顔の前記第2の2D画像を形成する、動作と、
    前記第2の顔の前記第2の2D画像をアニメーション化するために、前記格子配列の前記特定のセル内に含まれる部分のうちの少なくとも1つを選択的にアニメーション化する動作と
    をさらに含む、請求項10に記載のシステム。
  14. 前記顔に関連付けられた前記少なくとも1つのさらなる静的特徴が、髪、帽子、眼鏡、傷跡、または眼帯のうちの1つまたは複数を含む、請求項10に記載のシステム。
  15. ユーザが前記顔の前記特徴を前記格子配列の対応するセルにマッピングすることを可能にするユーザインタフェース(UI)を提供する動作をさらに含む、請求項10に記載のシステム。
  16. 命令を含む非一時的コンピュータ可読媒体であって、前記命令は、処理デバイスによる実行に応答して、前記処理デバイスに動作を実行させ、または動作が実行されるようにし、前記動作が、
    複数のセルを含む格子配列を定義する動作であって、前記複数のセルのうちの特定のセルが、アニメーション化されるべき顔の特徴に対応し、前記アニメーション化されるべき特徴が、目を表す第1のグラフィカル要素、鼻を表す第2のグラフィカル要素、および口を表す第3のグラフィカル要素のうちの少なくとも1つを含む、動作と、
    前記アニメーション化されるべき前記顔の前記特徴をアニメーション層内に配置する動作と、
    前記顔の静的特徴を含む最下層の上に前記アニメーション層をオーバーレイする動作であって、前記静的特徴が、前記目の虹彩を表す第4のグラフィカル要素、および前記口の内側を表す第5のグラフィカル要素のうちの少なくとも1つを含む、動作と、
    前記アニメーション層の上に最上層をオーバーレイする動作であって、前記最上層が、前記顔に関連付けられた少なくとも1つのさらなる静的特徴を含み、前記最下層、前記最下層の上にオーバーレイされた前記アニメーション層、前記アニメーション層の上にオーバーレイされた前記最上層が、一緒に前記顔の2次元(2D)画像を形成する、動作と、
    前記最下層内の前記静的特徴および前記最上層内の前記少なくとも1つのさらなる静的特徴が静止している間に、前記格子配列の前記特定のセルに対応する、前記顔の前記特徴の少なくとも一部を選択的にアニメーション化する動作と
    を含む、非一時的コンピュータ可読媒体。
  17. 前記第1のグラフィカル要素が、少なくとも部分的に透明であり、前記目を表す前記第1のグラフィカル要素が前記虹彩を表す前記第4のグラフィカル要素の上にオーバーレイされたときに、前記虹彩が前記2次元画像において見えるようにすることを可能にする、請求項16に記載の非一時的コンピュータ可読媒体。
  18. 前記動作が、ユーザが前記顔の前記特徴を前記格子配列の対応するセルにマッピングすることを可能にするユーザインタフェース(UI)を提供する動作をさらに含む、請求項16に記載の非一時的コンピュータ可読媒体。
  19. 前記動作が、前記顔の前記特徴を前記格子配列の対応するセルにマッピングするために、自動顔追跡技法を使用する動作をさらに含む、請求項16に記載の非一時的コンピュータ可読媒体。
  20. 前記自動顔追跡技法が、カメラを含む、請求項19に記載の非一時的コンピュータ可読媒体。
JP2021577058A 2019-07-03 2019-09-18 テクスチャ操作を使用するアニメーション化された顔 Active JP7364702B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/502,030 2019-07-03
US16/502,030 US10991143B2 (en) 2019-07-03 2019-07-03 Animated faces using texture manipulation
PCT/US2019/051799 WO2021002882A1 (en) 2019-07-03 2019-09-18 Animated faces using texture manipulation

Publications (2)

Publication Number Publication Date
JP2022539101A true JP2022539101A (ja) 2022-09-07
JP7364702B2 JP7364702B2 (ja) 2023-10-18

Family

ID=74065239

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021577058A Active JP7364702B2 (ja) 2019-07-03 2019-09-18 テクスチャ操作を使用するアニメーション化された顔

Country Status (6)

Country Link
US (3) US10991143B2 (ja)
EP (1) EP3994550A4 (ja)
JP (1) JP7364702B2 (ja)
KR (1) KR102630286B1 (ja)
CN (1) CN114026524B (ja)
WO (1) WO2021002882A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021134462A1 (en) * 2019-12-31 2021-07-08 Qualcomm Incorporated Methods and apparatus to facilitate region of interest tracking for in-motion frames
KR102501411B1 (ko) 2022-05-02 2023-02-21 (주)이브이알스튜디오 비대칭 얼굴 형태를 유지하며 대칭 표정을 생성하는 전자 장치의 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005018305A (ja) * 2003-06-25 2005-01-20 Oki Electric Ind Co Ltd 画像配信システムおよび画像コミュニケーション機能付情報処理装置
JP2007156945A (ja) * 2005-12-07 2007-06-21 Sony Corp 画像処理装置および画像処理方法、プログラム、並びにデータ構造
JP2008052628A (ja) * 2006-08-28 2008-03-06 Advanced Telecommunication Research Institute International アニメーションデータ作成装置及びアニメーションデータ作成プログラム
US20160148411A1 (en) * 2014-08-25 2016-05-26 Right Foot Llc Method of making a personalized animatable mesh

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000155836A (ja) * 1998-11-19 2000-06-06 Design Network:Kk 似顔絵画像形成システム及び形成方法
KR20050009504A (ko) * 2003-07-16 2005-01-25 정보통신연구진흥원 사용자 애니메이션 캐릭터 제작 방법 및 사용자애니메이션 캐릭터 제공 서비스 시스템
US7567251B2 (en) 2006-01-10 2009-07-28 Sony Corporation Techniques for creating facial animation using a face mesh
WO2009067560A1 (en) * 2007-11-20 2009-05-28 Big Stage Entertainment, Inc. Systems and methods for generating 3d head models and for using the same
KR100958595B1 (ko) * 2008-06-03 2010-05-18 이현주 영상통신단말기의 영상 합성 장치 및 방법
US20120026174A1 (en) * 2009-04-27 2012-02-02 Sonoma Data Solution, Llc Method and Apparatus for Character Animation
US8345044B2 (en) 2009-06-17 2013-01-01 Disney Enterprises, Inc. Indirect binding with segmented thin layers to provide shape-preserving deformations in computer animation
US9042636B2 (en) 2009-12-31 2015-05-26 Disney Enterprises, Inc. Apparatus and method for indicating depth of one or more pixels of a stereoscopic 3-D image comprised from a plurality of 2-D layers
TWI439960B (zh) * 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
US20110304629A1 (en) * 2010-06-09 2011-12-15 Microsoft Corporation Real-time animation of facial expressions
CN102376100A (zh) * 2010-08-20 2012-03-14 北京盛开互动科技有限公司 基于单张照片的人脸动画方法
US9314692B2 (en) 2012-09-21 2016-04-19 Luxand, Inc. Method of creating avatar from user submitted image
CN103198508A (zh) * 2013-04-07 2013-07-10 河北工业大学 人脸表情动画生成方法
CN103473801B (zh) * 2013-09-27 2016-09-14 中国科学院自动化研究所 一种基于单摄像头与运动捕捉数据的人脸表情编辑方法
CN103971394B (zh) * 2014-05-21 2017-03-15 中国科学院苏州纳米技术与纳米仿生研究所 人脸动画合成方法
CN107392984B (zh) * 2017-07-26 2020-09-15 厦门美图之家科技有限公司 一种基于人脸图像生成动画的方法及计算设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005018305A (ja) * 2003-06-25 2005-01-20 Oki Electric Ind Co Ltd 画像配信システムおよび画像コミュニケーション機能付情報処理装置
JP2007156945A (ja) * 2005-12-07 2007-06-21 Sony Corp 画像処理装置および画像処理方法、プログラム、並びにデータ構造
JP2008052628A (ja) * 2006-08-28 2008-03-06 Advanced Telecommunication Research Institute International アニメーションデータ作成装置及びアニメーションデータ作成プログラム
US20160148411A1 (en) * 2014-08-25 2016-05-26 Right Foot Llc Method of making a personalized animatable mesh

Also Published As

Publication number Publication date
JP7364702B2 (ja) 2023-10-18
US11328468B2 (en) 2022-05-10
EP3994550A1 (en) 2022-05-11
US20220254086A1 (en) 2022-08-11
CN114026524B (zh) 2024-03-29
CN114026524A (zh) 2022-02-08
US20210304481A1 (en) 2021-09-30
KR102630286B1 (ko) 2024-01-29
US10991143B2 (en) 2021-04-27
EP3994550A4 (en) 2023-04-12
US20210005004A1 (en) 2021-01-07
KR20220015469A (ko) 2022-02-08
US11645805B2 (en) 2023-05-09
WO2021002882A1 (en) 2021-01-07

Similar Documents

Publication Publication Date Title
US11238667B2 (en) Modification of animated characters
US11645805B2 (en) Animated faces using texture manipulation
US11514638B2 (en) 3D asset generation from 2D images
JP7425196B2 (ja) ハイブリッドストリーミング
US20230298297A1 (en) Layered clothing that conforms to an underlying body and/or clothing layer
US20240086050A1 (en) Computer-assisted graphical development tools
US11978152B2 (en) Computer-assisted graphical development tools
US11769297B2 (en) Simulation of rigid bodies
US20230124297A1 (en) Hidden surface removal for layered clothing for an avatar body
CN118119979A (zh) 用于化身身体的分层服装的隐藏表面移除
CN117097919A (zh) 虚拟角色渲染方法、装置、设备、存储介质和程序产品

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230911

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231005

R150 Certificate of patent or registration of utility model

Ref document number: 7364702

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150