JP2020510262A - 表情アニメーション生成方法及び装置、記憶媒体ならびに電子装置 - Google Patents

表情アニメーション生成方法及び装置、記憶媒体ならびに電子装置 Download PDF

Info

Publication number
JP2020510262A
JP2020510262A JP2019549402A JP2019549402A JP2020510262A JP 2020510262 A JP2020510262 A JP 2020510262A JP 2019549402 A JP2019549402 A JP 2019549402A JP 2019549402 A JP2019549402 A JP 2019549402A JP 2020510262 A JP2020510262 A JP 2020510262A
Authority
JP
Japan
Prior art keywords
control
target
skeleton
model
virtual object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019549402A
Other languages
English (en)
Other versions
JP7297359B2 (ja
JPWO2019041902A5 (ja
JP2020510262A5 (ja
Inventor
英▲剛▼ 金
英▲剛▼ 金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of JP2020510262A publication Critical patent/JP2020510262A/ja
Publication of JP2020510262A5 publication Critical patent/JP2020510262A5/ja
Publication of JPWO2019041902A5 publication Critical patent/JPWO2019041902A5/ja
Application granted granted Critical
Publication of JP7297359B2 publication Critical patent/JP7297359B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/66Methods for processing data by generating or executing the game program for rendering three dimensional images
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/66Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6607Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本発明は、表情アニメーション生成方法及び装置、記憶媒体ならびに電子装置を開示する。当該方法は、ターゲット仮想オブジェクトのオブジェクトモデルを取得することと、取得したオブジェクトモデルをターゲット骨格上に適応させて、ターゲット仮想オブジェクトにマッチングするオブジェクト制御モデルを取得し、オブジェクト制御モデルが制御頂点及び制御骨格を含み、各制御骨格がオブジェクト制御モデルの一部の領域を制御するために使用され、制御頂点が制御骨格の交点であることと、取得した調整指令に従ってオブジェクト制御モデルにおける制御頂点及び/又は制御骨格を調整して、ターゲット仮想オブジェクトの表情フレーム画面を取得することと、表情フレーム画面を利用してターゲット仮想オブジェクトの表情アニメーションを生成することとを含む。本発明は、複雑な生成操作によって制限されるため、生成された表情アニメーションが単一すぎるという技術的問題を解決する。

Description

本出願は、2017年08月28日に中国特許庁に提出された、出願番号が201710752994.6であって、発明の名称が「表情アニメーション生成方法及び装置、記憶媒体ならびに電子装置」である中国特許出願に基づく優先権を主張するものであり、その全内容を本出願に参照により援用する。
本発明は、コンピュータ分野に関し、具体的に、表情アニメーション生成方法及び装置、記憶媒体ならびに電子装置に関する。
仮想アプリケーションの世界で通常様々な異なるイメージの仮想キャラクターが設計されている。異なる仮想キャラクターに豊かで多様な表情アニメーションを持たせるために、現在の関連技術においてよく使用されている方法は、モデルのローカルズーム又は複数のモデルの融合によって、各仮想キャラクターの五感器官形状を変更又は調整して、各仮想キャラクターに異なる表情アニメーションを生成する。
しかしながら、上記の方法を使用して仮想キャラクターに対して表情アニメーションを生成するときに、開発者は、一般的に、所望の表情アニメーションを生成するために、モデルを手動で複数回デバッグする必要がある。複雑な生成操作の制限を受けるため、生成された表情アニメーションが単一すぎるという問題がある。
上記の問題に対して、現在有効な解決策は提案されていない。
本発明の実施例は、複雑な生成操作の制限を受けるため、生成された表情アニメーションが単一すぎるという技術的問題を少なくとも解決するための表情アニメーション生成方法及び装置、記憶媒体ならびに電子装置を提供する。
本発明の実施例の一態様によれば、表情アニメーション生成方法を提供し、ターゲット仮想オブジェクトのオブジェクトモデルを取得することと、取得した上記オブジェクトモデルをターゲット骨格に適応させて、上記ターゲット仮想オブジェクトにマッチングするオブジェクト制御モデルを取得し、上記オブジェクト制御モデルは制御頂点及び制御骨格を含み、各上記制御骨格が上記オブジェクト制御モデルの一部の領域を制御するために使用され、上記制御頂点が上記制御骨格の交点であることと、取得した調整指令に従って上記オブジェクト制御モデルにおける上記制御頂点及び/又は上記制御骨格を調整して、上記ターゲット仮想オブジェクトの表情フレーム画面を取得することと、上記表情フレーム画面を利用して上記ターゲット仮想オブジェクトの表情アニメーションを生成することと、を含む。
選択可能に、取得した調整指令に従って前記オブジェクト制御モデルにおける前記制御頂点及び/又は前記制御骨格を調整して、前記ターゲット仮想オブジェクトの表情フレーム画面を取得することは、
前記ターゲット仮想オブジェクトの表情フレーム画面が得られるまで、
取得した調整指令に従って、前記オブジェクト制御モデルにおいて調整すべきターゲット制御頂点及び/又はターゲット制御骨格を確定するステップと、
前記ターゲット制御頂点及び/又は前記ターゲット制御骨格を調整するステップと、
を繰り返して実行することを含む。
選択可能に、前記ターゲット制御頂点及び/又は前記ターゲット制御骨格を調整することは、
前記ターゲット制御頂点に接続されている各ターゲット制御骨格に対応する制御重みを調整し、前記ターゲット制御骨格の制御重みが大きいほど、前記オブジェクト制御モデル内の前記ターゲット制御骨格によって制御される領域の範囲が広くなること、及び/又は、
前記ターゲット制御骨格の表示位置を調整すること、を含む。
選択可能に、前記表情フレーム画面を利用して、前記ターゲット仮想オブジェクトの表情アニメーションを生成することは、
複数フレームの前記ターゲット仮想オブジェクトの表情フレーム画面を取得することと、
取得した複数フレームの前記表情フレーム画面から、所定の順序に従って、前記ターゲット仮想オブジェクトの表情アニメーションを生成することと、を含む。
選択可能に、取得した前記オブジェクトモデルをターゲット骨格に適応させて、前記ターゲット仮想オブジェクトにマッチングするオブジェクト制御モデルを取得することは、
取得した前記オブジェクトモデルにおけるキーポイント及び前記ターゲット骨格をバインディングして、前記オブジェクトモデルを前記ターゲット骨格にスキニングして、前記ターゲット仮想オブジェクトにマッチングするオブジェクト制御モデルを取得することを含む。
選択可能に、前記ターゲット骨格は、汎用の顔骨格を含み、前記オブジェクトモデルは、顔モデルを含む。
本発明の実施例の他の態様によれば、表情アニメーション生成装置をさらに提供し、ターゲット仮想オブジェクトのオブジェクトモデルを取得するための第1の取得ユニットと、取得した上記オブジェクトモデルをターゲット骨格に適応させて、上記ターゲット仮想オブジェクトにマッチングするオブジェクト制御モデルを取得し、上記オブジェクト制御モデルは制御頂点及び制御骨格を含み、各上記制御骨格が上記オブジェクト制御モデルの一部の領域を制御するために使用され、上記制御頂点が上記制御骨格の交点であるための適応ユニットと、取得した調整指令に従って上記オブジェクト制御モデルにおける上記制御頂点及び/又は上記制御骨格を調整して、上記ターゲット仮想オブジェクトの表情フレーム画面を取得するための調整ユニットと、上記表情フレーム画面を利用して上記ターゲット仮想オブジェクトの表情アニメーションを生成するための生成ユニットと、を含む。
選択可能に、前記調整ユニットは、
前記ターゲット仮想オブジェクトの表情フレーム画面が得られるまで、
取得した調整指令に従って、前記オブジェクト制御モデルにおいて調整すべきターゲット制御頂点及び/又はターゲット制御骨格を確定するステップと、
前記ターゲット制御頂点及び/又は前記ターゲット制御骨格を調整するステップと、
を繰り返して実行するための処理モジュールを含む。
選択可能に、前記処理モジュールは、
前記ターゲット制御頂点に接続されている各ターゲット制御骨格に対応する制御重みを調整し、前記ターゲット制御骨格の制御重みが大きいほど、前記オブジェクト制御モデル内の前記ターゲット制御骨格によって制御される領域の範囲が広くなるための第1の調整サブモジュール、及び/又は、
前記ターゲット制御骨格の表示位置を調整するための第2の調整サブモジュールと、
を含む。
選択可能に、前記生成ユニットは、
複数フレームの前記ターゲット仮想オブジェクトの表情フレーム画面を取得するための取得モジュールと、
取得した複数フレームの前記表情フレーム画面から、所定の順序に従って、前記ターゲット仮想オブジェクトの表情アニメーションを生成するための生成モジュールと、
を含む。
選択可能に、前記適応ユニットは、
取得した前記オブジェクトモデルにおけるキーポイントと前記ターゲット骨格をバインディングして、前記オブジェクトモデルを前記ターゲット骨格にスキニングして、前記ターゲット仮想オブジェクトにマッチングするオブジェクト制御モデルを取得するための適応モジュールを含む。
選択可能に、前記ターゲット骨格は、汎用の顔骨格を含み、前記オブジェクトモデルは、顔モデルを含む。
本発明の実施例のさらに他の態様によれば、端末に適用される表情アニメーション生成方法をさらに提供し、前記方法は、
前記端末が上記した表情アニメーション生成方法を実行することを含む。
本発明の実施例のさらに他の態様によれば、記憶媒体をさらに提供し、上記記憶媒体は、上記表情アニメーション生成方法を実行するためのプログラムを記憶するためのものである。
本発明の実施例のさらに他の態様によれば、メモリとプロセッサーを含む電子装置をさらに提供し、
前記メモリはプログラムを記憶し、前記プロセッサーは前記メモリに記憶されるプログラムを実行し、
前記プロセッサーは、前記プログラムによって、上記した表情アニメーション生成方法を実行する。
本発明の実施例のさらに他の態様によれば、コンピュータで実行されるときに、上記した表情アニメーション生成方法を前記コンピュータに実行させる指令を含むコンピュータプログラム製品をさらに提供する。
本発明によって提供される表情アニメーション生成方法では、取得したターゲット仮想オブジェクトのオブジェクトモデルを共通のターゲット骨格に適応させることによって、ターゲット仮想オブジェクトにマッチングするオブジェクト制御モデルを取得し、オブジェクト制御モデルに含まれた制御頂点及び/又は制御骨格を調整することによって、上記オブジェクト制御モデルに対する調整制御を実現して、ターゲット仮想オブジェクトの表情フレーム画面を取得し、取得した表情フレーム画面を利用してターゲット仮想オブジェクトの表情アニメーションを生成する。
本発明は、ターゲット仮想オブジェクトのオブジェクトモデルを共通のターゲット骨格に適応させ、適応後に得られたオブジェクト制御モデルにおける制御骨格及び/又は制御頂点を直接調整することによって、豊かで多様な表情フレーム画面を取得する。これにより、ターゲット仮想オブジェクトに対して多様で生き生きとしたリアルな表情アニメーションを生成するという目的が達成され、さらに、関連技術における生成された表情アニメーションが単一すぎるという問題が克服される。
本発明は、共通のターゲット骨格を利用して異なるターゲット仮想オブジェクトのオブジェクトモデルに適応して、各ターゲット仮想オブジェクトに対応するオブジェクト制御モデルを取得し、表情アニメーションを生成するためのターゲット仮想オブジェクトの範囲を拡げ、異なるターゲット仮想オブジェクトごとに、対応するオブジェクト制御モデルにおける制御骨格及び/又は制御頂点を調整することによって豊かで多様な表情アニメーションを生成することができ、それによって、上記した表情アニメーション生成方法の使用範囲を広げ、共通性を向上させるという効果を実現することができる。
本明細書に記載された図面は、本発明のさらなる理解を提供し、そして本出願の一部を構成する。本発明の例示的な実施例及びその説明は、本発明を解釈するためのものであり、本発明を限定することを意図していない。
本発明の実施例による選択可能な表情アニメーション生成方法の適用環境の概略図である。 本発明の実施例による選択可能な表情アニメーション生成方法のフローチャートである。 本発明の実施例による選択可能な表情アニメーション生成方法の效果の概略図である。 本発明の実施例による他の選択可能な表情アニメーション生成方法の效果の概略図である。 本発明の実施例による他の選択可能な表情アニメーション生成方法のフローチャートである。 本発明の実施例による選択可能な表情アニメーション生成方法の操作インターフェースの概略図である。 本発明の実施例による他の選択可能な表情アニメーション生成方法の操作インターフェースの概略図である。 本発明の実施例による選択可能な表情アニメーション生成装置の概略図である。 本発明の実施例による選択可能な電子装置の概略図である。
以下、当業者に本発明の解決策をよりよく理解させるために、本発明の実施例における添付の図面を参照しながら、本発明の実施例における技術的解決策を明確かつ完全に説明する。記載する実施例は本発明の実施形態の一部にすぎず、全ての実施例ではないことは明らかである。創造的な努力なしに本発明の実施例に基づいて当業者によって得られる他の全ての実施例は、本発明の保護範囲に属すべきである。
なお、本発明の明細書及び特許請求の範囲における「第1」、「第2」などの用語は、類似のオブジェクトを区別するために使用されており、必ずしも特定の順序を記述するためのものではない。このように使用されるデータは、適切な場合には交換されてもよく、その結果、本明細書に記載される本発明の実施例は、本明細書に例示又は記載されるもの以外の順序で実施され得ることを理解すべきである。さらに、「含む」及び「有する」という用語、ならびにそれらのあらゆる変形は、非排他的な包含を網羅することを意図し、例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品、又は装置は、明確に列挙されたステップ又はユニットに必ずしも限定されず、明確に列挙されなかったもの、あるいはそれらのプロセス、方法、又は装置に固有の他のステップ又はユニットを含むことができる。
本発明の実施例では、上記表情アニメーション生成方法の実施例を提供する。選択可能な実施形態として、当該表情アニメーション生成方法は、図1に示す適用環境に適用することができるが、これに限定されない。端末102では、表情アニメーション編集アプリケーションが動作し、当該アプリケーションでは、ターゲット仮想オブジェクトのオブジェクトモデルを取得し、当該オブジェクトモデルをターゲット骨格に適応させて、上記ターゲット仮想オブジェクトにマッチングするオブジェクト制御モデルを取得し、当該オブジェクト制御モデルは制御頂点及び制御骨格を含み、制御頂点が制御骨格の交点であり、各制御骨格がオブジェクト制御モデルの一部の領域を制御するために使用され、取得した調整指令に従って、上記オブジェクト制御モデルにおける制御頂点及び/又は制御骨格を調整して、当該ターゲット仮想オブジェクトの表情フレーム画面を取得する。そして、上記表情フレーム画面を利用して、ターゲット仮想オブジェクトの表情アニメーションを生成する。
この実施例では、取得したターゲット仮想オブジェクトのオブジェクトモデルを汎用のターゲット骨格に適応させて、ターゲット仮想オブジェクトにマッチングするオブジェクト制御モデルを取得することで、オブジェクト制御モデルに含まれた制御頂点及び/又は制御骨格を調整することによって、上記オブジェクト制御モデルに対する調整制御を実現して、ターゲット仮想オブジェクトの表情フレーム画面を取得し、取得した表情フレーム画面を利用してターゲット仮想オブジェクトの表情アニメーションを生成する。つまり、ターゲット仮想オブジェクトのオブジェクトモデルを汎用のターゲット骨格に適応させ、適応後に得られたオブジェクト制御モデルにおける制御骨格及び/又は制御頂点を直接調整することによって、豊かで多様な表情フレーム画面を取得する。これにより、ターゲット仮想オブジェクトに対して多様で生き生きとしたリアルな表情アニメーションを生成するという目的が達成され、さらに、関連技術における生成された表情アニメーションが単一すぎるという問題が克服される。汎用のターゲット骨格を利用して異なるターゲット仮想オブジェクトのオブジェクトモデルに適応して、各ターゲット仮想オブジェクトに対応するオブジェクト制御モデルを取得し、表情アニメーションを生成するためのターゲット仮想オブジェクトの範囲を拡げ、異なるターゲット仮想オブジェクトに対して、対応するオブジェクト制御モデルにおける制御骨格及び/又は制御頂点を調整することによって豊かで多様な表情アニメーションを生成することができ、それによって、上記表情アニメーション生成方法の使用範囲を拡げ、汎用性を向上させるという効果を実現することができる。
選択可能に、この実施例では、上記端末102は、携帯電話、タブレットコンピュータ、ノートブックコンピュータ、デスクトップPC、及び表情アニメーションを生成するための他のハードウェアデバイスのうちの少なくとも1つを含み得るが、それらに限定されない。上記は一例であり、本実施例はそれらに限定されるものではない。
本発明の実施例によれば、表情アニメーション生成方法を提供し、図2に示すように、当該方法は、
ターゲット仮想オブジェクトのオブジェクトモデルを取得するステップS202と、
取得したオブジェクトモデルをターゲット骨格に適応させて、ターゲット仮想オブジェクトにマッチングするオブジェクト制御モデルを取得するステップであって、オブジェクト制御モデルは制御頂点及び制御骨格を含み、各制御骨格がオブジェクト制御モデルの一部の領域を制御するために使用され、制御頂点が制御骨格の交点であるステップS204と、
取得した調整指令に従って、オブジェクト制御モデルにおける制御頂点及び/又は制御骨格を調整して、ターゲット仮想オブジェクトの表情フレーム画面を取得するステップS206と、
表情フレーム画面を利用して、ターゲット仮想オブジェクトの表情アニメーションを生成するステップS208と、を含む。
選択可能に、この実施例では、上記表情アニメーション生成方法は、表情アニメーションを編集する必要があるアプリケーションに適用することができるが、これに限定されない。例えば、ゲームアプリケーションに適用する場合、ターゲット仮想オブジェクトは、ゲームアプリケーションにおける仮想のゲームキャラクターオブジェクトを例として、上記表情アニメーション生成方法により、上記ゲームキャラクターオブジェクトに対して様々な異なる表情アニメーションを生成する。上記ゲームキャラクターオブジェクトのオブジェクトモデル(例えば、ゲームキャラクターオブジェクトの3次元モデル)を取得し、当該オブジェクトモデルを汎用のターゲット骨格に適応させて、上記ゲームキャラクターオブジェクトにマッチングするオブジェクト制御モデルを取得することによって、当該オブジェクト制御モデルにおける制御頂点及び/又は制御骨格を調整して、対応する表情フレーム画面を取得し、さらに、上記表情フレーム画面を利用して上記ゲームキャラクターオブジェクトの表情アニメーションを生成する。上記は一例であり、この実施例では、これに限定されない。
なお、ターゲット仮想オブジェクトのオブジェクトモデルを汎用のターゲット骨格に適応させ、適応後に得られたオブジェクト制御モデルにおける制御骨格及び/又は制御頂点を直接調整することによって、豊かで多様な表情フレーム画面を取得する。これにより、ターゲット仮想オブジェクトに対して多様で生き生きとしたリアルな表情アニメーションを生成するという目的が達成され、さらに、関連技術における生成された表情アニメーションが単一すぎるという問題が克服される。汎用のターゲット骨格を利用して異なるターゲット仮想オブジェクトのオブジェクトモデルに適応させて、各ターゲット仮想オブジェクトに対応するオブジェクト制御モデルを取得し、表情アニメーションを生成するためのターゲット仮想オブジェクトの範囲を拡げ、異なるターゲット仮想オブジェクトに対して、対応するオブジェクト制御モデルにおける制御骨格及び/又は制御頂点を調整することによって豊かで多様な表情アニメーションを生成することができ、上記表情アニメーション生成方法の使用範囲を拡げ、汎用性を向上させる效果を実現することができる。
選択可能に、この実施例では、上記ターゲット骨格は汎用の同じ骨格であるが、これに限定されない。つまり、異なるターゲット仮想オブジェクトに対するオブジェクトモデルはともに、上記汎用のターゲット骨格に適応されて、各ターゲット仮想オブジェクトにそれぞれ対応するオブジェクト制御モデルを取得することで、オブジェクト制御モデルにおける制御頂点及び/又は制御骨格を調整することによって、ターゲット仮想オブジェクトの表情フレーム画面に対する調整制御を実現して、豊かで多様な表情アニメーションを容易に取得することができるが、これに限定されない。例えば、ターゲット骨格が顔の汎用の骨格であることを例として、顔の汎用の骨格を利用して異なる顔の形状に対応する表情アニメーションを制御生成するように、異なる顔の形状の顔モデルを上記顔の汎用骨格に適応させることができ、それによって、豊かな表情アニメーションのスタイルを達成し、表情アニメーション生成プロセスの汎用性を提供する。
選択可能に、この実施例では、上記オブジェクト制御モデルにおける制御頂点及び/又は制御骨格は、オブジェクトモデルがターゲット骨格に適応された後に得られたオブジェクト制御モデル内のターゲット仮想オブジェクトの表情フレーム画面を制御するためのキー要素であってもよいが、これに限定されない。ターゲット仮想オブジェクトにマッチングするオブジェクト制御モデルにおける制御頂点及び/又は制御骨格を調整することによって、当該ターゲット仮想オブジェクトに対して異なる表情アニメーションを生成することができる。
なお、上記表情アニメーションは、Nフレームの表情フレーム画面から所定の順序に従って生成される連続的に変化する動的な表情であってもよいが、これに限定されないことに留意されたい。上記は一例であり、この実施例では、これに限定されない。
なお、上記ターゲット骨格は、全身の汎用の骨格、顔の汎用の骨格を含み得るが、これらに限定されないことに留意されたい。つまり、生成された表情アニメーションは、全身の動きからなる表情アニメーションを含んでもよいし、五感器官の形態からなる表情アニメーションを含んでもよいが、この実施例では、これに限定されない。
選択可能な解決策として、取得した調整指令に従って、オブジェクト制御モデルにおける制御頂点及び/又は制御骨格を調整して、ターゲット仮想オブジェクトの表情フレーム画面を取得することは、
表情フレーム画面が得られるまで、
調整指令に従って、オブジェクト制御モデルにおいて調整すべきターゲット制御頂点及び/又はターゲット制御骨格を確定するステップS12と、
ターゲット制御頂点及び/又はターゲット制御骨格を調整するステップS14と、
を繰り返して実行するS1を含む。
選択可能に、この実施例では、ターゲット制御頂点及び/又はターゲット制御骨格を調整するS14は、
1)ターゲット制御頂点に接続されている各ターゲット制御骨格に対応する制御重みを調整し、ターゲット制御骨格の制御重みが大きいほど、オブジェクト制御モデル内のターゲット制御骨格によって制御される領域の範囲が広くなること、及び/又は、
2)ターゲット制御骨格の表示位置を調整すること、
を含むが、これに限定されない。
例えば、図3に示すように、ターゲット骨格が顔の汎用の骨格であることを例として、対応するオブジェクト制御モデルは、顔制御モデルであり、制御骨格は、顔制御骨格であり、制御頂点は、顔制御頂点である。図3に示す顔制御頂点に接続されている各顔制御骨格に対応する制御重みを調整することによって、オブジェクト制御モデル内の各顔制御骨格によって制御される領域の範囲を確定し、制御重みが大きいほど、制御される領域の範囲が広くなる。この実施例では、顔制御骨格の表示位置を継続的に調整して、顔上の五感器官の表示形態を変更して、対応する表情フレーム画面を取得するようにすることができるが、これに限定されない。例えば、図3に示す眉骨(眉の制御骨格)の表示位置を調整して、顔上の眉の表示位置を変更することによって、調整後の表情フレーム画面を取得し、複数フレームの表情フレーム画面の組み合わせを取得した後、対応する動的な表情アニメーションを生成する。
選択可能に、この実施例では、取得したターゲット仮想オブジェクトのオブジェクトモデルをターゲット骨格に適応させて、当該ターゲット仮想オブジェクトにマッチングするオブジェクト制御モデルを取得することは、取得したオブジェクトモデルにおけるキーポイント及びターゲット骨格をバインディングして、当該オブジェクトモデルをターゲット骨格にスキニングして、ターゲット仮想オブジェクトにマッチングするオブジェクト制御モデルを取得することを含む。
なお、この実施例では、各制御骨格は、オブジェクト制御モデルのある一部の領域を制御するために使用され、鼻の形、口の形、目、額などの顔の異なる五感器官の形態を形成する。この実施例では、同じセットの汎用のターゲット骨格を使用して異なるターゲット仮想オブジェクトのオブジェクトモデルを適応させ、得られたオブジェクト制御モデルにおける各制御頂点及び制御骨格を調整して、オブジェクト制御モデルの五感器官の特徴を変更することで、ターゲット仮想オブジェクトの異なる表情を取得する。
その中、各制御頂点に接続されている各制御骨格の制御重みは、対応する制御頂点における各制御骨格の強度制御を確定するために使用される。例えば、図4に示すように、目1、目2における目の位置の骨格の周りについて、暗い色の制御頂点は制御力が強いことを示し、明るい色の制御頂点は制御力が弱いことを示し、これにより、目の周りの制御骨格の制御範囲が分かる。目1と目2が同じ骨格を使用してマッチングされているとすると、目1の初期オブジェクトモデルが大きく、目2の初期オブジェクトモデルが小さく、2つの目は現在、瞬き振幅が同じく、骨格移動が同じく、同じ目部の骨格を使用して目1と目2の適応を達成するために、制御頂点の制御重みを調整することによって生成された表情を汎用化させることができる。
具体的には、以下の図5に示す例を参照しながら説明し、ゲームアプリケーションにおけるゲームキャラクターオブジェクトの顔表情アニメーションの生成を例にとると、上記表情アニメーション生成プロセスは次のようになる。
S502、モデル作成。ゲームキャラクターオブジェクトの2次元モデルは、3DSMAXソフトウェアにおける編集ツールによって、3次元のオブジェクトモデルに実体変換する。上記3DSMAXソフトウェアは、3Dモデル、アニメーション、特殊効果などを作成するためのアプリケーションソフトウエアである。
S504、モデル分割。作成された上記オブジェクトモデルを頭オブジェクトモデルと体オブジェクトモデルの2つの部分に分割する。
S506、骨格バインディング。分割されたオブジェクトモデルをターゲット骨格に適応させる。
S508、スキニング一般的適応。オブジェクトモデルをターゲット骨格にスキニングして、オブジェクト制御モデルを取得し、オブジェクト制御モデルにおける制御骨格の移動回転を制御して、制御頂点の制御重みを調整することによって、適応の目的を達成する。
S510、アニメーション作成。3DSMAXソフトウェアでは、オブジェクト制御モデルを調整した後に得られた複数フレームの表情フレーム画面を利用して、動的な表情アニメーションを生成する。
S512、頭及び体を分割して、fbxファイルを出力する。作成された表情アニメーションを頭アニメーション、体アニメーションに分割して、2つのfbxファイルを出力する。なお、上記表情アニメーションは、顔表情アニメーション、全身表情アニメーションを含むことができるが、これらに限定されない。つまり、異なる身体形態をオブジェクトの表情アニメーションに含めることもできる。上記は一例であり、この実施例では、これに限定されない。
S514、ステートマシンを構築し、ステートマシンに統合する。unityエンジンソフトウェアでは、図6に示す效果を有するアニメーションステートマシンを構築して、生成された表情アニメーションを対応するステートマシンに統合して出力し、その效果は図7に示すようになる。
本出願によって提供される実施例によれば、ターゲット仮想オブジェクトのオブジェクトモデルを汎用のターゲット骨格に適応させ、適応後に得られたオブジェクト制御モデルにおける制御骨格及び/又は制御頂点を直接調整することによって、豊かで多様な表情フレーム画面を取得する。これにより、ターゲット仮想オブジェクトに対して、多様で生き生きとしたリアルな表情アニメーションを生成するという目的が達成され、さらに、関連技術における生成された表情アニメーションが単一すぎるという問題が克服される。汎用のターゲット骨格を利用して異なるターゲット仮想オブジェクトのオブジェクトモデルに適応させ、各ターゲット仮想オブジェクトに対応するオブジェクト制御モデルを取得し、表情アニメーションを生成するためのターゲット仮想オブジェクトの範囲を拡げ、異なるターゲット仮想オブジェクトごとに、対応するオブジェクト制御モデルにおける制御骨格及び/又は制御頂点を調整することによって豊かで多様な表情アニメーションを生成することができ、上記表情アニメーション生成方法の使用範囲を拡げ、共通性を向上させる效果を実現することができる。
なお、この実施例では、異なる調整指令に従って、上記オブジェクト制御モデルにおける制御頂点及び/又は制御骨格を調整して、1フレームの所望の表情フレーム画面を取得する。複数フレームの表情フレーム画面を取得した後、それらを組み合わせて所定の順序に従って1つの動的な表情アニメーションを生成することができる。
例えば、依然としてゲームアプリケーションにおけるゲームキャラクターオブジェクトの顔表情アニメーションの生成を例にとると、編集するためのゲームエンジンでは、調整指令に従って、ゲームキャラクターオブジェクトにマッチングするオブジェクト制御モデルにおいて調整されるべきターゲット制御骨格を確定し、その後、ゲームキャラクターオブジェクトの顔におけるターゲット制御骨格の表示位置を直接調整して、調整された表情フレーム画面を取得することができる。
また、例えば、依然としてゲームアプリケーションにおけるゲームキャラクターオブジェクトの顔表情アニメーションの生成を例にとると、編集するためのゲームエンジンでは、調整指令に従って、ゲームキャラクターオブジェクトにマッチングするオブジェクト制御モデルにおいて調整されるべきターゲット制御頂点を確定し、その後、ターゲット制御頂点に接続されている各ターゲット制御骨格に対応する制御重みを直接調整することができる。ターゲット制御頂点が例えば骨格Aから骨格Dの4つのターゲット制御骨格に接続されており、対応する制御重みはそれぞれ0.1、0.2、0.3、0.4であると仮定する。骨格Dの制御重みは最も大きく、制御領域の範囲は最も大きく、制御力は最も強く、骨格Cから骨格Aまで順次に低下する。そして、調整指令に従って上記骨格の表示位置を調整して、各骨格に対応する制御領域の変化程度が異なり、調整された表情フレーム画面を取得する。
本出願によって提供される実施例では、ターゲット制御骨格及び/又はターゲット制御頂点の制御重みを調整することによって、豊かで多様な表情フレーム画面を取得するという目的が達成され、ターゲット仮想オブジェクトに様々な表情アニメーションを持たせ、さらに、ターゲット仮想オブジェクトの表情アニメーションをよりリアルで鮮やかにする。
選択可能な解決策として、表情フレーム画面を利用して、ターゲット仮想オブジェクトの表情アニメーションを生成することは、
複数フレームのターゲット仮想オブジェクトの表情フレーム画面を取得するS1と、
複数フレームの表情フレーム画面から、所定の順次に従ってターゲット仮想オブジェクトの表情アニメーションを生成するS2と、を含む。
この実施例では、上記表情アニメーションは、複数フレームの表情フレーム画面から所定の順序に従って生成された連続的に変化する動的表情であってもよいが、これに限定されない。例えば、複数フレームの表情フレーム画面はそれぞれ、フレームA:口角が閉じている、フレームB:口角が上がっている、フレームC:口を開けて、歯が露出するというものであり、所定の順序に従って、当該ターゲット仮想オブジェクト(例えば、ゲームキャラクター専用)にマッチングする表情アニメーション「大笑」を生成することができる。
本出願によって提供される実施例では、取得した複数フレームの表情フレーム画面から、所定の順序に従って、ターゲット仮想オブジェクトの表情アニメーションを生成することによって、異なるターゲット仮想オブジェクトに対して豊かで多様な表情アニメーションを生成するという目的が達成され、生成プロセスが汎用化される。
選択可能な解決策として、取得したターゲット仮想オブジェクトのオブジェクトモデルをターゲット骨格に適応させて、当該ターゲット仮想オブジェクトにマッチングするオブジェクト制御モデルを取得することは、
取得したオブジェクトモデルにおけるキーポイントとターゲット骨格をバインディングして、オブジェクトモデルをターゲット骨格にスキニングして、ターゲット仮想オブジェクトにマッチングするオブジェクト制御モデルを取得するS1を含む。
選択可能に、この実施例では、上記オブジェクトモデルにおけるキーポイントは、オブジェクトモデルにおけるキー位置であり得るが、これに限定されない。顔オブジェクトモデルを例にとると、キー位置は五感器官(目、眉、鼻、口、耳)の位置を含むことができるが、これに限定されない。上記オブジェクトモデルにおけるキーポイントと汎用のターゲット骨格における対応する位置をバインディングして、その後、ターゲット骨格にスキニングして、ターゲット仮想オブジェクトにマッチングするオブジェクト制御モデルを取得し、当該オブジェクト制御モデルは、当該ターゲット仮想オブジェクトを調整制御するための制御頂点及び制御骨格を含む。
その後、当該ターゲット仮想オブジェクトにマッチングする連続的に変化する表情アニメーションを生成するように、調整すべきターゲット制御頂点及び/又はターゲット制御骨格を確定し、複数回の調整により、複数のフレームの表情フレーム画面を取得する操作を繰り返して実行する。
本出願によって提供される実施例では、汎用のターゲット骨格を異なるターゲット仮想オブジェクトのオブジェクトモデルに適応させて、各ターゲット仮想オブジェクトに対応するオブジェクト制御モデルを取得し、表情アニメーションを生成するためのターゲット仮想オブジェクトの範囲を拡げることによって、異なるターゲット仮想オブジェクトに対して、豊かで多様な表情アニメーションを生成するという目的が達成され、表情アニメーション生成方法の共通性を向上させる效果を達する。
なお、前述の各方法の実施例について、簡単な説明のために、それらはすべて一連の動作の組み合わせとして表現されているが、本発明が説明された動作順序によって限定されないことは当業者によって理解されるべきである。なぜなら、本発明に従って、特定のステップは、他の順序で、又は同時に実行され得るからである。さらに、当業者はまた、本明細書に記載された実施例はすべて好ましい実施例であり、関連する動作及びモジュールは必ずしも本発明によって必要とされないことを理解すべきである。
上記の実施形態の説明を通して、当業者は、上記の実施例による方法がソフトウェアと必要な汎用のハードウェアプラットフォームとによって実施できることを明確に理解することができるが、もちろん、ハードウェアによって実施してもよいが、多くの場合、前者はより良い実施形態である。そのような理解に基づいて、本発明の技術的解決策は、本質的又は先行技術に貢献する部分はソフトウェア製品の形で具現化することができる。当該コンピュータソフトウェア製品は、記憶媒体(例えば、ROM / RAM、磁気ディスク、光ディスクなど)に記憶され、端末装置(携帯電話、コンピュータ、サーバー、又はネットワーク装置などであり得る)に本発明の各実施例で説明された方法を実行させるための複数の指令を含む。
また、本発明の実施例によれば、上記表情アニメーション生成方法を実施するための表情アニメーション生成装置をさらに提供し、上記方法実施例で説明された例を参照することができるので、この実施例はここで再度説明しない。
図8に示すように、当該装置は、
1)ターゲット仮想オブジェクトのオブジェクトモデルを取得するための第1の取得ユニット802と、
2)取得したオブジェクトモデルをターゲット骨格に適応させて、ターゲット仮想オブジェクトにマッチングするオブジェクト制御モデルを取得し、オブジェクト制御モデルは制御頂点と制御骨格を含み、各制御骨格がオブジェクト制御モデルの一部の領域を制御するために使用され、制御頂点が制御骨格の交点である適応ユニット804と、
3)取得した調整指令に従って、オブジェクト制御モデルにおける制御頂点及び/又は制御骨格を調整して、ターゲット仮想オブジェクトの表情フレーム画面を取得するための調整ユニット806と、
4)表情フレーム画面を利用して、ターゲット仮想オブジェクトの表情アニメーションを生成するための生成ユニット808と、
を含む。
選択可能な解決策として、調整ユニット806は、
1)ターゲット仮想オブジェクトの表情フレーム画面が得られるまで、
取得した調整指令に従って、オブジェクト制御モデルにおいて調整すべきターゲット制御頂点及び/又はターゲット制御骨格を確定するステップと、ターゲット制御頂点及び/又はターゲット制御骨格を調整するステップと、を繰り返して実行するための処理モジュールを含む。
選択可能に、この実施例では、処理モジュールは、
(1)ターゲット制御頂点に接続されている各ターゲット制御骨格に対応する制御重みを調整し、ターゲット制御骨格の制御重みが大きいほど、オブジェクト制御モデル内のターゲット制御骨格によって制御される領域の範囲が広くなる第1の調整サブモジュール、及び/又は、
(2)ターゲット制御骨格の表示位置を調整するための第2の調整サブモジュールと、 を含む。
選択可能な解決策として、生成ユニット808は、
1)複数フレームのターゲット仮想オブジェクトの表情フレーム画面を取得するための取得モジュールと、
2)取得した複数フレームの表情フレーム画面から、所定の順序に従って、ターゲット仮想オブジェクトの表情アニメーションを生成するための生成モジュールと、
を含む。
選択可能な解決策として、適応ユニット804は、
1)取得したオブジェクトモデルにおけるキーポイントとターゲット骨格をバインディングして、オブジェクトモデルをターゲット骨格にスキニングして、ターゲット仮想オブジェクトにマッチングするオブジェクト制御モデルを取得するための適応モジュールを含む。
本発明の実施例によれば、上記表情アニメーションの生成を実施するための電子装置をさらに提供し、図9に示すように、当該電子装置は、メモリ902、プロセッサー904、及びメモリに記憶されかつプロセッサーで実行できるコンピュータプログラムを含み、また、伝送に使用される通信インターフェース906をさらに含む。
1)通信インターフェース906は、ターゲット仮想オブジェクトのオブジェクトモデルを取得するように設置される。
2)プロセッサー904は、通信インターフェース906に接続され、取得したオブジェクトモデルをターゲット骨格に適応させて、ターゲット仮想オブジェクトにマッチングするオブジェクト制御モデルを取得し、オブジェクト制御モデルは制御頂点と制御骨格を含み、各制御骨格は、オブジェクト制御モデルの一部の領域を制御するために使用され、制御頂点が制御骨格の交点であり、さらに、取得した調整指令に従って、オブジェクト制御モデルにおける制御頂点及び/又は制御骨格を調整して、ターゲット仮想オブジェクトの表情フレーム画面を取得するように設置され、さらに、表情フレーム画面を利用してターゲット仮想オブジェクトの表情アニメーションを生成するように設置される。
3)メモリ902は、通信インターフェース906及びプロセッサー904に接続され、ターゲット仮想オブジェクトの表情アニメーションを記憶するように設置される。
この実施例における具体例は、上記実施例1及び実施例2で説明した例を参照することができ、この実施例は、ここで再度説明しない。
本発明の実施例は、記憶媒体をさらに提供する。選択可能に、この実施例では、上記記憶媒体は、ネットワークにおける複数のネットワーク装置のうちの少なくとも1つのネットワーク装置に位置してもよい。
選択可能に、この実施例では、記憶媒体は、以下のステップを実行するためのプログラムコードを記憶するように設置され、
ステップS1、ターゲット仮想オブジェクトのオブジェクトモデルを取得し、
ステップS2、取得したオブジェクトモデルをターゲット骨格に適応させて、ターゲット仮想オブジェクトにマッチングするオブジェクト制御モデルを取得し、オブジェクト制御モデルは制御頂点及び制御骨格を含み、各制御骨格がオブジェクト制御モデルの一部の領域を制御するために使用され、制御頂点が制御骨格の交点であり、
ステップS3、取得した調整指令に従って、オブジェクト制御モデルにおける制御頂点及び/又は制御骨格を調整して、ターゲット仮想オブジェクトの表情フレーム画面を取得し、
ステップS4、表情フレーム画面を利用してターゲット仮想オブジェクトの表情アニメーションを生成する。
選択可能に、記憶媒体はさらに、以下のステップを実行するためのプログラムコードを記憶するように設置され、
ステップS1、ターゲット仮想オブジェクトの表情フレーム画面が得られるまで、取得した調整指令に従って、オブジェクト制御モデルにおいて調整すべきターゲット制御頂点及び/又はターゲット制御骨格を確定するステップと、ターゲット制御頂点及び/又はターゲット制御骨格を調整するステップとを繰り返して実行する。
選択可能に、記憶媒体は、さらに、以下のステップを実行するためのプログラムコードを記憶するように設置され、
前記ターゲット制御頂点に接続されている各ターゲット制御骨格に対応する制御重みを調整し、前記ターゲット制御骨格の制御重みが大きいほど、前記オブジェクト制御モデル内の前記ターゲット制御骨格によって制御される領域の範囲が広くなり、及び/又は、
前記ターゲット制御骨格の表示位置を調整する。
選択可能に、記憶媒体はさらに、以下のステップを実行するためのプログラムコードを記憶するように設置され、
複数フレームの前記ターゲット仮想オブジェクトの表情フレーム画面を取得し、
取得した複数フレームの前記表情フレーム画面から、所定の順序に従って前記ターゲット仮想オブジェクトの表情アニメーションを生成する。
選択可能に、記憶媒体は、さらに、以下のステップを実行するためのプログラムコードを記憶するように設置され、
取得した前記オブジェクトモデルにおけるキーポイントと前記ターゲット骨格をバインディングして、前記オブジェクトモデルを前記ターゲット骨格にスキニングして、前記ターゲット仮想オブジェクトにマッチングするオブジェクト制御モデルを取得する。
選択可能に、この実施例では、上記記憶媒体は、Uディスク、読み取り専用メモリ(ROM、Read-Only Memory)、ランダムアクセスメモリ(RAM、Random Access Memory)、モバイルハードディスク、磁気ディスク又は光ディスクなどのプログラムコードを記憶可能な様々な媒体を含むが、これらに限定されない。
一方、本発明の実施例は、コンピュータで実行されるときに、以上のいずれか1つの実施例に記載された表情アニメーションの生成をコンピュータに実行させる指令を含むコンピュータプログラム製品をさらに提供する。
この実施例における具体例は、上記実施例1及び実施例2で説明された例を参照することができ、この実施例は、ここで再度説明しない。
上記本発明の実施例のシリアル番号は説明のためのものであり、実施例の優劣を表すものではない。
上記の実施例における集積ユニットは、ソフトウェア機能ユニットの形態で実現され、独立した製品として販売又は使用される場合、上記のコンピュータ可読記憶媒体に記憶できる。そのような理解に基づいて、本発明の技術的解決策は、本質的又は従来技術に貢献する部分、あるいは当該技術的解決策の全部又は一部がソフトウェア製品の形態で具現化することができ、当該コンピュータソフトウェア製品は、記憶媒体に記憶され、1つ又は複数のコンピュータ装置(パーソナルコンピュータ、サーバー又はネットワーク装置などであり得る)に本発明の各実施例で説明された方法の全部又は一部のステップを実行させるための複数の指令を含む。
本発明の上記の実施例では、各実施例の説明は異なるフォーカスを有し、ある実施例で詳細に説明されていない部分は、他の実施例の関連する説明を参照することができる。
本出願によって提供されるいくつかの実施例では、開示されたクライアントは他の方式で実現できることが理解されるべきである。上述した装置の実施例は単なる例示であり、例えば、前記ユニットの分割は、論理的な機能分割のみであり、実際の実現においては他の分割方法があってもよく、例えば、複数のユニット又はコンポーネントは、別のシステムに結合又は集積されるか、又は、いくつかの特徴を無視したり、実行しないことができる。さらに、図示又は検討した相互結合又は直接結合又は通信接続は、何らかのインターフェース、ユニット又はモジュールを介した間接結合又は通信接続でもよく、電気的又はその他の形態でもよい。
分離部品として説明されたユニットは物理的に分離されてもされなくてもよく、ユニットとして表示された部品は物理的なユニットでもそうでなくてもよく、一箇所にあってもよいし、複数のネットワークユニットに分散されてもよい。実施例の解決策の目的を達成するために、実際の必要性に応じていくつか又はすべてのユニットを選択することができる。
また、本発明の各実施例における各機能ユニットは、1つの処理ユニットに集積されてもよいし、各ユニットは物理的に別々に存在してもよく、2つ又はそれ以上のユニットは1つのユニットに集積されてもよい。上記の集積されたユニットはハードウェアの形態で実現してもよいし、ソフトウェア機能ユニットの形態で実現してもよい。
上記は本発明の好ましい実施形態にすぎず、当業者は、本発明の原理から逸脱することなくいくつかの改良及び修正を行うこともでき、それらの改良及び修正は本発明の保護範囲とみなされるべきであることに留意されたい。
802 第1の取得ユニット
804 適応ユニット
806 調整ユニット
808 生成ユニット
902 メモリ
904 プロセッサー
906 通信インターフェース

Claims (16)

  1. 表情アニメーション生成方法であって、
    ターゲット仮想オブジェクトのオブジェクトモデルを取得することと、
    取得した前記オブジェクトモデルをターゲット骨格に適応させて、前記ターゲット仮想オブジェクトにマッチングするオブジェクト制御モデルを取得し、前記オブジェクト制御モデルは制御頂点と制御骨格を含み、各制御骨格が前記オブジェクト制御モデルの一部の領域を制御するために使用され、前記制御頂点が前記制御骨格の交点であることと、
    取得した調整指令に従って、前記オブジェクト制御モデルにおける前記制御頂点及び/又は前記制御骨格を調整して、前記ターゲット仮想オブジェクトの表情フレーム画面を取得することと、
    前記表情フレーム画面を利用して前記ターゲット仮想オブジェクトの表情アニメーションを生成すること、
    を含む方法。
  2. 前記取得した調整指令に従って前記オブジェクト制御モデルにおける前記制御頂点及び/又は前記制御骨格を調整して、前記ターゲット仮想オブジェクトの表情フレーム画面を取得することは、
    前記ターゲット仮想オブジェクトの表情フレーム画面が得られるまで、
    取得した調整指令に従って、前記オブジェクト制御モデルにおいて調整すべきターゲット制御頂点及び/又はターゲット制御骨格を確定するステップと、
    前記ターゲット制御頂点及び/又は前記ターゲット制御骨格を調整するステップと、
    を繰り返して実行すること、
    を含む請求項1に記載の方法。
  3. 前記ターゲット制御頂点及び/又は前記ターゲット制御骨格を調整することは、
    前記ターゲット制御頂点に接続されている各ターゲット制御骨格に対応する制御重みを調整し、前記ターゲット制御骨格の制御重みが大きいほど、前記オブジェクト制御モデル内の前記ターゲット制御骨格によって制御される領域の範囲が広くなること、及び/又は、
    前記ターゲット制御骨格の表示位置を調整すること、
    を含む請求項2に記載の方法。
  4. 前記表情フレーム画面を利用して、前記ターゲット仮想オブジェクトの表情アニメーションを生成することは、
    複数フレームの前記ターゲット仮想オブジェクトの表情フレーム画面を取得することと、
    取得した複数フレームの前記表情フレーム画面から、所定の順序に従って、前記ターゲット仮想オブジェクトの表情アニメーションを生成することと、
    を含む請求項1に記載の方法。
  5. 取得した前記オブジェクトモデルをターゲット骨格に適応させて、前記ターゲット仮想オブジェクトにマッチングするオブジェクト制御モデルを取得することは、
    取得した前記オブジェクトモデルにおけるキーポイント及び前記ターゲット骨格をバインディングして、前記オブジェクトモデルを前記ターゲット骨格にスキニングして、前記ターゲット仮想オブジェクトにマッチングするオブジェクト制御モデルを取得すること、
    を含む請求項1に記載の方法。
  6. 前記ターゲット骨格は、汎用の顔骨格を含み、前記オブジェクトモデルは、顔モデルを含む、
    請求項1から5のいずれか1項に記載の方法。
  7. 表情アニメーション生成装置であって、
    ターゲット仮想オブジェクトのオブジェクトモデルを取得するための第1の取得ユニットと、
    取得した前記オブジェクトモデルをターゲット骨格に適応させて、前記ターゲット仮想オブジェクトにマッチングするオブジェクト制御モデルを取得するための適応ユニットであって、前記オブジェクト制御モデルは制御頂点と制御骨格を含み、各制御骨格が前記オブジェクト制御モデルの一部の領域を制御するために使用され、前記制御頂点が前記制御骨格の交点である適応ユニットと、
    取得した調整指令に従って、前記オブジェクト制御モデルにおける前記制御頂点及び/又は前記制御骨格を調整して、前記ターゲット仮想オブジェクトの表情フレーム画面を取得するための調整ユニットと、
    前記表情フレーム画面を利用して、前記ターゲット仮想オブジェクトの表情アニメーションを生成するための生成ユニットと、
    を含む装置。
  8. 前記調整ユニットは、
    前記ターゲット仮想オブジェクトの表情フレーム画面が得られるまで、
    取得した調整指令に従って、前記オブジェクト制御モデルにおいて調整すべきターゲット制御頂点及び/又はターゲット制御骨格を確定するステップと、
    前記ターゲット制御頂点及び/又は前記ターゲット制御骨格を調整するステップと、
    を繰り返して実行するための処理モジュール、
    を含む請求項7に記載の装置。
  9. 前記処理モジュールは、
    前記ターゲット制御頂点に接続されている各ターゲット制御骨格に対応する制御重みを調整するための第1の調整サブモジュールであって、前記ターゲット制御骨格の制御重みが大きいほど、前記オブジェクト制御モデル内の前記ターゲット制御骨格によって制御される領域の範囲が広くなる第1の調整サブモジュール、及び/又は、
    前記ターゲット制御骨格の表示位置を調整するための第2の調整サブモジュール、
    を含む請求項8に記載の装置。
  10. 前記生成ユニットは、
    複数フレームの前記ターゲット仮想オブジェクトの表情フレーム画面を取得するための取得モジュールと、
    取得した複数フレームの前記表情フレーム画面から、所定の順序に従って、前記ターゲット仮想オブジェクトの表情アニメーションを生成するための生成モジュールと、
    を含む請求項7に記載の装置。
  11. 前記適応ユニットは、
    取得した前記オブジェクトモデルにおけるキーポイント及び前記ターゲット骨格をバインディングして、前記オブジェクトモデルを前記ターゲット骨格にスキニングして、前記ターゲット仮想オブジェクトにマッチングするオブジェクト制御モデルを取得するための適応モジュール、
    を含む請求項7に記載の装置。
  12. 前記ターゲット骨格は、汎用の顔骨格を含み、前記オブジェクトモデルは、顔モデルを含む、
    請求項7から11のいずれか1項に記載の装置。
  13. 端末に適用される表情アニメーション生成方法であって、
    前記端末が請求項1から6のいずれか1項に記載の表情アニメーション生成方法を実行すること、
    を含む方法。
  14. メモリとプロセッサーを含む電子装置であって、
    前記メモリはプログラムを記憶し、前記プロセッサーは、前記メモリに記憶されたプログラムを実行し、
    前記プロセッサーは、前記プログラムによって、請求項1から6のいずれか1項に記載の表情アニメーション生成方法を実行する、
    電子装置。
  15. 記憶媒体であって、請求項1から6のいずれか1項に記載の表情アニメーション生成方法を実行するためのプログラムを記憶するための記憶媒体。
  16. コンピュータで実行されるときに、請求項1から6のいずれか1項に記載の表情アニメーション生成方法を前記コンピュータに実行させる指令を含むコンピュータプログラム製品。
JP2019549402A 2017-08-28 2018-05-24 表情アニメーション生成方法及び装置、記憶媒体ならびに電子装置 Active JP7297359B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710752994.6A CN107657651B (zh) 2017-08-28 2017-08-28 表情动画生成方法和装置、存储介质及电子装置
CN201710752994.6 2017-08-28
PCT/CN2018/088150 WO2019041902A1 (zh) 2017-08-28 2018-05-24 表情动画生成方法和装置、存储介质及电子装置

Publications (4)

Publication Number Publication Date
JP2020510262A true JP2020510262A (ja) 2020-04-02
JP2020510262A5 JP2020510262A5 (ja) 2021-11-11
JPWO2019041902A5 JPWO2019041902A5 (ja) 2022-12-01
JP7297359B2 JP7297359B2 (ja) 2023-06-26

Family

ID=61128888

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019549402A Active JP7297359B2 (ja) 2017-08-28 2018-05-24 表情アニメーション生成方法及び装置、記憶媒体ならびに電子装置

Country Status (5)

Country Link
US (2) US10872452B2 (ja)
JP (1) JP7297359B2 (ja)
KR (1) KR102338136B1 (ja)
CN (1) CN107657651B (ja)
WO (1) WO2019041902A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107657651B (zh) 2017-08-28 2019-06-07 腾讯科技(上海)有限公司 表情动画生成方法和装置、存储介质及电子装置
CN110135226B (zh) * 2018-02-09 2023-04-07 腾讯科技(深圳)有限公司 表情动画数据处理方法、装置、计算机设备和存储介质
CN108305309B (zh) * 2018-04-13 2021-07-20 腾讯科技(成都)有限公司 基于立体动画的人脸表情生成方法和装置
CN108805963B (zh) * 2018-05-21 2023-03-24 网易(杭州)网络有限公司 三维模型的处理方法和装置、及存储介质和终端
CN108846886B (zh) * 2018-06-19 2023-03-24 北京百度网讯科技有限公司 一种ar表情的生成方法、客户端、终端和存储介质
CN109509242B (zh) * 2018-11-05 2023-12-29 网易(杭州)网络有限公司 虚拟对象面部表情生成方法及装置、存储介质、电子设备
CN109621419B (zh) * 2018-12-12 2022-05-03 网易(杭州)网络有限公司 游戏角色表情的生成装置方法及装置、存储介质
CN109727302B (zh) * 2018-12-28 2023-08-08 网易(杭州)网络有限公司 骨骼创建方法、装置、电子设备及存储介质
CN110322416B (zh) * 2019-07-09 2022-11-18 腾讯科技(深圳)有限公司 图像数据处理方法、装置以及计算机可读存储介质
CN110490958B (zh) * 2019-08-22 2023-09-01 腾讯科技(深圳)有限公司 动画绘制方法、装置、终端及存储介质
CN110717974B (zh) * 2019-09-27 2023-06-09 腾讯数码(天津)有限公司 展示状态信息的控制方法、装置、电子设备和存储介质
CN110766776B (zh) * 2019-10-29 2024-02-23 网易(杭州)网络有限公司 生成表情动画的方法及装置
CN111068331B (zh) * 2019-11-21 2021-07-27 腾讯科技(深圳)有限公司 虚拟道具的动画配置方法及装置、存储介质及电子装置
CN111210495A (zh) * 2019-12-31 2020-05-29 深圳市商汤科技有限公司 三维模型驱动方法、装置、终端及计算机可读存储介质
CN111739135B (zh) * 2020-07-30 2023-03-21 腾讯科技(深圳)有限公司 虚拟角色的模型处理方法、装置及可读存储介质
CN111899319B (zh) 2020-08-14 2021-05-14 腾讯科技(深圳)有限公司 动画对象的表情生成方法和装置、存储介质及电子设备
CN111899321B (zh) * 2020-08-26 2023-09-26 网易(杭州)网络有限公司 一种虚拟角色表情展现的方法和装置
CN112149599B (zh) * 2020-09-29 2024-03-08 网易(杭州)网络有限公司 表情追踪方法、装置、存储介质和电子设备
CN112862936B (zh) * 2021-03-16 2023-08-08 网易(杭州)网络有限公司 表情模型处理方法及装置、电子设备、存储介质
CN113470148B (zh) * 2021-06-30 2022-09-23 完美世界(北京)软件科技发展有限公司 表情动画制作方法及装置、存储介质、计算机设备
CN113485596B (zh) * 2021-07-07 2023-12-22 游艺星际(北京)科技有限公司 虚拟模型的处理方法、装置、电子设备及存储介质
CN113781611A (zh) * 2021-08-25 2021-12-10 北京壳木软件有限责任公司 一种动画制作方法、装置、电子设备及存储介质
CN115797523B (zh) * 2023-01-05 2023-04-18 武汉创研时代科技有限公司 一种基于人脸动作捕捉技术的虚拟角色处理系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001209823A (ja) * 2000-01-27 2001-08-03 Square Co Ltd ビデオゲームにおける三次元オブジェクト変形方法及びビデオゲーム装置、並びにビデオゲーム用のプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2010044484A (ja) * 2008-08-11 2010-02-25 Kddi Corp 映像コンテンツ生成装置及びコンピュータプログラム
JP2012043057A (ja) * 2010-08-16 2012-03-01 Copcom Co Ltd 顔画像編集用プログラム、その顔画像編集用プログラムを記録した記録媒体及び顔画像編集システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101671900B1 (ko) * 2009-05-08 2016-11-03 삼성전자주식회사 가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체
KR20120005587A (ko) * 2010-07-09 2012-01-17 삼성전자주식회사 컴퓨터 시스템에서 얼굴 애니메이션 생성 방법 및 장치
US10748325B2 (en) * 2011-11-17 2020-08-18 Adobe Inc. System and method for automatic rigging of three dimensional characters for facial animation
US11087517B2 (en) * 2015-06-03 2021-08-10 Disney Enterprises, Inc. Sketch-based abstraction for character posing and synthesis
CN105069830A (zh) * 2015-08-14 2015-11-18 广州市百果园网络科技有限公司 表情动画生成方法及装置
CN107657651B (zh) * 2017-08-28 2019-06-07 腾讯科技(上海)有限公司 表情动画生成方法和装置、存储介质及电子装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001209823A (ja) * 2000-01-27 2001-08-03 Square Co Ltd ビデオゲームにおける三次元オブジェクト変形方法及びビデオゲーム装置、並びにビデオゲーム用のプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2010044484A (ja) * 2008-08-11 2010-02-25 Kddi Corp 映像コンテンツ生成装置及びコンピュータプログラム
JP2012043057A (ja) * 2010-08-16 2012-03-01 Copcom Co Ltd 顔画像編集用プログラム、その顔画像編集用プログラムを記録した記録媒体及び顔画像編集システム

Also Published As

Publication number Publication date
WO2019041902A1 (zh) 2019-03-07
US10872452B2 (en) 2020-12-22
US20190385350A1 (en) 2019-12-19
JP7297359B2 (ja) 2023-06-26
KR20190122250A (ko) 2019-10-29
US11270489B2 (en) 2022-03-08
CN107657651B (zh) 2019-06-07
KR102338136B1 (ko) 2021-12-09
US20210027515A1 (en) 2021-01-28
CN107657651A (zh) 2018-02-02

Similar Documents

Publication Publication Date Title
JP2020510262A (ja) 表情アニメーション生成方法及び装置、記憶媒体ならびに電子装置
US9508179B2 (en) Flexible 3-D character rigging development architecture
JP2020510262A5 (ja)
CN110766776B (zh) 生成表情动画的方法及装置
KR20200087798A (ko) 특수 효과 프로그램 파일 패키지 및 특수 효과의 생성 방법과 장치, 전자 기기
KR102491140B1 (ko) 가상 아바타 생성 방법 및 장치
US11978145B2 (en) Expression generation for animation object
US9508178B2 (en) Flexible 3-D character rigging blocks with interface obligations
KR102374307B1 (ko) 애니메이팅된 캐릭터의 수정
KR20220028069A (ko) 이미지 처리 방법 및 장치, 전자 장치 및 저장 매체
CN108170282A (zh) 用于控制三维场景的方法和装置
US20180276870A1 (en) System and method for mass-animating characters in animated sequences
CN111936966A (zh) 用于创建图形内容的设计系统
US9607441B2 (en) Morphological attractor for creating custom ancestors in inheritance-based character generation
CN114053696A (zh) 图像渲染处理方法、装置及电子设备
US20230342942A1 (en) Image data processing method, method and apparatus for constructing digital virtual human, device, storage medium, and computer program product
US8237719B1 (en) Pose-structured animation interface
US10319133B1 (en) Posing animation hierarchies with dynamic posing roots
US20230120883A1 (en) Inferred skeletal structure for practical 3d assets
KR20220015469A (ko) 텍스쳐 조작을 이용한 애니메이팅된 얼굴
CN112843704B (zh) 动画模型处理方法、装置、设备及存储介质
CN113223128B (zh) 用于生成图像的方法和装置
KR20170119352A (ko) 몰핑 기술을 이용하여 3차원 동영상 이미지를 생성하는 방법 및 3차원 동영상 이미지를 생성하기 위한 전자 장치
Constantine et al. Project Esky: an OpenSource Software Framework for High Fidelity Extended Reality
WO2023184357A1 (zh) 一种表情模型制作的方法、装置及电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190910

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210201

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210524

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20210823

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210824

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210929

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20211004

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20211119

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20211129

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220322

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20220719

C19 Decision taken to dismiss amendment

Free format text: JAPANESE INTERMEDIATE CODE: C19

Effective date: 20220801

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220801

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221018

C302 Record of communication

Free format text: JAPANESE INTERMEDIATE CODE: C302

Effective date: 20221026

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20221115

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20230403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230608

R150 Certificate of patent or registration of utility model

Ref document number: 7297359

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150