CN113870401B - 表情生成方法、装置、设备、介质和计算机程序产品 - Google Patents

表情生成方法、装置、设备、介质和计算机程序产品 Download PDF

Info

Publication number
CN113870401B
CN113870401B CN202111473341.7A CN202111473341A CN113870401B CN 113870401 B CN113870401 B CN 113870401B CN 202111473341 A CN202111473341 A CN 202111473341A CN 113870401 B CN113870401 B CN 113870401B
Authority
CN
China
Prior art keywords
face
expression
target
key points
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111473341.7A
Other languages
English (en)
Other versions
CN113870401A (zh
Inventor
周志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202111473341.7A priority Critical patent/CN113870401B/zh
Publication of CN113870401A publication Critical patent/CN113870401A/zh
Application granted granted Critical
Publication of CN113870401B publication Critical patent/CN113870401B/zh
Priority to PCT/CN2022/126077 priority patent/WO2023103600A1/zh
Priority to US18/331,906 priority patent/US20230316623A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请涉及一种表情生成方法、装置、设备、介质和计算机程序产品，属人工智能技术领域和游戏基础技术领域。方法包括：获取真实脸部的脸部关键点在第一表情和第二表情下的表情位置差异信息；获取在第一表情下的虚拟脸部的初始虚拟脸部关键点；基于表情位置差异信息和初始虚拟脸部关键点，得到虚拟脸部在第二表情下的目标虚拟脸部关键点；基于目标虚拟脸部关键点提取关键点分布特征，基于关键点分布特征，确定对虚拟脸部的脸部网格中的、且与第二表情相关的关联顶点进行控制的目标控制参数；基于目标控制参数控制脸部网格中的关联顶点移动，以在虚拟脸部中产生第二表情。采用本方法能够提升表情生成效率。

Description

表情生成方法、装置、设备、介质和计算机程序产品
技术领域
本申请涉及人工智能技术，更涉及游戏基础技术领域，特别是涉及一种表情生成方法、装置、设备、介质和计算机程序产品。
背景技术
随着人工智能技术的发展，出现了角色表情生成技术。角色表情生成技术，是指通过计算机自动生成角色复杂表情的技术，比如，可通过3D角色表情生成技术，自动生成3D（Three-Dimensional）角色复杂表情。传统技术中，首先将需要生成的复杂表情分解为多个元表情，然后通过动画师制作出该复杂表情对应的所有元表情，进而再基于每个元表情对应的程度值，将该复杂表情对应的所有元表情进行表情合成，得到角色的表情。
然而，传统的角色表情生成方法，针对不同的角色，均需要分别制作元表情，而每一个元表情的制作都需要花费大量的时间，从而导致表情生成效率低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提升表情生成效率的表情生成方法、装置、设备、介质和计算机程序产品。
一种表情生成方法，所述方法包括：
获取基于真实脸部得到的表情位置差异信息；所述表情位置差异信息，用于表征真实脸部的脸部关键点在第一表情和第二表情下的位置差异；
获取在第一表情下的虚拟脸部的脸部关键点，得到初始虚拟脸部关键点；所述虚拟脸部是虚拟对象的脸部；
基于所述表情位置差异信息和所述初始虚拟脸部关键点，得到所述虚拟脸部在第二表情下的目标虚拟脸部关键点；
基于所述目标虚拟脸部关键点提取关键点分布特征，并基于所述关键点分布特征，确定目标控制参数；所述目标控制参数，是用于对所述虚拟脸部的脸部网格中的、且与所述第二表情相关的关联顶点进行控制的参数；
基于所述目标控制参数控制所述脸部网格中的所述关联顶点移动，以在所述虚拟脸部中产生所述第二表情。
一种表情生成装置，所述装置包括：
获取模块，用于获取基于真实脸部得到的表情位置差异信息；所述表情位置差异信息，用于表征真实脸部的脸部关键点在第一表情和第二表情下的位置差异；获取在第一表情下的虚拟脸部的脸部关键点，得到初始虚拟脸部关键点；所述虚拟脸部是虚拟对象的脸部；
确定模块，用于基于所述表情位置差异信息和所述初始虚拟脸部关键点，得到所述虚拟脸部在第二表情下的目标虚拟脸部关键点；基于所述目标虚拟脸部关键点提取关键点分布特征，并基于所述关键点分布特征，确定目标控制参数；所述目标控制参数，是用于对所述虚拟脸部的脸部网格中的、且与所述第二表情相关的关联顶点进行控制的参数；
生成模块，用于基于所述目标控制参数控制所述脸部网格中的所述关联顶点移动，以在所述虚拟脸部中产生所述第二表情。
在一个实施例中，所述获取模块还用于获取真实脸部在第一表情下的第一表情图像；获取所述真实脸部在第二表情下的第二表情图像；从所述第一表情图像中，定位所述真实脸部的脸部关键点的第一位置信息；从所述第二表情图像中，定位所述真实脸部的脸部关键点的第二位置信息；确定所述第一位置信息和所述第二位置信息之间的差异，得到表情位置差异信息。
在一个实施例中，所述第一位置信息和所述第二位置信息是通过已训练的关键点检测模型检测得到；所述装置还包括：
第一训练模块，用于获取样本数据；所述样本数据包括样本表情图像和针对所述样本表情图像标注的脸部关键点的参考位置信息； 将所述样本表情图像输入至待训练的关键点检测模型，得到脸部关键点的预测位置信息；基于所述脸部关键点的预测位置信息与所述脸部关键点的参考位置信息之间的误差，确定第一损失值；朝着使所述第一损失值减小的方向，对所述待训练的关键点检测模型进行迭代训练，直至满足迭代停止条件时，得到已训练的关键点检测模型。
在一个实施例中，所述获取模块还用于获取所述初始虚拟脸部关键点的第三位置信息；对所述第一位置信息、所述第二位置信息和所述第三位置信息分别进行归一化处理，得到归一化后的第一位置信息、归一化后的第二位置信息以及归一化后的第三位置信息；基于归一化后的第一位置信息与归一化后的第二位置信息之间的差异，得到表情位置差异信息；所述确定模块还用于将归一化后的第三位置信息按照所述表情位置差异信息进行调整，得到所述虚拟脸部在第二表情下的目标虚拟脸部关键点。
在一个实施例中，所述获取模块还用于在对所述第一位置信息、所述第二位置信息和所述第三位置信息中的每一个进行归一化处理时，将被进行归一化处理的位置信息作为当前位置信息；针对每个所述当前位置信息，确定满足位置稳定条件的基准脸部关键点；基于所述基准脸部关键点确定所述当前位置信息对应的参照点，并确定所述基准脸部关键点与所述参照点之间的相对距离；基于任意两个所述基准脸部关键点之间的距离，确定缩放比例；根据所述相对距离和所述缩放比例，对所述当前位置信息进行归一化处理。
在一个实施例中，所述确定模块还用于将归一化处理后的所述第三位置信息按照所述表情位置差异信息进行调整，得到所述虚拟脸部在第二表情下的脸部关键点的中间态位置信息；基于所述第三位置信息对应的相对距离和缩放比例，对所述中间态位置信息进行反归一化处理，得到所述虚拟脸部在第二表情下的目标虚拟脸部关键点。
在一个实施例中，所述确定模块还用于将所述目标虚拟脸部关键点输入至已训练的参数预估模型，以通过所述已训练的参数预估模型对所述目标虚拟脸部关键点进行分布特征提取，得到关键点分布特征，并基于所述关键点分布特征进行参数预估，输出目标控制参数。
在一个实施例中，所述装置还包括：
第二训练模块，用于获取用于产生样本表情的参考控制参数；获取所述参考控制参数对应的样本脸部关键点；将所述样本脸部关键点输入至待训练的参数预估模型，得到预测控制参数；基于所述预测控制参数与所述参考控制参数之间的误差，确定第二损失值；朝着使所述第二损失值减小的方向，对所述待训练的参数预估模型进行迭代训练，直至满足迭代停止条件时，得到已训练的参数预估模型。
在一个实施例中，所述样本脸部关键点位于脸部网格中的目标网格区域内；所述样本脸部关键点与构成所述目标网格区域的多个目标顶点相对应；所述第二训练模块还用于针对每个样本脸部关键点，确定所述样本脸部关键点所对应的各个目标顶点，确定所述各个目标顶点在所述样本表情下的空间坐标；所述空间坐标是在世界坐标系下的坐标；确定所述样本脸部关键点在目标网格区域中的区域坐标；所述区域坐标，是在基于所述目标网格区域建立的区域坐标系下的坐标；基于所述各个目标顶点的所述空间坐标，对所述样本脸部关键点的所述区域坐标进行坐标转换，得到所述样本脸部关键点的空间坐标，以获得与所述参考控制参数对应的样本脸部关键点。
在一个实施例中，所述区域坐标系，是以区域坐标原点建立的坐标系；所述区域坐标原点，是构成所述目标网格区域的多个目标顶点中的任意一个；所述第二训练模块还用于基于所述各个目标顶点的所述空间坐标和所述样本脸部关键点的区域坐标，确定所述样本脸部关键点在世界坐标系下相对于所述区域坐标原点的相对位置；获取区域坐标原点在所述世界坐标系下的空间坐标；基于所述区域坐标原点的空间坐标和所述相对位置，确定所述样本脸部关键点的空间坐标。
在一个实施例中，所述第二训练模块还用于获取关键点索引文件；所述关键点索引文件记录有各样本脸部关键点所分别对应的各个目标顶点的顶点标识，以及与所述顶点标识具有对应关系的相应样本脸部关键点在目标网格区域中的区域坐标；通过所述样本脸部关键点所对应的各个目标顶点的顶点标识，从所述关键点索引文件中查找与所述顶点标识具有对应关系的区域坐标，得到所述样本脸部关键点在目标网格区域中的区域坐标。
在一个实施例中，所述生成模块还用于将所述目标控制参数作为目标控制器的控制参数；所述目标控制器与所述虚拟脸部的脸部网格的各顶点具有绑定关系； 通过所述目标控制器，基于所述目标控制参数控制所述脸部网格中的所述关联顶点移动，以在所述虚拟脸部中产生所述第二表情。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取基于真实脸部得到的表情位置差异信息；所述表情位置差异信息，用于表征真实脸部的脸部关键点在第一表情和第二表情下的位置差异；
获取在第一表情下的虚拟脸部的脸部关键点，得到初始虚拟脸部关键点；所述虚拟脸部是虚拟对象的脸部；
基于所述表情位置差异信息和所述初始虚拟脸部关键点，得到所述虚拟脸部在第二表情下的目标虚拟脸部关键点；
基于所述目标虚拟脸部关键点提取关键点分布特征，并基于所述关键点分布特征，确定目标控制参数；所述目标控制参数，是用于对所述虚拟脸部的脸部网格中的、且与所述第二表情相关的关联顶点进行控制的参数；
基于所述目标控制参数控制所述脸部网格中的所述关联顶点移动，以在所述虚拟脸部中产生所述第二表情。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取基于真实脸部得到的表情位置差异信息；所述表情位置差异信息，用于表征真实脸部的脸部关键点在第一表情和第二表情下的位置差异；
获取在第一表情下的虚拟脸部的脸部关键点，得到初始虚拟脸部关键点；所述虚拟脸部是虚拟对象的脸部；
基于所述表情位置差异信息和所述初始虚拟脸部关键点，得到所述虚拟脸部在第二表情下的目标虚拟脸部关键点；
基于所述目标虚拟脸部关键点提取关键点分布特征，并基于所述关键点分布特征，确定目标控制参数；所述目标控制参数，是用于对所述虚拟脸部的脸部网格中的、且与所述第二表情相关的关联顶点进行控制的参数；
基于所述目标控制参数控制所述脸部网格中的所述关联顶点移动，以在所述虚拟脸部中产生所述第二表情。
一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取基于真实脸部得到的表情位置差异信息；所述表情位置差异信息，用于表征真实脸部的脸部关键点在第一表情和第二表情下的位置差异；
获取在第一表情下的虚拟脸部的脸部关键点，得到初始虚拟脸部关键点；所述虚拟脸部是虚拟对象的脸部；
基于所述表情位置差异信息和所述初始虚拟脸部关键点，得到所述虚拟脸部在第二表情下的目标虚拟脸部关键点；
基于所述目标虚拟脸部关键点提取关键点分布特征，并基于所述关键点分布特征，确定目标控制参数；所述目标控制参数，是用于对所述虚拟脸部的脸部网格中的、且与所述第二表情相关的关联顶点进行控制的参数；
基于所述目标控制参数控制所述脸部网格中的所述关联顶点移动，以在所述虚拟脸部中产生所述第二表情。
上述表情生成方法、装置、设备、介质和计算机程序产品，获取基于真实脸部得到的表情位置差异信息，其中，表情位置差异信息，可用于表征真实脸部的脸部关键点在第一表情和第二表情下的位置差异。获取在第一表情下的虚拟脸部的脸部关键点，得到初始虚拟脸部关键点。基于表情位置差异信息和初始虚拟脸部关键点，可以得到虚拟脸部在第二表情下的目标虚拟脸部关键点，基于目标虚拟脸部关键点可以提取关键点分布特征，基于关键点分布特征，可以快速确定目标控制参数，其中，目标控制参数，是用于对虚拟脸部的脸部网格中的、且与第二表情相关的关联顶点进行控制的参数。进而，基于目标控制参数控制脸部网格中的关联顶点移动，可以在虚拟脸部中产生第二表情。相较于传统的表情生成方法，本申请的表情生成方法，只需要获取虚拟脸部在第一表情下的脸部关键点，结合真实脸部的脸部关键点在不同表情下的表情位置差异，就能便捷地控制在虚拟脸部中产生相应变化的表情，提升了表情生成效率。
附图说明
图1为一个实施例中表情生成方法的应用环境图；
图2为一个实施例中表情生成方法的流程示意图；
图3为一个实施例中真实脸部的脸部关键点示意图；
图4为一个实施例中表情生成应用的主界面示意图；
图5为一个实施例中标注虚拟脸部的脸部关键点的界面示意图；
图6为一个实施例中第一表情下虚拟脸部的初始脸部关键点示意图；
图7为一个实施例中虚拟脸部的脸部网格示意图；
图8为一个实施例中第二表情下虚拟脸部的目标脸部关键点示意图；
图9为一个实施例中关键点检测流程示意图；
图10为一个实施例中参数预估流程示意图；
图11为一个实施例中虚拟脸部的脸部网格与目标控制器的绑定示意图；
图12为一个实施例中目标控制器的控制参数设置示意图；
图13为一个实施例中制作完成的在第二表情下的虚拟脸部示意图；
图14为另一个实施例中表情生成方法的流程示意图；
图15为又一个实施例中表情生成方法的流程示意图；
图16为一个实施例中表情生成装置的结构框图；
图17为另一个实施例中表情生成装置的结构框图；
图18为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的表情生成方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、便携式可穿戴设备和车载终端，服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端102以及服务器104可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
终端102可从服务器104中获取真实脸部在第一表情下的第一表情图像，以及真实脸部在第二表情下的第二表情图像。终端102可基于第一表情图像和第二表情图像，获取第一表情和第二表情之间的表情位置差异信息；表情位置差异信息，用于表征真实脸部的脸部关键点在第一表情和第二表情下的位置差异。终端102可获取在第一表情下的虚拟脸部的脸部关键点，得到初始虚拟脸部关键点；虚拟脸部是虚拟对象的脸部。终端102可基于表情位置差异信息和初始虚拟脸部关键点，得到虚拟脸部在第二表情下的目标虚拟脸部关键点，基于目标虚拟脸部关键点提取关键点分布特征，并基于关键点分布特征，确定目标控制参数；目标控制参数，是用于对虚拟脸部的脸部网格中的、且与第二表情相关的关联顶点进行控制的参数。终端102可基于目标控制参数控制脸部网格中的关联顶点移动，以在虚拟脸部中产生第二表情。
需要说明的是，本申请一些实施例中的表情生成方法使用到了人工智能技术。比如，目标虚拟脸部关键点对应的关键点分布特征，则属于使用人工智能技术提取得到的特征，以及，目标控制参数，也属于使用人工智能技术预测得到的参数。
此外，本申请一些实施例中的表情生成方法还使用到了计算机视觉技术(Computer Vision, CV)。比如，真实脸部的脸部关键点的第一位置信息和第二位置信息，则属于使用计算机视觉技术，分别从第一表情图像和第二表情图像中定位得到的信息。
在一个实施例中，如图2所示，提供了一种表情生成方法，该方法可应用于终端，也可应用于终端与服务器的交互过程。本实施例以该方法应用于图1中的终端102为例进行说明，包括以下步骤：
步骤202，获取基于真实脸部得到的表情位置差异信息；表情位置差异信息，用于表征真实脸部的脸部关键点在第一表情和第二表情下的位置差异。
其中，真实脸部是真实对象的脸部。比如，真实的人的脸部。可以理解，真实对象并不限定于人，还可以是其他任何具有脸部表情的对象，比如，动物。脸部关键点，是用于定位脸部上关键区域位置的关键点。脸部关键点可以包括脸部轮廓的关键点以及脸部器官的关键点。第一表情是第一种类型的表情，第二表情是第二种类型的表情，可以理解，第一表情和第二表情是不同类型的表情，比如，第一表情是无表情，第二表情是笑，又比如，第一表情是笑，第二表情是哭。表情位置差异信息，是真实脸部的脸部关键点在第一表情下的位置与真实脸部的脸部关键点在第二表情下的位置之间的差异信息。
可以理解，终端可以直接从服务器获取表情位置差异信息，即，服务器预先可以基于真实脸部的脸部关键点在第一表情和第二表情下的位置差异，确定表情位置差异信息，终端可以直接从服务器获取该表情位置差异信息。终端也可以获取真实脸部的脸部关键点在第一表情下的位置信息，以及获取真实脸部的脸部关键点在第二表情下的位置信息。终端可对真实脸部的脸部关键点在第一表情下的位置信息和真实脸部的脸部关键点在第二表情下的位置信息进行差异比对，以确定真实脸部的脸部关键点在第一表情和第二表情下的表情位置差异信息。
在一个实施例中，服务器中存储有真实脸部的脸部关键点在第一表情下的位置信息，以及真实脸部的脸部关键点在第二表情下的位置信息。服务器可将真实脸部的脸部关键点在第一表情下的位置信息，以及真实脸部的脸部关键点在第二表情下的位置信息发送至终端。终端可接收真实脸部的脸部关键点在第一表情下的位置信息，以及真实脸部的脸部关键点在第二表情下的位置信息。
在一个实施例中，终端可对在第一表情下的真实脸部进行关键点检测处理，获得真实脸部的脸部关键点在第一表情下的位置信息。终端可对在第二表情下的真实脸部进行关键点检测处理，获得真实脸部的脸部关键点在第二表情下的位置信息，参照图3，图中为真实脸部的脸部关键点在第二表情下的分布情况。
在一个实施例中，终端在获取真实脸部的脸部关键点在第一表情下的位置信息，以及获取真实脸部的脸部关键点在第二表情下的位置信息之后，可对真实脸部的脸部关键点在第一表情下的位置信息与该真实脸部的脸部关键点在第二表情下的位置信息求差值，然后将求取的差值直接作为真实脸部的脸部关键点在第一表情和第二表情下的表情位置差异信息。
步骤204，获取在第一表情下的虚拟脸部的脸部关键点，得到初始虚拟脸部关键点；虚拟脸部是虚拟对象的脸部。
其中，虚拟对象，是虚拟的对象，比如，游戏中的三维虚拟角色。可以理解，虚拟对象还可以是其他非游戏场景中虚拟出的非真实的对象，比如，一些设计行业中虚拟出的模型。初始虚拟脸部关键点，是虚拟脸部在第一表情下的脸部关键点。
具体地，终端可在显示界面展示在第一表情下的虚拟脸部，用户可对在第一表情下的虚拟脸部进行关键点标注操作，进而，终端可获取用户在第一表情下的虚拟脸部所标注的脸部关键点，得到在第一表情下的虚拟脸部的初始虚拟脸部关键点。
在一个实施例中，终端中运行有表情生成应用，表情生成应用可提供关键点标注界面，关键点标注界面中可包括关键点标注触发控件。终端可在关键点标注界面展示在第一表情下的虚拟脸部，用户可基于关键点标注触发控件，对在第一表情下的虚拟脸部进行关键点标注操作，进而，终端可获取用户在第一表情下的虚拟脸部所标注的脸部关键点，得到在第一表情下的虚拟脸部的初始虚拟脸部关键点。其中，表情生成应用是用于生成表情的应用程序。
在一个实施例中，图4为表情生成应用的主界面示意图，该主界面包括项目路径和头像标注文件等文件路径，其中，项目路径可用于存储虚拟脸部的脸部关键点对应的项目，头像标注文件可用于记录虚拟脸部的脸部关键点的位置信息。用户可基于主界面中的“标注头像”按钮403，对在第一表情下的虚拟脸部进行关键点标注操作，进而终端可获取在第一表情下的虚拟脸部的初始虚拟脸部关键点。
在一个实施例中，如图5所示，在用户触发“标注头像”按钮403时，表情生成应用的标注页面可展示已标注有脸部关键点的真实脸部，进而，用户可参照该已标注有脸部关键点的真实脸部，对在第一表情下的虚拟脸部进行关键点标注操作，得到初始虚拟脸部关键点，且初始虚拟脸部关键点在虚拟脸部的分布情况如图6所示。
步骤206，基于表情位置差异信息和初始虚拟脸部关键点，得到虚拟脸部在第二表情下的目标虚拟脸部关键点。
其中，目标虚拟脸部关键点，是虚拟脸部在第二表情下的脸部关键点。
具体地，终端可基于表情位置差异信息，确定初始虚拟脸部关键点的调整信息。进而终端可将初始虚拟脸部关键点，按照确定的调整信息进行调整，调整完成后，得到虚拟脸部在第二表情下的目标虚拟脸部关键点。
在一个实施例中，调整信息包括移动距离。终端可确定初始虚拟脸部关键点当前所在的位置，以及基于表情位置差异信息，确定初始虚拟脸部关键点的调整信息。进而终端可将初始虚拟脸部关键点，按照确定的移动距离，从初始虚拟脸部关键点当前所在的位置进行移动，得到虚拟脸部在第二表情下的目标虚拟脸部关键点。
步骤208，基于目标虚拟脸部关键点提取关键点分布特征，并基于关键点分布特征，确定目标控制参数；目标控制参数，是用于对虚拟脸部的脸部网格中的、且与第二表情相关的关联顶点进行控制的参数。
其中，关键点分布特征，是目标虚拟脸部关键点在虚拟脸部的分布特征。脸部网格是构成虚拟脸部的网格。可以理解，脸部网格是在每次表情改变时所获取得到的一组脸部形态网格。脸部网格包括多个网格区域，网格区域是构成脸部网格的最小单元。脸部网格中包括多条网线条以及多个网格顶点，网格顶点是两条以上的网线条相交的点。关联顶点，是脸部网格中与第二表情相关的网格顶点。可以理解，关联顶点即是与目标虚拟脸部关键点同在一个网格区域的网格顶点。
在一个实施例中，虚拟脸部可设置于脸部网格上，每个网格包括多个网格顶点。终端可将与第二表情相关的网格顶点（即，目标虚拟脸部关键点对应的网格顶点）确定为关联顶点，比如，参考图7，图中的701（即，黑点）为与第二表情相关的其中一个关联顶点，图中的702（即，白点）为目标虚拟脸部关键点。
可以理解，关键点分布特征，用于表征目标虚拟脸部关键点在虚拟脸部上的位置分布情况。在不同的表情下，脸部关键点在脸部的位置分布情况不同。因而，终端可对目标虚拟脸部关键点进行分布特征提取处理，即，终端可以分析虚拟脸部中各目标虚拟脸部关键点之间的相对位置信息，由于各目标虚拟脸部关键点之间的相对位置信息能够反映各目标虚拟脸部关键点在虚拟脸部上的位置分布情况，因而，终端可以基于目标虚拟脸部关键点之间的相对位置信息，得到目标虚拟脸部关键点在虚拟脸部的关键点分布特征。进而，终端可基于目标虚拟脸部关键点在虚拟脸部的关键点分布特征，对目标虚拟脸部关键点进行参数预估处理，得到目标虚拟脸部关键点对应的目标控制参数。
步骤210，基于目标控制参数控制脸部网格中的关联顶点移动，以在虚拟脸部中产生第二表情。
具体地，目标控制参数与脸部网格中的关联顶点具有绑定关系。终端可基于目标控制参数，控制在第一表情下的脸部网格中的关联顶点产生移动，从而控制虚拟脸部从第一表情变换为第二表情。可以理解，虚拟脸部的脸部关键点与关联顶点具有对应关系，关联顶点移动可以控制虚拟脸部的脸部关键点也跟随发生移动。而目标虚拟脸部关键点在虚拟脸部的关键点分布特征是已知的，基于目标虚拟脸部关键点对应的目标控制参数，便可控制在第一表情下的脸部网格中的关联顶点产生移动，进而控制虚拟脸部的脸部关键点也跟随发生移动，直至虚拟脸部的脸部关键点的分布满足与目标虚拟脸部关键点对应的关键点分布特征时，虚拟脸部从第一表情变换为第二表情。
在一个实施例中，在第二表情下，目标虚拟脸部关键点在虚拟脸部的分布情况可参考图8。可以理解，目标虚拟脸部关键点，是用于定位虚拟脸部上关键区域位置的关键点信息，在图8中，用空心圆圈表示目标虚拟脸部关键点，可以更清楚地表征目标虚拟脸部关键点在虚拟脸部的分布情况。
上述表情生成方法中，获取基于真实脸部得到的表情位置差异信息，其中，表情位置差异信息，可用于表征真实脸部的脸部关键点在第一表情和第二表情下的位置差异。获取在第一表情下的虚拟脸部的脸部关键点，得到初始虚拟脸部关键点。基于表情位置差异信息和初始虚拟脸部关键点，可以得到虚拟脸部在第二表情下的目标虚拟脸部关键点，基于目标虚拟脸部关键点可以提取关键点分布特征，基于关键点分布特征，可以快速确定目标控制参数，其中，目标控制参数，是用于对虚拟脸部的脸部网格中的、且与第二表情相关的关联顶点进行控制的参数。进而，基于目标控制参数控制脸部网格中的关联顶点移动，可以在虚拟脸部中产生第二表情。相较于传统的表情生成方法，本申请的表情生成方法，只需获取虚拟脸部在第一表情下的脸部关键点，结合真实脸部的脸部关键点在不同表情下的表情位置差异，就能便捷地控制在虚拟脸部中产生相应变化的表情，提升了表情生成效率。
此外，传统的表情生成方法，只能生成动画师所制作的元表情所能够合成的表情。而本申请的表情生成方法，通过虚拟脸部的关键点对应的目标控制参数，直接控制虚拟脸部生成相应的表情，从而可以生成任意的表情，提升了表情制作的灵活性。
在一个实施例中，获取基于真实脸部得到的表情位置差异信息，包括：获取真实脸部在第一表情下的第一表情图像；获取真实脸部在第二表情下的第二表情图像；从第一表情图像中，定位真实脸部的脸部关键点的第一位置信息；从第二表情图像中，定位真实脸部的脸部关键点的第二位置信息；确定第一位置信息和第二位置信息之间的差异，得到表情位置差异信息。
其中，第一表情图像，是指真实脸部在第一表情下的图像。第二表情图像，是指真实脸部在第二表情下的图像。第一位置信息，是真实脸部的脸部关键点在第一表情下的位置信息。第二位置信息，是真实脸部的脸部关键点在第二表情下的位置信息。
具体地，终端可获取真实脸部在第一表情下的第一表情图像，以及，获取真实脸部在第二表情下的第二表情图像。终端可对第一表情图像进行关键点检测处理，以从第一表情图像中，确定真实脸部的脸部关键点的第一位置信息。终端可对第二表情图像进行关键点检测处理，以从第二表情图像中，确定真实脸部的脸部关键点的第二位置信息。终端可确定第一位置信息和第二位置信息之间的差异，并基于第一位置信息和第二位置信息之间的差异，确定表情位置差异信息。
在一个实施例中，终端中包括图像采集单元，终端可通过图像采集单元采集真实脸部在第一表情下的第一表情图像，以及真实脸部在第二表情下的第二表情图像。
在一个实施例中，服务器中存储有真实脸部在第一表情下的第一表情图像，以及真实脸部在第二表情下的第二表情图像。服务器可将真实脸部在第一表情下的第一表情图像，以及真实脸部在第二表情下的第二表情图像发送至终端。终端可接收服务器所发送的真实脸部在第一表情下的第一表情图像，以及真实脸部在第二表情下的第二表情图像。
在一个实施例中，如图4所示，表情生成应用的主界面还包括图片路径、图片关键点路径、以及图片列表。其中，图片路径可用于存储第一表情图像和第二表情图像，图片关键点路径可用于存储第一位置信息和第二位置信息，图片列表可用于展示第一表情图像和第二表情图像的图像信息，比如，图像序号和图像名称等。
在一个实施例中，如图4所示，表情生成应用的主界面还包括“标注图片”按钮404，通过触发“标注图片”按钮404，终端可直接从第一表情图像中，定位真实脸部的脸部关键点的第一位置信息，以及从第二表情图像中，定位真实脸部的脸部关键点的第二位置信息。
在一个实施例中，第一表情图像和第二表情图像具体可以是RGB（Red，Green，Blue，红，绿，蓝）图像。
上述实施例中，通过对真实脸部在第一表情下的第一表情图像，以及真实脸部在第二表情下的第二表情图像，进行关键点检测，可以直接准确地获得真实脸部的脸部关键点的第一位置信息，以及真实脸部的脸部关键点的第二位置信息，进而再基于第一位置信息和第二位置信息之间的差异，得到表情位置差异信息，提升了表情位置差异信息的获取效率和准确率，从而进一步提升了表情生成效率。
在一个实施例中，第一位置信息和第二位置信息是通过已训练的关键点检测模型检测得到；得到已训练的关键点检测模型的步骤，包括：获取样本数据；样本数据包括样本表情图像和针对样本表情图像标注的脸部关键点的参考位置信息；将样本表情图像输入至待训练的关键点检测模型，得到脸部关键点的预测位置信息；基于脸部关键点的预测位置信息与脸部关键点的参考位置信息之间的误差，确定第一损失值；朝着使第一损失值减小的方向，对待训练的关键点检测模型进行迭代训练，直至满足迭代停止条件时，得到已训练的关键点检测模型。
其中，样本数据，是用于训练关键点检测模型的数据。样本表情图像，是用于训练关键点检测模型的图像。参考位置信息，是针对样本表情图像标注的脸部关键点的位置信息。预测位置信息，是通过待训练的关键点检测模型对样本表情图像进行预测得到的脸部关键点的位置信息。第一损失值，是基于脸部关键点的预测位置信息与脸部关键点的参考位置信息之间的误差所确定的损失值。
在一个实施例中，终端中运行有已训练的关键点检测模型。终端可获取真实脸部在第一表情下的第一表情图像，以及，获取真实脸部在第二表情下的第二表情图像。如图9所示，终端可将第一表情图像输入至已训练的关键点检测模型，并通过已训练的关键点检测模型对第一表情图像进行关键点检测处理，以从第一表情图像中，检测出真实脸部的脸部关键点的第一位置信息。以及，终端可将第二表情图像输入至已训练的关键点检测模型，并通过已训练的关键点检测模型对第二表情图像进行关键点检测处理，以从第二表情图像中，检测出真实脸部的脸部关键点的第二位置信息。进而，终端可确定第一位置信息和第二位置信息之间的差异，并基于第一位置信息和第二位置信息之间的差异，确定表情位置差异信息。
具体地，终端中运行有待训练的关键点检测模型。终端可获取样本数据，并将样本数据中的样本表情图像，输入至待训练的关键点检测模型，通过待训练的关键点检测模型对样本表情图像进行关键点检测处理，得到脸部关键点的预测位置信息。终端可确定脸部关键点的预测位置信息与针对样本表情图像标注的脸部关键点的参考位置信息之间的误差，并基于脸部关键点的预测位置信息与针对样本表情图像标注的脸部关键点的参考位置信息之间的误差，确定第一损失值。终端可朝着使第一损失值减小的方向，对待训练的关键点检测模型进行迭代训练，直至满足迭代停止条件时，得到已训练的关键点检测模型。
在一个实施例中，迭代停止条件可以是第一损失值达到预先设置的损失值阈值，也可以是迭代轮数达到预先设置的轮数阈值。
在一个实施例中，可采用均方误差函数作为训练的关键点检测模型的损失函数，其损失函数可采用以下公式表示：
Figure 901162DEST_PATH_IMAGE002
其中，
Figure 870255DEST_PATH_IMAGE004
表示第一损失值，
Figure 290872DEST_PATH_IMAGE006
表示均方误差函数，
Figure 294600DEST_PATH_IMAGE008
表示脸部关键点的预测位置信息，
Figure 939208DEST_PATH_IMAGE010
表示脸部关键点的参考位置信息。
上述实施例中，通过样本表情图像，以及针对样本表情图像标注的脸部关键点的参考位置信息，对待训练的关键点检测模型进行迭代训练，可以提升关键点检测模型的关键点检测准确率。
在一个实施例中，上述表情生成方法还包括：获取初始虚拟脸部关键点的第三位置信息；对第一位置信息、第二位置信息和第三位置信息分别进行归一化处理，得到归一化后的第一位置信息、归一化后的第二位置信息以及归一化后的第三位置信息；确定第一位置信息和第二位置信息之间的差异，得到表情位置差异信息；包括：基于归一化后的第一位置信息与归一化后的第二位置信息之间的差异，得到表情位置差异信息；基于表情位置差异信息和初始虚拟脸部关键点，得到虚拟脸部在第二表情下的目标虚拟脸部关键点，包括：将归一化后的第三位置信息按照表情位置差异信息进行调整，得到虚拟脸部在第二表情下的目标虚拟脸部关键点。
其中，第三位置信息，是初始虚拟脸部关键点在第一表情下的位置信息。
具体地，用户可对在第一表情下的虚拟脸部进行关键点标注，终端可基于标注的初始虚拟脸部关键点，直接获取初始虚拟脸部关键点的第三位置信息。终端可对第一位置信息、第二位置信息和第三位置信息分别进行归一化处理，得到归一化后的第一位置信息、归一化后的第二位置信息以及归一化后的第三位置信息。终端可确定归一化后的第一位置信息与归一化后的第二位置信息之间的差异，并基于归一化后的第一位置信息与归一化后的第二位置信息之间的差异，确定真实脸部的脸部关键点在第一表情和第二表情下的表情位置差异信息。终端可将归一化后的第三位置信息按照表情位置差异信息进行调整，得到虚拟脸部在第二表情下的目标虚拟脸部关键点。
在一个实施例中，终端在对第一位置信息、第二位置信息和第三位置信息中的每一个进行归一化处理时，可将被进行归一化处理的位置信息作为当前位置信息。针对每个当前位置信息，终端可确定满足位置稳定条件的基准脸部关键点。进而，终端可根据基准脸部关键点确定归一化标准信息，并基于归一化标准信息，对第一位置信息、第二位置信息和第三位置信息中的每一个进行归一化处理。其中，位置稳定条件，是使得脸部关键点的位置保持相对稳定的条件，基准脸部关键点，是归一化过程中作为基准的脸部关键点。归一化标准信息，是归一化过程中作为标准的信息。
在一个实施例中，位置稳定条件具体可以是从第一表情转换至第二表情时，脸部关键点在相应脸部上的移动距离小于预设移动距离。位置稳定条件具体还可以是从第一表情转换至第二表情时，脸部关键点在相应脸部上不会发送移动。比如，从第一表情转换至第二表情时，脸部中四个眼角所对应的脸部关键点在相应脸部上基本不会发生移动。再比如，从第一表情转换至第二表情时，脸部中两边太阳穴所对应的脸部关键点在相应脸部上也基本不会发生移动。
上述实施例中，通过对第一位置信息、第二位置信息和第三位置信息分别进行归一化处理，可以缩小真实脸部和虚拟脸部之间的脸型差异。进而，基于归一化后的第一位置信息与归一化后的第二位置信息之间的差异，可以得到更准确的表情位置差异信息。将归一化后的第三位置信息按照表情位置差异信息进行调整，可以得到虚拟脸部在第二表情下的更准确的目标虚拟脸部关键点，从而使得在虚拟脸部产生的第二表情更加贴合相应的真实脸部的第二表情。
在一个实施例中，对第一位置信息、第二位置信息和第三位置信息分别进行归一化处理，包括：在对第一位置信息、第二位置信息和第三位置信息中的每一个进行归一化处理时，将被进行归一化处理的位置信息作为当前位置信息；针对每个当前位置信息，确定满足位置稳定条件的基准脸部关键点；基于基准脸部关键点确定当前位置信息对应的参照点，并确定基准脸部关键点与参照点之间的相对距离；基于任意两个基准脸部关键点之间的距离，确定缩放比例；根据相对距离和缩放比例，对当前位置信息进行归一化处理。
其中，当前位置信息对应的参照点，是对当前位置信息进行归一化处理时作为参照的点。相对距离，是基准脸部关键点与参照点之间的距离。缩放比例，是对当前位置信息进行归一化处理时作为参照的比例。
具体地，在对第一位置信息、第二位置信息和第三位置信息中的每一个进行归一化处理时，终端可将被进行归一化处理的位置信息作为当前位置信息。针对每个当前位置信息，终端可从相应脸部的脸部关键点中，筛选出满足位置稳定条件的基准脸部关键点。终端可基于基准脸部关键点确定当前位置信息对应的参照点，并可将基准脸部关键点与参照点之间的距离，作为相对距离。终端可确定任意两个基准脸部关键点之间的距离，并基于该任意两个基准脸部关键点之间的距离，确定缩放比例。进而，终端可根据相对距离和缩放比例，对当前位置信息进行归一化处理。
在一个实施例中，终端基于基准脸部关键点确定当前位置信息对应的参照点，具体可以是，终端可基于筛选出的全部基准脸部关键点，确定当前位置信息对应的参照点，也可以是，终端可基于选出的全部基准脸部关键点中的其中部分基准脸部关键点，确定当前位置信息对应的参照点。
举例说明，相应脸部中四个眼角所对应的脸部关键点，属于选出的全部基准脸部关键点中的其中四个基准脸部关键点。终端可将四个基准脸部关键点的中心点，确定为当前位置信息对应的参照点。终端可将相应脸部中两边太阳穴所分别对应的脸部关键点之间的距离，确定缩放比例。
在一个实施例中，终端可将基准脸部关键点的坐标减去参照点的坐标，得到相减后的坐标。终端可将相减后的坐标与缩放比例的比值，作为归一化后的当前位置信息，即脸部关键点归一化后的坐标。
在一个实施例中，当前位置信息为第一位置信息或第二位置信息时，脸部关键点归一化后的坐标可通过以下公式计算得到：
Figure 395598DEST_PATH_IMAGE012
其中，
Figure 619905DEST_PATH_IMAGE014
表示真实脸部在相应表情下的脸部关键点归一化后的坐标，
Figure 212561DEST_PATH_IMAGE016
表示真实脸部在相应表情下的基准脸部关键点的坐标，
Figure 28070DEST_PATH_IMAGE018
表示真实脸部在相应表情下的参照点的坐标，
Figure 974685DEST_PATH_IMAGE020
为真实脸部在相应表情下的缩放比例。可以理解，在相应表情，是指第一表情或第二表情。
在一个实施例中，当前位置信息为第三位置信息时，脸部关键点归一化后的坐标可通过以下公式计算得到：
Figure 2684DEST_PATH_IMAGE022
其中，
Figure 715425DEST_PATH_IMAGE024
表示虚拟脸部在第一表情下的脸部关键点归一化后的坐标，
Figure 436256DEST_PATH_IMAGE026
表示虚拟脸部在第一表情下的基准脸部关键点的坐标，
Figure 867238DEST_PATH_IMAGE028
表示虚拟脸部在第一表情下的参照点的坐标，
Figure 433348DEST_PATH_IMAGE030
为虚拟脸部在第一表情下的缩放比例。
上述实施例中，基于不会发生大形变的基准脸部关键点，可以确定当前位置信息对应的参照点，并确定基准脸部关键点与参照点之间的相对距离，基于任意两个基准脸部关键点之间的距离，可以确定缩放比例，根据相对距离和缩放比例，对当前位置信息进行归一化处理，这样，可以进一步缩小真实脸部和虚拟脸部之间的脸型差异，从而进一步使得在虚拟脸部产生的第二表情更加贴合相应的真实脸部的第二表情。
在一个实施例中，将归一化后的第三位置信息按照表情位置差异信息进行调整，得到虚拟脸部在第二表情下的目标虚拟脸部关键点，包括：将归一化处理后的第三位置信息按照表情位置差异信息进行调整，得到虚拟脸部在第二表情下的脸部关键点的中间态位置信息；基于第三位置信息对应的相对距离和缩放比例，对中间态位置信息进行反归一化处理，得到虚拟脸部在第二表情下的目标虚拟脸部关键点。
其中，中间态位置信息，是虚拟脸部在第二表情下的脸部关键点的、 属于中间状态的位置信息，可以理解，中间态位置信息，是指在反归一化处理过程中需要被进一步处理的位置信息，相当于一种中间结果，其只存在于反归一化处理过程中，而不作为反归一化处理的结果输出。
具体地，将归一化处理后的第三位置信息按照表情位置差异信息进行调整，得到虚拟脸部在第二表情下的脸部关键点的中间态位置信息；基于第三位置信息对应的相对距离和缩放比例，对中间态位置信息进行反归一化处理，得到虚拟脸部在第二表情下的目标虚拟脸部关键点。
在一个实施例中，中间态位置信息包括中间态坐标。终端可根据真实脸部在第二表情下的脸部关键点归一化后的坐标，与真实脸部在第一表情下的脸部关键点归一化后的坐标之差，确定表情位置差异信息。终端可将虚拟脸部在第一表情下的脸部关键点归一化后的坐标，按照表情位置差异信息进行调整，得到中间态坐标。终端可先将中间态坐标乘以虚拟脸部在第一表情下的缩放比例，进而再与虚拟脸部在第一表情下的参照点的坐标相加（即，对中间态位置信息进行反归一化处理），得到虚拟脸部在第二表情下的目标虚拟脸部关键点的坐标。
在一个实施例中，虚拟脸部在第二表情下的目标虚拟脸部关键点的坐标，可以通过以下公式计算得到：
Figure 266175DEST_PATH_IMAGE032
其中，
Figure 157908DEST_PATH_IMAGE034
表示虚拟脸部在第二表情下的目标虚拟脸部关键点的坐标，
Figure 76185DEST_PATH_IMAGE036
表示真实脸部在第一表情下的脸部关键点归一化后的坐标。
上述实施例中，基于第三位置信息对应的相对距离和缩放比例，可以对中间态位置信息进行反归一化处理，减小归一化处理所带来的位置误差，从而可以得到更加准确的虚拟脸部在第二表情下的目标虚拟脸部关键点。
在一个实施例中，基于目标虚拟脸部关键点提取关键点分布特征，并基于关键点分布特征，确定目标控制参数，包括：将目标虚拟脸部关键点输入至已训练的参数预估模型，以通过已训练的参数预估模型对目标虚拟脸部关键点进行分布特征提取，得到关键点分布特征，并基于关键点分布特征进行参数预估，输出目标控制参数。
具体地，终端中运行有已训练的参数预估模型，如图10所示，终端可将目标虚拟脸部关键点输入至已训练的参数预估模型，并通过已训练的参数预估模型对目标虚拟脸部关键点进行分布特征提取，得到关键点分布特征。进而，终端可通过已训练的参数预估模型，基于关键点分布特征对目标虚拟脸部关键点进行参数预估，输出目标控制参数。
在一个实施例中，目标控制参数可通过以下公式获取得到：
Figure 445987DEST_PATH_IMAGE038
其中，
Figure 867741DEST_PATH_IMAGE040
代表目标控制参数，
Figure 195954DEST_PATH_IMAGE042
代表已训练的参数预估模型。
上述实施例中，通过预测效果较好的已训练的参数预估模型，对目标虚拟脸部关键点进行分布特征提取，得到关键点分布特征，并基于关键点分布特征进行参数预估，直接输出目标控制参数，这样，可以提升目标控制参数获取的效率，以及提升目标控制参数的准确性。
在一个实施例中，得到已训练的参数预估模型的步骤，包括：获取用于产生样本表情的参考控制参数；获取参考控制参数对应的样本脸部关键点；将样本脸部关键点输入至待训练的参数预估模型，得到预测控制参数；基于预测控制参数与参考控制参数之间的误差，确定第二损失值；朝着使第二损失值减小的方向，对待训练的参数预估模型进行迭代训练，直至满足迭代停止条件时，得到已训练的参数预估模型。
其中，参考控制参数，是用于训练参数预估模型的控制参数。样本脸部关键点，是用于训练参数预估模型的脸部关键点。预测控制参数，是待训练的参数预估模型对样本脸部关键点进行参数预估所得到的控制参数。
具体地，终端中运行有表情生成应用，终端可通过表情生成应用随机生成用于产生样本表情的参考控制参数。终端获取到参考控制参数之后，可获取与参考控制参数对应的样本脸部关键点。终端可将样本脸部关键点输入至待训练的参数预估模型，并通过待训练的参数预估模型对样本脸部关键点进行参数预估，得到预测控制参数。终端可确定预测控制参数与参考控制参数之间的误差，并基于预测控制参数与参考控制参数之间的误差，确定第二损失值。终端可朝着使第二损失值减小的方向，对待训练的参数预估模型进行迭代训练，直至满足迭代停止条件时，得到已训练的参数预估模型。
在一个实施例中，如图4所示，表情生成应用的主界面还包括“开始训练”按钮401，通过触发该“开始训练”按钮401，终端可获取用于产生样本表情的参考控制参数，以及获取与参考控制参数对应的样本脸部关键点，并通过参考控制参数和参考控制参数对待训练的参数预估模型进行训练。
在一个实施例中，终端获取与参考控制参数对应的样本脸部关键点，可以理解，在参考控制参数的控制下，虚拟脸部可发生形变产生相应的样本表情，终端可直接获取在该样本表情下的虚拟脸部的脸部关键点的位置信息。
在一个实施例中，可采用均方误差函数作为训练的参数预估模型的损失函数，其损失函数可采用以下公式表示：
Figure 335948DEST_PATH_IMAGE044
其中，
Figure 509440DEST_PATH_IMAGE046
表示第二损失值，
Figure 51280DEST_PATH_IMAGE048
表示预测控制参数，
Figure 550395DEST_PATH_IMAGE050
表示参考控制参数。
上述实施例中，通过参考控制参数，以及与参考控制参数对应的样本脸部关键点，对待训练的参数预估模型进行迭代训练，可以提升参数预估模型的参数预估准确率。
在一个实施例中，样本脸部关键点位于脸部网格中的目标网格区域内；样本脸部关键点与构成目标网格区域的多个目标顶点相对应；获取参考控制参数对应的样本脸部关键点，包括：针对每个样本脸部关键点，确定样本脸部关键点所对应的各个目标顶点，确定各个目标顶点在样本表情下的空间坐标；空间坐标是在世界坐标系下的坐标；确定样本脸部关键点在目标网格区域中的区域坐标；区域坐标，是在基于目标网格区域建立的区域坐标系下的坐标；基于各个目标顶点的空间坐标，对样本脸部关键点的区域坐标进行坐标转换，得到样本脸部关键点的空间坐标，以获得与参考控制参数对应的样本脸部关键点。
其中，目标网格区域，是样本脸部关键点所位于的脸部网格中的网格区域。目标顶点是构成目标网格区域的脸部网格的网格顶点。
具体地，针对每个样本脸部关键点，终端可将构成相应目标网格区域的网格顶点，确定为样本脸部关键点所对应的各个目标顶点。由于脸部网格的网格顶点的空间坐标是已知的，因此，终端可直接获取各个目标顶点在样本表情下的空间坐标。终端可基于目标顶点，直接确定样本脸部关键点在目标网格区域中的区域坐标。终端可基于各个目标顶点的空间坐标，对样本脸部关键点的区域坐标进行坐标转换，以将样本脸部关键点在区域坐标系下的区域坐标，转换至在世界坐标系下的空间坐标，得到样本脸部关键点的空间坐标，以获得与参考控制参数对应的样本脸部关键点。
上述实施例中，通过确定各样本脸部关键点所对应的各个目标顶点，进而可以准确地确定各个目标顶点在样本表情下的空间坐标。通过确定样本脸部关键点在目标网格区域中的区域坐标，进而可以基于各个目标顶点的空间坐标，对样本脸部关键点的区域坐标进行坐标转换，得到准确的样本脸部关键点的空间坐标，以获得与参考控制参数对应的样本脸部关键点，这样可提升样本脸部关键点的准确率。
在一个实施例中，区域坐标系，是以区域坐标原点建立的坐标系；区域坐标原点，是构成目标网格区域的多个目标顶点中的任意一个；基于各个目标顶点的空间坐标，对样本脸部关键点的区域坐标进行坐标转换，得到样本脸部关键点的空间坐标，包括：基于各个目标顶点的空间坐标和样本脸部关键点的区域坐标，确定样本脸部关键点在世界坐标系下相对于区域坐标原点的相对位置；获取区域坐标原点在世界坐标系下的空间坐标；基于区域坐标原点的空间坐标和相对位置，确定样本脸部关键点的空间坐标。
具体地，终端可基于各个目标顶点的空间坐标和样本脸部关键点的区域坐标，确定样本脸部关键点在世界坐标系下相对于区域坐标原点的相对位置。由于脸部网格的网格顶点的空间坐标是已知的，区域坐标原点又是构成目标网格区域的多个目标顶点中的任意一个，因此，终端可直接获取区域坐标原点在世界坐标系下的空间坐标。进而，终端可基于区域坐标原点的空间坐标和相对位置，确定样本脸部关键点的空间坐标。
上述实施例中，基于各个目标顶点的空间坐标和样本脸部关键点的区域坐标，可以准确地确定样本脸部关键点在世界坐标系下相对于区域坐标原点的相对位置。由于区域坐标原点在世界坐标系下的位置是已知的，因此可直接获取区域坐标原点在世界坐标系下的空间坐标。进而，基于区域坐标原点的空间坐标和相对位置，可以准确地确定样本脸部关键点的空间坐标，进一步提升样本脸部关键点的空间坐标的准确性。
在一个实施例中，多个目标顶点为三个目标顶点；基于各个目标顶点的空间坐标和样本脸部关键点的区域坐标，确定样本脸部关键点在世界坐标系下相对于区域坐标原点的相对位置，包括：根据各个目标顶点的空间坐标，确定第一空间向量和第二空间向量；第一空间向量和第二空间向量，是从区域坐标原点分别指向除区域坐标原点外的其他两个目标顶点的向量；根据样本脸部关键点的区域坐标，确定第一区域向量和第二区域向量；第一区域向量与第一空间向量的向量方向一致；第二区域向量与第二空间向量的向量方向一致；基于第一空间向量和第一区域向量，确定第一转换比例，基于第二空间向量和第二区域向量，确定第二转换比例；将第一区域向量按照第一转换比例进行转换，得到第一中间向量，将第二区域向量按照第二转换比例进行转换，得到第二中间向量；基于第一中间向量和第二中间向量，确定样本脸部关键点在世界坐标系下相对于区域坐标原点的相对位置。
在一个实施例中，终端基于第一空间向量和第一区域向量，确定第一转换比例，基于第二空间向量和第二区域向量，确定第二转换比例，包括：终端可将第一区域向量与第一空间向量的比值，直接确定为第一转换比例，将第二区域向量与第二空间向量的比值，直接确定为第二转换比例。
在一个实施例中，终端基于第一中间向量和第二中间向量，确定样本脸部关键点在世界坐标系下相对于区域坐标原点的相对位置，包括：终端可将第一中间向量和第二中间向量进行向量相加，并基于相加后得到的向量的坐标，直接确定样本脸部关键点在世界坐标系下相对于区域坐标原点的相对位置。
上述实施例中，根据各个目标顶点的空间坐标，可以直接确定第一空间向量和第二空间向量，根据样本脸部关键点的区域坐标，可以直接确定第一区域向量和第二区域向量。基于第一空间向量和第一区域向量，可以确定第一转换比例，基于第二空间向量和第二区域向量，可以确定第二转换比例。将第一区域向量按照第一转换比例进行转换，可以得到第一中间向量，将第二区域向量按照第二转换比例进行转换，可以得到第二中间向量。进而，基于第一中间向量和第二中间向量，可以准确地确定样本脸部关键点在世界坐标系下相对于区域坐标原点的相对位置，从而进一步提升样本脸部关键点在世界坐标系下相对于区域坐标原点的相对位置的准确性。
在一个实施例中，确定样本脸部关键点在目标网格区域中的区域坐标，包括：获取关键点索引文件；关键点索引文件记录有各样本脸部关键点所分别对应的各个目标顶点的顶点标识，以及与顶点标识具有对应关系的相应样本脸部关键点在目标网格区域中的区域坐标；通过样本脸部关键点所对应的各个目标顶点的顶点标识，从关键点索引文件中查找与顶点标识具有对应关系的区域坐标，得到样本脸部关键点在目标网格区域中的区域坐标。
其中，关键点索引文件，适用于查找样本脸部关键点在目标网格区域中的区域坐标的文件。顶点标识，是用于唯一标识顶点的字符串。
具体地，用户可在第一表情下的虚拟脸部中标注脸部关键点，并将第一表情下的各样本脸部关键点所分别对应的各个目标顶点的顶点标识，记录在关键点索引文件中，将对应样本脸部关键点在目标网格区域中的区域坐标绑定记录在关键点索引文件中。终端可获取用户所记录的关键点索引文件。进而，终端可通过样本脸部关键点所对应的各个目标顶点的顶点标识，从关键点索引文件中查找与顶点标识具有对应关系的区域坐标，得到样本脸部关键点在目标网格区域中的区域坐标。
在一个实施例中，目标顶点的数量为三个，目标网格区域为三角面片，则关键点索引文件可以表示为如下表1：
表1
Figure DEST_PATH_IMAGE052_40A
从表中可知，比如，网格名称为“名称1”的网格，其对应的样本脸部关键点所对应的三个目标顶点的顶点标识，分别为1565、2286和2246，且该样本脸部关键点在三角面片中的区域坐标为（0.4207,0.2293）。
上述实施例中，通过样本脸部关键点所对应的各个目标顶点的顶点标识，直接从关键点索引文件中查找与顶点标识具有对应关系的区域坐标，得到样本脸部关键点在目标网格区域中的区域坐标，可以提升样本脸部关键点在目标网格区域中的区域坐标的获取效率，从而进一步提升了表情生成效率。
在一个实施例中，基于目标控制参数控制脸部网格中的关联顶点移动，以在虚拟脸部中产生第二表情，包括：将目标控制参数作为目标控制器的控制参数；目标控制器与虚拟脸部的脸部网格的各顶点具有绑定关系；通过目标控制器，基于目标控制参数控制脸部网格中的关联顶点移动，以在虚拟脸部中产生第二表情。
具体地，终端中可运行有目标控制器，终端可将目标控制参数作为目标控制器的控制参数。进而，终端可通过目标控制器，基于目标控制参数，控制在第一表情下的脸部网格中的关联顶点产生移动，从而控制虚拟脸部从第一表情变换为第二表情。
在一个实施例中，如图4所示，表情生成应用的主界面还包括“文件”路径，其用于存储控制器的信息。用户可从“文件”中存储的多个控制器中选择目标控制器，并将目标控制器与虚拟脸部的脸部网格的各顶点进行绑定。
在一个实施例中，如图4所示，表情生成应用的主界面还包括“自动帧”按钮402，通过触发该“自动帧”按钮402，终端可自动将目标控制参数作为目标控制器的控制参数，并通过目标控制器，基于目标控制参数，控制在第一表情下的脸部网格中的关联顶点产生移动，从而控制虚拟脸部从第一表情变换为第二表情。
在一个实施例中，如图11所示，目标控制器与虚拟脸部的脸部网格的各网格顶点具有绑定关系。可以理解，通过目标控制器可以控制脸部网格的各网格顶点的位置发生改变，从而控制脸部网格发生形变，以产生相应的表情。
在一个实施例中，终端可将目标控制参数作为目标控制器的控制参数。为便于理解控制器，现结合图12对控制器进行示意说明。如图12所示，目标控制器可以包括多项控制参数，比如转变参数、旋转参数、等级参数、剪切参数、旋转顺序参数和旋转轴参数等，目标控制参数可以是目标控制器中的转变参数。其中，转变参数，是用于控制关联顶点的位置进行移动转变的参数。可以理解，转变参数可以控制关联顶点移动至相应位置，从而使虚拟脸部的脸部关键点满足相应的关键点分布特征。进而，终端可通过目标控制器，基于目标控制参数，控制在第一表情下的脸部网格中的关联顶点产生移动，从而控制虚拟脸部从第一表情变换为第二表情。
在一个实施例中，参考图13，终端可通过目标控制器，基于真实脸部的第二表情1301，在虚拟脸部中产生第二表情1302。可以理解，比如，第二表情为“眨眼”，则终端可通过目标控制器，基于真实脸部的“眨眼”的表情，在虚拟脸部中产生“眨眼”这个表情。
上述实施例中，将目标控制参数直接作为目标控制器的控制参数，进而通过目标控制器，基于目标控制参数可以直接控制脸部网格中的关联顶点移动，以在虚拟脸部中产生第二表情，进一步提升了表情生成效率。
在一个实施例中，如图14所示，终端可获取真实脸部在第一表情下的第一表情图像，以及获取真实脸部在第二表情下的第二表情图像（即，真实脸部的表情图像1401），通过已训练的关键点检测模型从第一表情图像中，定位真实脸部的脸部关键点的第一位置信息，以及从第二表情图像中，定位真实脸部的脸部关键点的第二位置信息（即，脸部关键点检测，得到真实脸部的脸部关键点），确定第一位置信息和第二位置信息之间的差异，得到表情位置差异信息。终端可获取在第一表情下的虚拟脸部的脸部关键点，得到初始虚拟脸部关键点。基于表情位置差异信息和初始虚拟脸部关键点，得到虚拟脸部在第二表情下的目标虚拟脸部关键点（即，脸部关键点转换，得到在第二表情下虚拟脸部的脸部关键点）。终端可将目标虚拟脸部关键点输入至已训练的参数预估模型进行参数预估，得到目标控制参数。终端可将目标控制参数作为已绑定的目标控制器的控制参数，通过目标控制器，基于目标控制参数控制在虚拟脸部产生第二表情（即，虚拟脸部的表情图像1402）。
如图15所示，在一个实施例中，提供了一种表情生成方法，该方法具体包括以下步骤：
步骤1502，获取样本数据；样本数据包括样本表情图像和针对样本表情图像标注的脸部关键点的参考位置信息。
步骤1504，将样本表情图像输入至待训练的关键点检测模型，得到脸部关键点的预测位置信息。
步骤1506，基于脸部关键点的预测位置信息与脸部关键点的参考位置信息之间的误差，确定第一损失值。
步骤1508，朝着使第一损失值减小的方向，对待训练的关键点检测模型进行迭代训练，直至满足迭代停止条件时，得到已训练的关键点检测模型。
步骤1510，获取用于产生样本表情的参考控制参数；参考控制参数对应的样本脸部关键点位于虚拟脸部的脸部网格中的目标网格区域内；样本脸部关键点与构成目标网格区域的多个目标顶点相对应。
步骤1512，针对每个样本脸部关键点，确定样本脸部关键点所对应的各个目标顶点，确定各个目标顶点在样本表情下的空间坐标；空间坐标是在世界坐标系下的坐标。
步骤1514，确定样本脸部关键点在目标网格区域中的区域坐标；区域坐标，是在基于目标网格区域建立的区域坐标系下的坐标。
步骤1516，基于各个目标顶点的空间坐标，对样本脸部关键点的区域坐标进行坐标转换，得到样本脸部关键点的空间坐标，以获得与参考控制参数对应的样本脸部关键点。
步骤1518，将样本脸部关键点输入至待训练的参数预估模型，得到预测控制参数；基于预测控制参数与参考控制参数之间的误差，确定第二损失值。
步骤1520，朝着使第二损失值减小的方向，对待训练的参数预估模型进行迭代训练，直至满足迭代停止条件时，得到已训练的参数预估模型。
需要说明的是，本申请对参数预估模型和关键点检测模型的训练先后顺序不做限定。
步骤1522，获取真实脸部在第一表情下的第一表情图像；获取真实脸部在第二表情下的第二表情图像。
步骤1524，通过已训练的关键点检测模型，从第一表情图像中，定位真实脸部的脸部关键点的第一位置信息，以及从第二表情图像中，定位真实脸部的脸部关键点的第二位置信息。
步骤1526，获取在第一表情下的虚拟脸部的脸部关键点，得到初始虚拟脸部关键点；获取初始虚拟脸部关键点的第三位置信息。
步骤1528，对第一位置信息、第二位置信息和第三位置信息分别进行归一化处理，得到归一化后的第一位置信息、归一化后的第二位置信息以及归一化后的第三位置信息。
步骤1530，基于归一化后的第一位置信息与归一化后的第二位置信息之间的差异，得到表情位置差异信息；表情位置差异信息，用于表征真实脸部的脸部关键点在第一表情和第二表情下的位置差异。
步骤1532，将归一化后的第三位置信息按照表情位置差异信息进行调整，得到虚拟脸部在第二表情下的目标虚拟脸部关键点。
步骤1534，将目标虚拟脸部关键点输入至已训练的参数预估模型，以通过已训练的参数预估模型对目标虚拟脸部关键点进行分布特征提取，得到关键点分布特征，基于关键点分布特征进行参数预估，输出目标控制参数；目标控制参数，是用于对虚拟脸部的脸部网格中的、且与第二表情相关的关联顶点进行控制的参数。
步骤1536，将目标控制参数作为目标控制器的控制参数；目标控制器与虚拟脸部的脸部网格的各顶点具有绑定关系。
步骤1538，通过目标控制器，基于目标控制参数控制脸部网格中的关联顶点移动，以在虚拟脸部中产生第二表情。
本申请还提供一种应用场景，该应用场景应用上述的表情生成方法。具体地，该表情生成方法可应用于游戏中的三维虚拟角色表情生成场景。终端可获取样本数据；样本数据包括样本人脸表情图像和针对样本人脸表情图像标注的人脸关键点的参考位置信息。将样本人脸表情图像输入至待训练的人脸关键点检测模型，得到人脸关键点的预测位置信息。基于人脸关键点的预测位置信息与人脸关键点的参考位置信息之间的误差，确定第一损失值。朝着使第一损失值减小的方向，对待训练的人脸关键点检测模型进行迭代训练，直至满足迭代停止条件时，得到已训练的人脸关键点检测模型。
终端可获取用于产生样本人脸表情的参考控制参数；参考控制参数对应的样本人脸关键点位于虚拟人脸的人脸网格中的目标网格区域内；样本人脸关键点与构成目标网格区域的多个目标顶点相对应。针对每个样本人脸关键点，确定样本人脸关键点所对应的各个目标顶点，确定各个目标顶点在样本人脸表情下的空间坐标；空间坐标是在世界坐标系下的坐标。确定样本人脸关键点在目标网格区域中的区域坐标；区域坐标，是在基于目标网格区域建立的区域坐标系下的坐标。基于各个目标顶点的空间坐标，对样本人脸关键点的区域坐标进行坐标转换，得到样本人脸关键点的空间坐标，以获得与参考控制参数对应的样本人脸关键点。将样本人脸关键点输入至待训练的参数预估模型，得到预测控制参数；基于预测控制参数与参考控制参数之间的误差，确定第二损失值。朝着使第二损失值减小的方向，对待训练的参数预估模型进行迭代训练，直至满足迭代停止条件时，得到已训练的参数预估模型。
终端可获取真实人脸在第一表情下的第一表情图像；获取真实人脸在第二表情下的第二表情图像。通过已训练的人脸关键点检测模型，从第一表情图像中，定位真实人脸的人脸关键点的第一位置信息，以及从第二表情图像中，定位真实人脸的人脸关键点的第二位置信息。获取在第一表情下的虚拟人脸的人脸关键点，得到初始虚拟人脸关键点；获取初始虚拟人脸关键点的第三位置信息。 对第一位置信息、第二位置信息和第三位置信息分别进行归一化处理，得到归一化后的第一位置信息、归一化后的第二位置信息以及归一化后的第三位置信息。基于归一化后的第一位置信息与归一化后的第二位置信息之间的差异，得到表情位置差异信息；表情位置差异信息，用于表征真实人脸的人脸关键点在第一表情和第二表情下的位置差异。将归一化后的第三位置信息按照表情位置差异信息进行调整，得到虚拟人脸在第二表情下的目标虚拟人脸关键点。
终端可将目标虚拟人脸关键点输入至已训练的参数预估模型，以通过已训练的参数预估模型对目标虚拟人脸关键点进行分布特征提取，得到关键点分布特征，基于关键点分布特征进行参数预估，输出目标控制参数；目标控制参数，是用于对虚拟人脸的人脸网格中的、且与第二表情相关的关联顶点进行控制的参数。将目标控制参数作为目标控制器的控制参数；目标控制器与虚拟人脸的人脸网格的各顶点具有绑定关系。通过目标控制器，基于目标控制参数控制人脸网格中的关联顶点移动，以在虚拟人脸中产生第二表情。
本申请还另外提供一种应用场景，该应用场景应用上述的表情生成方法。具体地，该表情生成方法可应用于虚拟动物表情生成场景。终端可获取基于真实动物脸部得到的表情位置差异信息；表情位置差异信息，用于表征真实动物脸部的动物脸部关键点在第一表情和第二表情下的位置差异。获取在第一表情下的虚拟动物脸部的动物脸部关键点，得到初始虚拟动物脸部关键点；虚拟动物脸部是虚拟对象的动物脸部。基于表情位置差异信息和初始虚拟动物脸部关键点，得到虚拟动物脸部在第二表情下的目标虚拟动物脸部关键点。基于目标虚拟动物脸部关键点提取关键点分布特征，并基于关键点分布特征，确定目标控制参数；目标控制参数，是用于对虚拟动物脸部的动物脸部网格中的、且与第二表情相关的关联顶点进行控制的参数。基于目标控制参数控制动物脸部网格中的关联顶点移动，以在虚拟动物脸部中产生第二表情。
应该理解的是，虽然上述各实施例的流程图中的各个步骤按照顺序依次显示，但是这些步骤并不是必然按照顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图16所示，提供了一种表情生成装置1600，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：
获取模块1601，用于获取基于真实脸部得到的表情位置差异信息；表情位置差异信息，用于表征真实脸部的脸部关键点在第一表情和第二表情下的位置差异；获取在第一表情下的虚拟脸部的脸部关键点，得到初始虚拟脸部关键点；虚拟脸部是虚拟对象的脸部。
确定模块1602，用于基于表情位置差异信息和初始虚拟脸部关键点，得到虚拟脸部在第二表情下的目标虚拟脸部关键点；基于目标虚拟脸部关键点提取关键点分布特征，并基于关键点分布特征，确定目标控制参数；目标控制参数，是用于对虚拟脸部的脸部网格中的、且与第二表情相关的关联顶点进行控制的参数。
生成模块1603，用于基于目标控制参数控制脸部网格中的关联顶点移动，以在虚拟脸部中产生第二表情。
在一个实施例中，获取模块1601还用于获取真实脸部在第一表情下的第一表情图像；获取真实脸部在第二表情下的第二表情图像；从第一表情图像中，定位真实脸部的脸部关键点的第一位置信息；从第二表情图像中，定位真实脸部的脸部关键点的第二位置信息；确定第一位置信息和第二位置信息之间的差异，得到表情位置差异信息。
在一个实施例中，第一位置信息和第二位置信息是通过已训练的关键点检测模型检测得到；装置还包括：
第一训练模块1604 ，用于获取样本数据；样本数据包括样本表情图像和针对样本表情图像标注的脸部关键点的参考位置信息； 将样本表情图像输入至待训练的关键点检测模型，得到脸部关键点的预测位置信息；基于脸部关键点的预测位置信息与脸部关键点的参考位置信息之间的误差，确定第一损失值；朝着使第一损失值减小的方向，对待训练的关键点检测模型进行迭代训练，直至满足迭代停止条件时，得到已训练的关键点检测模型。
在一个实施例中，获取模块1601还用于获取初始虚拟脸部关键点的第三位置信息；对第一位置信息、第二位置信息和第三位置信息分别进行归一化处理，得到归一化后的第一位置信息、归一化后的第二位置信息以及归一化后的第三位置信息；基于归一化后的第一位置信息与归一化后的第二位置信息之间的差异，得到表情位置差异信息；确定模块1602还用于将归一化后的第三位置信息按照表情位置差异信息进行调整，得到虚拟脸部在第二表情下的目标虚拟脸部关键点。
在一个实施例中，获取模块1601还用于在对第一位置信息、第二位置信息和第三位置信息中的每一个进行归一化处理时，将被进行归一化处理的位置信息作为当前位置信息；针对每个当前位置信息，确定满足位置稳定条件的基准脸部关键点；基于基准脸部关键点确定当前位置信息对应的参照点，并确定基准脸部关键点与参照点之间的相对距离；基于任意两个基准脸部关键点之间的距离，确定缩放比例；根据相对距离和缩放比例，对当前位置信息进行归一化处理。
在一个实施例中，确定模块1602还用于将归一化处理后的第三位置信息按照表情位置差异信息进行调整，得到虚拟脸部在第二表情下的脸部关键点的中间态位置信息；基于第三位置信息对应的相对距离和缩放比例，对中间态位置信息进行反归一化处理，得到虚拟脸部在第二表情下的目标虚拟脸部关键点。
在一个实施例中，确定模块1602还用于将目标虚拟脸部关键点输入至已训练的参数预估模型，以通过已训练的参数预估模型对目标虚拟脸部关键点进行分布特征提取，得到关键点分布特征，并基于关键点分布特征进行参数预估，输出目标控制参数。
在一个实施例中，装置还包括：
第二训练模块1605 ，用于获取用于产生样本表情的参考控制参数；获取参考控制参数对应的样本脸部关键点；将样本脸部关键点输入至待训练的参数预估模型，得到预测控制参数；基于预测控制参数与参考控制参数之间的误差，确定第二损失值；朝着使第二损失值减小的方向，对待训练的参数预估模型进行迭代训练，直至满足迭代停止条件时，得到已训练的参数预估模型。
在一个实施例中，样本脸部关键点位于脸部网格中的目标网格区域内；样本脸部关键点与构成目标网格区域的多个目标顶点相对应；第二训练模块1605还用于针对每个样本脸部关键点，确定样本脸部关键点所对应的各个目标顶点，确定各个目标顶点在样本表情下的空间坐标；空间坐标是在世界坐标系下的坐标；确定样本脸部关键点在目标网格区域中的区域坐标；区域坐标，是在基于目标网格区域建立的区域坐标系下的坐标；基于各个目标顶点的空间坐标，对样本脸部关键点的区域坐标进行坐标转换，得到样本脸部关键点的空间坐标，以获得与参考控制参数对应的样本脸部关键点。
在一个实施例中，区域坐标系，是以区域坐标原点建立的坐标系；区域坐标原点，是构成目标网格区域的多个目标顶点中的任意一个；第二训练模块1605还用于基于各个目标顶点的空间坐标和样本脸部关键点的区域坐标，确定样本脸部关键点在世界坐标系下相对于区域坐标原点的相对位置；获取区域坐标原点在世界坐标系下的空间坐标；基于区域坐标原点的空间坐标和相对位置，确定样本脸部关键点的空间坐标。
在一个实施例中，第二训练模块1605还用于获取关键点索引文件；关键点索引文件记录有各样本脸部关键点所分别对应的各个目标顶点的顶点标识，以及与顶点标识具有对应关系的相应样本脸部关键点在目标网格区域中的区域坐标；通过样本脸部关键点所对应的各个目标顶点的顶点标识，从关键点索引文件中查找与顶点标识具有对应关系的区域坐标，得到样本脸部关键点在目标网格区域中的区域坐标。
在一个实施例中，生成模块1603还用于将目标控制参数作为目标控制器的控制参数；目标控制器与虚拟脸部的脸部网格的各顶点具有绑定关系； 通过目标控制器，基于目标控制参数控制脸部网格中的关联顶点移动，以在虚拟脸部中产生第二表情。
参考图17，在一个实施例中，表情生成装置1600还可以包括第一训练模块1604和第二训练模块1605。
上述表情生成装置，获取基于真实脸部得到的表情位置差异信息，其中，表情位置差异信息，可用于表征真实脸部的脸部关键点在第一表情和第二表情下的位置差异。获取在第一表情下的虚拟脸部的脸部关键点，得到初始虚拟脸部关键点。基于表情位置差异信息和初始虚拟脸部关键点，可以得到虚拟脸部在第二表情下的目标虚拟脸部关键点，基于目标虚拟脸部关键点可以提取关键点分布特征，基于关键点分布特征，可以快速确定目标控制参数，其中，目标控制参数，是用于对虚拟脸部的脸部网格中的、且与第二表情相关的关联顶点进行控制的参数。进而，基于目标控制参数控制脸部网格中的关联顶点移动，可以在虚拟脸部中产生第二表情。相较于传统的表情生成方法，本申请的表情生成方法，只需要获取虚拟脸部在第一表情下的脸部关键点，结合真实脸部的脸部关键点在不同表情下的表情位置差异，就能便捷地控制在虚拟脸部中产生相应变化的表情，提升了表情生成效率。
关于表情生成装置的具体限定可以参见上文中对于表情生成方法的限定，在此不再赘述。上述表情生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图18所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种表情生成方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图18中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (24)

1.一种表情生成方法，其特征在于，所述方法包括：
获取基于真实脸部得到的表情位置差异信息；所述表情位置差异信息，用于表征真实脸部的脸部关键点在第一表情和第二表情下的位置差异；
获取在第一表情下的虚拟脸部的脸部关键点，得到初始虚拟脸部关键点；所述虚拟脸部是虚拟对象的脸部；
基于所述表情位置差异信息和所述初始虚拟脸部关键点，得到所述虚拟脸部在第二表情下的目标虚拟脸部关键点；
将所述目标虚拟脸部关键点输入至已训练的参数预估模型，以通过所述已训练的参数预估模型对所述目标虚拟脸部关键点进行分布特征提取，得到关键点分布特征，并基于所述关键点分布特征进行参数预估，输出目标控制参数；所述目标控制参数，是用于对所述虚拟脸部的脸部网格中的、且与所述第二表情相关的关联顶点进行控制的参数；所述关键点分布特征，是所述目标虚拟脸部关键点在所述虚拟脸部的分布特征；所述目标控制参数与所述脸部网格中的所述关联顶点具有绑定关系；所述虚拟脸部的初始虚拟脸部关键点与所述关联顶点具有对应关系，所述关联顶点移动控制所述虚拟脸部的所述初始虚拟脸部关键点也跟随发生移动；
基于所述目标控制参数控制所述脸部网格中的所述关联顶点移动，以使得所述虚拟脸部的所述初始虚拟脸部关键点也跟随所述关联顶点发生移动，直至所述初始虚拟脸部关键点的分布满足所述关键点分布特征，得到在所述虚拟脸部中产生的所述第二表情。
2.根据权利要求1所述的方法，其特征在于，所述获取基于真实脸部得到的表情位置差异信息，包括：
获取真实脸部在第一表情下的第一表情图像；
获取所述真实脸部在第二表情下的第二表情图像；
从所述第一表情图像中，定位所述真实脸部的脸部关键点的第一位置信息；
从所述第二表情图像中，定位所述真实脸部的脸部关键点的第二位置信息；
确定所述第一位置信息和所述第二位置信息之间的差异，得到表情位置差异信息。
3.根据权利要求2所述的方法，其特征在于，所述第一位置信息和所述第二位置信息是通过已训练的关键点检测模型检测得到；得到所述已训练的关键点检测模型的步骤，包括：
获取样本数据；所述样本数据包括样本表情图像和针对所述样本表情图像标注的脸部关键点的参考位置信息；
将所述样本表情图像输入至待训练的关键点检测模型，得到脸部关键点的预测位置信息；
基于所述脸部关键点的预测位置信息与所述脸部关键点的参考位置信息之间的误差，确定第一损失值；
朝着使所述第一损失值减小的方向，对所述待训练的关键点检测模型进行迭代训练，直至满足迭代停止条件时，得到已训练的关键点检测模型。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取所述初始虚拟脸部关键点的第三位置信息；
对所述第一位置信息、所述第二位置信息和所述第三位置信息分别进行归一化处理，得到归一化后的第一位置信息、归一化后的第二位置信息以及归一化后的第三位置信息；
所述确定所述第一位置信息和所述第二位置信息之间的差异，得到表情位置差异信息；包括：
基于归一化后的第一位置信息与归一化后的第二位置信息之间的差异，得到表情位置差异信息；
所述基于所述表情位置差异信息和所述初始虚拟脸部关键点，得到所述虚拟脸部在第二表情下的目标虚拟脸部关键点，包括：
将归一化后的第三位置信息按照所述表情位置差异信息进行调整，得到所述虚拟脸部在第二表情下的目标虚拟脸部关键点。
5.根据权利要求4所述的方法，其特征在于，所述对所述第一位置信息、所述第二位置信息和所述第三位置信息分别进行归一化处理，包括：
在对所述第一位置信息、所述第二位置信息和所述第三位置信息中的每一个进行归一化处理时，将被进行归一化处理的位置信息作为当前位置信息；
针对每个所述当前位置信息，确定满足位置稳定条件的基准脸部关键点；
基于所述基准脸部关键点确定所述当前位置信息对应的参照点，并确定所述基准脸部关键点与所述参照点之间的相对距离；
基于任意两个所述基准脸部关键点之间的距离，确定缩放比例；
根据所述相对距离和所述缩放比例，对所述当前位置信息进行归一化处理。
6.根据权利要求5所述的方法，其特征在于，所述将归一化后的第三位置信息按照所述表情位置差异信息进行调整，得到所述虚拟脸部在第二表情下的目标虚拟脸部关键点，包括：
将归一化处理后的所述第三位置信息按照所述表情位置差异信息进行调整，得到所述虚拟脸部在第二表情下的脸部关键点的中间态位置信息；
基于所述第三位置信息对应的相对距离和缩放比例，对所述中间态位置信息进行反归一化处理，得到所述虚拟脸部在第二表情下的目标虚拟脸部关键点。
7.根据权利要求1所述的方法，其特征在于，得到所述已训练的参数预估模型的步骤，包括：
获取用于产生样本表情的参考控制参数；
获取所述参考控制参数对应的样本脸部关键点；
将所述样本脸部关键点输入至待训练的参数预估模型，得到预测控制参数；
基于所述预测控制参数与所述参考控制参数之间的误差，确定第二损失值；
朝着使所述第二损失值减小的方向，对所述待训练的参数预估模型进行迭代训练，直至满足迭代停止条件时，得到已训练的参数预估模型。
8.根据权利要求7所述的方法，其特征在于，所述样本脸部关键点位于脸部网格中的目标网格区域内；所述样本脸部关键点与构成所述目标网格区域的多个目标顶点相对应；所述获取所述参考控制参数对应的样本脸部关键点，包括：
针对每个样本脸部关键点，确定所述样本脸部关键点所对应的各个目标顶点，确定所述各个目标顶点在所述样本表情下的空间坐标；所述空间坐标是在世界坐标系下的坐标；
确定所述样本脸部关键点在目标网格区域中的区域坐标；所述区域坐标，是在基于所述目标网格区域建立的区域坐标系下的坐标；
基于所述各个目标顶点的所述空间坐标，对所述样本脸部关键点的所述区域坐标进行坐标转换，得到所述样本脸部关键点的空间坐标，以获得与所述参考控制参数对应的样本脸部关键点。
9.根据权利要求8所述的方法，其特征在于，所述区域坐标系，是以区域坐标原点建立的坐标系；所述区域坐标原点，是构成所述目标网格区域的多个目标顶点中的任意一个；
所述基于所述各个目标顶点的所述空间坐标，对所述样本脸部关键点的所述区域坐标进行坐标转换，得到所述样本脸部关键点的空间坐标，包括：
基于所述各个目标顶点的所述空间坐标和所述样本脸部关键点的区域坐标，确定所述样本脸部关键点在世界坐标系下相对于所述区域坐标原点的相对位置；
获取区域坐标原点在所述世界坐标系下的空间坐标；
基于所述区域坐标原点的空间坐标和所述相对位置，确定所述样本脸部关键点的空间坐标。
10.根据权利要求8所述的方法，其特征在于，所述确定所述样本脸部关键点在目标网格区域中的区域坐标，包括：
获取关键点索引文件；所述关键点索引文件记录有各样本脸部关键点所分别对应的各个目标顶点的顶点标识，以及与所述顶点标识具有对应关系的相应样本脸部关键点在目标网格区域中的区域坐标；
通过所述样本脸部关键点所对应的各个目标顶点的顶点标识，从所述关键点索引文件中查找与所述顶点标识具有对应关系的区域坐标，得到所述样本脸部关键点在目标网格区域中的区域坐标。
11.根据权利要求1至10中任一项所述的方法，其特征在于，所述基于所述目标控制参数控制所述脸部网格中的所述关联顶点移动，以使得所述虚拟脸部的所述初始虚拟脸部关键点也跟随发生移动，直至所述初始虚拟脸部关键点的分布满足所述关键点分布特征，得到在所述虚拟脸部中产生的所述第二表情，包括：
将所述目标控制参数作为目标控制器的控制参数；所述目标控制器与所述虚拟脸部的脸部网格的各顶点具有绑定关系；
通过所述目标控制器，基于所述目标控制参数控制所述脸部网格中的所述关联顶点移动，以使得所述虚拟脸部的所述初始虚拟脸部关键点也跟随所述关联顶点发生移动，直至所述初始虚拟脸部关键点的分布满足所述关键点分布特征，得到在所述虚拟脸部中产生的所述第二表情。
12.一种表情生成装置，其特征在于，所述装置包括：
获取模块，用于获取基于真实脸部得到的表情位置差异信息；所述表情位置差异信息，用于表征真实脸部的脸部关键点在第一表情和第二表情下的位置差异；获取在第一表情下的虚拟脸部的脸部关键点，得到初始虚拟脸部关键点；所述虚拟脸部是虚拟对象的脸部；
确定模块，用于基于所述表情位置差异信息和所述初始虚拟脸部关键点，得到所述虚拟脸部在第二表情下的目标虚拟脸部关键点；将所述目标虚拟脸部关键点输入至已训练的参数预估模型，以通过所述已训练的参数预估模型对所述目标虚拟脸部关键点进行分布特征提取，得到关键点分布特征，并基于所述关键点分布特征进行参数预估，输出目标控制参数；所述目标控制参数，是用于对所述虚拟脸部的脸部网格中的、且与所述第二表情相关的关联顶点进行控制的参数；所述关键点分布特征，是所述目标虚拟脸部关键点在所述虚拟脸部的分布特征；所述目标控制参数与所述脸部网格中的所述关联顶点具有绑定关系；所述虚拟脸部的初始虚拟脸部关键点与所述关联顶点具有对应关系，所述关联顶点移动控制所述虚拟脸部的所述初始虚拟脸部关键点也跟随发生移动；
生成模块，用于基于所述目标控制参数控制所述脸部网格中的所述关联顶点移动，以使得所述虚拟脸部的所述初始虚拟脸部关键点也跟随所述关联顶点发生移动，直至所述初始虚拟脸部关键点的分布满足所述关键点分布特征，得到在所述虚拟脸部中产生的所述第二表情。
13.根据权利要求12所述的装置，其特征在于，所述获取模块还用于获取真实脸部在第一表情下的第一表情图像；获取所述真实脸部在第二表情下的第二表情图像；从所述第一表情图像中，定位所述真实脸部的脸部关键点的第一位置信息；从所述第二表情图像中，定位所述真实脸部的脸部关键点的第二位置信息；确定所述第一位置信息和所述第二位置信息之间的差异，得到表情位置差异信息。
14.根据权利要求13所述的装置，其特征在于，所述第一位置信息和所述第二位置信息是通过已训练的关键点检测模型检测得到；所述装置还包括：
第一训练模块，用于获取样本数据；所述样本数据包括样本表情图像和针对所述样本表情图像标注的脸部关键点的参考位置信息； 将所述样本表情图像输入至待训练的关键点检测模型，得到脸部关键点的预测位置信息；基于所述脸部关键点的预测位置信息与所述脸部关键点的参考位置信息之间的误差，确定第一损失值；朝着使所述第一损失值减小的方向，对所述待训练的关键点检测模型进行迭代训练，直至满足迭代停止条件时，得到已训练的关键点检测模型。
15.根据权利要求13所述的装置，其特征在于，所述获取模块还用于获取所述初始虚拟脸部关键点的第三位置信息；对所述第一位置信息、所述第二位置信息和所述第三位置信息分别进行归一化处理，得到归一化后的第一位置信息、归一化后的第二位置信息以及归一化后的第三位置信息；基于归一化后的第一位置信息与归一化后的第二位置信息之间的差异，得到表情位置差异信息；所述确定模块还用于将归一化后的第三位置信息按照所述表情位置差异信息进行调整，得到所述虚拟脸部在第二表情下的目标虚拟脸部关键点。
16.根据权利要求15所述的装置，其特征在于，所述获取模块还用于在对所述第一位置信息、所述第二位置信息和所述第三位置信息中的每一个进行归一化处理时，将被进行归一化处理的位置信息作为当前位置信息；针对每个所述当前位置信息，确定满足位置稳定条件的基准脸部关键点；基于所述基准脸部关键点确定所述当前位置信息对应的参照点，并确定所述基准脸部关键点与所述参照点之间的相对距离；基于任意两个所述基准脸部关键点之间的距离，确定缩放比例；根据所述相对距离和所述缩放比例，对所述当前位置信息进行归一化处理。
17.根据权利要求16所述的装置，其特征在于，所述确定模块还用于将归一化处理后的所述第三位置信息按照所述表情位置差异信息进行调整，得到所述虚拟脸部在第二表情下的脸部关键点的中间态位置信息；基于所述第三位置信息对应的相对距离和缩放比例，对所述中间态位置信息进行反归一化处理，得到所述虚拟脸部在第二表情下的目标虚拟脸部关键点。
18.根据权利要求12所述的装置，其特征在于，所述装置还包括：
第二训练模块，用于获取用于产生样本表情的参考控制参数；获取所述参考控制参数对应的样本脸部关键点；将所述样本脸部关键点输入至待训练的参数预估模型，得到预测控制参数；基于所述预测控制参数与所述参考控制参数之间的误差，确定第二损失值；朝着使所述第二损失值减小的方向，对所述待训练的参数预估模型进行迭代训练，直至满足迭代停止条件时，得到已训练的参数预估模型。
19.根据权利要求18所述的装置，其特征在于，所述样本脸部关键点位于脸部网格中的目标网格区域内；所述样本脸部关键点与构成所述目标网格区域的多个目标顶点相对应；所述第二训练模块还用于针对每个样本脸部关键点，确定所述样本脸部关键点所对应的各个目标顶点，确定所述各个目标顶点在所述样本表情下的空间坐标；所述空间坐标是在世界坐标系下的坐标；确定所述样本脸部关键点在目标网格区域中的区域坐标；所述区域坐标，是在基于所述目标网格区域建立的区域坐标系下的坐标；基于所述各个目标顶点的所述空间坐标，对所述样本脸部关键点的所述区域坐标进行坐标转换，得到所述样本脸部关键点的空间坐标，以获得与所述参考控制参数对应的样本脸部关键点。
20.根据权利要求19所述的装置，其特征在于，所述区域坐标系，是以区域坐标原点建立的坐标系；所述区域坐标原点，是构成所述目标网格区域的多个目标顶点中的任意一个；所述第二训练模块还用于基于所述各个目标顶点的所述空间坐标和所述样本脸部关键点的区域坐标，确定所述样本脸部关键点在世界坐标系下相对于所述区域坐标原点的相对位置；获取区域坐标原点在所述世界坐标系下的空间坐标；基于所述区域坐标原点的空间坐标和所述相对位置，确定所述样本脸部关键点的空间坐标。
21.根据权利要求19所述的装置，其特征在于，所述第二训练模块还用于获取关键点索引文件；所述关键点索引文件记录有各样本脸部关键点所分别对应的各个目标顶点的顶点标识，以及与所述顶点标识具有对应关系的相应样本脸部关键点在目标网格区域中的区域坐标；通过所述样本脸部关键点所对应的各个目标顶点的顶点标识，从所述关键点索引文件中查找与所述顶点标识具有对应关系的区域坐标，得到所述样本脸部关键点在目标网格区域中的区域坐标。
22.根据权利要求12至21中任一项所述的装置，其特征在于，所述生成模块还用于将所述目标控制参数作为目标控制器的控制参数；所述目标控制器与所述虚拟脸部的脸部网格的各顶点具有绑定关系； 通过所述目标控制器，基于所述目标控制参数控制所述脸部网格中的所述关联顶点移动，以使得所述虚拟脸部的所述初始虚拟脸部关键点也跟随所述关联顶点发生移动，直至所述初始虚拟脸部关键点的分布满足所述关键点分布特征，得到在所述虚拟脸部中产生的所述第二表情。
23.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。
24.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
CN202111473341.7A 2021-12-06 2021-12-06 表情生成方法、装置、设备、介质和计算机程序产品 Active CN113870401B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111473341.7A CN113870401B (zh) 2021-12-06 2021-12-06 表情生成方法、装置、设备、介质和计算机程序产品
PCT/CN2022/126077 WO2023103600A1 (zh) 2021-12-06 2022-10-19 表情生成方法、装置、设备、介质和计算机程序产品
US18/331,906 US20230316623A1 (en) 2021-12-06 2023-06-08 Expression generation method and apparatus, device, and medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111473341.7A CN113870401B (zh) 2021-12-06 2021-12-06 表情生成方法、装置、设备、介质和计算机程序产品

Publications (2)

Publication Number Publication Date
CN113870401A CN113870401A (zh) 2021-12-31
CN113870401B true CN113870401B (zh) 2022-02-25

Family

ID=78986087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111473341.7A Active CN113870401B (zh) 2021-12-06 2021-12-06 表情生成方法、装置、设备、介质和计算机程序产品

Country Status (3)

Country Link
US (1) US20230316623A1 (zh)
CN (1) CN113870401B (zh)
WO (1) WO2023103600A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113870401B (zh) * 2021-12-06 2022-02-25 腾讯科技（深圳）有限公司 表情生成方法、装置、设备、介质和计算机程序产品
CN116778107A (zh) * 2022-03-11 2023-09-19 腾讯科技（深圳）有限公司 表情模型的生成方法、装置、设备及介质
CN115239860B (zh) * 2022-09-01 2023-08-01 北京达佳互联信息技术有限公司 表情数据生成方法、装置、电子设备及存储介质
CN115393486B (zh) * 2022-10-27 2023-03-24 科大讯飞股份有限公司 虚拟形象的生成方法、装置、设备及存储介质
CN117152382A (zh) * 2023-10-30 2023-12-01 海马云（天津）信息技术有限公司 虚拟数字人面部表情计算方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103854306A (zh) * 2012-12-07 2014-06-11 山东财经大学 一种高真实感的动态表情建模方法
CN108257162A (zh) * 2016-12-29 2018-07-06 北京三星通信技术研究有限公司 合成脸部表情图像的方法和装置
CN109087380A (zh) * 2018-08-02 2018-12-25 咪咕文化科技有限公司 一种漫画动图生成方法、装置及存储介质
CN109147024A (zh) * 2018-08-16 2019-01-04 Oppo广东移动通信有限公司 基于三维模型的表情更换方法和装置
CN112766027A (zh) * 2019-11-05 2021-05-07 广州虎牙科技有限公司 图像处理方法、装置、设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7751599B2 (en) * 2006-08-09 2010-07-06 Arcsoft, Inc. Method for driving virtual facial expressions by automatically detecting facial expressions of a face image
US10860841B2 (en) * 2016-12-29 2020-12-08 Samsung Electronics Co., Ltd. Facial expression image processing method and apparatus
WO2019209431A1 (en) * 2018-04-23 2019-10-31 Magic Leap, Inc. Avatar facial expression representation in multidimensional space
CN109410298B (zh) * 2018-11-02 2023-11-17 北京恒信彩虹科技有限公司 一种虚拟模型的制作方法及表情变化方法
CN111632374B (zh) * 2020-06-01 2023-04-18 网易（杭州）网络有限公司 游戏中虚拟角色的脸部处理方法、装置及可读存储介质
CN113870401B (zh) * 2021-12-06 2022-02-25 腾讯科技（深圳）有限公司 表情生成方法、装置、设备、介质和计算机程序产品

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103854306A (zh) * 2012-12-07 2014-06-11 山东财经大学 一种高真实感的动态表情建模方法
CN108257162A (zh) * 2016-12-29 2018-07-06 北京三星通信技术研究有限公司 合成脸部表情图像的方法和装置
CN109087380A (zh) * 2018-08-02 2018-12-25 咪咕文化科技有限公司 一种漫画动图生成方法、装置及存储介质
CN109147024A (zh) * 2018-08-16 2019-01-04 Oppo广东移动通信有限公司 基于三维模型的表情更换方法和装置
CN112766027A (zh) * 2019-11-05 2021-05-07 广州虎牙科技有限公司 图像处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2023103600A1 (zh) 2023-06-15
US20230316623A1 (en) 2023-10-05
CN113870401A (zh) 2021-12-31

Similar Documents

Publication Publication Date Title
CN113870401B (zh) 表情生成方法、装置、设备、介质和计算机程序产品
US11238644B2 (en) Image processing method and apparatus, storage medium, and computer device
CN109325437B (zh) 图像处理方法、装置和系统
CN111626218B (zh) 基于人工智能的图像生成方法、装置、设备及存储介质
CN110998659B (zh) 图像处理系统、图像处理方法、及程序
Huang et al. A coarse-to-fine algorithm for matching and registration in 3D cross-source point clouds
Wu et al. Deep portrait image completion and extrapolation
CN111354079A (zh) 三维人脸重建网络训练及虚拟人脸形象生成方法和装置
CN111328396A (zh) 用于图像中的对象的姿态估计和模型检索
CN111652974B (zh) 三维人脸模型的构建方法、装置、设备及存储介质
CN110852942B (zh) 一种模型训练的方法、媒体信息合成的方法及装置
CN109035415B (zh) 虚拟模型的处理方法、装置、设备和计算机可读存储介质
US20220319231A1 (en) Facial synthesis for head turns in augmented reality content
US11875600B2 (en) Facial synthesis in augmented reality content for online communities
CN113705297A (zh) 检测模型的训练方法、装置、计算机设备和存储介质
CN111815768B (zh) 三维人脸重建方法和装置
CN117372604B (zh) 一种3d人脸模型生成方法、装置、设备及可读存储介质
CN109166172B (zh) 服装模型的构建方法、装置、服务器和存储介质
CN116524088B (zh) 珠宝虚拟试戴方法、装置、计算机设备和存储介质
CN113763440A (zh) 一种图像处理方法、装置、设备及存储介质
CN115953330B (zh) 虚拟场景图像的纹理优化方法、装置、设备和存储介质
CN110827303B (zh) 一种虚拟场景的图像编辑方法及装置
US20230079478A1 (en) Face mesh deformation with detailed wrinkles
CN115601512B (zh) 交互式三维重建方法、装置、计算机设备及存储介质
Kalampokas et al. Performance benchmark of deep learning human pose estimation for UAVs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant