CN111383308A - 生成动画表情的方法和电子设备 - Google Patents

生成动画表情的方法和电子设备 Download PDF

Info

Publication number
CN111383308A
CN111383308A CN201811636045.2A CN201811636045A CN111383308A CN 111383308 A CN111383308 A CN 111383308A CN 201811636045 A CN201811636045 A CN 201811636045A CN 111383308 A CN111383308 A CN 111383308A
Authority
CN
China
Prior art keywords
expression
expression base
grid
target
dimensional grid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811636045.2A
Other languages
English (en)
Other versions
CN111383308B (zh
Inventor
魏源
白蔚
吴日辉
张举勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Huawei Technologies Co Ltd
Original Assignee
University of Science and Technology of China USTC
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC, Huawei Technologies Co Ltd filed Critical University of Science and Technology of China USTC
Priority to CN201811636045.2A priority Critical patent/CN111383308B/zh
Priority to CN202310706083.5A priority patent/CN116843804A/zh
Priority to PCT/CN2019/113041 priority patent/WO2020134436A1/zh
Publication of CN111383308A publication Critical patent/CN111383308A/zh
Priority to US17/360,866 priority patent/US11410369B2/en
Application granted granted Critical
Publication of CN111383308B publication Critical patent/CN111383308B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提供了生成动画表情的方法和电子设备。该生成动画表情的方法包括：获取初始三维网格，该初始三维网格中的顶点用于表示人脸的表情特征；对初始三维网格进行变换，得到目标三维网格，该目标三维网格与基础表情基的拓扑结构相同；根据基础表情基确定与人脸匹配的个性化表情基；根据目标三维网格和个性化表情基，确定个性化表情基系数，其中，该个性化表情基系数与个性化表情基的叠加用于表示人脸的表情特征；根据个性化表情基系数生成动画表情。本申请能够生成显示效果更好的动画表情。

Description

生成动画表情的方法和电子设备
技术领域
本申请涉及图像处理技术领域，并且更具体地，涉及一种生成动画表情的方法和电子设备。
背景技术
电子设备在生成动画表情时一般是先通过摄像头拍摄人脸视频，并提取面部稠密(或者稀疏)特征点的运动信息，然后再将提取的面部稠密(或者稀疏)特征点的运动信息迁移到虚拟人物(或拟人动物)面部，从而得到动画表情。
传统方案生成动画表情的具体过程可以如下所示：首先，提取表示人脸表情的特征点或者点云(包含人脸特征的一系列的点)；其次，根据提取到的特征点或者点云将预先存储的多种不同身份特征的表情基组合成与人脸的身份特征相匹配的个性化表情基，最后根据个性化表情基生成动画表情。
但是由于特征点或者点云不能很好的反映人脸的表情特征，因此，传统方案根据点云或者特征点生成的动画表情的显示效果不太理想。
发明内容
本申请提供一种生成动画表情的方法和电子设备，能够增强动画表情的表示效果。
第一方面，提供了一种生成动画表情的方法，该方法包括：获取初始三维网格；对初始三维网格进行变换，得到目标三维网格；根据基础表情基确定与人脸匹配的个性化表情基；根据目标三维网格和个性化表情基，确定个性化表情基系数，其中，个性化表情基系数与个性化表情基的叠加用于表示人脸的表情特征；根据个性化表情基系数生成动画表情。
其中，上述初始三维网格中的顶点用于表示人脸的表情特征。上述目标三维网格的拓扑结构与基础表情基的拓扑结构相同。
通过对初始三维网格进行变换，能够得到与基础表情基的拓扑结构相同的目标三维网络，实现了拓扑结构的统一，便于后续根据目标三维网格最终得到动画表情。
另外，上述与人脸匹配的个性化表情基可以是包含人脸的身份特征的表情基，上述个性化表情基的拓扑结构与基础表情基的拓扑结构相同。
上述个性化表情基可以包含多种表情对应的表情基，例如，上述个性化表情基可以包含人脸常见的一些表情(例如，常见的47种表情)的表情基。
上述动画表情具体可以是一段动画视频对应的一段连续的动画表情，也可以是一帧视频图像对应的静止的动画表情。
例如，当上述初始三维网格包含一帧图像对应的人脸表情时，那么最终生成的动画表情就是一帧图像对应的动画表情。
可选地，上述根据个性化表情基系数生成动画表情，包括：根据个性化表情基系数和拟人角色表情基生成动画表情。
上述根据个性化表情基系数和拟人角色表情基生成动画表情，可以是指将个性化表情基系数迁移到拟人角色表情基中，以生成动画表情。
上述拟人角色表情基可以是虚拟人物表情基，也可以是拟人动物表情基。
本申请中，由于三维网格包含的顶点信息更加丰富，使得三维网格能够更好地反映人脸的表情特征，另外，通过对三维网格进行变换，能够使得变换后的三维网格与基础表情基的拓扑结构保持一致，从而使得最终根据变换后的三维网格能够生成与人脸的表情特征更加接近的动画表情。
具体地，由于生成的动画表情反映的表情特征与人脸表情的表情特征更加接近，能够使得动画表情更加逼真，可以提高动画表情的显示效果。
结合第一方面，在第一方面的某些实现方式中，上述个性化表情基包含多种表情基，该多种表情基分别对应不同的表情，根据目标三维网格和个性化表情基，确定个性化表情基系数，包括：根据多种表情基中的参考顶点的坐标的线性组合与目标三维网格中的顶点的坐标的差，确定个性化表情基系数。
其中，上述多种表情基中的每种表情基的参考顶点是每种表情基中与目标三维网格中的顶点处于相对应位置的点。
结合第一方面，在第一方面的某些实现方式中，根据多种表情基中的参考顶点的坐标的线性组合与目标三维网格中的顶点的坐标的差，确定个性化表情基系数，包括：确定多个第一差值；根据多个第一差值分别与相应权重值的乘积的和确定个性化表情基系数。
其中，上述多个第一差值为目标三维网格中的多个顶点的坐标分别与多种表情基中的相应参考顶点的线性组合的差值。
可选地，根据多个第一差值分别与相应权重值的乘积的和确定个性化表情基系数，包括：在多个第一差值分别与相应权重值的乘积的和取最小值时，将多种表情基中的参考顶点的坐标线性组合时的线性组合系数确定为个性化表情基系数。
本申请中，通过将多个第一差值分别与相应权重值的乘积的和取最小值时对应的线性组合系数确定为个性化表情基系数，能够使得个性化表情基系数尽可能真实的反映人脸的表情特征，便于后续生成与人脸的表情特征更加接近的动画表情。
结合第一方面，在第一方面的某些实现方式中，多个第一差值分别对应多个不同的权重值。
可选地，上述多个第一差值分别对应目标三维网格中的多个顶点，其中，位于目标三维网格中的第一预设区域内的顶点对应的第一差值的权重值大于或者等于第一预设权重值，位于目标三维网格中的第一预设区域之外的顶点对应的第一差值的权重小于第一预设权重值。
上述预第一设区域可以是目标网格中的重点区域，该第一预设区域可以是人脸的一些重要器官所在的区域。例如，上述第一预设区域可以是人眼所在的区域，或者，上述第一预设区域可以是嘴巴所在的区域，或者，上述第一预设区域可以是人眼和嘴巴所在的区域。
上述第一预设区域可以根据仿真或者模拟结果来确定，或者，上述第一预设区域也可以根据经验来直接确定。
本申请中，多个第一差值对应不同的权重值，能够在计算个性化表情基系数时充分考虑到各个顶点对应的第一差值的重要程度，便于更准确的求解出个性化表情基系数。
结合第一方面，在第一方面的某些实现方式中，个性化表情基包含多种表情基，多种表情基分别对应不同的表情，上述根据目标三维网格和个性化表情基，确定个性化表情基系数，包括：确定目标三维网格的顶点距离；确定多种表情基中的每种表情基对应的参考距离，得到多个参考距离；根据多个参考距离的线性组合与顶点距离的差，确定个性化表情基系数。
其中，上述顶点距离为目标三维网格中的两个顶点之间的距离
另外，上述每种表情基对应的参考距离为每种表情基中的两个参考顶点之间的距离，该两个参考顶点是每种表情基中分别与目标三维网格中的两个顶点处于相对应位置的点
结合第一方面，在第一方面的某些实现方式中，上述根据多个参考距离的线性组合与顶点距离的差，确定个性化表情基系数，包括：确定多个第二差值；根据多个第二差值分别与相应权重值的乘积的和确定个性化表情基系数。
其中，上述多个第二差值为目标三维网格中的多个顶点距离分别与多种表情基中对应的参考距离的线性组合的差值。
可选地，根据多个第二差值分别与相应权重值的乘积的和确定个性化表情基系数，包括：在多个第二差值分别与相应权重值的乘积的和取最小值时，将多个参考距离线性组合时的线性组合系数确定为个性化表情基系数。
本申请中，通过将多个第二差值分别与相应权重值的乘积的和取最小值时对应的线性组合系数确定为个性化表情基系数，能够使得个性化表情基系数尽可能真实的反映人脸的表情特征，便于后续生成与人脸的表情特征更加接近的动画表情。
可选地，在本申请中，可以根据单独根据第一差值或者第二差值来求解个性化表情基系数，也可以综合第一差值和第二差值来共同求解个性化表情基系数。
结合第一方面，在第一方面的某些实现方式中，多个第二差值分别对应多个不同的权重值。
可选地，上述多个第二差值分别对应目标三维网格中的多个顶点距离，其中，位于目标三维网格中的第二预设区域内的顶点之间的顶点距离对应的第二差值的权重值大于或者等于第二预设权重值，位于目标三维网格中的第二预设区域之外的顶点之间的顶点距离对应的第二差值的权重小于第二预设权重值。
上述第二预设区域可以是目标网格中的重点区域，该第二预设区域可以是人脸的一些重要器官所在的区域。例如，上述第二预设区域可以是人眼所在的区域，此时，上眼皮与下眼皮对应的顶点之间的顶点距离所对应的第二差值的权重值可以大于第二预设权重值。再如，上述第二预设区域可以是嘴巴所在的区域，此时，上嘴唇和下嘴唇对应的顶点之间的顶点距离对应的第二差值的权重值可以大于第二预设权重值。
上述第二预设区域可以根据实际仿真或者模拟结果来确定，或者，上述第二预设区域也可以根据经验来确定。
本申请中，多个第二差值对应不同的权重值，能够在计算个性化表情基系数时充分考虑到不同的顶点距离的对应的第二差值的重要程度，便于更准确的求解出个性化表情基系数。
结合第一方面，在第一方面的某些实现方式中，对初始三维网格进行变换，得到目标三维网格，包括：确定拓扑参照网格；对拓扑参照网格进行刚性(rigid)变形，得到刚性变形后的拓扑参照网格；对刚性变形后的拓扑参照网格和初始三维网格进行贴合处理，直到刚性变形后的拓扑参照网格与初始三维网格的贴合程度满足预设贴合程度；将刚性变形后的拓扑参照网格中的顶点的坐标替换为初始三维网格中与刚性变形后的网格中的顶点相匹配的顶点的坐标，得到目标三维网格。
其中，上述拓扑参照网格的拓扑结构与基础表情基的拓扑结构相同，该拓扑参照网格可以用于对初始三维网格进行变换；上述刚性变形后的拓扑参照网格的大小与初始三维网格的大小相同；上述过程最终得到的目标三维网格具有拓扑参照网格的拓扑结构和初始三维网格的外形。
可选地，对拓扑参照网格进行刚性变形，包括：对拓扑参照网格进行旋转、平移或者缩放。
上述刚性变形后的拓扑参照网格除了大小与初始三维网格的大小相同之外，刚性变形后的拓扑参照网格的朝向还可以与初始三维网格的朝向相同。
另外，刚性变形后的拓扑参照网格与初始三维网格的贴合程度满足预设贴合程度，可以是指初始三维网格中的顶点与刚性变形后的拓扑参照网格中相对应的参考顶点之间的距离小于某个预设距离。
结合第一方面，在第一方面的某些实现方式中，对刚性变形后的拓扑参照网格和初始三维网格进行贴合处理，直到刚性变形后的拓扑参照网格与初始三维网格的贴合程度满足预设贴合程度，包括：重复执行步骤A和步骤B，直到非刚性(non-rigid)变形后的拓扑参照网格与初始三维网格的贴合程度满足预设贴合程度；
其中，步骤A和步骤B分别为：
步骤A：根据径向基函数RBF对刚性变形后的拓扑参照网格进行非刚性变形，得到非刚性变化后的拓扑参照网格；
步骤B：将非刚性变形后的拓扑参照网格与初始三维网格贴合。
应理解，非刚性变形可以是指不能采用单一的旋转、平移或者缩放对网格整体统一进行变形，而是通过对网格内部的不同区域分别采用旋转、平移或者缩放等方式进行变形(网格中的不同区域的变形方式不同)，在非刚性变形过程中，网格内部的不同区域也可能会发生相对运动。
本申请中，通过对上述步骤A和步骤B的迭代，能够使得非刚性变形后的拓扑参照网格与所述初始三维网格的贴合程度满足贴合要求，使得贴合之后得到的目标三维网格既具有拓扑参照网格的拓扑结构又具有初始三维网格的外形，便于后续生成与人脸的表情特征更加接近的动画表情。
可选地，上述基础表情基由多组不同身份特征的表情基构成，上述根据基础表情基确定与人脸匹配的个性化表情基，包括：根据多组不同身份特征的表情基确定个性化表情基。
在上述基础表情基中，每种身份特征对应一组表情基，每组表情基中包含多个表情的表情基。
可选地，根据多组不同身份特征的表情基确定个性化表情基，包括：根据人脸的身份特征信息，对多组不同身份特征的表情基进行叠加，以得到个性化表情基。
本申请中，当基础表情基是由多组不同身份特征的表情基构成时，根据该多组表情基能够更准确地推导出个性化表情基。
可选地，上述基础表情基为平均表情基，上述根据基础表情基确定与人脸匹配的个性化表情基，包括：根据平均表情基确定个性化表情基。
其中，上述平均表情基可以是通过对多组不同身份特征的表情基进行处理得到的，该平均表情基能够反映一种平均身份特征。
可选地，根据平均表情基确定个性化表情基，包括：根据人脸的身份特征信息，对平均表情基进行变换，以得到个性化表情基。
本申请中，当基础表情基为平均表情基时，能够减少存储基础表情基时的存储开销，节省存储资源。
第二方面，提供了一种生成动画表情的方法，该方法包括：获取初始三维网格序列；对初始三维网格序列进行变换，得到目标三维网格序列；根据基础表情基确定与人脸匹配的个性化表情基；根据目标三维网格序列和个性化表情基，生成个性化表情基系数序列；根据个性化表情基系数序列生成动画表情。
其中，初始三维网格序列包括多个初始三维网格，该多个初始三维网格分别用于表示人脸在多个不同时刻的表情特征；目标三维网格序列包括多个目标三维网格，该多个目标三维网格与基础表情基的拓扑结构相同；上述与人脸匹配的个性化表情基可以是包含人脸的身份特征的表情基；个性化表情基序列包括多组个性化表情基系数，个性化表情基系数序列中的个性化表情基系数与个性化表情基的叠加用于表示人脸的表情特征。
应理解，上述第二方面中的初始三维网格序列可以由上述第一方面中的多个初始三维网格组成；上述第二方面中的目标三维网格序列也可以由上述第一方面中的多个目标三维网格组成；上述第二方面中的个性化表情基序列可以由上述第一方面中的多组个性化表情基序列组成。上述第一方面中对初始三维网格，目标三维网格以及个性化表情基系数的限定和解释同样适用于第二方面中的初始三维网格序列中的初始三维网格序列，目标三维网格序列中的目标三维网格以及个性化表情基序列中的个性化表情基系数。
本申请中，由于三维网格包含的顶点信息更加丰富，使得三维网格能够更好地反映人脸的表情特征，另外，通过对三维网格进行变换，能够使得变换后的三维网格与基础表情基的拓扑结构保持一致，从而使得最终根据变换后的三维网格能够生成与人脸的表情特征更加接近的动画表情。
具体地，由于生成的动画表情反映的表情特征与人脸表情的表情特征更加接近，能够使得动画表情更加逼真，可以提高动画表情的显示效果。
第三方面，提供了一种电子设备，所述电子设备包括用于执行上述第一方面及第一方面中的任意一种实现方式中的方法的模块。
第四方面，提供了一种电子设备，所述电子设备包括用于执行上述第二方面及第二方面中的任意一种实现方式中的方法的模块。
第五方面，提供了一种电子设备，包括存储器和处理器，所述存储器用于存储程序，所述处理器用于执行所述存储器存储的程序，当所述存储器存储的程序被处理器执行时，所述处理器用于执行上述第一方面及第一方面中的任意一种实现方式中的方法。
第六方面，提供了一种电子设备，包括存储器和处理器，所述存储器用于存储程序，所述处理器用于执行所述存储器存储的程序，当所述存储器存储的程序被处理器执行时，所述处理器用于执行上述第二方面及第二方面中的任意一种实现方式中的方法。
可选地，上述存储器为非易失性存储器。
可选地，上述存储器与处理器互相耦合在一起。
第七方面，提供了一种计算机可读存储介质，所述计算机可读介质存储介质用于存储程序代码，当所述程序代码被计算机执行时，所述计算机用于执行上述第一方面及第一方面中的任意一种实现方式中的方法。
第八方面，提供了一种计算机可读存储介质，所述计算机可读介质存储介质用于存储程序代码，当所述程序代码被计算机执行时，所述计算机用于执行上述第二方面及第二方面中的任意一种实现方式中的方法。
可选地，上述计算机可读存储介质可以位于电子设备内部，该计算机可读存储介质存储的程序代码可以被电子设备执行。
当该计算机可读存储介质存储的程序代码被电子设备执行时，该电子设备能够执行上述第一方面或者第二方面中任意一种方面的实现方式中的方法。
第九方面，提供了一种芯片，所述芯片包括处理器，所述处理器用于执行上述第一方面及第一方面中的任意一种实现方式中的方法。
第十方面，提供了一种芯片，所述芯片包括处理器，所述处理器用于执行上述第二方面及第二方面中的任意一种实现方式中的方法。
可选地，上述芯片安装在电子设备内部。
第十一方面，提供了一种用于使得计算机或者电子设备执行上述第一方面及第一方面中的任意一种实现方式中的方法的计算机程序(或称计算机程序产品)。
第十二方面，提供了一种用于使得计算机或者电子设备执行上述第二方面及第二方面中的任意一种实现方式中的方法的计算机程序(或称计算机程序产品)。
可选地，上述计算机程序可以存储在电子设备内，该计算机程序可以被电子设备执行。
当电子设备执行上述计算机程序时，该电子设备能够执行上述第一方面或者第二方面中任意一种方面的实现方式中的方法。
可选地，上述电子设备可以是移动终端(例如，智能手机)，电脑，个人数字助理，可穿戴设备，车载设备，物联网设备，增强现实(augmented reality，AR)设备和虚拟现实(virtual reality，VR)设备等等。
另外，上述电子设备还可以是其它能够显示视频画面或者显示图片的设备。
附图说明
图1是本申请实施例的生成动画表情的方法的示意性流程图；
图2是初始三维网格和刚性变形后的三维网格的示意图；
图3初始三维网格和刚性变形后的三维网格中标注的匹配点的示意图；
图4是基础表情基的示意图；
图5是本申请实施例的生成动画表情的方法的示意图；
图6是目标三维网格中的顶点以及多个表情基中相对应的参考顶点的示意图；
图7是目标三维网格中的顶点之间的顶点距离以及多个表情基中相对应的参考顶点之间的参考距离的示意图；
图8是本申请实施例的生成动画表情的方法的示意性流程图；
图9是本申请实施例的电子设备的示意性框图；
图10是本申请实施例的电子设备的示意性框图；
图11是本申请实施例的电子设备的示意性框图；
图12是本申请实施例的电子设备的示意性框图。
具体实施方式
下面将结合附图，对本申请中的技术方案进行描述。
本申请实施例中的生成动画表情的方法可以由电子设备执行。
上述电子设备可以是移动终端(例如，智能手机)，电脑，个人数字助理，可穿戴设备，车载设备，物联网设备，AR设备和VR设备等等。
另外，上述电子设备还可以是其它能够显示视频画面或者显示图片的设备。
上述电子设备可以是运行各种操作系统的设备。例如，上述电子设备可以是运行安卓系统的设备，也可以是运行IOS系统的设备，也可以是运行windows系统的设备。
图1是本申请实施例的生成动画表情的方法的示意性流程图。图1所示的方法可以由电子设备来执行，图1所示的方法包括步骤101至105，下面对这些步骤进行详细的介绍。
101、获取初始三维网格。
在上述步骤101之前，可以通过神经网络从输入视频或图像中提取初始三维网格，该初始三维网格用于表示人脸的表情特征。
上述初始三维网格中可以包含大量的顶点(vertex)，这些顶点与人脸的各个位置是相对应的，这些顶点所处的位置以及相互之间的位置关系可以用于表示人脸的特征表情。
102、对初始三维网格进行变换，得到目标三维网格。
上述目标三维网格的拓扑结构与基础表情基的拓扑结构相同。
在步骤102中，通过对初始三维网格进行变换，能够得到与基础表情基的拓扑结构相同的目标三维网络，实现了拓扑结构的统一，便于后续根据目标三维网格最终得到动画表情。
上述步骤102中对初始三维网格进行变换，得到目标三维网格具体可以包括以下步骤：
201、确定拓扑参照网格；
202、对拓扑参照网格进行刚性变形，得到刚性变形后的拓扑参照网格，该刚性变形后的拓扑参照网格的大小与初始三维网格的大小相同；
203、对刚性变形后的拓扑参照网格和初始三维网格进行贴合处理，直到刚性变形后的拓扑参照网格与初始三维网格的贴合程度满足预设贴合程度；
204、将刚性变形后的拓扑参照网格中的顶点的坐标替换为初始三维网格中与刚性变形后的网格中的顶点相匹配的顶点的坐标，得到目标三维网格，其中，该目标三维网格具有拓扑参照网格的拓扑结构和初始三维网格的外形。
上述拓扑参照网格可以是与基础表情基或者个性化表基的拓扑结构相同的参照网格，该拓扑参照网格用于对初始三维网格进行变换。
上述步骤202中对拓扑参照网格进行刚性变形，可以是指对拓扑参照网格进行旋转、平移、缩放等操作，使得拓扑参照网格的大小以及朝向与初始三维网格相同。
例如，如图2所示，通过对拓扑参照网格进行刚性变形后得到的刚性变形后的拓扑参照网格的大小和朝向与初始三维网格相同。
在上述步骤203中，可以通过人工的方式来选取刚性变形后的拓扑参照网格与初始三维网格的匹配点，然后根据这些匹配点对刚性变形后的拓扑参照网格和初始三维网格进行贴合处理，使得刚性变形后的拓扑参照网格与初始三维网格的相应的匹配点重合，实现初步贴合，接下来，还可以对刚性变形后的拓扑参照网格与初始三维网格继续贴合，以使得刚性变形后的拓扑参照网格与初始三维网格中的点尽可能多的重合。
例如，如图3所示，可以通过人工的方式选择初始三维网格中的4个顶点(V1,V2,V3,V4)，以及刚性变形后的拓扑参照网格中与该4个顶点相匹配的4个参照顶点(U1,U2,U3,U4)。其中，V1、V2、V3和V4分别是位于初始三维网格中左眼、右眼、上嘴唇和右耳朵的位置的顶点，而U1、U2、U3和U4也分别是刚性变形后的拓扑参照网格中左眼、右眼、上嘴唇和右耳朵的位置的顶点。在人工标注出图3所示的匹配点之后，可以对初始三维网格和刚性变形后的拓扑参照网格进行初次匹配，使得初始三维网格中的4个顶点(V1,V2,V3,V4)分别与刚性变形后的拓扑参照网格中的4个参照顶点(U1,U2,U3,U4)重合。
在上述步骤203中，刚性变形后的拓扑参照网格与初始三维网格的贴合程度满足预设贴合程度，可以是指初始三维网格中的顶点与刚性变形后的拓扑参照网格中相对应的参考顶点之间的距离小于某个预设距离。
在上述步骤204中，进行坐标替换相当于是对刚性变形后的拓扑参照网格进行拉伸，使得刚性变形后的拓扑参照网格中的参照顶点与初始三维网格中相应的顶点完全贴合，拉伸后的网格就是目标三维网格。
另外，在上述步骤203中对刚性变形后的拓扑参照网格和初始三维网格进行贴合处理时，可以是一边对刚性变形后的拓扑参照网格进行变形，一边将刚性变形后的拓扑参照网格与初始三维网格进行贴合，以使得贴合程度满足预设贴合程度。
具体地，上述步骤203中的贴合过程具体包括步骤：
步骤A：根据径向基函数(radial basis function，RBF)对所述刚性变形后的拓扑参照网格进行非刚性变形，得到非刚性变化后的拓扑参照网格；
步骤B：将非刚性变形后的拓扑参照网格与所述初始三维网格贴合；
重复上述步骤A和步骤B，直到非刚性变形后的拓扑参照网格与所述初始三维网格的贴合程度满足预设贴合程度。
本申请中，通过对上述步骤A和步骤B的迭代，能够使得非刚性变形后的拓扑参照网格与所述初始三维网格的贴合程度满足贴合要求，使得贴合之后得到的目标三维网格既具有拓扑参照网格的拓扑结构又具有初始三维网格的外形，便于后续生成与人脸的表情特征更加接近的动画表情。
在上述步骤A中对刚性变形后的拓扑参照网格进行非刚性变形时，可以先人工选择刚性变形后的拓扑参照网格与初始三维网格中的几个匹配点，接下来，可以以这几个匹配点为基础继续确定刚性变形后的拓扑参照网格与初始三维网格中的顶点相匹配的顶点。
具体地，可以根据公式(1)确定刚性变形后的拓扑参照网格中与初始三维网格的顶点相匹配的顶点。
ui+Sf(ui)＝vi (1)
其中，ui为刚性变形后的拓扑参照网格中的顶点，vi为初始三维网格中与ui相匹配的顶点，Sf(ui)为径向基函数。
Sf(ui)中的系数可以通过已有的匹配点(例如，初始三维网格中的顶点V1,V2和V3以及刚性变形后的拓扑参照网格中相匹配的顶点U1,U2和U3)构建的线性方程来获取。
103、根据基础表情基确定与人脸匹配的个性化表情基。
其中，上述与人脸匹配的个性化表情基可以是包含人脸的身份特征的表情基。另外，上述个性化表情基的拓扑结构与基础表情基的拓扑结构相同，上述基础表情基可以是根据应用场景预先设置好的表情基。
上述人脸的身份特征可以是指人脸器官的形状或者特点，例如，人脸的身份特征可以是大眼睛、小眼睛、大嘴巴以及高鼻梁等等。
而人脸的表情特征是指人脸的某些器官的动作情况，例如，人脸的表情特征可以包括眨眼睛，咧嘴，皱眉以及鼓腮等等。
在某些情况下，只看人脸的外形可能无法区分人脸的表情特征和人脸的身份特征，例如，对于大嘴来说，可能无法区分是本身嘴巴比较大还是由于咧嘴表情产生的。因此，在生成人脸对应的动画表情的过程中，一般需要区分开人脸的身份特征和表情特征，
应理解，上述个性化表情基可以包含多种表情基，每种表情基对应一种局部表情。例如，上述个性化表情基可以包含常见的47种局部表情(该47种表情能够覆盖人脸的眉毛、眼睛、鼻子、嘴、下巴以及面颊等部位的表情)对应的47种表情基。
上述47种局部表情可以包含人脸常见的一些表情，例如，眨眼，张嘴巴，皱眉，抬眉等等。另外，上述表情还可以包括对人脸常见的一些表情进行细分之后得到的表情，例如，上述47种局部表情可以包括左眉内侧上移，右眼下眼睑提升以及上嘴唇外翻等表情。
由于个性化表情基是根据基础表情基生成的，因此，个性化表情基的拓扑结构也与基础表情基的拓扑结构相同。因此，本申请中，通过对初始三维网格进行变换，能够得到与基础表情基拓扑结构相同的目标三维网格，便于后续根据具有相同拓扑结构的目标三维网格和个性化表情基生成更准确的个性化表情基系数，能够提高最终生成的动画表情的显示效果。
在步骤103中根据基础表情基确定与人脸匹配的个性化表情基时，根据基础表情基的构成情况不同，可以采用不同的表情基来推导得到个性化表情基。
第一种情况：基础表情基由多组不同身份特征的表情基构成。
在第一种情况下，每种身份特征对应一组表情基，每组表情基中包含多个表情的表情基。
例如，如图4所示，基础表情基由多组不同身份特征的表情基组成，其中，每组身份的表情基包含多个表情基，该多个表情基对应不同的局部表情。
再如，基础表情基可以由常见的50种身份特征的表情基构成，其中，每种身份特征对应一组表情基，每种身份特征对应的一组表情基可以包含常见的47种表情的表情基。
假设基础表情基由常见的50种身份特征的表情基构成，每种身份特征对应的一组表情基包含47种表情的表情基，那么，基础表情基一共由47*50＝2350个表情基构成。
在第一种情况下，根据基础表情基确定与人脸匹配的个性化表情基，包括：根据多组不同身份特征的表情基确定个性化表情基。
在根据多组不同身份特征的表情基确定个性化表情基还需要用到人脸的身份特征信息，以使得生成的个性化表情基是包含人脸身份特征的表情基。
具体地，根据多组不同身份特征的表情基确定个性化表情基，包括：根据人脸的身份特征信息，对多组不同身份特征的表情基进行叠加，以得到个性化表情基。
在第一种情况下，当基础表情基是由多组不同身份特征的表情基构成时，根据该多组表情基能够更准确地推导出个性化表情基。
第二种情况：基础表情基为平均表情基。
在第二种情况下，根据基础表情基确定与人脸匹配的个性化表情基，包括：根据平均身份特征的表情基确定个性化表情基。
其中，上述平均表情基可以是通过对多组不同身份特征的表情基进行处理得到的，该平均表情基能够反映一种平均身份特征。例如，上述平均表情基可以对上述第一种情况中的50种身份特征对应的50组表情基进行叠加得到的。
在根据平均表情基确定个性化表情基还需要用到人脸的身份特征信息，以使得生成的个性化表情基是包含人脸身份特征的表情基。
具体地，根据平均表情基确定个性化表情基，包括：根据人脸的身份特征信息，对平均表情基进行变换，以得到个性化表情基。
在第二种情况下，当基础表情基为平均表情基时，能够减少存储基础表情基时的存储开销，节省存储资源。
另外，上述基础表情基还可以由任意一种身份特征对应的一组表情基构成。例如，可以选择第一种情况中50种身份特征中的任意一种身份特征对应的一组表情基作为基础表情基，或者，也可以选择图4中的任意一列表情基(图4中的每一列表情基对应一种身份特征)作为基础表情基。在这种情况下，也能够减少存储基础表情基时的存储开销，节省存储资源。
104、根据目标三维网格和个性化表情基，确定个性化表情基系数。
其中，个性化表情基系数与个性化表情基的叠加用于表示人脸的表情特征。在这里，个性化表情基系数与个性化表情基的叠加可以是个性化表情基系数与个性化表情基的线性组合或者非线性组合。
在步骤104中，目标三维网格是初始三维网格变换得到的，该目标三维网格能够表示人脸的表情特征，而个性化表情基与个性化表情基系数的叠加也能够表示人脸的表情特征，因此，在步骤104中，可以根据目标三维网格和个性化表情基参数来反推个性化表情基系数。
105、根据个性化表情基系数生成动画表情。
本申请中，由于三维网格包含的顶点信息更加丰富，使得三维网格能够更好地反映人脸的表情特征，另外，通过对三维网格进行变换，能够使得变换后的三维网格与基础表情基的拓扑结构保持一致，从而使得最终根据变换后的三维网格能够生成与人脸的表情特征更加接近的动画表情。
具体地，由于生成的动画表情反映的表情特征与人脸表情的表情特征更加接近，能够使得动画表情更加逼真，可以提高动画表情的显示效果。
具体地，在步骤105中，可以根据个性化表情基系数和拟人角色表情基来生成动画表情。这里的拟人角色表情基具体可以是虚拟人物表情基或者拟人动物表情基。
上述拟人角色表情基包含的局部表情的种类与个性化表情基包含的表情的种类相同，并且，拟人角色表情基中的各个表情的表情语义分别与个性化表情基中包含的各个表情的语义相同。
例如，个性化表情基对应的局部表情如表1的第一列所示，拟人角色表情基对应的局部表情如表1的第二列所示。如表1所示，个性化表情基对应的局部表情中包含眨眼、张嘴巴、抬眉、左眉内侧上移和右眼下眼睑提升等表情时，拟人角色表情基也对应相同的局部表情。
表1
个性化表情基对应的局部表情 拟人角色表情基对应的局部表情
眨眼 眨眼
张嘴巴 张嘴巴
抬眉 抬眉
左眉内侧上移 左眉内侧上移
右眼下眼睑提升 右眼下眼睑提升
… …
在根据个性化表情基系数和拟人角色表情基来生成动画表情时，相当于是采用一系列的系数对拟人角色表情基对应的多种局部表情进行叠加，最终得到与人脸的表情特征更加接近的动画表情。
为了更形象的理解本申请实施例的生成动画表情的方法的整个过程，下面结合图5对本申请实施例的生成动画表情的方法的流程进行介绍。
图5是本申请实施例的生成动画表情的方法的示意图。
如图5所示，可以通过对初始三维网格进行变形得到目标三维网格，通过基础表情基获得个性化表情基，其中，在根据基础表情基确定与人脸匹配的个性化表情基的时候还可以参照初始三维网格或者目标三维网格，以使得个性化表情基包含人脸的身份特征。在获取到目标三维网格和个性化表情基之后，就可以根据目标三维网格和个性化表情基确定个性化表情基系数，进而再集合个性化表情基系数和拟人角色表情基来得到动画表情。
应理解，图5所示的各个过程已在上文图1所示的方法中进行了详细的介绍，为了避免不必要的重复，这里不再详细描述。
可选地，上述步骤104中根据目标三维网格和个性化表情基，确定个性化表情基系数的具体实现方式有多种，下面分别对这些的具体实现方式进行详细的介绍。
第一种方式：根据多种表情基中的参考顶点的坐标与目标三维网格中的顶点的坐标，确定个性化表情基系数。
具体地，根据多种表情基中的参考顶点的坐标的线性组合与目标三维网格中的顶点的坐标的差，确定个性化表情基系数。
具体地，在第一种方式下，个性化表情基包含多种表情基，该多种表情基分别对应不同的表情，该多种表情基中的每种表情基的参考顶点是每种表情基中与所述目标三维网格中的顶点处于相对应位置的点。
例如，如图6所示，目标三维网格中存在顶点A，表情基1、表情基2和表情基3分别包括参考顶点A1、A2和A3，参考顶点A1、A2和A3分别是表情基1、表情基2和表情基3中与目标三维网格中的顶点A处于相对应位置的点。那么，这三种表情基中的参考顶点的坐标的线性组合与目标三维网格中的顶点的坐标的差可以用算式(2)来表示。
P(A)-[x*P(A1)+y*P(A2)+z*P(A3)] (2)
其中，P(A)表示顶点A的坐标值，P(A1)、P(A2)和P(A3)分别表示参考顶点A1、A2和A3的坐标值，(x,y,z)为线性组合系数。
应理解，图6中仅仅是以3个表情基为例进行举例，本申请并不限定表情基的具体数目。
在第一种方式下，根据多种表情基中的参考顶点的坐标的线性组合与目标三维网格中的顶点的坐标的差，确定个性化表情基系数，具体包括：确定多个第一差值；根据多个第一差值分别与相应权重值的乘积的和确定个性化表情基系数。
其中，上述多个第一差值为目标三维网格中的多个顶点的坐标分别与多种表情基中的相应参考顶点的线性组合的差值。
可选地，根据多个第一差值分别与相应权重值的乘积的和确定个性化表情基系数，包括：在多个第一差值分别与相应权重值的乘积的和取最小值时，将多种表情基中的参考顶点的坐标线性组合时的线性组合系数确定为个性化表情基系数。
应理解，可以通过上述算式(2)得到多个第一差值，其中，每个第一差值分别为目标三维网格中的不同顶点的坐标与多种表情基中的相应参考点的线性组合的差值。
例如，如图6所示，目标三维网格中还包括顶点B和顶点C，表情基1中包括参考顶点B1和C1，表情基2中包括参考顶点B2和C2，表情基3中包括参考顶点B3和C3，其中，参考顶点B1、B2和B3分别是表情基1、表情基2和表情基3中与目标三维网格中的顶点B处于相对应位置的点，参考顶点C1、C2和C3分别是表情基1、表情基2和表情基3中与目标三维网格中的顶点C处于相对应位置的点。那么，可以根据图6得到3个第一差值，该三个第一差值分别如算式(2)至算式(4)所示。
P(A)-[x*P(A1)+y*P(A2)+z*P(A3)] (2)
P(B)-[x*P(B1)+y*P(B2)+z*P(B3)] (3)
P(C)-[x*P(C1)+y*P(C2)+z*P(C3)] (4)
在获取到上述算式(2)至算式(4)之后，可以求上述算式(2)、算式(3)和算式(4)的和，将该3个算式的和最小时对应的系数(x,y,z)的取值确定为个性化表情基系数。
本申请中，通过将多个第一差值分别与相应权重值的乘积的和取最小值时对应的线性组合系数确定为个性化表情基系数，能够使得个性化表情基系数尽可能真实的反映人脸的表情特征，便于后续生成与人脸的表情特征更加接近的动画表情。
第二种方式：根据多种表情基中的参考距离的线性组合与目标三维网格中的顶点距离的差，确定个性化表情基系数。
在第二种方式下，个性化表情基包含多种表情基，该多种表情基分别对应不同的表情，上述根据目标三维网格和个性化表情基，确定个性化表情基系数，具体包括：
确定目标三维网格的顶点距离；确定多种表情基中的每种表情基对应的参考距离，得到多个参考距离；
根据多个参考距离的线性组合与顶点距离的差，确定个性化表情基系数。
其中，上述顶点距离为目标三维网格中的两个顶点之间的距离，上述每种表情基对应的参考距离为每种表情基中的两个参考顶点之间的距离，该两个参考顶点是每种表情基中分别与目标三维网格中的两个顶点处于相对应位置的点。
例如，如图7所示，目标三维网格中包括顶点M和顶点N，顶点M和顶点N之间的距离为D，表情基1中包括顶点M1和N1，M1和N1分别是表情基1中与顶点M和顶点N处于相对应位置的点，顶点M1和顶点N1之间的距离为D1；表情基2中包括顶点M2和N2，M2和N2分别是表情基2中与顶点M和顶点N处于相对应位置的点，顶点M2和顶点N2之间的距离为D2；表情基3中包括顶点M3和N3，M3和N3分别是表情基3中与顶点M和顶点N处于相对应位置的点，顶点M3和顶点N3之间的距离为D3。其中，D为目标三维网格中的顶点距离，D1为表情基1中的参考距离，D2为表情基2中的参考距离，D3为表情基3中的参考距离。
以图7为例，三种表情基的参考距离的线性组合与顶点距离的差可以如算式(5)所示。
d(M,N)-[u*d(M1,N1)+v*d(M2,N2)+w*d(M3,N3)] (5)
应理解，图7中仅仅是以3个表情基为例进行举例，本申请并不限定表情基的具体数目。
在第二种方式下，根据多个参考距离的线性组合与顶点距离的差，确定个性化表情基系数，具体包括：确定多个第二差值；根据多个第二差值分别与相应权重值的乘积的和确定个性化表情基系数。
其中，上述多个第二差值为目标三维网格中的多个顶点距离分别与多种表情基中对应的参考距离的线性组合的差值。
可选地，根据多个第二差值分别与相应权重值的乘积的和确定个性化表情基系数，包括：在多个第二差值分别与相应权重值的乘积的和取最小值时，将多个参考距离线性组合时的线性组合系数确定为个性化表情基系数。
应理解，可以通过上述算式(5)得到多个第二差值，其中，每个第二差值分别为目标三维网格中的不同顶点距离与多种表情基中的相应的参考距离的线性组合的差值。
例如，如图7所示，目标三维网格包含的顶点和顶点之间的顶点距离，以及表情基1、表情基2和表情基3包含的参考顶点以及参考顶点距离如下：
目标三维网格中还包括顶点M、N、R和S，其中，顶点M和N之间的顶点距离为d(M,N)，顶点R和S之间的顶点距离为d(R,S)；
表情基1中包括参考顶点M1、N1、R1和S1，这些参考顶点分别是与顶点M、N、R和S处于相对应位置的点，顶点M1和N1之间的顶点距离为d(M1,N1)，顶点R1和S1之间的顶点距离为d(R1,S1)；
表情基2中包括参考顶点M2、N2、R2和S2，这些参考顶点分别是与顶点M、N、R和S处于相对应位置的点，顶点M2和N2之间的顶点距离为d(M2,N2)，顶点R2和S2之间的顶点距离为d(R2,S2)；
表情基3中包括参考顶点M3、N3、R3和S3，这些参考顶点分别是与顶点M、N、R和S处于相对应位置的点，顶点M3和N3之间的顶点距离为d(M3,N3)，顶点R3和S3之间的顶点距离为d(R3,S3)。
那么，可以根据图7得到3个第二差值，该3个第二差值分别如算式(5)至算式(7)所示。
d(M,N)-[u*d(M1,N1)+v*d(M2,N2)+w*d(M3,N3)] (5)
d(E,F)-[u*d(E1,F1)+v*d(E2,F2)+w*d(E3,F3)] (6)
d(R,S)-[u*d(R1,S1)+v*d(R2,S2)+w*d(R3,S3)] (7)
在获取到上述算式(5)至算式(7)之后，可以求上述算式(5)、算式(6)和算式(7)的和，将该3个算式的和最小时对应的系数(u,v,w)的取值确定为个性化表情基系数。
本申请中，通过将多个第二差值分别与相应权重值的乘积的和取最小值时对应的线性组合系数确定为个性化表情基系数，能够使得个性化表情基系数尽可能真实的反映人脸的表情特征，便于后续生成与人脸的表情特征更加接近的动画表情。
上述第一种方式和第二种方式是分别依据第一差值和第二差值来确定个性化表情基系数。实际上也可以综合第一差值和第二差值来共同确定表情基系数，下面对这种方式(第三种方式)进行详细的介绍。
第三种方式：根据多种表情基中的参考顶点的坐标的线性组合与目标三维网格中的顶点的坐标的差，以及多种表情基中的参考距离的线性组合与目标三维网格中的顶点距离的差综合确定个性化表情基系数。
第三种方式相当于上述第一方式与第二方式的结合，在第三种方式中，根据目标三维网格和个性化表情基，确定个性化表情基系数，包括：
确定多个第一差值；
确定多个第一差值分别与相应权重值的乘积的和，得到第一取值；
确定多个第二差值；
确定多个第二差值分别与相应权重值的乘积的和，得到第二取值；
根据第一取值与第二取值的总和确定个性化表情基系数。
在根据第一取值与第二取值的总和确定个性化表情基系数时，可以将第一取值和第二取值的和最小时对应的线性组合系数确定为个性化表情基系数。
例如，以图6和图7为例，可以得到3个第一差值和3个第二差值，其中，3个第一差值可以用算式(8)至算式(10)来表示，3个第二差值可以用算式(11)至算式(13)来表示。
P(A)-[x*P(A1)+y*P(A2)+z*P(A3)] (8)
P(B)-[x*P(B1)+y*P(B2)+z*P(B3)] (9)
P(C)-[x*P(C1)+y*P(C2)+z*P(C3)] (10)
d(M,N)-[x*d(M1,N1)+y*d(M2,N2)+z*d(M3,N3)] (11)
d(E,F)-[x*d(E1,F1)+y*d(E2,F2)+z*d(E3,F3)] (12)
d(R,S)-[x*d(R1,S1)+y*d(R2,S2)+z*d(R3,S3)] (13)
在求解个性化表情基系数时，可以将算式(8)至算式(13)的和取最小值时对应的系数(x,y,z)的取值确定为个性化表情基系数。
在第三种方式中，通过两种差值来来综合确定个性化表情基参数，能够更准确地确定个性化表情基系数。
可选地，还可以采用第四种方式来确定个性化表情基系数。
第四种方式：根据公式(14)来确定个性化表情基系数。
E＝Epoint+Eedge+Elasso (14)
在上述公式(14)中，Epoint表示多种表情基中的参考顶点的坐标的线性组合与目标三维网格中的顶点的坐标的差的和的平方，Eedge表示多种表情基中的参考距离的线性组合与目标三维网格中的顶点距离的差的和的平方，Elasso是一个约束函数，用于使得最终求得的线性化表情基系数稀疏化(用尽量少的局部表情来表示人脸表情)。Epoint、Eedge和Elasso可以通过公式(15)至(17)获得。
Figure BDA0001930077960000151
Figure BDA0001930077960000152
Figure BDA0001930077960000153
在上述公式(15)中，B表示表情基的数目，b表示第b个表情基，N表示目标三维网格中的顶点的数目(每个表情基中的顶点的数目也是N)，i表示第i个顶点，
Figure BDA0001930077960000154
表示第b个表情基中第i个顶点的三维坐标，xb表示
Figure BDA0001930077960000155
的组合系数，pi表示目标三维网格中的第i个顶点的三维坐标，wi为
Figure BDA0001930077960000156
的权重值；
在上述公式(16)中，B表示表情基的数目，b表示第b个表情基，i和j分别表示第i个顶点和第j个顶点，K表示边的数目，
Figure BDA0001930077960000157
表示第b个表情基中的第i个顶点和第j个顶点之间的距离，eij表示目标三维网格中的第i个顶点和第j个顶点之间的距离，xb表示
Figure BDA0001930077960000158
的组合系数，wij为
Figure BDA0001930077960000159
的权重值；
在上述公式(17)中，xb表示
Figure BDA00019300779600001510
的组合系数，
Figure BDA00019300779600001511
表示所有的表情基系数的绝对值的和。
在根据上述公式(14)确定个性化表情基系数时，可以将E的数值最小时对应的线性组合系数确定为个性化表情基系数。
另外，本申请中，通过采用Elasso对个性化表情基系数进行约束，能够使得最终获取得到的个性化表情基系数比较稀疏(个性化表情基系数中存在较多的0)，使得最终利用较少表情的表情基就能够表达出动画表情。
上文结合图1至图7对本申请实施例的生成动画表情的方法进行了详细介绍。实际上，在图1所示的方法中还可以获取多个初始三维网格，以得到初始三维网格序列，然后再根据该初始三维网格序列最终生成动画表情，下面结合图8对根据初始三维网格序列最终生成动画表情的过程进行介绍。
图8是本申请实施例的生成动画的方法的示意性流程图。图8所示的方法可以由电子设备来执行，图8所示的方法包括步骤301至305，下面对这些步骤进行介绍。
301、获取初始三维网格序列。
上述步骤301中的初始三维网格序列包括多个初始三维网格，该多个初始三维网格分别用于表示人脸在多个不同时刻的表情特征。
上述初始三维网格序列中的初始三维网格与步骤101中获得的初始三维网格相同，上文中对初始三维网格的限定和解释同样适用于步骤301中的初始三维网格序列中的初始三维网格，为避免重复，这里不再详细描述。
302、对初始三维网格序列进行变换，得到目标三维网格序列。
其中，上述目标三维网格序列包括多个目标三维网格，多个目标三维网格与基础表情基的拓扑结构相同。
在步骤302中，可以通过对初始三维网格序列中的每个初始三维网格分别进行变换，以得到多个目标三维网格，进而得到目标三维网格序列，其中，对每个初始三维网格进行变换得到目标三维网格的过程可以参照上文步骤102的相关内容，为避免不必要的重复，这里不再详细描述。
303、根据基础表情基确定与人脸匹配的个性化表情基。
其中，上述与人脸匹配的个性化表情基可以是包含人脸的身份特征的表情基。
在步骤303中，可以参照上文步骤103中的具体实现方式来获取个性化表情基，这里不再详细描述。
304、根据目标三维网格序列和个性化表情基，确定个性化表情基系数序列。
其中，个性化表情基序列包括多组个性化表情基系数，个性化表情基系数序列中的个性化表情基系数与个性化表情基的叠加用于表示人脸的表情特征；
上述步骤304中，可以根据目标三维网格序列中的每个目标三维网格和个性化表情基，生成每个目标三维网格对应的个性化表情基系数，进而得到多个个性化表情基系数组成的个性化表情基系数序列。
其中，在根据每个目标三维网格和个性化表情基生成个性化表情基系数时，可以采用步骤104中的具体方式来获取个性化表情基系数。
305、根据个性化表情基系数序列生成动画表情。
步骤305中生成的动画表情可以是一段连续的动画表情。其中，个性化表情基系数序列中的每个个性化表情基系数生成动画表情过程可以参照上文步骤105的相关内容，这里不再详细描述。
在步骤305中，可以根据个性化表情基系数序列和拟人角色表情基来生成动画表情。这里的拟人角色表情基具体可以是虚拟人物表情基或者拟人动物表情基。
上文中对拟人角色表情基的限定和解释同样适用于步骤305中涉及的拟人角色表情基。
在根据个性化表情基系数序列和拟人角色表情基来生成动画表情时，可以先根据每个个性化表情基系数和拟人角色表情基生成动画画面，从而得到多个动画画面，接下来把这些动画画面拼接起来就能得到最终的动画表情。
本申请中，由于三维网格包含的顶点信息更加丰富，使得三维网格能够更好地反映人脸的表情特征，另外，通过对三维网格进行变换，能够使得变换后的三维网格与基础表情基的拓扑结构保持一致，从而使得最终根据变换后的三维网格能够生成与人脸的表情特征更加接近的动画表情。
具体地，由于生成的动画表情反映的表情特征与人脸表情的表情特征更加接近，能够使得动画表情更加逼真，可以提高动画表情的显示效果。
图9是本申请实施例的电子设备的示意性框图。图9所示的电子设备1000，可以执行图1所示的生成动画表情的方法中的各个步骤，包括：
获取模块1001，用于获取初始三维网格，所述初始三维网格中的顶点用于表示人脸的表情特征；
变换模块1002，用于对所述初始三维网格进行变换，得到目标三维网格，所述目标三维网格与基础表情基的拓扑结构相同；
处理模块1003，所述处理模块1003用于：
根据所述基础表情基确定与所述人脸匹配的个性化表情基，其中，所述个性化表情基是包含所述人脸的身份特征的表情基；
根据所述目标三维网格和所述个性化表情基，确定个性化表情基系数，其中，所述个性化表情基系数与所述个性化表情基的叠加用于表示所述人脸的表情特征；
根据所述个性化表情基系数生成动画表情。
本申请中，由于三维网格包含的顶点信息更加丰富，使得三维网格能够更好地反映人脸的表情特征，另外，通过对三维网格进行变换，能够使得变换后的三维网格与基础表情基的拓扑结构保持一致，从而使得最终根据变换后的三维网格能够生成与人脸的表情特征更加接近的动画表情。
可选地，作为一个实施例，所述个性化表情基包含多种表情基，所述多种表情基分别对应不同的表情，所述处理模块1003用于：根据所述多种表情基中的每种表情基的参考顶点的坐标和所述目标三维网格中的顶点的坐标，确定所述个性化表情基系数，其中，所述多种表情基中的每种表情基的参考顶点是所述每种表情基中与所述目标三维网格中的顶点处于相对应位置的点。
可选地，作为一个实施例，所述处理模块1003用于：
确定多个第一差值，所述多个第一差值为所述目标三维网格中的多个顶点的坐标分别与所述多种表情基中的相应参考顶点的线性组合的差值；
根据所述多个第一差值分别与相应权重值的乘积的和确定所述个性化表情基系数。
可选地，作为一个实施例，所述多个第一差值分别对应多个不同的权重值。
可选地，作为一个实施例，所述个性化表情基包含多种表情基，所述多种表情基分别对应不同的表情，所述处理模块用于：
确定所述目标三维网格的顶点距离，所述顶点距离为所述目标三维网格中的两个顶点之间的距离；
确定所述多种表情基中的每种表情基对应的参考距离，得到多个参考距离，其中，所述每种表情基对应的参考距离为所述每种表情基中的两个参考顶点之间的距离，所述两个参考顶点是所述每种表情基中分别与所述目标三维网格中的两个顶点处于相对应位置的点；
根据所述多个参考距离的线性组合与所述顶点距离的差，确定所述个性化表情基系数。
可选地，作为一个实施例，所述处理模块1003用于：
确定多个第二差值，所述多个第二差值为所述目标三维网格中的多个顶点距离分别与所述多种表情基中对应的参考距离的线性组合的差值；
根据所述多个第二差值分别与相应权重值的乘积的和确定所述个性化表情基系数。
可选地，作为一个实施例，所述多个第二差值分别对应多个不同的权重值。
可选地，作为一个实施例，所述变换模块1002用于：
确定拓扑参照网格，所述拓扑参照网格与所述基础表情基的拓扑结构相同；
对所述拓扑参照网格进行刚性变形，得到刚性变形后的拓扑参照网格，所述刚性变形后的拓扑参照网格的大小与所述初始三维网格的大小相同；
对所述刚性变形后的拓扑参照网格和所述初始三维网格进行贴合处理，直到所述刚性变形后的拓扑参照网格与所述初始三维网格的贴合程度满足预设贴合程度；
将所述刚性变形后的拓扑参照网格中的顶点的坐标替换为所述初始三维网格中与所述刚性变形后的网格中的顶点相匹配的顶点的坐标，得到所述目标三维网格，其中，所述目标三维网格具有所述拓扑参照网格的拓扑结构和所述初始三维网格的外形。
可选地，作为一个实施例，所述变换模块1002用于重复执行步骤A和步骤B，直到所述非刚性变形后的拓扑参照网格与所述初始三维网格的贴合程度满足预设贴合程度；
其中，所述步骤A和步骤B分别为：
步骤A：根据RBF对所述刚性变形后的拓扑参照网格进行非刚性变形，得到非刚性变化后的拓扑参照网格；
步骤B：将所述非刚性变形后的拓扑参照网格与所述初始三维网格贴合。
图10是本申请实施例的电子设备的示意性框图。图10所示的电子设备2000，可以执行图8所示的生成动画表情的方法中的各个步骤，包括：
获取模块2001，用于获取初始三维网格序列，所述初始三维网格序列包括多个初始三维网格，所述多个初始三维网格分别用于表示人脸在多个不同时刻的表情特征；
变换模块2002，用于对所述初始三维网格序列进行变换，得到目标三维网格序列，所述目标三维网格序列包括多个目标三维网格，所述多个目标三维网格与基础表情基的拓扑结构相同；
处理模块2003，所述处理模块2003用于：
根据所述基础表情基确定与所述人脸匹配的个性化表情基，其中，所述个性化表情基是包含所述人脸的身份特征的表情基；
根据所述目标三维网格序列和所述个性化表情基，生成所述个性化表情基系数序列，所述个性化表情基序列包括多组个性化表情基系数，所述个性化表情基系数序列中的个性化表情基系数与所述个性化表情基的叠加用于表示所述人脸的表情特征；
根据所述个性化表情基系数序列生成动画表情。
本申请中，由于三维网格包含的顶点信息更加丰富，使得三维网格能够更好地反映人脸的表情特征，另外，通过对三维网格进行变换，能够使得变换后的三维网格与基础表情基的拓扑结构保持一致，从而使得最终根据变换后的三维网格能够生成与人脸的表情特征更加接近的动画表情。
图11是本申请实施例的电子设备的示意性框图。图11所示的电子设备3000包括：
存储器3001，用于存储程序；
处理器3002，用于执行存储器3001中存储的程序，当存储器3001中存储的程序被处理器3002执行时，处理器3002用于执行图1或者图8所示的生成动画表情的方法中的各个步骤。
应理解，上述电子设备1000中的获取模块1001、变换模块1002以及处理模块1003可以相当于电子设备3000中的处理器3002。上述电子设备2000中的获取模块2001、变换模块2002以及处理模块2003可以相当于电子设备3000中的处理器3002。
上述处理器3002具体可以是中央处理器(central processing unit，CPU)、现场可编程门阵(field programmable gate array，FPGA)、图形处理器(graphics processingunit，GPU)或者其他具有数据处理功能的芯片等等。上述处理器3002还可以是CPU、FPGA、GPU以及数据处理芯片中的至少两种组成。
图12是本申请实施例的电子设备的示意性框图。
图12中的电子设备4000包括通信模块4010、传感器4020、用户输入模块4030、输出模块4040、处理器4050、音视频输入模块4060、存储器4070以及电源4080。
上述电子设备4000可以执行上述本申请实施例的生成动画表情的方法的各个步骤，具体地，电子设备4000中的处理器4050可以执行本申请实施例的生成动画表情的方法的各个步骤。
下面对电子设备4000中的各个模块或者单元进行详细的介绍。
通信模块4010可以包括至少一个能使该电子设备与其他电子设备之间进行通信的模块。例如，通信模块4010可以包括有线网络接口、广播接收模块、移动通信模块、无线因特网模块、局域通信模块和位置(或定位)信息模块等其中的一个或多个。
传感器4020可以感知用户的一些操作，传感器4020可以包括距离传感器，触摸传感器等等。传感器4020可以感知用户触摸屏幕或者靠近屏幕等操作。
用户输入模块4030，用于接收输入的数字信息、字符信息或接触式触摸操作/非接触式手势，以及接收与系统的用户设置以及功能控制有关的信号输入等。用户输入模块4030包括触控面板和/或其他输入设备。
输出模块4040包括显示面板，用于显示由用户输入的信息、提供给用户的信息或系统的各种菜单界面等。可选的，可以采用液晶显示器(liquid crystal display，LCD)或有机发光二极管(organic light-emitting diode,OLED)等形式来配置显示面板。在其他一些实施例中，触控面板可覆盖显示面板上，形成触摸显示屏。另外，输出模块4040还可以包括音频输出模块、告警器以及触觉模块等。
音视频输入模块4060，用于输入音频信号或视频信号。音视频输入模块4060可以包括摄像头和麦克风。
电源4080可以在处理器4050的控制下接收外部电力和内部电力，并且提供整个电子设备各个模块运行时需要的电力。
处理器4050可以指一个或多个处理器，例如，处理器4050可以包括一个或多个中央处理器，或者包括一个中央处理器和一个图形处理器，或者包括一个应用处理器和一个协处理器(例如微控制单元或神经网络处理器)。当处理器4050包括多个处理器时，这多个处理器可以集成在同一块芯片上，也可以各自为独立的芯片。一个处理器可以包括一个或多个物理核，其中物理核为最小的处理模块。
存储器4070存储计算机程序，该计算机程序包括操作系统程序4071和应用程序4072等。典型的操作系统如微软公司的Windows，苹果公司的MacOS等用于台式机或笔记本的系统，又如谷歌公司开发的基于
Figure BDA0001930077960000191
的安卓
Figure BDA0001930077960000192
系统等用于移动终端的系统。当本申请实施例的资源调度电子设备通过软件的方式实现时，可以认为是通过应用程序4071来具体实现的。
存储器4070可以是以下类型中的一种或多种：闪速(flash)存储器、硬盘类型存储器、微型多媒体卡型存储器、卡式存储器(例如SD或XD存储器)、随机存取存储器(randomaccess memory,RAM)、静态随机存取存储器(static RAM,SRAM)、只读存储器(read onlymemory,ROM)、电可擦除可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、可编程只读存储器(programmable ROM,PROM)、磁存储器、磁盘或光盘。在其他一些实施例中，存储器4070也可以是因特网上的网络存储设备，系统可以对在因特网上的存储器4070执行更新或读取等操作。
处理器4050用于读取存储器4070中的计算机程序，然后执行计算机程序定义的电子设备，例如处理器4050读取操作系统程序4072从而在该系统运行操作系统以及实现操作系统的各种功能，或读取一种或多种应用程序4071，从而在该系统上运行应用。
例如，上述存储器4070可以存储一种计算机程序(该计算机程序是本申请实施例的资源调度电子设备对应的程序)，当处理器4050执行该极端及程序时，处理器4050能够执行本申请实施例的资源调度电子设备。
存储器4070还存储有除计算机程序之外的其他数据4073，例如，存储器4070可以存储本申请的资源调度电子设备中涉及的绘帧线程的负载特征，绘帧线程的负载预测值等等。
图12所示的电子设备4000中的各个模块或者单元的连接关系仅为一种示例。本申请实施例中的电子设备还可以是图12中的各个模块或者单元采用其他连接关系(例如，所有模块或者单元通过总线连接)连接得到的电子设备。
上述电子设备3000中的存储器3001相当于电子设备4000中的存储器4070，电子设备3000中的处理器3002相当于电子设备4000中的存储器4050。
上述电子设备1000、电子设备2000、电子设备3000以及电子设备4000具体可以是移动终端(例如，智能手机)，电脑，个人数字助理，可穿戴设备，车载设备，物联网设备，AR设备和VR设备等等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (20)

1.一种生成动画表情的方法，其特征在于，包括：
获取初始三维网格，所述初始三维网格中的顶点用于表示人脸的表情特征；
对所述初始三维网格进行变换，得到目标三维网格，所述目标三维网格与基础表情基的拓扑结构相同；
根据所述基础表情基确定与所述人脸匹配的个性化表情基；
根据所述目标三维网格和所述个性化表情基，确定个性化表情基系数，其中，所述个性化表情基系数与所述个性化表情基的叠加用于表示所述人脸的表情特征；
根据所述个性化表情基系数生成动画表情。
2.如权利要求1所述的方法，其特征在于，所述个性化表情基包含多种表情基，所述多种表情基分别对应不同的表情，所述根据所述目标三维网格和所述个性化表情基，确定个性化表情基系数，包括：
根据所述多种表情基中的每种表情基的参考顶点的坐标和所述目标三维网格中的顶点的坐标，确定所述个性化表情基系数，其中，所述多种表情基中的每种表情基的参考顶点是所述每种表情基中与所述目标三维网格中的顶点处于相对应位置的点。
3.如权利要求2所述的方法，其特征在于，所述根据所述多种表情基中的每种表情基的参考顶点的坐标和所述目标三维网格中的顶点的坐标，确定所述个性化表情基系数，包括：
确定多个第一差值，所述多个第一差值为所述目标三维网格中的多个顶点的坐标分别与所述多种表情基中的相应参考顶点的线性组合的差值；
根据所述多个第一差值分别与相应权重值的乘积的和确定所述个性化表情基系数。
4.如权利要求3所述的方法，其特征在于，所述多个第一差值分别对应多个不同的权重值。
5.如权利要求1-4中任一项所述的方法，其特征在于，所述个性化表情基包含多种表情基，所述多种表情基分别对应不同的表情，所述根据所述目标三维网格和所述个性化表情基，确定个性化表情基系数，包括：
确定所述目标三维网格的顶点距离，所述顶点距离为所述目标三维网格中的两个顶点之间的距离；
确定所述多种表情基中的每种表情基对应的参考距离，得到多个参考距离，其中，所述每种表情基对应的参考距离为所述每种表情基中的两个参考顶点之间的距离，所述两个参考顶点是所述每种表情基中分别与所述目标三维网格中的两个顶点处于相对应位置的点；
根据所述多个参考距离的线性组合与所述顶点距离的差，确定所述个性化表情基系数。
6.如权利要求5所述的方法，其特征在于，所述根据所述多个参考距离的线性组合与所述顶点距离的差，确定所述个性化表情基系数，包括：
确定多个第二差值，所述多个第二差值为所述目标三维网格中的多个顶点距离分别与所述多种表情基中对应的参考距离的线性组合的差值；
根据所述多个第二差值分别与相应权重值的乘积的和确定所述个性化表情基系数。
7.如权利要求6所述的方法，其特征在于，所述多个第二差值分别对应多个不同的权重值。
8.如权利要求1-7中任一项所述的方法，其特征在于，所述对所述初始三维网格进行变换，得到目标三维网格，包括：
确定拓扑参照网格，所述拓扑参照网格与所述基础表情基的拓扑结构相同；
对所述拓扑参照网格进行刚性变形，得到刚性变形后的拓扑参照网格，所述刚性变形后的拓扑参照网格的大小与所述初始三维网格的大小相同；
对所述刚性变形后的拓扑参照网格和所述初始三维网格进行贴合处理，直到所述刚性变形后的拓扑参照网格与所述初始三维网格的贴合程度满足预设贴合程度；
将所述刚性变形后的拓扑参照网格中的顶点的坐标替换为所述初始三维网格中与所述刚性变形后的网格中的顶点相匹配的顶点的坐标，得到所述目标三维网格，其中，所述目标三维网格具有所述拓扑参照网格的拓扑结构和所述初始三维网格的外形。
9.如权利要求8所述的方法，其特征在于，所述对所述刚性变形后的拓扑参照网格和所述初始三维网格进行贴合处理，直到所述刚性变形后的拓扑参照网格与所述初始三维网格的贴合程度满足预设贴合程度，包括：
重复执行步骤A和步骤B，直到所述非刚性变形后的拓扑参照网格与所述初始三维网格的贴合程度满足预设贴合程度；
其中，所述步骤A和步骤B分别为：
步骤A：根据径向基函数RBF对所述刚性变形后的拓扑参照网格进行非刚性变形，得到非刚性变化后的拓扑参照网格；
步骤B：将所述非刚性变形后的拓扑参照网格与所述初始三维网格贴合。
10.一种生成动画表情的方法，其特征在于，包括：
获取初始三维网格序列，所述初始三维网格序列包括多个初始三维网格，所述多个初始三维网格分别用于表示人脸在多个不同时刻的表情特征；
对所述初始三维网格序列进行变换，得到目标三维网格序列，所述目标三维网格序列包括多个目标三维网格，所述多个目标三维网格与基础表情基的拓扑结构相同；
根据所述基础表情基确定与所述人脸匹配的个性化表情基；
根据所述目标三维网格序列和所述个性化表情基，生成个性化表情基系数序列，所述个性化表情基序列包括多组个性化表情基系数，所述个性化表情基系数序列中的个性化表情基系数与所述个性化表情基的叠加用于表示所述人脸的表情特征；
根据所述个性化表情基系数序列生成动画表情。
11.一种电子设备，其特征在于，包括：
获取模块，用于获取初始三维网格，所述初始三维网格中的顶点用于表示人脸的表情特征；
变换模块，用于对所述初始三维网格进行变换，得到目标三维网格，所述目标三维网格与基础表情基的拓扑结构相同；
处理模块，所述处理模块用于：
根据所述基础表情基确定与所述人脸匹配的个性化表情基；
根据所述目标三维网格和所述个性化表情基，确定个性化表情基系数，其中，所述个性化表情基系数与所述个性化表情基的叠加用于表示所述人脸的表情特征；
根据所述个性化表情基系数生成动画表情。
12.如权利要求11所述的电子设备，其特征在于，所述个性化表情基包含多种表情基，所述多种表情基分别对应不同的表情，所述处理模块用于：
根据所述多种表情基中的每种表情基的参考顶点的坐标和所述目标三维网格中的顶点的坐标，确定所述个性化表情基系数，其中，所述多种表情基中的每种表情基的参考顶点是所述每种表情基中与所述目标三维网格中的顶点处于相对应位置的点。
13.如权利要求12所述的电子设备，其特征在于，所述处理模块用于：
确定多个第一差值，所述多个第一差值为所述目标三维网格中的多个顶点的坐标分别与所述多种表情基中的相应参考顶点的线性组合的差值；
根据所述多个第一差值分别与相应权重值的乘积的和确定所述个性化表情基系数。
14.如权利要求13所述的电子设备，其特征在于，所述多个第一差值分别对应多个不同的权重值。
15.如权利要求11-14中任一项所述的电子设备，其特征在于，所述个性化表情基包含多种表情基，所述多种表情基分别对应不同的表情，所述处理模块用于：
确定所述目标三维网格的顶点距离，所述顶点距离为所述目标三维网格中的两个顶点之间的距离；
确定所述多种表情基中的每种表情基对应的参考距离，得到多个参考距离，其中，所述每种表情基对应的参考距离为所述每种表情基中的两个参考顶点之间的距离，所述两个参考顶点是所述每种表情基中分别与所述目标三维网格中的两个顶点处于相对应位置的点；
根据所述多个参考距离的线性组合与所述顶点距离的差，确定所述个性化表情基系数。
16.如权利要求15所述的电子设备，其特征在于，所述处理模块用于：
确定多个第二差值，所述多个第二差值为所述目标三维网格中的多个顶点距离分别与所述多种表情基中对应的参考距离的线性组合的差值；
根据所述多个第二差值分别与相应权重值的乘积的和确定所述个性化表情基系数。
17.如权利要求16所述的电子设备，其特征在于，所述多个第二差值分别对应多个不同的权重值。
18.如权利要求11-17中任一项所述的电子设备，其特征在于，所述变换模块用于：
确定拓扑参照网格，所述拓扑参照网格与所述基础表情基的拓扑结构相同；
对所述拓扑参照网格进行刚性变形，得到刚性变形后的拓扑参照网格，所述刚性变形后的拓扑参照网格的大小与所述初始三维网格的大小相同；
对所述刚性变形后的拓扑参照网格和所述初始三维网格进行贴合处理，直到所述刚性变形后的拓扑参照网格与所述初始三维网格的贴合程度满足预设贴合程度；
将所述刚性变形后的拓扑参照网格中的顶点的坐标替换为所述初始三维网格中与所述刚性变形后的网格中的顶点相匹配的顶点的坐标，得到所述目标三维网格，其中，所述目标三维网格具有所述拓扑参照网格的拓扑结构和所述初始三维网格的外形。
19.如权利要求18所述的电子设备，其特征在于，所述变换模块用于重复执行步骤A和步骤B，直到所述非刚性变形后的拓扑参照网格与所述初始三维网格的贴合程度满足预设贴合程度；
其中，所述步骤A和步骤B分别为：
步骤A：根据径向基函数RBF对所述刚性变形后的拓扑参照网格进行非刚性变形，得到非刚性变化后的拓扑参照网格；
步骤B：将所述非刚性变形后的拓扑参照网格与所述初始三维网格贴合。
20.一种电子设备，其特征在于，包括：
获取模块，用于获取初始三维网格序列，所述初始三维网格序列包括多个初始三维网格，所述多个初始三维网格分别用于表示人脸在多个不同时刻的表情特征；
变换模块，用于对所述初始三维网格序列进行变换，得到目标三维网格序列，所述目标三维网格序列包括多个目标三维网格，所述多个目标三维网格与基础表情基的拓扑结构相同；
处理模块，所述处理模块用于：
根据所述基础表情基确定与所述人脸匹配的个性化表情基；
根据所述目标三维网格序列和所述个性化表情基，生成个性化表情基系数序列，所述个性化表情基序列包括多组个性化表情基系数，所述个性化表情基系数序列中的个性化表情基系数与所述个性化表情基的叠加用于表示所述人脸的表情特征；
根据所述个性化表情基系数序列生成动画表情。
CN201811636045.2A 2018-12-29 2018-12-29 生成动画表情的方法和电子设备 Active CN111383308B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811636045.2A CN111383308B (zh) 2018-12-29 2018-12-29 生成动画表情的方法和电子设备
CN202310706083.5A CN116843804A (zh) 2018-12-29 2018-12-29 生成动画表情的方法和电子设备
PCT/CN2019/113041 WO2020134436A1 (zh) 2018-12-29 2019-10-24 生成动画表情的方法和电子设备
US17/360,866 US11410369B2 (en) 2018-12-29 2021-06-28 Method for generating animated expression and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811636045.2A CN111383308B (zh) 2018-12-29 2018-12-29 生成动画表情的方法和电子设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310706083.5A Division CN116843804A (zh) 2018-12-29 2018-12-29 生成动画表情的方法和电子设备

Publications (2)

Publication Number Publication Date
CN111383308A true CN111383308A (zh) 2020-07-07
CN111383308B CN111383308B (zh) 2023-06-23

Family

ID=71126932

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310706083.5A Pending CN116843804A (zh) 2018-12-29 2018-12-29 生成动画表情的方法和电子设备
CN201811636045.2A Active CN111383308B (zh) 2018-12-29 2018-12-29 生成动画表情的方法和电子设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310706083.5A Pending CN116843804A (zh) 2018-12-29 2018-12-29 生成动画表情的方法和电子设备

Country Status (3)

Country Link
US (1) US11410369B2 (zh)
CN (2) CN116843804A (zh)
WO (1) WO2020134436A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112927328A (zh) * 2020-12-28 2021-06-08 北京百度网讯科技有限公司 表情迁移方法、装置、电子设备及存储介质
CN113192165A (zh) * 2021-05-12 2021-07-30 广州虎牙科技有限公司 基于个性化表情基的控制信息生成方法、装置、电子设备和可读存储介质
CN113609960A (zh) * 2021-08-03 2021-11-05 北京奇艺世纪科技有限公司 一种目标图片的人脸驱动方法及装置
WO2022088971A1 (zh) * 2020-10-30 2022-05-05 北京字跳网络技术有限公司 一种道具吸附的方法、装置、设备及存储介质
CN114581572A (zh) * 2022-03-21 2022-06-03 中国科学院深圳先进技术研究院 基于二维的三维表情拟合方法、装置、设备及存储介质
CN114708636A (zh) * 2022-04-01 2022-07-05 成都市谛视科技有限公司 一种密集人脸网格表情驱动方法、装置及介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220172431A1 (en) * 2020-11-30 2022-06-02 Sony Interactive Entertainment LLC Simulated face generation for rendering 3-d models of people that do not exist
US11756334B2 (en) * 2021-02-25 2023-09-12 Qualcomm Incorporated Facial expression recognition
CN113744375A (zh) * 2021-09-10 2021-12-03 北京爱奇艺科技有限公司 数据的迁移方法及装置、电子设备、可读存储介质
CN115170817B (zh) * 2022-07-21 2023-04-28 广州大学 基于三维人-物网格拓扑增强的人物交互检测方法
CN117237487A (zh) * 2023-11-15 2023-12-15 北京蔚领时代科技有限公司 创建与编辑BlendShape节点的方法、装置、存储介质及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1920885A (zh) * 2006-09-14 2007-02-28 浙江大学 一种基于网格拓扑建模的三维人脸动画制作方法
CN101216949A (zh) * 2008-01-14 2008-07-09 浙江大学 一种基于区域分割和分段学习的三维人脸动画制作的方法
CN103198508A (zh) * 2013-04-07 2013-07-10 河北工业大学 人脸表情动画生成方法
CN103854306A (zh) * 2012-12-07 2014-06-11 山东财经大学 一种高真实感的动态表情建模方法
CN104217454A (zh) * 2014-08-21 2014-12-17 中国科学院计算技术研究所 一种视频驱动的人脸动画生成方法
CN104978764A (zh) * 2014-04-10 2015-10-14 华为技术有限公司 三维人脸网格模型处理方法和设备
CN108305309A (zh) * 2018-04-13 2018-07-20 腾讯科技(成都)有限公司 基于立体动画的人脸表情生成方法和装置
CN108629294A (zh) * 2018-04-17 2018-10-09 华南理工大学 基于变形图的人体与人脸网格模板拟合方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100527170C (zh) * 2006-09-20 2009-08-12 清华大学 一种复杂表情仿真系统及其实现方法
AU2009330607B2 (en) * 2008-12-04 2015-04-09 Cubic Corporation System and methods for dynamically injecting expression information into an animated facial mesh
CN106204698A (zh) * 2015-05-06 2016-12-07 北京蓝犀时空科技有限公司 为自由组合创作的虚拟形象生成及使用表情的方法和系统
US10586380B2 (en) * 2016-07-29 2020-03-10 Activision Publishing, Inc. Systems and methods for automating the animation of blendshape rigs
CN108986221B (zh) * 2018-07-27 2022-07-22 河海大学常州校区 一种基于模板人脸逼近的不规范三维人脸网格纹理方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1920885A (zh) * 2006-09-14 2007-02-28 浙江大学 一种基于网格拓扑建模的三维人脸动画制作方法
CN101216949A (zh) * 2008-01-14 2008-07-09 浙江大学 一种基于区域分割和分段学习的三维人脸动画制作的方法
CN103854306A (zh) * 2012-12-07 2014-06-11 山东财经大学 一种高真实感的动态表情建模方法
CN103198508A (zh) * 2013-04-07 2013-07-10 河北工业大学 人脸表情动画生成方法
CN104978764A (zh) * 2014-04-10 2015-10-14 华为技术有限公司 三维人脸网格模型处理方法和设备
CN104217454A (zh) * 2014-08-21 2014-12-17 中国科学院计算技术研究所 一种视频驱动的人脸动画生成方法
CN108305309A (zh) * 2018-04-13 2018-07-20 腾讯科技(成都)有限公司 基于立体动画的人脸表情生成方法和装置
CN108629294A (zh) * 2018-04-17 2018-10-09 华南理工大学 基于变形图的人体与人脸网格模板拟合方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHEN CAO 等: ""FaceWarehouse: A 3D Facial Expression Database for Visual Computing"", 《 IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS》 *
吴晓军 等: "一种无标记点人脸表情捕捉与重现算法" *
戴振龙 等: "基于MPEG-4的人脸表情图像变形研究" *
王恒: ""实时面部追踪和动画的动态表情回归模型的研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
霍江雷: ""数据驱动的实时人脸表情动画研究"", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022088971A1 (zh) * 2020-10-30 2022-05-05 北京字跳网络技术有限公司 一种道具吸附的方法、装置、设备及存储介质
CN112927328A (zh) * 2020-12-28 2021-06-08 北京百度网讯科技有限公司 表情迁移方法、装置、电子设备及存储介质
CN112927328B (zh) * 2020-12-28 2023-09-01 北京百度网讯科技有限公司 表情迁移方法、装置、电子设备及存储介质
CN113192165A (zh) * 2021-05-12 2021-07-30 广州虎牙科技有限公司 基于个性化表情基的控制信息生成方法、装置、电子设备和可读存储介质
CN113609960A (zh) * 2021-08-03 2021-11-05 北京奇艺世纪科技有限公司 一种目标图片的人脸驱动方法及装置
CN114581572A (zh) * 2022-03-21 2022-06-03 中国科学院深圳先进技术研究院 基于二维的三维表情拟合方法、装置、设备及存储介质
CN114708636A (zh) * 2022-04-01 2022-07-05 成都市谛视科技有限公司 一种密集人脸网格表情驱动方法、装置及介质

Also Published As

Publication number Publication date
CN111383308B (zh) 2023-06-23
CN116843804A (zh) 2023-10-03
WO2020134436A1 (zh) 2020-07-02
US20210327116A1 (en) 2021-10-21
US11410369B2 (en) 2022-08-09

Similar Documents

Publication Publication Date Title
CN111383308B (zh) 生成动画表情的方法和电子设备
US11587300B2 (en) Method and apparatus for generating three-dimensional virtual image, and storage medium
KR102616010B1 (ko) 포토리얼리스틱 실시간 인물 애니메이션을 위한 시스템 및 방법
CN109961507B (zh) 一种人脸图像生成方法、装置、设备及存储介质
CN112819947A (zh) 三维人脸的重建方法、装置、电子设备以及存储介质
CN109377544A (zh) 一种人脸三维图像生成方法、装置和可读介质
US10909744B1 (en) Simulating garment with wrinkles based on physics based cloth simulator and machine learning model
EP1669931A1 (en) Form changing device, object action encoding device, and object action decoding device
CN111787242A (zh) 用于虚拟试衣的方法和装置
CN113327278A (zh) 三维人脸重建方法、装置、设备以及存储介质
US10964083B1 (en) Facial animation models
CN110458924B (zh) 一种三维脸部模型建立方法、装置和电子设备
CN111047509A (zh) 一种图像特效处理方法、装置及终端
JP2019204476A (ja) 画像生成装置、画像生成方法及びプログラム
EP3855386B1 (en) Method, apparatus, device and storage medium for transforming hairstyle and computer program product
CN116309983B (zh) 虚拟人物模型的训练方法、生成方法、装置和电子设备
CN111507259B (zh) 脸部特征提取方法、装置、电子设备
CN108447111B (zh) 法线贴图的处理方法、装置、存储介质、处理器及终端
CN114549728A (zh) 图像处理模型的训练方法、图像处理方法、装置及介质
CN115512193A (zh) 面部表情生成方法和装置
CN113763518A (zh) 基于虚拟数字人的多模态无限表情合成方法及装置
CN116524162A (zh) 三维虚拟形象迁移方法、模型更新方法及相关设备
CN113453027A (zh) 直播视频、虚拟上妆的图像处理方法、装置及电子设备
CN113240789A (zh) 虚拟对象构建方法及装置
CN107194980A (zh) 人脸模型构建方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant