CN115239860B - 表情数据生成方法、装置、电子设备及存储介质 - Google Patents

表情数据生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115239860B
CN115239860B CN202211068017.1A CN202211068017A CN115239860B CN 115239860 B CN115239860 B CN 115239860B CN 202211068017 A CN202211068017 A CN 202211068017A CN 115239860 B CN115239860 B CN 115239860B
Authority
CN
China
Prior art keywords
vertex
grid
data
vertices
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211068017.1A
Other languages
English (en)
Other versions
CN115239860A (zh
Inventor
徐慎昆
王仲远
宿华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202211068017.1A priority Critical patent/CN115239860B/zh
Publication of CN115239860A publication Critical patent/CN115239860A/zh
Application granted granted Critical
Publication of CN115239860B publication Critical patent/CN115239860B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Abstract

本公开是关于一种表情数据生成方法、装置、电子设备及存储介质，属于计算机技术领域。方法包括：确定多个第一网格顶点的顶点数据和多个第二网格顶点的顶点数据；基于多个第一网格顶点的顶点数据进行图卷积，得到多个第一顶点特征，基于多个第二网格顶点的顶点数据进行图卷积，得到多个第二顶点特征；基于多个第一顶点特征和多个第二顶点特征，检测多个第一网格顶点中的第一关键点和多个第二网格顶点中的第二关键点；基于第一关键点的顶点数据以及第二关键点的顶点数据，对多个第二网格顶点中的非关键点的顶点数据进行调整，将调整后的多个第二网格顶点的顶点数据构成表情数据。本公开提供的表情数据生成方法，操作简单方便，且准确性较高。

Description

表情数据生成方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机技术领域，尤其涉及一种表情数据生成方法、装置、电子设备及存储介质。
背景技术
随着计算机技术的飞速发展，表情数据生成技术在各个领域中得到了广泛的应用，表情数据生成是指基于真实面部的表情，生成三维虚拟模型的表情数据，使得三维虚拟模型的面部呈现出与真实面部相同的表情。
相关技术中，通常由真人做出表情，然后利用面部动作捕捉设备，获取该真人的面部中高精度的表情数据，然后将表情数据映射至三维虚拟模型上，得到三维虚拟模型的表情数据。但是，该方法需要借助面部动作捕捉设备，生成表情数据的方式不够简便。
发明内容
本公开提供了一种表情数据生成方法、装置、电子设备及存储介质，能够提高生成表情数据的便捷性。
根据本公开实施例的一方面，提供一种表情数据生成方法，所述方法包括：
确定多个第一网格顶点的顶点数据和多个第二网格顶点的顶点数据，所述多个第一网格顶点是基于真实面部对应的三维面部网格得到的，所述多个第二网格顶点是基于三维虚拟模型得到的；
基于所述多个第一网格顶点的顶点数据进行图卷积，得到所述多个第一网格顶点的第一顶点特征，基于所述多个第二网格顶点的顶点数据进行图卷积，得到所述多个第二网格顶点的第二顶点特征；
基于所述多个第一网格顶点的第一顶点特征和所述多个第二网格顶点的第二顶点特征，检测所述多个第一网格顶点中的第一关键点和所述多个第二网格顶点中的第二关键点，其中一个所述第一关键点与一个所述第二关键点对应；
基于所述第一关键点的顶点数据以及所述第二关键点的顶点数据，对所述多个第二网格顶点中的非关键点的顶点数据进行调整，将所述多个第二网格顶点的顶点数据构成所述三维虚拟模型的表情数据，以使所述表情数据所指示的表情与所述三维面部网格的表情匹配，所述非关键点是指所述多个第二网格顶点中除了所述第二关键点之外的网格顶点。
可选地，所述基于所述多个第一网格顶点的顶点数据进行图卷积，得到所述多个第一网格顶点的第一顶点特征，包括：
基于所述多个第一网格顶点的顶点数据和前序顶点数据进行图卷积，得到所述多个第一网格顶点的所述第一顶点特征；
其中，所述第一网格顶点的前序顶点数据为所述第一网格顶点在当前的三维面部网格的前序三维面部网格中的顶点数据，所述前序三维面部网格是指位于当前的三维面部网格之前的目标数量帧的三维面部网格。
可选地，所述基于所述多个第一网格顶点的顶点数据和前序顶点数据进行图卷积，得到所述多个第一网格顶点的所述第一顶点特征，包括：
基于所述多个第一网格顶点的顶点数据和前序顶点数据融合得到的数据，分别提取所述多个第一网格顶点的时序特征；
基于所述多个第一网格顶点的时序特征进行图卷积，得到所述多个第一网格顶点的所述第一顶点特征。
可选地，所述基于所述多个第一网格顶点的时序特征进行图卷积，得到所述多个第一网格顶点的所述第一顶点特征，包括：
对所述多个第一网格顶点的时序特征进行图卷积，得到所述多个第一网格顶点的时空特征；
基于所述多个第一网格顶点的时空特征和前序时空特征融合得到的特征，提取所述多个第一网格顶点的所述第一顶点特征，所述第一网格顶点的前序时空特征为所述第一网格顶点在当前的三维面部网格的前序三维面部网格中的时空特征。
可选地，所述第一网格顶点的顶点数据和前序顶点数据均包括m个类型的子数据，m为正整数；所述基于所述多个第一网格顶点的顶点数据和前序顶点数据融合得到的数据，分别提取所述多个第一网格顶点的时序特征，包括：
对所述第一网格顶点的顶点数据和前序顶点数据融合得到的数据进行卷积，得到卷积特征，所述卷积特征包括2*m个类型的子特征；
将前m个类型的子特征作为权重，对后m个类型的子特征进行加权，得到所述时序特征。
可选地，所述基于所述多个第一网格顶点的顶点数据进行图卷积，得到所述多个第一网格顶点的第一顶点特征，包括：
将所述第一网格顶点的顶点数据和多个第一一阶邻接顶点的顶点数据进行融合，得到一阶融合数据，基于所述一阶融合数据提取所述第一网格顶点的一阶顶点特征，所述第一一阶邻接顶点是指与所述第一网格顶点直接相连的网格顶点；
将所述第一网格顶点的一阶顶点特征和多个第一二阶邻接顶点的一阶顶点特征进行融合，得到二阶融合数据，基于所述二阶融合数据提取所述第一网格顶点的二阶顶点特征，直至当前得到的顶点特征对应的阶数达到目标阶数，将当前得到的顶点特征确定为所述第一顶点特征，所述第一二阶邻接顶点是指除了所述第一网格顶点之外的与所述第一一阶邻接顶点直接相连的网格顶点。
可选地，所述基于所述多个第一网格顶点的第一顶点特征和所述多个第二网格顶点的第二顶点特征，检测所述多个第一网格顶点中的第一关键点和所述多个第二网格顶点中的第二关键点，包括：
基于所述多个第一网格顶点的第一顶点特征和所述多个第二网格顶点的第二顶点特征，分别确定所述多个第一网格顶点和所述多个第二网格顶点属于k种预设关键点的概率，k为正整数；
基于所述多个第一网格顶点和所述多个第二网格顶点属于所述k种预设关键点的概率，从所述多个第一网格顶点中确定k个第一关键点，以及从所述多个第二网格顶点中确定k个第二关键点，其中，属于同一种预设关键点的所述第一关键点和所述第二关键点对应。
可选地，所述基于所述多个第一网格顶点的第一顶点特征和所述多个第二网格顶点的第二顶点特征，分别确定所述多个第一网格顶点和所述多个第二网格顶点属于k种预设关键点的概率，包括：
对所述第一网格顶点的第一顶点特征和多个第一邻接顶点的第一顶点特征进行编码，得到所述第一网格顶点的编码特征，对所述第一网格顶点的编码特征和所述多个第一邻接顶点的编码特征进行解码，得到所述第一网格顶点属于所述k种预设关键点的概率，所述第一邻接顶点是指与所述第一网格顶点直接或间接相连的网格顶点；
对所述第二网格顶点的第二顶点特征和多个第二邻接顶点的第二顶点特征进行编码，得到所述第二网格顶点的编码特征，对所述第二网格顶点的编码特征和所述多个第二邻接顶点的编码特征进行解码，得到所述第二网格顶点属于所述k种预设关键点的概率，所述第二邻接顶点是指与所述第二网格顶点直接或间接相连的网格顶点。
可选地，所述基于所述多个第一网格顶点和所述多个第二网格顶点属于所述k种预设关键点的概率，从所述多个第一网格顶点中确定k个第一关键点，以及从所述多个第二网格顶点中确定k个第二关键点，包括：
以所述多个第一网格顶点的第i个概率为权重，对所述多个第一网格顶点的坐标进行加权平均，将所得到的坐标对应的网格顶点确定为第i个第一关键点，i为不大于k的正整数；
以所述多个第二网格顶点的第i个概率为权重，对所述多个第二网格顶点的坐标进行加权平均，将所得到的坐标对应的网格顶点确定为第i个第二关键点。
可选地，所述基于所述第一关键点的顶点数据以及所述第二关键点的顶点数据，对所述多个第二网格顶点中的非关键点的顶点数据进行调整，将所述多个第二网格顶点的顶点数据构成所述三维虚拟模型的表情数据，以使所述表情数据所指示的表情与所述三维面部网格的表情匹配，包括：
确定所述第一关键点的坐标、所述第二关键点与所述非关键点之间的距离以及所述非关键点对应的第一权重，所述第一权重表示所述第一关键点和所述第二关键点对所述非关键点的影响程度；
基于所述坐标、所述距离和所述第一权重，确定所述非关键点的位移参数；基于所述非关键点的位移参数，对所述非关键点的顶点数据进行调整，得到调整后的顶点数据；
将所述多个第二网格顶点的顶点数据构成所述三维虚拟模型的表情数据。
可选地，所述基于所述坐标、所述距离和所述第一权重，确定所述非关键点的位移参数，包括：
对所述坐标和所述距离进行归一化，得到归一化坐标和归一化距离；
将所述归一化距离和所述第一权重相乘，得到候选位移参数；
将所述候选位移参数与所述归一化坐标相加，得到所述位移参数。
可选地，所述基于所述非关键点的位移参数，对所述非关键点的顶点数据进行调整，得到调整后的顶点数据，包括：
将所述非关键点的归一化坐标与所述位移参数相加，得到候选目的坐标；
在所述三维虚拟模型中，确定位于所述非关键点的归一化坐标和所述候选目的坐标之间的多个候选途经点；
将所述非关键点的顶点数据与所述多个候选途经点的顶点数据进行融合，得到调整后的顶点数据。
可选地，所述第一关键点和所述第二关键点的数量均为k个，第i个第一关键点和第i个第二关键点构成第i个组合，k为正整数，i为不大于k的正整数；
所述基于所述坐标、所述距离和所述第一权重，确定所述非关键点的位移参数；基于所述非关键点的位移参数，对所述非关键点的顶点数据进行调整，得到调整后的顶点数据，包括：
基于第i个组合对应的所述坐标、所述距离和所述第一权重，确定所述非关键点的位移参数；基于所述非关键点的位移参数，对所述非关键点的顶点数据进行调整，得到一个候选顶点数据；
将基于k个组合确定的k个候选顶点数据进行融合，得到调整后的顶点数据。
可选地，所述将基于k个组合确定的k个候选顶点数据进行融合，得到调整后的顶点数据，包括：
基于所述非关键点的坐标与k个第二关键点的坐标，分别确定所述k个第二关键点的第二权重，以使根据所述k个第二权重，对所述k个第二关键点的坐标进行加权平均所得到的坐标等于所述非关键点的坐标；
基于所述k个第二关键点的第二权重，对所述k个候选顶点数据进行加权平均，得到所述调整后的顶点数据。
可选地，确定k个组合针对每个非关键点的第一权重的过程，包括：
获取所述多个第一网格顶点的第一权重特征和属于k种预设关键点的概率，所述第一权重特征表示所述第一网格顶点对其他第一网格顶点的影响程度；
以所述多个第一网格顶点的第i个概率为权重，对所述多个第一网格顶点的第一权重特征进行加权平均，得到第i个第二权重特征，所述第二权重特征包括多个第三权重，每个所述第三权重表示第i个第一关键点对一个所述第一网格顶点的影响程度；
获取所述多个第二网格顶点的第三权重特征和属于所述k种预设关键点的概率，所述第三权重特征表示所述第二网格顶点对其他第二网格顶点的影响程度；
以所述多个第二网格顶点的第i个概率为权重，对所述多个第二网格顶点的第三权重特征进行加权平均，得到第i个第四权重特征，所述第四权重特征包括多个第四权重，每个所述第四权重表示第i个第二关键点对一个所述第二网格顶点的影响程度；
将第i个第二权重特征的逆特征和第i个第四权重特征相乘，得到第i个组合的第五权重特征，所述第五权重特征包括所述第i个组合针对于每个非关键点的第一权重。
可选地，所述方法基于网格顶点处理模型执行，所述网格顶点处理模型的训练过程，包括：
确定多个第三网格顶点的顶点数据和多个第四网格顶点的顶点数据，所述多个第三网格顶点是基于真实面部对应的样本三维面部网格得到的，所述多个第四网格顶点是基于样本三维虚拟模型得到的；
将所述多个第三网格顶点的顶点数据和所述多个第四网格顶点的顶点数据输入所述网格顶点处理模型，得到所述样本三维虚拟模型的第一表情数据；
提取所述第一表情数据的第一表情特征和第二表情数据的第二表情特征，所述第二表情数据为所述样本三维面部网格的真实表情数据；
基于所述第一表情特征与所述第二表情特征，训练所述网格顶点处理模型，以使训练后的所述网格顶点处理模型所得到的第一表情特征与所述第二表情特征之间的相似度增大。
根据本公开实施例的一方面，提供一种表情数据生成方法，所述方法包括：
确定多个第三网格顶点的顶点数据和多个第四网格顶点的顶点数据，所述多个第三网格顶点是基于真实面部对应的样本三维面部网格得到的，所述多个第四网格顶点是基于样本三维虚拟模型得到的；
将所述多个第三网格顶点的顶点数据和所述多个第四网格顶点的顶点数据输入网格顶点处理模型，得到所述样本三维虚拟模型的第一表情数据；
提取所述第一表情数据的第一表情特征和第二表情数据的第二表情特征，所述第二表情数据为所述样本三维面部网格的真实表情数据；
基于所述第一表情特征与所述第二表情特征，训练所述网格顶点处理模型，以使训练后的所述网格顶点处理模型所得到的第一表情特征与所述第二表情特征之间的相似度增大；
调用训练后的所述网格顶点处理模型，基于三维面部网格中多个网格顶点的顶点数据和三维虚拟模型中多个网格顶点的顶点数据进行图卷积，得到每个网格顶点的顶点特征，基于每个网格顶点的顶点特征检测关键点，基于所述关键点的顶点数据，对所述三维虚拟模型中的非关键点的顶点数据进行调整，将所述三维虚拟模型中的网格顶点的顶点数据构成所述三维虚拟模型的表情数据，以使所述表情数据所指示的表情与所述三维面部网格的表情匹配。
可选地，所述方法还包括：
调用判别模型，确定所述第一表情特征对应的第一判别结果，所述第一判别结果表示所述第一表情特征被判别为属于真实表情特征的概率，所述真实表情特征是指真实的三维面部网格的表情数据的特征；
所述基于所述第一表情特征与所述第二表情特征，训练所述网格顶点处理模型，以使训练后的所述网格顶点处理模型所得到的第一表情特征与所述第二表情特征之间的相似度增大，包括：
基于所述第一表情特征、所述第二表情特征以及所述第一判别结果，训练所述网格顶点处理模型，以使训练后的所述网格顶点处理模型所得到的第一表情特征与所述第二表情特征之间的相似度增大，且得到的第一判别结果所表示的概率增大。
可选地，所述方法还包括：
调用所述判别模型，确定所述第二表情特征对应的第二判别结果，所述第二判别结果表示所述第二表情特征被判别为属于真实表情特征的概率；
基于所述第一判别结果和所述第二判别结果，训练所述判别模型，以使训练后的所述判别模型得到的第一判别结果所表示的概率减小，且得到的第二判别结果所表示的概率增大。
可选地，所述方法还包括：
对所述多个第三网格顶点的顶点数据进行扰动，得到扰动后的顶点数据；
将所述扰动后的顶点数据输入所述网格顶点处理模型，得到扰动关键点；
所述基于所述第一表情特征与所述第二表情特征，训练所述网格顶点处理模型，以使训练后的所述网格顶点处理模型所得到的第一表情特征与所述第二表情特征之间的相似度增大，包括：
基于所述第一表情特征、所述第二表情特征、第三关键点的顶点数据与所述扰动关键点的顶点数据，训练所述网格顶点处理模型，以使训练后的所述网格顶点处理模型所得到的第一表情特征与所述第二表情特征之间的相似度增大，且得到的第三关键点的顶点数据与扰动关键点的顶点数据之间的相似度增大，所述第三关键点由所述网格顶点处理模型基于所述多个第三网格顶点的顶点数据检测得到。
根据本公开实施例的再一方面，提供一种表情数据生成装置，所述装置包括：
数据确定单元，被配置为执行确定多个第一网格顶点的顶点数据和多个第二网格顶点的顶点数据，所述多个第一网格顶点是基于真实面部对应的三维面部网格得到的，所述多个第二网格顶点是基于三维虚拟模型得到的；
图卷积单元，被配置为执行基于所述多个第一网格顶点的顶点数据进行图卷积，得到所述多个第一网格顶点的第一顶点特征，基于所述多个第二网格顶点的顶点数据进行图卷积，得到所述多个第二网格顶点的第二顶点特征；
关键点检测单元，被配置为执行基于所述多个第一网格顶点的第一顶点特征和所述多个第二网格顶点的第二顶点特征，检测所述多个第一网格顶点中的第一关键点和所述多个第二网格顶点中的第二关键点，其中一个所述第一关键点与一个所述第二关键点对应；
表情确定单元，被配置为执行基于所述第一关键点的顶点数据以及所述第二关键点的顶点数据，对所述多个第二网格顶点中的非关键点的顶点数据进行调整，将所述多个第二网格顶点的顶点数据构成所述三维虚拟模型的表情数据，以使所述表情数据所指示的表情与所述三维面部网格的表情匹配，所述非关键点是指所述多个第二网格顶点中除了所述第二关键点之外的网格顶点。
可选地，所述图卷积单元，包括：
图卷积子单元，被配置为执行基于所述多个第一网格顶点的顶点数据和前序顶点数据进行图卷积，得到所述多个第一网格顶点的所述第一顶点特征；
其中，所述第一网格顶点的前序顶点数据为所述第一网格顶点在当前的三维面部网格的前序三维面部网格中的顶点数据，所述前序三维面部网格是指位于当前的三维面部网格之前的目标数量帧的三维面部网格。
可选地，所述图卷积子单元，被配置为执行：
基于所述多个第一网格顶点的顶点数据和前序顶点数据融合得到的数据，分别提取所述多个第一网格顶点的时序特征；
基于所述多个第一网格顶点的时序特征进行图卷积，得到所述多个第一网格顶点的所述第一顶点特征。
可选地，所述图卷积子单元，被配置为执行：
对所述多个第一网格顶点的时序特征进行图卷积，得到所述多个第一网格顶点的时空特征；
基于所述多个第一网格顶点的时空特征和前序时空特征融合得到的特征，提取所述多个第一网格顶点的所述第一顶点特征，所述第一网格顶点的前序时空特征为所述第一网格顶点在当前的三维面部网格的前序三维面部网格中的时空特征。
可选地，所述第一网格顶点的顶点数据和前序顶点数据均包括m个类型的子数据，m为正整数；所述图卷积子单元，被配置为执行：
对所述第一网格顶点的顶点数据和前序顶点数据融合得到的数据进行卷积，得到卷积特征，所述卷积特征包括2*m个类型的子特征；
将前m个类型的子特征作为权重，对后m个类型的子特征进行加权，得到所述时序特征。
可选地，所述图卷积单元，包括：
特征提取子单元，被配置为执行将所述第一网格顶点的顶点数据和多个第一一阶邻接顶点的顶点数据进行融合，得到一阶融合数据，基于所述一阶融合数据提取所述第一网格顶点的一阶顶点特征，所述第一一阶邻接顶点是指与所述第一网格顶点直接相连的网格顶点；
所述特征提取子单元，还被配置为执行将所述第一网格顶点的一阶顶点特征和多个第一二阶邻接顶点的一阶顶点特征进行融合，得到二阶融合数据，基于所述二阶融合数据提取所述第一网格顶点的二阶顶点特征，直至当前得到的顶点特征对应的阶数达到目标阶数，将当前得到的顶点特征确定为所述第一顶点特征，所述第一二阶邻接顶点是指除了所述第一网格顶点之外的与所述第一一阶邻接顶点直接相连的网格顶点。
可选地，所述关键点检测单元，包括：
概率确定子单元，被配置为执行基于所述多个第一网格顶点的第一顶点特征和所述多个第二网格顶点的第二顶点特征，分别确定所述多个第一网格顶点和所述多个第二网格顶点属于k种预设关键点的概率，k为正整数；
关键点确定子单元，被配置为执行基于所述多个第一网格顶点和所述多个第二网格顶点属于所述k种预设关键点的概率，从所述多个第一网格顶点中确定k个第一关键点，以及从所述多个第二网格顶点中确定k个第二关键点，其中，属于同一种预设关键点的所述第一关键点和所述第二关键点对应。
可选地，所述概率确定子单元，被配置为执行：
对所述第一网格顶点的第一顶点特征和多个第一邻接顶点的第一顶点特征进行编码，得到所述第一网格顶点的编码特征，对所述第一网格顶点的编码特征和所述多个第一邻接顶点的编码特征进行解码，得到所述第一网格顶点属于所述k种预设关键点的概率，所述第一邻接顶点是指与所述第一网格顶点直接或间接相连的网格顶点；
对所述第二网格顶点的第二顶点特征和多个第二邻接顶点的第二顶点特征进行编码，得到所述第二网格顶点的编码特征，对所述第二网格顶点的编码特征和所述多个第二邻接顶点的编码特征进行解码，得到所述第二网格顶点属于所述k种预设关键点的概率，所述第二邻接顶点是指与所述第二网格顶点直接或间接相连的网格顶点。
可选地，所述关键点确定子单元，被配置为执行：
以所述多个第一网格顶点的第i个概率为权重，对所述多个第一网格顶点的坐标进行加权平均，将所得到的坐标对应的网格顶点确定为第i个第一关键点，i为不大于k的正整数；
以所述多个第二网格顶点的第i个概率为权重，对所述多个第二网格顶点的坐标进行加权平均，将所得到的坐标对应的网格顶点确定为第i个第二关键点。
可选地，所述表情确定单元，包括：
确定子单元，被配置为执行确定所述第一关键点的坐标、所述第二关键点与所述非关键点之间的距离以及所述非关键点对应的第一权重，所述第一权重表示所述第一关键点和所述第二关键点对所述非关键点的影响程度；
调整子单元，被配置为执行基于所述坐标、所述距离和所述第一权重，确定所述非关键点的位移参数；基于所述非关键点的位移参数，对所述非关键点的顶点数据进行调整，得到调整后的顶点数据；
构成子单元，被配置为执行将所述多个第二网格顶点的顶点数据构成所述三维虚拟模型的表情数据。
可选地，所述调整子单元，被配置为执行：
对所述坐标和所述距离进行归一化，得到归一化坐标和归一化距离；
将所述归一化距离和所述第一权重相乘，得到候选位移参数；
将所述候选位移参数与所述归一化坐标相加，得到所述位移参数。
可选地，所述调整子单元，被配置为执行：
将所述非关键点的归一化坐标与所述位移参数相加，得到候选目的坐标；
在所述三维虚拟模型中，确定位于所述非关键点的归一化坐标和所述候选目的坐标之间的多个候选途经点；
将所述非关键点的顶点数据与所述多个候选途经点的顶点数据进行融合，得到调整后的顶点数据。
可选地，所述第一关键点和所述第二关键点的数量均为k个，第i个第一关键点和第i个第二关键点构成第i个组合，k为正整数，i为不大于k的正整数；
所述调整子单元，被配置为执行：
基于第i个组合对应的所述坐标、所述距离和所述第一权重，确定所述非关键点的位移参数；基于所述非关键点的位移参数，对所述非关键点的顶点数据进行调整，得到一个候选顶点数据；
将基于k个组合确定的k个候选顶点数据进行融合，得到调整后的顶点数据。
可选地，所述调整子单元，被配置为执行：
基于所述非关键点的坐标与k个第二关键点的坐标，分别确定所述k个第二关键点的第二权重，以使根据所述k个第二权重，对所述k个第二关键点的坐标进行加权平均所得到的坐标等于所述非关键点的坐标；
基于所述k个第二关键点的第二权重，对所述k个候选顶点数据进行加权平均，得到所述调整后的顶点数据。
可选地，所述装置还包括权重确定单元，被配置为执行：
获取所述多个第一网格顶点的第一权重特征和属于k种预设关键点的概率，所述第一权重特征表示所述第一网格顶点对其他第一网格顶点的影响程度；
以所述多个第一网格顶点的第i个概率为权重，对所述多个第一网格顶点的第一权重特征进行加权平均，得到第i个第二权重特征，所述第二权重特征包括多个第三权重，每个所述第三权重表示第i个第一关键点对一个所述第一网格顶点的影响程度；
获取所述多个第二网格顶点的第三权重特征和属于所述k种预设关键点的概率，所述第三权重特征表示所述第二网格顶点对其他第二网格顶点的影响程度；
以所述多个第二网格顶点的第i个概率为权重，对所述多个第二网格顶点的第三权重特征进行加权平均，得到第i个第四权重特征，所述第四权重特征包括多个第四权重，每个所述第四权重表示第i个第二关键点对一个所述第二网格顶点的影响程度；
将第i个第二权重特征的逆特征和第i个第四权重特征相乘，得到第i个组合的第五权重特征，所述第五权重特征包括所述第i个组合针对于每个非关键点的第一权重。
可选地，所述装置还包括模型训练单元，被配置为执行：
确定多个第三网格顶点的顶点数据和多个第四网格顶点的顶点数据，所述多个第三网格顶点是基于真实面部对应的样本三维面部网格得到的，所述多个第四网格顶点是基于样本三维虚拟模型得到的；
将所述多个第三网格顶点的顶点数据和所述多个第四网格顶点的顶点数据输入所述网格顶点处理模型，得到所述样本三维虚拟模型的第一表情数据；
提取所述第一表情数据的第一表情特征和第二表情数据的第二表情特征，所述第二表情数据为所述样本三维面部网格的真实表情数据；
基于所述第一表情特征与所述第二表情特征，训练所述网格顶点处理模型，以使训练后的所述网格顶点处理模型所得到的第一表情特征与所述第二表情特征之间的相似度增大。
根据本公开实施例的再一方面，提供一种表情数据生成装置，所述装置包括：
数据确定单元，被配置为执行确定多个第三网格顶点的顶点数据和多个第四网格顶点的顶点数据，所述多个第三网格顶点是基于真实面部对应的样本三维面部网格得到的，所述多个第四网格顶点是基于样本三维虚拟模型得到的；
数据处理单元，被配置为执行将所述多个第三网格顶点的顶点数据和所述多个第四网格顶点的顶点数据输入网格顶点处理模型，得到所述样本三维虚拟模型的第一表情数据；
特征提取单元，被配置为执行提取所述第一表情数据的第一表情特征和第二表情数据的第二表情特征，所述第二表情数据为所述样本三维面部网格的真实表情数据；
模型训练单元，被配置为执行基于所述第一表情特征与所述第二表情特征，训练所述网格顶点处理模型，以使训练后的所述网格顶点处理模型所得到的第一表情特征与所述第二表情特征之间的相似度增大；
表情生成单元，被配置为执行调用训练后的所述网格顶点处理模型，基于三维面部网格中多个网格顶点的顶点数据和三维虚拟模型中多个网格顶点的顶点数据进行图卷积，得到每个网格顶点的顶点特征，基于每个网格顶点的顶点特征检测关键点，基于所述关键点的顶点数据，对所述三维虚拟模型中的非关键点的顶点数据进行调整，将所述三维虚拟模型中的网格顶点的顶点数据构成所述三维虚拟模型的表情数据，以使所述表情数据所指示的表情与所述三维面部网格的表情匹配。
可选地，所述装置还包括：
判别单元，被配置为执行调用判别模型，确定所述第一表情特征对应的第一判别结果，所述第一判别结果表示所述第一表情特征被判别为属于真实表情特征的概率，所述真实表情特征是指真实的三维面部网格的表情数据的特征；
所述模型训练单元，被配置为执行基于所述第一表情特征、所述第二表情特征以及所述第一判别结果，训练所述网格顶点处理模型，以使训练后的所述网格顶点处理模型所得到的第一表情特征与所述第二表情特征之间的相似度增大，且得到的第一判别结果所表示的概率增大。
可选地，所述判别单元，还被配置为执行调用所述判别模型，确定所述第二表情特征对应的第二判别结果，所述第二判别结果表示所述第二表情特征被判别为属于真实表情特征的概率；
所述模型训练单元，还被配置为执行基于所述第一判别结果和所述第二判别结果，训练所述判别模型，以使训练后的所述判别模型得到的第一判别结果所表示的概率减小，且得到的第二判别结果所表示的概率增大。
可选地，所述装置还包括：
扰动单元，被配置为执行对所述多个第三网格顶点的顶点数据进行扰动，得到扰动后的顶点数据；
所述数据处理单元，还被配置为执行将所述扰动后的顶点数据输入所述网格顶点处理模型，得到扰动关键点；
所述模型训练单元，被配置为执行：
基于所述第一表情特征、所述第二表情特征、第三关键点的顶点数据与所述扰动关键点的顶点数据，训练所述网格顶点处理模型，以使训练后的所述网格顶点处理模型所得到的第一表情特征与所述第二表情特征之间的相似度增大，且得到的第三关键点的顶点数据与扰动关键点的顶点数据之间的相似度增大，所述第三关键点由所述网格顶点处理模型基于所述多个第三网格顶点的顶点数据检测得到。
根据本公开实施例的再一方面，提供了一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如上述方面所述的表情数据生成方法。
根据本公开实施例的再一方面，提供一种计算机可读存储介质，计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如上述方面所述的表情数据生成方法。
根据本公开实施例的再一方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述方面所述的表情数据生成方法。
本公开实施例提供的方案，三维面部网格中包括多个第一网格顶点，三维虚拟模型中包括多个第二网格顶点，考虑到网格顶点属于三维空间中的顶点，因此对网格顶点的顶点数据进行图卷积，来得到网格顶点的顶点特征，从而捕获网格顶点在三维空间中网格顶点之间的空间关系，因此根据该顶点特征检测关键点，能够检测到三维面部网格以及三维虚拟模型中具有代表性的关键点，以便后续利用关键点的顶点数据对三维虚拟模型中的非关键点的顶点数据进行调整，从而得到三维虚拟模型的表情数据，使得该三维虚拟模型的表情数据所指示的表情与三维面部网格的表情匹配。该方法操作简单方便，且由于在提取顶点特征时考虑了三维空间中网格顶点之间的空间关系，因此根据该顶点特征进行关键点检测的准确性较高，进而根据检测到的关键点确定表情数据的准确性较高。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种实施环境的示意图；
图2是根据一示例性实施例示出的一种表情数据生成方法的流程图；
图3是根据一示例性实施例示出的另一种表情数据生成方法的流程图；
图4是根据一示例性实施例示出的一种三维面部网格和三维虚拟模型的示意图；
图5是根据一示例性实施例示出的一种顶点特征提取方法的流程图；
图6是根据一示例性实施例示出的再一种表情数据生成方法的流程图；
图7是根据一示例性实施例示出的一种权重确定方法的流程图；
图8是根据一示例性实施例示出的一种网格顶点处理模型的训练方法的流程图；
图9是根据一示例性实施例示出的又一种表情数据生成方法的流程图；
图10是根据一示例性实施例示出的还一种表情数据生成方法的流程图；
图11是根据一示例性实施例示出的一种表情数据生成装置的框图；
图12是根据一示例性实施例示出的另一种表情数据生成装置的框图；
图13是根据一示例性实施例示出的又一种表情数据生成装置的框图；
图14是根据一示例性实施例示出的再一种表情数据生成装置的框图；
图15是根据一示例性实施例示出的一种终端的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图说明中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的。相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本公开中涉及到的三维面部网格和三维虚拟模型等都是在充分授权的情况下获取的。
本公开实施例提供了一种表情数据生成方法，执行主体为电子设备。示例性的，该电子设备为终端，终端为电脑、手机、平板电脑或者其他终端。其中，电子设备对三维面部网格中的网格顶点的顶点数据进行图卷积，得到该三维面部网格中的网格顶点的顶点特征，并利用顶点特征检测三维面部网格中的第一关键点。同理，该电子设备还利用相同的方法检测三维虚拟模型中的第二关键点，然后电子设备根据第一关键点的顶点数据和第二关键点的顶点数据，对多个第二网格顶点中的非关键点的顶点数据进行调整，将多个第二网格顶点的顶点数据构成三维虚拟模型的表情数据，以使表情数据所指示的表情与三维面部网格的表情匹配。
图1是根据一示例性实施例示出的一种实施环境的示意图。参见图1，该实施环境包括终端101和服务器102。终端101和服务器102之间通过无线或者有线网络连接。
示例性的，终端101上安装有由服务器102提供服务的目标应用，终端101能够通过该目标应用实现例如表情数据生成等功能，当然，该目标应用还能够具有其他功能，例如，网络社交功能、视频分享功能或者聊天功能等。示例性的，目标应用为终端101操作系统中的目标应用，或者为第三方提供的目标应用。示例性的，该目标应用为短视频应用、游戏应用、社交应用或者其他应用，本公开实施例对此不做限制。
在本公开实施例中，服务器102训练网格顶点处理模型，该网格顶点处理模型能够基于任一三维面部网格中的网格顶点的顶点数据和任一三维虚拟模型中的网格顶点的顶点数据，确定三维虚拟模型的表情数据，以使该表情数据所指示的表情与该三维面部网格的表情匹配。服务器102向终端101提供训练完成的网格顶点处理模型，终端101即可利用该网格顶点处理模型，生成与三维面部网格的表情匹配的三维虚拟模型的表情数据。
本公开实施例提供的表情数据生成方法，能够应用于任一需要生成表情数据的场景下。
例如，本公开实施例应用于虚拟人直播的场景下。在直播的过程中，电子设备的直播界面上显示虚拟人，该虚拟人是对三维虚拟模型进行渲染所显示的。同时，电子设备实时采集真实面部对应的三维面部网格，并采用本公开实施例提供的方法，实时更新三维虚拟模型的表情数据，以使三维虚拟模型的表情数据所指示的表情与三维面部网格的表情匹配，然后对三维虚拟模型进行渲染，得到与真实面部的面部表情相同的虚拟人，从而实现将真实面部的面部表情迁移至虚拟人，完成对虚拟人的表情驱动，提高了虚拟人直播的真实性和趣味性。
再例如，本公开实施例应用于制作虚拟人短视频的场景下。电子设备通过对三维虚拟模型进行渲染得到对应的虚拟人，如果视频制作者想要驱动虚拟人做出特定表情，则可以使用电子设备采集做出该特定表情的真实面部对应的三维面部网格，并采用本公开实施例提供的方法，确定该三维虚拟模型的表情数据，以使该表情数据所指示的表情为该特定表情，然后对三维虚拟模型进行渲染，得到做出该特定表情的虚拟人，并制作成短视频，提高了制作虚拟人短视频的便捷性和灵活性。
除此之外，本公开实施例提供的方法还可以应用于虚拟人客服、动画制作、虚拟人主持人等任一需要对虚拟人的面部表情进行驱动的场景下，本公开实施例对应用场景不做限定。
图2是根据一示例性实施例示出的一种表情数据生成方法的流程图，参见图2，该方法由电子设备执行，包括以下步骤。
在步骤201中，电子设备确定多个第一网格顶点的顶点数据和多个第二网格顶点的顶点数据。
其中，该多个第一网格顶点是基于真实面部对应的三维面部网格得到的，例如，该三维面部网格为三维网格体。该三维面部网格上包括多个第一网格顶点，电子设备基于该三维面部网格，确定该多个第一网格顶点的顶点数据，该第一网格顶点的顶点数据用于指示该第一网格顶点，例如该顶点数据包括第一网格顶点的坐标、法线方向以及法线纹理等。其中，该三维面部网格的表情受到该多个第一网格顶点的坐标以及纹理等顶点数据的影响，因此该多个第一网格顶点的顶点数据构成了该三维面部网格的表情数据，该三维面部网格的表情数据能够指示该三维面部网格的表情。
其中，该多个第二网格顶点是基于三维虚拟模型得到的。三维虚拟模型是由电子设备创建的一种三维网格体，例如该三维虚拟模型是虚拟对象的面部网格体等，该虚拟对象可以为虚拟人物等。该三维虚拟模型上包括多个第二网格顶点，电子设备基于该三维虚拟模型，确定该多个第二网格顶点的顶点数据，该第二网格顶点的顶点数据用于指示该第二网格顶点，例如该顶点数据包括该第二网格顶点的坐标、法线方向以及法线纹理等。其中，该三维虚拟模型的表情受到该多个第二网格顶点的坐标以及纹理等顶点数据的影响，因此该多个第二网格顶点的顶点数据构成了该三维虚拟模型的表情数据，该三维虚拟模型的表情数据能够指示该三维虚拟模型的表情，该三维虚拟模型的表情也即是对该三维虚拟模型进行渲染所得到的虚拟对象的表情。
在步骤202中，电子设备基于多个第一网格顶点的顶点数据进行图卷积，得到多个第一网格顶点的第一顶点特征。
电子设备在获取到每个第一网格顶点的顶点数据后，分别对每个第一网格顶点的顶点数据进行图卷积，得到每个第一网格顶点的第一顶点特征。其中，图卷积是指对图数据进行卷积来提取特征。本公开实施例中，第一网格顶点是三维面部网格上的网格顶点，第一网格顶点属于三维空间中的网格顶点，因此该多个第一网格顶点可以看作是三维的图数据，通过对多个第一网格顶点的顶点数据进行图卷积，得到网格顶点的顶点特征，从而捕获网格顶点在三维空间中网格顶点之间的空间关系，提高了顶点特征的信息量以及准确性，使得该顶点特征能够更好地对第一网格顶点进行表征。
在一些实施例中，电子设备确定第一网格顶点对应的多个第一邻接顶点，该第一邻接顶点是指该多个第一网格顶点中，与该第一网格顶点直接或间接相连的网格顶点。电子设备基于该第一网格顶点的顶点数据和多个第一邻接顶点的顶点数据，提取该第一网格顶点的第一顶点特征。电子设备对多个第一网格顶点中的每个第一网格顶点均执行上述操作，结合网格顶点本身的顶点数据和邻接顶点的顶点数据，从而提取每个第一网格顶点的第一顶点特征。
在步骤203中，电子设备基于多个第二网格顶点的顶点数据进行图卷积，得到多个第二网格顶点的第二顶点特征。
电子设备在获取到每个第二网格顶点的顶点数据后，分别对每个第二网格顶点的顶点数据进行图卷积，得到每个第二网格顶点的第二顶点特征。本公开实施例中，第二网格顶点是三维虚拟模型上的网格顶点，第二网格顶点属于三维空间中的网格顶点，因此该多个第二网格顶点可以看作是三维的图数据，通过对多个第二网格顶点的顶点数据进行图卷积，得到网格顶点的顶点特征，从而捕获网格顶点在三维空间中网格顶点之间的空间关系，提高了顶点特征的信息量以及准确性，使得该顶点特征能够更好地对第二网格顶点进行表征。
在一些实施例中，电子设备确定第二网格顶点对应的多个第二邻接顶点，该第二邻接顶点是指该多个第二网格顶点中，与该第二网格顶点直接或间接相连的网格顶点。电子设备基于该第二网格顶点的顶点数据和多个第二邻接顶点的顶点数据，提取该第二网格顶点的第二顶点特征。电子设备对多个第二网格顶点中的每个第二网格顶点均执行上述操作，结合网格顶点本身的顶点数据和邻接顶点的顶点数据，从而提取每个第二网格顶点的第二顶点特征。
在步骤204中，电子设备基于多个第一网格顶点的第一顶点特征和多个第二网格顶点的第二顶点特征，检测多个第一网格顶点中的第一关键点和多个第二网格顶点中的第二关键点。
电子设备基于多个第一网格顶点的第一顶点特征，检测该多个第一网格顶点中的第一关键点，并基于多个第二网格顶点的第二顶点特征，检测该多个第二网格顶点中的第二关键点。其中，检测到的第一关键点的数量为多个，检测到的第二关键点的数量为多个，且第一关键点的数量与第二关键点的数量相等，一个第一关键点与一个第二关键点对应。可选地，相互对应的第一关键点和第二关键点属于相同类型的关键点，例如均属于眉毛上的关键点或者均属于嘴巴上的关键点等。
由于顶点特征是通过对顶点数据进行图卷积得到的，该顶点特征包含了该网格顶点在三维空间中的位置关系以及与其他邻接顶点之间的关联关系，因此本公开实施例中基于顶点特征来检测关键点，能够考虑到每个网格顶点本身的位置关系和与其他邻接顶点之间的关联关系，增强了在三维空间中多种维度上的考量，有利于提高检测关键点的准确性。
在步骤205中，电子设备基于第一关键点的顶点数据以及第二关键点的顶点数据，对多个第二网格顶点中的非关键点的顶点数据进行调整，将多个第二网格顶点的顶点数据构成三维虚拟模型的表情数据，以使表情数据所指示的表情与三维面部网格的表情匹配。
其中，非关键点是指多个第二网格顶点中除了第二关键点之外的网格顶点。由于第一关键点是三维面部网格上的关键点，第二关键点是三维虚拟模型上的关键点，且第一关键点和第二关键点一一对应，多个第二网格顶点中的非关键点的顶点数据会受到关键点的影响，那么电子设备以第一关键点的顶点数据与对应的第二关键点的顶点数据为基准，即可对多个第二网格顶点中的非关键点的顶点数据进行调整，将调整后的多个第二网格顶点的顶点数据构成三维虚拟模型的表情数据，使得该表情数据所指示的表情与三维面部网格的表情匹配。例如，三维面部网格的表情为微笑，则该表情数据所指示的表情也是微笑，从而实现将三维面部网格的表情迁移至三维虚拟模型。
本公开实施例提供的方法，三维面部网格中包括多个第一网格顶点，三维虚拟模型中包括多个第二网格顶点，考虑到网格顶点属于三维空间中的顶点，因此对网格顶点的顶点数据进行图卷积，来得到网格顶点的顶点特征，从而捕获网格顶点在三维空间中网格顶点之间的空间关系，因此根据该顶点特征检测关键点，能够检测到三维面部网格以及三维虚拟模型中具有代表性的关键点，以便后续利用关键点的顶点数据对三维虚拟模型中的非关键点的顶点数据进行调整，从而得到三维虚拟模型的表情数据，使得该三维虚拟模型的表情数据所指示的表情与三维面部网格的表情匹配。该方法操作简单方便，且由于在提取顶点特征时考虑了三维空间中网格顶点之间的空间关系，因此根据该顶点特征进行关键点检测的准确性较高，进而根据检测到的关键点确定表情数据的准确性较高。
在上述图2所示的实施例的基础上，电子设备利用网格顶点的顶点数据和前序顶点数据，提取网格顶点的顶点特征。电子设备基于网格顶点的顶点特征先确定网格顶点的概率特征，再利用概率特征确定关键点。具体过程详见下述图3所示的实施例。
图3是根据一示例性实施例示出的另一种表情数据生成方法的流程图，该方法由电子设备执行，参见图3，该方法包括以下步骤。
在步骤301中，电子设备确定多个第一网格顶点的顶点数据和多个第二网格顶点的顶点数据。
其中，该多个第一网格顶点是基于真实面部对应的三维面部网格得到的，该多个第二网格顶点是基于三维虚拟模型得到的。
在一些实施例中，该三维面部网格是基于电子设备上的摄像组件拍摄的真实面部得到的，该电子设备上还运行有网格顶点识别程序，电子设备通过该网格顶点识别程序，识别该三维面部网格中的网格顶点，得到该三维面部网格中的多个第一网格顶点的顶点数据。例如，该多个第一网格顶点的数量为1220个。
在一些实施例中，电子设备上还运行有模型创建应用，该模型创建应用用于创建三维虚拟模型，电子设备在通过该模型创建应用创建三维虚拟模型后，获取该三维虚拟模型中的多个第二网格顶点的顶点数据。例如，该多个第二网格顶点的数量为2000个到3000个之间。
图4是根据一示例性实施例示出的一种三维面部网格和三维虚拟模型的示意图，如图4所示，电子设备获取通过拍摄真实面部得到的三维人脸图像401，并获取三维虚拟模型402。
在步骤302中，电子设备基于多个第一网格顶点的顶点数据进行图卷积，得到多个第一网格顶点的第一顶点特征。
本公开实施例中，电子设备获取第一顶点特征，包括以下两种获取方式。
第一种获取方式：电子设备基于多个第一网格顶点的顶点数据和前序顶点数据进行图卷积，得到多个第一网格顶点的第一顶点特征。
第一网格顶点的前序顶点数据为第一网格顶点在当前的三维面部网格的前序三维面部网格中的顶点数据，该前序三维面部网格是指位于当前的三维面部网格之前的目标数量帧的三维面部网格，例如位于当前的三维面部网格之前的15帧的三维面部网格等。
本公开实施例中，当前的三维面部网格是连续的多帧三维面部网格中的其中一帧三维面部网格，考虑到面部表情在时序上具有连续性，因此相邻的两帧三维面部网格中的同一个第一网格顶点的顶点数据也具有时序上的关联性，因此在提取第一网格顶点的顶点特征时，不仅考虑了该第一网格顶点的顶点数据，还考虑了该第一网格顶点在前序三维面部网格中的顶点数据，从而捕获网格顶点在三维空间中网格顶点之间的空间关系，以及同一网格顶点在时序中上的连贯性，使得提取到的顶点特征同时包含了空间维度和时序维度上的特征，进一步提高了顶点特征的信息量以及准确性，使得该顶点特征能够更好地对第一网格顶点进行表征。
在一些实施例中，电子设备基于第一网格顶点的顶点数据和前序顶点数据、多个第一邻接顶点的顶点数据和前序顶点数据，提取第一网格顶点的第一顶点特征。第一邻接顶点的前序顶点数据为第一邻接顶点在当前的三维面部网格的前序三维面部网格中的顶点数据。本公开实施例不仅考虑了第一网格顶点的顶点数据，还考虑了该第一网格顶点的第一邻接顶点的顶点数据，以及该第一网格顶点在前序三维面部网格中的顶点数据，以及该第一邻接顶点在前序三维面部网格中的顶点数据，从而捕获网格顶点在三维空间中网格顶点之间的空间关系，以及同一网格顶点在时序中上的连贯性。
在一些实施例中，如图5所示，电子设备基于第一网格顶点的顶点数据和前序顶点数据、多个第一邻接顶点的顶点数据和前序顶点数据，提取第一网格顶点的第一顶点特征，包括以下步骤3021-步骤3023。
3021、电子设备基于多个第一网格顶点的顶点数据和前序顶点数据融合得到的数据，分别提取多个第一网格顶点的时序特征。
电子设备获取第一网格顶点的顶点数据和前序顶点数据，将该顶点数据和前序顶点数据进行融合，得到融合顶点数据，对该融合顶点数据进行特征提取，得到该第一网格顶点的时序特征。由于时序特征是基于连续的两帧三维面部网格中的顶点数据所提取的，因此该时序特征能够表征网格顶点在时序上的连贯性，第一网格顶点的时序特征用于表征该第一网格顶点的顶点数据与前序顶点数据之间的关联性。
可选地，第一网格顶点的顶点数据和前序顶点数据均包括m个类型的子数据，m为正整数。例如该m个类型的子数据包括坐标、法线方向以及法线纹理等。电子设备对第一网格顶点的顶点数据和前序顶点数据融合得到的数据进行卷积，得到卷积特征，该卷积特征包括2*m个类型的子特征。电子设备将前m个类型的子特征作为权重，对后m个类型的子特征进行加权，得到时序特征。
例如，电子设备对第一网格顶点的顶点数据和前序顶点数据进行融合，得到融合顶点数据，然后使用一维CNN(Convolutional Neural Network，卷积神经网络)对融合顶点数据进行卷积，得到卷积特征。电子设备将卷积特征的前m个类型的子特征输入非线性激活函数进行处理，得到处理后的前m个类型的子特征，电子设备将处理后的前m个类型的子特征作为权重，对后m个类型的子特征进行加权，得到时序特征，该时序特征包括加权后的m个类型的子特征。
3022、电子设备对多个第一网格顶点的时序特征进行图卷积，得到多个第一网格顶点的时空特征。
在一些实施例中，电子设备还基于第一邻接顶点的顶点数据和前序顶点数据融合得到的数据，提取第一邻接顶点的时序特征。电子设备获取第一邻接顶点的顶点数据和前序顶点数据，将该顶点数据和前序顶点数据进行融合，得到融合顶点数据，对该融合顶点数据进行特征提取，得到该第一邻接顶点的时序特征。则电子设备对该多个第一网格顶点的时序特征进行图卷积的过程，包括：基于第一网格顶点的时序特征和多个第一邻接顶点的时序特征融合得到的特征，提取第一网格顶点的时空特征。
电子设备获取第一网格顶点的时序特征，以及多个第一邻接顶点的时序特征，将该第一网格顶点的时序特征和多个第一邻接顶点的时序特征进行融合，得到融合时序特征，电子设备对该融合时序特征进行特征提取，得到第一网格顶点的时空特征。由于时空特征是基于相互邻接的网格顶点的时序特征所提取的，因此该时空特征既能够表征网格顶点在时序上的连贯性，又能够表征网格顶点在空间上的关联性。
可选地，电子设备将第一网格顶点的时序特征和多个第一一阶邻接顶点的时序特征进行融合，得到一阶融合时序数据，基于一阶融合时序数据提取第一网格顶点的一阶时空特征，第一一阶邻接顶点是指与第一网格顶点直接相连的网格顶点。电子设备将第一网格顶点的一阶时空特征和多个第一二阶邻接顶点的一阶时空特征进行融合，得到二阶融合时序数据，基于二阶融合时序数据提取第一网格顶点的二阶时空特征，直至当前得到的时空特征对应的阶数达到目标阶数，将当前得到的时空特征确定为第一网格顶点的时空特征，第一二阶邻接顶点是指除了第一网格顶点之外的与第一一阶邻接顶点直接相连的网格顶点。其中，该过程与下述第二种获取方式中获取第一顶点特征的方式同理。
3023、电子设备基于多个第一网格顶点的时空特征和前序时空特征融合得到的特征，提取多个第一网格顶点的第一顶点特征。
其中，该第一网格顶点的前序时空特征为第一网格顶点在当前的三维面部网格的前序三维面部网格中的时空特征。对于任一第一网格顶点，电子设备基于该第一网格顶点的时空特征和前序时空特征融合得到的特征，提取该第一网格顶点的第一顶点特征。
在一些实施例中，电子设备获取第一网格顶点的时空特征和前序时空特征，第一网格顶点的前序时空特征为第一网格顶点在当前的三维面部网格的前序三维面部网格中的时空特征。电子设备将该时空特征和前序时空特征进行融合，得到融合时空特征，对该融合时空特征进行特征提取，得到该第一网格顶点的第一顶点特征。其中，该步骤3023中提取第一顶点特征的过程与上述步骤3021中提取时序特征的过程同理。
可选地，电子设备对该融合时空特征进行特征提取，得到初始第一顶点特征，然后将该初始第一顶点特征进行压缩(例如全连接)，得到该第一网格顶点的第一顶点特征。
本公开实施例中，为了获取连续的多帧三维面部网格中更为流畅的表情信息，将当前的三维面部网格中的顶点数据结合前序三维面部网格中的顶点数据进行特征提取，从而提取时序维度上的时序特征，该时序特征所表征的表情更加稳定自然，从而避免导致提取的特征缺乏时序上的变化信息，充分保留时序上的平移不变性，使得提取的特征在时序上更加连贯。并且，在此过程中，还结合相互邻接的网格顶点的顶点数据进行特征提取，适应了三维空间中网格顶点之间的空间关系，使得最终提取的顶点特征在空间维度上更加平滑。
其中，通过执行上述步骤3022-步骤3023，电子设备实现了基于多个第一网格顶点的时序特征进行图卷积，得到多个第一网格顶点的第一顶点特征。在另一实施例中，电子设备还可以直接对该多个第一网格顶点的时序特征进行图卷积，得到该多个第一网格顶点的第一顶点特征，而无需基于多个第一网格顶点的时空特征和前序时空特征融合得到的特征进行特征提取。
第二种获取方式：电子设备将第一网格顶点的顶点数据和多个第一一阶邻接顶点的顶点数据进行融合，得到一阶融合数据，基于一阶融合数据提取第一网格顶点的一阶顶点特征，该第一一阶邻接顶点是指与第一网格顶点直接相连的网格顶点。电子设备将第一网格顶点的一阶顶点特征和多个第一二阶邻接顶点的一阶顶点特征进行融合，得到二阶融合数据，基于二阶融合数据提取第一网格顶点的二阶顶点特征，直至当前得到的顶点特征对应的阶数达到目标阶数，将当前得到的顶点特征确定为第一顶点特征，该第一二阶邻接顶点是指除了第一网格顶点之外的与第一一阶邻接顶点直接相连的网格顶点。
该目标阶数为一种超参数，每阶还对应有采样数量，该采样数量是指所需利用的邻接顶点的数量，该采样数量也是一种超参数。然后，电子设备按照上述步骤对多个第一网格顶点中的每个第一网格顶点进行遍历，以确定每个第一网格顶点当前阶的顶点特征。
可选地，以一阶为例，电子设备将第一网格顶点的顶点数据和多个第一一阶邻接顶点的顶点数据进行聚合，得到邻接聚合数据，这里所说的聚合包括池化、加权求和或者加权平均等方式。然后电子设备将该第一网格顶点的顶点数据和该邻接聚合数据进行拼接，得到一阶融合数据，将该一阶融合数据与当前阶的卷积核相乘，得到卷积结果，再将该卷积结果进行非线性激活以及正则化，得到一阶顶点特征。
本公开实施例中，分别利用不同阶的邻接顶点的顶点数据，进行高阶特征提取，依次结合与第一网格顶点直接相连的邻接顶点以及与第一网格顶点间接相连的邻接顶点，因此在提取顶点特征时实现了空间上的过渡平滑，进一步提高特征提取的效果。
在步骤303中，电子设备基于多个第二网格顶点的顶点数据进行图卷积，得到多个第二网格顶点的第二顶点特征。
在一些实施例中，电子设备基于第二网格顶点的顶点数据和多个第二邻接顶点的顶点数据，提取第二网格顶点的第二顶点特征。第二邻接顶点是指与第二网格顶点直接或间接相连的网格顶点。
可选地，电子设备将第二网格顶点的顶点数据和多个第二一阶邻接顶点的顶点数据进行融合，得到第二网格顶点的一阶融合数据，基于该一阶融合数据提取第二网格顶点的一阶顶点特征，该第二一阶邻接顶点是指与第二网格顶点直接相连的网格顶点。电子设备将第二网格顶点的一阶顶点特征和多个第二二阶邻接顶点的一阶顶点特征进行融合，得到第二网格顶点的二阶融合数据，基于该二阶融合数据提取第二网格顶点的二阶顶点特征，直至当前得到的顶点特征对应的阶数达到目标阶数，将当前得到的顶点特征确定为第二顶点特征，该第二二阶邻接顶点是指除了第二网格顶点之外的与第二一阶邻接顶点直接相连的网格顶点。
该步骤303中提取第二顶点特征的过程，与上述步骤302中提取第一顶点特征的过程同理，在此不再赘述。
在步骤304中，电子设备基于多个第一网格顶点的第一顶点特征和多个第二网格顶点的第二顶点特征，分别确定多个第一网格顶点和多个第二网格顶点属于k种预设关键点的概率。
其中，k为正整数。该k种预设关键点可以理解为是k种不同类型的关键点，由于面部不同位置上的点对周围点的影响程度不同，因此通过确定k种不同类型的关键点，后续可以根据不同类型的关键点来对非关键点进行调整，相当于将关键点作为了基准点。例如k种预设关键点包括位于眉毛上的关键点、位于眼睛上的关键点或者位于嘴巴上的关键点等。
在一些实施例中，多个第一网格顶点属于k种预设关键点的概率可以为k种预设关键点对应的第一概率图，第i种预设关键点对应的第一概率图上的像素值表示对应位置上的第一网格顶点属于第i种预设关键点的概率，i为不大于k的正整数。多个第二网格顶点属于k种预设关键点的概率也可以为k种预设关键点对应的第二概率图，第i种预设关键点对应的第二概率图上的像素值表示对应位置上的第二网格顶点属于第i种预设关键点的概率。
在一些实施例中，电子设备对第一网格顶点的第一顶点特征和多个第一邻接顶点的第一顶点特征进行编码，得到第一网格顶点的编码特征，对第一网格顶点的编码特征和多个第一邻接顶点的编码特征进行解码，得到第一网格顶点属于k种预设关键点的概率，第一邻接顶点是指与第一网格顶点直接或间接相连的网格顶点。电子设备对第二网格顶点的第二顶点特征和多个第二邻接顶点的第二顶点特征进行编码，得到第二网格顶点的编码特征，对第二网格顶点的编码特征和多个第二邻接顶点的编码特征进行解码，得到第二网格顶点属于k种预设关键点的概率，第二邻接顶点是指与第二网格顶点直接或间接相连的网格顶点。
可选地，电子设备对第一网格顶点的第一顶点特征和多个第一邻接顶点的第一顶点特征进行多次下采样卷积，得到多个编码特征。电子设备对第一网格顶点的多个编码特征和多个第一邻接顶点的多个编码特征进行相同次数的上采样卷积，得到第一网格顶点的解码特征，然后基于第一网格顶点的解码特征和多个第一邻接顶点的解码特征，确定该第一网格顶点属于k种预设关键点的概率。例如，电子设备利用U型Encoder-Decoder(编码-解码)网络进行多次下采样卷积和上采样卷积。
在步骤305中，电子设备基于多个第一网格顶点和多个第二网格顶点属于k种预设关键点的概率，从多个第一网格顶点中确定k个第一关键点，以及从多个第二网格顶点中确定k个第二关键点。
k为正整数，电子设备基于多个第一网格顶点属于k种预设关键点的概率，从该多个第一网格顶点中确定k个第一关键点，该k个第一关键点分别属于k种预设关键点。电子设备基于多个第二网格顶点属于k种预设关键点的概率，从该多个第二网格顶点中确定k个第二关键点，该k个第二关键点分别属于k种预设关键点。其中，属于同一种预设关键点的第一关键点和第二关键点对应。例如，属于第i种预设关键点的第一关键点和属于第i种预设关键点的第二关键点对应。
本公开实施例中，利用图卷积得到的顶点特征来检测关键点，由于顶点特征包含了该网格顶点在三维空间中的位置关系，因此本公开实施例中基于顶点特征来检测关键点，能够考虑到每个网格顶点本身的位置关系，增强了在三维空间中多种维度上的考量，有利于提高检测关键点的准确性。并且，通过设置k种预设关键点，形成了三维面部网格中的第一关键点与三维虚拟模型中的第二关键点一一对应的关系，有利于后续根据该对应关系生成三维虚拟模型的表情数据。
在一些实施例中，电子设备在多个第一网格顶点中，将属于第i种预设关键点的概率最大的第一网格顶点，确定为第i个第一关键点，从而得到k个第一关键点。电子设备在多个第二网格顶点中，将属于第i种预设关键点的概率最大的第二网格顶点，确定为第i个第二关键点，从而得到k个第一关键点。
在一些实施例中，电子设备以多个第一网格顶点的第i个概率为权重，对多个第一网格顶点的坐标进行加权平均，将所得到的坐标对应的网格顶点确定为第i个第一关键点，以多个第二网格顶点的第i个概率为权重，对多个第二网格顶点的坐标进行加权平均，将所得到的坐标对应的网格顶点确定为第i个第二关键点。
上述步骤304-步骤305也即是，电子设备基于多个第一网格顶点的第一顶点特征和多个第二网格顶点的第二顶点特征，检测多个第一网格顶点中的第一关键点和多个第二网格顶点中的第二关键点，其中一个第一关键点与一个第二关键点对应。
在步骤306中，电子设备基于第一关键点的顶点数据以及第二关键点的顶点数据，对多个第二网格顶点中的非关键点的顶点数据进行调整，将多个第二网格顶点的顶点数据构成三维虚拟模型的表情数据，以使表情数据所指示的表情与三维面部网格的表情匹配。
由于第一关键点是三维面部网格上的关键点，第二关键点是三维虚拟模型上的关键点，且第一关键点和第二关键点一一对应，多个第二网格顶点中的非关键点的顶点数据会受到关键点的影响，那么电子设备以第一关键点的顶点数据与对应的第二关键点的顶点数据为基准，即可对多个第二网格顶点中的非关键点的顶点数据进行调整，将调整后的多个第二网格顶点的顶点数据构成三维虚拟模型的表情数据，使得该表情数据所指示的表情与三维面部网格的表情匹配。
本公开实施例中，电子设备提取网格顶点的顶点特征，根据顶点特征检测关键点，然后利用三维面部网格中的关键点与三维虚拟模型中的关键点之间的对应关系，即可确定三维虚拟模型的表情数据，相比于需要通过面部动作捕捉设备进行面部表情迁移的方式，本公开实施例所提供的方法明显降低了成本，简化了面部表情迁移中繁琐的流程。
本公开实施例提供的方法，三维面部网格中包括多个第一网格顶点，三维虚拟模型中包括多个第二网格顶点，考虑到网格顶点属于三维空间中的顶点，因此采用图卷积的方式提取网格顶点的顶点特征，从而捕获网格顶点在三维空间中网格顶点之间的空间关系，因此根据该顶点特征检测关键点，能够检测到三维面部网格以及三维虚拟模型中具有代表性的关键点，以便后续利用关键点的顶点数据对三维虚拟模型中的非关键点的顶点数据进行调整，从而得到三维虚拟模型的表情数据，使得该三维虚拟模型的表情数据所指示的表情与三维面部网格的表情匹配。该方法操作简单方便，且由于在提取顶点特征时考虑了三维空间中网格顶点之间的空间关系，因此根据该顶点特征进行关键点检测的准确性较高，进而根据检测到的关键点确定表情数据的准确性较高。
在上述图3所示的实施例的基础上，电子设备基于第一关键点的顶点数据以及第二关键点的顶点数据，对多个第二网格顶点中的非关键点的顶点数据进行调整，将调整后的多个第二网格顶点的顶点数据构成三维虚拟模型的表情数据的过程，详见下述图6所示的实施例。
图6是根据一示例性实施例示出的再一种表情数据生成方法的流程图，该方法由电子设备执行，参见图6，该方法包括以下步骤。
在步骤601中，电子设备确定第一关键点的坐标、第二关键点与非关键点之间的距离以及非关键点对应的第一权重。
首先需要说明的是，在步骤601-步骤603中，以确定某一个非关键点的候选顶点数据为例进行说明。实际上，电子设备按照该步骤601-步骤603，分别确定三维虚拟模型中的每个非关键点的候选顶点数据。其中，非关键点是指多个第二网格顶点中除了k个第二关键点之外的网格顶点。
电子设备确定第一关键点的坐标和第二关键点的坐标以及非关键点的坐标，根据第二关键点的坐标和非关键点的坐标确定该第二关键点与该非关键点之间的距离。电子设备还确定该第一关键点和第二关键点针对于该非关键点的第一权重，该第一权重表示该第一关键点和第二关键点对该非关键点的影响程度。其中，以第一关键点和第二关键点所属的预设关键点为基准，当第一关键点和第二关键点所属的预设关键点产生位移时，会驱动非关键点产生相应的位移，这里所说的影响程度也即是该非关键点受到预设关键点的驱动进行位移的大小程度，如果非关键点受到预设关键点的影响程度较大，则该非关键点受到预设关键点的驱动所产生的位移也比较大，例如，位于眉毛周围的非关键点受到位于眉毛上的关键点的影响程度较大。
在一些实施例中，第一关键点和第二关键点的数量均为k个，第i个第一关键点和第i个第二关键点构成第i个组合，k为正整数，i为不大于k的正整数。如图7所示，电子设备确定k个组合针对每个非关键点的第一权重的过程，包括以下步骤6011-步骤6015。
6011、电子设备获取多个第一网格顶点的第一权重特征和属于k种预设关键点的概率。
其中，第一网格顶点的第一权重特征表示该第一网格顶点对其他第一网格顶点的影响程度，这里的影响程度是指在第一网格顶点发生位移时，其他第一网格顶点受到该第一网格顶点的驱动产生位移的大小程度。第一网格顶点属于k种预设关键点的概率的获取方式详见上述步骤304，在此不再赘述。
6012、电子设备以多个第一网格顶点的第i个概率为权重，对多个第一网格顶点的第一权重特征进行加权平均，得到第i个第二权重特征。
每个第一网格顶点均对应有各自的第一权重特征，每个第一网格顶点还对应有k个概率，第一网格顶点的第i个概率为该第一网格顶点属于第i种预设关键点的概率。电子设备以多个第一网格顶点的第i个概率为权重，对多个第一网格顶点的第一权重特征进行加权平均，得到第i个第二权重特征，采用相同的方法，电子设备能够得到k个第二权重特征。
其中，每个第二权重特征均包括多个第三权重，第i个第二权重特征中的每个第三权重表示第i个第一关键点对一个第一网格顶点的影响程度。可选地，该第二权重特征为一种雅克比矩阵，该雅克比矩阵中的系数即为第二权重特征中的多个第三权重。
6013、电子设备获取多个第二网格顶点的第三权重特征和属于k种预设关键点的概率。
其中，第二网格顶点的第三权重特征表示第二网格顶点对其他第二网格顶点的影响程度，这里的影响程度是指在第二网格顶点发生位移时，其他第二网格顶点受到该第二网格顶点的驱动产生位移的大小程度。第二网格顶点属于k种预设关键点的概率的获取方式详见上述步骤304，在此不再赘述。
6014、电子设备以多个第二网格顶点的第i个概率为权重，对多个第二网格顶点的第三权重特征进行加权平均，得到第i个第四权重特征。
每个第二网格顶点均对应有各自的第三权重特征，每个第二网格顶点还对应有k个概率，第二网格顶点的第i个概率为该第二网格顶点属于第i种预设关键点的概率。电子设备以多个第二网格顶点的第i个概率为权重，对多个第二网格顶点的第三权重特征进行加权平均，得到第i个第四权重特征，采用相同的方法，电子设备能够得到k个第四权重特征。
其中，每个第四权重特征均包括多个第四权重，第i个第四权重特征中的每个第四权重表示第i个第二关键点对一个第二网格顶点的影响程度。可选地，该第四权重特征为一种雅克比矩阵，该雅克比矩阵中的系数即为第四权重特征中的多个第四权重。
6015、电子设备将第i个第二权重特征的逆特征和第i个第四权重特征相乘，得到第i个组合的第五权重特征。
第i个第一关键点和第i个第二关键点构成第i个组合，电子设备对第i个第二权重特征求逆，得到该第i个第二权重特征的逆特征，将该逆特征和第i个第四权重特征相乘，得到该第i个组合的第五权重特征，该第五权重特征包括第i个组合针对于每个非关键点的第一权重。电子设备采用相同的方法，能够得到k个组合中每个组合对应的第五权重特征。
在步骤602中，电子设备基于坐标、距离和第一权重，确定非关键点的位移参数。
电子设备在获取到第一关键点的坐标、第二关键点与非关键点之间的距离以及该第一权重后，基于该坐标、距离和第一权重，确定该非关键点的位移参数，该位移参数用于指示该非关键点的移动距离和移动方向。
在一些实施例中，电子设备对坐标和距离进行归一化，得到归一化坐标和归一化距离，将归一化距离和第一权重相乘，得到候选位移参数，将候选位移参数与归一化坐标相加，得到位移参数。
可选地，电子设备采用以下公式，确定该非关键点的位移参数。
Ti(s)＝zi+Di·(s-si)；
其中，Ti(s)表示基于第i个组合确定的非关键点的位移参数，zi表示第i个组合中的第一关键点的归一化坐标，Di表示第i个组合针对该非关键点的第一权重，s表示非关键点的归一化坐标，si表示第i个组合中的第二关键点的归一化坐标。
需要说明的是，本公开实施例仅以在获取到第二关键点与非关键点之间的距离后再进行归一化为例，说明获取归一化距离的方式。在另一实施例中，电子设备获取第二关键点的归一化坐标和非关键点的归一化坐标，将该第二关键点的归一化坐标和非关键点的归一化坐标之间的距离，确定为归一化距离。
在步骤603中，电子设备基于非关键点的位移参数，对非关键点的顶点数据进行调整，得到调整后的顶点数据。
由于位移参数用于指示非关键点的移动距离和移动方向，也即是如果只按照该位移参数对非关键点进行移动，仅能确定非关键点移动后的坐标，但是本公开实施例中非关键点还需要由除了坐标之外的其他顶点数据进行表征，例如法线方向或者法线纹理等。考虑到非关键点的移动后的顶点数据取决于该非关键点的移动距离和移动方向，因此电子设备可以基于该非关键点的位移参数，对该非关键点的顶点数据进行调整，得到该非关键点调整后的候选顶点数据。
在一些实施例中，电子设备将非关键点的归一化坐标与位移参数相加，得到候选目的坐标，在三维虚拟模型中，确定位于非关键点的归一化坐标和候选目的坐标之间的多个候选途经点，将非关键点的顶点数据与多个候选途经点的顶点数据进行融合，得到调整后的顶点数据。
其中，该候选目的坐标指示的是期望将该非关键点移动至的位置，则该多个候选途经点相当于是按照该位移参数对非关键点进行移动时所产生的移动路径上的途经点。本公开实施例中，考虑到三维虚拟模型中的网格顶点的顶点数据与周围的网格顶点数据具有一定的关联性，因此借助该非关键点的顶点数据与移动路径上的候选途经点的顶点数据，能够确定该非关键点移动后的候选顶点数据。可选地，电子设备采用插值法，将非关键点的顶点数据与多个候选途经点的顶点数据进行融合，得到该调整后的顶点数据。
在一些实施例中，第一关键点和第二关键点的数量均为k个，第i个第一关键点和第i个第二关键点构成第i个组合，k为正整数，i为不大于k的正整数。电子设备基于第i个组合对应的坐标、距离和第一权重，确定非关键点的位移参数；基于非关键点的位移参数，对非关键点的顶点数据进行调整，得到一个候选顶点数据；将基于k个组合确定的k个候选顶点数据进行融合，得到调整后的顶点数据。
对于三维虚拟模型中的每个非关键点，该非关键点都对应有基于k个组合确定的k个候选顶点数据。因此电子设备对于每个非关键点，对该非关键点的k个候选顶点数据进行融合，得到该非关键点的调整后的顶点数据，从而能够得到三维虚拟模型中的每个非关键点的调整后的顶点数据。
可选地，电子设备基于非关键点的坐标与k个第二关键点的坐标，分别确定k个第二关键点的第二权重，以使根据k个第二权重，对k个第二关键点的坐标进行加权平均所得到的坐标等于非关键点的坐标，该第二权重可以理解为第二关键点对非关键点在距离上的影响程度，相当于第二关键点对非关键点的“蒙皮权重”。第二关键点与非关键点之间的距离越远，该第二关键点的第二权重越小，第二关键点与非关键点之间的距离越近，该第二关键点的第二权重越大。电子设备基于k个第二关键点的第二权重，对k个候选顶点数据进行加权平均，得到调整后的顶点数据。
在步骤604中，电子设备将多个第二网格顶点的顶点数据构成三维虚拟模型的表情数据。
三维虚拟模型上包括多个第二网格顶点，该多个第二网格顶点包括k个第二关键点和多个非关键点，电子设备获取k个第二关键点的顶点数据，获取多个非关键点的调整后的顶点数据，将该k个第二关键点的顶点数据和多个非关键点的调整后的顶点数据，构成该三维虚拟模型的表情数据。
其中，三维虚拟模型上的多个第二网格顶点的顶点数据构成该三维虚拟模型的原始表情数据，该原始表情数据指示原始表情，本公开实施例基于该多个第二网格顶点的顶点数据得到了该三维虚拟模型的新的表情数据，则该表情数据相当于是基于原始表情数据进行调整后的表情数据，该表情数据所指示的表情与三维面部网格的表情匹配，从而将三维虚拟模型所表示的原始表情驱动成与三维面部网格的表情匹配，实现了将三维面部网格的面部表情迁移至三维虚拟模型。
本公开实施例提供的方法，由于第一关键点是三维面部网格上的关键点，第二关键点是三维虚拟模型上的关键点，且第一关键点和第二关键点一一对应，多个第二网格顶点中的非关键点的顶点数据会受到关键点的影响，那么电子设备以第一关键点的顶点数据与对应的第二关键点的顶点数据为基准，对多个第二网格顶点中的非关键点的顶点数据进行调整，将调整后的多个第二网格顶点的顶点数据构成三维虚拟模型的表情数据，使得该表情数据所指示的表情与三维面部网格的表情匹配，实现了面部表情的迁移，操作方便简单。
在上述实施例的基础上，上述实施例的方法可以由电子设备基于网格顶点处理模型执行，该网格顶点处理模型用于基于任一三维面部网格中的网格顶点的顶点数据和任一三维虚拟模型中的网格顶点的顶点数据，确定三维虚拟模型的表情数据，以使该表情数据所指示的表情与该三维面部网格的表情匹配。该网格顶点处理模型的训练过程，详见下述图8所示的实施例。
图8是根据一示例性实施例示出的一种网格顶点处理模型的训练方法的流程图，该方法由电子设备执行，参见图8，该方法包括以下步骤。
在步骤801中，电子设备确定多个第三网格顶点的顶点数据和多个第四网格顶点的顶点数据。
该多个第三网格顶点是基于真实面部对应的样本三维面部网格得到的，该多个第四网格顶点是基于样本三维虚拟模型得到的，其中，该样本三维面部网格与上述实施例中的三维面部网格同理，该样本三维虚拟模型与上述实施例中的三维虚拟模型同理。但是需要说明的是，该样本三维面部网格和上述三维面部网格可以是对同一个真实面部进行拍摄得到的，也可以是不同的真实面部进行拍摄得到的，该样本三维虚拟模型和上述三维虚拟模型可以是同一个模型，也可以是不同的模型。
在步骤802中，电子设备将多个第三网格顶点的顶点数据和多个第四网格顶点的顶点数据输入网格顶点处理模型，得到样本三维虚拟模型的第一表情数据。
电子设备将该多个第三网格顶点的顶点数据和多个第四网格顶点的顶点数据输入网格顶点处理模型，由该网格顶点处理模型基于该多个第三网格顶点的顶点数据和多个第四网格顶点的顶点数据，确定样本三维虚拟模型的第一表情数据。其中，该网格顶点处理模型的处理逻辑，与上述各个实施例中的处理逻辑相同。
在一些实施例中，电子设备调用网格顶点处理模型，基于多个第三网格顶点的顶点数据进行图卷积，得到多个第三网格顶点的第三顶点特征，基于多个第四网格顶点的顶点数据进行图卷积，得到多个第四网格顶点的第四顶点特征，基于多个第三网格顶点的第三顶点特征和多个第四网格顶点的顶点特征，检测多个第三网格顶点中的第三关键点和多个第四网格顶点中的第四关键点，基于第三关键点的顶点数据以及第四关键点的顶点数据，对多个第四网格顶点中的非关键点的顶点数据进行调整，将调整后的多个第四网格顶点的顶点数据构成样本三维虚拟模型的表情数据。
在步骤803中，电子设备提取第一表情数据的第一表情特征和第二表情数据的第二表情特征。
其中，第一表情数据为网格顶点处理模型得到的表情数据，该第一表情数据所指示的表情为对该样本三维虚拟模型中的第四网格顶点进行调整之后该样本三维虚拟模型所表征的表情。第二表情数据为样本三维面部网格的真实表情数据，该第二表情数据所指示的表情为该样本三维面部网格的表情。
该第一表情特征用于表征该第一表情数据所指示的表情，该第二表情特征用于表征该第二表情数据所指示的表情。
在步骤804中，电子设备基于第一表情特征与第二表情特征，训练网格顶点处理模型，以使训练后的网格顶点处理模型所得到的第一表情特征与第二表情特征之间的相似度增大。
本公开实施例中训练网格顶点处理模型的目的是：让网格顶点处理模型得到的第一表情数据所指示的表情与样本三维面部网格的第二表情数据所指示的表情相同，以实现将样本三维面部网格的表情迁移至样本三维虚拟模型。因此该第一表情特征与第二表情特征之间的相似度越大，则该第一表情数据所指示的表情与第二表情数据所指示的表情之间的相似度越大，也即是该网格顶点处理模型的面部表情迁移能力越高，该网格顶点处理模型的准确性越高。
因此，电子设备基于该第一表情特征与第二表情特征，训练网格顶点处理模型，以使训练后的网格顶点处理模型所得到的第一表情特征与第二表情特征之间的相似度增大，从而提高该网格顶点处理模型的准确性。
在一些实施例中，除了该第一表情特征与第二表情特征之外，电子设备还可以结合其他信息，训练该网格顶点处理模型，具体过程参见下述第一种训练方式和第二种训练方式。
第一种训练方式：电子设备调用判别模型，确定第一表情特征对应的第一判别结果，该第一判别结果表示第一表情特征被判别为属于真实表情特征的概率，该真实表情特征是指真实的三维面部网格的表情数据的特征。该判别模型用于判别任一表情特征属于真实表情特征的概率。为了提高网格顶点处理模型生成的表情数据的真实性，电子设备基于第一表情特征、第二表情特征以及第一判别结果，训练网格顶点处理模型，以使训练后的网格顶点处理模型所得到的第一表情特征与第二表情特征之间的相似度增大，且得到的第一判别结果所表示的概率增大，从而提高网格顶点处理模型生成的表情数据的真实性，以避免在进行面部表情迁移时能够得到更加真实的面部表情。
第二种训练方式：其中，该网格顶点处理模型还可以基于多个网格顶点的顶点数据，检测多个网格顶点中的关键点，具体方式参见上述实施例中检测关键点的过程。为了提高该网格顶点处理模型检测关键点的能力，电子设备对多个第三网格顶点的顶点数据进行扰动，得到扰动后的顶点数据，将扰动后的顶点数据输入网格顶点处理模型，得到扰动关键点。然后电子设备基于第一表情特征、第二表情特征、第三关键点的顶点数据与扰动关键点的顶点数据，训练网格顶点处理模型，以使训练后的网格顶点处理模型所得到的第一表情特征与第二表情特征之间的相似度增大，且得到的第三关键点的顶点数据与扰动关键点的顶点数据之间的相似度增大，第三关键点由网格顶点处理模型基于多个第三网格顶点的顶点数据检测得到。
可选地，电子设备对第三网格顶点的顶点数据进行仿射变换或者双线性插值等，得到扰动后的顶点数据。
本公开实施例中，通过训练网格顶点处理模型，使网格顶点处理模型基于扰动前的顶点数据所得到的第三关键点与基于扰动后的顶点数据所得到的第三关键点仅可能保持相同，从而使得检测到的关键点具有一定的稳定性，不易产生剧烈异样的关键点，那么后续根据关键点进行面部表情迁移所得到的表情也会更加柔和。
需要说明的是，上述第一种训练方式和第二种训练方式相结合，也即是：电子设备基于第一表情特征、第二表情特征、第一判别结果、第三关键点的顶点数据与扰动关键点的顶点数据，训练网格顶点处理模型，以使训练后的网格顶点处理模型所得到的第一表情特征与第二表情特征之间的相似度增大，且得到的第一判别结果所表示的概率增大，且得到的第三关键点的顶点数据与扰动关键点的顶点数据之间的相似度增大。
在一些实施例中，电子设备基于第一表情特征与第二表情特征之间的相似度确定第一损失参数，该第一损失参数与该相似度负相关。电子设备基于第一判别结果，确定第二损失参数，该第二损失参数与该第一判别结果表示的概率负相关。电子设备基于第三关键点的顶点数据与扰动关键点的顶点数据之间的相似度，确定第三损失参数，该第三损失参数与该相似度负相关。电子设备将该第一损失参数、第二损失参数和第三损失参数进行加权融合，得到目标损失参数，基于该目标损失参数，训练该网格顶点处理模型，以使基于训练后的网格顶点处理模型所得到的目标损失参数减小。
需要说明的是，在上述第一种训练方式中，电子设备在利用判别结果训练网格顶点处理模型的同时，还可以训练判别模型，从而达到对抗训练的目的。其中，该判别模型的目的是能够区分真实表情特征和非真实表情特征。因此，电子设备还调用判别模型，确定第二表情特征对应的第二判别结果，第二判别结果表示第二表情特征被判别为属于真实表情特征的概率。电子设备基于第一判别结果和第二判别结果，训练判别模型，以使训练后的判别模型得到的第一判别结果所表示的概率减小，且得到的第二判别结果所表示的概率增大，从而提高判别模型的判别能力。
在一些实施例中，电子设备基于第一判别结果和第二判别结果，确定第四损失参数，该第四损失参数与该第一判别结果表示的概率正相关，且与该第二判别结果所表示的概率负相关。电子设备基于该第四损失参数，训练该判别模型，以使训练后的判别模型所得到的第四损失参数减小。
在步骤805中，电子设备调用训练后的网格顶点处理模型，基于三维面部网格中多个网格顶点的顶点数据和三维虚拟模型中多个网格顶点的顶点数据进行图卷积，得到每个网格顶点的顶点特征，基于每个网格顶点的顶点特征检测关键点，基于关键点的顶点数据，对三维虚拟模型中的非关键点的顶点数据进行调整，将三维虚拟模型中的网格顶点的顶点数据构成三维虚拟模型的表情数据，以使表情数据所指示的表情与三维面部网格的表情匹配。
本公开实施例提供的方法，由于网格顶点处理模型的目的是使生成的三维虚拟模型的表情数据所指示的表情与三维面部网格的表情匹配，因此根据第二表情数据的表情特征以及第一表情数据的表情特征之间的相似度，就可以实现对该网格顶点处理模型进行训练，无需手动创建具有相同表情的三维虚拟模型作为样本标签，实现了对网格顶点处理模型的无监督训练，简化了训练网格顶点处理模型的流程，节约了训练网格顶点处理模型的成本。
并且，在训练网格顶点处理模型时，仅关注于三维面部网格的表情数据的表情特征以及三维虚拟模型的表情数据的表情特征，而不关注除了表情特征之外的其他面部特征，从而解耦了三维面部网格和三维虚拟模型之间的驱动关系，也即是使得该网格顶点处理模型能够应用于任一三维面部网格和任一三维虚拟模型之间的面部表情迁移任务中，提高了该网格顶点处理模型的可扩展性，应用更加广泛。
图9是根据一示例性实施例示出的又一种表情数据生成方法的流程图，如图9所示，网格顶点处理模型包括关键点检测网络、权重确定网络和表情数据生成网络。
(1)电子设备将三维面部网格的网格顶点的顶点数据和三维虚拟模型的网格顶点的顶点数据输入至该关键点检测网络中，得到三维面部网格中的关键点和每个关键点对应的雅克比矩阵，该雅克比矩阵与上述方法实施例中的第二权重特征同理，还得到三维虚拟模型中的关键点和每个关键点对应的雅克比矩阵，该雅克比矩阵与上述方法实施例中的第四权重特征同理。(2)电子设备将三维虚拟模型的关键点的顶点数据输入权重确定网络中，得到三维虚拟模型中的每个关键点针对每个非关键点的蒙皮权重，该蒙皮权重与上述方法实施例中的第二权重同理。(3)电子设备将三维面部网格中的关键点的顶点数据和雅克比矩阵、三维虚拟模型中的关键点的顶点数据和雅克比矩阵、蒙皮权重输入表情数据生成网络，得到三维虚拟模型的表情数据。
另外，在该网格顶点处理模型的训练阶段中，该网格顶点处理模型生成的表情数据的表情特征还可以输入至判别模型中，得到判别结果，并基于该判别结果，对该网格顶点处理模型和该判别模型进行对抗训练。
图10是根据一示例性实施例示出的还一种表情数据生成方法的流程图，如图10所示，该方法包括以下步骤。
1001、采集三维面部网格的第一网格顶点的顶点数据，获取三维虚拟模型的第二网格顶点的顶点数据。
1002、提取第一网格顶点的第一顶点特征，提取第二网格顶点的第二顶点特征。
1003、基于第一网格顶点的第一顶点特征，生成第一网格顶点的第一概率图，基于第二网格顶点的第二顶点特征，生成第二网格顶点的第二概率图。
1004、基于第一网格顶点的第一概率图，确定三维面部网格中的第一关键点以及雅克比矩阵，基于第二网格顶点的第二概率图，确定三维虚拟模型中的第二关键点以及雅克比矩阵。
1005、基于第一关键点和第二关键点之间的对应关系，以及雅克比矩阵，确定三维虚拟模型中的非关键点的位移参数。
1006、确定三维虚拟模型中的每个第二关键点针对每个非关键点的蒙皮权重。
1007、基于非关键点的顶点数据、位移参数和蒙皮权重，生成三维虚拟模型的表情数据，并获取三维面部网格的表情数据。
1008、基于三维虚拟模型的表情数据和三维面部网格的表情数据，确定第一损失参数、第二损失参数和第三损失参数。
1009、基于目标损失参数，训练网格顶点处理模型。该目标损失参数是基于第一损失参数、第二损失参数和第三损失参数确定的。
1010、基于三维虚拟模型的表情数据和三维面部人脸的表情数据，确定第四损失参数。
1011、基于第四损失参数，训练判别模型。
图11是根据一示例性实施例示出的一种表情数据生成装置的框图。参见图11，该装置包括：
数据确定单元1101，被配置为执行确定多个第一网格顶点的顶点数据和多个第二网格顶点的顶点数据，多个第一网格顶点是基于真实面部对应的三维面部网格得到的，多个第二网格顶点是基于三维虚拟模型得到的；
图卷积单元1102，被配置为执行基于多个第一网格顶点的顶点数据进行图卷积，得到多个第一网格顶点的第一顶点特征，基于多个第二网格顶点的顶点数据进行图卷积，得到多个第二网格顶点的第二顶点特征；
关键点检测单元1103，被配置为执行基于多个第一网格顶点的第一顶点特征和多个第二网格顶点的第二顶点特征，检测多个第一网格顶点中的第一关键点和多个第二网格顶点中的第二关键点，其中一个第一关键点与一个第二关键点对应；
表情确定单元1104，被配置为执行基于第一关键点的顶点数据以及第二关键点的顶点数据，对多个第二网格顶点中的非关键点的顶点数据进行调整，将多个第二网格顶点的顶点数据构成三维虚拟模型的表情数据，以使表情数据所指示的表情与三维面部网格的表情匹配，非关键点是指多个第二网格顶点中除了第二关键点之外的网格顶点。
本公开实施例提供的装置，三维面部网格中包括多个第一网格顶点，三维虚拟模型中包括多个第二网格顶点，考虑到网格顶点属于三维空间中的顶点，因此对网格顶点的顶点数据进行图卷积，来得到网格顶点的顶点特征，从而捕获网格顶点在三维空间中网格顶点之间的空间关系，因此根据该顶点特征检测关键点，能够检测到三维面部网格以及三维虚拟模型中具有代表性的关键点，以便后续利用关键点的顶点数据对三维虚拟模型中的非关键点的顶点数据进行调整，从而得到三维虚拟模型的表情数据，使得该三维虚拟模型的表情数据所指示的表情与三维面部网格的表情匹配。该方法操作简单方便，且由于在提取顶点特征时考虑了三维空间中网格顶点之间的空间关系，因此根据该顶点特征进行关键点检测的准确性较高，进而根据检测到的关键点确定表情数据的准确性较高。
在一种可能实现方式中，参见图12，图卷积单元1102，包括：
图卷积子单元1112，被配置为执行基于多个第一网格顶点的顶点数据和前序顶点数据进行图卷积，得到多个第一网格顶点的第一顶点特征；
其中，第一网格顶点的前序顶点数据为第一网格顶点在当前的三维面部网格的前序三维面部网格中的顶点数据，前序三维面部网格是指位于当前的三维面部网格之前的目标数量帧的三维面部网格。
在一种可能实现方式中，参见图12，图卷积子单元1112，被配置为执行：
基于多个第一网格顶点的顶点数据和前序顶点数据融合得到的数据，分别提取多个第一网格顶点的时序特征；
基于多个第一网格顶点的时序特征进行图卷积，得到多个第一网格顶点的第一顶点特征。
在一种可能实现方式中，参见图12，图卷积子单元1112，被配置为执行：
对多个第一网格顶点的时序特征进行图卷积，得到多个第一网格顶点的时空特征；
基于多个第一网格顶点的时空特征和前序时空特征融合得到的特征，提取多个第一网格顶点的第一顶点特征，第一网格顶点的前序时空特征为第一网格顶点在当前的三维面部网格的前序三维面部网格中的时空特征。
在一种可能实现方式中，参见图12，第一网格顶点的顶点数据和前序顶点数据均包括m个类型的子数据，m为正整数；图卷积子单元1112，被配置为执行：
对第一网格顶点的顶点数据和前序顶点数据融合得到的数据进行卷积，得到卷积特征，卷积特征包括2*m个类型的子特征；
将前m个类型的子特征作为权重，对后m个类型的子特征进行加权，得到时序特征。
在一种可能实现方式中，参见图12，图卷积单元1102，包括：
特征提取子单元1122，被配置为执行将第一网格顶点的顶点数据和多个第一一阶邻接顶点的顶点数据进行融合，得到一阶融合数据，基于一阶融合数据提取第一网格顶点的一阶顶点特征，第一一阶邻接顶点是指与第一网格顶点直接相连的网格顶点；
特征提取子单元1122，还被配置为执行将第一网格顶点的一阶顶点特征和多个第一二阶邻接顶点的一阶顶点特征进行融合，得到二阶融合数据，基于二阶融合数据提取第一网格顶点的二阶顶点特征，直至当前得到的顶点特征对应的阶数达到目标阶数，将当前得到的顶点特征确定为第一顶点特征，第一二阶邻接顶点是指除了第一网格顶点之外的与第一一阶邻接顶点直接相连的网格顶点。
在一种可能实现方式中，参见图12，关键点检测单元1103，包括：
概率确定子单元1113，被配置为执行基于多个第一网格顶点的第一顶点特征和多个第二网格顶点的第二顶点特征，分别确定多个第一网格顶点和多个第二网格顶点属于k种预设关键点的概率，k为正整数；
关键点确定子单元1123，被配置为执行基于多个第一网格顶点和多个第二网格顶点属于k种预设关键点的概率，从多个第一网格顶点中确定k个第一关键点，以及从多个第二网格顶点中确定k个第二关键点，其中，属于同一种预设关键点的第一关键点和第二关键点对应。
在一种可能实现方式中，参见图12，概率确定子单元1113，被配置为执行：
对第一网格顶点的第一顶点特征和多个第一邻接顶点的第一顶点特征进行编码，得到第一网格顶点的编码特征，对第一网格顶点的编码特征和多个第一邻接顶点的编码特征进行解码，得到第一网格顶点属于k种预设关键点的概率，第一邻接顶点是指与第一网格顶点直接或间接相连的网格顶点；
对第二网格顶点的第二顶点特征和多个第二邻接顶点的第二顶点特征进行编码，得到第二网格顶点的编码特征，对第二网格顶点的编码特征和多个第二邻接顶点的编码特征进行解码，得到第二网格顶点属于k种预设关键点的概率，第二邻接顶点是指与第二网格顶点直接或间接相连的网格顶点。
在一种可能实现方式中，参见图12，关键点确定子单元1123，被配置为执行：
以多个第一网格顶点的第i个概率为权重，对多个第一网格顶点的坐标进行加权平均，将所得到的坐标对应的网格顶点确定为第i个第一关键点，i为不大于k的正整数；
以多个第二网格顶点的第i个概率为权重，对多个第二网格顶点的坐标进行加权平均，将所得到的坐标对应的网格顶点确定为第i个第二关键点。
在一种可能实现方式中，参见图12，表情确定单元1104，包括：
确定子单元1114，被配置为执行确定第一关键点的坐标、第二关键点与非关键点之间的距离以及非关键点对应的第一权重，第一权重表示第一关键点和第二关键点对非关键点的影响程度；
调整子单元1124，被配置为执行基于坐标、距离和第一权重，确定非关键点的位移参数；基于非关键点的位移参数，对非关键点的顶点数据进行调整，得到调整后的顶点数据；
构成子单元1134，被配置为执行将多个第二网格顶点的顶点数据构成三维虚拟模型的表情数据。
在一种可能实现方式中，参见图12，调整子单元1124，被配置为执行：
对坐标和距离进行归一化，得到归一化坐标和归一化距离；
将归一化距离和第一权重相乘，得到候选位移参数；
将候选位移参数与归一化坐标相加，得到位移参数。
在一种可能实现方式中，参见图12，调整子单元1124，被配置为执行：
将非关键点的归一化坐标与位移参数相加，得到候选目的坐标；
在三维虚拟模型中，确定位于非关键点的归一化坐标和候选目的坐标之间的多个候选途经点；
将非关键点的顶点数据与多个候选途经点的顶点数据进行融合，得到调整后的顶点数据。
在一种可能实现方式中，参见图12，第一关键点和第二关键点的数量均为k个，第i个第一关键点和第i个第二关键点构成第i个组合，k为正整数，i为不大于k的正整数；
调整子单元1124，被配置为执行：
基于第i个组合对应的坐标、距离和第一权重，确定非关键点的位移参数；基于非关键点的位移参数，对非关键点的顶点数据进行调整，得到一个候选顶点数据；
将基于k个组合确定的k个候选顶点数据进行融合，得到调整后的顶点数据。
在一种可能实现方式中，参见图12，调整子单元1124，被配置为执行：
基于非关键点的坐标与k个第二关键点的坐标，分别确定k个第二关键点的第二权重，以使根据k个第二权重，对k个第二关键点的坐标进行加权平均所得到的坐标等于非关键点的坐标；
基于k个第二关键点的第二权重，对k个候选顶点数据进行加权平均，得到调整后的顶点数据。
在一种可能实现方式中，参见图12，装置还包括权重确定单元1105，被配置为执行：
获取多个第一网格顶点的第一权重特征和属于k种预设关键点的概率，第一权重特征表示第一网格顶点对其他第一网格顶点的影响程度；
以多个第一网格顶点的第i个概率为权重，对多个第一网格顶点的第一权重特征进行加权平均，得到第i个第二权重特征，第二权重特征包括多个第三权重，每个第三权重表示第i个第一关键点对一个第一网格顶点的影响程度；
获取多个第二网格顶点的第三权重特征和属于k种预设关键点的概率，第三权重特征表示第二网格顶点对其他第二网格顶点的影响程度；
以多个第二网格顶点的第i个概率为权重，对多个第二网格顶点的第三权重特征进行加权平均，得到第i个第四权重特征，第四权重特征包括多个第四权重，每个第四权重表示第i个第二关键点对一个第二网格顶点的影响程度；
将第i个第二权重特征的逆特征和第i个第四权重特征相乘，得到第i个组合的第五权重特征，第五权重特征包括第i个组合针对于每个非关键点的第一权重。
在一种可能实现方式中，参见图12，装置还包括模型训练单元1106，被配置为执行：
确定多个第三网格顶点的顶点数据和多个第四网格顶点的顶点数据，多个第三网格顶点是基于真实面部对应的样本三维面部网格得到的，多个第四网格顶点是基于样本三维虚拟模型得到的；
将多个第三网格顶点的顶点数据和多个第四网格顶点的顶点数据输入网格顶点处理模型，得到样本三维虚拟模型的第一表情数据；
提取第一表情数据的第一表情特征和第二表情数据的第二表情特征，第二表情数据为样本三维面部网格的真实表情数据；
基于第一表情特征与第二表情特征，训练网格顶点处理模型，以使训练后的网格顶点处理模型所得到的第一表情特征与第二表情特征之间的相似度增大。
关于上述实施例中的装置，其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图13是根据一示例性实施例示出的又一种表情数据生成装置的框图。参见图13，该装置包括：
数据确定单元1301，被配置为执行确定多个第三网格顶点的顶点数据和多个第四网格顶点的顶点数据，多个第三网格顶点是基于真实面部对应的样本三维面部网格得到的，多个第四网格顶点是基于样本三维虚拟模型得到的；
数据处理单元1302，被配置为执行将多个第三网格顶点的顶点数据和多个第四网格顶点的顶点数据输入网格顶点处理模型，得到样本三维虚拟模型的第一表情数据；
特征提取单元1303，被配置为执行提取第一表情数据的第一表情特征和第二表情数据的第二表情特征，第二表情数据为样本三维面部网格的真实表情数据；
模型训练单元1304，被配置为执行基于第一表情特征与第二表情特征，训练网格顶点处理模型，以使训练后的网格顶点处理模型所得到的第一表情特征与第二表情特征之间的相似度增大；
表情生成单元1305，被配置为执行调用训练后的网格顶点处理模型，基于三维面部网格中多个网格顶点的顶点数据和三维虚拟模型中多个网格顶点的顶点数据进行图卷积，得到每个网格顶点的顶点特征，基于每个网格顶点的顶点特征检测关键点，基于关键点的顶点数据，对三维虚拟模型中的非关键点的顶点数据进行调整，将三维虚拟模型中的网格顶点的顶点数据构成三维虚拟模型的表情数据，以使表情数据所指示的表情与三维面部网格的表情匹配。
本公开实施例提供的装置，由于网格顶点处理模型的目的是使生成的三维虚拟模型的表情数据所指示的表情与三维面部网格的表情匹配，因此根据第二表情数据的表情特征以及第一表情数据的表情特征之间的相似度，就可以实现对该网格顶点处理模型进行训练，无需手动创建具有相同表情的三维虚拟模型作为样本标签，实现了对网格顶点处理模型的无监督训练，简化了训练网格顶点处理模型的流程，节约了训练网格顶点处理模型的成本。
在一种可能实现方式中，参见图14，装置还包括：
判别单元1306，被配置为执行调用判别模型，确定第一表情特征对应的第一判别结果，第一判别结果表示第一表情特征被判别为属于真实表情特征的概率，真实表情特征是指真实的三维面部网格的表情数据的特征；
模型训练单元1304，被配置为执行基于第一表情特征、第二表情特征以及第一判别结果，训练网格顶点处理模型，以使训练后的网格顶点处理模型所得到的第一表情特征与第二表情特征之间的相似度增大，且得到的第一判别结果所表示的概率增大。
在一种可能实现方式中，参见图14，判别单元1306，还被配置为执行调用判别模型，确定第二表情特征对应的第二判别结果，第二判别结果表示第二表情特征被判别为属于真实表情特征的概率；
模型训练单元1304，还被配置为执行基于第一判别结果和第二判别结果，训练判别模型，以使训练后的判别模型得到的第一判别结果所表示的概率减小，且得到的第二判别结果所表示的概率增大。
在一种可能实现方式中，参见图14，装置还包括：
扰动单元1307，被配置为执行对多个第三网格顶点的顶点数据进行扰动，得到扰动后的顶点数据；
数据处理单元1302，还被配置为执行将扰动后的顶点数据输入网格顶点处理模型，得到扰动关键点；
模型训练单元1304，被配置为执行：
基于第一表情特征、第二表情特征、第三关键点的顶点数据与扰动关键点的顶点数据，训练网格顶点处理模型，以使训练后的网格顶点处理模型所得到的第一表情特征与第二表情特征之间的相似度增大，且得到的第三关键点的顶点数据与扰动关键点的顶点数据之间的相似度增大，第三关键点由网格顶点处理模型基于多个第三网格顶点的顶点数据检测得到。
关于上述实施例中的装置，其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开实施例提供了一种电子设备，该电子设备包括：处理器，以及用于存储该处理器可执行指令的存储器。其中，该处理器被配置为执行指令，以实现如上述表情数据生成方法。
在一些实施例中，该电子设备包括终端。图15是根据一示例性实施例示出的一种终端1500的结构框图。该终端1500可以是便携式移动终端，比如：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1500还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
终端1500包括有：处理器1501和存储器1502。
处理器1501可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1501可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。存储器1502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1502中的非暂态的计算机可读存储介质用于存储至少一条程序代码，该至少一条程序代码用于被处理器1501所执行以实现本公开中方法实施例提供的表情数据生成方法。
在一些实施例中，终端1500还可选包括有：外围设备接口1503和至少一个外围设备。处理器1501、存储器1502和外围设备接口1503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1503相连。具体地，外围设备包括：射频电路1504、显示屏1505、摄像头组件1506和电源1507。
外围设备接口1503可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1501和存储器1502。在一些实施例中，处理器1501、存储器1502和外围设备接口1503被集成在同一芯片或电路板上；在一些其他实施例中，处理器1501、存储器1502和外围设备接口1503中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1504用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1504将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1504包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1504可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1504还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本公开对此不加以限定。
显示屏1505用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1505是触摸显示屏时，显示屏1505还具有采集在显示屏1505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1501进行处理。此时，显示屏1505还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1505可以为一个，设置在电子设备1500的前面板；在另一些实施例中，显示屏1505可以为至少两个，分别设置在电子设备1500的不同表面或呈折叠设计；在另一些实施例中，显示屏1505可以是柔性显示屏，设置在电子设备1500的弯曲表面上或折叠面上。甚至，显示屏1505还可以设置成非矩形的不规则图形，也即异形屏。显示屏1505可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode，有机发光二极管)等材质制备。
摄像头组件1506用于采集图像或视频。可选地，摄像头组件1506包括前置摄像头和后置摄像头。前置摄像头设置在电子设备的前面板，后置摄像头设置在电子设备的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1506还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
电源1507用于为电子设备1500中的各个组件进行供电。电源1507可以是交流电、直流电、一次性电池或可充电电池。当电源1507包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
本领域技术人员可以理解，图15中示出的结构并不构成对终端1500的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种计算机可读存储介质，当计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述表情数据生成方法中的步骤。例如，计算机可读存储介质可以是ROM(只读存储器，Read Only Memory)、RAM(随机存取存储器，Random Access Memory)、CD-ROM(只读光盘，Compact Disc Read-OnlyMemory)、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品，包括计算机程序，计算机程序由电子设备的处理器执行时实现上述表情数据生成方法中的步骤。
本领域技术人员在考虑说明书及实践这里的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (23)

1.一种表情数据生成方法，其特征在于，所述方法包括：
确定多个第一网格顶点的顶点数据和多个第二网格顶点的顶点数据，所述多个第一网格顶点是基于真实面部对应的三维面部网格得到的，所述多个第二网格顶点是基于三维虚拟模型得到的；
基于所述第一网格顶点的顶点数据和多个第一邻接顶点的顶点数据，提取所述第一网格顶点的第一顶点特征，所述第一邻接顶点是指与所述第一网格顶点直接或间接相连的网格顶点；
基于所述第二网格顶点的顶点数据和多个第二邻接顶点的顶点数据，提取所述第二网格顶点的第二顶点特征，所述第二邻接顶点是指与所述第二网格顶点直接或间接相连的网格顶点；
基于所述多个第一网格顶点的第一顶点特征和所述多个第二网格顶点的第二顶点特征，检测所述多个第一网格顶点中的第一关键点和所述多个第二网格顶点中的第二关键点，其中一个所述第一关键点与一个所述第二关键点对应；
确定所述第一关键点的坐标、所述第二关键点与所述多个第二网格顶点中的非关键点之间的距离以及所述非关键点对应的第一权重，所述第一权重表示所述第一关键点和所述第二关键点对所述非关键点的影响程度；基于所述坐标、所述距离和所述第一权重，确定所述非关键点的位移参数；基于所述非关键点的位移参数，对所述非关键点的顶点数据进行调整，得到调整后的顶点数据，将所述多个第二网格顶点的顶点数据构成所述三维虚拟模型的表情数据，以使所述表情数据所指示的表情与所述三维面部网格的表情匹配，所述非关键点是指所述多个第二网格顶点中除了所述第二关键点之外的网格顶点。
2.根据权利要求1所述的表情数据生成方法，其特征在于，所述基于所述第一网格顶点的顶点数据和多个第一邻接顶点的顶点数据，提取所述第一网格顶点的第一顶点特征，包括：
基于所述第一网格顶点的顶点数据和前序顶点数据、所述多个第一邻接顶点的顶点数据和前序顶点数据，提取所述第一网格顶点的所述第一顶点特征；
其中，所述第一网格顶点的前序顶点数据为所述第一网格顶点在当前的三维面部网格的前序三维面部网格中的顶点数据，所述第一邻接顶点的前序顶点数据为所述第一邻接顶点在当前的三维面部网格的前序三维面部网格中的顶点数据，所述前序三维面部网格是指位于当前的三维面部网格之前的目标数量帧的三维面部网格。
3.根据权利要求2所述的表情数据生成方法，其特征在于，所述基于所述第一网格顶点的顶点数据和前序顶点数据、所述多个第一邻接顶点的顶点数据和前序顶点数据，提取所述第一网格顶点的所述第一顶点特征，包括：
基于所述第一网格顶点的顶点数据和前序顶点数据融合得到的数据，提取所述第一网格顶点的时序特征；
基于所述多个第一邻接顶点的顶点数据和前序顶点数据融合得到的数据，分别提取所述多个第一邻接顶点的时序特征；
基于所述第一网格顶点的时序特征和所述多个第一邻接顶点的时序特征，提取所述第一网格顶点的所述第一顶点特征。
4.根据权利要求3所述的表情数据生成方法，其特征在于，所述基于所述第一网格顶点的时序特征和所述多个第一邻接顶点的时序特征，提取所述第一网格顶点的所述第一顶点特征，包括：
基于所述第一网格顶点的时序特征和所述多个第一邻接顶点的时序特征融合得到的特征，提取所述第一网格顶点的时空特征；
基于所述第一网格顶点的时空特征和前序时空特征融合得到的特征，提取所述第一网格顶点的所述第一顶点特征，所述第一网格顶点的前序时空特征为所述第一网格顶点在当前的三维面部网格的前序三维面部网格中的时空特征。
5.根据权利要求3所述的表情数据生成方法，其特征在于，所述第一网格顶点的顶点数据和前序顶点数据均包括m个类型的子数据，m为正整数；所述基于所述第一网格顶点的顶点数据和前序顶点数据融合得到的数据，提取所述第一网格顶点的时序特征，包括：
对所述第一网格顶点的顶点数据和前序顶点数据融合得到的数据进行卷积，得到卷积特征，所述卷积特征包括2*m个类型的子特征；
将前m个类型的子特征作为权重，对后m个类型的子特征进行加权，得到所述时序特征。
6.根据权利要求1所述的表情数据生成方法，其特征在于，所述基于所述第一网格顶点的顶点数据和多个第一邻接顶点的顶点数据，提取所述第一网格顶点的第一顶点特征，包括：
将所述第一网格顶点的顶点数据和多个第一一阶邻接顶点的顶点数据进行融合，得到一阶融合数据，基于所述一阶融合数据提取所述第一网格顶点的一阶顶点特征，所述第一一阶邻接顶点是指与所述第一网格顶点直接相连的网格顶点；
将所述第一网格顶点的一阶顶点特征和多个第一二阶邻接顶点的一阶顶点特征进行融合，得到二阶融合数据，基于所述二阶融合数据提取所述第一网格顶点的二阶顶点特征，直至当前得到的顶点特征对应的阶数达到目标阶数，将当前得到的顶点特征确定为所述第一顶点特征，所述第一二阶邻接顶点是指除了所述第一网格顶点之外的与所述第一一阶邻接顶点直接相连的网格顶点。
7.根据权利要求1所述的表情数据生成方法，其特征在于，所述基于所述多个第一网格顶点的第一顶点特征和所述多个第二网格顶点的第二顶点特征，检测所述多个第一网格顶点中的第一关键点和所述多个第二网格顶点中的第二关键点，包括：
基于所述多个第一网格顶点的第一顶点特征和所述多个第二网格顶点的第二顶点特征，分别确定所述多个第一网格顶点和所述多个第二网格顶点属于k种预设关键点的概率，k为正整数；
基于所述多个第一网格顶点和所述多个第二网格顶点属于所述k种预设关键点的概率，从所述多个第一网格顶点中确定k个第一关键点，以及从所述多个第二网格顶点中确定k个第二关键点，其中，属于同一种预设关键点的所述第一关键点和所述第二关键点对应。
8.根据权利要求7所述的表情数据生成方法，其特征在于，所述基于所述多个第一网格顶点的第一顶点特征和所述多个第二网格顶点的第二顶点特征，分别确定所述多个第一网格顶点和所述多个第二网格顶点属于k种预设关键点的概率，包括：
对所述第一网格顶点的第一顶点特征和多个第一邻接顶点的第一顶点特征进行编码，得到所述第一网格顶点的编码特征，对所述第一网格顶点的编码特征和所述多个第一邻接顶点的编码特征进行解码，得到所述第一网格顶点属于所述k种预设关键点的概率，所述第一邻接顶点是指与所述第一网格顶点直接或间接相连的网格顶点；
对所述第二网格顶点的第二顶点特征和多个第二邻接顶点的第二顶点特征进行编码，得到所述第二网格顶点的编码特征，对所述第二网格顶点的编码特征和所述多个第二邻接顶点的编码特征进行解码，得到所述第二网格顶点属于所述k种预设关键点的概率，所述第二邻接顶点是指与所述第二网格顶点直接或间接相连的网格顶点。
9.根据权利要求7所述的表情数据生成方法，其特征在于，所述基于所述多个第一网格顶点和所述多个第二网格顶点属于所述k种预设关键点的概率，从所述多个第一网格顶点中确定k个第一关键点，以及从所述多个第二网格顶点中确定k个第二关键点，包括：
以所述多个第一网格顶点的第i个概率为权重，对所述多个第一网格顶点的坐标进行加权平均，将所得到的坐标对应的网格顶点确定为第i个第一关键点，i为不大于k的正整数；
以所述多个第二网格顶点的第i个概率为权重，对所述多个第二网格顶点的坐标进行加权平均，将所得到的坐标对应的网格顶点确定为第i个第二关键点。
10.根据权利要求1所述的表情数据生成方法，其特征在于，所述基于所述坐标、所述距离和所述第一权重，确定所述非关键点的位移参数，包括：
对所述坐标和所述距离进行归一化，得到归一化坐标和归一化距离；
将所述归一化距离和所述第一权重相乘，得到候选位移参数；
将所述候选位移参数与所述归一化坐标相加，得到所述位移参数。
11.根据权利要求1所述的表情数据生成方法，其特征在于，所述基于所述非关键点的位移参数，对所述非关键点的顶点数据进行调整，得到调整后的顶点数据，包括：
将所述非关键点的归一化坐标与所述位移参数相加，得到候选目的坐标；
在所述三维虚拟模型中，确定位于所述非关键点的归一化坐标和所述候选目的坐标之间的多个候选途经点；
将所述非关键点的顶点数据与所述多个候选途经点的顶点数据进行融合，得到调整后的顶点数据。
12.根据权利要求1所述的表情数据生成方法，其特征在于，所述第一关键点和所述第二关键点的数量均为k个，第i个第一关键点和第i个第二关键点构成第i个组合，k为正整数，i为不大于k的正整数；
所述基于所述坐标、所述距离和所述第一权重，确定所述非关键点的位移参数；基于所述非关键点的位移参数，对所述非关键点的顶点数据进行调整，得到调整后的顶点数据，包括：
基于第i个组合对应的所述坐标、所述距离和所述第一权重，确定所述非关键点的位移参数；基于所述非关键点的位移参数，对所述非关键点的顶点数据进行调整，得到一个候选顶点数据；
将基于k个组合确定的k个候选顶点数据进行融合，得到调整后的顶点数据。
13.根据权利要求12所述的表情数据生成方法，其特征在于，所述将基于k个组合确定的k个候选顶点数据进行融合，得到调整后的顶点数据，包括：
基于所述非关键点的坐标与k个第二关键点的坐标，分别确定所述k个第二关键点的第二权重，以使根据所述k个第二权重，对所述k个第二关键点的坐标进行加权平均所得到的坐标等于所述非关键点的坐标；
基于所述k个第二关键点的第二权重，对所述k个候选顶点数据进行加权平均，得到所述调整后的顶点数据。
14.根据权利要求12所述的表情数据生成方法，其特征在于，确定k个组合针对每个非关键点的第一权重的过程，包括：
获取所述多个第一网格顶点的第一权重特征和属于k种预设关键点的概率，所述第一权重特征表示所述第一网格顶点对其他第一网格顶点的影响程度；
以所述多个第一网格顶点的第i个概率为权重，对所述多个第一网格顶点的第一权重特征进行加权平均，得到第i个第二权重特征，所述第二权重特征包括多个第三权重，每个所述第三权重表示第i个第一关键点对一个所述第一网格顶点的影响程度；
获取所述多个第二网格顶点的第三权重特征和属于所述k种预设关键点的概率，所述第三权重特征表示所述第二网格顶点对其他第二网格顶点的影响程度；
以所述多个第二网格顶点的第i个概率为权重，对所述多个第二网格顶点的第三权重特征进行加权平均，得到第i个第四权重特征，所述第四权重特征包括多个第四权重，每个所述第四权重表示第i个第二关键点对一个所述第二网格顶点的影响程度；
将第i个第二权重特征的逆特征和第i个第四权重特征相乘，得到第i个组合的第五权重特征，所述第五权重特征包括所述第i个组合针对于每个非关键点的第一权重。
15.根据权利要求1-14任一项所述的表情数据生成方法，其特征在于，所述方法基于网格顶点处理模型执行，所述网格顶点处理模型的训练过程，包括：
确定多个第三网格顶点的顶点数据和多个第四网格顶点的顶点数据，所述多个第三网格顶点是基于真实面部对应的样本三维面部网格得到的，所述多个第四网格顶点是基于样本三维虚拟模型得到的；
将所述多个第三网格顶点的顶点数据和所述多个第四网格顶点的顶点数据输入所述网格顶点处理模型，得到所述样本三维虚拟模型的第一表情数据；
提取所述第一表情数据的第一表情特征和第二表情数据的第二表情特征，所述第二表情数据为所述样本三维面部网格的真实表情数据；
基于所述第一表情特征与所述第二表情特征，训练所述网格顶点处理模型，以使训练后的所述网格顶点处理模型所得到的第一表情特征与所述第二表情特征之间的相似度增大。
16.一种表情数据生成方法，其特征在于，所述方法包括：
确定多个第三网格顶点的顶点数据和多个第四网格顶点的顶点数据，所述多个第三网格顶点是基于真实面部对应的样本三维面部网格得到的，所述多个第四网格顶点是基于样本三维虚拟模型得到的；
将所述多个第三网格顶点的顶点数据和所述多个第四网格顶点的顶点数据输入网格顶点处理模型，得到所述样本三维虚拟模型的第一表情数据；
提取所述第一表情数据的第一表情特征和第二表情数据的第二表情特征，所述第二表情数据为所述样本三维面部网格的真实表情数据；
基于所述第一表情特征与所述第二表情特征，训练所述网格顶点处理模型，以使训练后的所述网格顶点处理模型所得到的第一表情特征与所述第二表情特征之间的相似度增大；
调用训练后的所述网格顶点处理模型，基于三维面部网格中多个网格顶点的顶点数据和三维虚拟模型中多个网格顶点的顶点数据进行图卷积，得到每个网格顶点的顶点特征，基于每个网格顶点的顶点特征检测关键点，基于所述关键点的顶点数据，对所述三维虚拟模型中的非关键点的顶点数据进行调整，将所述三维虚拟模型中的网格顶点的顶点数据构成所述三维虚拟模型的表情数据，以使所述表情数据所指示的表情与所述三维面部网格的表情匹配。
17.根据权利要求16所述的表情数据生成方法，其特征在于，所述方法还包括：
调用判别模型，确定所述第一表情特征对应的第一判别结果，所述第一判别结果表示所述第一表情特征被判别为属于真实表情特征的概率，所述真实表情特征是指真实的三维面部网格的表情数据的特征；
所述基于所述第一表情特征与所述第二表情特征，训练所述网格顶点处理模型，以使训练后的所述网格顶点处理模型所得到的第一表情特征与所述第二表情特征之间的相似度增大，包括：
基于所述第一表情特征、所述第二表情特征以及所述第一判别结果，训练所述网格顶点处理模型，以使训练后的所述网格顶点处理模型所得到的第一表情特征与所述第二表情特征之间的相似度增大，且得到的第一判别结果所表示的概率增大。
18.根据权利要求17所述的表情数据生成方法，其特征在于，所述方法还包括：
调用所述判别模型，确定所述第二表情特征对应的第二判别结果，所述第二判别结果表示所述第二表情特征被判别为属于真实表情特征的概率；
基于所述第一判别结果和所述第二判别结果，训练所述判别模型，以使训练后的所述判别模型得到的第一判别结果所表示的概率减小，且得到的第二判别结果所表示的概率增大。
19.根据权利要求16所述的表情数据生成方法，其特征在于，所述方法还包括：
对所述多个第三网格顶点的顶点数据进行扰动，得到扰动后的顶点数据；
将所述扰动后的顶点数据输入所述网格顶点处理模型，得到扰动关键点；
所述基于所述第一表情特征与所述第二表情特征，训练所述网格顶点处理模型，以使训练后的所述网格顶点处理模型所得到的第一表情特征与所述第二表情特征之间的相似度增大，包括：
基于所述第一表情特征、所述第二表情特征、第三关键点的顶点数据与所述扰动关键点的顶点数据，训练所述网格顶点处理模型，以使训练后的所述网格顶点处理模型所得到的第一表情特征与所述第二表情特征之间的相似度增大，且得到的第三关键点的顶点数据与扰动关键点的顶点数据之间的相似度增大，所述第三关键点由所述网格顶点处理模型基于所述多个第三网格顶点的顶点数据检测得到。
20.一种表情数据生成装置，其特征在于，所述装置包括：
数据确定单元，被配置为执行确定多个第一网格顶点的顶点数据和多个第二网格顶点的顶点数据，所述多个第一网格顶点是基于真实面部对应的三维面部网格得到的，所述多个第二网格顶点是基于三维虚拟模型得到的；
图卷积单元，被配置为执行基于所述第一网格顶点的顶点数据和多个第一邻接顶点的顶点数据，提取所述第一网格顶点的第一顶点特征，所述第一邻接顶点是指与所述第一网格顶点直接或间接相连的网格顶点；
所述图卷积单元，还被配置为执行基于所述第二网格顶点的顶点数据和多个第二邻接顶点的顶点数据，提取所述第二网格顶点的第二顶点特征，所述第二邻接顶点是指与所述第二网格顶点直接或间接相连的网格顶点；
关键点检测单元，被配置为执行基于所述多个第一网格顶点的第一顶点特征和所述多个第二网格顶点的第二顶点特征，检测所述多个第一网格顶点中的第一关键点和所述多个第二网格顶点中的第二关键点，其中一个所述第一关键点与一个所述第二关键点对应；
表情确定单元，被配置为执行确定所述第一关键点的坐标、所述第二关键点与所述多个第二网格顶点中的非关键点之间的距离以及所述非关键点对应的第一权重，所述第一权重表示所述第一关键点和所述第二关键点对所述非关键点的影响程度；基于所述坐标、所述距离和所述第一权重，确定所述非关键点的位移参数；基于所述非关键点的位移参数，对所述非关键点的顶点数据进行调整，得到调整后的顶点数据，将所述多个第二网格顶点的顶点数据构成所述三维虚拟模型的表情数据，以使所述表情数据所指示的表情与所述三维面部网格的表情匹配，所述非关键点是指所述多个第二网格顶点中除了所述第二关键点之外的网格顶点。
21.一种表情数据生成装置，其特征在于，所述装置包括：
数据确定单元，被配置为执行确定多个第三网格顶点的顶点数据和多个第四网格顶点的顶点数据，所述多个第三网格顶点是基于真实面部对应的样本三维面部网格得到的，所述多个第四网格顶点是基于样本三维虚拟模型得到的；
数据处理单元，被配置为执行将所述多个第三网格顶点的顶点数据和所述多个第四网格顶点的顶点数据输入网格顶点处理模型，得到所述样本三维虚拟模型的第一表情数据；
特征提取单元，被配置为执行提取所述第一表情数据的第一表情特征和第二表情数据的第二表情特征，所述第二表情数据为所述样本三维面部网格的真实表情数据；
模型训练单元，被配置为执行基于所述第一表情特征与所述第二表情特征，训练所述网格顶点处理模型，以使训练后的所述网格顶点处理模型所得到的第一表情特征与所述第二表情特征之间的相似度增大；
表情生成单元，被配置为执行调用训练后的所述网格顶点处理模型，基于三维面部网格中多个网格顶点的顶点数据和三维虚拟模型中多个网格顶点的顶点数据进行图卷积，得到每个网格顶点的顶点特征，基于每个网格顶点的顶点特征检测关键点，基于所述关键点的顶点数据，对所述三维虚拟模型中的非关键点的顶点数据进行调整，将所述三维虚拟模型中的网格顶点的顶点数据构成所述三维虚拟模型的表情数据，以使所述表情数据所指示的表情与所述三维面部网格的表情匹配。
22.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至权利要求15任一项所述的表情数据生成方法，或实现如权利要求16至权利要求19任一项所述的表情数据生成方法。
23.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至权利要求15任一项所述的表情数据生成方法，或执行如权利要求16至权利要求19任一项所述的表情数据生成方法。
CN202211068017.1A 2022-09-01 2022-09-01 表情数据生成方法、装置、电子设备及存储介质 Active CN115239860B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211068017.1A CN115239860B (zh) 2022-09-01 2022-09-01 表情数据生成方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211068017.1A CN115239860B (zh) 2022-09-01 2022-09-01 表情数据生成方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115239860A CN115239860A (zh) 2022-10-25
CN115239860B true CN115239860B (zh) 2023-08-01

Family

ID=83681707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211068017.1A Active CN115239860B (zh) 2022-09-01 2022-09-01 表情数据生成方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115239860B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113902869A (zh) * 2020-06-22 2022-01-07 北京达佳互联信息技术有限公司 三维头部网格生成方法、装置、电子设备和存储介质
CN114360018A (zh) * 2021-12-31 2022-04-15 南京硅基智能科技有限公司 三维人脸表情的渲染方法及装置、存储介质及电子装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111417987A (zh) * 2017-07-28 2020-07-14 北奥拜勃工作室有限公司 用于实时复杂角色动画和交互性的系统和方法
US10831452B1 (en) * 2019-09-06 2020-11-10 Digital Asset Capital, Inc. Modification of in-execution smart contract programs
CN110992493B (zh) * 2019-11-21 2023-10-31 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN111028343B (zh) * 2019-12-16 2020-12-11 腾讯科技（深圳）有限公司 三维人脸模型的生成方法、装置、设备及介质
US11348314B2 (en) * 2020-05-08 2022-05-31 Dreamworks Animation Llc Fast and deep facial deformations
US20210390767A1 (en) * 2020-06-11 2021-12-16 Microsoft Technology Licensing, Llc Computing images of head mounted display wearer
CN113674385B (zh) * 2021-08-05 2023-07-18 北京奇艺世纪科技有限公司 一种虚拟表情生成方法、装置、电子设备及存储介质
CN114581987A (zh) * 2021-10-20 2022-06-03 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备及存储介质
CN113870401B (zh) * 2021-12-06 2022-02-25 腾讯科技（深圳）有限公司 表情生成方法、装置、设备、介质和计算机程序产品

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113902869A (zh) * 2020-06-22 2022-01-07 北京达佳互联信息技术有限公司 三维头部网格生成方法、装置、电子设备和存储介质
CN114360018A (zh) * 2021-12-31 2022-04-15 南京硅基智能科技有限公司 三维人脸表情的渲染方法及装置、存储介质及电子装置

Also Published As

Publication number Publication date
CN115239860A (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
CN109086709B (zh) 特征提取模型训练方法、装置及存储介质
CN109543714B (zh) 数据特征的获取方法、装置、电子设备及存储介质
CN111541907B (zh) 物品显示方法、装置、设备及存储介质
CN111444826B (zh) 视频检测方法、装置、存储介质及计算机设备
CN103988503A (zh) 使用预捕获图像运动的场景分割
CN114333078A (zh) 活体检测方法、装置、电子设备及存储介质
CN111476783A (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
CN111091166A (zh) 图像处理模型训练方法、图像处理方法、设备及存储介质
CN112989767B (zh) 医学词语标注方法、医学词语映射方法、装置及设备
CN112598686A (zh) 图像分割方法、装置、计算机设备及存储介质
CN111325220B (zh) 图像生成方法、装置、设备及存储介质
CN113705302A (zh) 图像生成模型的训练方法、装置、计算机设备及存储介质
CN114239717A (zh) 模型训练方法、图像处理方法及装置、电子设备、介质
CN112381707A (zh) 图像生成方法、装置、设备以及存储介质
CN113642359B (zh) 人脸图像生成方法、装置、电子设备及存储介质
Chen et al. Intra-and inter-reasoning graph convolutional network for saliency prediction on 360° images
CN112614110B (zh) 评估图像质量的方法、装置及终端设备
CN111652878B (zh) 图像检测方法、装置、计算机设备及存储介质
CN112115900B (zh) 图像处理方法、装置、设备及存储介质
CN115239860B (zh) 表情数据生成方法、装置、电子设备及存储介质
CN114419517A (zh) 视频帧处理方法、装置、计算机设备及存储介质
CN116883708A (zh) 图像分类方法、装置、电子设备及存储介质
CN115082828A (zh) 基于支配集的视频关键帧提取方法和装置
CN111818364B (zh) 视频融合方法、系统、设备及介质
CN116109531A (zh) 图像处理方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant