CN112200236B - 人脸参数识别模型的训练方法、人脸参数的识别方法 - Google Patents

人脸参数识别模型的训练方法、人脸参数的识别方法 Download PDF

Info

Publication number
CN112200236B
CN112200236B CN202011065623.9A CN202011065623A CN112200236B CN 112200236 B CN112200236 B CN 112200236B CN 202011065623 A CN202011065623 A CN 202011065623A CN 112200236 B CN112200236 B CN 112200236B
Authority
CN
China
Prior art keywords
face
parameter
face image
parameters
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011065623.9A
Other languages
English (en)
Other versions
CN112200236A (zh
Inventor
宋新慧
袁燚
范长杰
胡志鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN202011065623.9A priority Critical patent/CN112200236B/zh
Publication of CN112200236A publication Critical patent/CN112200236A/zh
Application granted granted Critical
Publication of CN112200236B publication Critical patent/CN112200236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本申请提供一种人脸参数识别模型的训练方法及人脸参数的识别方法，训练方法包括：提取第一人脸图像对应的第一特征；将第一特征输入待训练的人脸参数回归器，获得第一人脸图像对应的第一人脸参数；第一人脸参数包括表情预测参数和身份预测参数；根据表情预测参数和身份预测参数重构第二人脸图像、根据表情预测参数与基准人脸身份参数重构第三人脸图像以及根据身份预测参数与基准表情参数重构第四人脸图像；根据第一人脸图像分别与第二人脸图像、第三人脸图像以及第四人脸图像之间的函数损失，调整人脸参数回归器的参数，获得人脸参数识别模型。克服了样本数据不足，样本数据获取难度大，人脸参数识别模型准确性不高的问题。

Description

人脸参数识别模型的训练方法、人脸参数的识别方法
技术领域
本申请涉及图像处理技术领域，特别涉及一种人脸参数识别模型的训练方法、人脸参数的识别方法。
背景技术
在计算机视觉领域，面部表情分析是一个重要的课题。自动的面部表情分析可以应用于很多领域，比如人机交互，行为研究，表情迁移和心理学领域。众所周知的,大多数学者都用一套面部运动行为编码系统(FACS)来描述面部表情。这个系统由Ekman和Friesen在1978被提出。这个系统描述人脸肌肉的移动，每一维参数表示一个面部运动单元的运动，面部表情可以由面部运动单元组合而成。面部运动是面部一个微小的运动，再加上头部姿态、身份和光照等的影响，面部运动单元估计是一个很难的课题。除此之外面部运动单元的标注数据非常的少，目前有的数据也都是正面图像，例如：CK+，MMI和DISFA。另外，面部运动单元的标注需要专家并且是耗时的行为。
近几年来，深度学习在很多领域取得了显著的表现。在面部运动单元预测方面，也有很多基于深度学习的方法。它们分为半监督的和有监督的方法。基于半监督的方法一般利用人脸表情识别标签和先验知识做驱动。这些方法导致的结果会由先验知识限制面部运动单元的自由组合，导致结果不准确。有监督的方法就需要收集大量准确的标注数据，然而目前这类数据缺失并且面部运动单元数据获取难度大，所以一般都是基于某个数据集预测的结果，泛化能力差，难以运用到实际中。
发明内容
本申请实施例提供了一种人脸参数识别模型的训练方法，无需大量的标注数据，提高人脸参数识别模型的准确性。
本申请实施例提供了一种人脸参数识别模型的训练方法，包括：
提取第一人脸图像对应的第一特征；
将所述第一特征输入待训练的人脸参数回归器，获得所述第一人脸图像对应的第一人脸参数；所述第一人脸参数包括表情预测参数和身份预测参数；
根据所述表情预测参数和身份预测参数重构第二人脸图像、根据所述表情预测参数与基准人脸身份参数重构第三人脸图像以及根据所述身份预测参数与基准表情参数重构第四人脸图像；
根据所述第一人脸图像分别与所述第二人脸图像、第三人脸图像以及第四人脸图像之间的函数损失，调整所述人脸参数回归器的参数，获得人脸参数识别模型。
在一实施例中，在获得所述第一人脸图像对应的第一人脸参数之后，所述方法还包括：
根据基准脸图像的基准人脸参数与所述第一人脸图像的第一人脸参数之间的函数损失，调整所述人脸参数回归器的参数。
在一实施例中，所述基准人脸参数包括基准表情参数和基准人脸身份参数，所述根据基准脸图像的基准人脸参数与所述第一人脸图像的第一人脸参数之间的函数损失，调整所述人脸参数回归器的参数，包括：
计算所述基准表情参数与所述表情预测参数之间的第一距离，基准人脸身份参数与所述身份预测参数之间的第二距离；
根据所述第一距离和第二距离，计算参数损失函数值。
根据所述参数损失函数值，调整所述人脸参数回归器的参数。
在一实施例中，在获得所述第一人脸图像对应的第一人脸参数之后，所述方法还包括：
提取所述第四人脸图像的嘴部特征；
根据基准脸图像的基准嘴部特征与所述第四人脸图像的嘴部特征，计算对抗损失函数值；
基于所述对抗损失函数值，调整所述人脸参数回归器的参数。
在一实施例中，根据所述第一人脸图像分别与所述第二人脸图像、第三人脸图像以及第四人脸图像之间的函数损失，调整所述人脸参数回归器的参数，获得人脸参数识别模型包括：
提取所述第四人脸图像的身份特征；
根据所述第一人脸图像的身份特征和所述第四人脸图像的身份特征，计算身份损失函数值；
基于所述身份损失函数值，调整所述人脸参数回归器的参数。
在一实施例中，根据所述第一人脸图像分别与所述第二人脸图像、第三人脸图像以及第四人脸图像之间的函数损失，调整所述人脸参数回归器的参数，获得人脸参数识别模型，包括：
提取所述第二人脸图像的第二特征；
根据所述第一特征和第二特征，计算内容损失函数值；
基于所述内容损失函数值，调整所述人脸参数回归器的参数。
在一实施例中，根据所述第一人脸图像分别与所述第二人脸图像、第三人脸图像以及第四人脸图像之间的函数损失，调整所述人脸参数回归器的参数，获得人脸参数识别模型，包括：
提取所述第三人脸图像的第三特征以及第四人脸图像的第四特征；将所述第三特征和所述第四特征输入所述人脸参数回归器，获得所述第三人脸图像的第三人脸参数以及第四人脸图像的第四人脸参数；根据所述第三人脸参数与所述第三人脸图像的重构参数之间的第一差值，第四人脸参数与所述第四人脸图像的重构参数之间的第二差值，计算循环损失函数值；
基于所述循环损失函数值，调整所述人脸参数回归器的参数。
在一实施例中，根据所述第一人脸图像分别与所述第二人脸图像、第三人脸图像以及第四人脸图像之间的函数损失，调整所述人脸参数回归器的参数，获得人脸参数识别模型，包括：
根据第一人脸图像的身份特征和所述第四人脸图像的身份特征之间的身份损失函数值、所述第一特征与所述第二人脸图像的第二特征之间的内容损失函数值，以及，所述第三人脸图像的第三人脸参数与对应重构参数、第四人脸图像的第四人脸参数与对应重构参数之间的循环损失函数值，调整所述人脸参数回归器的参数，获得人脸参数识别模型。
在一实施例中，根据所述第一人脸图像分别与所述第二人脸图像、第三人脸图像以及第四人脸图像之间的函数损失，调整所述人脸参数回归器的参数，获得人脸参数识别模型，还包括：
根据基准脸图像的基准人脸参数与所述第一人脸参数之间的参数损失函数值，以及，基准脸图像的基准嘴部特征与第四人脸图像的嘴部特征之间的对抗损失函数值，调整所述人脸参数回归器的参数，获得人脸参数识别模型。
在一实施例中，根据所述第一人脸图像分别与所述第二人脸图像、第三人脸图像以及第四人脸图像之间的函数损失，调整所述人脸参数回归器的参数，获得人脸参数识别模型，包括：
调整所述人脸参数回归器的参数，使所述参数损失函数值、对抗损失函数值、身份损失函数值、内容损失函数值以及循环损失函数值之总和最小，获得所述人脸参数识别模型。
在一实施例中，在所述提取第一人脸图像对应的第一特征之前，所述方法还包括：
训练特征提取模型、人脸图像生成模型以及身份识别模型；所述特征提取模型用于提取人脸图像的图像特征，所述人脸图像生成模型用于根据人脸参数重构人脸图像，身份识别模型用于提取人脸图像的身份特征。
在一实施例中，在所述提取第一人脸图像对应的第一特征之前，所述方法还包括：
将待处理人脸图像进行相对基准脸图像的人脸对齐处理，得到所述第一人脸图像。
本申请实施例还提供了一种人脸参数的识别方法，利用上述训练方法训练得到的人脸参数识别模型，所述识别方法包括：
将待预测人脸图像进行相对基准脸图像的人脸对齐处理，得到对齐后的人脸图像；
将所述对齐后的人脸图像输入预训练的特征提取模块，获得所述待预测人脸图像的图像特征；
将所述图像特征输入已训练的所述人脸参数识别模型，获得所述人脸参数识别模型输出的所述待预测人脸图像的人脸参数。
本申请实施例还提供了一种人脸参数识别模型的训练装置，包括：
特征提取模块，用于提取第一人脸图像对应的第一特征；
参数提取模块，用于将所述第一特征输入待训练的人脸参数回归器，获得所述第一人脸图像对应的第一人脸参数；所述第一人脸参数包括表情预测参数和身份预测参数；
图像重构模块，用于根据所述表情预测参数和身份预测参数重构第二人脸图像、根据所述表情预测参数与基准人脸身份参数重构第三人脸图像以及根据所述身份预测参数与基准表情参数重构第四人脸图像；
函数更新模块，用于根据所述第一人脸图像分别与所述第二人脸图像、第三人脸图像以及第四人脸图像之间的函数损失，调整所述人脸参数回归器的参数，获得人脸参数识别模型。
本申请实施例还提供了一种电子设备，所述电子设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行上述人脸参数识别模型的训练方法或者人脸参数的识别方法。
本申请实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成上述人脸参数识别模型的训练方法或者人脸参数的识别方法。
本申请上述实施例提供的技术方案，通过预测第一人脸图像的第一人脸参数，将第一人脸参数重构得到第二人脸图像，将第一人脸参数与基准脸的基准表情参数和基准人脸身份参数进行组合，重构出第三人脸图像和第四人脸图像，基于第一人脸图像分别与第二、第三、第四人脸图像的函数损失，训练得到人脸参数识别模型，克服了样本数据不足，样本数据获取难度大，人脸参数识别模型准确性不高的问题。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的人脸参数识别模型的训练方法的应用场景示意图；
图2是本申请实施例提供的一种电子设备的示意图；
图3是本申请实施例提供的人脸参数识别模型的训练方法的流程示意图；
图4是本申请实施例提供的不同面部运动单元的变化效果。
图5是本申请实施例提供的重构第二、第三、第四人脸图像的流程图；
图6是本申请实施例提供的表情迁移的效果示意图；
图7是本申请实施例提供的不同人脸参数的效果示意图；
图8是本申请实施例提供的参数调整的流程示意图；
图9是本申请另一实施例提供的参数调整的流程示意图；
图10是本申请又一实施例提供的参数调整的流程示意图；
图11是本申请再一实施例提供的参数调整的流程示意图；
图12是本申请一实施例提供的人脸参数识别模型的训练方法详细流程示意图；
图13是本申请实施例提供的人脸参数的识别方法的流程示意图；
图14为本申请一实施例示出的人脸参数识别模型的训练装置的框图；
图15是本申请一实施例示出的人脸参数的识别装置的框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
图1为本申请实施例提供的人脸参数识别模型的训练方法的应用场景示意图。如图1所示，该应用场景包括服务端110和客户端120，客户端120可以向服务端110发送待处理人脸图像，进行服务端110可以将待处理人脸图像相对基准脸图像进行对齐处理，得到第一人脸图像。之后采用本申请实施例提供的训练方法，利用第一人脸图像以及基准脸图像的基准表情参数和基准人脸身份参数训练人脸参数识别模型。其中，基准脸图像以及基准脸图像的基准表情参数和基准人脸身份参数可以预先存储在服务端，属于已知量。基准脸图像是指大量无表情的正面人脸图像，做平均后的人脸图像。
在训练好人脸参数识别模型之后，服务端110可以利用此人脸参数识别模型采用本申请实施例提供的人脸参数的识别方法识别待预测人脸图像的人脸参数。
图2是本申请实施例提供的一种电子设备的示意图。该电子设备200可以作为服务端110，该电子设备200包括:处理器220；用于存储处理器220可执行指令的存储器210；其中，所述处理器220被配置为执行本申请实施例提供的人脸参数识别模型的训练方法以及人脸参数的识别方法。
存储器210可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory，简称EPROM)，可编程只读存储器(Programmable Red-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。存储器中还存储有多个模块，分别借由该处理器执行，以完成下述人脸参数识别模型的训练方法以及人脸参数的识别方法步骤。
本申请实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可由处理器220执行以完成下述人脸参数识别模型的训练方法以及人脸参数的识别方法。
图3是本申请实施例提供的人脸参数识别模型的训练方法的流程示意图。如图3所示，该训练方法可以包括以下步骤S310-步骤S340。
步骤S310：提取第一人脸图像对应的第一特征。
为进行区分，真实人脸图像可以称为第一人脸图像，而后续重构得到的人脸图像可以称为第二人脸图像、第三人脸图像和第四人脸图像。第一特征用于表征第一人脸图像的图像特征。为进行区分，第一人脸图像的整体特征称为第一特征。在一实施例中，可以通过预训练的特征提取模型提取第一人脸图像的第一特征。特征提取模型Fseg可以是预训练的人脸分割网络，例如BiSeNet，公式表示为fgb,T＝Fseg(I)。fgb是提取的整体特征，T是后三层加权特征的集合。其中I∈RH×W×3表示输入的第一人脸图像，此处输入的人脸图像可以事先完成人脸关键点与基准脸的人脸对齐。
在一实施例中，在上述步骤S310之前，服务端可以将待处理人脸图像进行相对基准脸图像的人脸对齐处理，得到所述第一人脸图像。
人脸对齐处理是指对待处理图像进行旋转、尺度缩放，使待处理图像中的人脸与基准脸图像中的人脸基本重合。待处理图像可以认为是原始的真实人脸图像，待处理图像对齐处理后得到第一人脸图像。之后将第一人脸图像输入特征提取模型，可以得到特征提取模型输出的第一人脸图像的第一特征。
步骤S320：将所述第一特征输入待训练的人脸参数回归器，获得所述第一人脸图像对应的第一人脸参数；所述第一人脸参数包括表情预测参数和身份预测参数。
第一特征输入人脸参数回归器，可以得到人脸参数回归器输出的第一人脸参数。此时人脸参数回归器的参数可能并非最优参数。为进行区分，第一人脸图像的人脸参数称为第一人脸参数。第一人脸参数包括表情预测参数和身份预测参数。表情预测参数可以包括各个面部运动单元的参数以及头部角度。其中，头部角度可以包括俯仰角和偏航角。各个面部运动单元参数可以包括眼睛闭合、上眼睑上升、眼睑收敛、内眉毛上升、外眉毛上升，眉毛下降，嘴巴张开，皱鼻、上嘴唇上升、下嘴唇下降、微笑、嘴角拉伸、嘟嘴、嘴角下拉、上嘴唇闭合、下嘴唇闭合、鼓腮、抿嘴和左右歪嘴，如图4所示。身份预测参数控制人脸每个局部的平移、旋转和俯仰，直接控制脸部的变化。
其中，人脸参数回归器R输出的人脸参数y′可以表示为y′＝[α′id,α′au],表情预测参数αau(包括二维头部角度h∈R1×2、面部运动单元参数αexp∈R1×23)和身份预测份参数αid∈R1×244。公式定义为y′＝R(fgb,T)＝R(Fseg(I))。
步骤S330：根据所述表情预测参数和身份预测参数重构第二人脸图像、根据所述表情预测参数与基准人脸身份参数重构第三人脸图像以及根据所述身份预测参数与基准表情参数重构第四人脸图像。
其中，基准人脸身份参数与基准表情参数是指基准脸图像的人脸参数。同样的，基准表情参数可以包括基准脸的各个面部运动单元的参数以及头部角度。基准人脸身份参数用于表征基准脸的每个局部的平移、旋转和俯仰。基准人脸身份参数与基准表情参数可以认为是已知量。
如图5所示，表情预测参数和身份预测参数输入人脸图像生成模型，可以重新生成第二人脸图像。表情预测参数和基准人脸身份参数输入人脸参数生成模型，可以重新生成第三人脸图像。身份预测参数与基准表情参数输入人脸图像生成模型，可以重新生成第四人脸图像。其中，人脸图像生成模型可以实现训练得到。
在训练人脸图像生成模型时，可以获取人脸参数和渲染的人脸图像，将人脸参数作为输入，训练人脸图像生成模型。人脸参数每个维度服从均匀分布下随机产生。其中，可以设定外观损失函数和感知损失函数，训练人脸图像生成模型，使外观损失函数和感知损失函数之和最小。其中，外观损失函数为渲染的人脸图像和模型生成的图像之间的损失。感知损失函数/>为特征提取模型提取的渲染图像的特征与模型生成的人脸图像的特征之间的L2损失。
其中，Iy是人脸参数y通过3D人脸游戏渲染器渲染的图像，是通过人脸图像生成模型重构的图像，对应的F是VGG网络提取的特征。
步骤S340：根据所述第一人脸图像分别与所述第二人脸图像、第三人脸图像以及第四人脸图像之间的函数损失，调整所述人脸参数回归器的参数，获得人脸参数识别模型。
按照第一人脸图像与后续重构的第二人脸图像、第三人脸图像以及第三人脸图像应该有同样的的人脸参数的原则，可以计算第一人脸图像与第二人脸图像之间的函数损失，第一人脸图像与第三人脸图像之间的函数损失，第一人脸图像与第四人脸图像之间的函数损失，基于总体的函数损失最小的原则，调整人脸参数回归器的参数。参数优化后的人脸参数回归器可以作为人脸参数识别模型。
在一实施例中，第一人脸图像可以是待识别人脸图像对齐后的图像，第一人脸图像可以重新输入训练好的人脸参数识别模型，人脸参数识别模型输出的结果可以认为是待识别人脸图像准确的人脸参数。其中，识别出的人脸参数可以用于表情迁移和表情分析。如图6所示，第一行真实人脸图像的人脸参数经过表情迁移后，可以将真实人脸图像的表情作为其他3D模型的表情。如图7所示，人脸参数的不同，可以得到多种不同的面部表情。
本申请上述实施例提供的技术方案，通过预测第一人脸图像的第一人脸参数，将第一人脸参数重构得到第二人脸图像，将第一人脸参数与基准脸的基准表情参数和基准人脸身份参数进行组合，重构出第三人脸图像和第四人脸图像，基于第一人脸图像分别与第二、第三、第四人脸图像的函数损失，训练得到人脸参数识别模型，克服了样本数据不足，样本数据获取难度大，人脸参数识别模型准确性不高的问题。
在一实施例中，在步骤S320获得第一人脸图像对应的第一人脸参数之后，本申请实施例提供的方法还包括：根据基准脸图像的基准人脸参数与所述第一人脸图像的第一人脸参数之间的函数损失，调整所述人脸参数回归器的参数。
其中，基准脸是指无表情的正面的平均脸。基准人脸参数是指基准脸图像的人脸参数，属于预先确定的已知量。在一实施例中，参数调整目标可以是使基准脸参数与第一人脸参数之间的差异最小。
在一实施例中，基准人脸参数可以包括基准表情参数和基准人脸身份参数，因此可以通过计算所述基准表情参数与所述表情预测参数之间的第一距离，基准人脸身份参数与所述身份预测参数之间的第二距离；根据所述第一距离和第二距离，计算参数损失函数值。根据所述参数损失函数值，调整所述人脸参数回归器的参数。
其中，第一距离可以是基准表情参数与表情预测参数之间的欧氏距离，第二距离可以是基准人脸身份参数与身份预测参数之间的欧式距离。参数损失函数值可以是第一距离与第二距离之和。人脸参数回归器的参数调整目标，可以是使参数损失函数值达到最小
由于面部运动单元参数存在互斥性，比如下颚向左和下颚向右为(0.5,0.9)和(0，0.4)是一样的效果。所以参数损失函数值计算公式可以为：
其中(h′,x′id,x′au)是第一人脸图像的头部角度，身份预测参数和面部运动单元参数。(hb，xbid，xbau)是基准脸图像的正脸头部角度，基准人脸身份参数和无表情的面部运动单元参数。
在一实施例中，在步骤S320获得所述第一人脸图像对应的第一人脸参数之后，如图8所示，本申请实施例提供的方法还包括：
步骤S801：提取所述第四人脸图像的嘴部特征。
其中，可以通过预先训练的特征提取模型提取第四人脸图像的嘴部特征。将第四人脸图像作为特征提取模型的输入，获得特征提取模型输出的嘴部特征，嘴部特征用于表征第四人脸图像的嘴部特征。
步骤S802：根据基准脸图像的基准嘴部特征与所述第四人脸图像的嘴部特征，计算对抗损失函数值。
在一实施例中，对抗损失函数值可以是基准嘴部特征与嘴部特征之间的距离。由于第四人脸图像的重构参数是身份预测参数与基准表情参数，故第四人脸图像是无表情的，理论上第四人脸图像在嘴巴区域尽量接近基准脸图像的嘴巴区域，以至于面部运动单元参数可以相应人脸肌肉的运动。假设基准脸图像表示为Ib，基准脸嘴部的特征(即基准嘴部特征)表示为Tbm。生成的无表情的人脸图像(即第四人脸图像)表示为Igbe，在嘴部区域的特征(即嘴部特征)表示为Tgbem。对抗损失函数值可以表示为：
步骤S803：基于所述对抗损失函数值，调整所述人脸参数回归器的参数。
其中，人脸参数回归器的参数调整目标可以是使对抗损失函数值尽可能小。
在一实施例中，如图9所示，上述步骤S340可以包括以下步骤：S901-步骤S903。
步骤S901：提取所述第四人脸图像的身份特征。
其中，身份特征用于表征第四人脸图像中人脸每个局部的平移、旋转和俯仰角度。在一实施例中，可以通过预先训练的身份识别模型提取第四人脸图像的身份特征。
步骤S902：根据所述第一人脸图像的身份特征和所述第四人脸图像的身份特征，计算身份损失函数值。
为了尽量把身份和表情分类开，可以利用人脸识别网络Freg(LightCNN-29v2)提取第一人脸图像和第四人脸图像的身份特征，并利用以下公式计算身份损失函数值
其中，是第四人脸图像，I是第一人脸图像。
步骤S903：基于所述身份损失函数值，调整所述人脸参数回归器的参数。
其中，人脸参数回归器的参数调整目标可以是使身份损失函数值尽可能小。
在一实施例中，如图10所示，上述步骤S340可以包括以下步骤：S1001-步骤S1003。
步骤S1001：提取所述第二人脸图像的第二特征。
其中，可以通过预先训练的特征提取模型提取第二人脸图像的第二特征。将第二人脸图像输入特征提取模型，获得特征提取模型输出的第二特征。
步骤S1002：根据所述第一特征和第二特征，计算内容损失函数值。
第一特征是第一人脸图像的图像特征，第二特征是第二人脸图像的图像特征。内容损失函数值可以是第一特征与第二特征的距离。
在一实施例中，内容损失函数值可以通过以下公式计算得到：
其中，Tg表示特征提取模型提取的第二人脸图像的第二特征；Tr表示特征提取模型提取的第一人脸图像的第一特征。可以给这些特征增加人脸特征提取器预测的分类概率，作为注意力机制。
步骤S1003：基于所述内容损失函数值，调整所述人脸参数回归器的参数。
其中，人脸参数回归器的参数调整目标可以是使内容损失函数值尽可能小。
在一实施例中，如图11所示，上述步骤S340还可以包括以下步骤：S1101-步骤S1103。
步骤S1101：提取所述第三人脸图像的第三特征以及第四人脸图像的第四特征。
其中，第三特征是指第三人脸图像的图像特征，第四特征是指第四人脸图像的图像特征。将第三人脸图像输入预训练的特征提取模型可以获得第三人脸图像的第三特征。将第四人脸图像输入预训练的特征提取模型可以获得第四人脸图像的第四特征。
步骤S1102：将所述第三特征和所述第四特征输入所述人脸参数回归器，获得所述第三人脸图像的第三人脸参数以及第四人脸图像的第四人脸参数。
其中，第三人脸参数是指第三人脸图像的人脸参数，第三人脸图像的第三特征输入人脸参数回归器，可以获得人脸参数回归器输出的人脸参数，即第三人脸参数。同理，第四人脸图像的第四特征输入人脸参数回归器，可以获得人脸参数回归器输出的人脸参数，即第四人脸参数。
步骤S1103：根据所述第三人脸参数与所述第三人脸图像的重构参数之间的第一差值，第四人脸参数与所述第四人脸图像的重构参数之间的第二差值，计算循环损失函数值。
其中，循环损失函数值可以是第一差值与第二差值之和。第三人脸图像的重构参数是基准人脸身份参数和表情预测参数。第四人脸图像的重构参数是身份预测参数和基准表情参数。
理论上人脸参数回归器R对于真实人脸图像和重构的人脸图像同样有效。所以第三人脸图像和第四人脸图像重构前的参数与重构的人脸图像(第三人脸图像和第四人脸图像)预测的人脸参数应该相同。在一实施例中，循环损失函数值的计算公式可以表示为：
其中，γle是平衡因子。(Igbe,Igbi)是第四人脸图像和第三人脸图像，ygbe表示身份预测参数和基准表情参数；ygbi表示基准人脸身份参数和表情预测参数；第四人脸图像和第三人脸图像经过人脸参数回归器得到第四人脸参数和第三人脸参数(y′gbe,y′gbi)。
步骤S1104：基于所述循环损失函数值，调整所述人脸参数回归器的参数。
其中，人脸参数回归器的参数调整目标可以是使循环损失函数值尽可能小。
在一实施例中，可以根据第一人脸图像的身份特征和所述第四人脸图像的身份特征之间的身份损失函数值、所述第一特征与所述第二人脸图像的第二特征之间的内容损失函数值，以及，所述第三人脸图像的第三人脸参数与对应重构参数、第四人脸图像的第四人脸参数与对应重构参数之间的循环损失函数值，调整所述人脸参数回归器的参数，获得人脸参数识别模型。
也就是说，可以基于一种或多种损失函数值，调整人脸参数回归器的参数。
其中，可以通过预先训练的身份识别模型提取第一人脸图像的身份特征以及第三人脸图像的身份特征。通过预先训练的特征提取模型提取第二人脸图像的第二特征、第三人脸图像的第三特征、第四人脸图像的第四特征。通过将第三特征输入人脸参数回归器，得到第三人脸图像的第三人脸参数。通过将第四特征输入人脸参数回归器，得到第四人脸图像的第四人脸参数。
参见上文，利用以下公式计算身份损失函数值
其中，是第四人脸图像，I是第一人脸图像，Freg表示人脸识别模型。
利用以下公式计算内容损失函数值
其中，Tg表示特征提取模型提取的第二人脸图像的第二特征；Tr表示特征提取模型提取的第一人脸图像的第一特征。
利用以下公式计算循环损失函数值
其中，γle是平衡因子。(Igbe,Igbi)是第四人脸图像和第三人脸图像，ygbe表示身份预测参数和基准表情参数；ygbi表示基准人脸身份参数和表情预测参数，；第四人脸图像和第三人脸图像经过人脸参数回归器得到第四人脸参数和第三人脸参数(y′gbe,y′gbi)。
在一实施例中，人脸参数回归器的参数调整目标可以是使身份损失函数值内容损失函数值/>循环损失函数值/>三者之和最小。
在上述实施例的基础上，还可以根据基准脸图像的基准人脸参数与所述第一人脸参数之间的参数损失函数值，以及，基准脸图像的基准嘴部特征与第四人脸图像的嘴部特征之间的对抗损失函数值，调整所述人脸参数回归器的参数，获得人脸参数识别模型。
参见上文，参数损失函数值可以采用以下公式进行计算：
其中(h′,x′id,x′au)是第一人脸图像的头部角度，身份预测参数和面部运动单元参数。(hb，xbid，xbau)是基准脸图像的正脸头部角度，基准人脸身份参数和无表情的面部运动单元参数。
对抗损失函数可以采用以下公式进行计算：
在一实施例中，人脸参数回归器的整体损失函数值可以包含内容损失函数值/>身份损失函数值/>参数损失函数值/>循环损失函数值/>和对抗损失函数值
故训练目标可以是调整人脸参数回归器的参数，使参数损失函数值对抗损失函数值/>身份损失函数值/>内容损失函数值/>以及循环损失函数值/>之总和最小，参数优化完成的人脸参数回归器可以作为人脸参数识别模型。
图12是本申请一实施例提供的人脸参数识别模型的训练方法详细流程示意图。如图12所示，可以包括以下流程：
a)加载基准脸图像、预训练的人脸图像生成模型和特征提取模型和身份识别模型，还有待训练的人脸参数回归器。
b)输入自然界中的一张真实人脸图像。
c)对该真实人脸图像与基准脸图像进行人脸对齐，得到对齐后的人脸图像(即第一人脸图像)；
d)使用特征提取模型提取第一人脸图像的第一特征。
e)第一特征输入人脸参数回归器，获得人脸参数回归器输出的第一人脸参数；第一人脸参数包括表情预测参数和身份预测参数。
f)通过人脸图像生成模型，将表情预测参数和身份预测参数重新生成第二人脸图像，基准人脸身份参数和表情预测参数生成第三人脸图像，身份预测参数和基准表情参数生成第四人脸图像。
g)将f中生成的第四人脸图像和c中第一人脸图像输入身份识别模型中计算身份识别损失函数值。
h)计算e中第一人脸参数(表情预测参数和身份预测参数)相对基准人脸身份参数和基准表情参数的参数损失函数值。
i)将f中生成的第二人脸图像和c中的第一人脸图像输入特征提取模型，计算内容损失函数值。
j)将f中生成的第四人脸图像和第三人脸图像的第四特征和第三特征输入人脸参数回归器分别得到第四人脸图像的第三人脸参数和第三人脸图像的第三人脸参数。
k)第三人脸参数计算相对基准人脸身份参数和表情预测参数的第一距离，第四人脸参数计算相对身份预测参数和基准表情参数的第二距离，基于第一距离和第二距离计算循环损失函数值。
l)基准脸图像输入特征提取模型得到基准脸图像的嘴部区域特征。
m)基准脸图像的嘴部区域特征与第四人脸图像的嘴部区域特征计算对抗损失函数值。
n)通过更新损失函数值训练人脸参数回归器。
本申请上述实施例提供的技术方案，包含三个预训练的神经网络模型和一个联合训练的面部参数回归网络。三个预训练的网络模型包括一个特征提取模型，一个身份识别模型和一个人脸图像生成模型。特征提取模型用的是预先训练的人脸分割网络。身份识别模型是一个预训练好的人脸识别模型。人脸图像生成模型是输入为人脸参数，包括头部角度、人脸身份参数和面部运动单元参数，输出是由3D人脸模型渲染的人脸图像。训练数据来源于游戏客户端由人脸参数渲染的游戏人脸图像。人脸参数回归器的输入是特征提取模型提取的特征，输出是人脸参数。
本申请实施例通过多个损失函数作为监督信息可以实现无监督的人脸参数估计，包括头部角度、人脸身份参数和面部运动单元参数。其中包括内容损失函数，身份损失函数，人脸参数损失函数，循环损失函数和对抗损失函数。利用上述技术方案，解决了面部运动单元标注数据少的问题。同时可以结合人脸纹理特征预测更多的面部运动单元，并且解耦这些面部运动单元。
图13是本申请实施例提供的人脸参数的识别方法的流程示意图。该识别方法可以采用上文实施例中训练好的人脸参数识别模型，识别待预测人脸图像的人脸参数。如图13所示，该识别方法包括以下步骤：步骤S1301-步骤S1303。
步骤S1301：将待预测人脸图像进行相对基准脸图像的人脸对齐处理，得到对齐后的人脸图像。
其中，待预测人脸图像是指人脸参数未知的人脸图像。基准脸图像是无表情的正面脸图像求平均后，得到的图像。人脸对齐处理是指对待预测人脸图像进行旋转、尺度变换，将待预测人脸图像中的关键点与基准脸图像中的关键点重合。
步骤S1302：将所述对齐后的人脸图像输入预训练的特征提取模块，获得所述待预测人脸图像的图像特征。
特征提取模型可以是提前训练的人脸分割网络，例如BiSeNet。人脸分割网络指把人脸图像每个像素分为左眉毛、右眉毛、左眼、右眼、鼻子、上嘴唇、牙齿、下嘴唇、脸、头发和背景等类别。特征提取模型的训练样本可以是真实人脸图像，也可以是渲染的人脸图像。待预测人脸图像的图像特征用于表征待测人脸图像的整体特征。
步骤S1303：将所述图像特征输入已训练的所述人脸参数识别模型，获得所述人脸参数识别模型输出的所述待预测人脸图像的人脸参数。
其中，人脸参数识别模型可以由采用上文实施例中提供的方法训练得到。待预测人脸图像的人脸参数可以包括头部角度、人脸身份参数和面部运动单元参数。
下述为本申请装置实施例，可以用于执行本申请上述人脸参数识别模型的训练方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请人脸参数识别模型的训练方法实施例。
图14为本申请一实施例示出的人脸参数识别模型的训练装置的框图。如图14所示，该装置包括：特征提取模块1410、参数提取模块1420、图像重构模块1430以及函数更新模块1440。
特征提取模块1410，用于提取第一人脸图像对应的第一特征；参数提取模块1420，用于将所述第一特征输入待训练的人脸参数回归器，获得所述第一人脸图像对应的第一人脸参数；所述第一人脸参数包括表情预测参数和身份预测参数；
图像重构模块1430，用于根据所述表情预测参数和身份预测参数重构第二人脸图像、根据所述表情预测参数与基准人脸身份参数重构第三人脸图像以及根据所述身份预测参数与基准表情参数重构第四人脸图像；
函数更新模块1440，用于根据所述第一人脸图像分别与所述第二人脸图像、第三人脸图像以及第四人脸图像之间的函数损失，调整所述人脸参数回归器的参数，获得人脸参数识别模型。
上述装置中各个模块的功能和作用的实现过程具体详见上述人脸参数识别模型的训练方法中对应步骤的实现过程，在此不再赘述。
图15为本申请一实施例示出的人脸参数的识别装置的框图。该识别方法可以采用上文实施例中训练好的人脸参数识别模型，识别待预测人脸图像的人脸参数。如图15所示，该装置包括：人脸对齐模块1501、特征获得模块1502以及参数识别模块1503。
人脸对齐模块1501，用于将待预测人脸图像进行相对基准脸图像的人脸对齐处理，得到对齐后的人脸图像；
特征获得模块1502，用于将所述对齐后的人脸图像输入预训练的特征提取模块，获得所述待预测人脸图像的图像特征；
参数识别模块1503，用于将所述图像特征输入已训练的所述人脸参数识别模型，获得所述人脸参数识别模型输出的所述待预测人脸图像的人脸参数。
在本申请所提供的几个实施例中，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (15)

1.一种人脸参数识别模型的训练方法，其特征在于，包括：
提取第一人脸图像对应的第一特征；
将所述第一特征输入待训练的人脸参数回归器，获得所述第一人脸图像对应的第一人脸参数；所述第一人脸参数包括表情预测参数和身份预测参数；
根据所述表情预测参数和身份预测参数重构第二人脸图像、根据所述表情预测参数与基准人脸身份参数重构第三人脸图像以及根据所述身份预测参数与基准表情参数重构第四人脸图像；
根据所述第一人脸图像分别与所述第二人脸图像、第三人脸图像以及第四人脸图像之间的函数损失，调整所述人脸参数回归器的参数，获得人脸参数识别模型；
在获得所述第一人脸图像对应的第一人脸参数之后，所述方法还包括：
根据基准脸图像的基准人脸参数与所述第一人脸图像的第一人脸参数之间的函数损失，调整所述人脸参数回归器的参数。
2.根据权利要求1所述的方法，其特征在于，所述基准人脸参数包括基准表情参数和基准人脸身份参数，所述根据基准脸图像的基准人脸参数与所述第一人脸图像的第一人脸参数之间的函数损失，调整所述人脸参数回归器的参数，包括：
计算所述基准表情参数与所述表情预测参数之间的第一距离，基准人脸身份参数与所述身份预测参数之间的第二距离；
根据所述第一距离和第二距离，计算参数损失函数值；
根据所述参数损失函数值，调整所述人脸参数回归器的参数。
3.根据权利要求1所述的方法，其特征在于，在获得所述第一人脸图像对应的第一人脸参数之后，所述方法还包括：
提取所述第四人脸图像的嘴部特征；
根据基准脸图像的基准嘴部特征与所述第四人脸图像的嘴部特征，计算对抗损失函数值；
基于所述对抗损失函数值，调整所述人脸参数回归器的参数。
4.根据权利要求1所述的方法，其特征在于，根据所述第一人脸图像分别与所述第二人脸图像、第三人脸图像以及第四人脸图像之间的函数损失，调整所述人脸参数回归器的参数，获得人脸参数识别模型包括：
提取所述第四人脸图像的身份特征；
根据所述第一人脸图像的身份特征和所述第四人脸图像的身份特征，计算身份损失函数值；
基于所述身份损失函数值，调整所述人脸参数回归器的参数。
5.根据权利要求1所述的方法，其特征在于，根据所述第一人脸图像分别与所述第二人脸图像、第三人脸图像以及第四人脸图像之间的函数损失，调整所述人脸参数回归器的参数，获得人脸参数识别模型，包括：
提取所述第二人脸图像的第二特征；
根据所述第一特征和第二特征，计算内容损失函数值；
基于所述内容损失函数值，调整所述人脸参数回归器的参数。
6.根据权利要求1所述的方法，其特征在于，根据所述第一人脸图像分别与所述第二人脸图像、第三人脸图像以及第四人脸图像之间的函数损失，调整所述人脸参数回归器的参数，获得人脸参数识别模型，包括：
提取所述第三人脸图像的第三特征以及第四人脸图像的第四特征；
将所述第三特征和所述第四特征输入所述人脸参数回归器，获得所述第三人脸图像的第三人脸参数以及第四人脸图像的第四人脸参数；
根据所述第三人脸参数与所述第三人脸图像的重构参数之间的第一差值，第四人脸参数与所述第四人脸图像的重构参数之间的第二差值，计算循环损失函数值；
基于所述循环损失函数值，调整所述人脸参数回归器的参数。
7.根据权利要求1所述的方法，其特征在于，根据所述第一人脸图像分别与所述第二人脸图像、第三人脸图像以及第四人脸图像之间的函数损失，调整所述人脸参数回归器的参数，获得人脸参数识别模型，包括：
根据第一人脸图像的身份特征和所述第四人脸图像的身份特征之间的身份损失函数值、所述第一特征与所述第二人脸图像的第二特征之间的内容损失函数值，以及，所述第三人脸图像的第三人脸参数与对应重构参数、第四人脸图像的第四人脸参数与对应重构参数之间的循环损失函数值，调整所述人脸参数回归器的参数，获得人脸参数识别模型。
8.根据权利要求7所述的方法，其特征在于，根据所述第一人脸图像分别与所述第二人脸图像、第三人脸图像以及第四人脸图像之间的函数损失，调整所述人脸参数回归器的参数，获得人脸参数识别模型，还包括：
根据基准脸图像的基准人脸参数与所述第一人脸参数之间的参数损失函数值，以及，基准脸图像的基准嘴部特征与第四人脸图像的嘴部特征之间的对抗损失函数值，调整所述人脸参数回归器的参数，获得人脸参数识别模型。
9.根据权利要求8所述的方法，其特征在于，根据所述第一人脸图像分别与所述第二人脸图像、第三人脸图像以及第四人脸图像之间的函数损失，调整所述人脸参数回归器的参数，获得人脸参数识别模型，包括：
调整所述人脸参数回归器的参数，使所述参数损失函数值、对抗损失函数值、身份损失函数值、内容损失函数值以及循环损失函数值之总和最小，获得所述人脸参数识别模型。
10.根据权利要求7所述的方法，其特征在于，在所述提取第一人脸图像对应的第一特征之前，所述方法还包括：
训练特征提取模型、人脸图像生成模型以及身份识别模型；所述特征提取模型用于提取人脸图像的图像特征，所述人脸图像生成模型用于根据人脸参数重构人脸图像，身份识别模型用于提取人脸图像的身份特征。
11.根据权利要求1所述的方法，其特征在于，在所述提取第一人脸图像对应的第一特征之前，所述方法还包括：
将待处理人脸图像进行相对基准脸图像的人脸对齐处理，得到所述第一人脸图像。
12.一种人脸参数的识别方法，其特征在于，利用权利要求1-11任意一项所述的训练方法训练得到的人脸参数识别模型，所述识别方法包括：
将待预测人脸图像进行相对基准脸图像的人脸对齐处理，得到对齐后的人脸图像；
将所述对齐后的人脸图像输入预训练的特征提取模块，获得所述待预测人脸图像的图像特征；
将所述图像特征输入已训练的所述人脸参数识别模型，获得所述人脸参数识别模型输出的所述待预测人脸图像的人脸参数。
13.一种人脸参数识别模型的训练装置，其特征在于，包括：
特征提取模块，用于提取第一人脸图像对应的第一特征；
参数提取模块，用于将所述第一特征输入待训练的人脸参数回归器，获得所述第一人脸图像对应的第一人脸参数；所述第一人脸参数包括表情预测参数和身份预测参数；
图像重构模块，用于根据所述表情预测参数和身份预测参数重构第二人脸图像、根据所述表情预测参数与基准人脸身份参数重构第三人脸图像以及根据所述身份预测参数与基准表情参数重构第四人脸图像；
函数更新模块，用于根据所述第一人脸图像分别与所述第二人脸图像、第三人脸图像以及第四人脸图像之间的函数损失，调整所述人脸参数回归器的参数，获得人脸参数识别模型；
在获得所述第一人脸图像对应的第一人脸参数之后，所述装置还用于：
根据基准脸图像的基准人脸参数与所述第一人脸图像的第一人脸参数之间的函数损失，调整所述人脸参数回归器的参数。
14.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行权利要求1-11任意一项所述的人脸参数识别模型的训练方法或者权利要求12所述的人脸参数的识别方法。
15.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成权利要求1-11任意一项所述的人脸参数识别模型的训练方法或者权利要求12所述的人脸参数的识别方法。
CN202011065623.9A 2020-09-30 2020-09-30 人脸参数识别模型的训练方法、人脸参数的识别方法 Active CN112200236B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011065623.9A CN112200236B (zh) 2020-09-30 2020-09-30 人脸参数识别模型的训练方法、人脸参数的识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011065623.9A CN112200236B (zh) 2020-09-30 2020-09-30 人脸参数识别模型的训练方法、人脸参数的识别方法

Publications (2)

Publication Number Publication Date
CN112200236A CN112200236A (zh) 2021-01-08
CN112200236B true CN112200236B (zh) 2023-08-11

Family

ID=74014027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011065623.9A Active CN112200236B (zh) 2020-09-30 2020-09-30 人脸参数识别模型的训练方法、人脸参数的识别方法

Country Status (1)

Country Link
CN (1) CN112200236B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818772A (zh) * 2021-01-19 2021-05-18 网易（杭州）网络有限公司 一种面部参数的识别方法、装置、电子设备及存储介质
CN112801006B (zh) * 2021-02-05 2023-09-05 网易（杭州）网络有限公司 表情表征模型的训练方法、面部的表情表征方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503078A (zh) * 2019-08-29 2019-11-26 的卢技术有限公司 一种基于深度学习的远距离人脸识别方法和系统
CN110717977A (zh) * 2019-10-23 2020-01-21 网易（杭州）网络有限公司 游戏角色脸部处理的方法、装置、计算机设备及存储介质
WO2020037898A1 (zh) * 2018-08-23 2020-02-27 平安科技（深圳）有限公司 人脸特征点检测方法、装置、计算机设备及存储介质
CN111611917A (zh) * 2020-05-20 2020-09-01 北京华捷艾米科技有限公司 模型训练方法、特征点检测方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020037898A1 (zh) * 2018-08-23 2020-02-27 平安科技（深圳）有限公司 人脸特征点检测方法、装置、计算机设备及存储介质
CN110503078A (zh) * 2019-08-29 2019-11-26 的卢技术有限公司 一种基于深度学习的远距离人脸识别方法和系统
CN110717977A (zh) * 2019-10-23 2020-01-21 网易（杭州）网络有限公司 游戏角色脸部处理的方法、装置、计算机设备及存储介质
CN111611917A (zh) * 2020-05-20 2020-09-01 北京华捷艾米科技有限公司 模型训练方法、特征点检测方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于生成对抗网络的人脸表情数据增强方法";孙晓，丁小龙;《计算机工程与应用》;第115-121页 *

Also Published As

Publication number Publication date
CN112200236A (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
Zahara et al. The facial emotion recognition (FER-2013) dataset for prediction system of micro-expressions face using the convolutional neural network (CNN) algorithm based Raspberry Pi
Zhang et al. Facial expression analysis under partial occlusion: A survey
Liu et al. Hard negative generation for identity-disentangled facial expression recognition
Das et al. Speech-driven facial animation using cascaded gans for learning of motion and texture
US20210174072A1 (en) Microexpression-based image recognition method and apparatus, and related device
CN106068514A (zh) 用于在不受约束的媒体中识别面孔的系统和方法
US20230081982A1 (en) Image processing method and apparatus, computer device, storage medium, and computer program product
Pham et al. Generative adversarial talking head: Bringing portraits to life with a weakly supervised neural network
Cai et al. Semi-supervised natural face de-occlusion
JP2024501986A (ja) ３次元顔再構築の方法、３次元顔再構築の装置、デバイスおよび記憶媒体
Liu et al. A 3 GAN: an attribute-aware attentive generative adversarial network for face aging
CN112200236B (zh) 人脸参数识别模型的训练方法、人脸参数的识别方法
WO2024109374A1 (zh) 换脸模型的训练方法、装置、设备、存储介质和程序产品
Kim et al. Attended relation feature representation of facial dynamics for facial authentication
Zhou et al. Personalized and occupational-aware age progression by generative adversarial networks
US20220101122A1 (en) Energy-based variational autoencoders
Liu et al. Learning shape and texture progression for young child face aging
CN113903063A (zh) 基于深度时空网络决策融合的人脸表情识别方法及系统
Kudiri et al. Emotion detection using sub-image based features through human facial expressions
Berisha et al. Identifying regions that carry the best information about global facial configurations
CN115457374B (zh) 基于推理模式评估深伪图像检测模型泛化性方法及装置
CN115631285B (zh) 基于统一驱动的人脸渲染方法、装置、设备及存储介质
Tellamekala et al. Are 3d face shapes expressive enough for recognising continuous emotions and action unit intensities?
Khan et al. Masked linear regression for learning local receptive fields for facial expression synthesis
CN116311472A (zh) 基于多层次图卷积网络的微表情识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant