CN112541445A - 人脸表情的迁移方法、装置、电子设备及存储介质 - Google Patents

人脸表情的迁移方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112541445A
CN112541445A CN202011492761.5A CN202011492761A CN112541445A CN 112541445 A CN112541445 A CN 112541445A CN 202011492761 A CN202011492761 A CN 202011492761A CN 112541445 A CN112541445 A CN 112541445A
Authority
CN
China
Prior art keywords
virtual
facial
data set
facial expression
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011492761.5A
Other languages
English (en)
Other versions
CN112541445B (zh
Inventor
王响
王恺
廉士国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Unicom Big Data Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Unicom Big Data Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd, Unicom Big Data Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN202011492761.5A priority Critical patent/CN112541445B/zh
Publication of CN112541445A publication Critical patent/CN112541445A/zh
Application granted granted Critical
Publication of CN112541445B publication Critical patent/CN112541445B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供的人脸表情的迁移方法、装置、电子设备及存储介质，通过获取真实人脸图像；将所述真实人脸图像输入预先训练好的人脸表情识别网络模型中，输出所述真实人脸图像中的人脸表情对应的动作单元系数；其中，所述人脸表情识别网络模型通过虚拟人脸数据集和真实人脸数据集训练获得，其中，所述动作单元系数用于表征人脸处于不同表情时的面部数据；根据所述动作单元系数驱动虚拟对象的面部作出相应的人脸表情，以实现人脸表情迁移，即本发明实施例中的人脸表情识别网络模型是通过虚拟人脸数据集和真实人脸数据集来共同训练获得的，其识别率更准确，虚拟对象能够做出更逼真的人脸表情。

Description

人脸表情的迁移方法、装置、电子设备及存储介质
技术领域
本发明涉及人工智能领域，尤其涉及一种人脸表情的迁移方法、装置、电子设备及存储介质。
背景技术
人脸表情的迁移技术在直播、游戏、虚拟人、远程会议等场景中具有广泛的应用。
现有的人脸表情的迁移技术，首先采用已经训练好的深度神经网络模型识别出人脸表情，然后根据识别出的人脸表情驱动虚拟对象作出同样的表情。
但是，深度神经网络模型在训练时所采用的数据有限，导致训练出的深度神经网络模型不够精确，虚拟对象作出的表情不够逼真，效果差。
发明内容
针对上述问题，本发明提供了一种人脸表情的迁移方法、装置、电子设备及存储介质。
第一方面，本发明提供了一种人脸表情的迁移方法，包括：获取真实人脸图像；将所述真实人脸图像输入预先训练好的人脸表情识别网络模型中，输出所述真实人脸图像中的人脸表情对应的动作单元系数；其中，所述人脸表情识别网络模型通过虚拟人脸数据集和真实人脸数据集训练获得，其中，所述动作单元系数用于表征人脸处于不同表情时的面部数据；根据所述动作单元系数驱动虚拟对象的面部作出相应的人脸表情，以实现人脸表情迁移。
在其他可选的实施方式中，所述将所述真实人脸图像输入已经训练好的人脸表情识别网络模型中之前，还包括：基于计算机图形学技术生成具有不同表情的虚拟人脸图像，获得对应的虚拟人脸数据集；通过摄影设备采集具有不同表情的真实人脸图像，获得对应的真实人脸数据集；根据所述虚拟人脸数据集和真实人脸数据集训练初始人脸表情识别网络模型，获得所述预先训练好的人脸表情识别网络模型。
在其他可选的实施方式中，所述基于计算机图形学技术生成具有不同表情的虚拟人脸图像，获得对应的虚拟人脸数据集，包括：通过虚拟引擎创建虚拟人脸模型，并采用渲染算法驱动所述虚拟人脸模型生成不同表情，形成虚拟人脸动画视频；提取所述虚拟人脸动画视频的视频帧图像，并将所述视频帧图像作为所述虚拟人脸数据集。
在其他可选的实施方式中，所述获得对应的虚拟人脸数据集之后，还包括：将所述虚拟人脸数据集输入到预先训练好的图像迁移网络模型中，输出真实感增强的虚拟人脸数据集；所述根据所述虚拟人脸数据集和真实人脸数据集训练初始人脸表情识别网络模型，包括：根据所述真实感增强的虚拟人脸数据集和真实人脸数据集训练初始人脸表情识别网络模型。
在其他可选的实施方式中，所述图像迁移网络模型通过虚拟人脸数据集和开源人脸图像数据集训练获得。
在其他可选的实施方式中，所述获得所述预先训练好的人脸表情识别网络模型之后，还包括：重复执行以下步骤，直至所述预先训练好的人脸表情识别网络模型的损失函数满足预设条件：采用测试数据集对所述预先训练好的人脸表情识别网络模型进行测试；根据测试结果，确定测试出错率大于第一预设阈值的表情类别；生成与所述表情类别对应的第一虚拟人脸数据，并将所述第一虚拟人脸数据补充至所述虚拟人脸数据集中；根据补充后的虚拟人脸数据集再次训练所述预先训练好的人脸表情识别网络模型。
在其他可选的实施方式中，所述虚拟人脸数据集还包括第二虚拟人脸数据集，所述第二虚拟人脸数据集为真实人脸数据集中数据量小于第二预设阈值的表情类别所对应的虚拟人脸数据。
第二方面，本发明提供一种人脸表情的迁移装置，包括：获取模块，用于获取真实人脸图像；识别模块，用于将所述真实人脸图像输入预先训练好的人脸表情识别网络模型中，输出所述真实人脸图像中的人脸表情对应的动作单元系数；其中，所述人脸表情识别网络模型通过虚拟人脸数据集和真实人脸数据集训练获得，其中，所述动作单元系数用于表征人脸处于不同表情时的面部数据；驱动模块，用于根据所述动作单元系数驱动虚拟对象的面部作出相应的人脸表情，以实现人脸表情迁移。
第三方面，本发明提供一种电子设备，包括：至少一个处理器和存储器；所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如第一方面任一项所述的方法。
第四方面，本发明提供一种可读存储介质，所述可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面任一项所述的方法。
本发明提供的人脸表情的迁移方法、装置、电子设备及存储介质，通过获取真实人脸图像；将所述真实人脸图像输入预先训练好的人脸表情识别网络模型中，输出所述真实人脸图像中的人脸表情对应的动作单元系数；其中，所述人脸表情识别网络模型通过虚拟人脸数据集和真实人脸数据集训练获得，其中，所述动作单元系数用于表征人脸处于不同表情时的面部数据；根据所述动作单元系数驱动虚拟对象的面部作出相应的人脸表情，以实现人脸表情迁移，即本发明实施例中的人脸表情识别网络模型是通过虚拟人脸数据集和真实人脸数据集来共同训练获得的，其识别率更准确，虚拟对象能够做出更逼真的人脸表情。
附图说明
图1为本发明所基于的一种网络架构图；
图2为本发明提供的一种人脸表情的迁移方法的流程示意图；
图3为本发明提供的另一种人脸表情的迁移方法的流程示意图；
图4为本发明提供的一种人脸表情的迁移装置的结构示意图；
图5为本发明提供的一种电子设备的硬件结构示意图。
具体实施方式
为使本发明示例的目的、技术方案和优点更加清楚，下面将结合本发明示例中的附图，对本发明示例中的技术方案进行清楚、完整地描述。
人脸表情的迁移技术是指通过检测人脸彩色图像，识别出人脸表情，并进行表情迁移，驱动虚拟人物做出同样的表情，也可以生成其他人物做相同表情的图片或视频，在直播、游戏、虚拟人、远程会议等场景中具有广泛的应用。
人脸表情的迁移技术主要包括人脸识别和表情迁移两部分内容。传统的人脸表情识别多采用机器学习算法，通过在已有数据集上训练分类模型识别人脸表情，但受限于训练数据集的规模和算法，训练出的机器模型识别精度不高，进而导致人脸表情迁移效果不佳。
随着深度学习的发展，越来越多的人脸表情识别和表情迁移工作开始采用深度神经网络模型，虽然模型的复杂度提高了，但训练数据集的数据来源还是有限，主要包括两种方式，一种是采用计算的方法从图片得到与人脸表情相关的三维模型参数，再对误差较大的数据进行手动调整，另外一种采用专业设备进行采集。但是，第一种方式获取的训练数据的精度十分有限，而第二种方式成本高，无法获取大量的数据，最终导致训练出的模型不够精确，人脸表情迁移效果依旧不佳。
针对该问题，本发明的技术构思在于：通过虚拟数据集和真实数据的混合数据来共同训练人脸表情识别网络模型，提高人脸表情识别网络模型的识别精度，进而提高人脸表情迁移的效果。
图1为本发明所基于的一种网络架构图，如图1所示，本发明基于的其中一种网络架构图可包括摄影设备1和服务器2，其中，摄影设备1可以拍摄具有不同表情的真实人脸图像，并将真实人脸图像发送给服务器2，以使得服务器2执行下述各实施方式中所述的人脸表情的迁移方法。
第一方面，本发明示例提供了一种人脸表情的迁移方法，图2为本发明提供的一种人脸表情的迁移方法的流程示意图。
如图2所示，该人脸表情的迁移方法包括：
步骤101、获取真实人脸图像。
具体来说，通过摄影设备可以捕捉真实人脸在做出不同脸部表情时所对应的图像或视频，若获取到视频，视频包括多个视频帧图像。
步骤102、将所述真实人脸图像输入预先训练好的人脸表情识别网络模型中，输出所述真实人脸图像中的人脸表情对应的动作单元系数。
其中，所述人脸表情识别网络模型通过虚拟人脸数据集和真实人脸数据集训练获得，其中，所述动作单元系数用于表征人脸处于不同表情时的面部数据。
具体来说，将采集的图像，或者视频的视频帧图像依次输入到已经预先训练好的人脸表情识别网络模型中，输出每张图像或者每帧视频帧图像中的人脸表情对应的动作单元系数，即真实人脸在作出不同表情时对应的面部数据。其中，人脸表情识别网络模型是通过虚拟人脸数据集和真实人脸数据集训练获得的。
作为可选实施例，步骤102之前，还包括：基于计算机图形学技术生成具有不同表情的虚拟人脸图像，获得对应的虚拟人脸数据集；通过摄影设备采集具有不同表情的真实人脸图像，获得对应的真实人脸数据集；根据所述虚拟人脸数据集和真实人脸数据集训练初始人脸表情识别网络模型，获得所述预先训练好的人脸表情识别网络模型。
本实施例进一步限定了人脸表情识别网络模型的训练过程，具体如下：首先基于计算机图形学技术，即通过创建人脸模型、采用相应的渲染引擎或渲染算法生成具有不同表情的人脸图像，将不同表情的人脸图像作为虚拟人脸数据集，此时生成的不同表情的人脸图像的动作单元系数是已知的，即可通过对人脸动作单元进行0→1→0区间的线性插值获得，也可以通过识别真实人脸表情对应的动作单元系数获得；然后通过摄影设备采集具有不同表情的真实人脸图像，获得对应的真实人脸数据集；最后利用虚拟人脸数据集和真实人脸数据对初始人脸表情识别网络模型进行训练，获得训练好的人脸表情识别网络模型。
作为可选的实施例，所述基于计算机图形学技术生成具有不同表情的虚拟人脸图像，获得对应的虚拟人脸数据集，包括：通过虚拟引擎创建虚拟人脸模型，并采用渲染算法驱动所述虚拟人脸模型生成不同表情，形成虚拟人脸动画视频；提取所述虚拟人脸动画视频的视频帧图像，并将所述视频帧图像作为所述虚拟人脸数据集。
具体来说，采用虚拟Unreal引擎，通过驱动三维(3Dimensions，3D)人脸模型的混合变形(blend shapes)渲染得到不同表情的人脸图像，在渲染引擎中连续驱动3D人脸模型形成动画，同时将动画录制为视频输出，最后提取动画视频中的视频帧图像作为虚拟人脸数据集。
作为可选的实施例，所述虚拟人脸数据集包括第二虚拟人脸数据集，所述第二虚拟人脸数据集为真实人脸数据集中数据量小于第二预设阈值的表情类别所对应的虚拟人脸数据。
具体来说，通过摄影设备采集的真实人脸数据中，可能有的表情类别对应的数据较少，为了弥补这部分数据，虚拟人脸数据集可以优选生成此类表情对应的虚拟人脸数据。
步骤103、根据所述动作单元系数驱动虚拟对象的面部作出相应的人脸表情，以实现人脸表情迁移。
具体来说，用人脸表情识别网络模型输出的人脸表情的动作单元系数序列驱动渲染引擎中的虚拟人模型，虚拟人在此驱动下发生一系列脸部形变，形成与被拍摄者相同的脸部表情动作，即完成人脸表情迁移。
需要说明的是，上述针对视频中的每一帧图像的处理过程小于0.03秒，整个表情迁移过程可以达到实时。
本发明实施例提供的人脸表情的迁移方法，通过获取真实人脸图像；将所述真实人脸图像输入预先训练好的人脸表情识别网络模型中，输出所述真实人脸图像中的人脸表情对应的动作单元系数；其中，所述人脸表情识别网络模型通过虚拟人脸数据集和真实人脸数据集训练获得，其中，所述动作单元系数用于表征人脸处于不同表情时的面部数据；根据所述动作单元系数驱动虚拟对象的面部作出相应的人脸表情，以实现人脸表情迁移，即本发明实施例中的人脸表情识别网络模型是通过虚拟人脸数据集和真实人脸数据集来共同训练获得的，其识别率更准确，人脸表情迁移效果更佳。
结合前述的各实现方式，图3为本发明提供的另一种人脸表情的迁移方法的流程示意图，如图3所示，该人脸表情的迁移方法包括：
步骤201、基于计算机图形学技术生成具有不同表情的虚拟人脸图像，获得对应的虚拟人脸数据集。
步骤202、将所述虚拟人脸数据集输入到预先训练好的图像迁移网络模型中，输出真实感增强的虚拟人脸数据集。
步骤203、通过摄影设备采集具有不同表情的真实人脸图像，获得对应的真实人脸数据集。
步骤204、根据所述真实感增强的虚拟人脸数据集和真实人脸数据集训练初始人脸表情识别网络模型，获得所述预先训练好的人脸表情识别网络模型。
步骤205、获取真实人脸图像。
步骤206、将所述真实人脸图像输入预先训练好的人脸表情识别网络模型中，输出所述真实人脸图像中的人脸表情对应的动作单元系数。
其中，所述人脸表情识别网络模型通过虚拟人脸数据集和真实人脸数据集训练获得，其中，所述动作单元系数用于表征人脸处于不同表情时的面部数据。
步骤207、根据所述动作单元系数驱动虚拟对象的面部作出相应的人脸表情，以实现人脸表情迁移。
本实施方式中的步骤205、步骤206以及步骤207分别与前述实施方式中的步骤101、步骤102以及步骤103的实现方式类似，在此不进行赘述。
与前述实施方式不同的是，为了进一步提高人脸表情识别网络模型的识别精度，增强人脸表情的迁移效果，在本实施方式中，将所述虚拟人脸数据集输入到预先训练好的图像迁移网络模型中，输出真实感增强的虚拟人脸数据集；根据所述真实感增强的虚拟人脸数据集和真实人脸数据集训练初始人脸表情识别网络模型。
具体来说，在基于计算机图形学技术获得虚拟人脸数据集后，为了增强虚拟人脸数据的真实感，将虚拟人脸数据集，即生成的虚拟人脸图像输入到预先训练好的图像迁移网络模型中，输出真实感增强的虚拟人脸数据集。
作为可选的实施例，所述图像迁移网络模型通过虚拟人脸数据集和开源人脸图像数据集训练获得。
具体来说，采用编码-解码结构的生成器生成对抗式的图像迁移网络模型，可采用虚拟人脸图像集合和开源人脸图像集合CelebA一起作为训练集对图像迁移网络模型进行训练，生成训练好的图像迁移网络模型。
下面对本实施例进行进一步的详细说明。首先采用Unreal引擎，通过驱动3D人脸模型的blend shapes渲染得到不同表情的人脸动画，在渲染引擎中连续驱动3D人脸模型形成动画视频；然后提取动画视频中的视频帧图像，形成虚拟人脸图像集合{Ii},i＝1,2,...,n，n为视频帧图像的张数；然后将虚拟人脸图像集合{Ii},i＝1,2,...,n输入到训练好的图像迁移网络模型中，获得真实感增强后的虚拟人脸图像集合{Ii′},i＝1,2,...,n；然后采用专业摄影设备采集真实人脸图像集合{Pj},j＝1,2,...,m，m为真实图像的张数；然后将真实感增强后的虚拟人脸图像集合{Ii′}和采用专业设备采集的真实图像集合{Pj}混合训练初始人脸表情识别网络模型，获得训练好的人脸表情识别网络模型。
作为可选的实施例，在步骤204之后，还包括：重复执行以下步骤，直至所述预先训练好的人脸表情识别网络模型的损失函数满足预设条件：采用测试数据集对所述预先训练好的人脸表情识别网络模型进行测试；根据测试结果，确定测试出错率大于第一预设阈值的表情类别；生成与所述表情类别对应的第一虚拟人脸数据，并将所述第一虚拟人脸数据补充至所述虚拟人脸数据集中；根据补充后的虚拟人脸数据集再次训练所述预先训练好的人脸表情识别网络模型。
具体来说，在获得训练好的人脸表情识别网络模型后，可以通过计算真实人脸图像的损失函数来确定人脸表情识别网络模型是否训练好，只有当损失函数降低到一定值后，才确定人脸表情识别网络模型已经训练好，若损失函数没有到达一定值，则可以利用测试数据集对网络模型进行测试，测试出不同表情类别的识别错误率，对于识别错误率较高的表情类别，可以再基于计算机图像学技术生成该表情类别对应的虚拟人脸数据，并将其补充到虚拟人脸数据集中，对人脸表情识别网络模型模型进行再次训练；训练完成后，再计算损失函数，若还没有降低到一定值，则再利用测试数据集进行测试，直至训练出的人脸表情识别网络模型降低到一定值。
在前述实施方式的基础上，通过将所述虚拟人脸数据集输入到预先训练好的图像迁移网络模型中，输出真实感增强的虚拟人脸数据集，根据所述真实感增强的虚拟人脸数据集和真实人脸数据集训练初始人脸表情识别网络模型，进一步提高人脸表情识别网络模型的识别精度，进而提高人脸表情迁移到虚拟对象上的效果。
第二方面，本发明示例提供了一种人脸表情的迁移装置，图4为本发明提供的一种人脸表情的迁移装置的结构示意图，如图4所示，该人脸表情的迁移装置包括：
获取模块10，用于获取真实人脸图像；识别模块20，用于将所述真实人脸图像输入预先训练好的人脸表情识别网络模型中，输出所述真实人脸图像中的人脸表情对应的动作单元系数；其中，所述人脸表情识别网络模型通过虚拟人脸数据集和真实人脸数据集训练获得，其中，所述动作单元系数用于表征人脸处于不同表情时的面部数据；驱动模块30，用于根据所述动作单元系数驱动虚拟对象的面部作出相应的人脸表情，以实现人脸表情迁移。
在其他可选的实施方式中，所述装置还包括训练模块40，所述训练模块40用于：基于计算机图形学技术生成具有不同表情的虚拟人脸图像，获得对应的虚拟人脸数据集；通过摄影设备采集具有不同表情的真实人脸图像，获得对应的真实人脸数据集；根据所述虚拟人脸数据集和真实人脸数据集训练初始人脸表情识别网络模型，获得所述预先训练好的人脸表情识别网络模型。
在其他可选的实施方式中，所述训练模块40具体用于：通过虚拟引擎创建虚拟人脸模型，并采用渲染算法驱动所述虚拟人脸模型生成不同表情，形成虚拟人脸动画视频；提取所述虚拟人脸动画视频的视频帧图像，并将所述视频帧图像作为所述虚拟人脸数据集。
在其他可选的实施方式中，所述训练模块40还用于：将所述虚拟人脸数据集输入到预先训练好的图像迁移网络模型中，输出真实感增强的虚拟人脸数据集；根据所述真实感增强的虚拟人脸数据集和真实人脸数据集训练初始人脸表情识别网络模型。
在其他可选的实施方式中，所述图像迁移网络模型通过虚拟人脸数据集和开源人脸图像数据集训练获得。
在其他可选的实施方式中，所述训练模块40还用于：重复执行以下步骤，直至所述预先训练好的人脸表情识别网络模型的损失函数满足预设条件：采用测试数据集对所述预先训练好的人脸表情识别网络模型进行测试；根据测试结果，确定测试出错率大于第一预设阈值的表情类别；生成与所述表情类别对应的第一虚拟人脸数据，并将所述第一虚拟人脸数据补充至所述虚拟人脸数据集中；根据补充后的虚拟人脸数据集再次训练所述预先训练好的人脸表情识别网络模型。
在其他可选的实施方式中，所述虚拟人脸数据集还包括第二虚拟人脸数据集，所述第二虚拟人脸数据集为真实人脸数据集中数据量小于第二预设阈值的表情类别所对应的虚拟人脸数据。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的人脸表情的迁移装置的具体工作过程以及相应的有益效果，可以参考前述方法示例中的对应过程，在此不再赘述。
本发明提供的人脸表情的迁移装置，通过获取模块，用于获取真实人脸图像；识别模块，用于将所述真实人脸图像输入预先训练好的人脸表情识别网络模型中，输出所述真实人脸图像中的人脸表情对应的动作单元系数；其中，所述人脸表情识别网络模型通过虚拟人脸数据集和真实人脸数据集训练获得，其中，所述动作单元系数用于表征人脸处于不同表情时的面部数据；驱动模块，用于根据所述动作单元系数驱动虚拟对象的面部作出相应的人脸表情，以实现人脸表情迁移；即本发明实施例中的人脸表情识别网络模型是通过虚拟人脸数据集和真实人脸数据集来共同训练获得的，其识别率更准确，虚拟对象能够做出更逼真的人脸表情。
第三方面，本发明示例提供了一种电子设备，图5为本发明提供的一种电子设备的硬件结构示意图，如图5所示，包括：
至少一个处理器501和存储器502。
在具体实现过程中，至少一个处理器501执行所述存储器502存储的计算机执行指令，使得至少一个处理器501执行如上的人脸表情的迁移方法，其中，处理器501、存储器502通过总线503连接。
处理器501的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
在上述的图5所示的实施例中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component Interconnect，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
第四方面，本发明还提供了一种可读存储介质，所述可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上人脸表情的迁移方法。
上述的可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，简称：ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种人脸表情的迁移方法，其特征在于，包括：
获取真实人脸图像；
将所述真实人脸图像输入预先训练好的人脸表情识别网络模型中，输出所述真实人脸图像中的人脸表情对应的动作单元系数；其中，所述人脸表情识别网络模型通过虚拟人脸数据集和真实人脸数据集训练获得，其中，所述动作单元系数用于表征人脸处于不同表情时的面部数据；
根据所述动作单元系数驱动虚拟对象的面部作出相应的人脸表情，以实现人脸表情迁移。
2.根据权利要求1所述的方法，其特征在于，所述将所述真实人脸图像输入已经训练好的人脸表情识别网络模型中之前，还包括：
基于计算机图形学技术生成具有不同表情的虚拟人脸图像，获得对应的虚拟人脸数据集；
通过摄影设备采集具有不同表情的真实人脸图像，获得对应的真实人脸数据集；
根据所述虚拟人脸数据集和真实人脸数据集训练初始人脸表情识别网络模型，获得所述预先训练好的人脸表情识别网络模型。
3.根据权利要求2所述的方法，其特征在于，所述基于计算机图形学技术生成具有不同表情的虚拟人脸图像，获得对应的虚拟人脸数据集，包括：
通过虚拟引擎创建虚拟人脸模型，并采用渲染算法驱动所述虚拟人脸模型生成不同表情，形成虚拟人脸动画视频；
提取所述虚拟人脸动画视频的视频帧图像，并将所述视频帧图像作为所述虚拟人脸数据集。
4.根据权利要求2或3所述的方法，其特征在于，所述获得对应的虚拟人脸数据集之后，还包括：
将所述虚拟人脸数据集输入到预先训练好的图像迁移网络模型中，输出真实感增强的虚拟人脸数据集；
所述根据所述虚拟人脸数据集和真实人脸数据集训练初始人脸表情识别网络模型，包括：
根据所述真实感增强的虚拟人脸数据集和真实人脸数据集训练初始人脸表情识别网络模型。
5.根据权利要求4所述的方法，其特征在于，所述图像迁移网络模型通过虚拟人脸数据集和开源人脸图像数据集训练获得。
6.根据权利要求2所述的方法，其特征在于，所述获得所述预先训练好的人脸表情识别网络模型之后，还包括：
重复执行以下步骤，直至所述预先训练好的人脸表情识别网络模型的损失函数满足预设条件：
采用测试数据集对所述预先训练好的人脸表情识别网络模型进行测试；
根据测试结果，确定测试出错率大于第一预设阈值的表情类别；
生成与所述表情类别对应的第一虚拟人脸数据，并将所述第一虚拟人脸数据补充至所述虚拟人脸数据集中；
根据补充后的虚拟人脸数据集再次训练所述预先训练好的人脸表情识别网络模型。
7.根据权利要求1-3任一项所述的方法，其特征在于，所述虚拟人脸数据集还包括第二虚拟人脸数据集，所述第二虚拟人脸数据集为真实人脸数据集中数据量小于第二预设阈值的表情类别所对应的虚拟人脸数据。
8.一种人脸表情的迁移装置，其特征在于，包括：
获取模块，用于获取真实人脸图像；
识别模块，用于将所述真实人脸图像输入预先训练好的人脸表情识别网络模型中，输出所述真实人脸图像中的人脸表情对应的动作单元系数；其中，所述人脸表情识别网络模型通过虚拟人脸数据集和真实人脸数据集训练获得，其中，所述动作单元系数用于表征人脸处于不同表情时的面部数据；
驱动模块，用于根据所述动作单元系数驱动虚拟对象的面部作出相应的人脸表情，以实现人脸表情迁移。
9.一种电子设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至7任一项所述的方法。
10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至7任一项所述的方法。
CN202011492761.5A 2020-12-16 2020-12-16 人脸表情的迁移方法、装置、电子设备及存储介质 Active CN112541445B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011492761.5A CN112541445B (zh) 2020-12-16 2020-12-16 人脸表情的迁移方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011492761.5A CN112541445B (zh) 2020-12-16 2020-12-16 人脸表情的迁移方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112541445A true CN112541445A (zh) 2021-03-23
CN112541445B CN112541445B (zh) 2023-07-18

Family

ID=75018890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011492761.5A Active CN112541445B (zh) 2020-12-16 2020-12-16 人脸表情的迁移方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112541445B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113066156A (zh) * 2021-04-16 2021-07-02 广州虎牙科技有限公司 表情重定向方法、装置、设备和介质
CN113255457A (zh) * 2021-04-28 2021-08-13 上海交通大学 基于人脸表情识别的动画角色面部表情生成方法及系统
CN113613048A (zh) * 2021-07-30 2021-11-05 武汉微派网络科技有限公司 虚拟形象表情驱动方法和系统
CN113674373A (zh) * 2021-07-02 2021-11-19 清华大学 基于深度学习的真实感人脸渲染方法与装置
CN113724367A (zh) * 2021-07-13 2021-11-30 北京理工大学 一种机器人表情驱动方法及装置
CN113762147A (zh) * 2021-09-06 2021-12-07 网易（杭州）网络有限公司 人脸表情迁移方法、装置、电子设备及存储介质
CN114529637A (zh) * 2022-02-21 2022-05-24 佛山虎牙虎信科技有限公司 确定表情系数及模型训练的方法、装置及设备及直播系统
CN114693846A (zh) * 2022-04-13 2022-07-01 Oppo广东移动通信有限公司 人脸模型生成方法、装置、存储介质与电子设备
CN114898020A (zh) * 2022-05-26 2022-08-12 唯物(杭州)科技有限公司 一种3d角色实时面部驱动方法、装置、电子设备及存储介质
CN116188640A (zh) * 2022-12-09 2023-05-30 北京百度网讯科技有限公司 三维虚拟形象的生成方法、装置、设备和介质
CN117540789A (zh) * 2024-01-09 2024-02-09 腾讯科技（深圳）有限公司 模型训练方法、面部表情迁移方法、装置、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110153198A1 (en) * 2009-12-21 2011-06-23 Navisus LLC Method for the display of navigation instructions using an augmented-reality concept
CN108363973A (zh) * 2018-02-07 2018-08-03 电子科技大学 一种无约束的3d表情迁移方法
CN109829969A (zh) * 2018-12-27 2019-05-31 北京奇艺世纪科技有限公司 一种数据获取方法、装置及存储介质
CN109903363A (zh) * 2019-01-31 2019-06-18 天津大学 条件生成对抗网络三维人脸表情运动单元合成方法
CN110427802A (zh) * 2019-06-18 2019-11-08 平安科技（深圳）有限公司 Au检测方法、装置、电子设备及存储介质
CN110458003A (zh) * 2019-06-29 2019-11-15 天津大学 基于局部注意力模型的面部表情动作单元对抗合成方法
CN111028319A (zh) * 2019-12-09 2020-04-17 首都师范大学 一种基于面部运动单元的三维非真实感表情生成方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110153198A1 (en) * 2009-12-21 2011-06-23 Navisus LLC Method for the display of navigation instructions using an augmented-reality concept
CN108363973A (zh) * 2018-02-07 2018-08-03 电子科技大学 一种无约束的3d表情迁移方法
CN109829969A (zh) * 2018-12-27 2019-05-31 北京奇艺世纪科技有限公司 一种数据获取方法、装置及存储介质
CN109903363A (zh) * 2019-01-31 2019-06-18 天津大学 条件生成对抗网络三维人脸表情运动单元合成方法
CN110427802A (zh) * 2019-06-18 2019-11-08 平安科技（深圳）有限公司 Au检测方法、装置、电子设备及存储介质
CN110458003A (zh) * 2019-06-29 2019-11-15 天津大学 基于局部注意力模型的面部表情动作单元对抗合成方法
CN111028319A (zh) * 2019-12-09 2020-04-17 首都师范大学 一种基于面部运动单元的三维非真实感表情生成方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ALBERT PUMAROLA 等: "GANimation：Anatomically—aware facial animation from a single image", 《COMPUTER VISION – ECCV 2018》, pages 835 *
YUQIAN ZHOU 等: "Photorealistic facial expression synthesis by the conditional difference adversarial autoencoder", 《2017 SEVENTH INTERNATIONAL CONFERENCE ON AFFECTIVE COMPUTING AND INTELLIGENT INTERACTION (ACII)》, pages 370 - 376 *
蒲倩: "人脸表情迁移与分析方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 11, pages 138 - 451 *
陈松 等: "动态人脸表情合成的模型特征驱动算法综述", 《计算机与现代化》, no. 7, pages 47 - 54 *
随海亮 等: "基于生成对抗网络与FACS的面部表情合成研究", 《软件导刊》, vol. 19, no. 6, pages 235 - 239 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113066156A (zh) * 2021-04-16 2021-07-02 广州虎牙科技有限公司 表情重定向方法、装置、设备和介质
CN113255457A (zh) * 2021-04-28 2021-08-13 上海交通大学 基于人脸表情识别的动画角色面部表情生成方法及系统
CN113674373A (zh) * 2021-07-02 2021-11-19 清华大学 基于深度学习的真实感人脸渲染方法与装置
CN113674373B (zh) * 2021-07-02 2024-04-26 清华大学 基于深度学习的真实感人脸渲染方法
CN113724367A (zh) * 2021-07-13 2021-11-30 北京理工大学 一种机器人表情驱动方法及装置
CN113613048A (zh) * 2021-07-30 2021-11-05 武汉微派网络科技有限公司 虚拟形象表情驱动方法和系统
CN113762147B (zh) * 2021-09-06 2023-07-04 网易（杭州）网络有限公司 人脸表情迁移方法、装置、电子设备及存储介质
CN113762147A (zh) * 2021-09-06 2021-12-07 网易（杭州）网络有限公司 人脸表情迁移方法、装置、电子设备及存储介质
CN114529637A (zh) * 2022-02-21 2022-05-24 佛山虎牙虎信科技有限公司 确定表情系数及模型训练的方法、装置及设备及直播系统
CN114693846A (zh) * 2022-04-13 2022-07-01 Oppo广东移动通信有限公司 人脸模型生成方法、装置、存储介质与电子设备
CN114898020A (zh) * 2022-05-26 2022-08-12 唯物(杭州)科技有限公司 一种3d角色实时面部驱动方法、装置、电子设备及存储介质
CN116188640A (zh) * 2022-12-09 2023-05-30 北京百度网讯科技有限公司 三维虚拟形象的生成方法、装置、设备和介质
CN116188640B (zh) * 2022-12-09 2023-09-08 北京百度网讯科技有限公司 三维虚拟形象的生成方法、装置、设备和介质
CN117540789A (zh) * 2024-01-09 2024-02-09 腾讯科技（深圳）有限公司 模型训练方法、面部表情迁移方法、装置、设备及介质
CN117540789B (zh) * 2024-01-09 2024-04-26 腾讯科技（深圳）有限公司 模型训练方法、面部表情迁移方法、装置、设备及介质

Also Published As

Publication number Publication date
CN112541445B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN112541445B (zh) 人脸表情的迁移方法、装置、电子设备及存储介质
CN111354079B (zh) 三维人脸重建网络训练及虚拟人脸形象生成方法和装置
US11379987B2 (en) Image object segmentation based on temporal information
CN108320297B (zh) 一种视频目标实时跟踪方法及系统
CN111488865B (zh) 图像优化方法、装置、计算机存储介质以及电子设备
CN110490896B (zh) 一种视频帧图像处理方法和装置
WO2020103700A1 (zh) 一种基于微表情的图像识别方法、装置以及相关设备
CN110956691B (zh) 一种三维人脸重建方法、装置、设备及存储介质
CN109840467A (zh) 一种活体检测方法及系统
CN111243050A (zh) 肖像简笔画生成方法、系统及绘画机器人
JP2020109627A (ja) 画像現実感予測器
CN114450719A (zh) 人体模型重建方法、重建系统及存储介质
CN111583105B (zh) 人像生成方法、装置、设备及存储介质
US20220058827A1 (en) Multi-view iterative matching pose estimation
CN114677739A (zh) 一种面部表情捕捉方法、装置、计算机设备及存储介质
CN111680573B (zh) 人脸识别方法、装置、电子设备和存储介质
CN112200236A (zh) 人脸参数识别模型的训练方法、人脸参数的识别方法
CN111915735A (zh) 一种针对视频中三维结构轮廓的深度优化方法
CN117541749A (zh) 一种人体3d重建的人脸优化方法
Wu et al. Marker-removal networks to collect precise 3D hand data for RGB-based estimation and its application in piano
US20240013464A1 (en) Multimodal disentanglement for generating virtual human avatars
EP4014202A1 (en) System and method for generating training images
CN111028322A (zh) 游戏动画表情生成方法、装置及电子设备
CN114677476B (zh) 一种脸部处理方法、装置、计算机设备及存储介质
KR20230108869A (ko) 딥 러닝을 이용한 가상 인물 생성 모델의 학습방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant