CN112614213A - 人脸表情确定方法、表情参数确定模型、介质及设备 - Google Patents

人脸表情确定方法、表情参数确定模型、介质及设备 Download PDF

Info

Publication number
CN112614213A
CN112614213A CN202011471871.3A CN202011471871A CN112614213A CN 112614213 A CN112614213 A CN 112614213A CN 202011471871 A CN202011471871 A CN 202011471871A CN 112614213 A CN112614213 A CN 112614213A
Authority
CN
China
Prior art keywords
face
feature
expression
dimensional
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011471871.3A
Other languages
English (en)
Other versions
CN112614213B (zh
Inventor
蔡苗苗
刘华平
李鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Netease Cloud Music Technology Co Ltd
Original Assignee
Hangzhou Netease Cloud Music Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Netease Cloud Music Technology Co Ltd filed Critical Hangzhou Netease Cloud Music Technology Co Ltd
Priority to CN202011471871.3A priority Critical patent/CN112614213B/zh
Publication of CN112614213A publication Critical patent/CN112614213A/zh
Application granted granted Critical
Publication of CN112614213B publication Critical patent/CN112614213B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明的实施方式提供了一种人脸表情确定方法、表情参数确定模型、介质及电子设备，涉及图像处理技术领域。该方法包括：获取二维人脸图像，确定二维人脸图像对应的初始特征图和人脸关键点；对初始特征图进行全局特征提取以得到人脸的全局特征；根据人脸关键点从初始特征图确定对应的眼睛区域图和嘴巴区域图，对眼睛区域图和嘴巴区域图进行区域特征提取以得到人脸的局部特征；根据全局特征确定人脸的头部姿态信息，根据全局特征与局部特征确定人脸的三维表情基系数；根据头部姿态信息和三维表情基系数生成对应的人脸表情。本发明可以根据二维人脸图像确定出的三维表情基系数和人脸的头部姿态信息驱动虚拟对象重建出对应的三维人脸表情。

Description

人脸表情确定方法、表情参数确定模型、介质及设备
技术领域
本发明的实施方式涉及图像处理技术领域，更具体地，本发明的实施方式涉及人脸表情确定方法、表情参数确定模型、计算机可读存储介质及电子设备。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
人脸动画技术是指从源人脸中获取脸部的表情信息，用来驱动目标动画模型模拟源人脸的表情。这一技术在数字娱乐领域、虚拟现实、电影等领域都有极高的应用价值。人脸动画最重要的一个技术环节就是获取人脸的表情信息，而用真实人脸表情进行表情驱动是目前实用性非常广泛的一种应用。
发明内容
目前，通常采用下述两种方式基于真实人脸表情进行表情驱动：(1)在获取源人脸的脸部表情信息时，可以使用特殊的设备(例如深度摄像头)和各种复杂的操作来获取精准的人脸表情信息。然而，这些昂贵的设备和耗时的计算并不适用于普通用户的使用。(2)基于可形变模型技术，利用二维人脸关键点和三维人脸关键点映射到二维上的关键点之间的误差约束进行迭代求解形状、纹理和表情基系数。这种方法高度依赖于二维人脸关键点的检测精度，并且使用迭代优化方式对问题进行求解，模型过于简单，泛化能力较弱，对难度比较大的情况如大动作表情、大幅度姿态等情况的表情参数预测不准确。
由此，在现有技术中，缺乏一种可以从二维人脸图像中提取高精度的人脸表情参数，并根据高精度人脸表情参数驱动虚拟对象执行相应人脸表情的方法。
为此，非常需要一种改进的人脸表情确定方法，以从二维人脸图像中提取出三维表情基系数，并根据二维人脸图像预测出人脸的头部姿态信息，以根据三维表情基系数和头部姿态信息重构出二维人脸图像中的人脸表情。
在本上下文中，本发明的实施方式期望提供一种人脸表情确定方法、表情参数确定模型、计算机可读存储介质及电子设备。
在本发明实施方式的第一方面中，提供了一种人脸表情确定方法，包括：获取二维人脸图像，并确定所述二维人脸图像对应的初始特征图和人脸关键点；对所述初始特征图进行全局特征提取以得到人脸的全局特征；根据所述人脸关键点从所述初始特征图确定对应的眼睛区域图和嘴巴区域图，对所述眼睛区域图和嘴巴区域图进行区域特征提取以得到所述人脸的局部特征；根据所述全局特征确定所述人脸的头部姿态信息，并根据所述全局特征与所述局部特征确定所述人脸的三维表情基系数；根据所述头部姿态信息和所述三维表情基系数生成对应的人脸表情。
在本发明的一个实施例中，所述确定所述二维人脸图像对应的初始特征图和人脸关键点，包括：将所述二维人脸图像输入至人脸检测模型，以确定与所述二维人脸图像对应的人脸区域；将所述人脸区域中的图像作为所述初始特征图；以及由所述人脸检测模型输出所述二维人脸图像对应的人脸关键点；所述人脸关键点包括左眼中心点、右眼中心点、鼻子点、左嘴角点和右嘴角点。
在本发明的一个实施例中，所述对所述初始特征图进行全局特征提取以得到人脸的全局特征，包括：对所述初始特征图进行1×1卷积处理以得到第一特征；对所述初始特征图进行全局池化处理以得到中间特征图；对所述中间特征图并联地进行不同空洞率的多个空洞卷积处理，以得到多个空洞卷积特征；将所述多个空洞卷积特征进行特征融合处理以得到第二特征；根据所述第一特征与所述第二特征生成所述全局特征。
在本发明的一个实施例中，所述将所述多个空洞卷积特征进行特征融合处理以得到第二特征，包括：将通过第一空洞卷积处理得到的第一空洞卷积特征作为第一通道融合特征；对所述第一通道融合特征和通过第二空洞卷积处理得到的第二空洞卷积特征进行元素相加处理以得到第二通道融合特征；对所述第二通道融合特征和通过第三空洞卷积处理得到的第三空洞卷积特征进行元素相加处理以得到第三通道融合特征；对所述第一通道融合特征、所述第二通道融合特征和所述第三通道融合特征进行通道融合处理以生成第二初始特征；对所述第二初始特征进行降维卷积处理以得到所述第二特征。
在本发明的一个实施例中，所述根据所述第一特征与所述第二特征生成所述全局特征，包括：确定与所述第一特征的特征元素对应的第一权重系数；确定与所述第二特征的特征元素对应的第二权重系数；根据所述第一权重系数与所述第二权重系数对所述第一特征的特征元素和所述第二特征的特征元素进行元素相乘计算，以生成所述全局特征。
在本发明的一个实施例中，所述根据所述人脸关键点从所述初始特征图确定对应的眼睛区域图和嘴巴区域图，包括：根据所述左眼中心点确定初始左眼区域图，并根据所述右眼中心点确定初始右眼区域图；根据所述鼻子点、所述左嘴角点和所述右嘴角点确定初始嘴巴区域图；分别对所述初始左眼区域图、初始右眼区域图和所述初始嘴巴区域图进行图像缩放处理，以得到所述眼睛区域图和所述嘴巴区域图。
在本发明的一个实施例中，所述对所述眼睛区域图和嘴巴区域图进行区域特征提取以得到所述人脸的局部特征，包括：分别对所述眼睛区域图和嘴巴区域图进行区域特征提取以得到眼睛特征和嘴巴特征；对所述眼睛特征和所述嘴巴特征进行通道融合处理以得到初始局部特征；对所述初始局部特征进行第二卷积处理以生成所述局部特征。
在本发明的一个实施例中，所述根据所述全局特征确定所述人脸的头部姿态信息，包括：获取预先训练的姿态确定模型；将所述全局特征输入至所述姿态确定模型，以由所述姿态确定模型输出所述头部姿态信息。
在本发明的一个实施例中，所述根据所述全局特征与所述局部特征确定所述人脸的三维表情基系数，包括：将所述全局特征与所述局部特征进行通道融合处理以生成目标特征；获取预先训练的表情基系数确定模型；将所述目标特征输入至所述表情基系数确定模型，以由所述表情基系数确定模型输出所述三维表情基系数。
在本发明的一个实施例中，所述根据所述头部姿态信息和所述三维表情基系数生成对应的人脸表情，包括：获取表情基数据集；其中，所述表情基数据集包括多个表情基；根据所述多个表情基和所述三维表情基系数确定所述二维人脸图像对应的表情特征；根据所述头部姿态信息和所述表情特征驱动虚拟对象执行对应的人脸表情。
在本发明实施方式的第二方面中，提供了一种表情参数确定模型，包括：人脸检测模块，用于获取二维人脸图像，并对所述二维人脸图像进行人脸检测处理，以确定所述二维人脸图像对应的初始特征图和人脸关键点；全局特征提取模块，用于对所述初始特征图进行全局特征提取以得到人脸的全局特征；局部多特征提取模块，用于根据所述人脸关键点从所述初始特征图确定对应的眼睛区域图和嘴巴区域图，对所述眼睛区域图和嘴巴区域图进行区域特征提取以得到所述人脸的局部特征；人脸姿态信息预测模块，用于根据所述全局特征确定所述人脸的头部姿态信息；三维表情参数确定模块，用于根据所述全局特征与所述局部特征确定所述人脸的三维表情基系数。
在本发明的一个实施例中，所述全局特征提取模块包括：第一网络分支，用于对所述初始特征图进行1×1卷积处理以得到第一特征；第二网络分支，用于对所述初始特征图进行全局池化处理以得到中间特征图；对所述中间特征图并联地进行不同空洞率的多个空洞卷积处理以得到多个空洞卷积特征，并根据得到的所述多个空洞卷积特征确定第二特征；特征融合单元，用于对所述第一特征的特征元素和所述第二特征的特征元素进行元素相乘计算，以生成所述全局特征。
在本发明的一个实施例中，所述第二网络分支包括：全局池化层，用于对所述初始特征图进行全局池化处理以得到中间特征图；第一空洞卷积层，用于对所述中间特征图进行第一空洞卷积处理以得到第一空洞卷积特征，并将所述第一空洞卷积特征作为第一通道融合特征；第二空洞卷积层，用于对所述中间特征图进行第二空洞卷积处理以得到第二空洞卷积特征，并根据所述第二空洞卷积特征和所述第一通道融合特征确定第二通道融合特征；第三空洞卷积层，用于对所述中间特征图进行第三空洞卷积处理以得到第三空洞卷积特征，并根据所述第三空洞卷积特征和所述第二通道融合特征确定第三通道融合特征；第一通道融合层，用于对所述第一通道融合特征、所述第二通道融合特征和所述第三通道融合特征进行通道融合处理以生成第二初始特征；第一卷积层，用于对所述第二初始特征进行降维卷积处理以得到所述第二特征。
在本发明的一个实施例中，所述眼睛区域图包括左眼区域图和右眼区域图，所述局部多特征提取模块包括：第一特征提取层，用于对所述左眼区域图进行特征提取，以得到左眼特征；第二特征提取层，用于对所述右眼区域图进行特征提取，以得到右眼特征；第三特征提取层，用于对所述嘴巴区域图进行特征提取，以得到嘴巴特征；第二通道融合层，用于对所述左眼特征、所述右眼特征和所述嘴巴特征进行通道融合处理，以生成初始局部特征；第二卷积层，用于对所述初始局部特征进行第二卷积处理，以生成所述局部特征。
在本发明实施方式的第三方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的人脸表情确定方法。
在本发明实施方式的第四方面中，提供了一种电子设备，包括：处理器；以及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如上述所述的人脸表情确定方法。
根据本发明实施方式的技术方案，一方面，对二维人脸图像进行特征提取，通过得到的全局特征和局部特征确定出二维人脸图像对应的三维表情基参数和头部姿态信息，以根据三维表情基系数和头部姿态信息重构人脸表情。另一方面，本发明根据二维人脸图像即可实现表情驱动，该表情生成方法简单易于操作，成本低，应用广泛，可以轻易地部署在手机等移动设备中进行使用。又一方面，通过对提取的眼睛区域和嘴巴区域进行区域特征提取，可以使得表情预测更贴合实际，对表情区域细节特征描述更加丰富。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1示意性地示出了根据本发明的一些实施例的示例性应用场景的系统架构的示意框图；
图2示意性地示出了根据本发明的一些实施例的人脸表情确定方法的流程示意图；
图3示意性地示出了根据本发明的一些实施例的根据二维人脸图像确定头部姿态信息和三维表情基系数的过程图；
图4示意性地示出了根据本发明的一些实施例的采用全局特征提取网络提取人脸的全局特征的示意图；
图5示意性地示出了根据本发明的一些实施例的对初始特征图进行全局池化处理的示意图；
图6示意性地示出了根据本发明的一些实施例的从初始特征图中确定的初始眼睛区域图和初始嘴巴区域图的示意图；
图7示意性地示出了根据本发明的一些实施例的采用区域多特征提取网络提取人脸的眼睛特征和嘴巴特征的示意图；
图8示意性地示出了根据本发明的一些实施例的根据全局特征和局部特征确定头部姿态信息和三维表情基系数的示意图；
图9示意性地示出了根据本发明的一些实施例的表情参数确定模型的示意框图；
图10示意性地示出了根据本发明的示例实施例的存储介质的示意图；以及
图11示意性地示出了根据发明的示例实施例的电子设备的方框图。
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
根据本发明的实施方式，提出了一种人脸表情确定方法、表情参数确定模型、介质和电子设备。
在本文中，需要理解的是，所涉及的术语，比如深度学习(Deep Learning)，是利用深层神经网络抽象数据的特征，以便更精准地表征数据的分布和特性。注意力机制(Attention)，是深度学习中的一种增加模型表现力的方法。卷积神经网络ConvolutionalNeural Network，CNN)，是一种包含卷积操作的前馈神经网络，在大型图像处理方面有出色的表现，是深度学习的代表算法之一。损失函数(Loss Function)，是用来估量模型的预测值和真实值的不一致的程度。可形变模型技术(Morphable Mode Technology)，是一种机器学习技术。此外，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
发明概述
人脸动画技术是指从源人脸中获取脸部的表情信息，用来驱动目标动画模型模拟源人脸的表情。人脸动画最重要的一个技术环节就是获取人脸的表情信息。获取源人脸的脸部表情信息时，可以使用如深度摄像头等特殊的设备和各种复杂的操作来获取精准的人脸表情信息。这些昂贵的设备和耗时的计算并不适用于普通用户的使用。对于普通用户而言，使用单目摄像机实时获取精准的人脸表情信息是最简单有效的方法。当前基于单目摄像机的实时人脸表情信息获取受限于不准确的表情系数计算、复杂的三维表情模型重建等问题。
在一种虚拟人物表情驱动的技术方案中，需要利用色彩摄像机采集人脸面部表情的色彩信息，同时还需要使用深度摄像机采集人脸面部表情的深度信息。将深度信息和色彩信息进行合并，并提取关键信息节点，并将这些关键信息节点与之前学习的人类面部表情模型进行分析对比，将人脸面部表情数字化为一组权重数值。
该方法使用深度摄像头采集人脸的表情参数，虽然精度上相对于单目摄像头更为精准，但是深度摄像头设备的使用并不容易，成本比较大，而且不容易部署，例如在应用比较广泛的移动端上，难以简单快捷部署。
在一种三维人脸动画控制的技术方案中，在获取人脸表情数据时，针对被测人脸的二维彩色图像，首先检测到人脸和人脸上的人脸关键点坐标。其利用可形变模型技术进行三维人脸模型重建，先利用数据库的人脸模型作为基底向量，并结合人脸数据数据库中的形状向量和纹理向量以及参数，利用迭代拟合方法求解形状向量和纹理向量的参数。先随机初始化形状向量所对应的初始值以随机生成一个三维(3-Dimension，3D)人脸模型，并将该3D人脸模型投影至二维平面以得到新的人脸二维图像，进而利用新二维人脸图像的人脸特征点和输入的人脸二维图像的人脸特征点构建对比函数，以此方式，进行循化迭代直至最终的收敛效果满足预设的精度要求。
该方法基于可形变模型技术，利用2D人脸关键点和3D人脸关键点映射到2D上的关键点之间的误差约束进行迭代求解形状、纹理和表情基系数，此种方法虽然无需大量的训练样本，但是一方面依然是高度依赖2D人脸关键的检测精度，一旦对于角度、表情过大等出现2D关键点检测不精准，则迭代求解到的人脸参数也会不精准。另一方面，使用迭代优化方式对问题进行求解，模型过于简单，泛化能力较弱，对难度比较大的情况如大动作表情、大幅度姿态等情况的表情参数预测不准确。
基于上述内容，本发明的基本思想在于，获取二维人脸图像，确定二维人脸图像对应的初始特征图和人脸关键点；对初始特征图进行全局特征提取以得到人脸的全局特征；根据人脸关键点从初始特征图确定对应的眼睛区域图和嘴巴区域图，对眼睛区域图和嘴巴区域图进行区域特征提取以得到人脸的局部特征；根据全局特征确定人脸的头部姿态信息，根据全局特征与局部特征确定人脸的三维表情基系数；根据头部姿态信息和三维表情基系数生成对应的人脸表情。本发明根据获取到的二维人脸图像可以提取出对应的高精度的三维表情基系数和人脸的头部姿态信息，以重建三维人脸表情，无需额外的人工干预；并且，使用过程简单，无需特殊的设备，仅使用单目摄像头获取到的二维人脸图像即可实现表情参数提取，适用于在各种平台和场景下使用。
在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。
应用场景总览
首先参考图1，图1示出了可以应用本公开实施例的一种人脸表情确定方法、表情参数确定模型的示例性应用场景的系统架构的示意框图。
如图1所示，系统架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是具有显示屏的各种电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
本公开实施例所提供的人脸表情确定方法一般由服务器105执行，相应地，表情参数确定模型一般设置于服务器105中。但本领域技术人员容易理解的是，本公开实施例所提供的人脸表情确定方法也可以由终端设备101、102、103执行，相应的，表情参数确定模型也可以设置于终端设备101、102、103中，本示例性实施例中对此不做特殊限定。举例而言，在一种示例性实施例中，可以是工作人员通过终端设备101、102、103将预先获取的二维人脸图像上传至服务器105，服务器通过本公开实施例所提供的人脸表情确定方法根据二维人脸图像确定出对应的人脸的头部姿态信息和三维表情基系数，并将确定出的头部姿态信息和三维表情基系数传输给终端设备101、102、103等以使终端设备101、102、103根据确定出的头部姿态信息和三维表情基系数驱动虚拟对象生成相应的人脸表情。
应该理解的是，图1所示的应用场景仅是本发明的实施例可以在其中得以实现的一个示例。本发明实施例的适用范围不受到该应用场景任何方面的限制。
示例性方法
下面结合图1的应用场景，参考图2来描述根据本发明示例性实施方式的人脸表情确定方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。
本公开首先提供了一种人脸表情确定方法，该方法执行主体可以是终端设备，也可以是服务器，本公开对此不做特殊限定，本示例实施例中以终端设备执行该方法为例进行说明。
参照图2所示，在步骤S210中，获取二维人脸图像，并确定二维人脸图像对应的初始特征图和人脸关键点。
在一些示例实施例中，二维人脸图像可以是不包含深度信息的人脸平面图像，由于人脸本身是三维的，二维人脸平面图像只是三维人脸在一个平面上的投影。初始特征图可以是对二维人脸图像进行人脸检测时，对检测到的人脸检测框中的人脸区域进行裁剪后得到的人脸图像。人脸关键点可以是表示人脸的关键部位的信息的位置点，例如，人脸关键点可以包括左眼中心点、右眼中心点、鼻子点、嘴巴左嘴角和嘴巴右嘴角等。
参考图3，图3示意性地示出了根据本发明的一些实施例的根据二维人脸图像确定头部姿态信息和三维表情基系数的过程图。在步骤S310中，可以通过获取二维人脸图像，具体的，人脸表情确定方法的执行主体可以是终端设备；其中，该终端设备可以为照相机、具有拍摄功能的手机、电脑等。用户可以利用终端设备对目标人脸进行图像拍摄，并将拍摄的图像保存至终端设备中。上述终端设备上可以包括各种应用，例如图像处理类应用、摄影摄像类应用、搜索类应用、浏览器类应用、社交平台软件等。用户可以通过上述各种应用下载图像，并将下载的图像保存至终端设备。二维人脸图像可以是各种类型的图像，例如二值图像、彩色图像、伪彩色图像、红外图像等。
当人脸表情确定方法的执行主体为如图1所示的服务器105时，可以首先通过有线连接方式或无线连接方式从终端设备中获取目标人脸的二维人脸图像。进一步地，二维人脸图像还可以直接存储在上述执行主体的本地，此时，上述执行主体可以直接从本地获取目标人脸图像，当上述执行主体通过本地获取图像时，网络可被省略。
参考图3，当获取到二维人脸图像后，在步骤S320中，可以对二维人脸图像进行人脸检测处理，将二维人脸图像输入至人脸检测模型以输出对应的初始特征图和人脸关键点。
在一些示例实施例中，可以通过下述步骤确定二维人脸图像对应的初始特征图和人脸关键点：将二维人脸图像输入至人脸检测模型，以确定与二维人脸图像对应的人脸区域；将人脸区域中的图像作为初始特征图；以及由人脸检测模型输出二维人脸图像对应的人脸关键点；人脸关键点包括左眼中心点、右眼中心点、鼻子点、左嘴角点和右嘴角点。
其中，人脸检测模型可以用于对二维人脸图像进行人脸识别处理；例如，人脸识别模型可以是基于深度学习的多任务卷积神经网络(Multi-task Cascaded ConvolutionalNetworks，MTCNN)人脸检测器。人脸区域可以是二维人脸图像中人脸所处的图像区域。
具体的，将二维人脸图像输入至人脸检测模型后，人脸检测模型可以对二维人脸图像进行人脸检测，如果二维人脸图像中存在人脸，则在二维人脸图像中确定出对应的人脸检测框(x，y，w，h)，其中，x、y分别表示人脸框左上角的点在图像上的x轴和y轴坐标，w、h分别表示人脸框的宽度和高度。对于检测到的人脸框，可以将人脸区域裁剪下来，形成初始特征图，将其作为人脸表情参数提取模型的输入。并且，在检测到的人脸框的同时，人脸检测模型将输出5个人脸关键点，分别为左眼中心点、右眼中心点、鼻子点、嘴巴左嘴角点和嘴巴右嘴角点，这5个关键点可以用于定位人脸的局部区域，如眼睛区域和嘴巴区域。
在步骤S220中，对初始特征图进行全局特征提取以得到人脸的全局特征。
在一些示例实施例中，全局特征提取可以是对初始特征图进行特征提取的处理过程。全局特征可以是二维人脸图像中包含的全部人脸特征。
在采用传统的CNN网络模型进行特征提取时，对整个初始特征图(feature map)中的每个特征均是以相同的重要程度考虑的，即每次特征提取均将所有的特征都考虑进去。然而在人脸表情提取的过程中，对结果有用的更多的是可以产生表情的眼睛、嘴巴、肌肉等信息，额头和皮肤等这些信息对预测结果作用是比较小的，因此，对于全局特征提取网络而言，期望全局特征提取网络在全局特征提取时，可以自己捕捉到对任务作用比较大的特征，而忽略对预测结果作用比较小的特征。
因此，可以采用改进的注意力机制的神经网络模型对初始特征图进行全局特征提取。参考图3，在步骤S330中，可以将初始特征图输入至基于注意力机制的全局特征提取网络模型中，以根据初始特征图提取人脸的全局特征。
在步骤S230中，根据人脸关键点从初始特征图确定对应的眼睛区域图和嘴巴区域图，对眼睛区域图和嘴巴区域图进行区域特征提取以得到人脸的局部特征。
在一些示例实施例中，眼睛区域图可以是初始特征图中人脸的眼睛对应的图像。嘴巴区域图可以是初始特征图中人脸的嘴巴对应的图像。区域特征提取可以是分别对眼睛区域图和嘴巴区域图进行局部特征提取的处理过程。局部特征可以是人脸的眼睛区域和嘴巴区域等对应的特征。
在观察人脸表情过程中，可以发现，对于表情而言，变化幅度最大且变化种类最多的区域是眼睛、眉毛和嘴巴区域。因此，在进行人脸表情特征提取时，为了更精细地提取到这些局部区域的特征，对更细微的表情和变化进行更好的区分，可以对根据人脸关键点从初始特征图中确定人脸的眼睛区域和嘴巴区域等，并对眼睛区域和嘴巴区域进行局部特征提取，以加强对局部细节特征的描述，增加对更细微表情的提取能力。参考图3，在步骤S340中，在根据初始特征图确定出眼睛区域图和嘴巴区域图后，可以分别对眼睛区域图和嘴巴区域图进行局部多特征提取，以提取出人脸的局部特征。
在步骤S240中，根据全局特征确定人脸的头部姿态信息，并根据全局特征与局部特征确定人脸的三维表情基系数。
在一些示例实施例中，头部姿态信息可以是脸部朝向的角度信息，可以反映出人脸相对于拍摄设备的偏转角度。人脸相对于拍摄设备的偏转角度可以包括三种角度：俯仰角(pitch)、偏航角(yaw)、翻滚角(roll)。上述三种角度分别代表上下翻转、左右翻转、平面内偏转的角度。表情基可以是指具有显著特征的典型的面部表情，例如眨眼、皱眉、扯动嘴角、眯眼等。三维表情基系数可以是在重构人脸表情时，与各个表情基进行线性组合所采用的系数。
参考图3，在得到人脸的全局特征后，可以对人脸的全局特征执行回归任务一，在回归任务一中，根据人脸的全局特征预测出人脸对应的头部姿态信息310。在得到人脸全局特征和局部特征后，可以对人脸的全局特征和局部特征执行回归任务二，在回归任务二中，可以根据全局特征和局部特征确定出人脸对应的三维表情基参数320。在本公开中，利用提取到的表情系数驱动虚拟对象生成相应表情动画时，可以采用两组参数，一组是人脸的三维表情基系数，通过三维表情基系数和表情基进行线性组合以模拟人脸的表情；另一组是人脸的头部姿态信息，用于对合成的表情进行姿态的拟合。通过上述两组参数，驱动虚拟对象可以随着真实人脸的头部运动和表情共同生成对应的人脸表情。
在步骤S250中，根据头部姿态信息和三维表情基系数生成对应的人脸表情。
在一些示例实施例中，人脸表情可以是根据头部姿态信息和三维表情基系数驱动虚拟对象生成的表情。在确定出人脸对应的三维表情基系数后，可以将三维表情基系数与对应的表情基进行线性组合，根据重构结果合成当前人脸的人脸表情；另外，结合根据二维人脸图像预测出的头部姿态信息，用于对合成的人脸表情进行姿态的拟合，以生成对应的人脸表情。
根据头部姿态信息和三维表情基系数生成对应的人脸表情可以通过下述步骤进行：获取表情基数据集；其中，表情基数据集包括多个表情基；根据多个表情基和三维表情基系数确定二维人脸图像对应的表情特征；根据头部姿态信息和表情特征驱动虚拟对象执行对应的人脸表情。
其中，表情基数据集可以是由多个表情基组成的数据集。表情特征可以是能够表达感情或情绪的特征，例如，表情特征可以是通过面部器官表达的感情所对应的特征。虚拟对象可以是基于3D技术渲染得到三维模型，可以是虚拟出的人物形象；例如，虚拟对象可以包括卡通人物形象。
具体的，本发明中对所涉及的表情基个数不做限制，本发明适用于所有类型的表情基数据集，例如巴塞尔人脸模型(Basel Face Model，BFM)中的29种表情基或者自制的特定表情基。举例而言，对于有N个表情基的系统E＝[e0,e1,...,eN-1]，假设每组表情系数都有M个顶点，每个顶点的顶点坐标为(x,y,z)，则对于任意一个新的表情，都可以由表情基的线性组合进行表示，假设其对应的表情基系数为A＝[a0,a1,...,aN-1]，则根据公式1即可确定出二维人脸图像对应的表情特征。
Figure BDA0002834265480000141
其中，ei可以是各个表情基；表情基系数ai可以是指每个表情基有多大幅度的系数，表情基系数是为了控制表情基；E0可以是一种自然表情，即无表情状态。
欧拉角(Eulerian angles)是指由欧拉提出的，用来确定定点转动刚体位置的3个一组独立角参量，本申请的实施例是基于人脸建立直角坐标系，并以头部姿态角度是欧拉角为例进行说明，欧拉角在三维直角坐标系中，该三维直角坐标系是以人的头部的中心或重心为原点，由人脸的一侧耳朵指向另一侧耳朵的方向为X轴方向，由人的头部顶端指向脖子的方向为Y轴，由人的脸部指向后脑的方向为Z轴，欧拉角包含下述三个角度：俯仰角θ(pitch)：围绕X轴旋转的角度；偏航角ψ(yaw)：围绕Y轴旋转的角度；翻滚角Φ(roll)：围绕Z轴旋转的角度。通过回归任务二预测出人脸对应的头部姿态信息(pitch,yaw,roll)后，可以根据头部姿态信息和表情特征共同驱动虚拟对象执行相应的人脸表情。
进一步地，本公开中的虚拟对象还可以是动物形象、植物形象或其他事物的虚拟对象等，虚拟对象不同于真实存在的事物对象。例如，虚拟对象还可以包括企鹅等动物形象，也可以是包括向日葵等植物形象。通过在虚拟动植物对象或其他虚拟事物对象中生成一个人脸表情区域，则可以在相应的表情区域中驱动虚拟对象生成相应的人脸表情。
在一些示例实施例中，对初始特征图进行全局特征提取以得到人脸的全局特征可以通过下述步骤实现：对初始特征图进行1×1卷积处理以得到第一特征；对初始特征图进行全局池化处理以得到中间特征图；对中间特征图并联地进行不同空洞率的多个空洞卷积处理，以得到多个空洞卷积特征；将多个空洞卷积特征进行特征融合处理以得到第二特征；根据第一特征与第二特征生成全局特征。
其中，第一特征可以对初始特征图进行线形信息整合后得到的特征。空洞卷积，又名扩张卷积，向卷积层引入了一个称为“扩张率(dilation rate)”的新参数，该参数定义了卷积核处理数据时各值的间距。通过并联不同空洞率的空洞卷积可以捕获不同程度的感受野信息。空洞卷积特征可以对中间特征图进行空洞卷积处理后得到的特征。特征融合处理可以是将得到的多个空洞卷积特征进行通道拼接(concat)的处理过程。对多个空洞卷积特征进行特征融合处理得到第二特征。
更具体地，在得到初始特征图后，可以将初始特征图输入至全局特征提取网络中，以得到人脸的全局特征。参考图4，图4示意性地示出了根据本发明的一些实施例的采用全局特征提取网络提取人脸的全局特征的示意图。
对输入的初始特征图410(Input feature map)采用两个网络分支进行处理，其中一个网络分支对初始特征图进行1×1卷积处理，由于1×1卷积操作只是在不同的通道上进行线性信息整合，可以实现对通道的维数进行升维和降维，完全不考虑特征值与周边其他特征值的关系，保证了特征图的空间特征不发生改变，可以为另一个网络分支上的空间金字塔注意力机制的使用提供空间域不变性的保障。
在另一个网络分支上，即空间金字塔注意力网络结构模块，首先对输入的初始特征图410进行通道维度的全局池化(global pooling)，以得到中间特征图。参考图5，图5示意性地示出了根据本发明的一些实施例的对初始特征图进行全局池化处理的示意图。通过对初始特征图进行通道维度的全局池化，可以将初始特征图的通道维度变为1，将多个通道的对应位置上的特征均整合在一个通道中，得到对应的中间特征图，例如，此处全局池化可以采用全局平均池化的方式。假设输入的初始特征图的维数为W*H*C，则全局池化后的得到的中间特征为F，其维数变为为W*H*1。在得到中间特征图后，将中间特征图输入至空间金字塔注意力网络结构模块，在该模块中可以采用不同空洞率的空洞卷积形成空间域的不同感受野的特征金字塔网络，在更多不同区域内考量每个特征元素的权重，更精准和合理地为每个特征赋予不同重要程度的权值。
在一些示例实施例中，将多个空洞卷积特征进行特征融合处理以得到第二特征，可以包括下述步骤：
将通过第一空洞卷积处理得到的第一空洞卷积特征作为第一通道融合特征；
对第一通道融合特征和通过第二空洞卷积处理得到的第二空洞卷积特征进行元素相加处理以得到第二通道融合特征；
对第二通道融合特征和通过第三空洞卷积处理得到的第三空洞卷积特征进行元素相加处理以得到第三通道融合特征；
对第一通道融合特征、第二通道融合特征和第三通道融合特征进行通道融合处理以生成第二初始特征；
对第二初始特征进行降维卷积处理以得到第二特征。
其中，通道融合特征可以是待进行通道融合处理的特征。
具体的，参考图4，在空间金字塔注意力网络结构模块中，可以采用三组不同空洞率的卷积快速增大且捕获多重感受野的信息，以得到多个空洞卷积特征，将通过第一空洞卷积处理得到的第一空洞卷积特征记为F1，将通过第二空洞卷积处理得到的第二空洞卷积特征记为F2，将通过第三空洞卷积处理得到的第三空洞卷积特征记为F3。在得到上述特征后，可以将经过空洞卷积处理的每组输出进行元素相加处理，以得到对应的通道融合特征。将第一通道融合特征记为Fout_1，将第二通道融合特征记为Fout_2，将第三通道融合特征记为Fout_3，具体的，各通道融合特征的计算过程如公式2～公式4所示。
Fout_1＝F1 (公式2)
Fout_2＝Fout_1+F2 (公式3)
Fout_3＝Fout_2+F3 (公式4)
在得到各通道融合特征后，可以对第一通道融合特征、第二通道融合特征和第三通道融合特征进行通道拼接的特征融合，将多个通道的特征进行合并，可以用于消除可能出现的网格现象。将进行通道融合处理得到的第二初始特征作为空间金字塔最终的输出特征，在得到第二初始特征后，可以将第二初始特征进行1×1的卷积进行不同通道的特征融合，以将输出结果特征降维为W*H*1的Fout，即得到第二特征。
在一些示例实施例中，可以根据第一特征与第二特征生成全局特征，可以通过下述步骤进行：确定与第一特征的特征元素对应的第一权重系数；确定与第二特征的特征元素对应的第二权重系数；根据第一权重系数与第二权重系数对第一特征的特征元素和第二特征的特征元素进行元素相乘计算，以生成全局特征。
其中，第一权重系数可以是第一特征的特征元素对应的权重系数。第二权重系数可以是第二特征的特征元素对应的权重系数。
由于在人脸表情特征提取过程中，为了使网络可以步骤到对预测结果作用比较大的特征，如眼睛、嘴巴、肌肉等信息，而忽略对预测结果作用比较小的特征，如额头、皮肤等信息，因此，在得到第一特征和第二特征后，可以对第一特征的特征元素和第二特征的特征元素各赋值一个不同权重的系数，如第一权重系数记为f1，第一权重系数记为f2。根据第一权重系数和第二权重系数对第一特征的特征元素和第二特征Fout的特征元素进行元素之间的乘法，得到全局特征420，通过上述处理方式可以加强对预测结果有重要意义的特征，而抑制对预测结果意义不太大的特征。
在一些示例实施例中，确定对应的眼睛区域图和嘴巴区域图的步骤包括：根据左眼中心点确定初始左眼区域图，并根据右眼中心点确定初始右眼区域图；根据鼻子点、左嘴角点和右嘴角点确定初始嘴巴区域图；分别对初始左眼区域图、初始右眼区域图和初始嘴巴区域图进行图像缩放处理，以得到眼睛区域图和嘴巴区域图。
其中，初始左眼区域图可以是根据左眼中心点在初始特征图中确定出的包含人脸左眼信息的区域图。初始右眼区域图可以是根据右眼中心点在初始特征图中确定出的包含人脸右眼信息的区域图。初始嘴巴区域图可以是根据鼻子点、左嘴角点和右嘴角点在初始特征图中确定出的包含人脸嘴巴信息的区域图。眼睛区域图可以是对初始左眼区域图和初始右眼区域图进行图像缩放处理后得到的图像。嘴巴区域图可以是对初始嘴巴区域图进行图像缩放处理后得到的图像。
在观察人脸表情时，可以发现，对于表情而言，变化幅度最大且变化种类最多的区域是眼睛、眉毛和嘴巴区域，在进行人脸表情提取时，全局特征提取网络中输入的是整个人脸，提取得到的是全局特征，然而对于眼睛、眉毛、嘴巴这种变化非常多且复杂的区域更细微的区别变化还是难以较好地提取到更细微的特征。为了更精细的提取到这些局部区域的特征，并对更细微的表情和变化能够更好的区分，本发明中提出了采用局部多特征网络进行局部特征提取，以加强对局部细节特征的描述，增加更细微表情的提取能力。在采用局部多特征网络进行局部特征提取之前，可以先在初始特征图中确定眼睛区域图和嘴巴区域图。
参考图6，图6示意性地示出了根据本发明的一些实施例的从初始特征图中确定的初始眼睛区域图和初始嘴巴区域图的示意图。在对二维人脸图像进行人脸检测处理得到初始特征图600后，同时输出五个人脸关键点，可以以左眼中心点和右眼中心点为中心，分别裁剪一个包含眉毛在内的正方形。举例而言，以人脸框边长的0.4倍为眼睛区域的边长进行裁剪，裁剪下来两个区域，确定出眼睛区域，即区域610(Patch_1)和区域620(Patch_2)；再分别以左嘴角点和右嘴角点这两个关键点的中心点为中心，以0.4倍人脸框边长为宽，以0.25倍人脸框边长为高进行裁剪，确定出嘴巴区域630(Patch_3)。
在得到初始眼睛区域图和初始嘴巴区域图后，可以对初始眼睛区域图和初始嘴巴区域图进行图像缩放处理，即将Patch_1、Patch_2和Patch_3统一缩放到同一网络输入的尺度，得到左眼区域图、右眼区域图和嘴巴区域图，以进行后续的特征提取操作。
需要说明的是，在确定眼睛区域和嘴巴区域时，眼睛区域和嘴巴区域的宽和高均可以根据具体需求进行调整，本公开对在确定眼睛区域和嘴巴区域时，所采用框的宽和高不作任何特殊限定。
在一些示例实施例中，对眼睛区域图和嘴巴区域图进行区域特征提取以得到人脸的局部特征，包括：分别对眼睛区域图和嘴巴区域图进行区域特征提取以得到眼睛特征和嘴巴特征；对眼睛特征和嘴巴特征进行通道融合处理以得到初始局部特征；对初始局部特征进行第二卷积处理以生成局部特征。
其中，区域特征提取可以是分别对眼睛区域图和嘴巴区域图特征提取的操作。初始局部特征可以是将眼睛特征和嘴巴特征进行通道融合处理后得到的特征。局部特征可以包括人脸的眼睛区域信息和嘴巴区域信息。
参考图7，图7示意性地示出了根据本发明的一些实施例的采用区域多特征提取网络提取人脸的眼睛特征和嘴巴特征的示意图。将Patch_1、Patch_2和Patch_3统一缩放到同一网络输入的尺度，可以得到左眼区域图710、右眼区域图720和嘴巴区域图730，对得到的上述区域图进行区域特征提取，首先分别对左眼区域图710、右眼区域图720和嘴巴区域图730进行卷积操作，即在一定层面上提取各自区域的特征，分别得到眼睛特征和嘴巴特征；然后将从三个区域图中提取的特征进行通道维度的融合处理，得到初始局部特征；在得到初始局部特征后，可以对初始局部特征进行第二卷积处理进行各区域通道特征的融合，以此方式进行局部多特征提取。
在一些示例实施例中，根据全局特征确定人脸的头部姿态信息，包括：获取预先训练的姿态确定模型；将全局特征输入至姿态确定模型，以由姿态确定模型输出头部姿态信息。
其中，姿态确定模型可以是预先训练的用于根据人脸全局特征预测人脸的头部姿态信息的网络模型。
参考图7，在得到人脸的全局特征后，在步骤S710中，可以将人脸的全局特征输入至姿态确定模型中，以进行头部姿态信息的预测任务。具体的，参考图8，图8示意性地示出了根据本发明的一些实施例的根据全局特征和局部特征确定头部姿态信息和三维表情基系数的示意图。在通过全局特征提取网络得到人脸的全局特征后，可以对人脸全局特征转换为对应的列向量，通过全连接层对全局特征对应的列向量进行处理，以预测出人脸的头部姿态信息。
在一些示例实施例中，根据全局特征与局部特征确定人脸的三维表情基系数，包括：将全局特征与局部特征进行通道融合处理以生成目标特征；获取预先训练的表情基系数确定模型；将目标特征输入至表情基系数确定模型，以由表情基系数确定模型输出三维表情基系数。
其中，表情基系数确定模型预先训练的用于根据人脸全局特征和局部特征确定人脸对应的三维表情基系数的网络模型。目标特征可以对全局特征和局部特征进行通道融合处理后得到的脸部特征。
参考图7，将提取到的局部多特征和经过金字塔注意力机制网络模块后的提取到的全局特征进行通道维度的融合(即concat)处理，以此完成对全局特征和局部特征的融合，将融合了局部特征和全局特征的feature map确定为目标特征。在步骤S720中，将得到的目标特征输入至表情基系数确定模型，以进行人脸表情基系数提取任务，通过上述方式，可以实现在兼顾大的表情变化的同时，更精准的提取到人脸的细微表情。
具体的，参考图8，将全局特征提取网络810输出的全局特征和局部多特征网络820输出的全局特征分别转换为对应的列向量，并以全连接的形式连接得到最后的三维表情基系数。
综上所述，通过本发明的人脸表情确定方法，获取二维人脸图像，确定二维人脸图像对应的初始特征图和人脸关键点；对初始特征图进行全局特征提取以得到人脸的全局特征；根据人脸关键点从初始特征图确定对应的眼睛区域图和嘴巴区域图，对眼睛区域图和嘴巴区域图进行区域特征提取以得到人脸的局部特征；根据全局特征确定人脸的头部姿态信息，根据全局特征与局部特征确定人脸的三维表情基系数；根据头部姿态信息和三维表情基系数生成对应的人脸表情。一方面，本发明根据二维人脸图像即可实现表情驱动，该表情生成方法简单易于操作，无需添加昂贵的外部设备，成本低，且无需人工干预，应用广泛，可以轻易地部署在手机等移动设备中。另一方面，在进行全局特征提取时，采用空间结构的注意力机制增加了对人脸局部细节的描述，提高了预测的表情精度，对细微表情预测更加细腻、逼真。又一方面，通过对提取的眼睛区域和嘴巴区域进行区域特征提取，可以使得表情预测更贴合实际，对表情区域细节特征描述更加丰富。
示例性模型
在介绍了本发明示例性实施方式的方法之后，接下来，参考图9对本发明示例性实施例的表情参数确定模型进行说明。
在图9中，表情参数确定模型900可以包括人脸检测模块910、全局特征提取模块920、局部多特征提取模块930、人脸姿态信息预测模块940以及三维表情参数确定模块950。其中：人脸检测模块910用于获取二维人脸图像，并对二维人脸图像进行人脸检测处理，以确定二维人脸图像对应的初始特征图和人脸关键点；全局特征提取模块920用于对初始特征图进行全局特征提取以得到人脸的全局特征；局部多特征提取模块930用于根据人脸关键点从初始特征图确定对应的眼睛区域图和嘴巴区域图，对眼睛区域图和嘴巴区域图进行区域特征提取以得到人脸的局部特征；人脸姿态信息预测模块940用于根据全局特征确定人脸的头部姿态信息；三维表情参数确定模块950用于根据全局特征与局部特征确定人脸的三维表情基系数。
本领域技术人员容易理解的是，表情参数确定模型中的各个模块不是独立的，而是相互串联在一起，形成一个神经网络模型。下面对表情参数确定模块的训练过程进行说明：
首先，获取训练样本，每个样本可以是一张二维人脸图像和其对应的真实值(Ground Truth)，这里的Ground Truth为两个标签(label)值；其中，label_1＝{pitch，yaw，roll}，可以表示人脸的在x轴、y轴、z轴上的旋转角度；Label_2＝{a1，a2，a3，……，ak}，用于表示含有k种固定表情基的系数。另外，可以对输入的二维人脸图像进行扰动，随机调整样本图像的亮度和对比度，并随机和未包含人脸的背景图像进行透明度融合等。
其次，对二维人脸图像进行人脸检测处理，根据人脸检测处理得到的初始特征图和对应的5个点的人脸关键点，针对每个人脸裁剪眼睛、眉毛、嘴巴等局部区域，将局部区域图和初始特征图分别送入图4和图7中的全局特征提取网络和局部多特征提取网络的网络结构中，进行人脸的头部姿态信息和三维表情基系数的预测。
再次，在得到人脸的头部姿态信息预测值和三维表情基系数预测值后，可以确定表情参数确定模型的损失函数，例如，损失函数可以为均方差损失函数(Mean SquaredError Loss)，根据损失函数进行反向传播，更新模型参数，直至损失函数收敛，损失函数收敛时对应的模型参数，并得到最终的表情参数确定模型。
在本发明的一些实施例中，全局特征提取模块包括：第一网络分支，用于对初始特征图进行1×1卷积处理以得到第一特征；第二网络分支，用于对初始特征图进行全局池化处理以得到中间特征图；对中间特征图并联地进行不同空洞率的多个空洞卷积处理以得到多个空洞卷积特征，并根据得到的多个空洞卷积特征确定第二特征；特征融合单元，用于对第一特征的特征元素和第二特征的特征元素进行元素相乘计算，以生成全局特征。
在本发明的一些实施例中，第二网络分支包括：全局池化层，用于对初始特征图进行全局池化处理以得到中间特征图；第一空洞卷积层，用于对中间特征图进行第一空洞卷积处理以得到第一空洞卷积特征，并将第一空洞卷积特征作为第一通道融合特征；第二空洞卷积层，用于对中间特征图进行第二空洞卷积处理以得到第二空洞卷积特征，并根据第二空洞卷积特征和第一通道融合特征确定第二通道融合特征；第三空洞卷积层，用于对中间特征图进行第三空洞卷积处理以得到第三空洞卷积特征，并根据第三空洞卷积特征和第二通道融合特征确定第三通道融合特征；第一通道融合层，用于对第一通道融合特征、第二通道融合特征和第三通道融合特征进行通道融合处理以生成第二初始特征；第一卷积层，用于对第二初始特征进行降维卷积处理以得到第二特征。
在本发明的一些实施例中，局部多特征提取模块包括：第一特征提取层，用于对左眼区域图进行特征提取，以得到左眼特征；第二特征提取层，用于对右眼区域图进行特征提取，以得到右眼特征；第三特征提取层，用于对嘴巴区域图进行特征提取，以得到嘴巴特征；第二通道融合层，用于对左眼特征、右眼特征和嘴巴特征进行通道融合处理，以生成初始局部特征；第二卷积层，用于对初始局部特征进行第二卷积处理，以生成局部特征。
本发明中的表情参数确定模型可以轻易的部署在手机等移动设备中，输入一张二维人脸图像，即可输出相应的高精度的表情参数，无需额外的人工干预，可以实现端到端的提取人脸表情参数。另外，针对移动端计算能力、存储能力有效等特点，本发明提出的算法模型小、参数少、计算速度快、可以在移动平台快速实时运行。
示例性介质
在本发明实施例的第三方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的人脸表情确定方法。
在介绍了本发明示例性实施方式的表情参数确定模型之后，接下来，参考图10对本发明示例性实施例的存储介质进行说明。
在一些实施例中，本发明的各个方面还可以实现为一种介质，其上存储有程序代码，当所述程序代码被设备的处理器执行时用于实现本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的人脸表情确定方法中的步骤。
例如，所述设备的处理器执行所述程序代码时可以实现如图2中所述的步骤S210，获取二维人脸图像，并确定二维人脸图像对应的初始特征图和人脸关键点；步骤S220，对初始特征图进行全局特征提取以得到人脸的全局特征；步骤S230，根据人脸关键点从初始特征图确定对应的眼睛区域图和嘴巴区域图，对眼睛区域图和嘴巴区域图进行区域特征提取以得到人脸的局部特征；步骤S240，根据全局特征确定人脸的头部姿态信息，并根据全局特征与局部特征确定人脸的三维表情基系数；步骤S250，根据头部姿态信息和三维表情基系数生成对应的人脸表情。
参考图10所示，描述了根据本发明的实施例的用于实现上述人脸表情确定方法或者实现上述人脸表情确定方法的程序产品1000，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备。
示例性计算设备
在介绍了本发明示例性实施方式的人脸表情确定方法、表情参数确定模型以及存储介质之后，接下来，参考图11对本发明示例性实施方式的电子设备进行说明。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施例、完全的软件实施例(包括固件、微代码等)，或硬件和软件方面结合的实施例，这里可以统称为“电路”、“模块”或“系统”。
在一些可能的实施例中，根据本发明的电子设备可以至少包括至少一个处理单元、以及至少一个存储单元。其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，使得所述处理单元执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的人脸表情确定方法中的步骤。例如，所述处理单元可以执行如图2中所示的步骤S210，获取二维人脸图像，并确定二维人脸图像对应的初始特征图和人脸关键点；步骤S220，对初始特征图进行全局特征提取以得到人脸的全局特征；步骤S230，根据人脸关键点从初始特征图确定对应的眼睛区域图和嘴巴区域图，对眼睛区域图和嘴巴区域图进行区域特征提取以得到人脸的局部特征；步骤S240，根据全局特征确定人脸的头部姿态信息，并根据全局特征与局部特征确定人脸的三维表情基系数；步骤S250，根据头部姿态信息和三维表情基系数生成对应的人脸表情。
下面参照图11来描述根据本发明的示例实施例的电子设备1100。图11所示的电子设备1100仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图11所示，电子设备1100以通用计算设备的形式表现。电子设备1100的组件可以包括但不限于：上述至少一个处理单元1101、上述至少一个存储单元1102、连接不同系统组件(包括存储单元1102和处理单元1101)的总线1103、显示单元1107。
总线1103表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储单元1102可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)1121和/或高速缓存存储器1122，还可以进一步包括只读存储器(ROM)1123。
存储单元1102还可以包括具有一组(至少一个)程序模块1124的程序/实用工具1125，这样的程序模块1124包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
电子设备1100也可以与一个或多个外部设备1104(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与电子设备1100交互的设备通信，和/或与使得电子设备1100能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1105进行。并且，电子设备1100还可以通过网络适配器1106与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1106通过总线1103与电子设备1100的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1100使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了表情参数确定模型的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (10)

1.一种人脸表情确定方法，其特征在于，包括：
获取二维人脸图像，并确定所述二维人脸图像对应的初始特征图和人脸关键点；
对所述初始特征图进行全局特征提取以得到人脸的全局特征；
根据所述人脸关键点从所述初始特征图确定对应的眼睛区域图和嘴巴区域图，对所述眼睛区域图和嘴巴区域图进行区域特征提取以得到所述人脸的局部特征；
根据所述全局特征确定所述人脸的头部姿态信息，并根据所述全局特征与所述局部特征确定所述人脸的三维表情基系数；
根据所述头部姿态信息和所述三维表情基系数生成对应的人脸表情。
2.根据权利要求1所述的方法，其特征在于，所述确定所述二维人脸图像对应的初始特征图和人脸关键点，包括：
将所述二维人脸图像输入至人脸检测模型，以确定与所述二维人脸图像对应的人脸区域；
将所述人脸区域中的图像作为所述初始特征图；以及
由所述人脸检测模型输出所述二维人脸图像对应的人脸关键点；所述人脸关键点包括左眼中心点、右眼中心点、鼻子点、左嘴角点和右嘴角点。
3.根据权利要求1所述的方法，其特征在于，所述对所述初始特征图进行全局特征提取以得到人脸的全局特征，包括：
对所述初始特征图进行1×1卷积处理以得到第一特征；
对所述初始特征图进行全局池化处理以得到中间特征图；
对所述中间特征图并联地进行不同空洞率的多个空洞卷积处理，以得到多个空洞卷积特征；
将所述多个空洞卷积特征进行特征融合处理以得到第二特征；
根据所述第一特征与所述第二特征生成所述全局特征。
4.根据权利要求2所述的方法，其特征在于，所述根据所述人脸关键点从所述初始特征图确定对应的眼睛区域图和嘴巴区域图，包括：
根据所述左眼中心点确定初始左眼区域图，并根据所述右眼中心点确定初始右眼区域图；
根据所述鼻子点、所述左嘴角点和所述右嘴角点确定初始嘴巴区域图；
分别对所述初始左眼区域图、初始右眼区域图和所述初始嘴巴区域图进行图像缩放处理，以得到所述眼睛区域图和所述嘴巴区域图。
5.根据权利要求1所述的方法，其特征在于，所述对所述眼睛区域图和嘴巴区域图进行区域特征提取以得到所述人脸的局部特征，包括：
分别对所述眼睛区域图和嘴巴区域图进行区域特征提取以得到眼睛特征和嘴巴特征；
对所述眼睛特征和所述嘴巴特征进行通道融合处理以得到初始局部特征；
对所述初始局部特征进行第二卷积处理以生成所述局部特征。
6.根据权利要求1所述的方法，其特征在于，所述根据所述全局特征与所述局部特征确定所述人脸的三维表情基系数，包括：
将所述全局特征与所述局部特征进行通道融合处理以生成目标特征；
获取预先训练的表情基系数确定模型；
将所述目标特征输入至所述表情基系数确定模型，以由所述表情基系数确定模型输出所述三维表情基系数。
7.根据权利要求1所述的方法，其特征在于，所述根据所述头部姿态信息和所述三维表情基系数生成对应的人脸表情，包括：
获取表情基数据集；其中，所述表情基数据集包括多个表情基；
根据所述多个表情基和所述三维表情基系数确定所述二维人脸图像对应的表情特征；
根据所述头部姿态信息和所述表情特征驱动虚拟对象执行对应的人脸表情。
8.一种表情参数确定模型，其特征在于，包括：
人脸检测模块，用于获取二维人脸图像，并对所述二维人脸图像进行人脸检测处理，以确定所述二维人脸图像对应的初始特征图和人脸关键点；
全局特征提取模块，用于对所述初始特征图进行全局特征提取以得到人脸的全局特征；
局部多特征提取模块，用于根据所述人脸关键点从所述初始特征图确定对应的眼睛区域图和嘴巴区域图，对所述眼睛区域图和嘴巴区域图进行区域特征提取以得到所述人脸的局部特征；
人脸姿态信息预测模块，用于根据所述全局特征确定所述人脸的头部姿态信息；
三维表情参数确定模块，用于根据所述全局特征与所述局部特征确定所述人脸的三维表情基系数。
9.一种电子设备，其特征在于，包括：
处理器；以及
存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如权利要求1至7中任意一项所述的人脸表情确定方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的人脸表情确定方法。
CN202011471871.3A 2020-12-14 2020-12-14 人脸表情确定方法、表情参数确定模型、介质及设备 Active CN112614213B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011471871.3A CN112614213B (zh) 2020-12-14 2020-12-14 人脸表情确定方法、表情参数确定模型、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011471871.3A CN112614213B (zh) 2020-12-14 2020-12-14 人脸表情确定方法、表情参数确定模型、介质及设备

Publications (2)

Publication Number Publication Date
CN112614213A true CN112614213A (zh) 2021-04-06
CN112614213B CN112614213B (zh) 2024-01-23

Family

ID=75234241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011471871.3A Active CN112614213B (zh) 2020-12-14 2020-12-14 人脸表情确定方法、表情参数确定模型、介质及设备

Country Status (1)

Country Link
CN (1) CN112614213B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177466A (zh) * 2021-04-27 2021-07-27 北京百度网讯科技有限公司 基于人脸图像的身份识别方法、装置、电子设备及介质
CN113538639A (zh) * 2021-07-02 2021-10-22 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN113763518A (zh) * 2021-09-09 2021-12-07 北京顺天立安科技有限公司 基于虚拟数字人的多模态无限表情合成方法及装置
CN114333011A (zh) * 2021-12-28 2022-04-12 北京的卢深视科技有限公司 网络训练、人脸识别方法、电子设备及存储介质
CN114581570A (zh) * 2022-03-01 2022-06-03 浙江同花顺智能科技有限公司 一种三维脸部动作生成方法和系统
CN114627218A (zh) * 2022-05-16 2022-06-14 成都市谛视无限科技有限公司 一种基于虚拟引擎的人脸细微表情捕捉方法及装置
CN114918935A (zh) * 2022-05-17 2022-08-19 上海理工大学 基于网络推理与电机驱动的表情识别与模拟系统
CN115035566A (zh) * 2022-05-07 2022-09-09 北京大学深圳医院 表情识别方法、装置、计算机设备和计算机可读存储介质
CN116228763A (zh) * 2023-05-08 2023-06-06 成都睿瞳科技有限责任公司 用于眼镜打印的图像处理方法及系统
CN116503524A (zh) * 2023-04-11 2023-07-28 广州赛灵力科技有限公司 一种虚拟形象的生成方法、系统、装置及存储介质

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020049504A (ko) * 2000-12-19 2002-06-26 호창성 2차원 얼굴 정면 이미지를 이용한 3차원 얼굴 모델 생성방법
KR20040007921A (ko) * 2002-07-12 2004-01-28 (주)아이엠에이테크놀로지 얼굴표정 자동인식을 통한 애니메이션 방법
KR20050108582A (ko) * 2004-05-12 2005-11-17 한국과학기술원 영역 기반의 얼굴 표정 애니메이션 복제방법
KR20130138658A (ko) * 2012-06-11 2013-12-19 삼성전자주식회사 부분 포즈 추정에 의하여 개략적인 전체 초기설정을 사용하는 머리 포즈 추정 방법 및 장치
WO2016029768A1 (zh) * 2014-08-29 2016-03-03 厦门幻世网络科技有限公司 一种3d人脸重建的方法及其装置
WO2018040099A1 (zh) * 2016-08-31 2018-03-08 深圳市唯特视科技有限公司 一种基于灰度和深度信息的三维人脸重建方法
WO2018103220A1 (zh) * 2016-12-09 2018-06-14 武汉斗鱼网络科技有限公司 一种图像处理的方法及装置
CN108876879A (zh) * 2017-05-12 2018-11-23 腾讯科技（深圳）有限公司 人脸动画实现的方法、装置、计算机设备及存储介质
CN109344693A (zh) * 2018-08-13 2019-02-15 华南理工大学 一种基于深度学习的人脸多区域融合表情识别方法
CN109978989A (zh) * 2019-02-26 2019-07-05 腾讯科技（深圳）有限公司 三维人脸模型生成方法、装置、计算机设备及存储介质
CN110298319A (zh) * 2019-07-01 2019-10-01 北京字节跳动网络技术有限公司 图像合成方法和装置
WO2020037676A1 (zh) * 2018-08-24 2020-02-27 太平洋未来科技（深圳）有限公司 三维人脸图像生成方法、装置及电子设备
CN111008589A (zh) * 2019-12-02 2020-04-14 杭州网易云音乐科技有限公司 人脸关键点检测方法、介质、装置和计算设备
CN111144348A (zh) * 2019-12-30 2020-05-12 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及存储介质
US20200193211A1 (en) * 2018-12-18 2020-06-18 Fujitsu Limited Image processing method and information processing device
CN111325823A (zh) * 2020-02-05 2020-06-23 腾讯科技（深圳）有限公司 人脸纹理图像的获取方法、装置、设备及存储介质
CN111563417A (zh) * 2020-04-13 2020-08-21 华南理工大学 一种基于金字塔结构卷积神经网络的人脸表情识别方法
CN111768477A (zh) * 2020-07-06 2020-10-13 网易（杭州）网络有限公司 三维人脸表情基建立方法及装置、存储介质及电子设备
CN111798551A (zh) * 2020-07-20 2020-10-20 网易（杭州）网络有限公司 虚拟表情生成方法及装置
CN111862277A (zh) * 2020-07-22 2020-10-30 北京百度网讯科技有限公司 用于生成动画的方法、装置、设备以及存储介质
CN111951384A (zh) * 2020-08-13 2020-11-17 科大乾延科技有限公司 一种基于单张人脸图片的三维人脸重建方法和系统
CN111968203A (zh) * 2020-06-30 2020-11-20 北京百度网讯科技有限公司 动画驱动方法、装置、电子设备及存储介质
CN111985268A (zh) * 2019-05-21 2020-11-24 搜狗（杭州）智能科技有限公司 一种人脸驱动动画的方法和装置

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020049504A (ko) * 2000-12-19 2002-06-26 호창성 2차원 얼굴 정면 이미지를 이용한 3차원 얼굴 모델 생성방법
KR20040007921A (ko) * 2002-07-12 2004-01-28 (주)아이엠에이테크놀로지 얼굴표정 자동인식을 통한 애니메이션 방법
KR20050108582A (ko) * 2004-05-12 2005-11-17 한국과학기술원 영역 기반의 얼굴 표정 애니메이션 복제방법
KR20130138658A (ko) * 2012-06-11 2013-12-19 삼성전자주식회사 부분 포즈 추정에 의하여 개략적인 전체 초기설정을 사용하는 머리 포즈 추정 방법 및 장치
WO2016029768A1 (zh) * 2014-08-29 2016-03-03 厦门幻世网络科技有限公司 一种3d人脸重建的方法及其装置
WO2018040099A1 (zh) * 2016-08-31 2018-03-08 深圳市唯特视科技有限公司 一种基于灰度和深度信息的三维人脸重建方法
WO2018103220A1 (zh) * 2016-12-09 2018-06-14 武汉斗鱼网络科技有限公司 一种图像处理的方法及装置
CN108876879A (zh) * 2017-05-12 2018-11-23 腾讯科技（深圳）有限公司 人脸动画实现的方法、装置、计算机设备及存储介质
CN109344693A (zh) * 2018-08-13 2019-02-15 华南理工大学 一种基于深度学习的人脸多区域融合表情识别方法
WO2020037676A1 (zh) * 2018-08-24 2020-02-27 太平洋未来科技（深圳）有限公司 三维人脸图像生成方法、装置及电子设备
US20200193211A1 (en) * 2018-12-18 2020-06-18 Fujitsu Limited Image processing method and information processing device
CN109978989A (zh) * 2019-02-26 2019-07-05 腾讯科技（深圳）有限公司 三维人脸模型生成方法、装置、计算机设备及存储介质
CN111985268A (zh) * 2019-05-21 2020-11-24 搜狗（杭州）智能科技有限公司 一种人脸驱动动画的方法和装置
CN110298319A (zh) * 2019-07-01 2019-10-01 北京字节跳动网络技术有限公司 图像合成方法和装置
CN111008589A (zh) * 2019-12-02 2020-04-14 杭州网易云音乐科技有限公司 人脸关键点检测方法、介质、装置和计算设备
CN111144348A (zh) * 2019-12-30 2020-05-12 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及存储介质
CN111325823A (zh) * 2020-02-05 2020-06-23 腾讯科技（深圳）有限公司 人脸纹理图像的获取方法、装置、设备及存储介质
CN111563417A (zh) * 2020-04-13 2020-08-21 华南理工大学 一种基于金字塔结构卷积神经网络的人脸表情识别方法
CN111968203A (zh) * 2020-06-30 2020-11-20 北京百度网讯科技有限公司 动画驱动方法、装置、电子设备及存储介质
CN111768477A (zh) * 2020-07-06 2020-10-13 网易（杭州）网络有限公司 三维人脸表情基建立方法及装置、存储介质及电子设备
CN111798551A (zh) * 2020-07-20 2020-10-20 网易（杭州）网络有限公司 虚拟表情生成方法及装置
CN111862277A (zh) * 2020-07-22 2020-10-30 北京百度网讯科技有限公司 用于生成动画的方法、装置、设备以及存储介质
CN111951384A (zh) * 2020-08-13 2020-11-17 科大乾延科技有限公司 一种基于单张人脸图片的三维人脸重建方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FENG LIU，等: ""Joint face alignment and 3D face reconstruction with application to face recognition"", 《TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》, vol. 42, pages 664 - 678, XP011769914, DOI: 10.1109/TPAMI.2018.2885995 *
曹偲，等: ""基于频域稀疏自编码网络的音乐分离技术"", 《通信电声》, vol. 44, no. 6, pages 91 - 94 *
阳瑜: ""3D人脸重建及其应用研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 5, pages 138 - 218 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177466A (zh) * 2021-04-27 2021-07-27 北京百度网讯科技有限公司 基于人脸图像的身份识别方法、装置、电子设备及介质
CN113538639A (zh) * 2021-07-02 2021-10-22 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN113763518A (zh) * 2021-09-09 2021-12-07 北京顺天立安科技有限公司 基于虚拟数字人的多模态无限表情合成方法及装置
CN114333011A (zh) * 2021-12-28 2022-04-12 北京的卢深视科技有限公司 网络训练、人脸识别方法、电子设备及存储介质
CN114581570A (zh) * 2022-03-01 2022-06-03 浙江同花顺智能科技有限公司 一种三维脸部动作生成方法和系统
CN114581570B (zh) * 2022-03-01 2024-01-26 浙江同花顺智能科技有限公司 一种三维脸部动作生成方法和系统
CN115035566B (zh) * 2022-05-07 2023-07-04 北京大学深圳医院 表情识别方法、装置、计算机设备和计算机可读存储介质
CN115035566A (zh) * 2022-05-07 2022-09-09 北京大学深圳医院 表情识别方法、装置、计算机设备和计算机可读存储介质
CN114627218A (zh) * 2022-05-16 2022-06-14 成都市谛视无限科技有限公司 一种基于虚拟引擎的人脸细微表情捕捉方法及装置
CN114918935A (zh) * 2022-05-17 2022-08-19 上海理工大学 基于网络推理与电机驱动的表情识别与模拟系统
CN114918935B (zh) * 2022-05-17 2024-04-02 上海理工大学 基于网络推理与电机驱动的表情识别与模拟系统
CN116503524A (zh) * 2023-04-11 2023-07-28 广州赛灵力科技有限公司 一种虚拟形象的生成方法、系统、装置及存储介质
CN116503524B (zh) * 2023-04-11 2024-04-12 广州赛灵力科技有限公司 一种虚拟形象的生成方法、系统、装置及存储介质
CN116228763A (zh) * 2023-05-08 2023-06-06 成都睿瞳科技有限责任公司 用于眼镜打印的图像处理方法及系统
CN116228763B (zh) * 2023-05-08 2023-07-21 成都睿瞳科技有限责任公司 用于眼镜打印的图像处理方法及系统

Also Published As

Publication number Publication date
CN112614213B (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
CN112614213B (zh) 人脸表情确定方法、表情参数确定模型、介质及设备
Kartynnik et al. Real-time facial surface geometry from monocular video on mobile GPUs
US11748934B2 (en) Three-dimensional expression base generation method and apparatus, speech interaction method and apparatus, and medium
JP7373554B2 (ja) クロスドメイン画像変換
Wood et al. A 3d morphable eye region model for gaze estimation
CN111325851B (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
WO2018009473A1 (en) Motion capture and character synthesis
CN109684969B (zh) 凝视位置估计方法、计算机设备及存储介质
CN114339409B (zh) 视频处理方法、装置、计算机设备及存储介质
CN112085835B (zh) 三维卡通人脸生成方法、装置、电子设备及存储介质
CN116977522A (zh) 三维模型的渲染方法、装置、计算机设备和存储介质
US20220383570A1 (en) High-precision semantic image editing using neural networks for synthetic data generation systems and applications
JP2024004444A (ja) ３次元顔再構成モデルトレーニング、３次元顔イメージ生成方法及び装置
CN111899159B (zh) 用于变换发型的方法、装置、设备以及存储介质
CN114677572B (zh) 对象描述参数的生成方法、深度学习模型的训练方法
US20230401799A1 (en) Augmented reality method and related device
CN113822965A (zh) 图像渲染处理方法、装置和设备及计算机存储介质
CN116385667B (zh) 三维模型的重建方法、纹理重构模型的训练方法以及装置
Eom et al. Data‐Driven Reconstruction of Human Locomotion Using a Single Smartphone
CN115482557A (zh) 人体图像生成方法、系统、设备及存储介质
CN115994944A (zh) 三维关键点预测方法、训练方法及相关设备
Lee et al. Holistic 3D face and head reconstruction with geometric details from a single image
CN111581412B (zh) 人脸形状库的构建方法、装置、设备及存储介质
CN117218300B (zh) 三维模型的构建方法、三维构建模型的训练方法及装置
CN111581411B (zh) 高精度人脸形状库的构建方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant