CN112906494B - 一种面部捕捉方法、装置、电子设备及存储介质 - Google Patents

一种面部捕捉方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112906494B
CN112906494B CN202110113862.5A CN202110113862A CN112906494B CN 112906494 B CN112906494 B CN 112906494B CN 202110113862 A CN202110113862 A CN 202110113862A CN 112906494 B CN112906494 B CN 112906494B
Authority
CN
China
Prior art keywords
expression
model
dimensional
sub
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110113862.5A
Other languages
English (en)
Other versions
CN112906494A (zh
Inventor
胡志鹏
林传杰
林杰
侯杰
范长杰
卜佳俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Netease Hangzhou Network Co Ltd
Original Assignee
Zhejiang University ZJU
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU, Netease Hangzhou Network Co Ltd filed Critical Zhejiang University ZJU
Priority to CN202110113862.5A priority Critical patent/CN112906494B/zh
Publication of CN112906494A publication Critical patent/CN112906494A/zh
Application granted granted Critical
Publication of CN112906494B publication Critical patent/CN112906494B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例提供一种面部捕捉方法、装置、电子设备及存储介质，能够根据检测到的相机采集的人脸图像的二维人脸关键点从预先制作的三维人脸模型中的三维人脸关键点中确定三维目标关键点，从预先制作的三维人脸模型中的三维人脸关键点中确定三维目标关键点，根据相机参数和三维目标关键点，对三维人脸模型进行表情变换处理，得到二维人脸关键点对应的三维表情参数，通过对三维表情参数进行稀疏化处理，在保留重要表情参数的同时，降低了三维表情参数维度，能够使得稀疏化表情参数和旋转角参数较好的映射至动画模型上，有效缓解因三维表情参数较多在将表情参数迁移至动画模型上而导致的网格冲突的问题，保证了虚拟角色的表情与人脸图像表情一致。

Description

一种面部捕捉方法、装置、电子设备及存储介质
技术领域
本申请涉及人脸动画技术领域，尤其是涉及一种面部捕捉方法、装置、电子设备及存储介质。
背景技术
在影视游戏制作中，通常需要得到用户的面部表情参数来驱动游戏中虚拟角色的表情，以使得虚拟角色的表情接近用户的面部表情。
现有虚拟角色的动画模型(比如卡通角色模型、动物模型)的网络结构与三维人脸模型的网络结构相比构建简单的多，而由三维人脸模型得到的面部表情参数较多，如果直接将面部表情参数迁移至上述动画模型上，面部表情参数组合后会出现网格冲突的现象，影响了虚拟角色表情的生成。
发明内容
本申请的目的在于提供一种面部捕捉方法、装置、电子设备及存储介质，以降低三维表情参数维度，缓解因三维表情参数较多在将表情参数迁移至动画模型上而导致的网格冲突的问题。
本申请实施例提供一种面部捕捉方法，其中，该方法包括：检测相机采集的人脸图像的二维人脸关键点；根据二维人脸关键点，从预先制作的三维人脸模型中的三维人脸关键点中确定三维目标关键点；根据二维人脸关键点和三维目标关键点计算相机参数，其中，相机参数包括以下：旋转角参数、平移量和缩放值；根据相机参数和三维目标关键点，对三维人脸模型进行表情变换处理，得到二维人脸关键点对应的三维表情参数；对三维表情参数进行稀疏化处理，得到稀疏化表情参数；将稀疏化表情参数和旋转角参数迁移至虚拟角色的动画模型上，使得虚拟角色的表情与人脸图像表情一致。
上述检测相机采集的人脸图像的二维人脸关键点的步骤，包括：获取相机采集的人脸视频；将人脸视频包含的人脸图像逐一输入至人脸关键点检测模型，得到每个人脸图像分别对应的二维人脸关键点。
上述在三维人脸模型中标注有每个三维人脸关键点对应的三维点标识；根据二维人脸关键点，从三维人脸关键点中确定三维目标关键点的步骤，包括：获取二维人脸关键点对应的二维点标识；获取与二维点标识匹配的三维点标识；将获取的三维点标识对应的三维人脸关键点确定为三维目标关键点。
上述根据二维人脸关键点和三维目标关键点计算相机参数的步骤，包括：基于二维人脸关键点和三维目标关键点构建关于相机参数的误差函数；利用最小二乘法求解误差函数的最小值；将最小值作为相机参数。
上述根据相机参数和三维目标关键点，对三维人脸模型进行表情变换处理，得到二维人脸关键点对应的三维表情参数的步骤，包括：将二维人脸关键点输入三维人脸模型进行迭代计算，以变换三维人脸模型的表情，直至表情变换后的三维人脸模型中三维目标关键点在人脸图像上的投影点与二维人脸关键点重合；其中，投影点为三维目标人脸关键点基于相机参数计算得到；提取迭代计算后的三维人脸模型中的表情参数；将提取的表情参数确定为三维表情参数。
上述三维人脸模型是由表情融合模型经参数化人脸模型3DMM重建构成；三维表情参数包括不同人脸部位对应的表情子参数；对三维表情参数进行稀疏化处理，得到稀疏化表情参数的步骤，包括：将每个人脸部位对应的表情子参数作为目标子参数，执行以下操作：在预存的表情模型映射表中查询与目标子参数对应的目标表情子模型；其中，表情模型映射表中存储有表情融合模型包括的不同人脸部位的表情子模型对应的子模型标识；将目标子参数赋值给目标表情子模型；将表情融合模型中除目标表情子模型以外的其它表情子模型对应的表情子参数设置为预设参数；对目标表情子模型和其它表情子模型进行融合，得到目标三维人脸模型；基于目标三维人脸模型和预设三维人脸模型计算目标子参数对应的顶点形变量；其中，预设三维人脸模型是由表情子参数为预设参数的多个表情子模型融合得到；将各个目标子参数对应的顶点形变量和三维表情参数输入优化模型进行迭代计算，直至优化模型的损失值达到预设损失值，输出优化结果；将优化结果作为稀疏化表情参数。
上述三维表情参数还包括与每个表情子参数对应的子参数标识；在预存的表情模型映射表中查询与目标子参数对应的目标表情子模型的步骤，包括：获取与子参数标识匹配的子模型标识；将获取的子模型标识对应的表情子模型确定为目标表情子模型。
上述预设三维人脸模型上标记有多个第一模型顶点；计算目标三维人脸模型与预设三维人脸模型的顶点形变量的步骤，包括：获取目标三维人脸模型的第二模型顶点集；其中，第二模型顶点集中包括多个第二模型顶点；根据第二模型顶点集中每个第二模型顶点的第二顶点标识，从多个第一模型顶点中确定与每个第二模型顶点对应的第一目标模型顶点；基于各个第二模型顶点，以及与各个第二模型顶点对应的第一目标模型顶点计算顶点距离；将计算出的顶点距离作为顶点形变量。
上述动画模型包括多个动画表情子模型；将稀疏化表情参数和旋转角参数迁移至虚拟角色的动画模型上的步骤，包括：根据稀疏化表情参数包括的每个表情子参数的子参数标识，从多个动画表情子模型中确定出与每个表情子参数对应的目标动画表情子模型；将表情子参数赋值给对应的目标动画表情子模型；对赋值后的目标动画表情子模型进行融合，得到融合表情动画模型；基于旋转角参数对融合表情动画模型进行旋转，得到与人脸图像匹配的脸部姿态。
上述表情模型映射表中还存储有与每个动画表情子模型对应的子动画标识；根据每个表情子参数的子表情标识，从多个动画表情子模型中确定出与每个表情子参数对应的目标动画表情子模型的步骤，包括：获取与表情子参数的子表情标识匹配的子动画标识；将获取的子动画标识对应的动画表情子模型确定为目标动画表情子模型。
第二方面，本申请实施例还提供一种面部捕捉装置，其中，该装置包括：检测模块，用于检测相机采集的人脸图像的二维人脸关键点；确定模块，用于根据二维人脸关键点，从预先制作的三维人脸模型中的三维人脸关键点中确定三维目标关键点；计算模块，用于根据二维人脸关键点和三维目标关键点计算相机参数，其中，相机参数包括以下：旋转角参数、平移量和缩放值；表情变换处理模块，用于根据相机参数和三维目标关键点，对三维人脸模型进行表情变换处理，得到二维人脸关键点对应的三维表情参数；稀疏化处理模块，用于对三维表情参数进行稀疏化处理，得到稀疏化参数；迁移模块，用于将稀疏化参数和旋转角参数迁移至虚拟角色的动画模型上，使得虚拟角色的表情与人脸图像表情一致。
第三方面，本申请实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述方法。
第四方面，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述方法。
本申请实施例提供一种面部捕捉方法、装置、电子设备及存储介质，能够根据检测到的相机采集的人脸图像的二维人脸关键点从预先制作的三维人脸模型中的三维人脸关键点中确定三维目标关键点，从预先制作的三维人脸模型中的三维人脸关键点中确定三维目标关键点，根据相机参数和三维目标关键点，对三维人脸模型进行表情变换处理，得到二维人脸关键点对应的三维表情参数，通过对三维表情参数进行稀疏化处理，在保留重要表情参数的同时，降低了三维表情参数维度，能够使得稀疏化表情参数和旋转角参数较好的映射至动画模型上，有效缓解了因三维表情参数较多在将表情参数迁移至动画模型上而导致的网格冲突的问题，进而保证虚拟角色的表情与人脸图像表情一致。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种面部捕捉方法的流程图；
图2为本申请实施例提供的另一种面部捕捉方法的流程图；
图3为本申请实施例提供的一种二维人脸关键点的点位示意图；
图4为本申请实施例提供的另一种面部捕捉方法的流程图；
图5为本申请实施例提供的另一种面部捕捉方法的流程图；
图6为本申请实施例提供的一种面部捕捉装置的结构示意图；
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合实施例对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了有效缓解因三维表情参数较多在将表情参数迁移至动画模型上而导致的网格冲突，致使不能将人脸表情较好的迁移至动画模型上，本申请实施例提供一种面部捕捉方法、装置、电子设备及存储介质，通过对由人脸图像上得到的三维表情参数进行稀疏化处理，在保留重要表情参数的同时，降低了三维表情参数维度，能够使得稀疏化表情参数和旋转角参数较好的映射至动画模型上，有效缓解了因三维表情参数较多在将表情参数迁移至动画模型上而导致的网格冲突的问题，进而保证虚拟角色的表情与人脸图像表情一致。
本申请实施例提供一种面部捕捉方法，图1示出了一种面部捕捉方法的流程图，本实施例中的面部捕捉方法包括如下步骤：
步骤S102，检测相机采集的人脸图像的二维人脸关键点；
上述二维人脸关键点通常在人脸表情突出的特征点周围进行检测，即可在前额、左眉、左上眼睑、右眉、右上眼睑、左下眼睑、左脸、鼻子、右下眼睑、右脸、上嘴唇、下巴和下嘴唇等这些能够表现人脸表情的关键特征区域进行关键点检测，在实际使用时，二维人脸关键点的检测区域可以根据实际需要进行选取，在此不进行限定，并且，在本实施例中不限定二维人脸关键点的数量。
步骤S104，根据二维人脸关键点，从预先制作的三维人脸模型中的三维人脸关键点中确定三维目标关键点；
上述三维人脸模型是由表情融合模型经参数化人脸模型3DMM重建构成的三维可形变人脸模型，该表情融合模型是一种表示人脸动作的子空间表达，其包括一系列的基本人脸表情，通过一系列基本人脸表情的线性组合组成了人脸表情，将上述表情融合模型与用于表达脸部形状和脸部纹理的参数化人脸模型3DMM进行结合可得到上述三维人脸模型。
在实际应用时，在该三维人脸模型上预先标定有三维人脸关键点，三维人脸关键点的位置和数量可以根据实际需要进行设定，在本实施例中，根据二维人脸关键点从三维人脸关键点中确定出三维目标关键点，该三维目标关键点与二维人脸关键点一一对应。
步骤S106，根据二维人脸关键点和三维目标关键点计算相机参数，其中，相机参数包括以下：旋转角参数、平移量和缩放值；
该相机即为采集上述人脸图像时所需的相机，通过二维人脸关键点和三维目标关键点可以获取当前相机采集人脸图像时的相机参数。
步骤S108，根据相机参数和三维目标关键点，对三维人脸模型进行表情变换处理，得到二维人脸关键点对应的三维表情参数；
该表情变换处理的目的是使该三维人脸模型的表情与人脸图像上的表情一致时得到上述表情融合模型中各个基本人脸表情对应的三维表情参数。
步骤S110，对三维表情参数进行稀疏化处理，得到稀疏化表情参数；
在实际使用时，虚拟角色的动画模型(比如卡通角色模型、动物模型)的网络结构与三维人脸模型的网络结构相比构建简单的多，致使得到的上述三维表情参数中有部分表情参数无法应用到上述动画模型中，比如，虚拟角色为小狗，则对于小狗的动画模型来说其左右脸部的网络在动画模型的构建中相比于三维人脸模型的脸部网络构建要简单很多，可以理解为，在小狗进行张嘴或眨眼等表情动画时，其脸部不进行相应的动画动作，因此，当上述三维表情参数中包括脸部表情参数时，将该脸部表情参数迁移至小狗的动画模型上将会导致的网格冲突，影响将人脸图像的表情迁移至小狗的动画模型上，所以，在本实施例中，需要将迁移至动画模型上导致网格冲突的三维表情参数进行稀疏化处理，即删除导致网络冲突的三维表情参数，得到稀疏化表情参数，稀疏化处理可在保留重要表情参数的同时，降低了三维表情参数维度，可有效缓解因三维表情参数较多在将表情参数迁移至动画模型上而导致的网格冲突的问题。
步骤S112，将稀疏化表情参数和旋转角参数迁移至虚拟角色的动画模型上，使得虚拟角色的表情与人脸图像表情一致。
在将步骤S110得到的稀疏化表情参数迁移至虚拟角色的动画模型上，可使得虚拟角色的表情与人脸图像的表情一致，而将旋转角参数迁移至虚拟角色的动画模型上，可使得虚拟角色的姿态与人脸图像的姿态一致。
本申请实施例提供一种面部捕捉方法，能够根据检测到的相机采集的人脸图像的二维人脸关键点从预先制作的三维人脸模型中的三维人脸关键点中确定三维目标关键点，从预先制作的三维人脸模型中的三维人脸关键点中确定三维目标关键点，根据相机参数和三维目标关键点，对三维人脸模型进行表情变换处理，得到二维人脸关键点对应的三维表情参数，通过对三维表情参数进行稀疏化处理，在保留重要表情参数的同时，降低了三维表情参数维度，能够使得稀疏化表情参数和旋转角参数较好的映射至动画模型上，有效缓解了因三维表情参数较多在将表情参数迁移至动画模型上而导致的网格冲突的问题，进而保证虚拟角色的表情与人脸图像表情一致。
本实施例提供了另一种面部捕捉方法，该方法在上述实施例的基础上实现；本实施例重点描述确定三维目标关键点的具体实施方式。如图2所示的另一种面部捕捉方法的流程图，本实施例中的面部捕捉方法包括如下步骤：
步骤S202，检测相机采集的人脸图像的二维人脸关键点；
在实际使用时，为了使得虚拟角色具有表情动画的效果，在本实施例中，需要获取相机采集的人脸视频；将人脸视频包含的人脸图像逐一输入至人脸关键点检测模型，得到每个人脸图像分别对应的二维人脸关键点。
上述人脸关键点检测模型为预先训练好的网络模型，是基于人脸图像对神经网络模型进行训练得到的检测模型，在本实施例中，应用该人脸关键点检测模型对人脸图像进行检测时，可得到人脸图像中的二维人脸关键点，其中，得到的二维人脸关键点可以在上述人脸图像中进行标注显示也可以不进行标注显示，在此不进行限定。
步骤S204，获取二维人脸关键点对应的二维点标识；
为了便于理解，以二维人脸关键点可以在上述人脸图像中进行标注显示进行说明，图3示出了一种二维人脸关键点的点位示意图，以唇部为例进行说明，如图3所示，利用多个二维人脸关键点将唇部区域进行了精确圈定，图3中以12个点作为举例说明，在实际使用时，但不限于上述12个点，并且，可按照箭头方向对每个二维人脸关键点进行顺序数字标号，以用该数字标号作为二维人脸关键点唯一的二维点标识。其中，维人脸关键点对应的二维点标识可以用数字进行表示或用字母进行表示，在此不进行限定。
步骤S206，获取与二维点标识匹配的三维点标识；
通常，在三维人脸模型中也标注有每个三维人脸关键点对应的三维点标识，该三维点标识同样可以用数字进行表示或用字母进行表示，在此不进行限定。在本实施例中，在三维人脸关键点中获取与二维点标识相同的三维点标识对应的三维人脸关键点。
步骤S208，将获取的三维点标识对应的三维人脸关键点确定为三维目标关键点；
将上述步骤S206中获取到的与二维点标识相同的三维点标识对应的三维人脸关键点确定为三维目标关键点，该三维目标关键点与人脸图像上的二维人脸关键点一一对应，比如，人脸图像中只拍摄到了用户的右脸，通过人脸关键点检测模型也只检测出了右脸这边的二维人脸关键点，因此，也只能获取到三维人脸模型中右脸这边的三维关键点中与二维点标识匹配的三维点标识对应的三维目标关键点。
步骤S210，根据二维人脸关键点和三维目标关键点计算相机参数，其中，相机参数包括以下：旋转角参数、平移量和缩放值；
上述相机参数的计算过程可通过步骤A1至步骤A3实现：
步骤A1，基于二维人脸关键点和三维目标关键点构建关于相机参数的误差函数；
上述关于相机参数的误差函数为重投影误差函数，由于二维人脸关键点和三维目标关键点是一一对应的，因此，可基于多对二维人脸关键点和三维目标关键点构建出重投影误差函数，重投影误差函数如下：
Figure BDA0002920051480000101
其中，ui表示第i个二维人脸关键点的坐标信息，Pi表示与第i个二维人脸关键点对应的三维目标关键点的坐标信息，K表示系数(K∈(0,1))，s表示缩放值，ξ表示旋转角参数和平移量。
步骤A2，利用最小二乘法求解误差函数的最小值；
步骤A3，将最小值作为相机参数。
通过最小二乘法使得上述关于相机参数(旋转角参数、平移量和缩放值)的误差函数ξ*最小求解出的最小值即为相机参数。
步骤S212，根据相机参数和三维目标关键点，对三维人脸模型进行表情变换处理，得到二维人脸关键点对应的三维表情参数；
其中，上述三维表情参数的获取过程可通过步骤B1至步骤B3实现：
步骤B1，将二维人脸关键点输入三维人脸模型进行迭代计算，以变换三维人脸模型的表情，直至表情变换后的三维人脸模型中三维目标关键点在人脸图像上的投影点与二维人脸关键点重合；其中，投影点为三维目标人脸关键点基于相机参数计算得到；
上述由表情融合模型和参数化人脸模型3DMM构建的三维人脸模型可用以下模型公式进行表示：
Figure BDA0002920051480000111
其中，Fl表示第l个人脸形状，Wl表示第l个人脸形状对应的人脸形状参数，Bv表示第v个表情子模型，Wv表示第v个表情子模型对应的表情子参数，表示三维人脸M模型，
Figure BDA0002920051480000112
表示各个表情参数以及人脸形状参数为预设参数时的三维人脸模型。
通常，在将二维人脸关键点输入三维人脸模型进行迭代计算的过程中，需要使得优化方程(即损失函数)最小时，才能保证三维人脸模型中三维目标关键点在人脸图像上的投影点与二维人脸关键点近乎重合，进而可得到各个表情子模型对应的表情参数Wv。
上述优化方程为：
Figure BDA0002920051480000113
其中，E表示优化方程，s表示缩放值，R表示旋转角参数，t表示平移量。
步骤B2，提取迭代计算后的三维人脸模型中的表情参数；
步骤B3，将提取的表情参数确定为三维表情参数。
将上述步骤B1的迭代计算能够得到的各个表情子模型对应的表情子参数确定为三维表情参数。
步骤S214，对三维表情参数进行稀疏化处理，得到稀疏化表情参数；
步骤S216，将稀疏化表情参数和旋转角参数迁移至虚拟角色的动画模型上，使得虚拟角色的表情与人脸图像表情一致。
本发明实施例提供的上述面部捕捉方法，能够对采集到的人脸视频中包括的每个人脸图像进行人脸关键点的检测得到二维人脸关键点，基于该二维关键点对三维人脸模型进行迭代计算得到三维表情参数，并对三维表情参数进行稀疏化处理，得到稀疏化表情参数，将稀疏化表情参数和旋转角参数迁移至虚拟角色的动画模型上，使得虚拟角色的表情与人脸图像表情一致，通过对同一人的人脸视频包含的人脸图像进行关键点检测，致使虚拟角色有表情动画的效果。
本实施例提供了另一种面部捕捉方法，该方法在上述实施例的基础上实现；本实施例重点描述对三维表情参数进行稀疏化处理的具体实施方式。如图4所示的另一种面部捕捉方法的流程图，本实施例中的面部捕捉方法包括如下步骤：
步骤S402，检测相机采集的人脸图像的二维人脸关键点；
步骤S404，根据二维人脸关键点，从预先制作的三维人脸模型中的三维人脸关键点中确定三维目标关键点；
步骤S406，根据二维人脸关键点和三维目标关键点计算相机参数，其中，相机参数包括以下：旋转角参数、平移量和缩放值；
步骤S408，将每个人脸部位对应的表情子参数作为目标子参数，执行步骤S410至步骤S422的操作：
由上述三维人脸模型的公式可知，
Figure BDA0002920051480000121
为表情融合模型的表达式，该表情融合模型包括各个人脸表情为对应不同人脸部位的人脸表情(即表情子模型)，在实际应用时，可将人脸分为前额、左眉、左上眼睑、右眉、右上眼睑、左下眼睑、左脸、鼻子、右下眼睑、右脸、上嘴唇、下巴和下嘴唇等人脸部位，每个人脸部位可对应一表情子模型，在表情融合模型中Bv为第v个表情子模型，该表情子模型即为不同人脸部位对应的模型，由于表情子模型有多个，所以上述三维表情参数包括每个表情子模型对应的表情子参数Wv；在本实施例中，表情子参数可以理解为是表情子模型对应的表情程度。
步骤S410，在预存的表情模型映射表中查询与目标子参数对应的目标表情子模型；其中，表情模型映射表中存储有表情融合模型包括的不同人脸部位的表情子模型对应的子模型标识；
通常，上述三维表情参数还包括与每个表情子参数对应的子参数标识，在实际使用时，从多个子模型标识中获取与子参数标识匹配的子模型标识；将获取的子模型标识对应的表情子模型可确定为目标表情子模型。上述子参数标识和子模型标识可以用数字进行表示也可以用其他字符进行表示，在此不进行限定，但是，子参数标识和子模型标识需要使用相同的字符进行表示，才能保证能够从多个子模型标识中获取与子参数标识匹配的子模型标识。
步骤S412，将目标子参数赋值给目标表情子模型；
各个表情模型的参数表示当前目标表情子模型的表情程度，比如，目标表情子模型为左上眼睑，其对应的目标子参数为0时，表示左眼正常睁开，而当目标子参数为大于0小于1的任意数值时，则表示左眼闭眼的程度；如果目标表情子模型为嘴巴，其对应的目标子参数为0时，表示嘴巴闭合，而当目标子参数为大于0小于1的任意数值时，则表示左嘴巴的开合程度；对于其他人脸部位对应的表情子模型的目标子参数表示的表情程度的含义，可以根据实际需要进行设定，在此不进行限定。
步骤S414，将表情融合模型中除目标表情子模型以外的其它表情子模型对应的表情子参数设置为预设参数；
步骤S416，对目标表情子模型和其它表情子模型进行融合，得到目标三维人脸模型；
在本实施例中，从多个表情子模型中选取一个表情子模型作为目标表情子模型，并将该目标表情子模型对应的目标子参数赋值给目标表情子模型，而将除该目标表情子模型其它的表情子模型对应的表情子参数均设置为预设参数。
按照三维人脸模型的表达式
Figure BDA0002920051480000141
将目标表情子模型和对应的目标子参数，以及其它各个表情子模型和对应的预设参数进行模型的融合构建，可得每个目标表情子模型对应的目标三维人脸模型。
步骤S418，基于目标三维人脸模型和预设三维人脸模型计算目标子参数对应的顶点形变量；其中，预设三维人脸模型是由表情子参数为预设参数的多个表情子模型融合得到；
同样，按照三维人脸模型的表达式
Figure BDA0002920051480000142
将各个表情子参数对应的表情子参数设置为预设参数，可得到上述预设三维人脸模型。
具体计算的顶点形变量的过程可由步骤C1至步骤C4实现：
步骤C1，获取目标三维人脸模型的第二模型顶点集；其中，第二模型顶点集中包括多个第二模型顶点；
其中，第二模型顶点集中的第二模型顶点是目标三维人脸模型上的顶点，该目标三维人脸模型可以理解为是目标表情子模型对应的表情子参数变化后的人脸表情模型。
通常，在预设三维人脸模型上预先标记有多个第一模型顶点，每个第一模型顶点在三维人脸模型上的位置可以根据实际需要进行标记，并且，每个第一模型顶点均有对应的第一顶点标识进行唯一表示。
步骤C2，根据第二模型顶点集中每个第二模型顶点的第二顶点标识，从多个第一模型顶点中确定与每个第二模型顶点对应的第一目标模型顶点；
对于每个第二模型顶点确定其第一目标模型顶点的过程为：从多个第一顶点标识中查找与第二顶点标识匹配的第一顶点标识，将该第一顶点标识对应的第一模型顶点确定为第二模型顶点对应的第一目标模型顶点。
步骤C3，基于各个第二模型顶点，以及与各个第二模型顶点对应的第一目标模型顶点计算顶点距离；
可将第二模型顶点，以及与该第二模型顶点对应的第一目标模型顶点作为一个模型顶点组，计算每个模型顶点组中两个顶点的距离差值，之后，将每个模型顶点组对应的距离差值求和得到顶点距离。
步骤C4，将计算出的顶点距离作为顶点形变量。
由于目标三维人脸模型是基于目标子参数得到的，因此，基于目标三维人脸模型计算出的顶点距离为与目标子参数对应的顶点形变量，通过步骤C1至步骤C4可得到各个目标子参数对应的顶点形变量。
步骤S420，将各个目标子参数对应的顶点形变量和三维表情参数输入优化模型进行迭代计算，直至优化模型的损失值达到预设损失值，输出优化结果；
该优化模型的表达式为：
Figure BDA0002920051480000151
其中，λ表示优化权重，σ表示顶点形变量合集，Wc表示目标子参数，σv表示第v个目标子参数对应的顶点形变量。
当将各个目标子参数对应的顶点形变量和三维表情参数输入优化模型进行迭代计算，使得优化模型的损失值达到预设损失值时得到Wc值，该Wc值即为优化模型输出的优化结果。
步骤S422，将优化结果作为稀疏化表情参数；
步骤S424，将稀疏化表情参数和旋转角参数迁移至虚拟角色的动画模型上，使得虚拟角色的表情与人脸图像表情一致。
本发明实施例提供的上述面部捕捉方法，能够基于人脸图像的二维关键点对三维人脸模型进行迭代计算得到三维表情参数，基于三维表情参数得到各个目标子参数对应的目标三维人脸模型，并根据目标三维人脸模型和预设三维人脸模型计算每个目标子参数对应的顶点形变量，通过将各个目标子参数对应的顶点形变量和三维表情参数输入优化模型进行迭代计算，以得到稀疏化表情参数，将该稀疏化表情参数迁移至动画模型上可有效避免网格冲突，致使虚拟角色的表情与人脸图像表情一致。
本实施例提供了另一种面部捕捉方法，该方法在上述实施例的基础上实现；本实施例重点描述将稀疏化表情参数和旋转角参数迁移至虚拟角色的动画模型的具体实施方式。如图5所示的另一种面部捕捉方法的流程图，本实施例中的面部捕捉方法包括如下步骤：
步骤S502，检测相机采集的人脸图像的二维人脸关键点；
步骤S504，根据二维人脸关键点，从预先制作的三维人脸模型中的三维人脸关键点中确定三维目标关键点；
步骤S506，根据二维人脸关键点和三维目标关键点计算相机参数，其中，相机参数包括以下：旋转角参数、平移量和缩放值；
步骤S508，根据相机参数和三维目标关键点，对三维人脸模型进行表情变换处理，得到二维人脸关键点对应的三维表情参数；
步骤S510，对三维表情参数进行稀疏化处理，得到稀疏化表情参数；
步骤S512，根据稀疏化表情参数包括的每个表情子参数的子参数标识，从多个动画表情子模型中确定出与每个表情子参数对应的目标动画表情子模型；
通常，上述动画模型包括多个动画表情子模型，动画表情子模型的数量与表情融合模型包括的表情子模型的数量相同，上述表情模型映射表中还存储有与每个动画表情子模型对应的子动画标识。
由于上述稀疏化表情参数包括的表情子参数的数量要少于动画表情子模型的数量，因此，需要确定出稀疏化表情参数中每个表情子参数对应的目标动画表情子模型，具体为：获取与表情子参数的子表情标识匹配的子动画标识；将获取的子动画标识对应的动画表情子模型确定为目标动画表情子模型。
步骤S514，将表情子参数赋值给对应的目标动画表情子模型；
步骤S516，对赋值后的目标动画表情子模型进行融合，得到融合表情动画模型；
在实际使用时，动画模型还包括不与表情子参数对应的动画表情子模型，该部分动画表情子模型对应的参数可为预先设定的模型参数，在本实施例中，三维人脸模型的模型公式与动画模型的模型公式相同，因此，将目标动画表情子模型和对应的表情子参数，以及其它各个动画表情子模型和对应的模型参数进行模型的融合构建，可得融合表情动画模型，该融合表情动画模型即为将稀疏化表情参数迁移至动画模型上所得的动画模型。
步骤S518，基于旋转角参数对融合表情动画模型进行旋转，得到与人脸图像匹配的脸部姿态。
对融合表情动画模型上的各个模型点按照基于旋转角参数进行角度旋转，以使得旋转后的虚拟角色的脸部角度与人脸图像的脸部角度一致，从而保证了虚拟角色的脸部姿态与人脸图像上的脸部姿态相同。
本发明实施例提供的上述面部捕捉方法，能够根据稀疏化表情参数包括的每个表情子参数的子参数标识，从动画模型包括多个动画表情子模型中确定出与每个表情子参数对应的目标动画表情子模型，并基于目标动画表情子模型和对应的表情子参数构建融合表情动画模型，进一步，基于旋转角参数对融合表情动画模型进行旋转，得到与人脸图像匹配的脸部姿态，从而保证了虚拟角色的姿态和表情均有人脸图像完全一致。
对应于上述方法实施例，本发明实施例提供了一种面部捕捉装置，图6示出了一种面部捕捉装置的结构示意图，如图6所示，该游戏截图装置包括：
检测模块602，用于检测相机采集的人脸图像的二维人脸关键点；
确定模块604，用于根据二维人脸关键点，从预先制作的三维人脸模型中的三维人脸关键点中确定三维目标关键点；
计算模块606，用于根据二维人脸关键点和三维目标关键点计算相机参数，其中，相机参数包括以下：旋转角参数、平移量和缩放值；
表情变换处理模块608，用于根据相机参数和三维目标关键点，对三维人脸模型进行表情变换处理，得到二维人脸关键点对应的三维表情参数；
稀疏化处理模块610，用于对三维表情参数进行稀疏化处理，得到稀疏化参数；
迁移模块612，用于将稀疏化参数和旋转角参数迁移至虚拟角色的动画模型上，使得虚拟角色的表情与人脸图像表情一致。
本申请实施例提供一种面部捕捉装置，能够根据检测到的相机采集的人脸图像的二维人脸关键点从预先制作的三维人脸模型中的三维人脸关键点中确定三维目标关键点，从预先制作的三维人脸模型中的三维人脸关键点中确定三维目标关键点，根据相机参数和三维目标关键点，对三维人脸模型进行表情变换处理，得到二维人脸关键点对应的三维表情参数，通过对三维表情参数进行稀疏化处理，在保留重要表情参数的同时，降低了三维表情参数维度，能够使得稀疏化表情参数和旋转角参数较好的映射至动画模型上，有效缓解了因三维表情参数较多在将表情参数迁移至动画模型上而导致的网格冲突的问题，进而保证虚拟角色的表情与人脸图像表情一致。
上述检测模块602，还用于获取相机采集的人脸视频；将人脸视频包含的人脸图像逐一输入至人脸关键点检测模型，得到每个人脸图像分别对应的二维人脸关键点。
上述确定模块604，还用于获取与二维点标识匹配的三维点标识；将获取的三维点标识对应的三维人脸关键点确定为三维目标关键点。
上述计算模块606，还用于基于二维人脸关键点和三维目标关键点构建关于相机参数的误差函数；利用最小二乘法求解误差函数的最小值；将最小值作为相机参数。
上述表情变换处理模块608，还用于将二维人脸关键点输入三维人脸模型进行迭代计算，以变换三维人脸模型的表情，直至表情变换后的三维人脸模型中三维目标关键点在人脸图像上的投影点与二维人脸关键点重合；其中，投影点为三维目标人脸关键点基于相机参数计算得到；提取迭代计算后的三维人脸模型中的表情参数；将提取的表情参数确定为三维表情参数。
上述稀疏化处理模块610，还用于将每个人脸部位对应的表情子参数作为目标子参数，执行以下操作：在预存的表情模型映射表中查询与目标子参数对应的目标表情子模型；其中，表情模型映射表中存储有表情融合模型包括的不同人脸部位的表情子模型对应的子模型标识；将目标子参数赋值给目标表情子模型；将表情融合模型中除目标表情子模型以外的其它表情子模型对应的表情子参数设置为预设参数；对目标表情子模型和其它表情子模型进行融合，得到目标三维人脸模型；基于目标三维人脸模型和预设三维人脸模型计算目标子参数对应的顶点形变量；其中，预设三维人脸模型是由表情子参数为预设参数的多个表情子模型融合得到；将各个目标子参数对应的顶点形变量和三维表情参数输入优化模型进行迭代计算，直至优化模型的损失值达到预设损失值，输出优化结果；将优化结果作为稀疏化表情参数。
上述稀疏化处理模块610，还用于获取与子参数标识匹配的子模型标识；将获取的子模型标识对应的表情子模型确定为目标表情子模型。
上述稀疏化处理模块610，还用于获取目标三维人脸模型的第二模型顶点集；其中，第二模型顶点集中包括多个第二模型顶点；根据第二模型顶点集中每个第二模型顶点的第二顶点标识，从多个第一模型顶点中确定与每个第二模型顶点对应的第一目标模型顶点；基于各个第二模型顶点，以及与各个第二模型顶点对应的第一目标模型顶点计算顶点距离；将计算出的顶点距离作为顶点形变量。
上述迁移模块612，还用于根据稀疏化表情参数包括的每个表情子参数的子参数标识，从多个动画表情子模型中确定出与每个表情子参数对应的目标动画表情子模型；将表情子参数赋值给对应的目标动画表情子模型；对赋值后的目标动画表情子模型进行融合，得到融合表情动画模型；基于旋转角参数对融合表情动画模型进行旋转，得到与人脸图像匹配的脸部姿态。
上述迁移模块612，还用于获取与表情子参数的子表情标识匹配的子动画标识；将获取的子动画标识对应的动画表情子模型确定为目标动画表情子模型。
本申请实施例提供的面部捕捉装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，游戏中虚拟商品的推荐装置的实施例部分未提及之处，可参考前述面部捕捉方法实施例中相应内容。
本申请实施例还提供了一种电子设备，如图7所示，为该电子设备的结构示意图，其中，该电子设备包括处理器121和存储器120，该存储器120存储有能够被该处理器121执行的计算机可执行指令，该处理器121执行该计算机可执行指令以实现上述面部捕捉方法。
在图7示出的实施方式中，该电子设备还包括总线122和通信接口123，其中，处理器121、通信接口123和存储器120通过总线122连接。
其中，存储器120可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口123(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线122可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线122可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器121可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器121中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器121可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器121读取存储器中的信息，结合其硬件完成前述实施例的面部捕捉方法的步骤。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，该计算机可执行指令促使处理器实现上述面部捕捉方法，具体实现可参见前述方法实施例，在此不再赘述。
本申请实施例所提供的一种面部捕捉方法、装置、电子设备及存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种面部捕捉方法，其特征在于，所述方法包括：
检测相机采集的人脸图像的二维人脸关键点；
根据所述二维人脸关键点，从预先制作的三维人脸模型中的三维人脸关键点中确定三维目标关键点；
根据所述二维人脸关键点和所述三维目标关键点计算相机参数，其中，所述相机参数包括以下：旋转角参数、平移量和缩放值；
根据所述相机参数和所述三维目标关键点，对所述三维人脸模型进行表情变换处理，得到所述二维人脸关键点对应的三维表情参数；
对所述三维表情参数进行稀疏化处理，得到稀疏化表情参数；
将所述稀疏化表情参数和所述旋转角参数迁移至虚拟角色的动画模型上，使得虚拟角色的表情与所述人脸图像表情一致；
所述三维人脸模型是由表情融合模型经参数化人脸模型3DMM重建构成；所述三维表情参数包括不同人脸部位对应的表情子参数；
对所述三维表情参数进行稀疏化处理，得到稀疏化表情参数的步骤，包括：
将每个人脸部位对应的表情子参数作为目标子参数，执行以下操作：
在预存的表情模型映射表中查询与所述目标子参数对应的目标表情子模型；其中，所述表情模型映射表中存储有所述表情融合模型包括的不同人脸部位的表情子模型对应的子模型标识；
将所述目标子参数赋值给所述目标表情子模型；
将所述表情融合模型中除所述目标表情子模型以外的其它表情子模型对应的表情子参数设置为预设参数；
对所述目标表情子模型和其它所述表情子模型进行融合，得到目标三维人脸模型；
基于所述目标三维人脸模型和预设三维人脸模型计算目标子参数对应的顶点形变量；其中，所述预设三维人脸模型是由表情子参数为所述预设参数的多个表情子模型融合得到；
将各个目标子参数对应的顶点形变量和所述三维表情参数输入优化模型进行迭代计算，直至优化模型的损失值达到预设损失值，输出优化结果；
将所述优化结果作为稀疏化表情参数。
2.根据权利要求1所述的方法，其特征在于，所述检测相机采集的人脸图像的二维人脸关键点的步骤，包括：
获取相机采集的人脸视频；
将所述人脸视频包含的人脸图像逐一输入至人脸关键点检测模型，得到每个所述人脸图像分别对应的二维人脸关键点。
3.根据权利要求1所述的方法，其特征在于，在所述三维人脸模型中标注有每个所述三维人脸关键点对应的三维点标识；
根据所述二维人脸关键点，从所述三维人脸关键点中确定三维目标关键点的步骤，包括：
获取所述二维人脸关键点对应的二维点标识；
获取与所述二维点标识匹配的三维点标识；
将获取的所述三维点标识对应的三维人脸关键点确定为所述三维目标关键点。
4.根据权利要求1所述的方法，其特征在于，根据所述二维人脸关键点和所述三维目标关键点计算相机参数的步骤，包括：
基于所述二维人脸关键点和所述三维目标关键点构建关于相机参数的误差函数；
利用最小二乘法求解所述误差函数的最小值；
将所述最小值作为相机参数。
5.根据权利要求1所述的方法，其特征在于，根据所述相机参数和所述三维目标关键点，对所述三维人脸模型进行表情变换处理，得到所述二维人脸关键点对应的三维表情参数的步骤，包括：
将所述二维人脸关键点输入所述三维人脸模型进行迭代计算，以变换所述三维人脸模型的表情，直至表情变换后的三维人脸模型中所述三维目标关键点在所述人脸图像上的投影点与所述二维人脸关键点重合；其中，所述投影点为三维目标人脸关键点基于所述相机参数计算得到；
提取迭代计算后的所述三维人脸模型中的表情参数；
将提取的所述表情参数确定为所述三维表情参数。
6.根据权利要求1所述的方法，其特征在于，所述三维表情参数还包括与每个所述表情子参数对应的子参数标识；
在预存的表情模型映射表中查询与所述目标子参数对应的目标表情子模型的步骤，包括：
获取与所述子参数标识匹配的子模型标识；
将获取的所述子模型标识对应的表情子模型确定为所述目标表情子模型。
7.根据权利要求1所述的方法，其特征在于，所述预设三维人脸模型上标记有多个第一模型顶点；
计算所述目标三维人脸模型与预设三维人脸模型的顶点形变量的步骤，包括：
获取所述目标三维人脸模型的第二模型顶点集；其中，所述第二模型顶点集中包括多个第二模型顶点；
根据所述第二模型顶点集中每个第二模型顶点的第二顶点标识，从多个所述第一模型顶点中确定与每个所述第二模型顶点对应的第一目标模型顶点；
基于各个所述第二模型顶点，以及与各个第二模型顶点对应的第一目标模型顶点计算顶点距离；
将计算出的所述顶点距离作为所述顶点形变量。
8.根据权利要求1所述的方法，其特征在于，所述动画模型包括多个动画表情子模型；
将所述稀疏化表情参数和所述旋转角参数迁移至虚拟角色的动画模型上的步骤，包括：
根据所述稀疏化表情参数包括的每个所述表情子参数的子参数标识，从多个所述动画表情子模型中确定出与每个所述表情子参数对应的目标动画表情子模型；
将所述表情子参数赋值给对应的目标动画表情子模型；
对赋值后的所述目标动画表情子模型进行融合，得到融合表情动画模型；
基于所述旋转角参数对所述融合表情动画模型进行旋转，得到与所述人脸图像匹配的脸部姿态。
9.根据权利要求8所述的方法，其特征在于，所述表情模型映射表中还存储有与每个所述动画表情子模型对应的子动画标识；
根据每个所述表情子参数的子表情标识，从多个所述动画表情子模型中确定出与每个所述表情子参数对应的目标动画表情子模型的步骤，包括：
获取与所述表情子参数的子表情标识匹配的子动画标识；
将获取的所述子动画标识对应的动画表情子模型确定为所述目标动画表情子模型。
10.一种面部捕捉装置，其特征在于，所述装置包括：
检测模块，用于检测相机采集的人脸图像的二维人脸关键点；
确定模块，用于根据所述二维人脸关键点，从预先制作的三维人脸模型中的三维人脸关键点中确定三维目标关键点；
计算模块，用于根据所述二维人脸关键点和所述三维目标关键点计算相机参数，其中，所述相机参数包括以下：旋转角参数、平移量和缩放值；
表情变换处理模块，用于根据所述相机参数和所述三维目标关键点，对所述三维人脸模型进行表情变换处理，得到所述二维人脸关键点对应的三维表情参数；
稀疏化处理模块，用于对所述三维表情参数进行稀疏化处理，得到稀疏化参数；
迁移模块，用于将所述稀疏化参数和所述旋转角参数迁移至虚拟角色的动画模型上，使得虚拟角色的表情与所述人脸图像表情一致；
所述三维人脸模型是由表情融合模型经参数化人脸模型3DMM重建构成；所述三维表情参数包括不同人脸部位对应的表情子参数；
所述稀疏化处理模块，还用于将每个人脸部位对应的表情子参数作为目标子参数，执行以下操作：
在预存的表情模型映射表中查询与所述目标子参数对应的目标表情子模型；其中，所述表情模型映射表中存储有所述表情融合模型包括的不同人脸部位的表情子模型对应的子模型标识；
将所述目标子参数赋值给所述目标表情子模型；
将所述表情融合模型中除所述目标表情子模型以外的其它表情子模型对应的表情子参数设置为预设参数；
对所述目标表情子模型和其它所述表情子模型进行融合，得到目标三维人脸模型；
基于所述目标三维人脸模型和预设三维人脸模型计算目标子参数对应的顶点形变量；其中，所述预设三维人脸模型是由表情子参数为所述预设参数的多个表情子模型融合得到；
将各个目标子参数对应的顶点形变量和所述三维表情参数输入优化模型进行迭代计算，直至优化模型的损失值达到预设损失值，输出优化结果；
将所述优化结果作为稀疏化表情参数。
11.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至9任一项所述方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至9任一项所述的方法。
CN202110113862.5A 2021-01-27 2021-01-27 一种面部捕捉方法、装置、电子设备及存储介质 Active CN112906494B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110113862.5A CN112906494B (zh) 2021-01-27 2021-01-27 一种面部捕捉方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110113862.5A CN112906494B (zh) 2021-01-27 2021-01-27 一种面部捕捉方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112906494A CN112906494A (zh) 2021-06-04
CN112906494B true CN112906494B (zh) 2022-03-08

Family

ID=76119194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110113862.5A Active CN112906494B (zh) 2021-01-27 2021-01-27 一种面部捕捉方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112906494B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113470148B (zh) * 2021-06-30 2022-09-23 完美世界(北京)软件科技发展有限公司 表情动画制作方法及装置、存储介质、计算机设备
CN114529640B (zh) * 2022-02-17 2024-01-26 北京字跳网络技术有限公司 一种运动画面生成方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447785A (zh) * 2016-09-30 2017-02-22 北京奇虎科技有限公司 一种驱动虚拟角色的方法和装置
CN110399825A (zh) * 2019-07-22 2019-11-01 广州华多网络科技有限公司 面部表情迁移方法、装置、存储介质及计算机设备
CN111985268A (zh) * 2019-05-21 2020-11-24 搜狗（杭州）智能科技有限公司 一种人脸驱动动画的方法和装置
CN112258382A (zh) * 2020-10-23 2021-01-22 北京中科深智科技有限公司 一种基于图像到图像的面部风格转移方法和系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104658024A (zh) * 2013-11-21 2015-05-27 大连佑嘉软件科技有限公司 基于特征点的人脸表情合成方法
CN105528805A (zh) * 2015-12-25 2016-04-27 苏州丽多数字科技有限公司 一种虚拟人脸动画合成方法
CN108229239B (zh) * 2016-12-09 2020-07-10 武汉斗鱼网络科技有限公司 一种图像处理的方法及装置
CN109272566A (zh) * 2018-08-15 2019-01-25 广州多益网络股份有限公司 虚拟角色的动作表情编辑方法、装置、设备、系统及介质
CN109308727B (zh) * 2018-09-07 2020-11-10 腾讯科技（深圳）有限公司 虚拟形象模型生成方法、装置及存储介质
CN111632374B (zh) * 2020-06-01 2023-04-18 网易（杭州）网络有限公司 游戏中虚拟角色的脸部处理方法、装置及可读存储介质
CN111768477A (zh) * 2020-07-06 2020-10-13 网易（杭州）网络有限公司 三维人脸表情基建立方法及装置、存储介质及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447785A (zh) * 2016-09-30 2017-02-22 北京奇虎科技有限公司 一种驱动虚拟角色的方法和装置
CN111985268A (zh) * 2019-05-21 2020-11-24 搜狗（杭州）智能科技有限公司 一种人脸驱动动画的方法和装置
CN110399825A (zh) * 2019-07-22 2019-11-01 广州华多网络科技有限公司 面部表情迁移方法、装置、存储介质及计算机设备
CN112258382A (zh) * 2020-10-23 2021-01-22 北京中科深智科技有限公司 一种基于图像到图像的面部风格转移方法和系统

Also Published As

Publication number Publication date
CN112906494A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
US10489683B1 (en) Methods and systems for automatic generation of massive training data sets from 3D models for training deep learning networks
JP6433149B2 (ja) 姿勢推定装置、姿勢推定方法およびプログラム
JP7040278B2 (ja) 顔認識のための画像処理装置の訓練方法及び訓練装置
Tejani et al. Latent-class hough forests for 6 DoF object pose estimation
CN112906494B (zh) 一种面部捕捉方法、装置、电子设备及存储介质
US11127206B2 (en) Device, system, and method of generating a reduced-size volumetric dataset
CN111354079A (zh) 三维人脸重建网络训练及虚拟人脸形象生成方法和装置
CN111028305A (zh) 表情生成方法、装置、设备及存储介质
JP2016091108A (ja) 人体部位検出システムおよび人体部位検出方法
CN110874865A (zh) 三维骨架生成方法和计算机设备
US11507781B2 (en) Methods and systems for automatic generation of massive training data sets from 3D models for training deep learning networks
CN113762309B (zh) 对象匹配方法、装置及设备
CN111768472A (zh) 虚拟试衣方法及装置、计算机可存储介质
Aneja et al. Learning to generate 3D stylized character expressions from humans
CN113449570A (zh) 图像处理方法和装置
CN111626105A (zh) 姿态估计方法、装置及电子设备
CN113269700A (zh) 视频生成方法、装置、电子设备及存储介质
Nguyen et al. Combined YOLOv5 and HRNet for high accuracy 2D keypoint and human pose estimation
CN111353325A (zh) 关键点检测模型训练方法及装置
CN110930482B (zh) 人手骨骼参数的确定方法、装置、电子设备和存储介质
Lou et al. Real-time 3D facial tracking via cascaded compositional learning
CN112973122A (zh) 游戏角色上妆方法、装置及电子设备
CN112307799A (zh) 姿态识别方法、装置、系统、存储介质及设备
Jin et al. DOPE++: 6D pose estimation algorithm for weakly textured objects based on deep neural networks
CN114694263A (zh) 动作识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant