CN106920274A - 移动端2d关键点快速转换为3d融合变形的人脸建模方法 - Google Patents
移动端2d关键点快速转换为3d融合变形的人脸建模方法 Download PDFInfo
- Publication number
- CN106920274A CN106920274A CN201710040656.XA CN201710040656A CN106920274A CN 106920274 A CN106920274 A CN 106920274A CN 201710040656 A CN201710040656 A CN 201710040656A CN 106920274 A CN106920274 A CN 106920274A
- Authority
- CN
- China
- Prior art keywords
- face
- fusion
- expression
- deformation
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 64
- 230000014509 gene expression Effects 0.000 claims abstract description 74
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000006243 chemical reaction Methods 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims abstract description 8
- 230000001815 facial effect Effects 0.000 claims description 19
- 230000008921 facial expression Effects 0.000 claims description 16
- 230000000694 effects Effects 0.000 claims description 11
- 210000000056 organ Anatomy 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 5
- 230000001360 synchronised effect Effects 0.000 claims description 5
- 238000013459 approach Methods 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims description 4
- 230000001568 sexual effect Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 239000000654 additive Substances 0.000 claims description 3
- 230000000996 additive effect Effects 0.000 claims description 3
- 210000000887 face Anatomy 0.000 description 27
- 210000001508 eye Anatomy 0.000 description 13
- 210000004709 eyebrow Anatomy 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 230000003190 augmentative effect Effects 0.000 description 4
- 210000004279 orbit Anatomy 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000029052 metamorphosis Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 210000000088 lip Anatomy 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000005477 standard model Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种移动端2D关键点快速转换为3D融合变形的人脸建模方法，利用移动设备的摄像机实时获取2D的人脸关键点坐标，再将2D坐标转换为3D的对应关键点，并根据这些对应关键点计算得到3D人脸模型的融合变形参数，用于变换标准人脸模型的姿态、形状以及表情；本发明不需对特定用户进行特殊的预处理或者进行学习过程，亦不需要进行3D关键点的坐标回归运算，而是通过摄像机发射射线的方式逐渐逼近各个3D关键点最终将2D的人脸形状与表情转移到3D模型上。本发明提供的方法计算简单，高效快速，能够在移动设备上实时运行，重建出的3D人脸模型具有较高的保真度。
Description
技术领域
本发明涉及一种移动端2D人脸关键点快速转换为3D融合变形的人脸建模方法。
背景技术
目前的人脸建模方法需要事先为人脸模型设置骨骼等来控制人脸变形，采取3D人脸特征点的计算来获得关键点的位置，需要对特定用户进行特殊的预处理或者进行学习过程，需要进行3D关键点的坐标回归运算，这样的方式下，效率低，反应迟缓甚至卡顿，效果不理想。
上述问题是在2D人脸关键点转换为3D融合变形的人脸建模过程中应当予以考虑并解决的问题。
发明内容
本发明的目的是提供一种移动端2D人脸关键点快速转换为3D融合变形的人脸建模方法解决现有技术中存在的上述问题。
本发明的技术解决方案是：
一种移动端2D关键点快速转换为3D融合变形的人脸建模方法，其特征在于：利用移动设备的摄像机实时获取2D的人脸关键点坐标，再将2D坐标转换为3D的对应关键点，并根据这些对应关键点计算得到3D人脸模型的融合变形参数，用于变换标准人脸模型的姿态、形状以及表情；具体包括以下步骤，
S1、确定人脸关键点，设置一个标准的虚拟人脸模型并设计一个脸部形状的融合变形集合；
S2、通过移动设备的摄像头获取连续人脸画面，对每一帧的人脸图像进行人脸关键点跟踪检测，实时得到每一帧的2D人脸关键点；
S3、根据以上获得的2D人脸关键点来估算虚拟人脸模型的姿态角度，再根据估算出的角度来把虚拟人脸模型转到对应的转向角度；
S4、进一步根据人脸关键点来计算出人脸表情变形与融合变形幅度；
S5、根据S3中估算出来的虚拟人脸模型的姿态角度和S4中计算出来的人脸表情与融合变形幅度，将标准人脸融合变形后的效果实时渲染到虚拟的人脸模型中。
在上述方法中，优选地，在步骤S1中，脸部形状的融合变形集合包含43种融合变形，其中形状变形28种，表情变形15种。另外在一个优选实施方案中，在步骤S3中，估算的虚拟人脸模型的姿态角度即xyz三个轴上的人脸转动的角度，以欧拉角来表示。
进一步，在步骤S4中，所述计算出人脸表情变形与融合变形幅度包括以下步骤：
4a、将各个表情下的人脸关键点之间的距离分解为表情距离，并作为相应的表情的表情依据；
4b、选择一个特定值作为一个比例基础，将其它表情距离转换成与该比例基础的比值，称为表情比值；
4c、确定表情比值的基准值、最大值、最小值及当前值；
4d、根据以上确定的表情比值的基准值、最大值、最小值及当前值来确定表情的正向变化指数和反向变化指数。
进一步在以上步骤S4的步骤4a中，在将各个表情下的人脸关键点之间的距离分解为表情距离时，如果是在侧脸的情况下，则将相应的侧脸表情距离回归到正脸距离，以此来消除侧脸对融合变形的影响。
而在步骤4b中，优选所选择作为比例基础的特定值是人脸上特征性器官的参数。进一步优选地，所述特征性器官参数是两眼间距离。
进一步在步骤S4的步骤4c中，确定所述最大值、最小值后，还会根据每个人的表情数据进行阈值调整，并且所述最大值和最小值还会根据当前人脸的表情变化进行实时更新。
另外在以上所述的方法中，在步骤S5中，根据S3中估算出来的虚拟人脸模型的姿态角度和S4中计算出来的人脸表情变形与融合变形幅度，选择融合变形集合中最贴合的融合变形组合，将标准人脸融合变形后的效果实时渲染到虚拟的人脸模型中，通过叠加融合变形，实现虚拟人脸模型及卡通人模型与人脸的同步。
另外，在步骤S5中，还包括通过微调融合变形方法对标准人脸模型进行调整，具体为：虚拟人脸模型接收摄像机向着对应的2D人脸关键点发射出的射线，如果模型没有接收到射线，则说明模型的大小不及真实的人脸大小，则将模型对应的变换参数调大；如果射线穿过了人脸模型，则说明当前模型大小大于真实的人脸大小，则将对应的模型参数调小，按照上述规则迭代计算，最终将人脸模型逼近得到最接近真实的人脸形状和表情。
本发明的有益效果是：该种移动端2D人脸关键点快速转换为3D融合变形的人脸建模方法，对比现有的相关发明和算法，本发明不需对特定用户进行特殊的预处理或者进行学习过程，亦不需要进行3D关键点的坐标回归运算，而是通过摄像机发射射线的方式逐渐逼近各个3D关键点最终将2D的人脸形状与表情转移到3D模型上。本发明提供的方法计算简单，高效快速，能够在移动设备上实时运行，重建出的3D人脸模型具有较高的保真度。
附图说明
图1是本发明实施例移动端2D人脸关键点快速转换为3D融合变形的人脸建模方法的流程示意图；
图2是43种变形集合的示意图，其中的符号分别表示：1：左头轮廓外扩、2：左头轮廓内缩、3：左脸侧外扩、4：左脸侧內缩、5：左腮帮外扩、6：左腮帮内缩、7：右头轮廓外扩、8：右头轮廓内缩、9：右脸侧外扩、10：右脸侧內缩、11：右腮帮外扩、12：右腮帮内缩、13：下巴下移、14：下巴上移、15；张嘴、16：左咧嘴、17：左嘟嘴、18：右咧嘴、19：右嘟嘴、20：嘴整体下移、21：嘴整体上移、22：左下眼眶下移、23：左下眼眶上移、24：右下眼眶下移、25：右下眼眶上移、26：左闭眼、27：右闭眼、28：左眼整体左移、29：左眼整体右移、30：左眼整体上移、31：左眼整体下移、32：右眼整体右移、33：右眼整体左移、34：右眼整体上移、35：右眼整体下移、36：左侧眉毛内侧上扬、37：左侧眉毛内侧下压、38：左侧眉毛外侧上扬、39：右侧眉毛内侧上扬、40：右侧眉毛内侧下压、41：右侧眉毛内侧下压、42：右侧眉毛外侧上扬、43：右侧眉毛外侧下压；
图3是虚拟人脸模型转到对应的转向角度示意图；
图4是模型中人脸表情幅度融合变形示意图；
图5是设备检测人脸关键点与3D人脸模型同步示意图；
图6是模型增加对应人脸关键点示意图；
图7是AR遮挡效果产生视觉误差示意图；
图8是摄像头向模型及幕布发出射线示意图；
图9是摄像头射线让模型和幕布人脸关键点吻合示意图；
图10是实例中AR同步效果。
具体实施方式
下面结合附图详细说明本发明的优选实施例。
实施例
本发明的目的是提供一种针对移动设备的2D人脸关键点快速转换为3D融合变形的人脸建模方法，同时本发明还提供了一种人脸模型融合变换的定义方法。本发明可以应用到两种工作模式中：虚拟现实模式和增强现实模式。
对于虚拟现实(VR)模式，指的是利用移动设备的摄像头获取人脸画面，并利用人脸跟踪器实时从画面中捕捉人脸关键点，再利用人脸关键点计算人脸表情以及五官的运动幅度来控制虚拟人脸模型的相关运动。
以本发明为例，一种移动端2D人脸关键点快速转换为3D融合变形的人脸建模方法，利用移动设备的摄像机实时获取2D的人脸关键点坐标，再将2D坐标转换为3D的对应关键点，并根据这些对应关键点计算得到3D人脸模型的融合变形参数，用于变换标准人脸模型的姿态、形状以及表情。
实现步骤包括：A1、首先通过移动设备的摄像头获取得到连续人脸画面，对每一帧的人脸图像进行人脸关键点跟踪检测，实时得到每一帧的人脸关键点。根据2D人脸关键点来估算虚拟人脸模型的姿态角度，用欧拉角来表示xyz三个轴上的人脸转动的角度，再根据该估算的角度来把虚拟人脸模型转到对应的转向角度，角度旋转示意图如图3所示。
A2、然后根据人脸关键点来计算出人脸表情与融合变形幅度。融合变形是制作面部表情动画的有效工具，它能通过使用一系列的目标形状物体使基础物体得到非常平顺、高精度的变形效果。通过多组融合变形的组合可以实现各项单独变形的叠加效果。
融合变形中要用到表情数据，因此首先对所要用到的表情数据说明如下。表情数据包括表情距离、初始值、基准值、最大值、最小值及当前值等。表情距离是人脸存在表情时相应关键点之间的距离，一般以像素值来表示，例如张嘴时上下嘴唇之间的距离，即在图像上张嘴时上下嘴唇之间的像素值。实际的图像识别技术中，不同图像上的表情距离是不一致的，会受到各种因素影响，例如距离镜头远近、体位变化等，因此实际应用中需要对其进行归一化。在我们的应用中，特定人脸相对于人脸上特定器官的距离是一定的，因此选择特定器官作为归一化的依据，将其他表情距离转换为与特定器官距离的比值，称为表情比值。在人脸上，人眼往往是视觉的重心，因此在一个优选实施例中，我们选择两眼间的距离作为归一化的依据，将其他表情距离转换为与两眼间距的表情比值。所谓两眼间距是指两眼中心点之间的距离。在无任何表情下的表情距离转换而来的表情比值称为基准值，例如在一个实施例中，对于嘴部表情而言，采用无任何表情下的嘴部表情距离(比如张嘴时上下嘴唇的距离)和两眼间距的比值作为基准值。有表情时根据表情距离可以得到表情比值的最大值、最小值及当前值，用来分析计算能代表当前表情的数据。基准值还要通过初始值和当前人脸数据来微调，其中初始值是符合大众的预估的基准数据，是根据大量的不做任何表情人脸数据收集整理得到。微调的过程是在启动计算一段时间内表情距离值离初始值最接近的一个数值作为当前人脸的一个基准值。为了减小人脸关键点浮动带来的计算误差，基准值、最大值、最小值都取前几帧数据的几何平均。
在一个具体实施例中，融合变形包括以下步骤：
a)把各个表情分解为表情距离dist，例如张嘴时上下嘴唇之间关键点的距离作为张嘴表情的表情依据；
b)在侧脸的情况下(假设侧脸角度angle)，需要把侧脸表情距离dist′回归到正脸距离以此来消除侧脸对融合变形的影响；
c)由于人脸两眼间距离在感觉上是基本不变的，因此我们把两眼间距(即人眼中心连线的欧式距离，单位为像素)作为一个比例基础，把距离值dist转换成和两眼间距(eye_dist)的比值，用该方法来消除不同尺度大小时表情距离的影响；
d)确定factor的最大值max_factor，最小值min_factor以及基准值base_factor，还有当前数据cur_factor。最大值是指表情做到最夸张时的数据，如图4所示，张嘴时嘴巴张开的距离是max_factor，闭嘴时距离是min_factor；
e)根据每个人表情数据做阈值调整，每个人能做到的表情阈值不同，即max_factor和min_factor要根据当前人脸的表情变化实时更新；
f)最终表情数据正向变化反向变化比如抬眉皱眉表情，抬眉眉毛到两眼直线的距离是变大设定为正向变化，皱眉眉毛到两眼直线的距离变小设定为反向变化。
A3、进一步，设置一个标准人脸模型并设计脸部形状的43种融合变形集合，其中划分为形状变形28种，表情变形15种。具体的变形设计如图2所示。
A4、然后，根据人脸关键点的幅度控制融合变形，将标准人脸融合变形后的效果实时地渲染展示到虚拟的人脸模型中。虚拟人脸模型按照人脸跟踪器获取的姿态估计(步骤A1)、人脸关键点获取的表情及幅度(步骤A2)，选择43种融合变形中最贴合的融合变形组合(步骤A3)。通过叠加融合变形，实现虚拟模型及卡通人模型与人脸的同步。如图5所示，左图为从移动设备获取的人脸图像以及检测到的人脸关键点，中图为根据人脸关键点表情及幅度变换得到的标准人脸3D模型。
在虚拟现实基础上，可以进一步实现增强现实(AR)模式。增强现实模式指的是在移动设备上为提高人脸模型与画面中真实人脸重叠的准确性所做的进一步微调，使得人脸模型能够随着人脸的运动作出相对应的精确运动，实现人脸模型与现实人脸的眼睛、鼻子以及嘴部完全重合，以达到人脸模型对画面中人脸进行遮盖而产生视觉误差，让用户出现人脸模型是戴在人脸上的认知效果，提高移动程序的娱乐性与真实性。AR模式在实现上，可以理解为是在VR模式的实现步骤基础上，增加对人脸贴和的进一步约束。我们重点以人脸贴合的实现方法作为具体实施例，对其作进一步介绍。
对于增强现实模式的实现，可以采用以下步骤：B1、标注模型关键点：设定一个标准人脸模型，在模型上标定与真实人脸检测关键点一一对应的模型点，如图6所示，左边为标准人脸模型，右边为真实人脸关键点。其中，左图的A点与右图a点为对应的鼻尖关键点。
B2、调整模型位置及尺寸：在三维空间里，如图7所示，摄像头获取真实人脸检测图像作为最后面的幕布，将三维模型放在三维空间里，放置摄像头视角对着人脸的位置(如图7所示)。通过控制三维模型的大小、前后位置，我们让模型遮挡住人脸部分或全部画面，实现人脸带上头盔、面具的视觉误差。
B3、调整模型角度及初步融合变形：参考VR模式的实现步骤A1、A2，初步设置三维模型的角度及融合变形，实现姿态角度及初步人脸表情的同步。
B4、微调融合变形实现进一步人脸贴和：通过虚拟摄像机向真实人脸图像上的每一个关键点发射虚拟射线，图7展示了a、b、c三个点作为示例，其中a点为内部表情控制点，b，c为边缘轮廓点。a、b、c三点在标准人脸模型上对应点分别为A、B、C，由于标准人脸与真实人脸还存在着形状与表情的误差，因此射线在人脸模型上的交点或垂足(不相交的情况)分别用A’、B’以及C’来表示。从图中我们可以看到对应点与交点之间都存在着一定的距离(红线)，如何最小化该距离是我们这个发明算法的优化目标，优化算法具体步骤为：
a)首先通过对边缘点进行优化，判断射线与模型的交点与人脸模型的关系，以此来调整人脸模型在虚拟空间中的位置来确保模型的变换能够刚好与射线相吻合，从而实现利用模型来遮挡真实人脸的目的。当交点在穿过人脸模型时，说明当前人脸模型较大，则应当进行远离虚拟摄像机的调整；当射线与人脸模型没有交点时，说明当前人脸模型较小，应当进行靠近虚拟摄像机的调整。如图8所示，当虚拟摄像机向着人脸边缘关键点发出射线时，离摄像机太近的人脸模型会被射线穿过，太远的模型则不会与射线相交，只有距离合适的人脸模型才会与射线刚好吻合；
b)对其余人脸关键点发出射线，判断其人脸模型上的对应关键点的位置，并调整对应关键点使得其尽量地逼近射线与模型的交点。例如一个标准的人脸模型上嘴角的关键点，接收虚拟摄像机向着对应的2D人脸嘴角关键点发射出的射线，如果模型上的交点在嘴角外侧，则说明模型上的嘴部大小不及真实的人脸嘴部大小，则将模型对应的变换参数调大；如果射线与模型的交点在嘴角内侧，则说明当前模型嘴部大小大于真实的人脸嘴部大小，则将对应的模型参数调小；按照上述规则迭代计算，最终将人脸模型微调逼近得到最接近真实的融合变形及幅度，最终使得所有关键点的射线均与人脸模型上的对应关键点一一对应，如图9所示。
和现有的方法相比，本发明不用事先为人脸模型设置骨骼来控制人脸变形，也不用采取3D人脸特征点跟踪检测的方法来获得关键点的位置。实施例采用2D的人脸关键点映射的方法，对人脸模型进行融合变形，通过逼近的方式直接获得变换系数，比现有方法更加简单直接，运行速度极快，可以轻松地应用到移动设备上。最终AR模式效果图如图10所示，从图10中我们可以看到人脸模型能够和真实人脸完全重合，取得较好的娱乐效果。
综合而言，本发明提供了一种适用于移动端的2D人脸关键点快速转换为3D融合变形的人脸建模方法，运算量小，可以轻松的运用到移动设备上。本发明的方法利用移动设备的摄像机实时获取2D的人脸关键点坐标，再将2D坐标转换为3D的对应关键点，并根据这些对应关键点计算得到3D人脸模型的融合变形参数，用于变换标准人脸模型的姿态、形状以及表情。具体的实现流程如图1所示。根据流程图1，本发明的方法具体包括以下步骤，
S1、设置一个标准人脸模型并设计脸部形状的变形集合，变形集合通过由人脸关键点定位算法获取得到的2D人脸关键点控制。
设置一个标准人脸模型并设计脸部形状的43种变形集合，其中划分为形状变形28种，表情变形15种，设置每种变形的权值。其中变形的权值指的是该变形所影响的面部肌肉的范围的强度。具体设计如图2所示：
其中上述43种人脸形变或表情主要集中表现在人脸面部特征的关键部位，例如眼睛、嘴唇、眉毛、眼睑、前额、苹果肌、下巴等。再通过这些部位的变形反映出人脸形状的变化以及愤怒、高兴、恐惧、悲伤、惊异等多种表情的变化。
S2、读入当前帧图像，利用移动设备的摄像机实时获取2D的人脸关键点坐标，把当前帧图像中2D人脸轮廓点投射到3D空间中，构建出真实的3D人脸轮廓，对人脸模型定位、人脸表情定位，根据2D关键点估算人脸姿态参数，按照姿态参数旋转标准人脸模型。
步骤S2中，人脸模型的定位是通过人脸轮廓上鼻尖的点来确定X、Y的位置，深度Z的定位是根据两眼的基准线和一个初始两眼的基准比例来确定，其中初始基准比例的确定是通过人脸初始帧中获取到的2D关键点坐标比例计算得到。
步骤S2中，根据2D关键点估算人脸姿态参数，按照姿态参数旋转标准人脸模型，具体为：根据2D人脸关键点来估算人脸模型的姿态角度，用欧拉角来表示xyz三个轴上的人脸转动的角度，再根据该估算的角度来把标准人脸模型转到对应的转向角度。
人脸表情的定位点每个人会有些差别，设计2D对应定位关键点时候就只能选取最为稳定的能够减少个体差异的点。个体之间差别很大的表情只能通过对表情相关的关键点分析处理。表情相关关键点之间的相对位置和两眼基准线的一个比例关系能确定一个表情。例如用张嘴这个表情来说明，人张嘴的大小程度由嘴唇上的2D关键点之间的距离确定，由于每个人嘴的大小不一，则每个人的绝对张嘴距离是不一致的，但是这个距离和每个人两眼之间距离的比则是比较稳定的，因此实施例采用这一比例关系来确定3D模型的张嘴融合变换系数。
S3、通过融合变形方法对标准人脸模型进行调整，标准人脸模型预先做好所有需要的融合变形程度，即是变形的最大最小程度；模型变形过程中通过射线来定位是否到达符合人脸形状。如图3所示，背景图像中展示的为2D人脸图像，其中蓝色的坐标点为检测出的人脸关键点，黄色数字为关键点编号标注。红色的人脸模型为标准人脸模型，三根红色的直线为射向关键点的虚拟射线，直线交汇处为虚拟摄像头位置。
步骤S3中，通过融合变形方法对标准人脸模型进行调整，具体为：一个标准的人脸模型，接收虚拟摄像机向着对应的2D人脸关键点发射出的射线，如果模型没有接收到射线，则说明模型的大小不及真实的人脸大小，则将模型对应的变换参数调大；如果射线穿过了人脸模型，则说明当前模型大小大于真实的人脸大小，则将对应的模型参数调小；按照上述规则迭代计算，最终将人脸模型逼近得到最接近真实的人脸形状和表情。
和现有的方法相比，实施例不用事先为人脸模型设置骨骼等来控制人脸变形，也不用采取3D人脸特征点的计算来获得关键点的位置。实施例采用2D的人脸关键点映射的方法，对人脸模型进行融合变形，通过逼近的方式直接获得变换系数，比现有方法更加简单直接，运行速度极快，可以轻松地应用到移动设备上。
Claims (10)
1.一种移动端2D关键点快速转换为3D融合变形的人脸建模方法，其特征在于：利用移动设备的摄像机实时获取2D的人脸关键点坐标，再将2D坐标转换为3D的对应关键点，并根据这些对应关键点计算得到3D人脸模型的融合变形参数，用于变换标准人脸模型的姿态、形状以及表情；具体包括以下步骤，
S1、确定人脸关键点，设置一个标准的虚拟人脸模型并设计一个脸部形状的融合变形集合；
S2、通过移动设备的摄像头获取连续人脸画面，对每一帧的人脸图像进行人脸关键点跟踪检测，实时得到每一帧的2D人脸关键点；
S3、根据以上获得的2D人脸关键点来估算虚拟人脸模型的姿态角度，再根据估算出的角度来把虚拟人脸模型转到对应的转向角度；
S4、进一步根据人脸关键点来计算出人脸表情变形与融合变形幅度；
S5、根据S3中估算出来的虚拟人脸模型的姿态角度和S4中计算出来的人脸表情与融合变形幅度，将标准人脸融合变形后的效果实时渲染到虚拟的人脸模型中。
2.如权利要求1所述的移动端2D关键点快速转换为3D融合变形的人脸建模方法，其特征在于，步骤S1中，脸部形状的融合变形集合包含43种融合变形，其中形状变形28种，表情变形15种。
3.如权利要求1所述的移动端2D关键点快速转换为3D融合变形的人脸建模方法，其特征在于，步骤S3中，估算的虚拟人脸模型的姿态角度即xyz三个轴上的人脸转动的角度，以欧拉角来表示。
4.如权利要求1所述的移动端2D关键点快速转换为3D融合变形的人脸建模方法，其特征在于，步骤S4中，所述计算出人脸表情变形与融合变形幅度包括以下步骤：
4a、将各个表情下的人脸关键点之间的距离分解为表情距离，并作为相应的表情的表情依据；
4b、选择一个特定值作为一个比例基础，将其它表情距离转换成与该比例基础的比值，称为表情比值；
4c、确定表情比值的基准值、最大值、最小值及当前值；
4d、根据以上确定的基准值、最大值、最小值及当前值来确定表情的正向变化指数和反向变化指数。
5.如权利要求4所述的移动端2D关键点快速转换为3D融合变形的人脸建模方法，其特征在于，步骤4a中，在将各个表情下的人脸关键点之间的距离分解为表情距离时，如果是在侧脸的情况下，则将相应的侧脸表情距离回归到正脸距离，以此来消除侧脸对融合变形的影响。
6.如权利要求4所述的移动端2D关键点快速转换为3D融合变形的人脸建模方法，其特征在于，步骤4b中，所选择作为比例基础的特定值是人脸上特征性器官的参数。
7.如权利要求6所述的移动端2D关键点快速转换为3D融合变形的人脸建模方法，其特征在于，所述特征性器官参数是两眼间距离。
8.如权利要求4所述的移动端2D关键点快速转换为3D融合变形的人脸建模方法，其特征在于，步骤4c中，确定所述最大值、最小值后，还会根据每个人的表情数据进行阈值调整，并且所述最大值和最小值还会根据当前人脸的表情变化进行实时更新。
9.如权利要求1所述的移动端2D关键点快速转换为3D融合变形的人脸建模方法，其特征在于，步骤S5中，根据S3中估算出来的虚拟人脸模型的姿态角度和S4中计算出来的人脸表情变形与融合变形幅度，选择融合变形集合中最贴合的融合变形组合，将标准人脸融合变形后的效果实时渲染到虚拟的人脸模型中，通过叠加融合变形，实现虚拟人脸模型及卡通人模型与人脸的同步。
10.如权利要求1所述的移动端2D关键点快速转换为3D融合变形的人脸建模方法，其特征在于，步骤S5中，还包括通过微调融合变形方法对标准人脸模型进行调整，具体为：虚拟人脸模型接收摄像机向着对应的2D人脸关键点发射出的射线，如果模型没有接收到射线，则说明模型的大小不及真实的人脸大小，则将模型对应的变换参数调大；如果射线穿过了人脸模型，则说明当前模型大小大于真实的人脸大小，则将对应的模型参数调小，按照上述规则迭代计算，最终将人脸模型逼近得到最接近真实的人脸形状和表情。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710040656.XA CN106920274B (zh) | 2017-01-20 | 2017-01-20 | 移动端2d关键点快速转换为3d融合变形的人脸建模方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710040656.XA CN106920274B (zh) | 2017-01-20 | 2017-01-20 | 移动端2d关键点快速转换为3d融合变形的人脸建模方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106920274A true CN106920274A (zh) | 2017-07-04 |
| CN106920274B CN106920274B (zh) | 2020-09-04 |
Family
ID=59453330
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710040656.XA Expired - Fee Related CN106920274B (zh) | 2017-01-20 | 2017-01-20 | 移动端2d关键点快速转换为3d融合变形的人脸建模方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106920274B (zh) |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107958479A (zh) * | 2017-12-26 | 2018-04-24 | 南京开为网络科技有限公司 | 一种移动端3d人脸增强现实实现方法 |
| CN108109010A (zh) * | 2017-12-26 | 2018-06-01 | 南京开为网络科技有限公司 | 一种智能ar广告机 |
| CN108564018A (zh) * | 2018-04-04 | 2018-09-21 | 北京天目智联科技有限公司 | 一种基于红外拍照的生物特征3d四维数据识别方法及系统 |
| CN108776983A (zh) * | 2018-05-31 | 2018-11-09 | 北京市商汤科技开发有限公司 | 基于重建网络的人脸重建方法和装置、设备、介质、产品 |
| CN108876704A (zh) * | 2017-07-10 | 2018-11-23 | 北京旷视科技有限公司 | 人脸图像变形的方法、装置及计算机存储介质 |
| CN109035415A (zh) * | 2018-07-03 | 2018-12-18 | 百度在线网络技术（北京）有限公司 | 虚拟模型的处理方法、装置、设备和计算机可读存储介质 |
| CN109035380A (zh) * | 2018-09-11 | 2018-12-18 | 北京旷视科技有限公司 | 基于三维重建的人脸修饰方法、装置、设备及存储介质 |
| CN109147037A (zh) * | 2018-08-16 | 2019-01-04 | Oppo广东移动通信有限公司 | 基于三维模型的特效处理方法、装置和电子设备 |
| CN109240484A (zh) * | 2017-07-10 | 2019-01-18 | 北京行云时空科技有限公司 | 一种增强现实系统中的交互方法、装置及设备 |
| CN109671142A (zh) * | 2018-11-23 | 2019-04-23 | 南京图玩智能科技有限公司 | 一种智能美妆方法及智能美妆镜 |
| CN109727302A (zh) * | 2018-12-28 | 2019-05-07 | 网易（杭州）网络有限公司 | 骨骼创建方法、装置、电子设备及存储介质 |
| WO2019154231A1 (zh) * | 2018-02-12 | 2019-08-15 | 腾讯科技（深圳）有限公司 | 图像处理方法、电子设备及存储介质 |
| CN110148082A (zh) * | 2019-04-02 | 2019-08-20 | 杭州趣维科技有限公司 | 一种移动端人脸图像面部实时变形调节方法 |
| CN110189248A (zh) * | 2019-05-16 | 2019-08-30 | 腾讯科技（深圳）有限公司 | 图像融合方法及装置、存储介质、电子设备 |
| CN110363858A (zh) * | 2019-06-18 | 2019-10-22 | 新拓三维技术(深圳)有限公司 | 一种三维人脸重建方法及系统 |
| CN110827394A (zh) * | 2018-08-10 | 2020-02-21 | 宏达国际电子股份有限公司 | 脸部表情建构方法、装置及非暂态电脑可读取记录媒体 |
| CN111079570A (zh) * | 2019-11-29 | 2020-04-28 | 北京奇艺世纪科技有限公司 | 一种人体关键点识别方法、装置及电子设备 |
| CN111460872A (zh) * | 2019-01-18 | 2020-07-28 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、图像设备及存储介质 |
| CN111524062A (zh) * | 2020-04-22 | 2020-08-11 | 北京百度网讯科技有限公司 | 图像生成方法和装置 |
| CN111599002A (zh) * | 2020-05-15 | 2020-08-28 | 北京百度网讯科技有限公司 | 用于生成图像的方法和装置 |
| CN112287820A (zh) * | 2020-10-28 | 2021-01-29 | 广州虎牙科技有限公司 | 人脸检测神经网络及训练方法、人脸检测方法、存储介质 |
| CN112330824A (zh) * | 2018-05-31 | 2021-02-05 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| CN112967364A (zh) * | 2021-02-09 | 2021-06-15 | 咪咕文化科技有限公司 | 一种图像处理方法、装置及设备 |
| CN113989283A (zh) * | 2021-12-28 | 2022-01-28 | 中科视语(北京)科技有限公司 | 3d人体姿态估计方法、装置、电子设备与存储介质 |
| CN117373455A (zh) * | 2023-12-04 | 2024-01-09 | 翌东寰球(深圳)数字科技有限公司 | 一种音视频的生成方法、装置、设备及存储介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101404091A (zh) * | 2008-11-07 | 2009-04-08 | 重庆邮电大学 | 基于两步形状建模的三维人脸重建方法和系统 |
| US20090153552A1 (en) * | 2007-11-20 | 2009-06-18 | Big Stage Entertainment, Inc. | Systems and methods for generating individualized 3d head models |
| US20100214288A1 (en) * | 2009-02-25 | 2010-08-26 | Jing Xiao | Combining Subcomponent Models for Object Image Modeling |
| CN102222363A (zh) * | 2011-07-19 | 2011-10-19 | 杭州实时数码科技有限公司 | 从人脸图像快速构建高精度个性化人脸模型的方法 |
| US20120183238A1 (en) * | 2010-07-19 | 2012-07-19 | Carnegie Mellon University | Rapid 3D Face Reconstruction From a 2D Image and Methods Using Such Rapid 3D Face Reconstruction |
| CN102663820A (zh) * | 2012-04-28 | 2012-09-12 | 清华大学 | 三维头部模型重建方法 |
| CN102999942A (zh) * | 2012-12-13 | 2013-03-27 | 清华大学 | 三维人脸重建方法 |
| US20140023290A1 (en) * | 2012-07-20 | 2014-01-23 | Siemens Aktiengesellschaft | Method for correcting metal artifacts in x-ray imaging, and x-ray device |
| CN103593870A (zh) * | 2013-11-12 | 2014-02-19 | 杭州摩图科技有限公司 | 一种基于人脸的图像处理装置及其方法 |
| CN103605965A (zh) * | 2013-11-25 | 2014-02-26 | 苏州大学 | 一种多姿态人脸识别方法和装置 |
| CN104966316A (zh) * | 2015-05-22 | 2015-10-07 | 腾讯科技（深圳）有限公司 | 一种3d人脸重建方法、装置及服务器 |
| CN105118022A (zh) * | 2015-08-27 | 2015-12-02 | 厦门唯尔酷信息技术有限公司 | 一种2维到3维的人脸生成和变形方法及其系统 |
-
2017
- 2017-01-20 CN CN201710040656.XA patent/CN106920274B/zh not_active Expired - Fee Related
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090153552A1 (en) * | 2007-11-20 | 2009-06-18 | Big Stage Entertainment, Inc. | Systems and methods for generating individualized 3d head models |
| CN101404091A (zh) * | 2008-11-07 | 2009-04-08 | 重庆邮电大学 | 基于两步形状建模的三维人脸重建方法和系统 |
| US20100214288A1 (en) * | 2009-02-25 | 2010-08-26 | Jing Xiao | Combining Subcomponent Models for Object Image Modeling |
| US20120183238A1 (en) * | 2010-07-19 | 2012-07-19 | Carnegie Mellon University | Rapid 3D Face Reconstruction From a 2D Image and Methods Using Such Rapid 3D Face Reconstruction |
| CN102222363A (zh) * | 2011-07-19 | 2011-10-19 | 杭州实时数码科技有限公司 | 从人脸图像快速构建高精度个性化人脸模型的方法 |
| CN102663820A (zh) * | 2012-04-28 | 2012-09-12 | 清华大学 | 三维头部模型重建方法 |
| US20140023290A1 (en) * | 2012-07-20 | 2014-01-23 | Siemens Aktiengesellschaft | Method for correcting metal artifacts in x-ray imaging, and x-ray device |
| CN102999942A (zh) * | 2012-12-13 | 2013-03-27 | 清华大学 | 三维人脸重建方法 |
| CN103593870A (zh) * | 2013-11-12 | 2014-02-19 | 杭州摩图科技有限公司 | 一种基于人脸的图像处理装置及其方法 |
| CN103605965A (zh) * | 2013-11-25 | 2014-02-26 | 苏州大学 | 一种多姿态人脸识别方法和装置 |
| CN104966316A (zh) * | 2015-05-22 | 2015-10-07 | 腾讯科技（深圳）有限公司 | 一种3d人脸重建方法、装置及服务器 |
| CN105118022A (zh) * | 2015-08-27 | 2015-12-02 | 厦门唯尔酷信息技术有限公司 | 一种2维到3维的人脸生成和变形方法及其系统 |
Cited By (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109240484A (zh) * | 2017-07-10 | 2019-01-18 | 北京行云时空科技有限公司 | 一种增强现实系统中的交互方法、装置及设备 |
| CN108876704B (zh) * | 2017-07-10 | 2022-03-04 | 北京旷视科技有限公司 | 人脸图像变形的方法、装置及计算机存储介质 |
| CN108876704A (zh) * | 2017-07-10 | 2018-11-23 | 北京旷视科技有限公司 | 人脸图像变形的方法、装置及计算机存储介质 |
| CN107958479A (zh) * | 2017-12-26 | 2018-04-24 | 南京开为网络科技有限公司 | 一种移动端3d人脸增强现实实现方法 |
| CN108109010A (zh) * | 2017-12-26 | 2018-06-01 | 南京开为网络科技有限公司 | 一种智能ar广告机 |
| WO2019154231A1 (zh) * | 2018-02-12 | 2019-08-15 | 腾讯科技（深圳）有限公司 | 图像处理方法、电子设备及存储介质 |
| US11436779B2 (en) | 2018-02-12 | 2022-09-06 | Tencent Technology (Shenzhen) Company Ltd | Image processing method, electronic device, and storage medium |
| CN108564018A (zh) * | 2018-04-04 | 2018-09-21 | 北京天目智联科技有限公司 | 一种基于红外拍照的生物特征3d四维数据识别方法及系统 |
| CN108776983A (zh) * | 2018-05-31 | 2018-11-09 | 北京市商汤科技开发有限公司 | 基于重建网络的人脸重建方法和装置、设备、介质、产品 |
| CN112330824A (zh) * | 2018-05-31 | 2021-02-05 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| CN109035415A (zh) * | 2018-07-03 | 2018-12-18 | 百度在线网络技术（北京）有限公司 | 虚拟模型的处理方法、装置、设备和计算机可读存储介质 |
| CN110827394A (zh) * | 2018-08-10 | 2020-02-21 | 宏达国际电子股份有限公司 | 脸部表情建构方法、装置及非暂态电脑可读取记录媒体 |
| CN110827394B (zh) * | 2018-08-10 | 2024-04-02 | 宏达国际电子股份有限公司 | 脸部表情建构方法、装置及非暂态电脑可读取记录媒体 |
| CN109147037A (zh) * | 2018-08-16 | 2019-01-04 | Oppo广东移动通信有限公司 | 基于三维模型的特效处理方法、装置和电子设备 |
| CN109147037B (zh) * | 2018-08-16 | 2020-09-18 | Oppo广东移动通信有限公司 | 基于三维模型的特效处理方法、装置和电子设备 |
| CN109035380A (zh) * | 2018-09-11 | 2018-12-18 | 北京旷视科技有限公司 | 基于三维重建的人脸修饰方法、装置、设备及存储介质 |
| CN109035380B (zh) * | 2018-09-11 | 2023-03-10 | 北京旷视科技有限公司 | 基于三维重建的人脸修饰方法、装置、设备及存储介质 |
| CN109671142B (zh) * | 2018-11-23 | 2023-08-04 | 南京图玩智能科技有限公司 | 一种智能美妆方法及智能美妆镜 |
| CN109671142A (zh) * | 2018-11-23 | 2019-04-23 | 南京图玩智能科技有限公司 | 一种智能美妆方法及智能美妆镜 |
| CN109727302A (zh) * | 2018-12-28 | 2019-05-07 | 网易（杭州）网络有限公司 | 骨骼创建方法、装置、电子设备及存储介质 |
| CN111460872A (zh) * | 2019-01-18 | 2020-07-28 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、图像设备及存储介质 |
| CN111460872B (zh) * | 2019-01-18 | 2024-04-16 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、图像设备及存储介质 |
| CN110148082B (zh) * | 2019-04-02 | 2023-03-28 | 杭州小影创新科技股份有限公司 | 一种移动端人脸图像面部实时变形调节方法 |
| CN110148082A (zh) * | 2019-04-02 | 2019-08-20 | 杭州趣维科技有限公司 | 一种移动端人脸图像面部实时变形调节方法 |
| CN110189248A (zh) * | 2019-05-16 | 2019-08-30 | 腾讯科技（深圳）有限公司 | 图像融合方法及装置、存储介质、电子设备 |
| CN110363858B (zh) * | 2019-06-18 | 2022-07-01 | 新拓三维技术(深圳)有限公司 | 一种三维人脸重建方法及系统 |
| CN110363858A (zh) * | 2019-06-18 | 2019-10-22 | 新拓三维技术(深圳)有限公司 | 一种三维人脸重建方法及系统 |
| CN111079570B (zh) * | 2019-11-29 | 2024-01-26 | 北京奇艺世纪科技有限公司 | 一种人体关键点识别方法、装置及电子设备 |
| CN111079570A (zh) * | 2019-11-29 | 2020-04-28 | 北京奇艺世纪科技有限公司 | 一种人体关键点识别方法、装置及电子设备 |
| CN111524062A (zh) * | 2020-04-22 | 2020-08-11 | 北京百度网讯科技有限公司 | 图像生成方法和装置 |
| CN111524062B (zh) * | 2020-04-22 | 2023-11-24 | 北京百度网讯科技有限公司 | 图像生成方法和装置 |
| CN111599002A (zh) * | 2020-05-15 | 2020-08-28 | 北京百度网讯科技有限公司 | 用于生成图像的方法和装置 |
| CN112287820A (zh) * | 2020-10-28 | 2021-01-29 | 广州虎牙科技有限公司 | 人脸检测神经网络及训练方法、人脸检测方法、存储介质 |
| CN112967364A (zh) * | 2021-02-09 | 2021-06-15 | 咪咕文化科技有限公司 | 一种图像处理方法、装置及设备 |
| CN113989283B (zh) * | 2021-12-28 | 2022-04-05 | 中科视语(北京)科技有限公司 | 3d人体姿态估计方法、装置、电子设备与存储介质 |
| CN113989283A (zh) * | 2021-12-28 | 2022-01-28 | 中科视语(北京)科技有限公司 | 3d人体姿态估计方法、装置、电子设备与存储介质 |
| CN117373455A (zh) * | 2023-12-04 | 2024-01-09 | 翌东寰球(深圳)数字科技有限公司 | 一种音视频的生成方法、装置、设备及存储介质 |
| CN117373455B (zh) * | 2023-12-04 | 2024-03-08 | 翌东寰球(深圳)数字科技有限公司 | 一种音视频的生成方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106920274B (zh) | 2020-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106920274A (zh) | 移动端2d关键点快速转换为3d融合变形的人脸建模方法 | |
| CN108876879B (zh) | 人脸动画实现的方法、装置、计算机设备及存储介质 | |
| CN105139438B (zh) | 视频人脸卡通动画生成方法 | |
| JP6864449B2 (ja) | イメージの明るさを調整する方法及び装置 | |
| EP3323249B1 (en) | Three dimensional content generating apparatus and three dimensional content generating method thereof | |
| CN103456010B (zh) | 一种基于特征点定位的人脸卡通画生成方法 | |
| JP7526412B2 (ja) | パラメータ推定モデルの訓練方法、パラメータ推定モデルの訓練装置、デバイスおよび記憶媒体 | |
| JP7129502B2 (ja) | 顔画像処理方法及び装置、画像機器並びに記憶媒体 | |
| KR102386642B1 (ko) | 이미지 처리 방법 및 장치, 전자 기기 및 저장 매체 | |
| EP3992919B1 (en) | Three-dimensional facial model generation method and apparatus, device, and medium | |
| CN101339606B (zh) | 一种人脸关键器官外轮廓特征点定位与跟踪的方法及装置 | |
| CN107730449B (zh) | 一种人脸五官美化处理的方法及系统 | |
| US20140254939A1 (en) | Apparatus and method for outputting information on facial expression | |
| CN111183405A (zh) | 调整头部区域的数字表示 | |
| KR20230097157A (ko) | 개인화된 3d 헤드 모델 변형을 위한 방법 및 시스템 | |
| CN113628327A (zh) | 一种头部三维重建方法及设备 | |
| CN110838084A (zh) | 一种图像的风格转移方法、装置、电子设备及存储介质 | |
| CN111127642A (zh) | 一种人脸三维重建方法 | |
| CN111950430A (zh) | 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统 | |
| CN105761243A (zh) | 基于结构光投影的三维全脸照相系统及其照相方法 | |
| KR20230085931A (ko) | 얼굴 이미지에서 색상을 추출하기 위한 방법 및 시스템 | |
| KR20230110787A (ko) | 개인화된 3d 머리 및 얼굴 모델들을 형성하기 위한 방법들 및 시스템들 | |
| US20220277586A1 (en) | Modeling method, device, and system for three-dimensional head model, and storage medium | |
| US20240078773A1 (en) | Electronic device generating 3d model of human and its operation method | |
| CN102509345B (zh) | 一种基于画家知识的肖像艺术光影效果生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200904 |