CN104008564B - 一种人脸表情克隆方法 - Google Patents
一种人脸表情克隆方法 Download PDFInfo
- Publication number
- CN104008564B CN104008564B CN201410269983.9A CN201410269983A CN104008564B CN 104008564 B CN104008564 B CN 104008564B CN 201410269983 A CN201410269983 A CN 201410269983A CN 104008564 B CN104008564 B CN 104008564B
- Authority
- CN
- China
- Prior art keywords
- face
- expression
- coordinate
- point
- features point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明一种人脸表情克隆方法，涉及三维(3D)图像的加工，是一种基于运动捕捉数据的人脸表情克隆方法，一、预先捕捉一系列人脸面部运动序列；二、人脸面部生气、厌恶、恐惧、高兴、悲伤和吃惊六个基本表情信息的运动捕捉；三、对运动捕捉到的人脸面部六个基本表情信息进行处理；四、构建源面部和目标面部关键模型、五、选取四十一个人脸面部特征点；六、人脸表情的转移；七、生成人脸克隆表情。本发明克服了现有技术中均一权值保真度低和余切权值计算不稳定的问题以及运动捕捉设备有较高的要求和处理速度较慢的缺陷。
Description
技术领域
本发明的技术方案涉及三维(3D)图像的加工，具体地说是一种人脸表情克隆方法。
背景技术
人脸表情克隆技术是将人脸的表情克隆到与源模型具有不同拓扑结构的目标模型上，目标模型可以是不同性别不同种族的人，也可以是与人脸拓扑结构有很大差异的动物。基于数据驱动的人脸表情克隆技术充分利用已有的顶点运动数据可以快速合成真实和自然的克隆表情。近年来，该技术广泛的应用于计算机动画、计算机游戏和计算机视觉领域。
从人的视觉要求出发，总是希望克隆的人脸表情能够尽可能地达到逼真，但由于受模型和计算机能力的限制，合成的图像总是与人们的要求有一定的差距。在克隆表情工作后期经常需要对眼睛和牙齿这些脸部凹陷的区域作后期处理，而且变形过程中往往需要融合多种方法，制作要求较高。现有技术中的一些研究人员曾利用已有顶点的动画数据，提出了一种基于径向基函数(RBF)的表情克隆方法(参见Junyong Noh and UlrichNeumann.Expression cloning.In Proceedings of ACM SIGGRAPH,pages277–288,NewYork,USA,2001)。这种方法仅仅转移了运动矢量，而对于稀疏的源数据，将会丢失源模型的部分表情细节。还有一些研究人员通过预先记录的人脸运动捕捉数据库，提出一种基于人脸面部特征点的人脸表情动画方法来合成真实的表情动画，然而动画的质量严重依赖于庞大的数据库(参见Zhigang Deng and Ulrich.Expressive speech animation synthesiswith phoneme-level control.Computer Graph Forum,27:2096–2113，2008)。另有一些研究人员通过增加边界约束条件，将重定义问题用泊松方程来表示，利用贝叶斯公式产生与源运动一致的目标动画,这种方法仅集中于大规模的脸部变形，没有考虑现实的皱纹这些小尺度细节(参见Yeongho Seol,J.P.Lewis,Jaewoo Seo,Byungkuk Choi,Ken Aniyo andJunyong Noh.Spacetime expression cloning for blendshapes.ACM Transactions onGraphics,31:1-12，2012)。最近，Bhat和Goldenthal等人又提出了一种基于人脸重要轮廓特征的表演捕捉方法，该方法主要是对眼睛和嘴部这些人脸表情的关键区域进行表情匹配处理来得到高质量的克隆表情，这种方法对运动捕捉设备有较高的要求(参见KiranS.Bhat,Rony Goldenthal,Yuting Ye,Ronald Mallet and Michael Koperwas.Highfidelity facial animation capture and retargeting with contours.InProceedings of the ACM SIGGRAPH,pages7-14,New York,USA,2013)。CN101944238A公开了一种基于拉普拉斯变换的数据驱动人脸表情合成方法，首先将采集表演者的脸部运动数据分解为脸部表情运动和头部刚体运动，计算载入的中性目标人脸模型中各顶点的拉普拉斯坐标，然后将脸部表情运动迁移到中性目标人脸模型上，使得中性目标人脸模型具有与表演者一致的表情，最后将头部刚体运动迁移到具有与表演者一致表情的目标人脸模型上，使得最终的目标人脸模型具有与表演者一致的面部表情和姿态。此方法的缺点是：对于顶点数目较多的模型，该方法的处理速度较慢，同时没有考虑复杂的眼睛和牙齿运动。
发明内容
本发明所要解决的技术问题是：提供一种人脸表情克隆方法，是一种基于运动捕捉数据的人脸表情克隆方法，首先使用摄像机捕捉人脸六种基本表情数据，并对数据进行处理，然后分别构建与源面部和目标面部模型对应的关键模型，并在表现人脸表情的关键区域选取四十一个人脸面部特征点，通过采用凸权值的拉普拉斯变形算法将人脸表情转移到目标模型上，很好保留了人脸表情的细节，克服了现有技术中均一权值保真度低和余切权值计算不稳定的问题以及运动捕捉设备有较高的要求和处理速度较慢的缺陷。
本发明解决该技术问题所采用的技术方案是：一种人脸表情克隆方法，是一种基于运动捕捉数据的人脸表情克隆方法，步骤如下：
第一步，预先捕捉一系列人脸面部运动序列：
先利用运动捕捉设备捕捉表演者的面部肌肉活动，收集人脸面部特征点的原始数据，即特征点的位置关系；
第二步，人脸面部六个基本表情信息的运动捕捉：
利用运动捕捉设备记录表演者的人脸面部六个基本表情的信息，即生气、厌恶、恐惧、高兴、悲伤和吃惊的信息；
第三步，对运动捕捉到的人脸面部六个基本表情信息进行处理：
(1)原始数据标记标号：对人脸面部特征点的原始数据进行标记标号，生成统一的人脸面部特征点模板，进而在每个人脸面部特征点附近生成局部坐标的相关信息；
(2)数据清理：上述(1)中的统一的人脸面部特征点模板提供了相邻人脸面部特征点的位置、坐标以及单个人脸面部特征点的活动范围信息，利用上述(1)中的局部坐标关系对丢失的人脸面部特征点进行数据清理；
(3)间隙填充：上述(1)中生成的局部坐标相对人脸的前额、鼻尖或者下巴的位置关系不变，将局部坐标看作静止参考点，根据三点确定一个平面的定理，通过静止参考点以及局部三个人脸面部特征点，四个标记作为一组坐标来估计和确定丢失人脸面部特征点的间隙位置信息；
(4)数据归一化：在捕捉过程中，对于丢失的人脸面部特征点，通过上面的数据清理和间隙填充达到数据归一化；
第四步，构建源面部和目标面部关键模型：
首先确定一组源模型的生气、厌恶、恐惧、高兴、悲伤和吃惊这六种强烈表情为关键表情，然后通过变形源人脸模型和目标模型各自带有的中性表情的基本模型来产生它们的各自带有的关键表情的关键模型；
第五步，选取四十一个人脸面部特征点：
按照MPEG-4标准，在人脸关键表情区域标记四十一个人脸面部特征点，其中四十一个人脸面部特征点需要在人脸表情突出部位周围选取，就是在前额、左眉、左上眼睑、右眉、右上眼睑、左下眼睑、左脸、鼻子、右下眼睑、右脸、上嘴唇、下巴和下嘴唇这些表现人脸表情的关键特征区域进行选点；
第六步，人脸表情的转移
(1)对第四步中确定的每一种关键表情通过计算源模型人脸面部特征点的位移来参数化目标模型人脸面部特征点的位移向量：
在源基本模型上交互地选择四十一个人脸面部特征点，然后提取它们到生气、厌恶、恐惧、高兴、悲伤和吃惊这六个源关键模型的位移，连接这些位移，形成每个源关键模型的位移向量来参数化对应的目标关键模型，标记人脸面部特征点时，只在源基本模型上标记，其它关键模型的这些人脸面部特征点可以根据它们与源基本模型的顶点对应关系来自动确定，当参数空间的维数远远高于目标关键模型的维数时，要采用主成分分析方法，即PCA方法，进行降维；
(2)将全局坐标变成拉普拉斯坐标：
全局坐标是位于全局坐标系中的坐标，拉普拉斯坐标为顶点与其邻接顶点坐标加权和的差，对每个i＝1,2,...,n，定义N(i)为顶点vi所有邻接点的集合，di为集合N(i)中元素的个数，拉普拉斯坐标可以表示为：
第七步，生成人脸克隆表情：
目标模型的坐标表示为：
其中，为目标模型表情克隆后的所有顶点坐标，V为初始坐标，δ为V对应的拉普拉斯坐标，wj为顶点vj的权重，cj为目标模型上第j个人脸面部特征点，
采用最小二乘法，求解这个能量方程，当误差函数最小时，求得目标模型的坐标，生成人脸克隆表情。
上述一种人脸表情克隆方法，所述运动捕捉设备是Motion Analysis公司的运动捕捉设备。
上述一种人脸表情克隆方法，所述拉普拉斯坐标的基于凸权值拉普拉斯变形算法流程是如下：开始→导入人脸面部特征点数据→目标模型参数化→计算拉普拉斯坐标→计算每个顶点的权重→计算目标模型变形坐标→人脸克隆表情。
上述一种人脸表情克隆方法，所述面部特征点是人脸表情关键区域的能突出表现人脸表情特征的点；所述中性表情是不带有任何表情的一般人脸表情；局部坐标是位于局部坐标系中的坐标，局部坐标系也叫模型坐标系，是模型自身的坐标系，随模型位置的改变而改变；全局坐标是位于全部坐标系的坐标，全局坐标系也叫世界坐标系，是固定不动的，不随模型位置的改变而改变。这些术语均是本技术领域的技术人员所知道是专业术语。
本发明的有益效果是：与现有技术相比，本发明一种人脸表情克隆方法的突出的实质性特点是：建立一套人脸表情运动参数，这些参数可以用于生成需要的人脸表情；利用运动捕捉设备，通过参数化方法将一组顶点的运动和一个特殊的参数联系在一起，自动匹配源模型到目标模型的控制点；克隆的结果很好保留了人脸表情的细节，有效提高人脸克隆表情的真实性、有效性和生成效率。
与现有技术相比，本发明一种人脸表情克隆方法的显著进步是：通过采用凸权值的拉普拉斯变形算法将人脸表情转移到目标模型上，克服了均一权值保真度低和余切权值计算不稳定的问题，能够解决径向基函数插值算法出现奇异情况的问题，避免了表情重建后对眼睛、牙齿的细节处理。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1为本发明一种人脸表情克隆方法的步骤示意框图。
图2(a)为本发明一种人脸表情克隆方法的表演者的网格模型示意图。
图2(b)为本发明一种人脸表情克隆方法的表演者的面部四十一个人脸面部特征点标记示意图。
图3(a)为本发明一种人脸表情克隆方法的运动捕捉设备中重建的人脸表情原始数据点云模型示意图。
图3(b)为本发明一种人脸表情克隆方法的运动捕捉设备中重建的人脸表情人脸面部特征点识别模型示意图。
图3(c)为本发明一种人脸表情克隆方法的运动捕捉设备中重建的人脸表情标记结构模型示意图。
图4为本发明一种人脸表情克隆方法的拉普拉斯坐标的基于凸权值拉普拉斯变形算法流程示意图。
图5(a)为本发明一种人脸表情克隆方法的源模型的六种基本表情示意图。
图5(b)为本发明一种人脸表情克隆方法的男性gene对应的六种克隆表情示意图。
图5(c)为本发明一种人脸表情克隆方法的猴子对应的六种克隆表情示意图。
图5(d)为本发明一种人脸表情克隆方法的中国男性对应的六种克隆表情示意图。
图6(a)为本发明一种人脸表情克隆方法的源模型吃惊表情关键帧示意图。
图6(b)为本发明一种人脸表情克隆方法的男性gene对应的克隆表情关键帧示意图。
图6(c)为本发明一种人脸表情克隆方法的猴子对应的克隆表情关键帧示意图。
图中，1.前额的标记的人脸面部特征点a，2.前额的标记的人脸面部特征点b，3.前额的标记的人脸面部特征点c，4.左眉的标记的人脸面部特征点a，5.左眉的标记的人脸面部特征点b，6.左眉的标记的人脸面部特征点c，15.左上眼睑的标记的人脸面部特征点，8.右眉的标记的人脸面部特征点a，9.右眉的标记的人脸面部特征点b，10.右眉的标记的人脸面部特征点c，19.右上眼睑的标记的人脸面部特征点，16.左下眼睑标记的人脸面部特征点a、17.左下眼睑标记的人脸面部特征点b，18.左下眼睑标记的人脸面部特征点c，24.左脸标记的人脸面部特征点a，25.左脸标记的人脸面部特征点b，26.左脸标记的人脸面部特征点c，34.左脸标记的人脸面部特征点d，40.左脸标记的人脸面部特征点e，7.鼻子标记的人脸面部特征点a，11.鼻子标记的人脸面部特征点b，12.鼻子标记的人脸面部特征点c，13.鼻子标记的人脸面部特征点d，14.鼻子标记的人脸面部特征点e，20.右下眼睑标记的人脸面部特征点a，22.右下眼睑标记的人脸面部特征点b，23.右下眼睑标记的人脸面部特征点c，21.右脸标记的人脸面部特征点a，27.右脸标记的人脸面部特征点b，28.右脸标记的人脸面部特征点c，29.右脸标记的人脸面部特征点d，30.右脸标记的人脸面部特征点e，31.上嘴唇标记的人脸面部特征点a，32.上嘴唇标记的人脸面部特征点b，33.上嘴唇标记的人脸面部特征点c，36.下嘴唇标记的人脸面部特征点a，37.下嘴唇标记的人脸面部特征点b，38.下嘴唇标记的人脸面部特征点c，35.下巴标记的人脸面部特征点a，39.下巴标记的人脸面部特征点b，41.下巴标记的人脸面部特征点c。
具体实施方式
图1所示实施例表明，本发明一种人脸表情克隆方法的步骤顺序是：预先捕捉一系列人脸面部运动序列→人脸面部六个基本表情信息的运动捕捉→对运动捕捉到的人脸面部六个基本表情信息进行处理→构建源面部和目标面部关键模型→选取四十一个人脸面部特征点→人脸表情的转移→生成人脸克隆表情。
图2(a)所示实施例显示本发明一种人脸表情克隆方法的表演者的网格模型，该图表明，经过运动捕捉，得到了表演者的网格模型。网格模型的生成目的是为了四十一个人脸面部特征点的标记。
图2(b)所示实施例显示本发明一种人脸表情克隆方法的表演者的面部标记，该图表明了在运动捕捉的人脸图像上进行标记四十一个人脸面部特征点的3D坐标的位置是在前额、左眉、左上眼睑、右眉、右上眼睑、左下眼睑、左脸、鼻子、右下眼睑、右脸、上嘴唇、下巴和下嘴唇这些能够表现人脸表情的关键特征区域内。从该图可见,四十一个人脸面部特征点分别是：前额的标记的人脸面部特征点a1、前额的标记的人脸面部特征点b2、前额的标记的人脸面部特征点c3、左眉的标记的人脸面部特征点a4、左眉的标记的人脸面部特征点b5、左眉的标记的人脸面部特征点c6、左上眼睑的标记的人脸面部特征点15、右眉的标记的人脸面部特征点a8、右眉的标记的人脸面部特征点b9、右眉的标记的人脸面部特征点c10、右上眼睑的标记的人脸面部特征点19、左下眼睑标记的人脸面部特征点a16、左下眼睑标记的人脸面部特征点b17、左下眼睑标记的人脸面部特征点c18、左脸标记的人脸面部特征点a24、左脸标记的人脸面部特征点b25、左脸标记的人脸面部特征点c26、左脸标记的人脸面部特征点d34、左脸标记的人脸面部特征点e40、鼻子标记的人脸面部特征点a7、鼻子标记的人脸面部特征点b11、鼻子标记的人脸面部特征点c12、鼻子标记的人脸面部特征点d13、鼻子标记的人脸面部特征点e14、右下眼睑标记的人脸面部特征点a20、右下眼睑标记的人脸面部特征点b22、右下眼睑标记的人脸面部特征点c23、右脸标记的人脸面部特征点a21、右脸标记的人脸面部特征点b27、右脸标记的人脸面部特征点c28、右脸标记的人脸面部特征点d29、右脸标记的人脸面部特征点e30、上嘴唇标记的人脸面部特征点a31、上嘴唇标记的人脸面部特征点b32、上嘴唇标记的人脸面部特征点c33、下嘴唇标记的人脸面部特征点a36、下嘴唇标记的人脸面部特征点b37、下嘴唇标记的人脸面部特征点c38、下巴标记的人脸面部特征点a35、下巴标记的人脸面部特征点b39和下巴标记的人脸面部特征点c41。
图3(a)所示实施例显示本发明一种人脸表情克隆方法的运动捕捉设备中重建的人脸表情原始数据点云模型，该图表明，经过运动捕捉，得到了表演者面部标记的人脸面部特征点的表情模型。
图3(b)所示实施例显示本发明一种人脸表情克隆方法的运动捕捉设备中重建的人脸表情人脸面部特征点识别模型，该图表明，运动捕捉后，能够被捕捉设备识别的表演者面部标记的人脸面部特征点模型。
图3(c)所示实施例显示本发明一种人脸表情克隆方法的运动捕捉设备中重建的人脸表情标记结构模型，该图表明，经过后期有效的数据处理，得到的带有数据清理的表演者面部表情标记结构。
图4所示实施例表明，本发明一种人脸表情克隆方法的基于凸权值拉普拉斯变形算法流程是：开始→导入人脸面部特征点数据→目标模型参数化→计算拉普拉斯坐标→计算每个顶点的权重→计算目标模型变形坐标→人脸克隆表情。对该流程中每一步的具体说明如下：
(1)首先对源模型和目标模型导入人脸面部特征点数据，包括源模型的中性表情数据、六种基本表情数据以及目标模型的中性表情数据；
(2)目标模型参数化是说在源基本模型上交互的选择一些人脸面部特征点，然后提取它们到每个源关键模型的位移，连接这些位移，形成每个源关键模型的位移向量来参数化对应的目标关键模型，标记人脸面部特征点时，只在源模型上标记，其它关键模型的这些人脸面部特征点可以根据它们与源模型的顶点对应关系自动的确定。同时注意到参数空间的维数远远高于关键模型的维数，采用主成分分析(PCA)方法可以达到降维的目的；
(3)计算拉普拉斯坐标，详细说计算目标模型人脸面部特征点的拉普拉斯坐标。对每个i＝1,2,...,n，定义N(i)为顶点vi所有邻接点的集合，di为集合N(i)中元素的个数，网格顶点的拉普拉斯坐标可以表示为该顶点与其邻接顶点坐标加权和的差：
记I为单位矩阵，A为网格的邻接矩阵，D为对角矩阵，且Dii＝di，用矩阵表示上式为：
L＝I-D-1A
(4)计算目标模型每个人脸面部特征点的权重值。Meyer等人提出采用余切权值代替上面(3)中的均一权值：
其中，αij，βij为边(i,j)所对应的两个角，|Ωi|为顶点vi处Voronoi晶格的大小。
δi只与网格的拓扑相关，而依赖于网格的几何结构。余切权值可能为负，并且当角度接近于180度时计算会不稳定，为此，我们采用模仿余切权值的凸权值来计算每个顶点的贡献：
(5)计算目标模型变形后的所有顶点坐标，进而得到人脸克隆表情。通过隐式求解的方法将拉普拉斯坐标进行变换，使得网格的变形与重建同时得到实现。采用最小二乘法，可以求解所有顶点的坐标：
其中，为目标模型表情克隆后的所有顶点坐标，V为初始坐标，δ为V对应的拉普拉斯坐标，wj为顶点vj的权重，cj为目标模型上第j个人脸面部特征点。
图5(a)所示实施例表明，在本发明方法中的源模型的六种基本表情。该图表明，经过运动捕捉，得到的表演者面部的六种基本表情分别为生气、厌恶、恐惧、高兴、悲伤和吃惊。
图5(b)所示实施例表明，在本发明方法中得到的男性gene对应的六种克隆表情。该图表明，经过上述所有实施步骤，将源模型的六种基本表情克隆了男性gene模型上，得到了男性gene的真实自然的克隆表情。
图5(c)所示实施例表明，在本发明方法中得到的猴子对应的六种克隆表情。该图表明，经过上述所有实施步骤，将源模型的六种基本表情克隆到了猴子模型上，得到了猴子的真实自然的克隆表情。
图5(d)所示实施例表明，在本发明方法中得到的中国男性对应的六种克隆表情。该图表明，经过上述所有实施步骤，将源模型的六种基本表情克隆到了中国男性模型上，得到了中国男性的真实自然的克隆表情。
图6(a)所示实施例表明，在本发明方法中的源模型吃惊表情关键帧。该图表明，经过运动捕捉，得到的表演者吃惊表情关键帧。
图6(b)所示实施例表明，在本发明方法中得到的男性gene对应的克隆表情关键帧。该图表明，经过上述所有实施步骤，将源模型六个关键帧的吃惊表情克隆到了男性gene模型上，得到了真实有效的男性gene吃惊表情关键帧。
图6(c)所示实施例表明，在本发明方法中得到的猴子对应的克隆表情关键帧。该图表明，经过上述所有实施步骤，将源模型的六个关键帧的吃惊表情克隆到了猴子模型上，得到了真实有效的猴子吃惊表情关键帧。
实施例
一种人脸表情克隆方法，是一种基于运动捕捉数据的人脸表情克隆方法，步骤如下：
第一步，预先捕捉一系列人脸面部运动序列：
先利用Motion Analysis公司的运动捕捉设备捕捉表演者的面部肌肉活动，收集人脸面部特征点的原始数据，即特征点的位置关系；
第二步，人脸面部六个基本表情信息的运动捕捉：
利用运动捕捉设备记录表演者的人脸面部六个基本表情的信息，即生气、厌恶、恐惧、高兴、悲伤和吃惊的信息；
第三步，对运动捕捉到的人脸面部六个基本表情信息进行处理：
(1)原始数据标记标号：对人脸面部特征点的原始数据进行标记标号，生成统一的人脸面部特征点模板，进而在每个人脸面部特征点附近生成局部坐标的相关信息；
(2)数据清理：上述(1)中的统一的人脸面部特征点模板提供了相邻人脸面部特征点的位置、坐标以及单个人脸面部特征点的活动范围信息，利用上述(1)中的局部坐标关系对丢失的人脸面部特征点进行数据清理；
(3)间隙填充：上述(1)中生成的局部坐标相对人脸的前额、鼻尖或者下巴的位置关系不变，将局部坐标看作静止参考点，根据三点确定一个平面的定理，通过静止参考点以及局部三个人脸面部特征点，四个标记作为一组坐标来估计和确定丢失人脸面部特征点的间隙位置信息；
(4)数据归一化：在捕捉过程中，对于丢失的人脸面部特征点，通过上面的数据清理和间隙填充达到数据归一化；
第四步，构建源面部和目标面部关键模型：
首先确定一组源模型的生气、厌恶、恐惧、高兴、悲伤和吃惊这六种强烈表情为关键表情，然后通过变形源人脸模型和目标模型各自带有的中性表情的基本模型来产生它们的各自带有的关键表情的关键模型；
第五步，选取四十一个人脸面部特征点：
按照MPEG-4标准，在人脸关键表情区域标记四十一个人脸面部特征点，其中四十一个人脸面部特征点需要在人脸表情突出部位周围选取，就是在前额、左眉、左上眼睑、右眉、右上眼睑、左下眼睑、左脸、鼻子、右下眼睑、右脸、上嘴唇、下巴和下嘴唇这些表现人脸表情的关键特征区域进行选点；具体地说，标记的四十一个人脸面部特征点分别是：前额的标记的人脸面部特征点a1、前额的标记的人脸面部特征点b2、前额的标记的人脸面部特征点c3、左眉的标记的人脸面部特征点a4、左眉的标记的人脸面部特征点b5、左眉的标记的人脸面部特征点c6、左上眼睑的标记的人脸面部特征点15、右眉的标记的人脸面部特征点a8、右眉的标记的人脸面部特征点b9、右眉的标记的人脸面部特征点c10、右上眼睑的标记的人脸面部特征点19、左下眼睑标记的人脸面部特征点a16、左下眼睑标记的人脸面部特征点b17、左下眼睑标记的人脸面部特征点c18、左脸标记的人脸面部特征点a24、左脸标记的人脸面部特征点b25、左脸标记的人脸面部特征点c26、左脸标记的人脸面部特征点d34、左脸标记的人脸面部特征点e40、鼻子标记的人脸面部特征点a7、鼻子标记的人脸面部特征点b11、鼻子标记的人脸面部特征点c12、鼻子标记的人脸面部特征点d13、鼻子标记的人脸面部特征点e14、右下眼睑标记的人脸面部特征点a20、右下眼睑标记的人脸面部特征点b22、右下眼睑标记的人脸面部特征点c23、右脸标记的人脸面部特征点a21、右脸标记的人脸面部特征点b27、右脸标记的人脸面部特征点c28、右脸标记的人脸面部特征点d29、右脸标记的人脸面部特征点e30、上嘴唇标记的人脸面部特征点a31、上嘴唇标记的人脸面部特征点b32、上嘴唇标记的人脸面部特征点c33、下嘴唇标记的人脸面部特征点a36、下嘴唇标记的人脸面部特征点b37、下嘴唇标记的人脸面部特征点c38、下巴标记的人脸面部特征点a35、下巴标记的人脸面部特征点b39和下巴标记的人脸面部特征点c41。
第六步，人脸表情的转移
(1)对第四步中确定的每一种关键表情通过计算源模型人脸面部特征点的位移来参数化目标模型人脸面部特征点的位移向量：
在源基本模型上交互地选择四十一个人脸面部特征点，然后提取它们到生气、厌恶、恐惧、高兴、悲伤和吃惊这六个源关键模型的位移，连接这些位移，形成每个源关键模型的位移向量来参数化对应的目标关键模型，标记人脸面部特征点时，只在源基本模型上标记，其它关键模型的这些人脸面部特征点可以根据它们与源基本模型的顶点对应关系来自动确定，当参数空间的维数远远高于目标关键模型的维数时，要采用主成分分析方法，即PCA方法，进行降维；
(2)将全局坐标变成拉普拉斯坐标：
全局坐标是位于全局坐标系中的坐标，拉普拉斯坐标为顶点与其邻接顶点坐标加权和的差，对每个i＝1,2,...,n，定义N(i)为顶点vi所有邻接点的集合，di为集合N(i)中元素的个数，拉普拉斯坐标可以表示为：
这里，拉普拉斯坐标的基于凸权值拉普拉斯变形算法流程是如下：开始→导入人脸面部特征点数据→目标模型参数化→计算拉普拉斯坐标→计算每个顶点的权重→计算目标模型变形坐标→人脸克隆表情；
第七步，生成人脸克隆表情：
目标模型的坐标表示为：
其中，为目标模型表情克隆后的所有顶点坐标，V为初始坐标，δ为V对应的拉普拉斯坐标，wj为顶点vj的权重，cj为目标模型上第j个人脸面部特征点，
采用最小二乘法，求解这个能量方程，当误差函数最小时，求得目标模型的坐标，生成人脸克隆表情。
Claims (1)
1.一种人脸表情克隆方法，其特征在于：是一种基于运动捕捉数据的人脸表情克隆方法，步骤如下：
第一步，预先捕捉一系列人脸面部运动序列：
先利用运动捕捉设备捕捉表演者的面部肌肉活动，收集人脸面部特征点的原始数据，即特征点的位置关系；
第二步，人脸面部六个基本表情信息的运动捕捉：
利用运动捕捉设备记录表演者的人脸面部六个基本表情的信息，即生气、厌恶、恐惧、高兴、悲伤和吃惊的信息；
第三步，对运动捕捉到的人脸面部六个基本表情信息进行处理：
(1)原始数据标记标号：对人脸面部特征点的原始数据进行标记标号，生成统一的人脸面部特征点模板，进而在每个人脸面部特征点附近生成局部坐标的相关信息；
(2)数据清理：上述(1)中的统一的人脸面部特征点模板提供了相邻人脸面部特征点的位置、坐标以及单个人脸面部特征点的活动范围信息，利用上述(1)中的局部坐标关系对丢失的人脸面部特征点进行数据清理；
(3)间隙填充：上述(1)中生成的局部坐标相对人脸的前额、鼻尖或者下巴的位置关系不变，将局部坐标看作静止参考点，根据三点确定一个平面的定理，通过静止参考点以及局部三个人脸面部特征点，四个标记作为一组坐标来估计和确定丢失人脸面部特征点的间隙位置信息；
(4)数据归一化：在捕捉过程中，对于丢失的人脸面部特征点，通过上面的数据清理和间隙填充达到数据归一化；
第四步，构建源面部和目标面部关键模型：
首先确定一组源模型的生气、厌恶、恐惧、高兴、悲伤和吃惊这六种强烈表情为关键表情，然后通过变形源人脸模型和目标模型各自带有的中性表情的基本模型来产生它们的各自带有的关键表情的关键模型；
第五步，选取四十一个人脸面部特征点：
按照MPEG-4标准，在人脸关键表情区域标记四十一个人脸面部特征点，其中四十一个人脸面部特征点需要在人脸表情突出部位周围选取，就是在前额、左眉、左上眼睑、右眉、右上眼睑、左下眼睑、左脸、鼻子、右下眼睑、右脸、上嘴唇、下巴和下嘴唇这些表现人脸表情的关键特征区域进行选点；
第六步，通过采用凸权值的拉普拉斯变形算法将人脸表情转移到目标模型上：
(1)对第四步中确定的每一种关键表情通过计算源模型人脸面部特征点的位移来参数化目标模型人脸面部特征点的位移向量：
在源基本模型上交互地选择四十一个人脸面部特征点，然后提取它们到生气、厌恶、恐惧、高兴、悲伤和吃惊这六个源关键模型的位移，连接这些位移，形成每个源关键模型的位移向量来参数化对应的目标关键模型，标记人脸面部特征点时，只在源基本模型上标记，其它关键模型的这些人脸面部特征点，根据它们与源基本模型的顶点对应关系来自动确定，当参数空间的维数远远高于目标关键模型的维数时，要采用主成分分析方法，即PCA方法，进行降维；
(2)将全局坐标变成拉普拉斯坐标：
全局坐标是位于全局坐标系中的坐标，拉普拉斯坐标为顶点与其邻接顶点坐标加权和的差，对每个i＝1,2,...,n，定义N(i)为顶点vi所有邻接点的集合，di为集合N(i)中元素的个数，拉普拉斯坐标表示为：
<mrow>
<msub>
<mi>&delta;</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mrow>
<mo>(</mo>
<msubsup>
<mi>&delta;</mi>
<mi>i</mi>
<mi>x</mi>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>&delta;</mi>
<mi>i</mi>
<mi>y</mi>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>&delta;</mi>
<mi>i</mi>
<mi>z</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<msub>
<mi>d</mi>
<mi>i</mi>
</msub>
</mfrac>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>&Element;</mo>
<mi>N</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
</munder>
<msub>
<mi>v</mi>
<mi>j</mi>
</msub>
<mo>;</mo>
</mrow>
(3)生成人脸克隆表情：
目标模型的坐标表示为：
<mrow>
<mover>
<mi>V</mi>
<mo>~</mo>
</mover>
<mo>=</mo>
<munder>
<mi>argmin</mi>
<mi>V</mi>
</munder>
<mrow>
<mo>(</mo>
<mo>|</mo>
<mo>|</mo>
<mi>L</mi>
<mi>V</mi>
<mo>-</mo>
<mi>&delta;</mi>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>+</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>m</mi>
</munderover>
<msubsup>
<mi>w</mi>
<mi>j</mi>
<mn>2</mn>
</msubsup>
<msup>
<mrow>
<mo>|</mo>
<mrow>
<msub>
<mi>v</mi>
<mi>j</mi>
</msub>
<mo>-</mo>
<msub>
<mi>c</mi>
<mi>j</mi>
</msub>
</mrow>
<mo>|</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
其中，为目标模型表情克隆后的所有顶点坐标，V为初始坐标，δ为V对应的拉普拉斯坐标，wj为顶点vj的权重，cj为目标模型上第j个人脸面部特征点，
采用最小二乘法，求解这个能量方程，当误差函数最小时，求得目标模型的坐标，生成人脸克隆表情，由此完成通过采用凸权值的拉普拉斯变形算法将人脸表情转移到目标模型；
上述拉普拉斯坐标的基于凸权值拉普拉斯变形算法流程是如下：S1：开始；S2：导入人脸面部特征点数据；S3：目标模型参数化；S4：计算拉普拉斯坐标；S5：计算每个顶点的权重；S6：计算目标模型变形坐标；S7：人脸克隆表情。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410269983.9A CN104008564B (zh) | 2014-06-17 | 2014-06-17 | 一种人脸表情克隆方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410269983.9A CN104008564B (zh) | 2014-06-17 | 2014-06-17 | 一种人脸表情克隆方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104008564A CN104008564A (zh) | 2014-08-27 |
| CN104008564B true CN104008564B (zh) | 2018-01-12 |
Family
ID=51369204
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410269983.9A Active CN104008564B (zh) | 2014-06-17 | 2014-06-17 | 一种人脸表情克隆方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104008564B (zh) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104517236A (zh) * | 2014-11-25 | 2015-04-15 | 中国农业大学 | 一种动物形状表型自动测量系统 |
| CN104616347A (zh) * | 2015-01-05 | 2015-05-13 | 掌赢信息科技（上海）有限公司 | 一种表情迁移方法、电子设备及系统 |
| CN107180446B (zh) * | 2016-03-10 | 2020-06-16 | 腾讯科技（深圳）有限公司 | 人物面部模型的表情动画生成方法及装置 |
| CN106239531A (zh) * | 2016-09-20 | 2016-12-21 | 华南理工大学 | 一种移动式的远程临场交互机器人 |
| CN106709975B (zh) * | 2017-01-11 | 2017-12-22 | 山东财经大学 | 一种交互式三维人脸表情动画编辑方法、系统及扩展方法 |
| CN106919906B (zh) * | 2017-01-25 | 2021-04-20 | 迈吉客科技（北京）有限公司 | 一种图像互动方法及互动装置 |
| CN107194316A (zh) * | 2017-04-20 | 2017-09-22 | 广东数相智能科技有限公司 | 一种情绪满意度的评价方法、装置及系统 |
| CN107103646B (zh) * | 2017-04-24 | 2020-10-23 | 厦门黑镜科技有限公司 | 一种表情合成方法及装置 |
| CN107203897A (zh) * | 2017-04-24 | 2017-09-26 | 广东数相智能科技有限公司 | 一种产品推荐度的评价方法、装置及系统 |
| CN107610209A (zh) * | 2017-08-17 | 2018-01-19 | 上海交通大学 | 人脸表情合成方法、装置、存储介质和计算机设备 |
| CN107831902B (zh) * | 2017-11-23 | 2020-08-25 | 腾讯科技（上海）有限公司 | 一种运动控制方法及其设备、存储介质、终端 |
| CN108182429B (zh) * | 2018-02-01 | 2022-01-28 | 重庆邮电大学 | 基于对称性的人脸图像特征提取的方法及装置 |
| CN109101953A (zh) * | 2018-09-07 | 2018-12-28 | 大连东锐软件有限公司 | 基于人类面部表情的分区要素化的表情动作生成方法 |
| CN109285208A (zh) * | 2018-09-29 | 2019-01-29 | 吉林动画学院 | 基于表情动态模板库的虚拟角色表情卡通化算法 |
| CN111651033B (zh) * | 2019-06-26 | 2024-03-05 | 广州虎牙科技有限公司 | 一种人脸的驱动显示方法、装置、电子设备和存储介质 |
| CN110310318B (zh) * | 2019-07-03 | 2022-10-04 | 北京字节跳动网络技术有限公司 | 一种特效处理方法及装置、存储介质与终端 |
| GB2596777A (en) * | 2020-05-13 | 2022-01-12 | Huawei Tech Co Ltd | Facial re-enactment |
| CN113674161A (zh) * | 2021-07-01 | 2021-11-19 | 清华大学 | 一种基于深度学习的人脸残缺扫描补全方法、装置 |
| CN116485964B (zh) * | 2023-06-21 | 2023-10-13 | 海马云（天津）信息技术有限公司 | 一种数字虚拟对象的表情处理方法、装置及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101944238A (zh) * | 2010-09-27 | 2011-01-12 | 浙江大学 | 基于拉普拉斯变换的数据驱动人脸表情合成方法 |
| CN103198508A (zh) * | 2013-04-07 | 2013-07-10 | 河北工业大学 | 人脸表情动画生成方法 |
-
2014
- 2014-06-17 CN CN201410269983.9A patent/CN104008564B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101944238A (zh) * | 2010-09-27 | 2011-01-12 | 浙江大学 | 基于拉普拉斯变换的数据驱动人脸表情合成方法 |
| CN103198508A (zh) * | 2013-04-07 | 2013-07-10 | 河北工业大学 | 人脸表情动画生成方法 |
Non-Patent Citations (3)
| Title |
|---|
| "An Example-Based Approach for Facial Expression Cloning";Hycwon Pyun,et al.;《Proceedings of the 2003 ACM SIGGRAPH/Eurographics Symposium on Computer animation》;20030727;第3页左栏第1段，第3页第2节"Key-Model Construction" * |
| "个性化人脸建模技术研究";岳振;《中国优秀硕士学位论文全文数据库-信息科技辑》;20080715(第07期);正文第23-28页，第2.2.1-2.2.2节 * |
| "真实感人脸表情合成的关键技术研究";万贤美;《中国博士学位论文全文数据库-信息科技辑》;20131215(第12期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104008564A (zh) | 2014-08-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104008564B (zh) | 一种人脸表情克隆方法 | |
| CN103473801B (zh) | 一种基于单摄像头与运动捕捉数据的人脸表情编辑方法 | |
| Xia et al. | A survey on human performance capture and animation | |
| CN102999942B (zh) | 三维人脸重建方法 | |
| CN106023288B (zh) | 一种基于图像的动态替身构造方法 | |
| US8624901B2 (en) | Apparatus and method for generating facial animation | |
| CN108288072A (zh) | 一种基于生成对抗网络的面部表情合成方法 | |
| CN102509333B (zh) | 基于动作捕获数据驱动的二维卡通表情动画制作方法 | |
| Cong et al. | Fully automatic generation of anatomical face simulation models | |
| CN101751689A (zh) | 一种三维人脸重建方法 | |
| CN102376100A (zh) | 基于单张照片的人脸动画方法 | |
| CN101303772A (zh) | 一种基于单幅图像的非线性三维人脸建模方法 | |
| CN105243375B (zh) | 一种动作特征提取方法及装置 | |
| WO2021063271A1 (zh) | 人体模型重建方法、重建系统及存储介质 | |
| CN110310351A (zh) | 一种基于草图的三维人体骨骼动画自动生成方法 | |
| CN106326980A (zh) | 机器人和机器人模拟人脸面部运动的方法 | |
| Huang et al. | A review of 3D human body pose estimation and mesh recovery | |
| CN110223368A (zh) | 一种基于深度学习的面部无标记运动捕捉方法 | |
| CN105069829B (zh) | 一种基于多目视频的人体动画生成方法 | |
| Jain et al. | Leveraging the talent of hand animators to create three-dimensional animation | |
| Zhang et al. | Anatomy-based face reconstruction for animation using multi-layer deformation | |
| CN102855652B (zh) | 基于测地距的径向基函数人脸表情重定向与动画方法 | |
| Fang et al. | A modeling method for the human body model with facial morphology | |
| Sun et al. | A Local Correspondence-aware Hybrid CNN-GCN Model for Single-image Human Body Reconstruction | |
| Yang et al. | HiLo: Detailed and Robust 3D Clothed Human Reconstruction with High-and Low-Frequency Information of Parametric Models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |