CN101777195A - 一种三维人脸模型的调整方法 - Google Patents

Abstract

本发明公开了一种三维人脸模型的调整方法，包括以下步骤：在三维人脸模型上指定至少55个初始特征点并划分为6个特征区域；对初始特征点进行局部性和全局性的对称化调整；再将对称调整后的三维特征点进行全局的比例调整；将比例调整后的三维特征点进行非线性最小二乘优化进行侧脸调节，再采用拉普拉斯变形算法，将初始特征点与侧脸调整后的三维特征点进行线性方程组求解，得到调整后的三维人脸模型。本发明采用保细节特征的拉普拉斯变形技术，调整美化的同时保留住了人脸上的大部分细节特征信息，且算法明确，界面友好，结果鲁棒，可用于虚拟人脸整容、网络视频聊天、计算机游戏、视频会议和计算机动画等领域。

Description

一种三维人脸模型的调整方法

技术领域

本发明涉及计算机图形与图像处理领域，特别是涉及一种三维人脸网格模型的调整方法。

背景技术

毋庸置疑，在日常生活中人们很在乎一个人的脸蛋是否漂亮。比如，女孩会喜欢通过化妆来使自己变得更漂亮些，越来越多的人愿意花钱去美容院做整形手术。近年来，很多研究人员对怎样的人脸才是漂亮的以及如何让人脸变得更漂亮做了大量的研究。有些研究人员通过前人的理论与真实的实验数据验证了一个人是否漂亮是与对称性、古典主义准则和黄金分割率这三个因素密切相关的，并提出了一套如何计算二维人脸图像美丽值的方法，参见K.Schmid，D.Mark and A.Samal.Computation of a faceattractiveness index based on neoclassical canons，symmetry，and golden ratios.Pattern Recognition，2008，pp.2710-2717。一些韩国研究人员通过大量的人脸美容临床实验，提出通过使侧脸特征点之间的某些角度符合一些经验标准值来使人脸变得漂亮的理论，参见H.Park，S.Rhee，S.Kang and J.Lee.Harmonized profiloplasty using balanced angular profile analysis.AestheticPlastic Surgery，2004，pp.89-97。

最近，一些研究人员提出了一种人脸图像自动化妆的方法。该方法通过对化妆实例对进行学习，即学习化妆前与化妆后二张图像的差别信息，然后将实例对的化妆效果真实地转移到未化妆的图像上来，参见W.Tong，C.Tang，M.Brown and Y.Xu.Example-based cosmetic transfer.InProceedings of 15th Pacific Conference on Computer Graphics andApplications，2007，pp.211-218。还有一些研究人员提出了另一种人脸图像自动化妆方法，该方法无需化妆实例对，只需要一张化过妆的实例，就可以将其效果高效的移植到未化妆的图像上来，参见D.Guo and T.Sim.Digital face makeup by example.In CVPR，2009.然而，这两种方法均只是简单地改变人脸图像的颜色与细节信息，并没有改变人脸图像的任何几何特征信息，因而没有根本性的提高人脸的吸引力。最近，一些研究人员提出了一种基于数据驱动的二维人脸图像的美化方法。该方法通过机器学习的方法对一些比较漂亮的人脸图像库进行学习，然后将学习得到的特征转移到未美化的图像上来，并对整张图像进行非线性变换，在只对原始图像进行微小改动的情况下，得到效果突出的美化后的人脸图像，参见T.Leyvand，D.Cohen-Or，G.Dror and D.Lischinski.Data-driven enhancementof facial attractiveness.ACM Transactions on Graphics，2008.然而，这个方法只适用于二维人脸图像的美化，它并无法直接对三维人脸网格模型进行调整美化。

发明内容

本发明提供了一种既能保留人脸细节特征又能提高人脸吸引力的三维人脸模型的调整方法。

为了达到上述目的，本发明采用以下技术方案：

一种三维人脸模型的调整方法，包括以下五个步骤：

(1)三维扫描仪获取三维人脸模型后，交互地在三维人脸模型上指定人脸的至少55个初始特征点并将三维人脸模型划分为6个特征区域；多于55个初始特征点可以进行更细致地调整，但会增加计算量。

(2)采用最小二乘变换技术，对三维人脸模型上的6个特征区域的初始特征点进行局部性和全局性的对称化调整，得到对称调整后的三维特征点；

(3)依据人脸的古典主义法则和黄金分割率法则，将对称调整后的三维特征点进行全局的比例调整，得到比例调整后的三维特征点；

(4)采用侧脸纠正方法，将比例调整后的三维特征点进行非线性最小二乘优化，得到侧脸调整后的三维特征点；

(5)采用拉普拉斯变形算法，将初始特征点与侧脸调整后的三维特征点进行线性方程组求解，得到调整后的三维人脸模型。

步骤(1)中，三维扫描仪获取三维人脸模型后，交互地在三维人脸模型上指定人脸的55个初始特征点并将三维人脸模型划分为6个特征区域的方法如下：

先将三维扫描仪获取的三维人脸模型放于指定的空间坐标系中，使z轴正方向与人脸的正面方向一致，y轴正方向与人脸的头顶方向一致。根据国际标准中关于人脸特征点位置的相关说明与自己定义的19个特征点位置，利用人机交互技术，手工地在三维人脸模型上指定55个初始特征点。大部分特征点的空间坐标位置分布可参见J.Shi，A.Samal and D.Marx.How effective are landmarks and their geometry for face recognition？Computer Vision and Image Understanding，pp.117-133以及H.Park，S.Rhee，S.Kang and J.Lee.Harmonized profiloplasty using balanced angular profileanalysis.Aesthetic Plastic Surgery，pp.89-97。

初始特征点的序号从零开始，其中，第零初始特征点直至第三十初始特征点与第三十六，第三十七，第五十四初始特征点将用于比例性与对称性的调整操作，第二初始特征点，第十七初始特征点，第十八初始特征点，第十九，第二十二，第二十七，第三十一初始特征点，第三十二初始特征点，第三十三初始特征点，第三十四初始特征点，第三十五初始特征点，第三十六初始特征点，第三十七初始特征点将用于侧脸调整操作，除这些点之外的其它初始特征点将用于三维人脸外形轮廓的控制。

根据人脸上关键特征的分布，将人脸划分成以下6个特征区域：眉毛特征区域、眼睛特征区域、鼻子特征区域、嘴唇特征区域、耳朵特征区域、脸颊特征区域。这些特征区域的初始特征点以特征点对的形式出现。其中，眉毛特征区域包含第一特征点对和第二特征点对，其中第一特征点对由第一初始特征点和第三初始特征点组成，第二特征点对由第六初始特征点和第七初始特征点组成；眼睛特征区域包含第三特征点对、第四特征点对和第五特征点对，其中，第三特征点对由第十初始特征点和第十三初始特征点组成，第四特征点对由第十一初始特征点和第十二初始特征点组成，第五特征点对由第十四初始特征点和第十五初始特征点组成；鼻子特征区域包含第六特征点对，第六特征点对由第十七初始特征点和第十九初始特征点组成；嘴唇特征区域包含第七特征点对和第八特征点对，其中第七特征点对由第二十一初始特征点和第二十三初始特征点组成，第八特征点对由第二十四初始特征点和第二十六初始特征点组成，耳朵特征区域包含第九特征点对、第十特征点对和第十一特征点对，其中，第九特征点对由第四初始特征点和第九初始特征点组成，第十特征点对由第十六初始特征点和第二十初始特征点组成，第十一特征点对由第三十六初始特征点和第三十七初始特征点组成；脸颊特征区域包含第十二特征点对，第十二特征点对由第二十九初始特征点和第三十初始特征点组成。

步骤(2)中，采用最小二乘变换技术，对三维人脸模型上的6个特征区域的初始特征点进行局部性和全局性的对称化调整，得到对称调整后的三维特征点的方法如下：

采用反射变换T(参见N.Mitra，L.Guibas and M.Pauly.Symmetrizaion.ACM transactions on Graphics，2007，PP.1-8)分别对每个特征区域上的每个特征点对进行最小二乘坐标变换，使每个特征区域上的每个初始特征点移动距离最小并且反射变换后的特征点对沿每个特征区域的局部对称轴对称。通过该反射变换T，还可以得到每个特征区域的局部对称轴，采用空间坐标系中yz平面的y轴作为全局对称轴，根据各个特征区域的局部对称轴与全局对称轴之间的差异，对各个特征区域反射变换后的特征点对进行平移旋转变换T′(参见N.Mitra，L.Guibas and M.Pauly.Symmetrizaion.ACM transactions on Graphics，2007，PP.1-8)，使平移旋转变换后的各个特征对关于全局对称轴对称。最后将平移旋转变换后的第零特征点，平移旋转变换后的第二特征点，平移旋转变换后的第十八特征点，平移旋转变换后的第二十二特征点，平移旋转变换后的第二十五特征点，平移旋转变换后的第二十七特征点，平移旋转变换后的第二十八特征点，平移旋转变换后的第三十一特征点，平移旋转变换后的第三十二特征点，平移旋转变换后的第三十三特征点，平移旋转变换后的第三十四特征点，平移旋转变换后的第三十五特征点的x坐标值都赋值为0来实现将这些特征点移动至全局对称轴上，得到第零对称调整后的三维特征点、第一对称调整后的三维特征点......第五十四对称调整后的三维特征点。具体实现方法可参见N.Mitra，L.Guibas，S.Kang and J.Lee.Symmetrization.ACMTransactions on Graphics，pp.1-8以及J.Kim and S.Choi.Symmetricdeformation of 3D face scans using facial features and curvatures.ComputerAnimation and Virtual Worlds，pp.289-300。

步骤(3)所述的依据人脸的古典主义法则和黄金分割率法则，将对称调整后的三维特征点进行全局的比例调整，得到比例调整后的三维特征点的方法如下：

依据与人脸美丽密切相关的5条古典主义法则(即以下步骤所述的古典主义法则2、4、8、5、6)和6条黄金分割率法则(本发明用到其中3条即黄金分割率法则14、17、7)(参见K.Schmid，D.Mark and A.Samal.Computation ofa face attractiveness index based on neoclassical canons，symmetry，and goldenratios.Pattern Recognition，2008，pp.2710-2717)，顺序的执行以下9条比例调整步骤，使调整后的人脸与采用的美丽准则基本一致：

1)将第零对称调整后的三维特征点和第二十八对称调整后的三维特征点固定作为第零临时比例调整后的三维特征点和第二十八临时比例调整后的三维特征点，得到人脸的长度

其中y₀ ^p为第零临时比例调整后的三维特征点的y轴坐标值，Y₂₈ ^p为第二十八临时比例调整后的三维特征点的y轴坐标值，y₀ ^p和y₂₈ ^p通过上述步骤已知；

2)根据古典主义法则2，Fh＝Nl＝Lfh，其中Fh、Nl、Lfh分别表示前额长度，鼻子长度和除前额、鼻子后的脸剩余长度。显然，

其中，Y₃₁ ^p为第三十一临时比例调整后的三维特征点的y轴坐标值，Y₁₈ ^p为第十八临时比例调整后的三维特征点的y轴坐标值；

为了使古典主义法则2更好的与东方人脸模型相匹配，本发明采用以下公式作为新的古典主义法则2：

$\frac{\mathrm{Fh}}{{\mathrm{\α}}_1}=\frac{\mathrm{Nl}}{{\mathrm{\α}}_2}=\frac{\mathrm{Lfh}}{{\mathrm{\α}}_3},$ α₁+α₂+α₃＝1

其中，α₁、α₂、α₃分别表示Fh、Nl、Lfh的权重，它们的值将在实验中确定。因此可以由第零临时比例调整后的三维特征点和第二十八临时比例调整后的三维特征点和新的古典主义法则2来确定第十八临时比例调整后的三维特征点和第三十一临时比例调整后的三维特征点的位置。根据第十八临时比例调整后的三维特征点和第三十一临时比例调整后的三维特征点的变化情况来调整临时比例调整后的特征点集合A＝{1，2，3，4，6，7，9，10，11，12，13，14，15，16，20，29，30，36，37}和临时比例调整后的特征点集合B＝{17，19，21，22，23，24，25，26，27，32，33}的位置。其中点集合A、B中的数字分别与临时比例调整后的三维特征点的编号相对应。

点集合A、B中的点的变化分别与点18、点31两点的变化相同。默认的，权值系数α₁、α₂、α₃一般都取成1/3。

3)根据古典主义法则4，Nl＝El，其中Nl、El分别表示鼻子的长度，耳朵的长度，并且

其中，y₄ ^p为第四临时比例调整后的三维特征点的y轴坐标值，y₁₆ ^p为第十六临时比例调整后的三维特征点的y轴坐标值，y₉ ^p为第九临时比例调整后的三维特征点的y轴坐标值，y₂₀ ^p为第二十临时比例调整后的三维特征点的y轴坐标值；将第四临时对称调整后的三维特征点和第九临时对称调整后的三维特征点固定作为第四临时比例调整后的三维特征点和第九临时比例调整后的三维特征点，使用以下公式来计算第十六临时比例调整后的三维特征点的位置：

$\frac{P_{16}^{\′}-P_4}{P_{16}-P_4}=\frac{\mathrm{Nl}}{y_{16}^P-y_4^P}$

通过该公式就可以得到

同样的，第二十临时比例调整后的三维特征点特征点的新位置是：

由于改变了耳朵的三维特征点的位置，因此必须使用下列公式来相应的等比例调整第三十六临时对称调整后的三维特征点和第三十七临时对称调整后的三维特征点的位置：

$P_{36}^{\′}=P_{36}+(1-\frac{y_4^P-y_{36}^P}{y_4^P-y_{16}^P})\·(P_{16}^{\′}-P_{16})$ $P_{37}^{\′}=P_{37}+(1-\frac{y_9^P-y_{37}^P}{y_9^P-y_{20}^P})\·(P_{20}^{\′}-P_{20});$

4)根据黄金分割率法则14，Fl/Fw＝α₄，其中Fl、Fw分别表示脸长和脸宽，

α₄是黄金分割率，x₂₉ ^p是第二十九临时对称调整后的三维特征点的x轴坐标值，x₃₀ ^p是第三十临时对称调整后的三维特征点的x轴坐标值。因此，通过第零临时比例调整后的三维特征点和第二十八临时比例调整后的三维特征点可以计算出第二十九临时比例调整后的三维特征点和第三十临时比例调整后的三维特征点的位置：P′₂₉(-Fl/2α，y₂₉ ^P)，P′₃₀(Fl/2α，y₃₀ ^P)。特征点集合A′＝{4，36，16}和B′＝{9，37，20}的变化应与第二十九临时比例调整后的三维特征点和第三十临时比例调整后的三维特征点的比例调整变化相一致，其中相应的数字分别与临时比例调整后的三维特征点的编号相对应。显然第二十九临时比例调整后的三维特征点和第三十临时比例调整后的三维特征点的变化将会引起人脸外轮廓的变形，因此，必须以如下公式对左脸外轮廓特征点集合C＝{38，39，40，5，44，45，46，47，48}进行相应调整：

$P_i^{\′}=P_i+\left(\frac{|x_i^P-x_{31}^P|}{|x_{29}^P-x_{31}^P|}\right)\·(P_{29}^{\′}-P_{29})$

同样的，必须以如下公式对右脸外轮廓特征点集合D＝{41，42，43，8，49，50，51，52，53}进行相应调整：

$P_j^{\′}=P_j+\left(\frac{|x_j^P-x_{31}^P|}{|x_{30}^P-x_{31}^P|}\right)\·(P_{30}^{\′}-P_{30})$

其中集合C、D中的数字分别与临时比例调整后的三维特征点的编号相对应；

5)根据古典主义法则8，Fw/Nw＝α₅，其中Fw、Nw分别表示脸宽，鼻宽，

α₅＝4。因此，第十七临时比例调整后的三维特征点和第十九临时比例调整后的三维特征点的位置可以表示成：

P′₁₇(-Fw/α₅，y₁₇ ^P)、P′₁₉(Fw/α₅，y₁₉ ^P)。

6)根据古典主义法则5，Id＝Nw，其中Id、Nw分别表示眼间距和鼻宽，

为了使该法则更好的与东方人脸模型相匹配，本发明采用以下公式作为新的古典主义法则5：

Id/Nw＝α₆

其中，α₆是一个接近1的变量并会在实验中被确定。因此，第十一临时比例调整后的三维特征点和第十二临时比例调整后的三维特征点的位置可以表示成P′₁₁(-Nw·α₆/2，y₁₁ ^P)、P′₁₂(α₆·Nw/2，y₁₂ ^P)。与上述的第4)步骤一样，如果改变了第十一临时比例调整后的三维特征点和第十二临时比例调整后的三维特征点的位置，就必须对特征点集合{1，6，13，14}和{3，7，10，15}作相应的调整，集合{1，6，13，14}和集合{3，7，10，15}中的数字分别与临时比例调整后的三维特征点的编号相对应。

7)根据古典主义法则6，Id＝Efw，其中Id、Efw分别表示眼间距，右(左)眼裂宽度，

(or

)。为了使该法则更好的与东方人脸模型相匹配，本发明采用以下公式作为新的古典主义法则6：

Efw/Id＝α₇

其中，α₇是一个接近1的变量并会在实验中被确定。因此，第十三临时比例调整后的三维特征点和第十临时比例调整后的三维特征点的位置可以表示成P′₁₃(-Id·(1+2·α₇)/2，y₁₃ ^P)、P′₁₀(Id·(1+2·α₇)/2，y₁₀ ^P)。然后，根据下列两个公式等比例的调整第十四临时对称调整后的三维特征点和第十五临时对称调整后的三维特征点的位置，第十四临时比例调整后的三维维特征点和第十五临时比例调整后的三维特征点的位置可表示成：

$P_{14}^{\′}=P_{14}+\left(\frac{|x_{12}^P-x_{14}^P|}{|x_{12}^P-x_{13}^P|}\right)\·(P_{13}^{\′}-P_{13})$ $P_{15}^{\′}=P_{15}+\left(\frac{{|x}_{11}^P-x_{15}^P|}{{|x}_{11}^P-x_{10}^P|}\right)\·(P_{10}^{\′}-P_{10})$

8)根据黄金分割率法则17，Mw/Nw＝α8，其中Mw、Nw分别表示嘴宽和鼻宽，α₈是黄金分割率。因此，第二十四临时比例调整后的三维特征点和第二十六临时比例调整后的三维特征点的位置可以表示成：P′₂₄(-Nw×α₈/2，y₂₄ ^P)，P′₂₆(α₈×Nw/2，y₂₆ ^P)。然后，根据下列两个公式等比例的调整第二十一临时对称调整后的三维特征点和第二十三临时对称调整后的三维特征点的位置，第二十一临时比例调整后的三维维特征点和第二十三临时比例调整后的三维特征点的位置可表示成：

$P_{21}^{\′}=P_{21}+(1-\frac{x_{24}^P-x_{21}^P}{x_{24}^P-x_{22}^P})\·(P_{24}^{\′}-P_{24})$ $P_{23}^{\′}=P_{23}+(1-\frac{x_{26}^P-x_{23}^P}{x_{26}^P-x_{22}^P})\·(P_{26}^{\′}-P_{26})$

9)根据黄金分割率法则7，Lc/Nw＝α₉，其中，Lc、Nw分别表示嘴唇到下巴的距离和鼻宽，

α₉是黄金分割率。因此，第二十二临时比例调整后的三维维特征点的位置可以表示成P′₂₂(x₂₂ ^P，y₂₈ ^P+α₉×Nw)。与上述的第4)步骤一样，如果改变了第二十二临时对称调整后的三维特征点的位置，就必须对特征点集合{21，23，24，25，26，27，54}作相应的调整。

上述9个步骤中所涉及的式子中，P_i(x_i ^P，y_i ^P)和P_i′(x_i ^P′，y^P′)分别表示第i个特征点变化前后的位置坐标，x和y分别表示了模型空间坐标的x值和y值。经过以上9步的比例调整操作，可以得到55个特征点的变化量d_i(dx_i，dy_i)＝P′_i-P_i，0≤i≤54。最后，55个对称调整后的三维特征点的新位置可以按照以下公式来计算：

P′_i＝P_i+d_i·α₁₀，0≤i≤54，0≤α₁₀≤1

其中，α₁₀表示三维人脸模型在比例美化操作中变化程度，p_i为临时对称调整后的三维特征点的位置，p_i′为对称调整后的三维特征点的位置。经过实验证明，当α₁₀值接近黄金分割率的倒数时，三维人脸模型的美化效果最好。

步骤(4)中采用侧脸纠正方法，将比例调整后的三维特征点进行非线性最小二乘优化，得到侧脸调整后的三维特征点的方法如下：

将三维人脸模型上的11个编号为2，17，18，22，27，31，32，33，34，35，36的比例调整后的三维特征点作为决定侧脸是否漂亮的关键特征点。将第二比例调整后的三维特征点和第三十六比例调整后的三维特征点的坐标位置作为第二侧脸调整后的三维特征点和第三十六侧脸调整后的三维特征点的坐标位置，由于只是在侧脸上进行比例调整后的三维特征点的纠正，所以不改变其他9个比例调整后的三维特征点的x坐标值，而只考虑这些特征点在yz平面上的位移。根据国际美容学关于侧脸美容的19条标准，通过使下列方程值最小来得到特征点集合Ω＝{2，17，18，22，27，31，32，33，34，35，36}最优化的最小位移：

$E=\left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{E}_i\right)+E^{\′},$ m＝19

其中，E_i是国际美容学的第i条侧脸美学标准，比如说，第一条侧脸美学标准可以表示成：

$E_1=\frac{1}{{\mathrm{\σ}}_1}\arccos \left(\frac{(P_2-P_{31})\·(P_{36}-P_{31})}{\left|\right|P_2-P_{31}\left|\right|\left|\right|P_{36}-P_{31}\left|\right|}\right)-{\mathrm{\μ}}_1$

μ_i，σ_i分别表示第i条侧脸美学标准中角度值的平均值与标准差。E′是一个新的能量方程，目的是让特征点集合Ω中特征点的位移量最小，如下表示：

$E^{\′}=\frac{1}{{\mathrm{\σ}}_g}(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|Q_i^{\′}-Q_i\left|\right|}^2-{\mathrm{\μ}}_g),$ n＝11

其中，Q_i和Q′_i分别表示特征点集合Ω中侧脸美化前与侧脸美化后的特征点。μg和σg分别表示这些特征点位移量的平均值与标准差，这两个参数由用户在实验中来确定。

步骤(5)中，采用拉普拉斯变形算法，将初始特征点与侧脸调整后的三维特征点进行线性方程组求解，得到调整后的三维人脸模型的方法如下：

以55个初始特征点作为三维人脸模型的控制点，将该55个初始特征点拉动到经过优化后的55个侧脸调整后的三维特征点位置，通过求解最小二乘线性方程组来对整个三维人脸模型进行拉普拉斯变换，得到保留住大部分细节特征的调整后后的三维人脸模型。

本发明提出一种全新的三维人脸模型的美化方法，采用对称性、比例性、国际美容学的侧脸角度和谐性作为理论依据，采用保细节特征的拉普拉斯变形技术，更好地实现了让三维人脸在变得漂亮的同时，保留住了人脸上的大部分细节特征信息。本发明算法明确，界面友好，结果鲁棒，且该方法可以用于虚拟人脸整容、网络视频聊天、计算机游戏、视频会议和计算机动画等领域。

附图说明

图1为本发明的技术方案流程图。

图2为本发明三维人脸模型的正面人脸的特征点分布图。

图3为本发明三维人脸模型的侧脸的特征点分布图。

图4为本发明初始人脸示意图与调整后的人脸示意图的对比图。

具体实施方式

下面结合附图对本发明一种三维人脸模型的美化方法的实施例子进行详细说明。

如图1所示，一种三维人脸模型的美化方法，包括交互地在三维人脸模型上指定人脸的55个特征点、采用最小二乘变换技术得到对称美化后的新特征点、依据人脸的古典主义和黄金分割率法则得到比例美化后的新特征点、采用国际美容学的侧脸纠正方法得到侧脸美化后的新特征点、采用拉普拉斯变形算法得到美化后的三维人脸模型五个步骤。

现具体介绍本方法的五个步骤：

1)交互地在三维人脸模型上指定人脸的55个特征点

对于通过三维扫描仪获取得到的三维人脸模型，将待处理的三维模型放于指定的空间坐标系中，并交互地对三维模型的位置进行稍微调整，使z轴正方向与人脸的正面方向一致，y轴正方向与人脸的头顶方向一致。利用人机交互技术，手工地在三维人脸模型上指定55个特征点。正面人脸特征点的分布可见图2，侧脸特征点的分布可见图3。55个点的位置分别如下：

第零初始特征点位于前额发缘中点，

第一、三初始特征点分别位于左右眉毛上边缘区域的最高点，

第二初始特征点位于左右两边眉毛的中间，

第四、九初始特征点分别位于左右耳朵外缘的最高点，

第五、八初始特征点分别位于靠近左右眉毛外的区域并位于头部的外轮廓线上，

第六、七初始特征点分别位于左右眉毛下边缘的最低点，

第十、十三初始特征点分别位于右左眼的外边缘，

第十一、十二初始特征点分别位于右左眼的内边缘，

第十四、十五初始特征点分别位于左右眼睛下边缘的最低点，

第十六、二十初始特征点分别位于左右耳朵外缘的最低点，

第十七、十九初始特征点分别位于鼻子左右侧的最边缘点，

第十八初始特征点位于鼻子的中点，

第二十一、二十二初始特征点分别位于左右嘴唇最高点，

第二十二初始特征点位于上嘴唇的中点，

第二十四、二十六初始特征点分别位于闭合嘴唇的最左点和最右点，

第二十七初始特征点位于下嘴唇的下边缘点，

第二十八初始特征点位于下巴的最底端，

第二十九、三十初始特征点分别位于左右两边颧骨的最外边缘，

第三十一初始特征点到第三十七初始特征点可参见文献K.Schmid，D.Mark and A.Samal.Computation of a face attractiveness index based onneoclassical canons，symmetry，and golden ratios.Pattern Recognition，2008，pp.2710-2717，

第三十八初始特征点到第五十三初使特征点平均分布于人脸的外轮廓，

第五十四初始特征点位于下嘴唇与下颌之间的凹陷部位。

特征点的序号从0开始，其中，特征点0直至特征点30与36，37，54将用于比例性与对称性的美化操作，特征点2，17，18，19，22，27，31，32，33，34，35，36，37将用于侧脸纠正操作，除这些点之外的其它特征点将用于三维人脸外形轮廓的控制。

2)采用最小二乘变换技术，先后对人脸模型上的6个特征区域进行局部性和全局性的对称化操作，得到新的对称美化后的三维特征点

根据人脸上关键特征的分布，将人脸划分成以下6个特征区域：眉毛、眼睛、鼻子、嘴唇、耳朵、脸颊。这些特征区域的特征点以特征点对的形式出现。其中，眉毛特征区域包含特征点对1和3，6和7；眼睛特征区域包含特征点对10和13，11和12，14和15；鼻子特征区域包含特征点对17和19；嘴唇特征区域包含特征点对21和23，24和26；耳朵特征区域包含特征点对4和9，16和20，36和37；脸颊特征区域包含特征点对29和30。采用反射变换T分别对每个特征区域上的特征点对进行最小二乘坐标变换，使每个特征区域上的特征点移动距离最小并且局部对称。通过该变换，还可以得到每个区域的对称轴，采用坐标系中yz平面的y轴作为全局对称轴，根据各个区域的局部对称轴与全局对称轴之间的差异，对各个区域进行平移旋转变换T′，使各个区域关于全局对称轴对称。最后通过将特征点0，2，18，22，25，27，28，31，32，33，34，35的x坐标值赋值为0来实现将这些特征点移动至全局对称轴上。

3)依据人脸的古典主义和黄金分割率法则，对人脸轮廓和脸部五官特征进行全局的比例美化，得到新的比例美化后的三维特征点

依据与人脸美丽密切相关的5条古典主义和6条黄金分割率法则，顺序的执行以下9条比例美化步骤，使美化后人脸与采用的美丽准则基本一致：

第一步：固定特征点0和特征点28，并得到人脸的长度

第二步：根据古典主义法则2，Fh＝Nl＝Lfh，其中Fh、Nl、Lfh分别表示前额长度，鼻子长度和除前额、鼻子后的脸剩余长度。显然，

为了使该法则更好的与东方人脸模型相匹配，本发明采用以下公式作为新的古典主义法则2：

$\frac{\mathrm{Fh}}{{\mathrm{\α}}_1}=\frac{\mathrm{Nl}}{{\mathrm{\α}}_2}=\frac{\mathrm{Lfh}}{{\mathrm{\α}}_3},$ α₁+α₂+α₃＝1

其中，α₁、α₂、α₃分别表示Fh、Nl、Lfh的权重，它们的值将在实验中确定。因此可以由第0，28个特征点和修改后的法则来确定特征点18和31的位置。当特征点18和31发生变化时，必须根据这两点的变化情况来调整特征点集合A＝{1，2，3，4，6，7，9，10，11，12，13，14，15，16，20，29，30，36，37}和特征点集合B＝{17，19，21，22，23，24，25，26，27，32，33}的位置。点集合A、B中的点的变化分别与点18、31两点的变化相同。默认的，权值系数α₁、α₂、α₃一般都取成1/3。

第三步：根据古典主义法则4，Nl＝El，其中Nl、El分别表示鼻子的长度，耳朵的长度，并且

不改变特征点4和9的位置，使用以下公式来计算特征点16的新位置：

$\frac{P_{16}^{\′}-P_4}{P_{16}-P_4}=\frac{\mathrm{Nl}}{y_{16}^P-y_4^P}$

通过该公式就可以得到

同样的，特征点20的新位置是

由于改变了耳朵的特征点位置，因此必须使用下列公式来相应的等比例调整特征点36和37的位置：

$P_{36}^{\′}=P_{36}+(1-\frac{y_4^P-y_{36}^P}{y_4^P-y_{16}^P})\·(P_{16}^{\′}-P_{16})$ $P_{37}^{\′}=P_{37}+(1-\frac{y_9^P-y_{37}^P}{y_9^P-y_{20}^P})\·(P_{20}^{\′}-P_{20})$

第四步：根据黄金分割率法则14，Fl/Fw＝α₄，其中Fl、Fw分别表示脸长和脸宽，

α₄是黄金分割率。因此，通过特征点0和28可以计算出特征点29和30两点的新的位置：P′₂₉(-Fl/2α₄，y₂₉ ^P)，P′₃₀(Fl/2α₄，y₃₀ ^P)。特征点集合A＝{4，36，16}和B＝{9，37，20}的变化应与特征点29和30的变化一致。显然特征点29和30的变化将会引起人脸外轮廓的变形，因此，必须以如下公式对左脸外轮廓特征点集合C＝{38，39，40，5，44，45，46，47，48}进行相应调整：

$P_i^{\′}=P_i+\left(\frac{|x_i^P-x_{31}^P|}{|x_{29}^P-x_{31}^P|}\right)\·(P_{29}^{\′}-P_{29})$

同样的，必须以如下公式对右脸外轮廓特征点集合D＝{41，42，43，8，49，50，51，52，53}进行相应调整：

$P_j^{\′}=P_j+\left(\frac{|x_j^P-x_{31}^P|}{|x_{30}^P-x_{31}^P|}\right)\·(P_{30}^{\′}-P_{30})$

第五步：根据古典主义法则8，Fw/Nw＝α₅，其中Fw、Nw分别表示脸宽，鼻宽，

α₅＝4。因此，特征点17和19的新位置可以表示成：P′₁₇(-Fw/α₅，y₁₇ ^P)、P′₁₉(Fw/α₅，y₁₉ ^P)。

第六步：根据古典主义法则5，Id＝Nw，其中Id、Nw分别表示眼间距和鼻宽，

为了使该法则更好的与东方人脸模型相匹配，本发明采用以下公式作为新的古典主义法则5：

Id/Nw＝α₆

其中，α₆是一个接近1的变量并会在实验中被确定。因此，特征点11和12的新位置可以表示成P′₁₁(-Nw·α₆/2，y₁₁ ^P)、P′₁₂(α₆·Nw/2，y₁₂ ^P)。与上述的第4步骤一样，如果改变了特征点11和12的位置，就必须对特征点集合{1，6，13，14}和{3，7，10，15}作相应的调整。一般来说，将α₆取成1.0。

第七步：根据古典主义法则6，Id＝Efw，其中Id、Efw分别表示眼间距，右(左)眼裂宽度，

为了使该法则更好的与东方人脸模型相匹配，本发明采用以下公式作为新的古典主义法则6：

Efw/Id＝α₇

其中，α₇是一个接近1的变量并会在实验中被确定。因此，特征点13和10的新位置可以表示成P′₁₃(-Id·(1+2·α₇)/2，y₁3^P)、P′₁₀(Id·(1+2·α₇)/2，y₁₀ ^P)。然后，根据下列两个公式等比例的调整特征点14和15的位置：

$P_{14}^{\′}=P_{14}+\left(\frac{|x_{12}^P-x_{14}^P|}{|x_{12}^P-x_{13}^P|}\right)\·(P_{13}^{\′}-P_{13})$ $P_{15}^{\′}=P_{15}+\left(\frac{{|x}_{11}^P-x_{15}^P|}{{|x}_{11}^P-x_{10}^P|}\right)\·(P_{10}^{\′}-P_{10})$

一般来说，将α₇取成1.0。

第八步：根据黄金分割率法则17，Mw/Nw＝α₈，其中Mw、Nw分别表示嘴宽和鼻宽，α₈是黄金分割率。因此，特征点24和26的新位置就可以表示成P′₂₄(-Nw×α₈/2，y₂₄ ^P)，P′₂₆(α₈×Nw/2，y₂₆ ^P)。然后根据下列两个公式等比例的调整特征点21和23的位置：

$P_{21}^{\′}=P_{21}+(1-\frac{x_{24}^P-x_{21}^P}{x_{24}^P-x_{22}^P})\·(P_{24}^{\′}-P_{24})$ $P_{23}^{\′}=P_{23}+(1-\frac{x_{26}^P-x_{23}^P}{x_{26}^P-x_{22}^P})\·(P_{26}^{\′}-P_{26})$

第九步：根据黄金分割率法则7，Lc/Nw＝α₉，其中，Lc、Nw分别表示嘴唇到下巴的距离和鼻宽，

α₉是黄金分割率。因此，特征点22的新位置可以表示成P′₂₂(x₂₂ ^P，y₂₈ ^P+α₉×Nw)。与上述的第4步骤一样，如果改变了特征点22的位置，就必须对特征点集合{21，23，24，25，26，27，54}作相应的调整。

上述9个步骤中所涉及的式子中，P_i(x_i ^P，y_i ^P)和P_i′(x_i ^P′，y_i ^P′)分别表示第i个特征点变化前后的位置坐标，x和y分别表示了模型空间坐标的x值和y值。经过以上9步的比例美化操作，可以得到54个特征点的变化量d_i(dx_i，dy_i)＝P′_i-P_i，0≤i≤54。最后，54个特征点的新位置可以按照以下公式来计算：

P_i′＝P_i+d_i·α₁₀，0≤i≤54，0≤α₁₀≤1

其中，α₁₀表示三维人脸模型在比例美化操作中变化程度。经过实验证明，当α₁₀值接近黄金分割率的倒数时，三维人脸模型的美化效果最好。

4)采用国际美容学的侧脸纠正方法，对三维人脸的侧脸轮廓进行非线性最小二乘优化，得到新的侧脸美化后的三维特征点

将三维人脸模型上的11个特征点2，17，18，22，27，31，32，33，34，35，36作为决定侧脸是否漂亮的关键特征点。固定住特征点2和36的坐标位置，由于只是在侧脸上进行特征点的纠正，所以不改变其他9个特征点的x坐标值，而只考虑这些特征点在yz平面上的位移。根据国际美容学关于侧脸美容的19条标准，通过使下列方程值最小来得到特征点集合Ω＝{2，17，18，22，27，31，32，33，34，35，36}最优化的最小位移：

$E=\left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{E}_i\right)+E^{\′},$ m＝19

其中，E_i是国际美容学的第i条侧脸美学标准，比如说，第一条侧脸美学标准可以表示成：

$E_1=\frac{1}{{\mathrm{\σ}}_1}\arccos \left(\frac{(P_2-P_{31})\·(P_{36}-P_{31})}{\left|\right|P_2-P_{31}\left|\right|\left|\right|P_{36}-P_{31}\left|\right|}\right)-{\mathrm{\μ}}_1$

μ_i，σ_i分别表示第i条侧脸美学标准中角度值的平均值与标准差。E′是一个新的能量方程，目的是让特征点集合Ω中特征点的位移量最小，如下表示：

$E^{\′}=\frac{1}{{\mathrm{\σ}}_g}(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|Q_i^{\′}-Q_i\left|\right|}^2-{\mathrm{\μ}}_g),$ n＝11

其中，Q_i和Q′_i分别表示特征点集合Ω中侧脸美化前与侧脸美化后的特征点。μ_g和σ_g分别表示这些特征点位移量的平均值与标准差，这两个参数因不同的三维人脸模型而各不相同，因此具体操作时由用户通过交互来确定它们的值。

5)采用拉普拉斯变形算法，将初始的三维人脸模型与55个优化后的人脸特征点进行线性方程组求解，得到新的调整后的三维人脸模型。

以55个初始特征点作为三维人脸模型的控制点，将该55个特征点拉动到经过优化后的新的55个特征点位置，通过求解最小二乘线性方程组来对整个模型进行拉普拉斯变换，得到保留住大部分细节特征的美化后的三维人脸模型。

如图4所示为初始的人脸示意图与调整后的人脸示意图的对比图。上面一排为初始人脸示意图，从左到右分别为左侧脸、正脸、右侧脸的初始图；下面一排为调整后的人脸示意图，从左到右分别为左侧脸、正脸、右侧脸的初始图；从图4可以看出：调整后的人脸保留住了人脸的大部分细节特征，同时在对称性、比例性、和谐性上面得到了提高。

Claims (7)

1.一种三维人脸模型的调整方法，其特征在于：包括以下步骤：

(1)三维扫描仪获取三维人脸模型后，在三维人脸模型上指定人脸的至少55个初始特征点并将三维人脸模型划分为6个特征区域；

(2)采用最小二乘变换技术，对三维人脸模型上的6个特征区域的初始特征点进行局部性和全局性的对称化调整，得到对称调整后的三维特征点；

(3)将对称调整后的三维特征点进行全局的比例调整，得到比例调整后的三维特征点；

(4)采用侧脸纠正方法，将比例调整后的三维特征点进行非线性最小二乘优化，得到侧脸调整后的三维特征点；

(5)采用拉普拉斯变形算法，将初始特征点与侧脸调整后的三维特征点进行线性方程组求解，得到调整后的三维人脸模型。

2.根据权利要求1所述的三维人脸模型的调整方法，其特征在于：步骤(1)中将人脸划分成眉毛特征区域、眼睛特征区域、鼻子特征区域、嘴唇特征区域、耳朵特征区域、脸颊特征区域。

3.根据权利要求1所述的三维人脸模型的调整方法，其特征在于：步骤(2)中采用反射变换T分别对每个特征区域上的初始特征点进行最小二乘坐标变换，使每个特征区域上的初始特征点移动距离最小并且移动后局部对称。然后根据各个特征区域的局部对称轴，对各个特征区域进行平移旋转变换T′，使各个特征区域关于全局对称轴对称。

4.根据权利要求1所述的三维人脸模型的调整方法，其特征在于：步骤(3)中依据人脸的古典主义和黄金分割率法则将对称调整后的三维特征点进行全局的比例调整。

5.根据权利要求4所述的三维人脸模型的调整方法，其特征在于：步骤(3)中依据5条古典主义法则和6条黄金分割率法则，顺序的执行9条比例调整步骤，使比例调整后的人脸与采用的美丽准则基本一致，从而得到比例调整后的三维特征点。

6.根据权利要求1所述的三维人脸模型的调整方法，其特征在于：步骤(4)中采用侧脸纠正方法与侧脸上的9个比例调整后的三维特征点空间位置，建立并求解非线性方程组，使经过侧脸纠正后的人脸与美容学的侧脸美丽准则基本一致并且使侧脸上特征点的移动距离最小。

7.根据权利要求1所述的三维人脸模型的调整方法，其特征在于：步骤(5)中以55个初始特征点作为三维人脸模型的控制点，将该55个初始特征点拉动到侧脸调整后的三维特征点的位置，通过求解最小二乘线性方程组来对整个模型进行拉普拉斯变换，得到保留住大部分细节特征的调整后的三维人脸模型。

Images