CN104299250B - 基于先验模型的正面人脸图像合成方法及系统 - Google Patents
基于先验模型的正面人脸图像合成方法及系统 Download PDFInfo
- Publication number
- CN104299250B CN104299250B CN201410546803.7A CN201410546803A CN104299250B CN 104299250 B CN104299250 B CN 104299250B CN 201410546803 A CN201410546803 A CN 201410546803A CN 104299250 B CN104299250 B CN 104299250B
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- face
- texture
- msup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明涉及一种基于先验模型的正面人脸图像合成方法及系统，所述方法包括：步骤一：对三维原型样本库进行样本规范化得到三维人脸样本库，标定测试人脸图像的特征点；步骤二：求取平均三维人脸模型，通过其上的特征点投影后与测试人脸图像标定的特征点建立对应关系求得测试人脸图像的姿态角度；步骤三：从三维人脸样本库中筛选出与测试人脸图像相似性较大的图像构建原型样本库；步骤四：合成正面人脸图像。本发明可以实现在只采用三维人脸库中信息的情况下，估计出输入的测试人脸图像的姿态角并合成对应的正面人脸，且可以保留原来人脸面部上某些细节特征。这对于人脸识别、人脸姿态估计的研究与实际应用的开发都具有重要的理论与实际意义。
Description
技术领域
本发明涉及计算机图形学、数字图像处理以及人工智能等领域，具体涉及一种通过人脸姿态图像合成其正面人脸图像的方法及系统。
背景技术
正面人脸合成的方法包括三维的方法和二维的方法。三维方法的思路是通过对测试人脸图像进行三维重建，在得到测试人脸图像的三维数据之后，正面人脸图像自然就可以得到。该类方法最典型的方法是形变模型(3DMM,3D Morphable Mpdel)方法，实现了由侧面到正面的人脸图像合成，但3DMM的人脸重建过程效率很低，在主频2GHz的服务器上重建一幅人脸需要300秒。后来的学者提出了许多基于3DMM改进的法来优化重建过程提高效率。如有文献扩展了AAM匹配的改进方法，并将其应用于2D→3D的配准中，提高了重建效率，但其重建精度较差低；还有文献利用部分脸部特征点实现稀疏的2D→3D配准，具有较高的重建效率，但该方法只能应用于正脸图像且重建精度较低。除了三维方法以外，直接采用二维图像来合成正面人脸也得到了广泛的研究。二维方法主要是通过统计学的原理进行正面人脸合成，这必定涉及到对测试人脸的姿态估计问题。二维人脸模型由于模型本身的局限，不能准确估计出图像上缺失的深度信息，而基于三维人脸模型，能够准确的估计出人脸的姿态信息。有学者采用三维人脸模型对人脸姿态进行估计的，并取得良好的姿态估计结果。还有学者首先判定测试人脸的姿态角，然后利用对应姿态的人脸训练库进行正脸合成，但这种合成方法需要大量的各种姿态人脸训练图像。因此，基于先验模型姿态估计和正面人脸合成方法，是一个新的视角，值得深入的研究和特别的关注。
发明内容
针对上述现有技术的缺陷，本发明的目的在于提供一种正面人脸合成的方法。其可以实现在只采用三维人脸库中信息的情况下，估计出输入的测试人脸图像的姿态角并合成对应的正面人脸，且可以保留原来人脸面部上某些细节特征。这对于人脸识别、人脸姿态估计的研究与实际应用的开发都具有重要的理论与实际意义。具体技术方案如下：
一种基于先验模型的正面人脸图像合成方法，包括：
步骤一：对三维原型样本库进行样本规范化得到三维人脸样本库，标定测试人脸图像的特征点；
步骤二：求取平均三维人脸模型，通过其上的特征点投影后与测试人脸图像标定的特征点建立对应关系求得测试人脸图像的姿态角度α,β,γ；
步骤三：从三维人脸样本库中筛选出与测试人脸图像相似性较大的图像构建原型样本库；
步骤四：合成正面人脸图像。
所述的步骤二可进一步具体包括：用Si＝(xi1,yi1,zi1,......,xim,yim,zim)T表示归一化好的三维人脸样本库中每张人脸的形状，用形状矩阵S＝(S1,S2,...Sn)表示所有样本，则平均三维人脸模型为假设将模型在x、y、z轴上分别旋转α，β，γ的角度后与测试人脸图像姿态相同，那么模型上面相应的特征点经过坐标旋转矩阵R，点坐标由P(x,y,z)变换到Pr(x',y',z')，
通过三维到二维的投影关系，对三维坐标系进行平移变换以及尺度变换，得到平移变化矩阵T和三维到二维的尺度变换系数S，确定了T和S后，将旋转后平均三维人脸模型上的特征点投影到二维平面上，建立与测试人脸图像标定的特征点的对应关系，选取平均三维人脸模型上比较明显的双眼的内外角点，鼻尖点和嘴巴两端这7个特征点，其在平均三维人脸模型和测试人脸图像中的坐标分别为(xi,yi,zi)、(x′i,y′i)，则有：
其中i＝1,2...,7 (2)
采用最小二乘法进行求解，从而可以求得测试人脸的姿态角度α,β,γ。
所述的步骤三可进一步具体包括：根据线性类思想，将待重建人脸表述为：
其中si为原型样本库中的样本，s′i为样本si依据姿态角度α,β,γ旋转后的三维模型，通过求解式(3)的稀疏解来筛选与测试人脸图像相似的原型样本库。
所述的步骤四可进一步具体包括：
步骤①：形状和纹理分开建模；
步骤②：用基于样本筛选的形变模型理论求解输入的测试人脸图像的形状和纹理的组合系数；
步骤③：将测试人脸图像的纹理与合成的纹理相结合得到综合的纹理，得到最终合成的正面人脸。
所述的步骤①可进一步具体包括：采用与测试人脸图像相似性较大的数据构建原型样本库，利用标定的特征点对人脸形状和纹理分别进行建模，为了提取人脸图像的纹理信息，需要建立图像像素之间一对一的对应关系，将人脸形状Si用Delaunay(德劳内)三角化，并将每一张人脸都变形到原型样本库的平均人脸上，将人脸的纹理向量表达为g＝(i1,i2,...ik,...il)T∈Rl的形式。
所述的步骤②可进一步具体包括：用经步骤三筛选后的三维人脸组合来表示测试人脸的形状和纹理：
其中分别为原始三维人脸平均形状(即步骤二中所述的平均三维人脸模型)和平均纹理向量，分别为模型的形状和纹理的组合系数，si为经步骤三筛选后的原型样本库中的形状向量，ti为纹理向量，现对式(4)中的形状模型进行旋转和投影变形，得到下式：
其中，sr new、与sr分别表示表示输入的测试人脸图像的形状，旋转投影之后模型平均的人脸形状，及特征旋转投影矩阵，可利用稀疏形变模型方法求解式(5)中的组合系数，根据求得的形状组合系数，可以得到合成的正面人脸形状：
采用同样的求解方法，SVD分解，求得形变模型中纹理的组合系数β得到合成纹理：
所述的步骤③可进一步具体包括：综合纹理合成方式如下：若在正脸中可见、而在测试人脸图像中不可见的纹理，主要采用式(7)合成的纹理；反之主要采用测试人脸图像的原始纹理，最终生成的综合纹理如下：
gi(x,y)＝wi(x,y)*ti(x,y)+(1-wi(x,y))*t0(x,y) (8)
其中ti(x,y)代表在点(x,y)处合成得到的像素值，t0(x,y)代表在点(x,y)处输入测试人脸图像的像素值，wi代表点(x,y)处合成纹理中原始纹理的权重，结合公式(6)和公式(8)得到正面人脸图像。
所述wi可通过相应点处局域面积变化率确定。
本发明还涉及一种基于先验模型的正面人脸图像合成系统，包括特征点标定模块、姿态角度求取模块、原型样本构建模块及正面人脸合成模块，
所述的特征点标定模块用于对三维原型样本库进行样本规范化得到三维人脸样本库，标定测试人脸图像的特征点，将结果发送给姿态角度求取模块；
所述的姿态角度求取模块用于求取平均三维人脸模型，通过其上的特征点投影后与测试人脸图像标定的特征点建立对应关系求得测试人脸图像的姿态角度，将结果发送给原型样本库构建模块；
所述的原型样本库构建模块用于从三维人脸样本库中筛选出与测试人脸图像相似性较大的图像构建原型样本库，将结果发送给正面人脸合成模块；
所述的正面人脸合成模块用于根据输入的测试人脸图像信息和原型样本库发送来的信息合成正面人脸图像。
本发明有益效果如下：
与现有正面人脸图像合成方法相比，本方法有如下的优势：首先，现有正面人脸图像合成的方法，需要大量的不同姿态下人脸样本进行训练(每个姿态至少需要数百幅图像)，而本方法只采用一定数量的(100-200)三维人脸样本信息，筛选出样本库中与测试人脸图像近似的数据作为原型样本数据，并生成不同姿态下的二维人脸原型样本库，解决了数据来源的问题；其次，二维正面人脸图像合成的方法均涉及特征点的标定，这一项工作耗时且单调，而本方法充分的利用了三维人脸数据库的优势，可以在已经规范好的人脸上直接得到特征点；再次，本方法将测试人脸图像的纹理与合成纹理相结合得到综合纹理，可以保留测试人脸所具有的某些细节信息，与传统方法相比增加了合成图像的真实性。
附图说明
图1为本发明基于先验模型的正面人脸图像合成方法流程示意图。
具体实施方式
本发明涉及到三维人脸模型的姿态估计技术以及二维单张测试人脸图像的正脸合成技术，所采用的技术方案如下：
(1)初始化处理：包括对测试人脸图像特征点的标定、三维人脸样本库的规范化、由三维人脸样本库构建二维样本库。
(2)建立平均三维人脸模型，估计测试人脸图像的姿态参数。
(3)根据稀疏表示原理从规范化的三维人脸样本库中筛选出与测试人脸图像相似的原型样本库。
(4)正面人脸图像合成
①形状和纹理分开建模；
②用基于样本筛选的形变模型理论求解输入的测试人脸图像的形状和纹理的组合系数
③将测试人脸图像的纹理与合成的纹理相结合得到综合的纹理，得到最终合成的正面人脸。
下面，结合附图和实施例对本发明作进一步说明：
实施例一
本发明一种基于先验模型的正面人脸图像合成方法包括以下步骤：
1.算法初始化
算法的初始化过程包括三维原型样本库的规范化得到三维人脸样本库、由三维人脸样本库构建二维样本库、输入二维图像特征点的标定。
三维原型样本库的规范化在于实现样本库中人脸姿态的校正、三维人脸点集的重采样和点的对应；由三维人脸样本库按照正交投影的方式可以得到二维样本库；二维图像特征点的标定采用手动标定的方式，并选取二维面部特征点在三维模型中存在对应的特征点。
2.估计测试人脸图像姿态参数
归一化好的三维人脸样本库中每张人脸的形状可以用Si＝(xi1,yi1,zi1,......,xim,yim,zim)T来进行标示。所有样本可以用形状矩阵S＝(S1,S2,...Sn)来进行表示。其中i∈1,2...,n，n代表三维模型中人脸的总个数，m代表归一化后的每张三维人脸所包含的顶点的个数。则平均三维人脸模型为假设将模型在x、y、z轴上分别旋转α，β，γ的角度后与测试图像姿态相同。
那么模型上面相应的特征点经过坐标旋转矩阵R，点坐标由P(x,y,z)变换到Pr(x',y',z')，
通过三维到二维的投影关系，对三维坐标系进行平移变换以及尺度变换。可以得到平移变化矩阵T和三维到二维的尺度变换系数S，确定了T和S后，将旋转后三维模型上的特征点投影到二维平面上，就可建立与测试图像标定点的对应关系。选取模型上比较明显的双眼的内外角点，鼻尖点和嘴巴两端这7个特征点，其在三维模型和测试图像中的坐标分别为(xi,yi,zi)、(x′i,y′i)，则有：
其中i＝1,2...,7 (2)
采用最小二乘法进行求解，从而可以求得测试人脸的姿态角度α,β,γ。
3.原型样本库的筛选
为提高合成图像的质量，采用稀疏表示理论筛选出训练样本集中与测试图像相似性较大的人脸构建原型样本库。根据线性类思想，待重建人脸可以表述为：
其中s′i为样本si旋转后的三维模型。假设三维原型样本库足够大，那么其中与测试人脸相似的原型样本数量必然远远小于原型样本总数量，因而组合系数向量C必然是稀疏的。因此，可以通过求解式(3)的稀疏解来筛选与测试人脸图像相似的原型样本集。
4.正面人脸图像合成
[1]形状和纹理分开建模:
采用与测试人脸图像相似性较大的数据构建原型样本库，利用标定的特征点对人脸形状和纹理分别进行建模。为了提取人脸图像的纹理信息，需要建立图像像素之间一对一的对应关系。将人脸形状Si用Delaunay(德劳内)三角化，并将每一张人脸都变形到平均人脸上，人脸的纹理向量可表达为g＝(i1,i2,...ik,...il)T∈Rl的形式。
[2]用线性类理论求输入的测试人脸图像的形状和纹理的组合系数
根据线性类假设，测试人脸图像的形状和纹理可以由筛选后三维人脸组合来表示：
其中分别为原始三维人脸平均形状(即步骤二中所述的平均三维人脸模型)和平均纹理向量，分别为模型的形状和纹理的组合系数si为经步骤三筛选后的原型样本库中的形状向量，ti为纹理向量。但现在给定实际测量的对象为二维姿态图像，仅能获得姿态图像上若干点的二维信息。现对式(4)中的形状模型进行旋转和投影变形，得到下式：
其中，sr new、与sr分别表示表示输入的姿态图像的形状，旋转投影之后模型平均的人脸形状，及特征旋转投影矩阵，可利用稀疏形变模型方法可求解式(5)中的组合系数。
根据求得的形状组合系数，可以得到合成的正面人脸形状：
采用同样的求解方法求得形变模型中纹理的组合系数β得到合成纹理：
[3]将输入图像纹理与合成的纹理相结合得到最终的合成纹理
为了获得合成人脸更加逼真的效果，纹理合成方式如下：若在正脸中可见、而在测试图像中不可见的纹理，主要采用式(7)合成的纹理；反之主要采用测试图像的原始纹理。最终生成的纹理如下：
gi(x,y)＝wi(x,y)*ti(x,y)+(1-wi(x,y))*t0(x,y) (8)
其中ti(x,y)代表在点(x,y)处合成得到的像素值，t0(x,y)代表在点(x,y)处输入测试图像的像素值，wi代表点(x,y)处合成纹理中原始纹理的权重，可以通过相应点处局域面积变化率确定。
Claims (4)
1.一种基于先验模型的正面人脸图像合成方法，其特征在于，包括：
步骤一：对三维原型样本库进行样本规范化得到三维人脸样本库，标定测试人脸图像的特征点；
步骤二：求取平均三维人脸模型，通过其上的特征点投影后与测试人脸图像标定的特征点建立对应关系求得测试人脸图像的姿态角度α，β，γ；
步骤三：从三维人脸样本库中筛选出与测试人脸图像相似性较大的图像构建原型样本库；
步骤四：合成正面人脸图像；
所述的步骤三进一步具体包括：根据线性类思想，将待重建人脸表述为：
<mrow>
<msub>
<mi>s</mi>
<mrow>
<mi>n</mi>
<mi>e</mi>
<mi>w</mi>
</mrow>
</msub>
<mo>=</mo>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>k</mi>
</munderover>
<msub>
<mi>c</mi>
<mi>i</mi>
</msub>
<msubsup>
<mi>s</mi>
<mi>i</mi>
<mo>&prime;</mo>
</msubsup>
<mo>=</mo>
<msub>
<mi>c</mi>
<mn>1</mn>
</msub>
<msubsup>
<mi>s</mi>
<mn>1</mn>
<mo>&prime;</mo>
</msubsup>
<mo>+</mo>
<msub>
<mi>c</mi>
<mn>2</mn>
</msub>
<msubsup>
<mi>s</mi>
<mn>2</mn>
<mo>&prime;</mo>
</msubsup>
<mo>+</mo>
<mo>...</mo>
<mo>+</mo>
<msub>
<mi>c</mi>
<mi>k</mi>
</msub>
<msubsup>
<mi>s</mi>
<mi>k</mi>
<mo>&prime;</mo>
</msubsup>
<mo>=</mo>
<msup>
<mi>S</mi>
<mo>&prime;</mo>
</msup>
<mo>&CenterDot;</mo>
<mi>C</mi>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
其中s′i为三维人脸样本库中的第i个样本依据姿态角度α，β，γ旋转后的三维模型，通过求解式(3)的稀疏解来筛选与测试人脸图像相似的原型样本库；
所述的步骤四包括：
步骤①：形状和纹理分开建模；
步骤②：用基于样本筛选的形变模型理论求解输入的测试人脸图像的形状和纹理的组合系数；
步骤③：将测试人脸图像的纹理与合成的纹理相结合得到综合的纹理，得到最终合成的正面人脸；
所述的步骤①进一步具体包括：采用与测试人脸图像相似性大的数据构建原型样本库，利用标定的特征点对人脸形状和纹理分别进行建模，建立图像像素之间一对一的对应关系，将人脸形状Si用Delaunay三角化，并将每一张人脸都变形到原型样本库的平均人脸上，将人脸的纹理向量表达为g＝(i1，i2，...ik，...i1)T∈R1的形式；
所述的步骤②进一步具体包括：用经步骤三筛选后的三维人脸组合来表示测试人脸的形状和纹理：
<mrow>
<msub>
<mi>S</mi>
<mrow>
<mi>n</mi>
<mi>e</mi>
<mi>w</mi>
</mrow>
</msub>
<mo>=</mo>
<msub>
<mover>
<mi>S</mi>
<mo>&OverBar;</mo>
</mover>
<mrow>
<mi>mod</mi>
<mi>e</mi>
<mi>l</mi>
</mrow>
</msub>
<mo>+</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msup>
<mi>n</mi>
<mo>&prime;</mo>
</msup>
</munderover>
<msub>
<mi>&alpha;</mi>
<mi>i</mi>
</msub>
<msub>
<mi>s</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>T</mi>
<mrow>
<mi>n</mi>
<mi>e</mi>
<mi>w</mi>
</mrow>
</msub>
<mo>=</mo>
<mover>
<mi>T</mi>
<mo>&OverBar;</mo>
</mover>
<mo>+</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msup>
<mi>n</mi>
<mo>&prime;</mo>
</msup>
</munderover>
<msub>
<mi>&beta;</mi>
<mi>i</mi>
</msub>
<msub>
<mi>t</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
其中分别为原始三维人脸平均形状和平均纹理向量，αi，βi分别为模型的形状和纹理的组合系数，si为经步骤三筛选后的原型样本库中的形状向量，ti为纹理向量，现对式(4)中的形状模型进行旋转和投影变形，得到下式：
<mrow>
<msub>
<msup>
<mi>s</mi>
<mi>r</mi>
</msup>
<mrow>
<mi>n</mi>
<mi>e</mi>
<mi>w</mi>
</mrow>
</msub>
<mo>=</mo>
<msup>
<mover>
<mi>s</mi>
<mo>&OverBar;</mo>
</mover>
<mi>r</mi>
</msup>
<mo>+</mo>
<msup>
<mi>&alpha;s</mi>
<mi>r</mi>
</msup>
<mo>=</mo>
<msup>
<mover>
<mi>s</mi>
<mo>&OverBar;</mo>
</mover>
<mi>r</mi>
</msup>
<mo>+</mo>
<msup>
<mi>&Delta;s</mi>
<mi>r</mi>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，sr new、与sr分别表示表示输入的测试人脸图像的形状，旋转投影之后模型平均的人脸形状，及特征旋转投影矩阵，利用稀疏形变模型方法求解式(5)中的组合系数，根据求得的形状组合系数，得到合成的正面人脸形状：
<mrow>
<msub>
<msup>
<mi>s</mi>
<mi>f</mi>
</msup>
<mrow>
<mi>n</mi>
<mi>e</mi>
<mi>w</mi>
</mrow>
</msub>
<mo>=</mo>
<msup>
<mover>
<mi>s</mi>
<mo>&OverBar;</mo>
</mover>
<mi>f</mi>
</msup>
<mo>+</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msup>
<mi>n</mi>
<mo>&prime;</mo>
</msup>
</munderover>
<msub>
<mi>&alpha;</mi>
<mi>i</mi>
</msub>
<msubsup>
<mi>s</mi>
<mi>i</mi>
<mi>f</mi>
</msubsup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
采用同样的求解方法，SVD分解，求得形变模型中纹理的组合系数βi得到合成纹理：
<mrow>
<msub>
<mi>t</mi>
<mrow>
<mi>i</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
</msub>
<mo>=</mo>
<mover>
<mi>t</mi>
<mo>&OverBar;</mo>
</mover>
<mo>+</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msup>
<mi>n</mi>
<mo>&prime;</mo>
</msup>
</munderover>
<msub>
<mi>&beta;</mi>
<mi>i</mi>
</msub>
<msub>
<mi>t</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
<mo>.</mo>
</mrow>
2.根据权利要求1所述的一种基于先验模型的正面人脸图像合成方法，其特征在于，所述的步骤二进一步具体包括：用Si＝(xi1，yi1，zi1，......，xim，yim，zim)T表示归一化好的三维人脸样本库中每张人脸的形状，用形状矩阵S＝(S1，S2，...Sn)表示所有样本，则平均三维人脸模型为假设将模型在x、y、z轴上分别旋转α，β，γ的角度后与测试人脸图像姿态相同，那么模型上面相应的特征点经过坐标旋转矩阵R，点坐标由P(x，y，z)变换到Pr(x’，y’，z’)，
<mrow>
<mi>R</mi>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>a</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>&alpha;</mi>
<mo>,</mo>
<mi>&beta;</mi>
<mo>,</mo>
<mi>&gamma;</mi>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>a</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>&alpha;</mi>
<mo>,</mo>
<mi>&beta;</mi>
<mo>,</mo>
<mi>&gamma;</mi>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>a</mi>
<mn>3</mn>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>&alpha;</mi>
<mo>,</mo>
<mi>&beta;</mi>
<mo>,</mo>
<mi>&gamma;</mi>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>a</mi>
<mn>4</mn>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>&alpha;</mi>
<mo>,</mo>
<mi>&beta;</mi>
<mo>,</mo>
<mi>&gamma;</mi>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>a</mi>
<mn>5</mn>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>&alpha;</mi>
<mo>,</mo>
<mi>&beta;</mi>
<mo>,</mo>
<mi>&gamma;</mi>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>a</mi>
<mn>6</mn>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>&alpha;</mi>
<mo>,</mo>
<mi>&beta;</mi>
<mo>,</mo>
<mi>&gamma;</mi>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>a</mi>
<mn>7</mn>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>&alpha;</mi>
<mo>,</mo>
<mi>&beta;</mi>
<mo>,</mo>
<mi>&gamma;</mi>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>a</mi>
<mn>8</mn>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>&alpha;</mi>
<mo>,</mo>
<mi>&beta;</mi>
<mo>,</mo>
<mi>&gamma;</mi>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>a</mi>
<mn>9</mn>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>&alpha;</mi>
<mo>,</mo>
<mi>&beta;</mi>
<mo>,</mo>
<mi>&gamma;</mi>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
通过三维到二维的投影关系，对三维坐标系进行平移变换以及尺度变换，得到平移变化矩阵T和三维到二维的尺度变换系数Sc，确定了T和Sc后，将旋转后平均三维人脸模型上的特征点投影到二维平面上，建立与测试人脸图像标定的特征点的对应关系，选取平均三维人脸模型上双眼的内外角点，鼻尖点和嘴巴两端这个特征点，其在平均三维人脸模型和测试人脸图像中的坐标分别为(xi，yi，zi)、(x′i，y′i)，则有：
其中i＝1，2...，7 (2)
采用最小二乘法进行求解，从而求得测试人脸的姿态角度α，β，γ。
3.根据权利要求1所述的一种基于先验模型的正面人脸图像合成方法，其特征在于，所述的步骤③进一步具体包括：综合纹理合成方式如下：若在正脸中可见、而在测试人脸图像中不可见的纹理，采用式(7)
合成的纹理；反之采用测试人脸图像的原始纹理，最终生成的综合纹理如下：
gi(x，y)＝wi(x，y)*ti(x，y)+(1-wi(x，y))*t0(x，y) (8)
其中ti(x，y)代表在点(x，y)处合成得到的像素值，t0(x，y)代表在点(x，y)处输入测试人脸图像的像素值，wi(x，y)代表点(x，y)处合成纹理中原始纹理的权重，结合公式(6)和公式(8)得到正面人脸图像。
4.根据权利要求3所述的一种基于先验模型的正面人脸图像合成方法，其特征在于，所述wi(x，y)通过相应点处局域面积变化率确定。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410546803.7A CN104299250B (zh) | 2014-10-15 | 2014-10-15 | 基于先验模型的正面人脸图像合成方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410546803.7A CN104299250B (zh) | 2014-10-15 | 2014-10-15 | 基于先验模型的正面人脸图像合成方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104299250A CN104299250A (zh) | 2015-01-21 |
| CN104299250B true CN104299250B (zh) | 2018-05-22 |
Family
ID=52318972
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410546803.7A Active CN104299250B (zh) | 2014-10-15 | 2014-10-15 | 基于先验模型的正面人脸图像合成方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104299250B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104850847B (zh) * | 2015-06-02 | 2019-11-29 | 上海斐讯数据通信技术有限公司 | 具有自动瘦脸功能的图像优化系统和方法 |
| CN106650560A (zh) * | 2015-11-04 | 2017-05-10 | 上海市公安局刑事侦查总队 | 基于身份证的身份验证方法、处理器及系统 |
| CN106097373B (zh) * | 2016-06-24 | 2018-11-02 | 聊城大学 | 一种基于分部式稀疏成分分析模型的笑脸合成方法 |
| CN106203400A (zh) * | 2016-07-29 | 2016-12-07 | 广州国信达计算机网络通讯有限公司 | 一种人脸识别方法及装置 |
| CN108073855B (zh) * | 2016-11-11 | 2020-07-07 | 腾讯科技（深圳）有限公司 | 一种人脸表情的识别方法及系统 |
| CN107481301B (zh) * | 2017-08-07 | 2020-06-16 | 苏州速显微电子科技有限公司 | 一种实现数字图像扇形遮罩的方法及其应用 |
| CN108509915B (zh) * | 2018-04-03 | 2021-10-26 | 百度在线网络技术（北京）有限公司 | 人脸识别模型的生成方法和装置 |
| CN108805056B (zh) * | 2018-05-29 | 2021-10-08 | 电子科技大学 | 一种基于3d人脸模型的摄像监控人脸样本扩充方法 |
| CN109146962B (zh) * | 2018-09-07 | 2020-06-09 | 百度在线网络技术（北京）有限公司 | 检测脸部角度的方法、装置、存储介质和终端设备 |
| CN109377556B (zh) * | 2018-11-22 | 2022-11-01 | 厦门美图之家科技有限公司 | 人脸图像特征处理方法及装置 |
| CN110400369A (zh) * | 2019-06-21 | 2019-11-01 | 苏州狗尾草智能科技有限公司 | 一种人脸重建的方法、系统平台及存储介质 |
| CN113436735A (zh) * | 2020-03-23 | 2021-09-24 | 北京好啦科技有限公司 | 基于人脸结构度量的体重指数预测方法、设备和存储介质 |
| CN113140015B (zh) * | 2021-04-13 | 2023-03-14 | 杭州欣禾圣世科技有限公司 | 基于生成对抗网络的多视角人脸合成方法和系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102103689A (zh) * | 2011-03-07 | 2011-06-22 | 北京大学 | 基于正脸图像合成的人脸识别方法 |
| CN102567716A (zh) * | 2011-12-19 | 2012-07-11 | 中山爱科数字科技股份有限公司 | 一种人脸合成系统及实现方法 |
| CN104036546A (zh) * | 2014-06-30 | 2014-09-10 | 清华大学 | 一种基于自适应形变模型的任意视角人脸三维重构方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7538764B2 (en) * | 2001-01-05 | 2009-05-26 | Interuniversitair Micro-Elektronica Centrum (Imec) | System and method to obtain surface structures of multi-dimensional objects, and to represent those surface structures for animation, transmission and display |
-
2014
- 2014-10-15 CN CN201410546803.7A patent/CN104299250B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102103689A (zh) * | 2011-03-07 | 2011-06-22 | 北京大学 | 基于正脸图像合成的人脸识别方法 |
| CN102567716A (zh) * | 2011-12-19 | 2012-07-11 | 中山爱科数字科技股份有限公司 | 一种人脸合成系统及实现方法 |
| CN104036546A (zh) * | 2014-06-30 | 2014-09-10 | 清华大学 | 一种基于自适应形变模型的任意视角人脸三维重构方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于三维重建的人脸姿态估计;熊黎丽 等;《基于三维重建的人脸姿态估计》;20100615;第22卷(第3期);第1-2，4节、图1 * |
| 正面人脸图像合成方法综述;赵林 等;《中国图象图形学报》;20130116;第18卷(第1期);第1节第2段，第1.1节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104299250A (zh) | 2015-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104299250B (zh) | 基于先验模型的正面人脸图像合成方法及系统 | |
| CN109147048B (zh) | 一种利用单张彩色图的三维网格重建方法 | |
| CN101916454B (zh) | 基于网格变形和连续优化的高分辨率人脸重建方法 | |
| CN109544677A (zh) | 基于深度图像关键帧的室内场景主结构重建方法及系统 | |
| US20090195545A1 (en) | Facial Performance Synthesis Using Deformation Driven Polynomial Displacement Maps | |
| JP2007265396A (ja) | 顔モデルを生成する方法およびシステム | |
| CN104463938A (zh) | 三维虚拟试妆方法和装置 | |
| CN104077808A (zh) | 一种用于计算机图形图像处理的、基于深度信息的实时三维人脸建模方法 | |
| CN112530005B (zh) | 一种三维模型直线结构识别与自动修复方法 | |
| CN108564619B (zh) | 一种基于两张照片的真实感三维人脸重建方法 | |
| CN114119607B (zh) | 基于深度神经网络的酒瓶缺陷样本生成方法及系统 | |
| Chen et al. | Parametric 3D modeling of a symmetric human body | |
| CN111583408B (zh) | 基于手绘草图的人体三维建模系统 | |
| CN103413351B (zh) | 基于压缩感知理论的三维人脸快速重建方法 | |
| CN110363833A (zh) | 一种基于局部稀疏表示的完全人体运动参数化表示方法 | |
| Chen et al. | Image vectorization with real-time thin-plate spline | |
| CN102592309B (zh) | 一种非线性三维人脸的建模方法 | |
| CN105321205B (zh) | 一种基于稀疏关键点的参数化人体模型重建方法 | |
| CN107818578B (zh) | 一种基于注册方法的快速人脸模型重建算法及系统 | |
| Cai et al. | Madam snake white: A case study on virtual reality continuum applications for Singaporean culture and heritage at haw par villa | |
| Meyer et al. | PEGASUS: Physically Enhanced Gaussian Splatting Simulation System for 6DOF Object Pose Dataset Generation | |
| Zhang et al. | Face to face: anthropometry-based interactive face shape modeling using model priors | |
| Jia et al. | 3D personalized human modeling and deformation technology for garment CAD | |
| CN109615688A (zh) | 一种移动设备上的实时人脸三维重建系统及方法 | |
| CN104777329A (zh) | 一种用于粒子图像测速三维粒子场重构的线性规划算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |