CN106778660B - 一种人脸姿态校正方法及装置 - Google Patents

Abstract

本发明公开了一种人脸姿态校正方法及装置。该方法中，在获取到人脸图像和人脸图像对应的3D人脸数据后，确定在所述3D人脸数据中与所述人脸图像中的像素点对应的点；根据所述3D人脸数据中与所述人脸图像中像素点对应的点的法线方向，获得所述人脸图像的法线方向掩膜图像；根据所述掩膜图像确定所述人脸图像中人脸的对称权重；根据所述对称权重，对所述人脸图像中的人脸姿态进行校正。由于法线方向可以反映人脸是否被遮挡的情况，因此，在对人脸图像进行校正时考虑了图像中的人脸是否被遮挡的情况，使得校正后的效果更加准确，且在进行校正时考虑了人脸的对称信息，使得校正后的效果更加准确、具有个性化。

Description

一种人脸姿态校正方法及装置

技术领域

本发明涉及图像处理领域，尤其涉及一种人脸姿态校正方法及装置。

背景技术

人脸识别是模式识别研究领域的重要课题，也是一个目前非常活跃的研究方向。它在安全、商贸和经济领域都有广阔的应用前景，例如刑侦破案、证件验证、视频监控、媒体娱乐等诸多领域。

利用三维人脸数据对人脸图像进行校正，能够获得较好的校正效果，目前存在以下几种方法：

1、基于双目摄像头或深度摄像头获取的图像来进行人脸校正，或者对多幅多视角人脸图像、甚至正交人脸图像来进行人脸校正，但该方法成本较高，很难推广。

2、一种基于自适应形变模型的任意视角人脸三维重构方法，利用人脸特征点定位结果粗略估计人脸角度；建立人脸三维形变模型，并将人脸特征点通过平移、缩放操作调整到与人脸三维形变模型在同一尺度上，并抽取出与人脸特征点对应点的坐标信息形成人脸特征点三维形变模型；根据人脸角度粗略估计值和人脸特征点三维形变模型，进行微粒群算法迭代人脸三维重构，得到人脸三维几何模型；得到人脸三维几何模型后，采用纹理张贴的方法将输入二维图像中的人脸纹理信息映射到人脸三维几何模型，得到完整的人脸三维模型。然而，该方法估计投影矩阵的精度不高，且没有对多姿态人脸是否遮挡的判断以及相应地处理。

3、一种三维人脸重建方法：确定人脸图像上的特征点；依据特征点确定人脸的姿态参数，并按照姿态参数调整通用三维人脸模型的姿态；确定特征点在通用三维人脸模型上的对应点，并对处于遮挡状态下的对应点进行调整，以得到初步三维人脸模型；对初步三维人脸模型进行变形调整，并对变形后的三维人脸模型进行纹理映射，得到最终的三维人脸。然而，在该方法中，特征点包含外部人脸轮廓，但是外部人脸轮廓在侧脸的是情况下会发生遮挡，导致姿态估计的错误。

4、一种基于先验模型的正面人脸图像合成方法：对三维原型样本库进行样本规范化得到三维人脸样本库，标定测试人脸图像的特征点；求取平均三维人脸模型，通过其上的特征点投影后与测试人脸图像标定的特征点建立对应关系求得测试人脸图像的姿态角度；从三维人脸样本库中筛选出与测试人脸图像相似性较大的图像构建原型样本库；合成正面人脸图像。然而，在该方法中，建立三维人脸模型的时候将形状模型和纹理模型分开建模，在合成正面人脸时，利用先验模型，用三维人脸原型样本库中人脸估计，样本会趋于平均，尤其是纹理方面忽略了光照阴影等因素。

因此，对人脸进行校正的效果还有待提高。

发明内容

本发明实施例提供了一种人脸姿态校正方法及装置，用以实现对人脸图像进行校正。

本发明实施例提供的人脸姿态校正方法，包括：

获取人脸图像，以及所述人脸图像对应的3D人脸数据；

确定在所述3D人脸数据中与所述人脸图像中的像素点对应的点；

根据所述3D人脸数据中与所述人脸图像中像素点对应的点的法线方向，获得所述人脸图像的法线方向掩膜图像；

根据所述掩膜图像确定所述人脸图像中人脸的对称权重；

根据所述对称权重，对所述人脸图像中的人脸姿态进行校正。

可选地，所述根据所述掩膜图像确定所述人脸图像中人脸的对称权重，包括：

对所述掩膜图像进行二值化；

将所述二值化后的图像沿中心线对称地分为第一子图像和第二子图像，分别计算所述第一子图像和所述第二子图像的像素值之和；

根据所述第一子图像和所述第二子图像的像素值之和的差值，确定所述人脸图像的第一子图像的第一权重和第二子图像的第二权重。

可选地，所述根据所述对称权重，对所述人脸图像进行校正，包括：

对所述掩膜图像进行高斯核模糊处理，获得高斯图像；

根据所述对称权重、所述掩膜图像、所述高斯图像确定第一系数，根据所述对称权重、所述掩膜图像、所述高斯图像经过左右翻转后的图像确定第二系数；

将所述人脸图像的像素矩阵与所述高斯图像的像素矩阵进行点乘，得到第一像素矩阵；

将所述人脸图像的像素矩阵与所述第一系数进行点乘，得到第二像素矩阵；

将所述人脸图像进行左右翻转，将翻转后的图像的像素矩阵与所述第二系数进行点乘，得到第三像素矩阵；

将所述第一像素矩阵、第二像素矩阵、第三像素矩阵相加，得到校正后的人脸图像的像素矩阵。

可选地，所述根据所述对称权重、所述掩膜图像、所述高斯图像确定第一系数，根据所述对称权重、所述掩膜图像、所述高斯图像经过左右翻转后的图像确定第二系数，包括：

根据下述公式确定第一系数、第二系数：

a＝W_org·*Wlr(1)

b＝W_sym·*Wlr(2)

W_org＝W_gauss·*W0_org

W_sym＝W_gauss′·*W0_org

W0_org＝1/exp(0.5+I_mask)

W0_sym＝1-W0_org

其中，a表示第一系数，b表示第二系数，Wlr(1)和Wlr(2)分别表示第一权重和第二权重，W_gauss表示高斯图像的像素矩阵，I_mask表示掩膜图像的像素矩阵，W_gauss′表示经过左右翻转后的高斯图像的像素矩阵。

可选地，在获取人脸图像，以及所述人脸图像对应的3D人脸数据之后，还包括：

确定所述人脸图像中的特征点；

在所述特征点之间进行插值，得到预设数量的特征点；

根据所述特征点在所述图像中的二维坐标，对所述预设数量的特征点进行2D到3D的映射，确定在3D人脸数据中与所述具有预设数量的特征点对应的点；

对所述3D人脸数据中的所述对应点进行N次三角剖分，N为大于等于1的整数；

所述确定在所述3D人脸数据中与所述人脸图像中的像素点对应的点，包括：

确定在建立所述人脸图像中的点与所述经过三角剖分后的3D人脸数据中的点的对应关系。

可选地，所述确定在所述3D人脸数据中与所述人脸图像中的像素点对应的点，包括：

确定所述人脸图像中的特征点；

根据所述特征点在所述图像中的二维坐标，对所述特征点进行2D到3D的映射，得到3D人脸特征点；

根据所述3D人脸特征点和3D人脸特征点模型估计投影矩阵；所述3D人脸特征点模型是预先根据多个人脸图像的3D人脸特征点得到的；

根据所述投影矩阵，确定在所述3D人脸数据中与所述人脸图像中的像素点对应的点。

本发明实施例提供的人脸姿态校正装置，包括：

获取模块，用于获取人脸图像，以及所述人脸图像对应的3D人脸数据；

第一确定模块，用于确定在所述3D人脸数据中与所述人脸图像中的像素点对应的点；

获得掩膜图像模块，用于根据所述3D人脸数据中与所述人脸图像中像素点对应的点的法线方向，获得所述人脸图像的法线方向掩膜图像；

第二确定模块，用于根据所述掩膜图像确定所述人脸图像中人脸的对称权重；

校正模块，用于根据所述对称权重，对所述人脸图像中的人脸姿态进行校正。

可选地，所述第二确定模块，具体用于：

对所述掩膜图像进行二值化；

将所述二值化后的图像沿中心线对称地分为第一子图像和第二子图像，分别计算所述第一子图像和所述第二子图像的像素值之和；

根据所述第一子图像和所述第二子图像的像素值之和的差值，确定所述人脸图像的第一子图像的第一权重和第二子图像的第二权重。

可选地，所述校正模块，具体用于：

对所述掩膜图像进行高斯核模糊处理，获得高斯图像；

根据所述对称权重、所述掩膜图像、所述高斯图像确定第一系数，根据所述对称权重、所述掩膜图像、所述高斯图像经过左右翻转后的图像确定第二系数；

将所述人脸图像的像素矩阵与所述高斯图像的像素矩阵进行点乘，得到第一像素矩阵；

将所述人脸图像的像素矩阵与所述第一系数进行点乘，得到第二像素矩阵；

将所述人脸图像进行左右翻转，将翻转后的图像的像素矩阵与所述第二系数进行点乘，得到第三像素矩阵；

将所述第一像素矩阵、第二像素矩阵、第三像素矩阵相加，得到校正后的人脸图像的像素矩阵。

可选地，所述校正模块，具体用于：

根据下述公式确定第一系数、第二系数：

a＝W_org·*Wlr(1)

b＝W_sym·*Wlr(2)

W_org＝W_gauss·*W0_org

W_sym＝W_gauss′·*W0_org

W0_org＝1/exp(0.5+I_mask)

W0_sym＝1-W0_org

其中，a表示第一系数，b表示第二系数，Wlr(1)和Wlr(2)分别表示第一权重和第二权重，W_gauss表示高斯图像的像素矩阵，I_mask表示掩膜图像的像素矩阵，W_gauss′表示经过左右翻转后的高斯图像的像素矩阵。

可选地，该装置还包括：

3D人脸数据处理模块，用于确定所述人脸图像中的特征点；在所述特征点之间进行插值，得到预设数量的特征点；根据所述特征点在所述图像中的二维坐标，对所述预设数量的特征点进行2D到3D的映射，确定在3D人脸数据中与所述具有预设数量的特征点对应的点；对所述3D人脸数据中的所述对应点进行N次三角剖分，N为大于等于1的整数；

所述第一确定模块，具体用于确定在建立所述人脸图像中的点与所述经过三角剖分后的3D人脸数据中的点的对应关系。

可选地，第一确定模块，具体用于：

确定所述人脸图像中的特征点；

根据所述特征点在所述图像中的二维坐标，对所述特征点进行2D到3D的映射，得到3D人脸特征点；

根据所述3D人脸特征点和3D人脸特征点模型估计投影矩阵；所述3D人脸特征点模型是预先根据N个人脸图像的3D人脸特征点得到的；

根据所述投影矩阵，确定在所述3D人脸数据中与所述人脸图像中的像素点对应的点。

在上述实施例中，在获取到人脸图像和人脸图像对应的3D人脸数据后，确定在所述3D人脸数据中与所述人脸图像中的像素点对应的点；根据所述3D人脸数据中与所述人脸图像中像素点对应的点的法线方向，获得所述人脸图像的法线方向掩膜图像；根据所述掩膜图像确定所述人脸图像中人脸的对称权重；根据所述对称权重，对所述人脸图像中的人脸姿态进行校正。由于法线方向可以反映人脸是否被遮挡的情况，因此，在对人脸图像进行校正时考虑了图像中的人脸是否被遮挡的情况，使得校正后的效果更加准确，且在进行校正时考虑了人脸的对称信息，使得校正后的效果更加准确、具有个性化。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供人脸姿态校正方法的流程示意图；

图2(a)为本发明实施例提供的人脸图像；

图2(b)为本发明实施例提供的法线方向掩膜图像；

图3为本发明实施例提供的高斯权重图像；

图4为本发明实施例提供的人脸姿态校正装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

现有三维人脸数据库中的每一个3D人脸数据都有对应的正面2D人脸图像。

然而，采集的2D人脸图像中的人脸姿态是各异的，可能正面面对相机，则其脸部信息能够被较为完整地采集下来，也可能人脸朝向右侧，即左脸信息能够被相机全部采集到，但右脸信息被遮挡了，无法被相机采集下来。对于人脸姿态角度过大，而导致的人脸信息丢失的人脸图像，需要对其进行人脸姿态校正。

为了获得更加准确的人脸校正结果，本发明实施例提供了一种人脸姿态校正方法，利用三维人脸数据对人脸图像进行校正。

参见图1，为本发明实施例提供的人脸姿态校正方法的流程示意图。如图所述，该方法包括：

步骤101、获取人脸图像，以及该人脸图像对应的3D人脸数据。

由于不同人脸之间的差异，以及在采集人脸数据(即人脸图像和对应的3D人脸模型)时的条件差异，都会导致采集到的人脸数据中的人脸大小不一致，3D人脸模型中空间点的数量不同，导致不同的人脸数据之间无法进行横向比较。为了解决上述问题，可选地，在上述步骤101之后，还可以对该3D人脸数据进行平均处理。对获取到的人脸图像按照预设位置和/或预设个数提取特征点，在提取到的特征点之间可以按照预设比例进行插值，以得到预设数量的特征点。然后对这些预设数量的特征点进行2D到3D的映射，确定在3D人脸数据中与这些特征点和插值点一一对应的点，由于从人脸图像中提取到的特征点是二维平面上的点，仅有X和Y坐标；而3D人脸数据中的点除了包含X方向和Y方向上的信息，还包括Z方向上的深度信息，在具体映射时，确定提取到的特征点的X、Y坐标，在3D人脸数据中X、Y坐标均与特征点相同的点，即为在3D人脸数据中与特征点对应的点。然后对3D人脸数据中的对应点进行N次三角剖分，以获得具有预设空间点数的3D人脸模型。其中，N为大于等于1的整数，可选地，N＝2。

步骤102、确定在3D人脸数据中与该人脸图像中的像素点对应的点。

具体地，可以利用投影矩阵，确定在3D人脸数据与该人脸图像中的像素点对应的点，其中，投影矩阵用于表示人脸图像与3D人脸数据中的点的对应关系。

可选地，投影矩阵，可以通过下述方法获得：

对获取到的人脸图像，利用特征点定位算法，提取特征点，例如眼角点，眼睛上、下边缘点，嘴角点，嘴部的上、下边缘点等，需要说明的是，此处提取的特征点不包括脸部轮廓上的点。

在提取到特征点后，对特征点进行映射，将特征点从2D人脸图像映射到3D人脸数据中，确定在3D人脸数据中与这些特征点一一对应的点，得到3D人脸特征点，具体映射方法如前所述此处不再赘述。

然后，根据3D人脸特征点和3D人脸特征点模型进行投影矩阵的估计。

其中，3D人脸特征点模型可以通过预先统计获得。具体地，可以预先从数据库中获取多个人脸图像以及人脸图像所对应的3D人脸数据，按照前述方法对人脸图像提取特征点，并对特征点进行2D到3D的映射，得到3D人脸特征点，在得到多个人脸图像的3D人脸特征点后，对这些特征点的位置进行平均，以得到3D人脸特征点模型，例如：对每个人脸图像提取中左、右眼的眼角点，眼睛上、下边缘点，在对这些特征点进行2D到3D的映射后，对所有左眼的左眼角点在3D人脸数据中的坐标进行统计，求取平均坐标，同理，对左眼的右眼角点、右眼的左右眼角点、左眼的上下边缘点、右眼的上下边缘点求取平均坐标，这些特征点的平均坐标即构成3D人脸特征点模型。

估计出的投影矩阵可以表示2D的人脸图像中的像素点与3D人脸数据中空间点的对应关系。具体地，可以根据公式(1)确定投影矩阵。

其中，Fx、Fy、Cx、Cy表示相机内参，R表示旋转矩阵，T表示平移矩阵，M₁M₂即为待估计的投影矩阵。

在根据投影矩阵，确定在3D人脸数据中与人脸图像中的像素点的对应关系的过程中，若3D人脸数据中不存在与人脸图像中的点所对应的点，可以通过立方插值的方法进行填充。

步骤103、根据3D人脸数据中与该人脸图像中像素点对应的点的法线方向，获得人脸图像的法线方向掩膜图像。

图2(a)表示原始的人脸图像，图2(b)为获得的法线方向掩膜图像。如图所示，在获取掩膜图像时，可以以脸部轮廓做外接矩形，仅保留该矩形内的信息，因为背景部分不是本发明实施例所关注的内容，或者，也可以在步骤101之后，就提取人脸图像中的人脸部分，本发明对此不做限制。

在人脸图像的法线方向掩膜图像中，每个像素点的像素值表示与该点对应的3D人脸数据中的空间点的法线方向。若被采集的物体或人脸的某一部分正对镜头，则该部分上的点的法线方向应与Z轴方向平行或与Z轴方向之间的夹角较小，否则，其方向与Z轴方向之间具有较大的夹角。可选地，若人脸上某一点的法线方向与Z轴方向之间的夹角大于45°，则认为该点所在的人脸部位没有正对镜头，即该部分人脸存在一定的遮挡。

步骤104、根据掩膜图像确定人脸图像中人脸的对称权重。

具体地，在得到掩膜图像后，可以对该掩膜图像进行基于阈值的二值化。例如，若一点的若法线方向与Z轴方向之间的夹角小于等于45°，则将该点的像素值置为0，反之，则将该点的像素值置为1。然后，可以对二值化后的掩膜图像，沿中心线对称地分为第一子图像和第二子图像，即将图像对称地分为左右两部分，对左右两部分分别计算像素之和，并将两个像素之和相减，根据相减后的差值，判断左右两边的遮挡情况，即确定第一子图像和第二子图像的权重。上述中心线的方向通常为垂直方向，因为通常情况下人脸图像中的人脸的对称轴是沿垂直方向的；若人脸的对称轴方向与垂直方向之间的夹角较大，可以预先对人脸图像进行旋转。由于不同的人脸、人脸姿态角度不同、拍摄条件不同，得到的差值可能存在较大差异。为了适用于各种情况，可以对该差值通过一定算法进行归一化，使得该差值处于预设的取值范围内，将归一化后的差值记为Sdiff。然后，可以根据公式(2)确定人脸图像的对称权重Wlr。

其中，a表示第一子图像的第一权重，b表示第二子图像的第二权重。

步骤105、根据对称权重，对该人脸图像中的人脸姿态进行校正。

具体地，可以对法线方向掩膜图像进行高斯核模糊处理。仍以图2(b)所示的掩膜图像为例，经过一维高斯向下拓展处理后，得到如图3所示的高斯图像，将该图像的像素矩阵记为W_gauss。

可选地，对法线方向掩膜图像进行归一化处理，例如，将掩膜图像中的像素值归一化到(0,1)之间，并将归一化后的图像像素矩阵记为I_mask。

然后，根据对称权重Wlr、掩膜图像像素矩阵I_mask、高斯图像像素矩阵W_gauss确定第一系数，根据对称权重Wlr、掩膜图像像素矩阵I_mask、高斯图像像素矩阵W_gauss经过左右翻转后的图像确定第二系数。对图像进行左右翻转，是将图像中原本位于左边的像素点对称地置于图像右边，将原本位于右边的像素点对称地置于左边。例如，若初始图像中的人脸向右侧偏转，经过左右对称后，人脸则向左侧偏转。

将初始获得的人脸图像的像素矩阵记为I_src，将人脸图像像素矩阵I_src与高斯图像像素矩阵W_gauss进行点乘，得到第一像素矩阵；将人脸图像像素矩阵I_src与第一系数进行点乘，得到第二像素矩阵；将人脸图像像素矩阵I_src进行左右翻转，将翻转后图像像素矩阵记为I_srclr，将I_srclr与第二系数进行点乘，得到第三像素矩阵。

将第一像素矩阵、第二像素矩阵、第三像素矩阵相加，即可得到校正后的人脸图像的像素矩阵I。

具体地，可以通过下述方法获得第一系数和第二系数：

按照公式(3)得到权重图像W0_org和W0_sym。

将W_gauss与W0_org相乘，得到W_org；对W_gauss进行左右翻转，翻转后与W0_sym相乘，得到W_sym。

将W_org和Wlr(1)进行点乘，即得到第一系数；将W_sym和Wlr(2)进行点乘，即得到第二系数。

然后可以根据(4)对I_src进行校正，得到校正后的人脸图像像素矩阵I。

I＝I_src·*W_gauss+I_src·*W_org·*Wlr(1)+I_srclr·*W_sym·*Wlr(2) (4)

在上述实施例中，在获取到人脸图像和人脸图像对应的3D人脸数据后，根据投影矩阵，确定在所述3D人脸数据中与所述人脸图像中的像素点对应的点；根据所述3D人脸数据中与所述人脸图像中像素点对应的点的法线方向，获得所述人脸图像的法线方向掩膜图像；根据所述掩膜图像确定所述人脸图像中人脸的对称权重；根据所述对称权重，对所述人脸图像中的人脸姿态进行校正。由于法线方向可以反映人脸是否被遮挡的情况，因此，在对人脸图像进行校正时考虑了图像中的人脸是否被遮挡的情况，使得校正后的效果更加准确，且在进行校正时考虑了人脸的对称信息，使得校正后的效果更加准确、具有个性化。

基于相同的技术构思，本发明实施例还提供了一种人脸姿态校正装置，用于实现上述方法实施例，如图4所述，该人脸姿态校正装置包括：

获取模块401，用于获取人脸图像，以及所述人脸图像对应的3D人脸数据；

第一确定模块402，用于确定在所述3D人脸数据中与所述人脸图像中的像素点对应的点；

获得掩膜图像模块403，用于根据所述3D人脸数据中与所述人脸图像中像素点对应的点的法线方向，获得所述人脸图像的法线方向掩膜图像；

第二确定模块404，用于根据所述掩膜图像确定所述人脸图像中人脸的对称权重；

校正模块405，用于根据所述对称权重，对所述人脸图像中的人脸姿态进行校正。

具体地，第二确定模块404，具体用于：对所述掩膜图像进行二值化；将所述二值化后的图像沿中心线对称地分为第一子图像和第二子图像，分别计算所述第一子图像和所述第二子图像的像素值之和；根据所述第一子图像和所述第二子图像的像素值之和的差值，确定所述人脸图像的第一子图像的第一权重和第二子图像的第二权重。

具体地，校正模块405，具体用于：对所述掩膜图像进行高斯核模糊处理，获得高斯图像；根据所述对称权重、所述掩膜图像、所述高斯图像确定第一系数，根据所述对称权重、所述掩膜图像、所述高斯图像经过左右翻转后的图像确定第二系数；将所述人脸图像的像素矩阵与所述高斯图像的像素矩阵进行点乘，得到第一像素矩阵；将所述人脸图像的像素矩阵与所述第一系数进行点乘，得到第二像素矩阵；将所述人脸图像进行左右翻转，将翻转后的图像的像素矩阵与所述第二系数进行点乘，得到第三像素矩阵；将所述第一像素矩阵、第二像素矩阵、第三像素矩阵相加，得到校正后的人脸图像的像素矩阵。

具体地，校正模块，具体用于根据下述公式确定第一系数、第二系数：

a＝W_org·*Wlr(1)

b＝W_sym·*Wlr(2)

W_org＝W_gauss·*W0_org

W_sym＝W_gauss′·*W0_org

W0_org＝1/exp(0.5+I_mask)

W0_sym＝1-W0_org

其中，a表示第一系数，b表示第二系数，Wlr(1)和Wlr(2)分别表示第一权重和第二权重，W_gauss表示高斯图像的像素矩阵，I_mask表示掩膜图像的像素矩阵，W_gauss′表示经过左右翻转后的高斯图像的像素矩阵。

可选地，该装置还包括：

3D人脸数据处理模块406，用于确定所述人脸图像中的特征点；在所述特征点之间进行插值，得到预设数量的特征点；根据所述特征点在所述图像中的二维坐标，对所述预设数量的特征点进行2D到3D的映射，确定在3D人脸数据中与所述具有预设数量的特征点对应的点；对所述3D人脸数据中的所述对应点进行N次三角剖分，N为大于等于1的整数；

第一确定模块402，具体用于确定在建立所述人脸图像中的点与所述经过三角剖分后的3D人脸数据中的点的对应关系。

具体地，第一确定模块402，具体用于：确定所述人脸图像中的特征点；根据所述特征点在所述图像中的二维坐标，对所述特征点进行2D到3D的映射，得到3D人脸特征点；根据所述3D人脸特征点和3D人脸特征点模型估计投影矩阵；所述3D人脸特征点模型是预先根据N个人脸图像的3D人脸特征点得到的；根据所述投影矩阵，确定在所述3D人脸数据中与所述人脸图像中的像素点对应的点。

在上述实施例中，在获取到人脸图像和人脸图像对应的3D人脸数据后，根据投影矩阵，确定在所述3D人脸数据中与所述人脸图像中的像素点对应的点；根据所述3D人脸数据中与所述人脸图像中像素点对应的点的法线方向，获得所述人脸图像的法线方向掩膜图像；根据所述掩膜图像确定所述人脸图像中人脸的对称权重；根据所述对称权重，对所述人脸图像中的人脸姿态进行校正。由于法线方向可以反映人脸是否被遮挡的情况，因此，在对人脸图像进行校正时考虑了图像中的人脸是否被遮挡的情况，使得校正后的效果更加准确，且在进行校正时考虑了人脸的对称信息，使得校正后的效果更加准确、具有个性化。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种人脸姿态校正方法，其特征在于，包括：

获取人脸图像，以及所述人脸图像对应的3D人脸数据；

确定在所述3D人脸数据中与所述人脸图像中的像素点对应的点；

根据所述3D人脸数据中与所述人脸图像中像素点对应的点的法线方向，获得所述人脸图像的法线方向掩膜图像；

根据所述掩膜图像确定所述人脸图像中人脸的对称权重；

根据所述对称权重，对所述人脸图像中的人脸姿态进行校正；

其中，所述根据所述掩膜图像确定所述人脸图像中人脸的对称权重，包括：

对所述掩膜图像进行二值化；

将所述二值化后的图像沿中心线对称地分为第一子图像和第二子图像，分别计算所述第一子图像和所述第二子图像的像素值之和；

根据所述第一子图像和所述第二子图像的像素值之和的差值，确定所述人脸图像的第一子图像的第一权重和第二子图像的第二权重。

2.如权利要求1所述的方法，其特征在于，所述根据所述对称权重，对所述人脸图像进行校正，包括：

对所述掩膜图像进行高斯核模糊处理，获得高斯图像；

根据所述对称权重、所述掩膜图像、所述高斯图像确定第一系数，根据所述对称权重、所述掩膜图像、所述高斯图像经过左右翻转后的图像确定第二系数；

将所述人脸图像的像素矩阵与所述高斯图像的像素矩阵进行点乘，得到第一像素矩阵；

将所述人脸图像的像素矩阵与所述第一系数进行点乘，得到第二像素矩阵；

将所述人脸图像进行左右翻转，将翻转后的图像的像素矩阵与所述第二系数进行点乘，得到第三像素矩阵；

将所述第一像素矩阵、第二像素矩阵、第三像素矩阵相加，得到校正后的人脸图像的像素矩阵。

3.如权利要求2所述的方法，其特征在于，所述根据所述对称权重、所述掩膜图像、所述高斯图像确定第一系数，根据所述对称权重、所述掩膜图像、所述高斯图像经过左右翻转后的图像确定第二系数，包括：

根据下述公式确定第一系数、第二系数：

a＝W_org·*Wlr(1)

b＝W_sym·*Wlr(2)

W_org＝W_gauss·*W0_org

W_sym＝W_gauss′·*W0_org

W0_org＝1/exp(0.5+I_mask)

W0_sym＝1-W0_org

其中，a表示第一系数，b表示第二系数，Wlr(1)和Wlr(2)分别表示第一权重和第二权重，W_gauss表示高斯图像的像素矩阵，I_mask表示掩膜图像的像素矩阵，W_gauss′表示经过左右翻转后的高斯图像的像素矩阵。

4.如权利要求1所述的方法，其特征在于，在获取人脸图像，以及所述人脸图像对应的3D人脸数据之后，还包括：

确定所述人脸图像中的特征点；

在所述特征点之间进行插值，得到预设数量的特征点；

根据所述特征点在所述图像中的二维坐标，对所述预设数量的特征点进行2D到3D的映射，确定在3D人脸数据中与所述预设数量的特征点对应的点；

对所述3D人脸数据中的所述对应点进行N次三角剖分，N为大于等于1的整数；

所述确定在所述3D人脸数据中与所述人脸图像中的像素点对应的点，包括：

确定在建立所述人脸图像中的点与经过三角剖分后的3D人脸数据中的点的对应关系。

5.如权利要求1所述的方法，其特征在于，所述确定在所述3D人脸数据中与所述人脸图像中的像素点对应的点，包括：

确定所述人脸图像中的特征点；

根据所述特征点在所述图像中的二维坐标，对所述特征点进行2D到3D的映射，得到3D人脸特征点；

根据所述3D人脸特征点和3D人脸特征点模型估计投影矩阵；所述3D人脸特征点模型是预先根据多个人脸图像的3D人脸特征点得到的；

根据所述投影矩阵，确定在所述3D人脸数据中与所述人脸图像中的像素点对应的点。

6.一种人脸姿态校正装置，其特征在于，包括：

获取模块，用于获取人脸图像，以及所述人脸图像对应的3D人脸数据；

第一确定模块，用于确定在所述3D人脸数据中与所述人脸图像中的像素点对应的点；

获得掩膜图像模块，用于根据所述3D人脸数据中与所述人脸图像中像素点对应的点的法线方向，获得所述人脸图像的法线方向掩膜图像；

第二确定模块，用于根据所述掩膜图像确定所述人脸图像中人脸的对称权重；

校正模块，用于根据所述对称权重，对所述人脸图像中的人脸姿态进行校正；

其中，所述第二确定模块，具体用于：

对所述掩膜图像进行二值化；

将所述二值化后的图像沿中心线对称地分为第一子图像和第二子图像，分别计算所述第一子图像和所述第二子图像的像素值之和；

根据所述第一子图像和所述第二子图像的像素值之和的差值，确定所述人脸图像的第一子图像的第一权重和第二子图像的第二权重。

7.如权利要求6所述的装置，其特征在于，所述校正模块，具体用于：

对所述掩膜图像进行高斯核模糊处理，获得高斯图像；

根据所述对称权重、所述掩膜图像、所述高斯图像确定第一系数，根据所述对称权重、所述掩膜图像、所述高斯图像经过左右翻转后的图像确定第二系数；

将所述人脸图像的像素矩阵与所述高斯图像的像素矩阵进行点乘，得到第一像素矩阵；

将所述人脸图像的像素矩阵与所述第一系数进行点乘，得到第二像素矩阵；

将所述人脸图像进行左右翻转，将翻转后的图像的像素矩阵与所述第二系数进行点乘，得到第三像素矩阵；

将所述第一像素矩阵、第二像素矩阵、第三像素矩阵相加，得到校正后的人脸图像的像素矩阵。

8.如权利要求7所述的装置，其特征在于，所述校正模块，具体用于：

根据下述公式确定第一系数、第二系数：

a＝W_org·*Wlr(1)

b＝W_sym·*Wlr(2)

W_org＝W_gauss·*W0_org

W_sym＝W_gauss′·*W0_org

W0_org＝1/exp(0.5+I_mask)

W0_sym＝1-W0_org

其中，a表示第一系数，b表示第二系数，Wlr(1)和Wlr(2)分别表示第一权重和第二权重，W_gauss表示高斯图像的像素矩阵，I_mask表示掩膜图像的像素矩阵，W_gauss′表示经过左右翻转后的高斯图像的像素矩阵。

9.如权利要求6所述的装置，其特征在于，还包括：

3D人脸数据处理模块，用于确定所述人脸图像中的特征点；在所述特征点之间进行插值，得到预设数量的特征点；根据所述特征点在所述图像中的二维坐标，对所述预设数量的特征点进行2D到3D的映射，确定在3D人脸数据中与所述预设数量的特征点对应的点；对所述3D人脸数据中的所述对应点进行N次三角剖分，N为大于等于1的整数；

所述第一确定模块，具体用于确定在建立所述人脸图像中的点与经过三角剖分后的3D人脸数据中的点的对应关系。

10.如权利要求6所述的装置，其特征在于，第一确定模块，具体用于：

确定所述人脸图像中的特征点；

根据所述特征点在所述图像中的二维坐标，对所述特征点进行2D到3D的映射，得到3D人脸特征点；

根据所述3D人脸特征点和3D人脸特征点模型估计投影矩阵；所述3D人脸特征点模型是预先根据N个人脸图像的3D人脸特征点得到的；

根据所述投影矩阵，确定在所述3D人脸数据中与所述人脸图像中的像素点对应的点。