CN101299267A - 一种人脸图像处理方法及装置 - Google Patents

Abstract

本发明公开了一种人脸图像处理方法及装置。本发明方案将图像中的人脸区域在预先训练的主元空间进行投影，根据投影结果进行重构。由于预先训练的主元空间只保留了人脸图像的低频部分的分量，去除了高频部分，因此重构的人脸图像只包含图像中的低频分量，去除了高频分量。而在人脸图像中，低频部分通常包含亮度、肤色、姿态、脸形、表情等信息，高频部分通常包含斑点、皱纹、纹理粗细等细节信息。因此，通过将人脸图像在主元空间进行投影和重构，使人脸图像的肤色和纹理变得均匀，皱纹减弱，斑点消失等，从而达到了改善人脸图像、美化人脸的目的。由于本发明方案仅针对人脸图像部分进行处理，不会影响整幅图像的效果。

Description

一种人脸图像处理方法及装置

技术领域

本发明涉及图像处理技术，尤指一种人脸图像处理方法及装置。

背景技术

图像捕捉设备获取的图像通常需要经过亮度调整、去噪、边缘增强等处理，以使得到的图像具有合适的亮度、对比度等。目前，这些处理都是针对整个图像进行的。

人脸图像区域作为图像中的主要感兴趣区域，通常是人们最关心的区域。在不同的应用环境中，人们对图像的要求是不同的。在视频聊天等应用环境中，人们往往希望对人脸图像进行美化处理，减弱皱纹、消除色斑、平滑皮肤等。现有的人脸美化方法主要是调整人脸的亮度和肤色，这样，在改善人脸亮度和肤色的同时可能使得全图的亮度、色度变得让人无法接受。除此之外，还没有专门对人脸进行美化的方法。

发明内容

有鉴于此，本发明的主要目的在于提供一种人脸图像处理方法，能够保证在对人脸图像进行美化的同时，不影响整幅图像的效果。

本发明的另一目的在于提供一种人脸图像处理装置，能够保证在对人脸图像进行美化的同时，不影响整幅图像的效果。

为达到上述目的，本发明的技术方案具体是这样实现的：

一种人脸图像处理方法，该方法包括以下步骤：

A.对图像中的人脸图像进行关键点提取，并将提取的用以定位的关键点的人脸图像拉伸至标准形状；

B.在预先训练的主元空间投影标准形状的人脸图像，得到投影向量，并利用该投影向量在主元空间进行重构以获得重构的标准形状的人脸图像；

C.将重构得到的标准形状的人脸图像拉伸至原来的形状并贴回原图。

所述步骤A之前还包括：在图像中检测人脸区域。

所述步骤A中的关键点提取的方法为：活动形状模型，或活动外观模型，或活动轮廓模型。

所述步骤A中的拉伸方法为基于三角形的仿射变换：

先对所述人脸图像进行三角化处理，产生三角形网格，将人脸图像分割为一组互不相交的三角形；

然后将三角化后的人脸图像拉伸至一预设标准形状。

该方法还包括：预先训练标准形状人脸图像的主元空间；具体为：

选择合适的训练样本以构成训练图像集；定位人脸样本上的多个关键点；

将人脸样本进行三角化处理并拉伸至预设的标准形状得到标准形状的训练集；

对标准形状的训练样本集进行KL变换得到人脸的主元空间。

所述步骤B中得到投影向量的方法为：y＝P^TX，其中，

P表示由主元空间的基向量构成的特征矩阵，P的每一列为一个特征向量；

y表示投影向量；X表示拉伸到标准形状后的人脸图像，并排列成一个列向量。

所述步骤B中的重构的方法为：X′＝Py，其中，X′表示重构后的人脸图像，X′为一维向量，将X′进行重新排列得到二维人脸图像。

一种人脸图像处理装置，该装置包括：

人脸检测模块，用于从输入的图像中检测出人脸区域；

关键点提取模块，用于对检测出的人脸图像进行关键点提取，以定位人脸关键点，得到人脸关键点位置；

形状变换模块，用于将已定位关键点的人脸图像拉伸至标准形状；

主元空间处理模块，用于在预先训练的主元空间投影标准形状的人脸图像，得到投影向量，并利用该投影向量在主元空间进行重构以获得标准形状的人脸图像；

逆形状变换模块，用于将重构后的标准形状的人脸图像拉伸至原来的形状并贴回原图。

由上述技术方案可见，本发明这种人脸图像美化方法是对摄像头拍摄到的图像中的人脸区域进行处理，本发明通过人脸的主元分析和在主元空间的重构，使人脸区域的纹理更加平滑、亮度更加均匀，同时减弱人脸上的斑点、皱纹等，达到改善人脸图像、美化人脸的目的。由于本发明方案仅针对人脸图像部分进行处理，不会影响整幅图像的效果。

附图说明

图1是本发明方法的流程图；

图2是本发明关键点定义的示意图；

图3是本发明人脸拉伸三角化的结果实例图；

图4是本发明训练主元空间的过程示意图；

图5是本发明装置的组成结构示意图。

具体实施方式

本发明提出人脸图像美化方法，首先检测图像中是否存在人脸图像，如果存在，提取人脸的区域；将人脸区域在预先训练的主元空间进行投影，并根据投影结果进行重构。由于预先训练的主元空间只保留了人脸图像的低频部分的分量，去除了高频部分，因此重构的人脸图像只包含图像中的低频分量，去除了高频分量。而在人脸图像中，低频部分通常包含亮度、肤色、姿态、脸形、表情等信息，高频部分通常包含斑点、皱纹、纹理粗细等细节信息。因此，通过将人脸图像在主元空间进行投影和重构，使人脸图像的肤色和纹理变得均匀，皱纹减弱，斑点消失等，从而达到了改善人脸图像、美化人脸的目的。由于本发明方案仅针对人脸图像部分进行处理，不会影响整幅图像的效果。

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。

图1是本发明方法的流程图，包括以下步骤：

步骤100：在图像中检测人脸图像。

人脸检测是一种比较成熟的技术，现有实现方法很多，这里不再详细描述。在检测出图像中存在人脸时，获取图像中人脸的矩形区域。

为了保证人脸的矩形区域内包含有人脸的轮廓，可以适当放大人脸的矩形区域。

步骤101：对检测到的人脸图像进行关键点提取，以定位人脸关键点。

人脸关键点提取是定位人脸上的关键点，通常人脸的关键点具有一定的意义，如内外眼角点、鼻孔、嘴角、眉尖等。为了方便后续的图像拉伸，通常的关键点的个数可取几十个。本步骤可采用现有如活动形状模型(ASM，Active shape model)、活动外观模型(AAM，Active appearance model)、活动轮廓模型(ACM，Active contour model)等方法实现，这些方法可以有效用于人脸关键点的提取。

以ASM方法为例做大致介绍。ASM采用参数化的采样形状来构成对象形状模型，并利用主分量分析(PCA)方法建立描述形状控制点即关键点的运动模型，最后利用一组参数组来控制形状控制点的位置变化从而逼近当前对象的形状。具体来讲，ASM方法首先针对特定目标建立形状模型，然后对形状模型中的每个关键点，建立关键点附近的运动模型(灰度模型)；然后利用灰度模型在目标图像中搜索关键点的最佳位置，再根据搜索结果调整形状模型的参数以保证新形状还是人脸形状，最后利用灰度模型在新的形状周围搜索新的关键点位置，这样循环直到收敛。

关键点数量的选择需要考虑图像的具体情况，比如形状变化较大、信息密集的区域可以选择较多的关键点，形状变化较小的区域可以选择较少的关键点。图2是本发明关键点定义的示意图。

步骤102：将定位关键点的人脸图像拉伸至标准形状。

人脸拉伸是将人脸图像由一个形状拉伸到另一个形状。显然，人脸拉伸应该保证关键点拉伸后仍然是对应位置的关键点，比如，鼻尖关键点拉伸后仍然是拉伸后图像的鼻尖关键点。人脸拉伸的方法为基于三角形的仿射变换。

通常先进行图像的三角化，产生三角形网格，将人脸图像分割为一组互不相交的三角形。三角化的目标是把一幅图像分成若干个小的三角形，其要求是所有的三角形能够覆盖整个图像区域，且三角形之间不重叠。图3是本发明人脸三角化的结果实例图。三个关键点确定一个三角形，通过拉伸将一个三角形变成另一个三角形。每个三角形内的象素点按照同一个规则变化。通过三角形拉伸将图像由一个形状拉伸至另一个预设的标准形状。标准形状通常选择多个训练样本的平均形状。三角形拉伸的过程是一个仿射变换。

拉伸的公式如公式(1)所示：

$\left(\begin{array}{c}x\\ y\end{array}\right)=\left(\begin{array}{cc}a& b\\ c& d\end{array}\right)\left(\begin{array}{c}{x}_0\\ y_0\end{array}\right)+\left(\begin{array}{c}{o}_x\\ o_y\end{array}\right)---\left(1\right)$

其中，(x₀，y₀)为原图中的坐标，(x，y)为拉伸后的坐标，a，b，c，d，o_x，o_y为变换参数。将已知的两个三角形的6个顶点坐标代入公式(1)，可以得到一个多元一次方程组，通过求解这个方程组得到变换参数。得到变换参数后，将原图的坐标带入公式(1)，可以得到拉伸后的坐标。

步骤103：在预先训练的主元空间投影标准形状的人脸图像，得到投影向量，并利用该投影向量在主元空间进行重构以获得重构的标准形状的人脸图像。

在图像处理中，主元分析是统计模式识别中将数据从高维空间映射到低维空间的数据降维的标准方法。主元分析通过降维寻找图像数据的主要统计特征，从而达到增强图像有用信息，减少噪声的影响。主元分析能够根据对象的分布寻找一组相互正交的基函数，使得这组基函数指向具有最大数据分布方差的方向。

除了主元分析，还存在其他的数据降维的方法，如独立分量分析、小波分析等。与这些方法相比，主元分析具有相关性好，且为均方误差意义下的最佳变换。

在人脸图像中，可以认为人脸上的斑点、小皱纹等非普遍的特点是噪声，采用主元分析的方法可以去除这种噪声，保留人脸上其它的特征，从而美化了人脸。通过主元分析的方法，把训练图像拉伸到标准形状后，不同的人脸按照关键点进行了对准。此时，训练图像的主要能量集中在亮度差异、表情差异等方向，而皱纹、斑点等由于不具有普遍性或者无法精确对准，不具有较大的能量，因此很难在主元空间中表现出来，从而达到了减弱设置消除人脸上的斑点、小皱纹等非普遍特点的噪声。

要采用主元分析方法，首先要训练主元空间，图4是本发明训练主元空间的过程示意图，如图4所示，

首先，训练主元空间需要选择合适的训练样本以构成训练图像集。为了使主元空间反映美化的人脸图像具有主要的能量方向，用来训练主元空间的人脸图像样本通常选取亮度均匀、肤色均匀、纹理一致、无明显缺陷等特点的人脸图像。

其次，将选择的人脸图像样本先进行对准，如采用ASM的方法定位人脸样本上的多个关键点；

然后，采用基于三角形的拉伸方法将人脸区域进行三角化，将人脸拉伸到预设的标准形状，得到标准形状的训练集。此时，拉伸到标准形状的人脸图像的位置相同的象素具有相同的意义，比如同是眼角点、嘴角点等。标准形状通常可以选择训练样本的平均形状。

如此，多个标准形状的训练样本通过KL变换(其中，KL是两个名字Karhunen和Loeve的首字母)得到人脸的主元空间，主元空间的基向量构成特征矩阵P，P的每一列为一个特征向量。训练得到的主元空间的第一维反应的是训练样本中能量最大的方向，第二维反映的是能量次大的方向，其它维依次类推。预先训练的主元空间只保留了人脸图像的低频部分的分量，去除了高频部分。

得到预先训练的主元空间后，将拉伸到标准形状后的人脸图像排列成一个列向量X，X的维数通常为几千维到几万维，投影向量y的计算方法为：y＝P^TX，y的维数通常为几十维。可以看出，将图像映射到主元空间，类似为一个低通滤波，大大降低了人脸数据的维数，只保留了低频部分的分量。

有了人脸图像在主元空间的投影向量y后，最后通过X′＝Py重构人脸图像X′。X′为一维向量，将X’进行重新排列得到二维人脸图像，即重构得到的标准形状的人脸图像。

从本步骤的实现可以看出，重构图像与进行主元空间投影的图像的差异是：E＝X-X′，损失的是非主元空间中的能量，这些能量反映的是人脸图像中的特殊点，比如人脸上的斑点、小皱纹等瑕疵，同时，低通率波具有平滑人脸的纹理、减弱亮度突变的效果，从而重构图像实现了人脸美化的目的。

步骤104：将重构后的标准形状的人脸图像拉伸回原来的形状并贴回原图。

将重构得到的人脸图像拉伸到原来的形状并贴回原图，完成人脸美化的过程。本步骤是步骤102的逆过程，具体实现属于现有方法，这里不再赘述。

由于预先训练的主元空间只保留了人脸图像的低频部分的分量，去除了高频部分，因此重构的人脸图像只包含图像中的低频分量，去除了高频分量。而在人脸图像中，低频部分通常包含亮度、肤色、姿态、脸形、表情等信息，高频部分通常包含斑点、皱纹、纹理粗细等细节信息。因此，通过将人脸图像在主元空间进行投影和重构，使人脸图像的肤色和纹理变得均匀，皱纹减弱，斑点消失等，从而达到了改善人脸图像、美化人脸的目的。

图5是本发明装置的组成结构示意图，如图5所示，主要包括人脸检测模块、关键点提取模块、拉伸模块、主元空间处理模块、逆拉伸模块，以及预先训练好的主元空间存储模块。其中，

人脸检测模块，用于从输入的图像中检测出人脸区域。

关键点提取模块，用于对检测出的人脸图像进行关键点定位，以得到人脸关键点位置。

形状变换模块，用于将已定位关键点的人脸图像拉伸至标准形状。

主元空间处理模块，用于在预先训练的主元空间投影标准形状的人脸图像，得到投影向量，并利用该投影向量在主元空间进行重构以获得标准形状的人脸图像。

逆形状变换模块，用于将重构后的标准形状的人脸图像拉伸至原来的形状并贴回原图。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种人脸图像处理方法，其特征在于，该方法包括以下步骤：

A.对图像中的人脸图像进行关键点提取，并将提取的用以定位的关键点的人脸图像拉伸至标准形状；

B.在预先训练的主元空间投影标准形状的人脸图像，得到投影向量，并利用该投影向量在主元空间进行重构以获得重构的标准形状的人脸图像；

C.将重构得到的标准形状的人脸图像拉伸至原来的形状并贴回原图。

2.根据权利要求1所述的人脸图像处理方法，其特征在于，所述步骤A之前还包括：在图像中检测人脸区域。

3.根据权利要求1或2所述的人脸图像处理方法，其特征在于，所述步骤A中的关键点提取的方法为：活动形状模型，或活动外观模型，或活动轮廓模型。

4.根据权利要求1或2所述的人脸图像处理方法，其特征在于，所述步骤A中的拉伸方法为基于三角形的仿射变换：

先对所述人脸图像进行三角化处理，产生三角形网格，将人脸图像分割为一组互不相交的三角形；

然后将三角化后的人脸图像拉伸至一预设标准形状。

5.根据权利要求1或2所述的人脸图像处理方法，其特征在于，该方法还包括：预先训练标准形状人脸图像的主元空间；具体为：

选择合适的训练样本以构成训练图像集；定位人脸样本上的多个关键点；

将人脸样本进行三角化处理并拉伸至预设的标准形状得到标准形状的训练集；

对标准形状的训练样本集进行KL变换得到人脸的主元空间。

6.根据权利要求5所述的人脸处理方法，其特征在于，所述步骤B中得到投影向量的方法为：y＝P^TX，其中，

P表示由主元空间的基向量构成的特征矩阵，P的每一列为一个特征向量；

y表示投影向量；X表示拉伸到标准形状后的人脸图像，并排列成一个列向量。

7.根据权利要求6所述的人脸处理方法，其特征在于，所述步骤B中的重构的方法为：X′＝Py，其中，X′表示重构后的人脸图像，X′为一维向量，将X′进行重新排列得到二维人脸图像。

8.一种人脸图像处理装置，其特征在于，该装置包括：

人脸检测模块，用于从输入的图像中检测出人脸区域；

关键点提取模块，用于对检测出的人脸图像进行关键点提取，以定位人脸关键点，得到人脸关键点位置；

形状变换模块，用于将已定位关键点的人脸图像拉伸至标准形状；

主元空间处理模块，用于在预先训练的主元空间投影标准形状的人脸图像，得到投影向量，并利用该投影向量在主元空间进行重构以获得标准形状的人脸图像；

逆形状变换模块，用于将重构后的标准形状的人脸图像拉伸至原来的形状并贴回原图。

Images