CN102663413A - 一种面向多姿态和跨年龄的人脸图像认证方法 - Google Patents

Abstract

本发明公开了面向多姿态和跨年龄的人脸图像认证方法，包含如下步骤：快速人脸检测；关键点定位；人脸对齐；过滤非人脸区域；分块提取人脸特征；特征降维；模型预测；本发明能够进行人脸图像的对齐，实现对多姿态人脸图像的自动矫正，提高算法准确率，此外，本发明中特征提取和降维模块对人脸的年龄变化具有鲁棒性，因此具有较高的使用价值。

Description

一种面向多姿态和跨年龄的人脸图像认证方法

技术领域

本发明属于人脸图像处理领域，特别是一种面向多姿态和跨年龄的人脸图像认证方法。

背景技术

随着科学技术的不断进步以及社会各方面对于快速有效的自动身份验证的迫切需要，生物特征识别技术在近几十年中得到了飞速的发展和应用，其中人脸识别技术吸引了大批研究者。人脸识别技术应用非常广泛，比如协助公安部门刑侦破案，机器自动进行身份验证，视频监控跟踪识别，人脸面部表情分析等等。当前很多国家展开了有关人脸识别的研究。尽管人脸识别研究发展迅速，但目前的人脸识别技术还存在着一些问题，比如受周围光线的影响较大，人脸姿态和年龄带来的变化会对识别率造成影响；另外人体面部的头发、饰物等遮挡物，人脸变老等因素，需要进行人工智能补偿；还有人的表情变化也会影响识别。目前的研究热点也是针对如何解决上述问题。一个典型的人脸识别系统应包括人脸检测和抽取模块、人脸预处理模块、特征提取模块和人脸识别模块。快速精准的人脸检测和良好的预处理过程能在一定程度上消除外部光照、遮挡等因素的影响，改善人脸识别效果。

发明内容

发明目的：本发明为了解决现有技术中的问题，提出了一种面向多姿态和跨年龄的人脸图像认证方法，从而有效确认两个人脸图像是否属于同一个人。

发明内容：本发明公开了面向多姿态和跨年龄的人脸图像认证方法，包含如下步骤：

步骤1，快速人脸检测：对给定的两张图像各自进行快速人脸图像检测，根据检测到的人脸图像，初始化各人脸图像中的关键点；

步骤2，关键点定位：根据局部灰度统计模型对每个关键点搜索所有局部最优点，根据各个局部最优点的坐标，利用人脸形状模型产生新的形状中的主成分线性组合，产生一个新的人脸形状向量代替原来的人脸形状向量，反复迭代直到人脸形状向量变化小于阈值T₁，0＜T₁＜50，根据不同的人脸图像大小，人脸图像越大，T₁的值越大，完成关键点定位；一个人脸图像的所有关键点组成一个人脸形状向量；

步骤3，人脸对齐：对两个人脸形状向量计算对齐变换参数组(θ，s，t)，并根据参数将图像进行变换，对齐人脸；θ为旋转角度，s为缩放比例，t为平移的位移；

步骤4，过滤非人脸区域：将两张图像中人脸图像内的部分保留，去除人脸图像外的部份；

步骤5，分块提取人脸特征：将上步骤处理后的图像分块，分别提取每块GOP特征，(Gradient Orientation Pyramid，GOP)梯度方向金字塔，根据两张人脸图像对应分块的GOP特征计算差异特征向量；

步骤6，特征降维：利用主成分分析法对各个分块的差异特征向量分别进行降维；

步骤7，模型预测：重复步骤1～6，得到不同分块降维后的差异特征向量；

根据人脸分类模型预测所有差异特征向量的类别；

加权求和输出人脸图像认证结果，对人脸不同区域的分类得分进行加权求和，得到最终得分。本发明考虑年龄、表情变化对人脸不同部分的影响程度不同，眼睛、鼻子、脸颊、嘴和下巴各部分的权值分别设为：0.2、0.3、0.1、0.2、0.2；。

步骤3人脸对齐具体包括如下步骤：

根据两个人脸形状向量，即两个人脸图像的关键点的集合，第i个人脸形状向量记为：

X_i＝(x_i1，y_i1，x_i2，y_i2，…x_in，y_in)^T，

其中(x_ij，y_ij)表示第i个人脸图像第j个关键点的坐标，其中j为1～n中的任一数值，n为关键点个数，本发明优选76个，T表示矩阵的转置；

给定人脸图像a和人脸图像b，其形状分别为X_a＝(x_a1，y_a1，x_a2，y_a2，…x_an，y_an)^T和X_b＝(x_b1，y_b1，x_b2，y_b2，…x_bn，y_bn)^T；

找到参数组(θ，s，t)，使E＝(X_a-M(s，θ)[X_b]-t)^TW(X_a-M(s，θ)[X_b]-t)最小；一个人脸形状向量的转换用M(s，θ)[X_i]+t表示，其中：

$M(s,\mathrm{\θ})=\left[\begin{array}{c}{x}_{\mathrm{ij}}\\ y_{\mathrm{ij}}\end{array}\right]=\left(\begin{array}{c}\left(s\cos \mathrm{\θ}\right)x_{\mathrm{ij}}-\left(s\sin \mathrm{\θ}\right)y_{\mathrm{ij}}\\ \left(s\sin \mathrm{\θ}\right)x_{\mathrm{ij}}+\left(s\cos \mathrm{\θ}\right)y_{\mathrm{ij}}\end{array}\right),$ t＝(t_x，t_y，…，t_x，t_y)^T，

W是每个关键点的权值(w₁，w₂，…，w_n)组成的对角矩阵，t_x，t_y分别为关键点x，y坐标对应的位移。在最小化E的过程中，对每个参数求微分即可得到结果，根据得到的参数对人脸图像进行转换，使两个人脸保持最大程度的位置对应，过程如下：令scosθ＝a_x，ssinθ＝a_y，对a_x，a_y，t_x，t_y各自求微分，使E最小，得到如下四个等式：

$\left\{\begin{array}{c}{B}_x{a}_x-B_y{a}_y+{\mathrm{Wt}}_x=A_x\\ B_y{a}_x+B_x{a}_y+{\mathrm{Wt}}_y=A_y\\ {\mathrm{Za}}_x+B_x{t}_x+B_y{t}_y{=C}_1\\ {\mathrm{Za}}_y-B_y{t}_x+B_x{t}_y=C_2\end{array}\right.$

其中 $A_x=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{w}_k{x}_{\mathrm{ak}},$ $B_x=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{w}_k{x}_{\mathrm{bk}},$ $A_y=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{w}_k{y}_{\mathrm{ak}},$ $B_y=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{w}_k{y}_{\mathrm{bk}},$

$Z=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{w}_k({x_{\mathrm{bk}}}^2+{y_{\mathrm{bk}}}^2),W=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{w}_k,$ $C_1=\underset{k=0}{\overset{n}{\mathrm{\Σ}}}{w}_k(x_{\mathrm{ak}}{x}_{\mathrm{bk}}+y_{\mathrm{ak}}{y}_{\mathrm{bk}}),$

通过解方程计算即可得到转换参数组(θ；s；t)，再对图像进行转换。

步骤4过滤非人脸区域包括：对图像进行灰度化和直方图均衡化，并根据步骤2关键点定位的结果，选取人脸轮廓关键点的均值作为过滤器，将人脸图像中人脸轮廓关键点以外的像素去除，保留人脸图像中人脸轮廓关键点以内的像素。

步骤5分块提取人脸特征包括以下步骤：

将人脸图像分块，在不同尺度对人脸图像各分块分别提取梯度方向特征，得到梯度方向金字塔，用这种分层的方法表示人脸图像；

将人脸图像分块I的GOP特征定义为：

p为人脸图像像素坐标，σ为尺度，g为梯度方向；

其中：

$g\left(I(p;\mathrm{\σ})\right)=\▿\left(I(p,\mathrm{\σ})\right)/|\▿\left(I(p,\mathrm{\σ})\right)|,$

I(p；σ)＝[I(p；σ-1)*Φ(p)]↓₂，σ＝1，2，…，s，

I(p；0)＝I(p)，

p＝(x，y)是人脸图像像素坐标，Φ(p)是高斯核，↓₂表示二分之一大小的降采样，s是金字塔的层数。

得到两张人脸图像分块的GOP特征后，将两个人脸图像的差异特征向量X表示为：X＝F(I₁，I₂)＝(…，f(I₁(p；σ)，I₂(p；σ))，…)^T，其中，I₁，I₂分别表示一张人脸图像分块，F为方向余弦函数，f(I₁(p；σ)，I₂(p；σ))＝g(I₁(p；σ))·g(I₂(p；σ))为不同尺度下人脸图像每个像素点对应GOP特征的方向余弦。

步骤7中通过调用人脸分类模型进行模型预测，训练人脸分类模型包括如下步骤：

对同一个人的两张人脸图像中任意一部分图像块提取特征，计算差异特征向量，并降维，将降维后的差异特征向量作为正例；

对两张来源于不同人的人脸图像中任意一部分图像块提取特征，计算差异特征向量，并降维，将降维后的差异特征向量作为反例；

训练上述所有人脸图像块对应的分类模型；

训练所有人脸图像的人脸图像块，得到人脸分类模型。

本发明是专门针对多姿态和跨年龄人脸图像认证而提出的方法。人脸认证是人脸识别方法的一种，用于认证两张人脸是否是同一个人。本发明具有以下特征：1)在检测人脸之后，设计了对人脸的关键点定位，关键点定位使不同人脸相同部分的位置对应关系更加明确，此外，比起其他点，关键点附近的特征更容易用来表示人脸；2)专门设计了对人脸姿态的矫正过程，使人脸姿态保持正面，消除人脸倾斜、大小、姿态不同给识别率带来的影响，提高准确率；3)运用PCA技术降低特征维数，避免识别过程中数据维数太高带来的影响。本发明可直接用于摄像头或其他设备拍摄的人脸图像的认证。

有益效果：本发明能够进行人脸图像的对齐，实现对多姿态人脸图像的自动矫正，提高算法准确率，此外，本发明中特征提取和降维模块对人脸的年龄变化具有鲁棒性，因此具有较高的使用价值。

附图说明

图1为本发明流程图。

图2为本发明中关键点定位步骤子流程图。

图3为本发明中对齐步骤子流程图。

图4为本发明中分类步骤子流程图。

具体实施方式：

如图1所示，本发明公开了本发明公开了面向多姿态和跨年龄的人脸图像认证方法，包含如下步骤：

步骤1，快速人脸检测：对给定的两张图像各自进行快速人脸图像检测，根据检测到的人脸图像，初始化各人脸图像中的关键点；

步骤2，关键点定位：根据局部灰度统计模型对每个关键点搜索所有局部最优点，根据各个局部最优点的坐标，利用人脸形状模型产生新的形状中的主成分线性组合，产生一个新的人脸形状向量代替原来的人脸形状向量，反复迭代直到人脸形状向量变化小于阈值T₁，完成关键点定位；一个人脸图像的所有关键点组成一个人脸形状向量；

步骤3，人脸对齐：对两个人脸形状向量计算对齐变换参数组(θ；s；t)，并根据参数将图像进行变换，对齐人脸；θ为旋转角度，s为缩放比例，t为平移的位移；

步骤4，过滤非人脸区域：将两张图像中人脸图像内的部分保留，去除人脸图像外的部份；

步骤5，分块提取人脸特征：将上步骤处理后的图像分块，分别提取每块GOP特征，根据两张人脸图像对应分块的GOP特征计算差异特征向量；

步骤6，特征降维：利用主成分分析法对各个分块的差异特征向量分别进行降维；

步骤7，模型预测：重复步骤1～6，得到不同分块降维后的差异特征向量；

根据人脸分类模型预测所有差异特征向量的类别；

加权求和输出人脸图像认证结果。

步骤1中人脸检测可以使用类Haar特征，类Haar特征是一种矩形对特征，描述图像模式相邻区域的特征差异。类Haar的每个特征由2～3个矩形组成，分别检测边缘和线性特征。这些矩形特征的特征值的计算为白色子区域所包含的像素值和减去黑色子区域所包含的像素值的和。分类过程使用Cascade框架，Cascade框架由多个结点分类器构成的树形分类器，能在前几步就筛选掉大部分不是人脸的数据，直到最后留下的是人脸数据。这种结构缓和了人脸检测这种少数正例发生的不对称性，大大缩短了训练时间。Cascade框架中的某个结点分类器，表示通过级联的方式对非人脸和人脸进行分类。

步骤2关键点定位流程如图2所示，步骤10是对训练集进行人脸关键点的标注，得到已标记的人脸训练集，关键点一般设置为人脸器官的边界或中心，例如人眼的边界、人眼中心、鼻子的边界，本发明设置76个关键点，其中左右眼各9个、左右眉各6个、鼻子12个、嘴19个、15个人脸轮廓，；步骤11是对标记的人脸形状向量集合求均值，得到一个平均人脸形状向量；步骤12是利用关键点周围的灰度信息，对每个关键点训练一个局部灰度统计模型，用于测试集中关键点的局部搜索；步骤13是训练一个人脸形状模型，该模型描述人脸形状的整体特征；步骤14是对人脸图像进行人脸检测；步骤15在人脸范围内，用人脸形状向量均值作为关键点的初始搜索位置；步骤16是利用局部灰度统计模型，在每个关键点邻域内搜索局部最优关键点；步骤17是根据每个局部最优点，利用人脸形状模型生成一个新的关键点集合，代替上一步的关键点位置；步骤18是判断搜索是否收敛，当关键点的位移变化之和小于阈值T₁时，0＜T₁＜50，根据不同的人脸图像大小，人脸图像越大，T₁的值越大，搜索结束，得到最终的关键点位置。

步骤3人脸对齐具体包括如下步骤：

根据两个人脸形状向量，即两个人脸图像的关键点的集合，第i个人脸形状向量记为：

X_i＝(x_i1，y_i1，x_i2，y_i2，…x_in，y_in)^T，

其中(x_ij，y_ij)表示第i个人脸图像第j个关键点的坐标，其中j为1～n中的任一数值，n为关键点个数优选76个，T表示矩阵的转置；

给定人脸图像a和人脸图像b，其形状分别为X_a＝(x_a1，y_a1，x_a2，y_a2，…x_an，y_an)^T和X_b＝(x_b1，y_b1，x_b2，y_b2，…x_bn，y_bn)^T；

找到参数组(θ，s，t)，使E＝(X_a-M(s，θ)[X_b]-t)^TW(X_a-M(s，θ)[X_b]-t)最小；一个人脸形状向量的转换用M(s，θ)[X_i]+t表示，其中：

$M(s,\mathrm{\θ})=\left[\begin{array}{c}{x}_{\mathrm{ij}}\\ y_{\mathrm{ij}}\end{array}\right]=\left(\begin{array}{c}\left(s\cos \mathrm{\θ}\right)x_{\mathrm{ij}}-\left(s\sin \mathrm{\θ}\right)y_{\mathrm{ij}}\\ \left(s\sin \mathrm{\θ}\right)x_{\mathrm{ij}}+\left(s\cos \mathrm{\θ}\right)y_{\mathrm{ij}}\end{array}\right),$ t＝(t_x，t_y，…，t_x，t_y)^T，

W是每个关键点的权值(w₁，w₂，…，w_n)组成的对角矩阵，t_x，t_y分别为关键点x，y坐标对应的位移。在最小化E的过程中，对每个参数求微分即可得到结果，根据得到的参数对人脸图像进行转换，使两个人脸保持最大程度的位置对应，过程如下：令scosθ＝a_x，ssinθ＝a_y，对a_x，a_y，t_x，t_y各自求微分，使E最小，得到如下四个等式：

$\left\{\begin{array}{c}{B}_x{a}_x-B_y{a}_y+{\mathrm{Wt}}_x=A_x\\ B_y{a}_x+B_x{a}_y+{\mathrm{Wt}}_y=A_y\\ {\mathrm{Za}}_x+B_x{t}_x+B_y{t}_y{=C}_1\\ {\mathrm{Za}}_y-B_y{t}_x+B_x{t}_y=C_2\end{array}\right.$

其中 $A_x=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{w}_k{x}_{\mathrm{ak}},$ $B_x=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{w}_k{x}_{\mathrm{bk}},$ $A_y=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{w}_k{y}_{\mathrm{ak}},$ $B_y=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{w}_k{y}_{\mathrm{bk}},$

$Z=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{w}_k({x_{\mathrm{bk}}}^2+{y_{\mathrm{bk}}}^2),W=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{w}_k,$ $C_1=\underset{k=0}{\overset{n}{\mathrm{\Σ}}}{w}_k(x_{\mathrm{ak}}{x}_{\mathrm{bk}}+y_{\mathrm{ak}}{y}_{\mathrm{bk}}),$ 通过解方程计算即可得到对齐变换参数组(θ；s；t)，再对图像进行转换。

步骤3流程如图3所示，步骤19是对人脸图像a和人脸图像b分别定位关键点；步骤20是提取人脸形状向量，即关键点集合；步骤21是通过最小化E＝(X_a-M(s，θ)[X_b]-t)^TW(X_a-M(s，θ)[X_b]-t)，解出参数组(θ；s；t)的值；步骤22是以转换人脸图像b为例，根据参数(θ；s；t)，将人脸图像b按照公式M(s，θ)[X_b]+t进行转换，使人脸图像b和人脸图像a中的人脸形状向量保持最大程度的相似，其中X_b是人脸图像b中人脸的形状向量。

步骤4过滤非人脸区域包括：对图像进行灰度化和直方图均衡化，并根据步骤2关键点定位的结果，选取人脸轮廓关键点的均值作为过滤器，将人脸图像中人脸轮廓关键点以外的像素去除，保留人脸图像中人脸轮廓关键点以内的像素。步骤4是选取的人脸轮廓关键点的均值，作为过滤器；利用过滤器对人脸图像进行过滤，保留人脸的像素，去除背景像素。

步骤5分块提取人脸特征包括以下步骤：

将人脸图像分块，在不同尺度对人脸图像各分块分别提取梯度方向特征，得到梯度方向金字塔，用这种分层的方法表示人脸图像；

将人脸图像分块I的GOP特征定义为：

p为人脸图像像素坐标，σ为尺度，g为梯度方向；其中：

$g\left(I(p;\mathrm{\σ})\right)=\▿\left(I(p,\mathrm{\σ})\right)/|\▿\left(I(p,\mathrm{\σ})\right)|,$

I(p；σ)＝[I(p；σ-1)*Φ(p)]↓₂，σ＝1，2，…，s，

I(p；0)＝I(p)，

p＝(x，y)是人脸图像像素坐标，Φ(p)是高斯核，↓₂表示二分之一大小的降采样，s是金字塔的层数。

得到两张人脸图像分块的GOP特征后，将两个人脸图像的差异特征向量X表示为：X＝F(I₁，I₂)＝(…，f(I₁(p；σ)，I₂(p；σ))，…)^T，其中，I₁，I₂分别表示一张人脸图像分块，F为方向余弦函数，f(I₁(p；σ)，I₂(p；σ))＝g(I₁(p；σ))·g(I₂(p；σ))为不同尺度下人脸图像每个像素点对应GOP特征的方向余弦。

步骤7中通过调用人脸分类模型进行模型预测，训练人脸分类模型包括如下步骤：

对同一个人的两张人脸图像中任意一部分图像块提取特征，计算差异特征向量，并降维，将降维后的差异特征向量作为正例；降维采用主成分分析法(Principal ComponentAnalysis，PCA)。

对两张来源于不同人的人脸图像中任意一部分图像块提取特征，计算差异特征向量，并降维，将降维后的差异特征向量作为反例；

训练上述所有人脸图像块对应的分类模型；

训练所有人脸图像的人脸图像块，得到人脸分类模型。

步骤7中通过调用人脸分类模型进行模型预测流程如图4所示，步骤23是根据已标记关键点的人脸训练集对人脸图像进行分块，将人脸的眼睛、鼻子、脸颊、嘴和下巴分为不同的图像块；步骤24分别对所述人脸图像分块提取GOP差异特征向量；步骤25对每个人脸图像分块分别训练一个分类模型，得到模型参数；步骤26中对测试图像分块提取的特征，利用每块对应的分类模型进行预测，得到预测标签；步骤27是将不同块预测的结果加权求和，得到整张人脸的预测结果。

实施例：

本实施例包括以下部分：

1.快速人脸检测：

人脸检测部分运用了快速人脸检测算法，达到了快速、准确找出目标图片中人脸区域的要求。

这种算法是基于类Haar特征的学习算法。为了快速计算类Haar特征的特征值，引入了积分图，一副图像只要计算一次积分图，利用积分图，通过简单的加减法即可快速得到任意一个类Haar特征的特征值。。对于图像中一点p1(p_x，p_y)，该点的积分图定义为从图像坐标(0，0)到坐标(p_x，p_y)的矩形区域内像素值之和：

$S_{P1}=\underset{m=1}{\overset{p_x}{\mathrm{\Σ}}}\underset{n=1}{\overset{p_y}{\mathrm{\Σ}}}g(m,n)$

其中g(m，n)为像素点(m，n)处的值。

快速人脸检测算法的主要思想是将一个特征作为一个弱分类器训练，把训练得到的多个弱分类器按照特定的方式组合成一个结点分类器，保证每个结点分类器有不超过50％的将反例分类为正例的比率，以及很高的检测率。最后将结点分类器级联成Cascade框架型的级联分类器。就能得到一个快速收敛的分类器。参见文献严云洋，郭志波，杨静宇.基于特征空间划分的AdaBoost人脸检测算法[J]小型微型计算机系统，2007，11：2106-2109.

给出了弱分类器的训练方法。

规定一个结点分类器由M个弱分类器组成，结点分类器初始化为空集，第一轮选择分类错误率最低的弱分类器加入结点分类器；第二轮将剩余的弱分类器逐个加入当前结点分类器，计算错误分类率，再从当前结点分类器中删除，选择能使当前结点分类器有最小错误率的一个弱分类器加入；第三轮过程与第二轮相同；直到完成第M轮。如此便构成了一个结点分类器。调整阈值使结点分类器满足要求，即有不超过50％的将反例分类为正例的比率，以及很高的检测率。

2.人脸图像关键点定位：

利用主动形状模型(Active Shape Models，ASM)对人脸关键点定位，本模块主要分为两个步骤：模型训练和关键点搜索。

在训练模型过程中用到了主成分分析(principal component analysis，PCA)。

主成分分析是将分散在一组变量上的信息集中到某几个综合指标(主成分)上的探索性统计分析方法，利用主成分描述数据集的内部结构，实际上起着数据降维的作用，该方法选择原数据协方差矩阵前几个最大特征值对应的特征向量构成一组基，以达到最佳表征原数据的目的。考虑n维空间中的向量x，为了降低维数，需要用一个m维的向量x′来近似模拟，其中m＜n，也就是寻找一个变换f：Rⁿ→R^m。PCA技术使用如下形式的变换：

y＝W^T(x-μ)

其中μ为随机向量x的期望μ＝E[x]，W＝(w₁，w₂，…w_m)为一个n×m的变换矩阵。假设x为零均值的，则

PCA变换的目标是在上述约束条件下，寻找使得|y_i|²最大的各个w_i，也就是希望最大程度的保持x原有的差异。以上优化问题的目标函数是：

$E_i=\frac{\underset{i=1}{\overset{D}{\mathrm{\Σ}}}{\left|y_i\right|}^2}{D}=\frac{\underset{i=1}{\overset{D}{\mathrm{\Σ}}}{y}_i{y}_i}{D}=\frac{\underset{i=1}{\overset{D}{\mathrm{\Σ}}}{w}_i^T{\mathrm{xx}}^T{w}_i}{D}=w_i^T{\mathrm{Cw}}_i$

其中D为训练样本数，

是x的协方差矩阵的基于x₁，x₂，…，x_D的值。为了求目标函数的最大值，使用拉格朗日乘子法，

$0=\frac{\∂(E_i+{\mathrm{\λ}}_i(1-w_i^T{w}_i))}{{\∂w}_i}={2\mathrm{Cw}}_i-{2\mathrm{\λ}}_i{w}_i$

当Cw_i＝λw_i时目标函数取最大值。因此，w_i应当取为C的特征向量，λ_i为与该特征向量对应的特征值。依据特征值排序为λ₁≥λ₂≥...≥λ_n，他们对应的特征向量分别为w₁，w₂，...w_n，则取最前面的m个向量w₁，w₂，...w_m组成PCA变换矩阵。出于数值计算方面的考虑，通常使用奇异值分解(SVD，Singular Value Decomposition)来计算前m个主成分。

训练模型：关键点定位主要训练人脸形状模型和局部灰度统计模型。训练集是已标记关键点的人脸数据集，，一张人脸的所有关键点组成一个人脸形状向量x_i，它是一个2×n维向量：

x_i＝(x_i1，y_i1，x_i2，y_i2，…，x_in，y_in)^T，i＝1，2，…，N

其中(x_ij，y_ij)是第i个训练样本上第j个特征点的坐标。n是人脸形状模型的点数，N是训练样本的个数。将训练集中的若干形状组合，并通过主成分分析，训练得到形状子空间，则任意的人脸形状向量可表示为：

$x=\stackrel{\‾}{x}+\mathrm{Pb}$

其中：P＝(p₁，p₂，…p_t)是PCA得到的前t个特征向量组成的矩阵，称为子空间，b＝(b₁，b₂，…b_t)^T是任意人脸在子空间的投影系数，通过改变b可以得到不同的人脸形状向量，至此完成了人脸形状模型的建立。

对于人脸的某个特定关键点，它周围的特征分布应该是相似的。在标记关键点的人脸数据集中每幅人脸图像的每个关键点，经过此点，沿其临近点垂直方向上取k个像素的灰度微分并对其标准化，将这个向量作为局部灰度信息。在训练局部灰度统计模型时，对所有N个样本图像的第j个关键点提取灰度特征，记为g_ij，然后对其标准化：

$g_{\mathrm{ij}}^{\′}=\frac{g_{\mathrm{ij}}}{\underset{t=1}{\overset{k}{\mathrm{\Σ}}}\left|g_{\mathrm{ij}}\left(k\right)\right|}$

其中g_ij(k)表示g_ij的第k个像素灰度微分。对每张人脸的第j个关键点计算标准化特征，得到第j个关键点的训练集，用样本均值和样本协方差估计均值和协方差矩阵。样本均值

和样本协方差矩阵∑_j计算如下：

$\stackrel{\‾}{l_j}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{g}_{\mathrm{ij}}^{\′}$

${\mathrm{\Σ}}_j=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(g_{\mathrm{ij}}^{\′}-\stackrel{\‾}{l_j}){(g_{\mathrm{ij}}^{\′}-\stackrel{\‾}{l_j})}^T$

对每个关键点都计算这样的统计模型，至此，局部灰度统计模型训练完成。

关键点搜索：首先通过快速人脸检测算法找到人脸区域，然后在人脸区域内给出关键点的初始位置，即初始形状，一般用人脸形状模型的中心，即标记关键点的人脸数据集中人脸形状向量的平均值作为初始位置。给定初始位置后，通过迭代算法找到各关键点的准确位置，过程如下：

1)搜索每个关键点的邻域，找到本轮搜索的最优点。在某个邻域点计算局部灰度特征g，通过计算马氏距离：

$f\left(g\right)=(g-\stackrel{\‾}{l_j}){{\mathrm{\Σ}}_j}^{-1}{(g-\stackrel{\‾}{l_j})}^T$

其中∑_j ^-1+是∑_j的逆矩阵，把马氏距离最小的认为本轮搜索最优关键点的位置；

2)根据所有关键点的位移，通过人脸形状模型生成一个新的形状，代替原来的形状；

3)返回步骤1)，直到人脸形状向量变化小于阈值T₁。。

搜索结束后得到了人脸关键点的位置，完成关键点定位。

3.人脸对齐：

人脸图像在认证过程中，需要确认人脸位置的对应关系，因此，本发明利用定位的人脸关键点来对齐人脸，使人脸位置关系保持最大程度的对应。给定两个人脸形状向量，即关键点的集合，第i个人脸的形状记为：

X_i＝(x_i1，y_i1，x_i2，y_i2，…x_in，y_in)^T

其中(x_ij，y_ij)表示第i个人脸第j个关键点的坐标，j为1～n中的任一数值，n为关键点个数，T表示矩阵的转置。给定人脸图像a和人脸图像b，其形状分别为X_a＝(x_a1，y_a1，x_a2，y_a2，…x_an，y_an)^T和X_b＝(x_b1，y_b1，x_b2，y_b2，…x_bn，y_bn)^T，对齐的目的是找到一组参数(θ；s；t)，使

E＝(X_a-M(s，θ)[X_b]-t)^TW(X_a-M(s，θ)[X_b]-t)

最小。其中θ表示旋转角度，s表示缩放比例，t表示平移的位移，对一个人脸形状向量的转换用M(s，θ)[X_i]+t表示，其中

$M(s,\mathrm{\θ})=\left[\begin{array}{c}{x}_{\mathrm{ij}}\\ y_{\mathrm{ij}}\end{array}\right]=\left(\begin{array}{c}\left(s\cos \mathrm{\θ}\right)x_{\mathrm{ij}}-\left(s\sin \mathrm{\θ}\right)y_{\mathrm{ij}}\\ \left(s\sin \mathrm{\θ}\right)x_{\mathrm{ij}}+\left(s\cos \mathrm{\θ}\right)y_{\mathrm{ij}}\end{array}\right)$

t＝(t_x，t_y，…，t_x，t_y)^T

W是每个关键点的权值(w₁，w₂，…，w_n)组成的对角矩阵，t_x，t_y分别为关键点x，y坐标对应的位移。在最小化E的过程中，对每个参数求微分即可得到结果，根据得到的参数对人脸图像进行转换，使两个人脸保持最大程度的位置对应，过程如下：

令scosθ＝a_x，ssinθ＝a_y，对a_x，a_y，t_x，t_y各自求微分，使E最小，得到如下四个等式：

$\left\{\begin{array}{c}{B}_x{a}_x-B_y{a}_y+{\mathrm{Wt}}_x=A_x\\ B_y{a}_x+B_x{a}_y+{\mathrm{Wt}}_y=A_y\\ {\mathrm{Za}}_x+B_x{t}_x+B_y{t}_y{=C}_1\\ {\mathrm{Za}}_y-B_y{t}_x+B_x{t}_y=C_2\end{array}\right.$

其中 $A_x=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{w}_k{x}_{\mathrm{ak}},$ $B_x=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{w}_k{x}_{\mathrm{bk}},$ $A_y=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{w}_k{y}_{\mathrm{ak}},$ $B_y=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{w}_k{y}_{\mathrm{bk}},$

$Z=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{w}_k({x_{\mathrm{bk}}}^2+{y_{\mathrm{bk}}}^2),W=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{w}_k,$ $C_1=\underset{k=0}{\overset{n}{\mathrm{\Σ}}}{w}_k(x_{\mathrm{ak}}{x}_{\mathrm{bk}}+y_{\mathrm{ak}}{y}_{\mathrm{bk}}),$

通过解方程计算即可得到对齐变换参数组(θ；s；t)，再对图像进行转换。

4.过滤非人脸区域：

有效的图像预处理，是获得高识别率的基础保障，因此，设计专门针对人脸识别的图像预处理技术是必须的。该系统使用了常用的图像处理技术，对图像进行灰度化和直方图均衡化，使图像保持光照均匀。另外，根据人脸关键点定位的结果，选取人脸轮廓关键点的均值作为一个过滤器，将人脸图像中人脸轮廓关键点以外的像素去除，只保留人脸主要部分，即人脸轮廓关键点内的像素。

5.分块提取人脸特征：

特征提取在模式识别问题中是很重要的一个步骤，本发明针对跨年龄的人脸图像，提取对年龄变化具有鲁棒性的GOP特征。对人脸分块，包括眼睛、鼻子、脸颊、嘴和下巴，在不同尺度对人脸图像提取梯度方向特征，得到梯度方向金字塔，用这种分层的方法表示人脸。

给定一张人脸图像I(p)，其中p＝(x，y)是人脸像素坐标，σ为尺度。定义图像I的金字塔：

$P\left(I\right)={\left\{I(p;\mathrm{\σ})\right\}}_{\mathrm{\σ}=0}^s$

I(p；0)＝I(p)

I(p；σ)＝[I(p；σ-1)*Φ(p)]↓₂σ＝1，2，…，s

其中Φ(p)是高斯核，↓₂表示二分之一大小的降采样，s是金字塔的层数，为了简便，不同尺度的人脸图像都用I表示。然后，不同尺度σ的梯度方向通过归一化的梯度向量表示，即：

$g\left(I(p;\mathrm{\σ})\right)=\▿\left(I(p,\mathrm{\σ})\right)/|\▿\left(I(p,\mathrm{\σ})\right)|,$

其中

表示梯度，人脸图像分块I的GOP特征定义为：

$G\left(I\right)={\left\{g\left(I(p;\mathrm{\σ})\right)\right\}}_{\mathrm{\σ}=0}^s$

对于人脸认证，本发明考虑的是两张人脸之间的差异，因此，得到两张人脸图像分块的GOP特征后，还要计算这两个人脸图像的差异特征向量X。给定两张人脸图像分块I₁、I₂和它们各自的GOP特征G(I₁)、G(I₂)，GOP差异特征向量X＝F(I₁，I₂)是不同尺度下人脸图像每个像素点对应GOP特征的方向余弦，对于像素p和尺度σ，计算过程如下：

f(I₁(p；σ)，I₂(p；σ))＝g(I₁(p；σ))·g(I₂(p；σ))

那么差异特征向量X可表示为：

X＝F(I₁，I₂)＝(…，f(I₁(p；σ)，I₂(p；σ))，…)^T

其中p按照图像像素顺序排列，尺度σ按照递减顺序排列。

6.特征降维：

高维数据在训练分类模型时会使分类性能下降，而提取的GOP特征由于直接选取像素点的梯度方向，另外生成了层次结构的金字塔，因此差异特征向量维数较高。本发明利用主成分分析法对各个分块的差异特征向量分别进行降维。

对于已有的若干人脸图像GOP差异特征向量x₁，x₂，…，x_D，降维过程如下：

首先计算出其平均值，即平均差异：

$\stackrel{\‾}{x}=\frac{\underset{i=1}{\overset{D}{\mathrm{\Σ}}}{x}_i}{D}$

从每个差异中减去平均差异，得到x₁′，x₂′，…，x_D′，这样做的目的是满足PCA中零均值的要求。对矩阵X＝[x₁′，x₂′，…，x_D′]求协方差矩阵∑，对∑做奇异值分解，求得前m个特征向量(主成分)w₁，w₂，…w_m和对应的特征值λ₁≥λ₂≥...≥λ_n。通常选取满足如下条件的最小整数为m的值：

$\frac{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{\λ}}_i}{\underset{i=1}{\overset{D}{\mathrm{\Σ}}}{\mathrm{\λ}}_i}\≥T$

其中T为阈值，表示新的特征能保持原有向量中多少差异程度(Variance)。可以选取T值为90％。将特征向量组合即形成了特征子空间V＝[w₁，w₂，…w_m]，对于待降维的特征向量y，将其投影到特征子空间，即得到降维后的特征向量y′：

$y^{\′}=V^T(y-\stackrel{\‾}{x})$

7.训练模型和模型预测：

本发明利用支持向量机(参见邓乃扬，田英杰.数据挖掘中的新方法-支持向量机[M].北京：科学出版社，2004.)作为训练模型，训练得到模型参数后，对测试数据进行标签预测。与其他算法不同的是，根据定位的人脸关键点，本发明将人脸分为若干部分，包括眼睛、鼻子、脸颊、嘴和下巴这几个部分，由于人脸随着年龄增长，不同部分的变化程度不同，因此将人脸这几个部分分开训练模型，预测的时候同样分别预测，再将所有预测结果加权求和得到整个人脸的分类结果。模型训练和预测过程如下：

1)对同一个人的两张人脸图像中任意一部分图像块提取特征，计算差异特征向量，并降维，将降维后的差异特征向量作为正例；

2)对两张来源于不同人的人脸图像中任意一部分图像块提取特征，计算差异特征向量，并降维，将降维后的差异特征向量作为反例；

3)利用支持向量机训练上述所有人脸图像块对应的分类模型；

4)对两张需要认证的人脸图像，提取各自人脸所有部分图像块对应的特征，计算各自差异特征向量，并降维，用训练好的预测模型对各个差异特征向量进行预测，对人脸不同区域的分类得分进行加权求和，得到最终得分。本发明考虑年龄、表情变化对人脸不同部分的影响程度不同，眼睛、鼻子、脸颊、嘴和下巴各部分的权值分别设为：0.2、0.3、0.1、0.2、0.2。

本发明提供了一种面向多姿态和跨年龄的人脸图像认证方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (5)

1.一种面向多姿态和跨年龄的人脸图像认证方法，其特征在于，包含如下步骤：

步骤1，快速人脸检测：对给定的两张图像各自进行快速人脸图像检测，根据检测到的人脸图像，初始化各人脸图像中的关键点；

步骤2，关键点定位：根据局部灰度统计模型对每个关键点搜索所有局部最优点，根据各个局部最优点的坐标，利用人脸形状模型产生新的形状中的主成分线性组合，产生一个新的人脸形状向量代替原来的人脸形状向量，反复迭代直到人脸形状向量变化小于阈值T₁，完成关键点定位；一个人脸图像的所有关键点组成一个人脸形状向量；

步骤3，人脸对齐：对两个人脸形状向量计算对齐变换参数组(θ，s，t)，并根据参数将图像进行变换，对齐人脸图像；θ为旋转角度，s为缩放比例，t为平移的位移；

步骤4，过滤非人脸区域：将两张图像中人脸图像内的部分保留，去除人脸图像外的部份；

步骤5，分块提取人脸特征：将上步骤处理后的图像分块，分别提取每块GOP特征，根据两张人脸图像对应分块的GOP特征计算差异特征向量；

步骤6，特征降维：利用主成分分析法对各个分块的差异特征向量分别进行降维；

步骤7，模型预测：重复步骤1～6，得到不同分块降维后的差异特征向量；

根据人脸分类模型预测所有差异特征向量的类别；

加权求和输出人脸图像认证结果。

2.根据权利要求1所述的一种面向多姿态和跨年龄的人脸图像认证方法，其特征在于，步骤3人脸对齐具体包括如下步骤：

根据两个人脸形状向量，即两个人脸图像的关键点的集合，第i个人脸形状向量记为：

X_i＝(x_i1，y_i1，x_i2，y_i2，…x_in，y_in)^T，

其中(x_ij，y_ij)表示第i个人脸图像第j个关键点的坐标，其中j为1～n中的任一数值，n为关键点个数，T表示矩阵的转置；

给定人脸图像a和人脸图像b，其形状分别为X_a＝(x_a1，y_a1，x_a2，y_a2，…x_an，y_an)^T和X_b＝(x_b1，y_b1，x_b2，y_b2，…x_bn，y_bn)^T；

找到参数组(θ，s，t)，使E＝(X_a-M(s，θ)[X_b]-t)^TW(X_a-M(s，θ)[X_b]-t)最小；一个人脸形状向量的变换用M(s，θ)[X_i]+t表示，其中：

$M(s,\mathrm{\θ})=\left[\begin{array}{c}{x}_{\mathrm{ij}}\\ y_{\mathrm{ij}}\end{array}\right]=\left(\begin{array}{c}\left(s\cos \mathrm{\θ}\right)x_{\mathrm{ij}}-\left(s\sin \mathrm{\θ}\right)y_{\mathrm{ij}}\\ \left(s\sin \mathrm{\θ}\right)x_{\mathrm{ij}}+\left(s\cos \mathrm{\θ}\right)y_{\mathrm{ij}}\end{array}\right),$ t＝(t_x，t_y，…，t_x，t_y)^T，

W是每个关键点的权值(w₁，w₂，…，w_n)组成的对角矩阵，t_x，t_y分别为关键点x，y坐标对应的位移。

3.根据权利要求1所述的一种面向多姿态和跨年龄的人脸图像认证方法，其特征在于，步骤4过滤非人脸区域包括：对图像进行灰度化和直方图均衡化，并根据步骤2关键点定位的结果，选取人脸轮廓关键点的均值作为过滤器，将人脸图像中人脸轮廓关键点以外的像素去除，保留人脸图像中人脸轮廓关键点以内的像素。

4.根据权利要求1所述的一种面向多姿态和跨年龄的人脸图像认证方法，其特征在于，步骤5分块提取人脸特征包括以下步骤：

将人脸图像分块，在不同尺度对人脸图像各分块分别提取梯度方向特征，得到梯度方向金字塔，用这种分层的方法表示人脸图像；

将人脸图像分块I的GOP特征定义为：

p为人脸图像像素坐标，σ为尺度，g为梯度方向；

得到两张人脸图像分块的GOP特征后，将两个人脸图像的差异特征向量X表示为：X＝F(I₁，I₂)＝(…，f(I₁(p；σ)，I₂(p；σ))，…)^T，其中，I₁，I₂分别表示一张人脸图像分块，F为方向余弦函数，f(I₁(p；σ)，I₂(p；σ))＝g(I₁(p；σ))·g(I₂(p；σ))为不同尺度下人脸图像每个像素点对应GOP特征的方向余弦。

5.根据权利要求1面向多姿态和跨年龄的人脸图像认证方法，其特征在于，步骤7中通过调用人脸分类模型进行模型预测，训练人脸分类模型包括如下步骤：

对同一个人的两张人脸图像中任意一部分图像块提取特征，计算差异特征向量，并降维，将降维后的差异特征向量作为正例；

对两张来源于不同人的人脸图像中任意一部分图像块提取特征，计算差异特征向量，并降维，将降维后的差异特征向量作为反例；

训练上述所有人脸图像块对应的分类模型；

训练所有人脸图像的人脸图像块，得到人脸分类模型。

Images