CN107292299B - 基于内核规范相关分析的侧面人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于内核规范相关分析的侧面人脸识别方法，对于待检测脸部图像的正面部分和侧脸部分，手动注释眼睛、鼻子、嘴巴和下巴，对正面和侧脸姿态进行不同程度的几何归一化处理，使用局部二值模式面部成分描述脸部，针对局部二值模式图像中的划分区域计算64个直方图，然后将面部的14个区域的直方图连接成向量进行描述，提取局部二值特征向量后，通过应用规范相关分析进行降维操作，引入基于核主成分分析的非线性一般化，以考虑侧面人脸图像和正面人脸图像之间的变换非线性，通过从原始输入空间到高维特征空间的映射来执行正面或侧面的变换，并计算欧几里德距离给出侧脸图像身份信息；有效的实现在非限制情况下侧面人脸的快速识别。

Description

基于内核规范相关分析的侧面人脸识别方法

技术领域：

本发明涉及一种公共空间的安全监测，特别是涉及一种基于内核规范相关分析的侧面人脸识别方法。

背景技术：

生物特征识别是一个活跃的研究领域，并应用于各种公共空间的安全监测。众多生物特征识别技术,如指纹、虹膜和掌纹等已广泛应用于安全监测系统。这些特征允许唯一地描述一个人，然而在公共安全领域，很难通过视频流中的这些特征作为“生物”特性识别并确定一个人的身份。从1970年开始，人脸识别技术在理论上和技术上已经逐渐完善，但是仍然受制于个体样本的多样性，比如光照条件、拍摄角度、面部表情、年龄变化等。在非打扰采集系统中，对于人脸识别来说姿态变化是最具挑战性的难题。

近二十年，正面姿态的人脸识别技术已经取得了令人满意的效果，而非控制姿态下的人脸识别在生物识别领域仍然是一个具有挑战性的难题。最近，利用扫描3D或2D相同的人脸图像生成相应的三维模型的姿态不变技术已经出现。尽管他们可以适应姿态的多样性和具有较高的识别率，仍然无法回避大的计算量和需要被识别者的合作等缺点。因此，他们不适合在我们感兴趣的实时监控中的应用，实际应用中对被识别者的图像采集是被动的，无法满足当前非控制条件下人脸识别技术的应用要求。

发明内容：

本发明所要解决的技术问题是：克服现有技术的不足，提供一种使用内核规范相关分析将侧面人脸映射到其相应的正面人脸上，通过引入适当内核函数来分析对象姿态之间映射的非线性特性来提高识别率的基于内核规范相关分析的侧面人脸识别方法。

本发明的技术方案是：一种基于内核规范相关分析的侧面人脸识别方法，

A：对于待检测脸部图像的正面部分和侧脸部分，手动注释眼睛、鼻子、嘴巴和下巴；

B：以确保待测人脸图像具有相似的尺度、取向和位置，对正面和侧脸姿态进行不同程度的几何归一化处理，使用局部二值模式面部成分描述脸部，针对局部二值模式图像中的划分区域计算64个直方图，然后将面部的14个区域的直方图连接成向量进行描述；

C：通过特征提取得到一个大小为p＝896(64×14)的正脸描述向量和大小为q＝896(64×14)的侧脸描述向量；

D：通过应用规范相关分析进行降维操作，引入基于核主成分分析的非线性一般化，以考虑侧面人脸图像和正面人脸图像之间的变换非线性，通过从原始输入空间到高维特征空间的映射来执行正面或侧面的变换；

E：估计Wx，Wy，并计算欧几里德距离给出侧脸图像身份信息，判断待检测脸部图像的侧脸部分是否为最后一幅，是最后一幅则给出侧脸识别结果，不是最后一幅则返回步骤B。

正面和侧脸姿态进行不同程度的几何归一化处理包括正面的0°方向归一化和侧脸姿态90°方向归一化：

其0°方向归一化步骤为：步骤一：旋转每个图像直到连接眼睛中心的线条变得水平；

步骤二：图像重新缩放，使所有图像的眼睛中心之间的距离相同，并生成归一化的正面数据库；

其90°方向归一化步骤为：步骤一：通过学习归一化的正面数据库来保持所有待检测脸部图像的侧脸姿态中眼睛和下巴的距离必须等于正面眼睛和下巴之间的距离，实现不同尺度侧脸的重新缩放，以确保所获得的分数不被最终归一化的不精确性所偏置。

步骤二：确定旋转角度α，α在18°和22°之间变化，步长为1°，实现所有旋转的人脸都处于归一化侧脸姿态。

步骤三：倾斜测试图像使连接鼻尖和下巴的切线与垂直轴形成α＝20°的角度。

步骤四：在归一化正面学习数据库的平均面上计算用于重新缩放的眼睛和下巴之间的参考距离，将待检测脸部图像与学习数据库的侧脸缩放到具有相同的尺度。

步骤D的详细过程为：通过基于核主成分分析的线性多项式和高斯内核来降低两个姿态的维数从而满足(p+q)<199这一必要条件，使用199个采集于FERET数据库中的人脸样本来学习正面-侧面变换并对Wx和Wy进行估计，并且将待检测脸部图像的正面部分和侧脸部分一起通过Wy和Wx投影到规范空间上进行比较。

所述局部二值模式图像中的划分区域按照眼睛、鼻子、嘴巴和下巴进行区域划分。

本发明的有益效果是：

1、本发明使用内核规范相关分析将侧面人脸映射到其相应的正面人脸上，通过引入适当内核函数来分析对象姿态之间映射的非线性特性来提高识别率，有效的实现在非限制情况下侧面人脸的快速识别。。

2、本发明侧面人脸识别的方法依赖于学习变换的思想，该变换使用内核规范相关分析将侧面人脸映射到其相应的正面人脸上。我们可以通过分析对象姿态之间映射的非线性特性来显着提高识别率。这可以通过引入适当内核函数来实现。内核的选择不是直接的，其中必须执行一些测试以便选择适当的内核模型，然后调整其参数。

3、本发明通过内核规范相关分析学习由面部的主要组成部分(眼睛，鼻子，嘴巴和下巴)表示的正面人脸和侧面人脸之间的映射关系。给定从正面到侧面的变换不是线性的，面部不是由整个图像描述，而是仅由它们的分量描述。

附图说明：

图1为基于内核规范相关分析的侧面人脸识别方法的流程框图。

图2为正面和左侧人脸之间映射的主要面部组件示图。

图3为正面和右侧人脸之间映射的主要面部组件示图。

图4为40°方向的图像归一化示图。

图5为90°方向的图像归一化示图。

图6正面和侧脸的尺度缩放示图。

图7局部二值模式示例流程框图。

具体实施方式：

实施例：参见图1、图2、图3、图4、图5、图6和图7，并结合附图对本发明进行详细说明。

基于内核规范相关分析的侧面人脸识别方法，提出的用于侧面人脸识别的方法依赖于学习变换的思想，该变换使用内核规范相关分析将侧面人脸映射到其相应的正面人脸上。通过分析对象姿态之间映射的非线性特性来显着提高识别率。这可以通过引入适当内核函数来实现。内核的选择不是直接的，其中必须执行一些测试以便选择适当的内核模型，然后调整其参数。

此外，使用局部二值模式面部成分描述脸部，而不是原始像素：眼睛，鼻子，嘴巴和下巴。在发明中，通过内核规范相关分析学习由面部的主要组成部分(眼睛，鼻子，嘴巴和下巴)表示的正面人脸和侧面人脸之间的映射关系。给定从正面到侧面的变换不是线性的，面部不是由整个图像描述，而是仅由它们的分量描述。选择局部二值模式描述面部的主要组件是因为其在正面面部识别中的高性能及其对照明变化的鲁棒性。图2示出了用于描述基于内核规范相关分析映射的面部组件。

如果需要变换正面-右侧人脸，则使用图3中所示的组件，然后操作一个翻转来将右侧人脸转换为左侧人脸。

面部分量被分割成如图2所示的区域。对于每个区域，对提取的局部二值模式描述特征计算直方图。然后，将所获得的直方图构造成描述正面或侧面特征的唯一矢量。

通常，面部识别方法使用与相同大小但具有不同权重的区域相对应的特征。区域越相关，其权重越高。例如，眼部区域分配比下巴区域更高的权重。受这个想法的启发，在本发明中，一个区域的相关性由它的特征值的大小来表示，这是因为具有不同尺寸的两个组件会产生具有相同特征值的直方图。因此，组件的权重与其尺寸成反比。如图2所示，眼睛周围的组件尺寸小于下颏周围的组件尺寸，因为前者比后者包含更多的相关信息。一旦特征矢量被构造，通过规范相关分析变换特征空间，将侧面人脸投影在正面人脸的特征空间中。

由于特征的导出矢量具有高维度，维数降低有助于使规范相关分析应用。在本发明中，通过主成分分析进行降维。因此，先使用内核主成分分析然后进行规范相关分析，即内核规范相关分析，该方法允许考虑正面和侧面人脸组件之间变换的非线性。

几何归一化处理：在特征提取步骤之前，执行几何归一化以确保人脸图像样本具有相似的尺度、取向和位置。正面和侧脸姿态的归一化过程不同。在正面姿势的情况下，检测到脸部图像中的眼睛，而对于侧脸图像，检测鼻子和下巴，因为这些部分的相对位置对于不同的面部表情通常是稳定的。对于正面数据集所描述的眼睛，侧脸数据集所描述的鼻子和下巴，执行几何归一化，如下所述：

(1)、0°方向归一化：按照以下步骤自动归一化图像(图4显示0°方向的归一化)：

步骤一：旋转每个图像直到连接眼睛中心的线条变得水平；

步骤二：图像重新缩放，使所有图像的眼睛中心之间的距离相同。

(2)、90°方向归一化：对于90°取向，根据切线侧面归一化技术，归一化包括从垂直轴到连接鼻尖和下巴的线之间的倾斜角度α(图5)。

步骤一：通过学习归一化的正面数据库来保持所有人的侧脸姿态中眼睛和下巴的距离必须等于正面眼睛和下巴之间的距离，实现不同尺度侧脸的重新缩放，以确保所获得的分数不被最终归一化的不精确性所偏置。如图6中所示：

步骤二：确定旋转角度α，α在18°和22°之间变化，步长为1°。选取α＝20°。此时，所有旋转的人脸都处于归一化侧脸姿态。

步骤三：倾斜测试图像使连接鼻尖和下巴的切线与垂直轴形成α＝20°的角度。

步骤四：在归一化正面学习数据库的平均面上计算用于重新缩放的眼睛和下巴之间的参考距离，将待检测脸部图像与学习数据库的侧脸缩放到具有相同的尺度。

局部二值模式：对于一对(c，n)，其中c是中心像素，n＝(n1，...，ns)为从c的邻域采样的一组像素，向n中小于中心像素c的每个相邻像素分配一个0，大于c的每个邻域分配一个1，并且将结果描述为二值编码(图7)。

其中：

内核规范相关分析：在本发明中，内核规范相关分析是先使用核主成分分析再用规范相关分析获得的。

在应用规范相关分析之前先进行降维操作,引入基于核主成分分析的非线性一般化，以考虑侧面人脸图像和正面人脸图像之间的变换非线性，通过从原始输入空间到高维特征空间的映射来执行输入数据(正面或侧面)的变换。

(1)、核主成分分析：从原始的D维特征空间到通常为M≥D的M维特征空间具有非线性变换然后将数据集{xi}中的每个数据点xi投影到点(xi)，其中i＝1,2，...，N。为了简化计算，可以使用内核方法。首先，我们假设估计的新特征为零均值：

投影特征向量的协方差矩阵为M×M，计算公式为：

其特征值和特征向量由下式给出：

CV_k＝λ_kv_k (5)

其中k＝1,2，...，M。从等式(4)和(5)，我们有：

上式可以重写为：

现在用等式(7)替代等式(6)中的v_k,我们有

将上述等式的左右乘以得到：

其中：

我们可以使用矩阵表示法：

k²a_k＝λ_kNka_k (11)

其中：

k_i,j＝k(x_i,x_j) (12)

a_k是a_ki的N维列向量：

a_k＝[a_k1a_k2...a_kN]^T (13)

a_k可以通过下式求解：

ka_k＝λ_kNa_k (14)

并且可以使用以下方法计算生成的核主成分：

内核方法的优点在于不需要明确地计算可以从训练数据集{xi}直接构建核矩阵。两个常用的内核是多项式内核：

k(x,y)＝(x^Ty)^d (16)

则高斯内核为：

(2)、规范相关分析：规范相关分析适合对应两套测量，利用响应变量之间的相关性来提高预测精度。(X，Y)的给定N个样本(Xi，Yi)，i＝1，...，N，其中X∈Ω^m，Y∈Ωⁿ。X和Y的平均值为零。

规范相关分析的目标是学习一对方向w_x和w_y以最大化两个投影和之间的相关性，其中T表示转置，即最大化：

其中E[f(x,y)]表示函数的经验期望。

(X,Y)的协方差矩阵为：

其中C_xx和C_yy是内部协方差矩阵；C_xy和C_yx是中间协方差矩阵。因此，ρ可以重写为：

给出：

可以看出，W的解等于瑞利商的极值点：

通过解广义的本征问题：

AW＝BWλ (23)

即可得到w_x和w_y的解。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (2)

1.一种基于内核规范相关分析的侧面人脸识别方法，其步骤是：A：对于待检测脸部图像的正面部分和侧脸部分，手动注释眼睛、鼻子、嘴巴和下巴；

B：以确保待测人脸图像具有相似的尺度、取向和位置，对正面和侧脸姿态进行不同程度的几何归一化处理，使用局部二值模式面部成分描述脸部，针对局部二值模式图像中的划分区域计算64个直方图，然后将面部的14个区域的直方图连接成向量进行描述；

C：通过特征提取得到一个大小为p＝896(64×14)的正脸描述向量和大小为q＝896(64×14)的侧脸描述向量；

D：通过应用规范相关分析进行降维操作，引入基于核主成分分析的非线性一般化，以考虑侧面人脸图像和正面人脸图像之间的变换非线性，通过从原始输入空间到高维特征空间的映射来执行正面或侧面的变换；

E：估计Wx，Wy，并计算欧几里德距离给出侧脸图像身份信息，判断待检测脸部图像的侧脸部分是否为最后一幅，是最后一幅则给出侧脸识别结果，不是最后一幅则返回步骤B；

正面和侧脸姿态进行不同程度的几何归一化处理包括正面的0°方向归一化和侧脸姿态90°方向归一化：

其0°方向归一化步骤为：步骤一：旋转每个图像直到连接眼睛中心的线条变得水平；

步骤二：图像重新缩放，使所有图像的眼睛中心之间的距离相同，并生成归一化的正面数据库；

其90°方向归一化步骤为：步骤一：通过学习归一化的正面数据库来保持所有待检测脸部图像的侧脸姿态中眼睛和下巴的距离必须等于正面眼睛和下巴之间的距离，实现不同尺度侧脸的重新缩放，以确保所获得的分数不被最终归一化的不精确性所偏置；

步骤二：确定旋转角度α，α在18°和22°之间变化，步长为1°，实现所有旋转的人脸都处于归一化侧脸姿态；

步骤三：倾斜测试图像使连接鼻尖和下巴的切线与垂直轴形成α＝20°的角度；

步骤四：在归一化正面学习数据库的平均面上计算用于重新缩放的眼睛和下巴之间的参考距离，将待检测脸部图像与学习数据库的侧脸缩放到具有相同的尺度；

步骤D的详细过程为：通过基于核主成分分析的线性多项式和高斯内核来降低两个姿态的维数从而满足(p+q)<199这一必要条件，使用199个采集于FERET数据库中的人脸样本来学习正面-侧面变换并对Wx和Wy进行估计，并且将待检测脸部图像的正面部分和侧脸部分一起通过Wy和Wx投影到规范空间上进行比较；

内核规范相关分析：在本发明中，内核规范相关分析是先使用核主成分分析再用规范相关分析获得的；

在应用规范相关分析之前先进行降维操作,引入基于核主成分分析的非线性一般化，以考虑侧面人脸图像和正面人脸图像之间的变换非线性，通过从原始输入空间到高维特征空间的映射来执行输入数据(正面或侧面)的变换；

(1)、核主成分分析：从原始的D维特征空间到通常为M≥D的M维特征空间具有非线性变换然后将数据集{xi}中的每个数据点xi投影到点 其中i＝1,2，...，N；为了简化计算，可以使用内核方法；首先，我们假设估计的新特征为零均值：

投影特征向量的协方差矩阵为M×M，计算公式为：

其特征值和特征向量由下式给出：

CV_k＝λ_kv_k (5)

其中k＝1,2，...，M；从等式(4)和(5)，我们有：

上式可以重写为：

现在用等式(7)替代等式(6)中的v_k,我们有

将上述等式的左右乘以得到：

其中：

我们可以使用矩阵表示法：

k²a_k＝λ_kNka_k (11)

其中：

k_i,j＝k(x_i,x_j) (12)

a_k是a_ki的N维列向量：

a_k＝[a_k1a_k2...a_kN]^T (13)

a_k可以通过下式求解：

ka_k＝λ_kNa_k (14)

并且可以使用以下方法计算生成的核主成分：

内核方法的优点在于不需要明确地计算可以从训练数据集{xi}直接构建核矩阵；两个常用的内核是多项式内核：

k(x,y)＝(x^Ty)^d (16)

则高斯内核为：

(2)、规范相关分析：规范相关分析适合对应两套测量，利用响应变量之间的相关性来提高预测精度；(X，Y)的给定N个样本(Xi，Yi)，i＝1，...，N，其中X∈Ω^m，Y∈Ωⁿ；X和Y的平均值为零；

规范相关分析的目标是学习一对方向w_x和w_y以最大化两个投影和之间的相关性，其中T表示转置，即最大化：

其中E[f(x,y)]表示函数的经验期望；

(X,Y)的协方差矩阵为：

其中C_xx和C_yy是内部协方差矩阵；C_xy和C_yx是中间协方差矩阵；因此，ρ可以重写为：

给出：

可以看出，W的解等于瑞利商的极值点：

通过解广义的本征问题：

AW＝BWλ (23)

即可得到w_x和w_y的解。

2.根据权利要求1所述的基于内核规范相关分析的侧面人脸识别方法，其特征是：所述局部二值模式图像中的划分区域按照眼睛、鼻子、嘴巴和下巴进行区域划分。