CN106022214A

CN106022214A - 非约束环境下的有效人脸特征提取方法

Info

Publication number: CN106022214A
Application number: CN201610290463.5A
Authority: CN
Inventors: 童莹; 严郁; 黄维; 曹雪虹
Original assignee: Nanjing Institute of Technology
Current assignee: Huashi design group safety technology (Jiangsu) Co.,Ltd.
Priority date: 2016-05-04
Filing date: 2016-05-04
Publication date: 2016-10-12
Anticipated expiration: 2036-05-04
Also published as: CN106022214B

Abstract

本发明提供一种非约束环境下的有效人脸特征提取方法，首先，构造多尺度主方向旋转梯度模板，包括3*3和5*5两个尺度的主方向旋转梯度模板；然后，对人脸图像中生物视觉ROI区域即感兴趣区域进行关键点标记，得到3*3尺度、5*5尺度的主方向旋转HOG特征，将k‑PDR‑HOG‑3和k‑PDR‑HOG‑5两个特征级联融合，得到最终的基于关键点的多尺度主方向旋转HOG特征。相比于原始的HOG算法，本发明构造的多尺度主方向旋转梯度模板在非约束环境下可以提取更为丰富全面的人脸特征，k‑MSPDR‑HOG特征具有强鲁棒性和高准确性。

Description

非约束环境下的有效人脸特征提取方法

技术领域

本发明涉及一种非约束环境下的有效人脸特征提取方法。

背景技术

随着社会的发展和科技的进步，人类对快速高效的身份验证技术有着迫切的要求。生物特征是人类理想的身份验证依据，而人脸特征是目前身份验证中最为理想的生物特征。

目前，由于在考勤、门禁系统、监控体系、刑事侦查等领域的良好应用前景，人脸识别受到了越来越多研究者的关注。近十年来，人脸识别技术取得了很大的进步，但是目前比较成熟的人脸识别方法大多集中在约束或半约束情况的研究，而在非约束环境中，人脸识别会受到遮挡、光照、姿态、低分辨率等干扰条件的影响，将已有的人脸特征提取方法，如HOG、LBP、SIFT等，用于非约束环境的人脸识别性能急剧下降。为克服非约束条件下存在的各种噪声的干扰，研究人员提出了很多方法，但仍无法彻底消除各种噪声对人脸识别造成的影响。

目前非约束环境下的人脸识别研究方法可以分为两种：基于3D模型的人脸识别和基于2D模型的人脸识别。基于3D模型的人脸识别优点在于能够很好地克服姿态、遮挡、光照等干扰因素的影响，但构造3D模型时耗费的时间代价巨大，不适合广泛的商业应用。而2D模型主要着重于提取人脸图像中具有良好表达效果的特征，使特征值能够最佳、最具判别性地表征人脸。Wolf等提出了改进的LBP算法进行人脸特征提取算法，并将提取出来的特征值与Gabor特征值相融合，试图得到最佳特征描述算子，但是由于提取的是整张人脸图片的特征值，所以受图片背景、姿态、遮挡等因素的干扰影响较大；Marsico等提出FACE模型，对人脸姿态以及光照归一化，取得了较好的识别效果，但是在进行人脸图像的重构时，虽然削弱了姿态和光照的影响，但是在重构的过程中弱化了图像其他的有效特征。

目前已有算法存在的不足之处在于：

一、传统的全局特征提取算法包含了额头、脸颊、下巴等非特征区域的冗余信息，导致引入的光照、姿态、遮挡等噪声较多。

二、经典HOG算法中用梯度算子计算像素点的梯度幅值和梯度方向，它仅描述了水平和垂直两个方向的灰度变化，包含的像素点信息较少，然而非约束环境下的人脸识别由于干扰因素较多，需考虑更丰富更全面的提取有用信息以表征人脸特征。

发明内容

本发明的目的是提供一种非约束环境下的有效人脸特征提取方法，构造了多尺度主方向旋转梯度模板，提出基于关键点的多尺度主方向旋转HOG特征提取算法，尽可能准确提取非约束环境下有效人脸特征，解决现有技术中存在的非约束环境下的传统全局HOG算法在进行人脸特征提取时存在的引入冗余信息过多、梯度算子模板计算得到的有用信息较少的问题。

本发明的技术解决方案是：

一种非约束环境下的有效人脸特征提取方法，包括：

首先，构造多尺度主方向旋转梯度算子，包括3*3和5*5两个尺度的主方向旋转梯度模板；

然后，对人脸图像中生物视觉ROI区域即感兴趣区域进行关键点标记，以关键点为中心，在邻域范围内分别计算3*3和5*5两个尺度、四组旋转梯度模板下的HOG特征，并将每个尺度的四组HOG特征级联，得到3*3尺度和5*5尺度的主方向旋转HOG特征，即k-PDR-HOG-3、k-PDR-HOG-5；

最后，将k-PDR-HOG-3和k-PDR-HOG-5两个特征级联融合，得到最终的基于关键点的多尺度主方向旋转HOG特征。

进一步地，构造3*3尺度主方向旋转梯度模板具体为：在一个圆周2π范围内将3*3尺度主方向梯度模板从主方向每隔45°沿逆时针旋转一次，得到八个旋转梯度模板，即3*3尺度主方向旋转梯度算子。

进一步地，构建的3*3尺度主方向梯度模板如下：

其中，模板中权值2大于其他数值，设为主方向，如箭头所示。

进一步地，根据梯度求导规则将3*3尺度主方向旋转梯度模板两两为一组分为四组，其中每组旋转梯度模板包含两个主方向相互垂直模板。

进一步地，构造5*5尺度主方向旋转梯度模板具体为：在一个圆周2π范围内将5*5尺度主方向梯度模板从主方向每隔45°沿逆时针旋转一次，得到八个旋转梯度模板，即5*5尺度主方向旋转梯度模板。

进一步地，构建的5*5尺度主方向梯度模板如下：

进一步地，根据梯度求导规则将5*5尺度主方向旋转梯度模板两两为一组分为四组，其中每组旋转梯度模板包含两个主方向相互垂直模板。

本发明的有益效果是：该种非约束环境下的有效人脸特征提取方法，首先对生物视觉ROI区域包括眉毛、眼睛、鼻子、嘴巴等区域进行关键点标记，相比于经典的全局特征提取算法不仅大大降低了特征维度，而且减少了额头、脸颊等非特征区域冗余信息的干扰；另外，本发明设计3*3、5*5两种尺度下四组主方向旋转梯度模板，利用这些模板分别计算各个像素点的梯度幅值、方向变化，统计得到两种尺度的主方向旋转HOG特征，并进行融合得到最终基于关键点的多尺度主方向旋转HOG特征。相比于原始的HOG算法，本发明构造的多尺度主方向旋转梯度模板在非约束环境下可以提取更为丰富全面的人脸特征，k-MSPDR-HOG特征具有强鲁棒性和高准确性。

附图说明

图1是本发明实施例非约束环境下的有效人脸特征提取方法的流程示意图。

图2实施例中3*3尺度主方向旋转梯度模板的示意图。

图3是实施例中分组3*3尺度主方向旋转梯度模板的示意图。

图4是实施例中5*5尺度主方向旋转梯度模板的示意图。

图5是实施例中分组5*5尺度主方向旋转梯度模板的示意图。

图6是LFW数据库与ORL数据库上k-HOG算法与全局HOG算法的特征维数比较示意图。

具体实施方式

下面结合附图详细说明本发明的优选实施例。

实施例

实施例对原始HOG算子进行改进，构建了3*3、5*5两个尺度主方向旋转HOG算子，实现了非约束环境下有效人脸特征提取。一方面，相比原始HOG梯度模板，改进梯度模板范围变大，包含的像素点个数增加，从多尺度角度捕捉人脸纹理灰度变化统计信息；另一方面，改进梯度模板主方向在0°～360°范围内每隔45°逆时针旋转一次，得到八个旋转梯度模板，根据梯度求导规则将八个模板分为四组(Group)，分别计算关键点邻域范围内的梯度方向直方图，从多方向角度描述人脸纹理方向变化统计信息。

实施例的一种非约束环境下的有效人脸特征提取方法，具体实现流程如图1所示：首先对人脸图像进行关键点标记，然后以关键点为中心，在一定邻域范围内分别提取3*3尺度、5*5尺度的主方向旋转HOG特征，得到基于关键点的3*3尺度主方向旋转HOG特征(3*3-Scale Principal Direction Rotation Histograms of Oriented Gradient based on keypoints，k-PDR-HOG-3)和基于关键点的5*5尺度主方向旋转HOG特征(5*5-Scale Principal Direction Rotation Histograms of Oriented Gradient based on keypoints，k-PDR-HOG-5)，然后将这两个特征进行级联融合，得到最终的基于关键点的多尺度主方向旋转HOG特征(Multi-Scale Principal Direction Rotation Histograms of Oriented Gradient based on keypoints,k-MSPDR-HOG)。

3*3尺度主方向旋转梯度模板

利用传统的[-1 0 1]梯度模板计算梯度幅值和方向存在较大的局限性。首先，传统梯度模板仅考虑中心像素点周围4个像素点，包含的像素点灰度信息较少，不能丰富地体现中心像素点周围的纹理信息；其次，传统梯度算子仅计算水平和竖直两个方向的纹理变化，但是因为人脸五官的形状较为规律，人脸的主要几个组成部分，如眉毛，眼睛，鼻子和嘴，它们的中心部分均是水平或垂直延长的，但是它们的尾部均是大约在对角线方向(π/4和3π/4)收敛，仅从水平和竖直两个方向计算梯度幅值和梯度方向不足以体现人脸纹理信息的变化。受以上传统梯度模板局限性的启发，本发明构建了如下所示的3*3尺度主方向梯度模板，模板中权值2大于其他数值，设为主方向，如箭头所示。

在一个圆周2π范围内将模板主方向每隔45°沿逆时针旋转一次，得到八个旋转梯度模板，即3*3尺度主方向旋转梯度模板，如图2所示。并根据梯度求导规则将八个模板分为四组(Group)，如图3所示，其中m_xi和m_yi分别表示两个主方向相互垂直模板，便于计算不同方向的梯度幅值和梯度方向及统计HOG特征。相比传统[-1 0 1]梯度模板，3*3主方向旋转梯度模板计算中心像素点周围8*2＝16个像素点灰度值，而传统[-1 0 1]梯度模板仅计算中心像素点周围2*2＝4个像素点灰度值，统计像素点个数增加，可以捕捉到的人脸纹理灰度变化信息也增加；同时3*3主方向旋转梯度模板在0、π/4、π/2、3π/4、π、5π/4、3π/2、7π/4、2π方向上增加模板的权重，突出主方向的灰度变化情况，描述主要的人脸纹理延伸方向，并且将其分为四组，分别用来提取不同方向的HOG特征，可以更充分描述丰富的人脸纹理方向信息。

5*5尺度主方向旋转梯度算子

考虑不同尺度的梯度算子表征的人脸纹理信息不同，因此，本发明在3*3尺度主方向旋转梯度模板基础上，进一步构造5*5尺度主方向旋转梯度模板，并与3*3尺度主方向旋转梯度模板结合使用，使其表征的非约束人脸信息更加全面丰富。5*5主方向梯度模板如下：

同理，在一个圆周(2π)范围内将模板主方向每隔45°沿逆时针旋转一次，得到八个旋转梯度模板，即5*5尺度主方向旋转梯度模板，如图4所示。并根据梯度求导规则将八个模板分为四组(Group)，如图5所示。

在本发明中，一幅人脸图像标记51个关键点，分别标识人脸中眼睛、嘴巴、眉毛等关键特征区域。每个关键点的梯度方向直方图为9维，并且本发明从两个尺度八个方向全面充分描述非约束人脸特征，因此，最终的k-MSPDR-HOG特征维度为51*9*4*2＝3672，特征信息更全面丰富，噪声鲁棒性更强。

传统的HOG算法中用[-1 0 1]梯度模板计算像素点的梯度幅值和梯度方向，它仅描述了水平和垂直两个方向的灰度变化，且包含的像素点信息较少，应用于非约束人脸特征提取效果较差。因此本发明提出的基于关键点的多尺度主方向旋转HOG算子(Multi-Scale Principal Direction Rotation Histograms of Oriented Gradient based on keypoints,k-MSPDR-HOG)可以有效提取非约束人脸特征。一方面，本发明是基于面部关键点提取特征，可以有效消除非约束全局人脸特征提取中光照、姿态、旋转等干扰因素影响，相比传统HOG算子，基于关键点的HOG算子(HOG based on keypoints,k-HOG)提取非约束人脸特征准确率提高了20.37％(LFW数据库)和5.5％(ORL数据库)；另一方面，本发明以关键点为中心，在一定邻域范围内从多尺度、多方向两个角度充分描述非约束人脸特征，相比k-HOG算子，k-MSPDR-HOG算子提取非约束人脸特征准确率又进一步提高了11.66％(LFW数据库)和6.68％(ORL数据库)。

由此可见，本发明提出的基于关键点的多尺度主方向旋转HOG特征提取算法是一种有效的非约束环境下的人脸特征提取算法。

实验验证

全局HOG算法与k-HOG算法的识别性能比较

在Matlab环境下进行实验，人脸数据库包括LFW数据库和ORL数据库。LFW包含了在非约束环境下捕捉到的5749类不同人的人脸图像，共有13,233张，图像的尺寸为250×250。ORL共包含40类不同人脸对象，每人分别有10张图像，共400张人脸图像。每张图像的尺寸大小为92×112。这里采用基于关键点的HOG算法(k-HOG)和全局HOG算法(HOG)分别提取LFW数据库和ORL数据库的非约束人脸特征，并用SVM分类器进行人脸识别，结果如表1和表2所示。K-HOG和HOG的参数设置一致，即cell＝8*8＝64(pixels)block＝2*2＝4(cell)，bin＝9。

表1LFW数据库上全局HOG算法与k-HOG算法识别率比较

表2ORL数据库上全局HOG算法与k-HOG算法识别率比较

由表1和表2结果可以看出，基于关键点的HOG特征提取算法在两个数据库上的识别率均明显高于全局HOG特征提取算法，并且特征维数均为51*9＝459，明显少于全局HOG特征维数(LFW_Dimension_HOG＝8100，ORL_Dimension_HOG＝1260)，如图6。由此可见，基于关键点的特征提取算法可以有效消除非约束人脸识别中光照、姿态、分辨率等干扰因素影响，可以有效提高非约束人脸特征的准确性和鲁棒性。

实施例与k-HOG算法的识别性能比较

这里采用本发明提出的k-MSPDR-HOG算法与k-HOG算法提取LFW数据库和ORL数据库的非约束人脸特征，并用KNN分类器和SVM分类器分别进行识别，结果如表3、表4所示。

表3LFW数据库上k-MSPDR-HOG算法与k-HOG算法识别率比较

表4ORL数据库上k-MSPDR-HOG算法与k-HOG算法识别率比较

由表3可见，在LFW数据库上，利用KNN分类器进行分类时，K-MSPDR-HOG算法比K-HOG算法(基于关键点的HOG特征提取算法)、3*3k-PDR-HOG算法(基于关键点的3*3尺度的主方向旋转HOG特征提取算法)和5*5k-PDR-HOG算法(基于关键点的5*5尺度的主方向旋转HOG特征提取算法)在三组实验上平均识别率分别提高了7.22％、3.19％、0.43％；利用SVM分类器进行分类时，K-MSPDR-HOG算法的识别率分别比其他三种算法平均提高了11.66％、2.11％、0.44％。

同理，由表4可见，在ORL数据库上，利用KNN分类器进行分类时，K-MSPDR-HOG算法的识别率比K-HOG、3*3k-PDR-HOG、5*5k-PDR-HOG在三组实验上平均分别提高了7.32％、0.61％、0.74％；利用SVM分类器进行分类时，K-MSPDR-HOG算法的识别率分别比其他三种算法平均提高了6.68％、0.72％、1.31％。

由此可见，K-MSPDR-HOG算法是一种基于关键点的特征提取算法，从多尺度、多方向两个角度改进梯度模板可以充分描述非约束人脸特征，在不同数据库和分类器情况下，均明显高于k-HOG算法性能。

实施例提出的k-MSMG-HOG算法与经典全局特征提取算法的比较

将K-MSMG-HOG算法与其他经典全局特征提取算法进行比较，采用KNN分类器在LFW、ORL两个库上实验，仿真结果如表5、表6所示。表5中取训练样本数为10，表6中取训练样本数为4。其中前四种算法均是全局特征提取算法，对于LFW数据库，在进行特征提取之前需使用人脸检测器裁剪出固定大小的人脸，去除掉背景干扰。

表5 LFW数据库上K-MSPDR-HOG算法与其他全局特征提取算法的比较

表6 ORL数据库上K-MSPDR-HOG算法与其他全局特征提取算法的比较

由表可知，实施例的K-MSMG-HOG人脸特征提取算法相比于其他经典的全局特征提取算法，在LFW数据库上的识别率提高了17.62％～38.06％，在ORL数据库上的识别率提高了4.79％～12.35％。证明了本发明提出的算法在非约束环境下能够进行有效的人脸特征提取。

Claims

1.一种非约束环境下的有效人脸特征提取方法，其特征在于，包括：

首先，构造多尺度主方向旋转梯度模板，包括3*3和5*5两个尺度的主方向旋转梯度模板；

然后，对人脸图像中生物视觉ROI区域即感兴趣区域进行关键点标记，以关键点为中心，在邻域范围内分别计算3*3和5*5两个尺度、四组旋转梯度模板下的HOG特征，并将每个尺度的四组HOG特征级联，得到3*3尺度、5*5尺度的主方向旋转HOG特征，即k-PDR-HOG-3、k-PDR-HOG-5；

最后，将k-PDR-HOG-3和k-PDR-HOG-5两个特征级联融合，得到基于关键点的多尺度主方向旋转HOG特征。

2.如权利要求1所述的非约束环境下的有效人脸特征提取方法，其特征在于，构造3*3尺度主方向旋转梯度模板具体为：在一个圆周2π范围内将3*3尺度主方向梯度模板从主方向每隔45°沿逆时针旋转一次，得到八个旋转梯度模板，即3*3尺度主方向旋转梯度模板。

3.如权利要求2所述的非约束环境下的有效人脸特征提取方法，其特征在于，构建的3*3尺度主方向梯度模板如下：

4.如权利要求2所述的非约束环境下的有效人脸特征提取方法，其特征在于，根据梯度求导规则将八个3*3尺度主方向旋转梯度模板两两为一组分为四组，其中每组旋转梯度模板包含两个主方向相互垂直模板。

5.如权利要求1-4任一项所述的非约束环境下的有效人脸特征提取方法，其特征在于，构造5*5尺度主方向旋转梯度模板具体为：在一个圆周2π范围内将5*5尺度主方向梯度模板从主方向每隔45°沿逆时针旋转一次，得到八个旋转梯度模板，即5*5尺度主方向旋转梯度模板。

6.如权利要求5所述的非约束环境下的有效人脸特征提取方法，其特征在于，构建的5*5尺度主方向梯度模板如下：

7.如权利要求5所述的非约束环境下的有效人脸特征提取方法，其特征在于，根据梯度求导规则将5*5尺度主方向旋转梯度模板两两为一组分为四组，其中每组旋转梯度模板包含两个主方向相互垂直模板。