CN104517104B - 一种基于监控场景下的人脸识别方法及系统 - Google Patents

Abstract

本发明提供一种基于监控场景下的人脸识别方法及系统，先对获取的监控场景下的图像进行人脸检测和人脸跟踪，获取同一人的至少一张人脸图像，并对所述人脸图像进行预处理，然后对预处理的人脸图像至少进行Gabor特征提取和多尺度RILPQ特征提取，对提取的特征分块进行降维，再将降维后的特征与人脸样本库中的人脸特征进行匹配，做分数级的融合，获取图像相似度值，最后结合一个人多张人脸的识别结果，获取最佳匹配的人脸图像。本发明采用Gabor特征和多尺度RILPQ特征分数级的融合方式，减小了人脸图像光照不均匀、存在旋转角度以及图像模糊等问题对人脸识别产生的影响，具有较高的鲁棒性，有效地提高了监控场景下的人脸识别率。

Description

一种基于监控场景下的人脸识别方法及系统

技术领域

本发明涉及人脸识别技术领域，具体地涉及一种基于监控场景下的人脸识别方法及系统。

背景技术

近年来，随着社会的发展以及科学技术的突飞猛进，计算机视觉技术和模式识别技术的高速发展，人脸识别技术已经成为视觉和识别领域的一项热门课题。人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术，是用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行识别的一系列相关技术，通常也叫做人像识别、面部识别。它的研究涉及很多领域，如图像处理、模式识别、人工智能等。与指纹识别、虹膜识别、声音识别等技术相比，人脸识别具有方便、直接、友好、主动、自然等优点，同时在不干扰被测者的前提下即可获取其面部图像，对于被测者来说没有任何的心里障碍，而且整个系统无需特定的采集设备，成本也比较低。

现有的视频人脸识别方法的一种主要应用模式为视频对静态图像识别，所述视频对静态图像识别采用人脸视频作为输入，通过和静态图像人脸数据库进行比对来实现识别或验证。视频对静态图像识别的一类方法是对每一帧人脸图像采用静态人脸识别方法来识别，最后按照质量评分、距离判断、或多数投票来融合所有帧的识别结果。视频对静态图像识别的另一类方法是利用视频序列生成人脸模型，例如3D人脸建模，或者基于运动时序信息生成人脸模型，例如HMM建模。目前在控制和配合的条件下，人脸识别可以取得比较高的识别率，但是在监控场景下，由于运动、光照、姿态等巨大变化和清晰度低下等影响，采集的人脸图像光照不均匀、存在旋转角度以及图像模糊，导致最后人脸识别的识别率比较低，识别效果比较差。

发明内容

为此，本发明所要解决的技术问题在于现有技术中人脸识别方法在监控场景下人脸识别率比较低，从而提出一种基于监控场景下的人脸识别方法和系统。

为解决上述技术问题，本发明提供如下技术方案：

一种基于监控场景下的人脸识别方法，包括如下步骤：

获取监控场景下采集的图像，对所述图像进行人脸检测和人脸跟踪；

获取同一人的至少一张人脸图像，并对所述人脸图像进行预处理；

对预处理后的人脸图像分别至少进行Gabor特征提取和多尺度RILPQ特征提取；

对提取的Gabor特征和多尺度RILPQ特征分别分块进行降维；

将降维后的Gabor特征和多尺度RILPQ特征与人脸样本库中的人脸特征进行匹配，获取特征相似度值；

根据所述特征相似度值获取人脸图像与人脸样本库中人脸图像的图像相似度值；

根据同一人的至少一张人脸图像的图像相似度值获取最佳匹配的人脸图像。

上述基于监控场景下的人脸识别方法，所述将降维后的Gabor特征和多尺度RILPQ特征与人脸样本库中的人脸特征进行匹配，获取特征相似度值，步骤中：

获取特征相似度值采用余弦度量公式：

其中，f表示特征相似度值，表示所述降维后的Gabor特征向量或者RILPQ特征向量，表示人脸样本库中的对应的人脸特征向量。

上述基于监控场景下的人脸识别方法，所述根据所述特征相似度值获取人脸图像与人脸样本库中人脸图像的图像相似度值步骤中：

获取图像相似度值采用的公式为：

其中，F表示图像相似度值，m表示分块的块数，n表示所述多尺度RILPQ特征选取的尺度，f_m0表示第m个块中人脸图像中Gabor特征与人脸样本库中Gabor特征的特征相似度值，f_mn表示第m个块中人脸图像中第n个尺度下的人脸模型上RILPQ特征与人脸样本库中RILPQ特征的特征相似度值。

上述基于监控场景下的人脸识别方法，所述对预处理后的人脸图像分别至少进行Gabor特征提取和多尺度RILPQ特征提取步骤中：

所述多尺度RILPQ特征选取的尺度为3，3个不同尺度的人脸模型分别为归一化后的内部人脸、过渡人脸和外部人脸，所述内部人脸只包括脸部的器官：眼睛、嘴及眉毛；所述外部人脸包括外部的人脸元素：下巴、额头及头发；所述过渡人脸是介于内部人脸到外部人脸之间的一种人脸。

上述基于监控场景下的人脸识别方法，所述根据同一人的至少一张人脸图像的图像相似度值获取最佳匹配的人脸图像步骤中：

若获取的同一人的人脸图像为1张时，选取人脸样本库中图像相似度值最高的人脸图像作为最佳匹配的人脸图像；

若获取的同一人的人脸图像为多张时，分别获取每张人脸图像的最高图像相似度值对应的匹配人脸图像，若匹配人脸图像中有相同的人脸图像，则选取所述相同的人脸图像作为最佳匹配的人脸图像；否则，选取多个最高图像相似度值中图像相似度值最高的匹配人脸图像作为最佳匹配的人脸图像。

上述基于监控场景下的人脸识别方法，所述获取监控场景下采集的图像，对所述图像进行人脸检测和人脸跟踪步骤中：

对所述图像进行人脸检测采用Adaboost人脸检测算法；

对所述图像进行人脸跟踪采用MeanShift算法。

上述基于监控场景下的人脸识别方法，所述获取同一人的至少一张人脸图像，并对所述人脸图像进行预处理步骤中：

所述预处理包括人脸对齐和光照补偿。

上述基于监控场景下的人脸识别方法，所述对提取的Gabor特征和多尺度RILPQ特征分别分块进行降维步骤中：

通过主成分分析PCA和线性鉴别分析LDA对提取的Gabor特征和多尺度RILPQ特征分别分块进行降维。

一种基于监控场景下的人脸识别系统，包括：

检测与跟踪模块，用于获取监控场景下采集的图像，对所述图像进行人脸检测和人脸跟踪；

筛选模块,用于获取同一人的至少一张人脸图像；

预处理模块，用于对所述筛选模块中的人脸图像进行预处理；

特征提取模块，用于对预处理后的人脸图像分别至少进行Gabor特征提取和多尺度RILPQ特征提取；

降维模块，用于对提取的Gabor特征和多尺度RILPQ特征分别分块进行降维；

特征匹配模块，用于将降维后的Gabor特征和多尺度RILPQ特征与人脸样本库中的人脸特征进行匹配，获取特征相似度值；

图像相似度值获取模块，用于根据所述特征相似度值获取人脸图像与人脸样本库中人脸图像的图像相似度值；

最佳匹配人脸图像获取模块，用于根据同一人的至少一张人脸图像的图像相似度值获取最佳匹配的人脸图像。

上述基于监控场景下的人脸识别系统，所述特征匹配模块中：

获取特征相似度值采用余弦度量公式：

其中，f表示特征相似度值，表示所述降维后的Gabor特征向量或者RILPQ特征向量，表示人脸样本库中的对应的人脸特征向量。

上述基于监控场景下的人脸识别系统，所述图像相似度值获取模块中：

获取图像相似度值采用的公式为：

其中，F表示图像相似度值，m表示分块的块数，n表示所述多尺度RILPQ特征选取的尺度，f_m0表示第m个块中人脸图像中Gabor特征与人脸样本库中Gabor特征的特征相似度值，f_mn表示第m个块中人脸图像中第n个尺度下的人脸模型上RILPQ特征与人脸样本库中RILPQ特征的特征相似度值。

上述基于监控场景下的人脸识别系统，所述特征提取模块中：

所述多尺度RILPQ特征选取的尺度为3，3个不同尺度的人脸模型分别为归一化后的内部人脸、过渡人脸和外部人脸，所述内部人脸只包括脸部的器官：眼睛、嘴及眉毛；所述外部人脸包括外部的人脸元素：下巴、额头及头发；所述过渡人脸是介于内部人脸到外部人脸之间的一种人脸。

上述基于监控场景下的人脸识别系统，所述最佳匹配人脸图像获取模块中：

若所述预处理模块中获取的同一人的人脸图像为1张时，选取人脸样本库中图像相似度值最高的人脸图像作为最佳匹配的人脸图像；

若所述预处理模块中获取的同一人的人脸图像为多张时，分别获取每张人脸图像的最高图像相似度值对应的匹配人脸图像，若匹配人脸图像中有相同的人脸图像，则选取所述相同的人脸图像作为最佳匹配的人脸图像；否则，选取多个最高图像相似度值中图像相似度值最高的匹配人脸图像作为最佳匹配的人脸图像。

上述基于监控场景下的人脸识别系统，所述检测与跟踪模块中：

对所述图像进行人脸检测采用Adaboost人脸检测算法；

对所述图像进行人脸跟踪采用MeanShift算法。

上述基于监控场景下的人脸识别系统，所述预处理模块中：

所述预处理包括人脸对齐和光照补强。

上述基于监控场景下的人脸识别系统，所述降维模块中：

通过主成分分析PCA和线性鉴别分析LDA对提取的Gabor特征和多尺度RILPQ特征分别分块进行降维。

本发明的上述技术方案相比现有技术具有以下优点：

(1)本发明所述的一种基于监控场景下的人脸识别方法及系统，先对获取的监控场景下的图像进行人脸检测和人脸跟踪，获取同一人的至少一张人脸图像，并对所述人脸图像进行预处理，然后对预处理的人脸图像至少进行Gabor特征提取和多尺度RILPQ特征提取，对提取的特征分块进行降维，再将降维后的特征与人脸样本库中的人脸特征进行匹配，做分数级的融合，获取图像相似度值，最后结合一个人多张人脸的识别结果，获取最佳匹配的人脸图像。本发明采用Gabor特征和多尺度RILPQ特征分数级的融合方式，减小了人脸图像光照不均匀、存在旋转角度以及图像模糊等问题对人脸识别产生的影响，具有较高的鲁棒性，有效地提高了监控场景下的人脸识别率。

(2)本发明提供的一种基于监控场景下的人脸识别方法及系统，通过主成分分析PCA和线性鉴别分析LDA对提取的Gabor特征和多尺度RILPQ特征分别分块进行降维，降低了特征的长度，减少了人脸识别所需的时间，从而提高了人脸识别的性能。

附图说明

为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中

图1是本发明一个实施例的一种基于监控场景下的人脸识别方法流程图；

图2是本发明一个实施例的一种对单目标进行人脸跟踪的Meanshift算法流程图；

图3是本发明一个实施例的一种人脸识别过程的示意图；

图4是本发明一个实施例的一种人脸抓拍过程的示意图；

图5是本发明一个实施例的一种人脸特征的分数级融合示意图；

图6是本发明一个实施例的一种基于监控场景下的人脸识别系统框图。

具体实施方式

实施例1

本实施例提供一种基于监控场景下的人脸识别方法，如图1所示，包括如下步骤：

S1：获取监控场景下采集的图像，对所述图像进行人脸检测和人脸跟踪。

对所述图像进行人脸检测，首先利用Vibe(Visual Background extractor，背景建模)算法提取监控场景中的前景区域即运动区域，然后在所述运动区域上采用Adaboost人脸检测算法来获取人脸的位置和大小。在监控场景下，由于人是不断运动的，连续静止的画面很少，所以在人脸检测时，只在运动区域利用Adaboost人脸检测算法做人脸检测，提高了检测速度。

对所述图像进行人脸跟踪，采用MeanShift算法，在后续图像帧中对多目标进行跟踪时，分别采用MeanShift算法对单目标进行跟踪，MeanShift算法如图2所示,包括如下步骤：

t1：提取人脸区域的图像矩形框。

t2：计算所述图像矩形框的直方图。

t3：计算所述直方图的反向投影图。

t4：利用MeanShift算法计算跟踪框，所述跟踪框是跟踪步骤t1中的图像矩形框得到的，即估计出的所述图像矩形框在下一帧的位置。

t5：判断矩形框中心和矩形框内图像重心距离是否小于设定的距离阈值，或者是不是大于限定的迭代次数，是则继续下一步骤；否则返回到步骤t4。

t6：跟踪成功，找到目标并保存。

t7：判断视频流是否结束或人为退出，是则结束跟踪；否则返回到步骤t3。

通过MeanShift算法可以跟踪后续图像帧中人脸的位置、大小等状态的变化，并可以获得同一人的连续多张人脸。

S2：获取同一人的至少一张人脸图像，并对所述人脸图像进行预处理。

经过人脸跟踪后，获得同一人的连续多张人脸，对这些人脸做质量评价，计算每张人脸的清晰度，角度，亮度，融合这些结果输出每张人脸的质量评价值，然后通过筛选，同一人输出N张最佳人脸，本实施例中N取1。

对质量评价后的最佳人脸进行预处理，所述预处理包括人脸对齐和光照补偿。

人脸对齐，对所述最佳人脸做关键点定位，根据关键点的位置，计算出人脸旋转的角度，做姿态矫正，进行归一化对齐成统一大小的人脸。

光照补偿，先将对齐后的人脸做Gamma校正，然后用高斯差分滤波器对图像做处理，进而减弱光照对人脸的影响。

对所述人脸图像进行预处理后输出归一化、对齐后的人脸。

S3：对预处理后的人脸图像分别至少进行Gabor特征提取和多尺度RILPQ特征提取。本实施例中对预处理后的人脸图像进行Gabor特征提取和多尺度RILPQ特征提取。

Gabor特征提取，二维Gabor核函数为：

其中μ表示Gabor核函数的方向，ν表示Gabor核函数的尺度，z表示像素点的位置，即z＝(x,y)，σ表示Gabor核函数的方差，k_μ，v为波向量，波向量的定义如下：

其中k_ν＝k_max/fv，k_max表示最大频率，f表示频域中的内核间隔因子，φ_μ＝πμ/8。

决定了Gabor核函数的震荡部分，为补偿直流分量，用以消除核函数响应对图像亮度绝对值变化的依赖性，该公式定义的所有滤波器，均可以通过对某一Gabor滤波器进行适当的平移、旋转和尺度变化来得到。本实施例中选取Gabor核函数的方向为8个，即μ＝0,1,...,7，选取Gabor核函数的尺度为5，即ν＝0,1,2,3,4。用这40个不同的Gabor核函数，分别对图像进行Gabor变换，对得到的40个复数取模得到图像的特征。具体实现方法是将图像I(x,y)分别和40个Gabor核函数卷积：

多尺度RILPQ特征提取采用如下方法：

LPQ特征具有模糊不变性，是一个处理空间模糊图像纹理的特征描述算子。图像的空间模糊可以表示为源图像的强度和一个点扩散函数的卷积，它们的傅里叶变换可以表示为一个乘积：

G(u)＝F(u)*H(u)

其中：G(u)，F(u)和H(u)分别表示模糊图像、源图像和点扩散函数的离散傅里叶变换，u是二维的坐标向量[u,v]^T。

LPQ特征计算图上的每一个像素点x＝(x₁,x₂)邻域N_x的相位。局部光谱F(u,x)使用离散的短时傅里叶变换计算得到，定义为：

其中：u表示频率，w_r是一个定义邻域N_x的窗口函数，大小为N_R×N_R。LPQ分别在四个频率上u₁＝[a,0]^T，u₂＝[0,a]^T，u₃＝[a,a]^T，u₄＝[a,-a]^T，计算傅里叶系数，其中a是一个足够小的使H_ui≥0的数。这样每一个像素点可以表示为一个向量：

F(x)＝[F(u₁,x),F(u₂,x),F(u₃,x),F(u₄,x)]

通过一个简单的分级量化方法进行量化：

其中：g_j表示G(x)＝[Re{F(u₁,x)},Im{F(u₁,x)}]中的第j个分量。量化后，q_j变为一个8位二进制数的向量，对每一个分量赋予权系数2^j，通过下式计算出该点对应的LPQ值，它是一个0～255之间的整数：

所述多尺度RILPQ特征选取的尺度为3，3个不同尺度的人脸模型分别为归一化后的内部人脸、过渡人脸和外部人脸，所述内部人脸只包括脸部的器官：眼睛、嘴及眉毛；所述外部人脸包括外部的人脸元素：下巴、额头及头发；所述过渡人脸是内部人脸到外部人脸的一个过渡状态下的人脸。这3种不同尺度的人脸是根据设定不同的眼间距获取的。外部人脸的眼间据为DisExt，内部人脸的眼间距是DisInt，过度人脸的眼间距是DisTran。它们满足如下关系：

RILPQ特征提取方法是首先对图像的每一个像素点计算典型方向，然后将每个局部邻域旋转到典型方向计算LPQ特征。这使得RILPQ具有旋转不变性。

R_θ表示θ角对应的二维旋转矩阵。令表示旋转θ角度后的图像。根据傅里叶的性质，f(x′)的傅里叶变换可以由f(x)的傅里叶变换通过R_θ旋转得到，即同样的原理应用于像素点的邻域N_x，则它们的坐标位置变换到x′＝R_θx。RILPQ利用这一性质，在频率为半径为r的圆上根据离散的短时傅里叶变化计算傅里叶系数，其中表示对应的角度。同时离散的短时傅里叶变化中的窗口函数采用如下定义的高斯圆代替。

变换处理后得到的结果为向量V(x)＝[F(v₀,x),...,F(v_M-1,x)]，对于旋转变换R_θ，其坐标变换到x′，同时对应一个θ角的环形位移。为了保持模糊不变性，RILPQ仅仅使用V(x)虚部的符号量化计算典型方向，即C(x)＝sgn(I_m(V(x)))。于是典型方向可以通过量化系数的一个复数矩得到：

其中：c_i是向量C(x)的第i个分量。这样图像中每一个像素点的典型方向定义为：

对于旋转图像f′的邻域N_x的典型方向为ε(y)是f中N_y的典型方向。接下来采用与LPQ类似的方法提取RILPQ二进制描述子，只是计算前将每一个局部邻域旋转到典型方向：

同理旋转θ的图像f′变为：

S4：对提取的Gabor特征和多尺度RILPQ特征分别分块进行降维。

通过主成分分析PCA和线性鉴别分析LDA对提取的Gabor特征和多尺度RILPQ特征分块进行降维。本实施例中将人脸图像划分成18个不重叠的块，分别对Gabor特征和多尺度RILPQ特征进行降维，采用主成分分析选取信息量的比例为96％，每块线性鉴别分析的维度降到160维。

通过主成分分析PCA和线性鉴别分析LDA对提取的Gabor特征和多尺度RILPQ特征分块进行降维，降低了特征的长度，减少了人脸识所需的时间，从而提高了人脸识别的性能。

S5：将降维后的Gabor特征和多尺度RILPQ特征与人脸样本库中的人脸特征进行匹配，获取特征相似度值，

获取特征相似度值采用余弦度量公式：

其中，f表示特征相似度值，表示所述降维后的Gabor特征向量或者RILPQ特征向量，表示人脸样本库中的对应的人脸特征向量，即如果表示降维后的Gabor特征向量，则对应的表示人脸样本库中的Gabor特征向量，如果表示降维后的RILPQ特征向量，则对应的表示人脸样本库中的RILPQ特征向量。

S6：根据所述特征相似度值获取人脸图像与人脸样本库中人脸图像的图像相似度值。对所有的Gabor特征相似度值和多尺度RILPQ特征进行分数级的融合，获取图像相似度值。

获取图像相似度值采用的公式为：

其中，F表示图像相似度值，m表示分块的块数，n表示所述多尺度RILPQ特征选取的尺度，f_m0表示第m个块中人脸图像中Gabor特征与人脸样本库中Gabor特征的特征相似度值，f_mn表示第m个块中人脸图像中第n个尺度下的人脸模型上RILPQ特征与人脸样本库中RILPQ特征的特征相似度值。

S7：根据同一人的至少一张人脸图像的图像相似度值获取最佳匹配的人脸图像。

本实施例中选取的最佳人脸为1张，所以选取人脸样本库中图像相似度值最高的人脸图像作为最佳匹配的人脸图像。

本实施例提供一种基于监控场景下的人脸识别方法，先对获取的监控场景下的图像进行人脸检测和人脸跟踪，获取同一人的至少一张人脸图像，并对所述人脸图像进行预处理，然后对预处理的人脸图像至少进行Gabor特征提取和多尺度RILPQ特征提取，对提取的特征分块进行降维，再将降维后的特征与人脸样本库中的人脸特征进行匹配，做分数级的融合，获取图像相似度值，最后结合一个人多张人脸的识别结果，获取最佳匹配的人脸图像。本发明采用Gabor特征和多尺度RILPQ特征分数级的融合方式，减小了人脸图像光照不均匀、存在旋转角度以及图像模糊等问题对人脸识别产生的影响，具有较高的鲁棒性，有效地提高了监控场景下的人脸识别率。

实施例2

本实施例提供一种基于监控场景下的人脸识别方法，步骤1以及步骤3-步骤6与实施例1相同，与实施例1不同的是步骤2和步骤7，具体如下：

步骤S2中：获取同一人的至少一张人脸图像，并对所述人脸图像进行预处理。经过人脸跟踪后，获得同一人的连续多张人脸，对这些人脸做质量评价，计算每张人脸的清晰度，角度，亮度，融合这些结果输出每张人脸的质量评价值，然后通过筛选，同一人输出3张最佳人脸，在其他实施例中根据需要也可以选择2张、4张以及其他多张最佳人脸，本实施例中选取的是3张最佳人脸。

步骤S7中：根据同一人的至少一张人脸图像的图像相似度值获取最佳匹配的人脸图像。本实施例中选取的最佳人脸为3张，所以获取3张人脸图像的最高图像相似度值F1，F2，F3及对应的匹配人脸图像t1，t2，t3，若匹配人脸图像t1，t2，t3中有相同的人脸图像，则选取所述相同的人脸图像作为最佳匹配的人脸图像；否则，选取最高图像相似度值F1，F2，F3中值最大的对应匹配人脸图像作为最佳匹配的人脸图像。

实施例3

本实施例提供一种基于监控场景下的人脸识别方法。

人脸识别过程如图3所示：在实际的应用中，首先需要将要抓捕的人的脸部特征数据存入数据库，即黑名单数据库，。然后用人脸抓拍/分析仪从监控场景中抓拍人脸，将其存储在抓拍人脸数据库中并且计算其特征数据与黑名单特征数据集进行匹配，如果它们的相似度值大于设定的阈值，则报警输出。

人脸抓拍过程如图4所示：对经过监控区域的人进行人脸检测，并对其进行跟踪。在一个人的行径过程中，一个人会有多张人脸输出。在此过程中，会对检测出的每张人脸进行质量评价。在当人离开检测区域时，输出最佳的N张人脸，将其上传。

图像采集，用人脸抓拍/分析仪抓拍人脸图像，并存储到抓拍人脸数据库中。

人脸检测，利用Vibe背景建模算法提取监控场景中的前景区域即运动区域，然后在此区域上用Adaboost人脸检测算法，获取人脸的位置和大小。人脸检测从监控场景中检测出人脸的位置和大小。在监控场景下，由于人是不断运动的，连续静止的画面很少，所以在人脸检测时，只在运动区域利用Adaboost人脸检测算法做人脸检测，提高了检测速度。

人脸跟踪，即如果在视频中存在人脸，确定人脸的当前位置、大小等状态，并跟踪后续帧中人脸的位置、大小等状态的变化。在每帧图像中，对多目标进行跟踪，其中单目标的跟踪算法用的是MeanShift算法，迭代的最大次数限制为10次。

最佳人脸，在一个人的行走轨迹中，每个人可以检测到多张人脸，对这些人脸做质量评价，计算每张人脸的清晰度，角度，亮度，融合这些结果输出每张人脸的质量评价值。然后通过筛选，每个人输出N张最佳人脸，N取3。

人脸预处理包括人脸对齐和光照补偿。

人脸对齐，对待识别的人脸做关键点定位，根据关键点的位置，计算出人脸旋转的角度，做姿态矫正，进行归一化对齐成统一大小的人脸。

光照补偿，先将对齐后的人脸做Gamma校正，γ＝0.25，然后用高斯差分滤波器对图像做处理，进而减弱光照对人脸的影响，σ₁＝1.0，σ₂＝2.0

特征提取包括Gabor特征提取和多尺度的RILPQ特征提取。

提取人脸的Gabor幅值特征，采用了5个尺度，ν＝0,1,2,3,4，8个方向，μ＝0,1,...,7的Gabor函数。用这40个不同的Gabor核函数，分别对图像进行Gabor变换，对得到的40个复数取模得到图像的特征。具体实现方法是将图像I(x,y)分别和40个Gabor核函数卷积：

在多尺度的人脸模型上提取RILPQ特征，尺度数是3。建立3个不同尺度的归一化人脸模板(内部人脸，过渡人脸，外部人脸)。内部人脸只包括脸部的器官，眼睛、鼻子、嘴以及眉毛。外部的人脸包括了一些外部的人脸元素，例如下巴，额头以及头发等。过渡人脸是内部人脸到外部人脸的一个过渡状态。计算LPQ特征时，窗口大小取7×7，频率参数取1/7，旋转外扩后的窗口大小为11×11。高斯圆窗口大小取5×5。角度划分成36个bin。在对LPQ特征做直方图统计时，每个Block大小是8×8。

特征降维，提取完特征后，将人脸图像划分成18个不重叠的块，分别降维，选取PCA的信息量的比例是96％，每块LDA的维度降到160维。

匹配，用余弦度量公式，计算了相似度值，余弦公式如下：

在这里，使用了简单的逻辑融合了这些相似度值，每个特征，每块，每个尺度的权重都是一样的，如图5所示。由于每个人会有3张人脸用于识别，故在匹配时，结合3张的识别结果，输出最佳识别结果。

人脸识别技术的应用主要包括一对一验证应用和一对多识别应用。一对一验证是将现场采集到的待测人脸样本与标准人脸特征模板进行“一对一”比对，得出“是否是同一人”的结论；一对多识别是将现场采集到的待测人脸样本与人脸特征数据库中的标准人脸进行“一对多”的搜索比对，得出“有无此人”以及“此人是谁”的结论。在监控场景中，最常用的就是一对多的识别。

本实施例提供一种基于监控场景下的人脸识别方法，先对获取的监控场景下的图像进行人脸检测和人脸跟踪，获取同一人的至少一张人脸图像，并对所述人脸图像进行预处理，然后对预处理的人脸图像至少进行Gabor特征提取和多尺度RILPQ特征提取，对提取的特征分块进行降维，再将降维后的特征与人脸样本库中的人脸特征进行匹配，做分数级的融合，获取图像相似度值，最后结合一个人多张人脸的识别结果，获取最佳匹配的人脸图像。本发明采用Gabor特征和多尺度RILPQ特征分数级的融合方式，减小了人脸图像光照不均匀、存在旋转角度以及图像模糊等问题对人脸识别产生的影响，具有较高的鲁棒性，有效地提高了监控场景下的人脸识别率。

实施例4

本实施例提供一种基于监控场景下的人脸识别系统，如图6所示，包括：

检测与跟踪模块，用于获取监控场景下采集的图像，对所述图像进行人脸检测和人脸跟踪。

筛选模块，用于获取同一人的至少一张人脸图像。

预处理模块，用于对所述筛选模块中的人脸图像进行预处理。

特征提取模块，用于对预处理后的人脸图像分别至少进行Gabor特征提取和多尺度RILPQ特征提取。

降维模块，用于对提取的Gabor特征和多尺度RILPQ特征分别分块进行降维。

特征匹配模块，用于将降维后的Gabor特征和多尺度RILPQ特征与人脸样本库中的人脸特征进行匹配，获取特征相似度值。

图像相似度值获取模块，用于根据所述特征相似度值获取人脸图像与人脸样本库中人脸图像的图像相似度值。

最佳匹配人脸图像获取模块，用于根据同一人的至少一张人脸图像的图像相似度值获取最佳匹配的人脸图像。

所述特征匹配模块中获取特征相似度值采用余弦度量公式：

其中，f表示特征相似度值，表示所述降维后的Gabor特征向量或者RILPQ特征向量，表示人脸样本库中的对应的人脸特征向量。

所述图像相似度值获取模块中获取图像相似度值采用的公式为：

其中，F表示图像相似度值，m表示分块的块数，n表示所述多尺度RILPQ特征选取的尺度，f_m0表示第m个块中人脸图像中Gabor特征与人脸样本库中Gabor特征的特征相似度值，f_mn表示第m个块中人脸图像中第n个尺度下的人脸模型上RILPQ特征与人脸样本库中RILPQ特征的特征相似度值。

所述特征提取模块中所述多尺度RILPQ特征选取的尺度为3，3个不同尺度的人脸模型分别为归一化后的内部人脸、过渡人脸和外部人脸，所述内部人脸只包括脸部的器官：眼睛、嘴及眉毛；所述外部人脸包括外部的人脸元素：下巴、额头及头发；所述过渡人脸是内部人脸到外部人脸的一个过渡状态下的人脸。

所述最佳匹配人脸图像获取模块中若所述预处理模块中获取的同一人的人脸图像为1张时，选取人脸样本库中图像相似度值最高的人脸图像作为最佳匹配的人脸图像。

若所述预处理模块中获取的同一人的人脸图像为多张时，分别获取每张人脸图像的最高图像相似度值对应的匹配人脸图像，若匹配人脸图像中有相同的人脸图像，则选取所述相同的人脸图像作为最佳匹配的人脸图像；否则，选取多个最高图像相似度值中图像相似度值最高的匹配人脸图像作为最佳匹配的人脸图像。

所述检测与跟踪模块中对所述图像进行人脸检测采用Adaboost人脸检测算法；对所述图像进行人脸跟踪采用MeanShift算法。

所述预处理模块中所述预处理包括人脸对齐和光照补强。

所述降维模块中通过主成分分析PCA和线性鉴别分析LDA对提取的Gabor特征和多尺度RILPQ特征分别分块进行降维。

本实施例提供一种基于监控场景下的人脸识别系统，先对获取的监控场景下的图像进行人脸检测和人脸跟踪，获取同一人的至少一张人脸图像，并对所述人脸图像进行预处理，然后对预处理的人脸图像至少进行Gabor特征提取和多尺度RILPQ特征提取，对提取的特征分块进行降维，再将降维后的特征与人脸样本库中的人脸特征进行匹配，做分数级的融合，获取图像相似度值，最后结合一个人多张人脸的识别结果，获取最佳匹配的人脸图像。本发明采用Gabor特征和多尺度RILPQ特征分数级的融合方式，减小了人脸图像光照不均匀、存在旋转角度以及图像模糊等问题对人脸识别产生的影响，具有较高的鲁棒性，有效地提高了监控场景下的人脸识别率。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (12)

1.一种基于监控场景下的人脸识别方法，其特征在于，包括如下步骤：

获取监控场景下采集的图像，对所述图像进行人脸检测和人脸跟踪；

获取同一人的至少一张人脸图像，并对所述人脸图像进行预处理；

对预处理后的人脸图像分别至少进行Gabor特征提取和多尺度RILPQ特征提取；

对提取的Gabor特征和多尺度RILPQ特征分别分块进行降维；

将降维后的Gabor特征和多尺度RILPQ特征与人脸样本库中的人脸特征进行匹配，获取特征相似度值；

根据所述特征相似度值获取人脸图像与人脸样本库中人脸图像的图像相似度值；

根据同一人的至少一张人脸图像的图像相似度值获取最佳匹配的人脸图像；

所述根据所述特征相似度值获取人脸图像与人脸样本库中人脸图像的图像相似度值步骤中：

获取图像相似度值采用的公式为：

其中，F表示图像相似度值，m表示分块的块数，n表示所述多尺度RILPQ特征选取的尺度，f_m0表示第m个块中人脸图像中Gabor特征与人脸样本库中Gabor特征的特征相似度值，f_mn表示第m个块中人脸图像中第n个尺度下的人脸模型上RILPQ特征与人脸样本库中RILPQ特征的特征相似度值；

所述对预处理后的人脸图像分别至少进行Gabor特征提取和多尺度RILPQ特征提取步骤中：

所述多尺度RILPQ特征选取的尺度为3，3个不同尺度的人脸模型分别为归一化后的内部人脸、过渡人脸和外部人脸，所述内部人脸只包括脸部的器官：眼睛、嘴及眉毛；所述外部人脸包括外部的人脸元素：下巴、额头及头发；所述过渡人脸是介于内部人脸到外部人脸之间的一种人脸。

2.根据权利要求1所述的基于监控场景下的人脸识别方法，其特征在于，

所述将降维后的Gabor特征和多尺度RILPQ特征与人脸样本库中的人脸特征进行匹配，获取特征相似度值，步骤中：

获取特征相似度值采用余弦度量公式：

其中，f表示特征相似度值，表示所述降维后的Gabor特征向量或者RILPQ特征向量，表示人脸样本库中的对应的人脸特征向量。

3.根据权利要求1所述的基于监控场景下的人脸识别方法，其特征在于，

所述根据同一人的至少一张人脸图像的图像相似度值获取最佳匹配的人脸图像步骤中：

若获取的同一人的人脸图像为1张时，选取人脸样本库中图像相似度值最高的人脸图像作为最佳匹配的人脸图像；

若获取的同一人的人脸图像为多张时，分别获取每张人脸图像的最高图像相似度值对应的匹配人脸图像，若匹配人脸图像中有相同的人脸图像，则选取所述相同的人脸图像作为最佳匹配的人脸图像；否则，选取多个最高图像相似度值中图像相似度值最高的匹配人脸图像作为最佳匹配的人脸图像。

4.根据权利要求1所述的基于监控场景下的人脸识别方法，其特征在于，

所述获取监控场景下采集的图像，对所述图像进行人脸检测和人脸跟踪步骤中：

对所述图像进行人脸检测采用Adaboost人脸检测算法；

对所述图像进行人脸跟踪采用MeanShift算法。

5.根据权利要求1所述的基于监控场景下的人脸识别方法，其特征在于，

所述获取同一人的至少一张人脸图像，并对所述人脸图像进行预处理步骤中：

所述预处理包括人脸对齐和光照补偿。

6.根据权利要求1-5任一所述的基于监控场景下的人脸识别方法，其特征在于，所述对提取的Gabor特征和多尺度RILPQ特征分别分块进行降维步骤中：

通过主成分分析PCA和线性鉴别分析LDA对提取的Gabor特征和多尺度RILPQ特征分别分块进行降维。

7.一种基于监控场景下的人脸识别系统，其特征在于，包括：

检测与跟踪模块，用于获取监控场景下采集的图像，对所述图像进行人脸检测和人脸跟踪；

筛选模块,用于获取同一人的至少一张人脸图像；

预处理模块，用于对所述筛选模块中的人脸图像进行预处理；

特征提取模块，用于对预处理后的人脸图像分别至少进行Gabor特征提取和多尺度RILPQ特征提取；

降维模块，用于对提取的Gabor特征和多尺度RILPQ特征分别分块进行降维；

特征匹配模块，用于将降维后的Gabor特征和多尺度RILPQ特征与人脸样本库中的人脸特征进行匹配，获取特征相似度值；

图像相似度值获取模块，用于根据所述特征相似度值获取人脸图像与人脸样本库中人脸图像的图像相似度值；

最佳匹配人脸图像获取模块，用于根据同一人的至少一张人脸图像的图像相似度值获取最佳匹配的人脸图像；

所述图像相似度值获取模块中：

获取图像相似度值采用的公式为：

其中，F表示图像相似度值，m表示分块的块数，n表示所述多尺度RILPQ特征选取的尺度，f_m0表示第m个块中人脸图像中Gabor特征与人脸样本库中Gabor特征的特征相似度值，f_mn表示第m个块中人脸图像中第n个尺度下的人脸模型上RILPQ特征与人脸样本库中RILPQ特征的特征相似度值；

所述特征提取模块中：

所述多尺度RILPQ特征选取的尺度为3，3个不同尺度的人脸模型分别为归一化后的内部人脸、过渡人脸和外部人脸，所述内部人脸只包括脸部的器官：眼睛、嘴及眉毛；所述外部人脸包括外部的人脸元素：下巴、额头及头发；所述过渡人脸是介于内部人脸到外部人脸之间的一种人脸。

8.根据权利要求7所述的基于监控场景下的人脸识别系统，其特征在于，

所述特征匹配模块中：

获取特征相似度值采用余弦度量公式：

其中，f表示特征相似度值，表示所述降维后的Gabor特征向量或者RILPQ特征向量，表示人脸样本库中的对应的人脸特征向量。

9.根据权利要求7所述的基于监控场景下的人脸识别系统，其特征在于，

所述最佳匹配人脸图像获取模块中：

若所述预处理模块中获取的同一人的人脸图像为1张时，选取人脸样本库中图像相似度值最高的人脸图像作为最佳匹配的人脸图像；

若所述预处理模块中获取的同一人的人脸图像为多张时，分别获取每张人脸图像的最高图像相似度值对应的匹配人脸图像，若匹配人脸图像中有相同的人脸图像，则选取所述相同的人脸图像作为最佳匹配的人脸图像；否则，选取多个最高图像相似度值中图像相似度值最高的匹配人脸图像作为最佳匹配的人脸图像。

10.根据权利要求7所述的基于监控场景下的人脸识别系统，其特征在于，

所述检测与跟踪模块中：

对所述图像进行人脸检测采用Adaboost人脸检测算法；

对所述图像进行人脸跟踪采用MeanShift算法。

11.根据权利要求7所述的基于监控场景下的人脸识别系统，其特征在于，

所述预处理模块中：

所述预处理包括人脸对齐和光照补强。

12.根据权利要求7-11任一所述的基于监控场景下的人脸识别系统，其特征在于，所述降维模块中：

通过主成分分析PCA和线性鉴别分析LDA对提取的Gabor特征和多尺度RILPQ特征分别分块进行降维。