CN105139003A - 一种动态人脸识别系统及方法 - Google Patents

Abstract

本发明涉及一种动态人脸识别系统及方法，其系统包括检测模块，预处理模块，特征提取训练模块，特征提取识别模块；检测模块加载人脸检测器，读取视频流或全景图像进行人脸检测，并对检测到的人脸图像进行实时显示和截取保存；预处理模块将人脸图像进行灰度变换和图像归一化，通过APVD进行检测，保留达标人脸图像；特征提取训练模块建立训练样本库和训练样本的索引，读取达标人脸图像，进行特征提取，进行PCA特征降维和BP神经网络训练；特征提取识别模块读取达标人脸图像，进行归一化、CGW特征提取、PCA降维和识别，输出识别结果。本发明计算图像的模糊程度，选取达到识别要求的人脸图像，使用弧形Gabor小波提取有效的人脸特征，提高识别率。

Description

一种动态人脸识别系统及方法

技术领域

本发明涉及人脸识别技术领域，尤其涉及一种动态人脸识别系统及方法。

背景技术

人脸识别技术作为当今计算机视觉领域最热门的研究课题之一，在安防行业、门禁系统、考勤系统以及人机交互等领域有着广泛的应用。人脸识别的研究已经有几十年历史，至今已取得丰硕成果，然而现有的研究工作更多还是针对静态标准人脸图像，对于实际场景的动态人脸识别研究较少，还很难到达应用要求。实际场景中动态人脸识别，与静态条件下人脸识别相比，需要考虑更多的问题：摄像头失焦或者相对运动容易造成图像模糊，排除模糊图像是需要考虑的；视频流条件下很难保证采集到的人脸图像都是高质量，如何尽可能提取有用信息是一个挑战。

本发明针对动态条件下存在图像模糊，提出了基于小波域的像素差值累积(TheAccumulationofPixelValuesDifferenceinWaveletDomain，APVD)的图像模糊检测算法，利用APVD算法计算人脸图像的模糊图像质量评估，图像只有达到一定的清晰度才进行下一步操作，减小模糊图像对识别系统的影响；针对动态条件下图像质量不高，为了尽可能多地提取有效信息，本文在Gabor小波变换的基础上，通过增加一个曲率参数，把Gabor小波扩展成弧形Gabor小波(CurveGaborWavelet，CGW)，提取更多有效的人脸特征，从而提高系统识别率。

发明内容

本发明所要解决的技术问题是提供一种基于小波域的像素差值累积的图像模糊检测算法来计算图像的模糊程度，选取模糊程度达到识别要求的人脸图像，使用弧形Gabor小波提取有效的人脸特征，提高识别率的动态人脸识别系统及方法。

本发明解决上述技术问题的技术方案如下：一种动态人脸识别系统，包括检测模块，预处理模块，特征提取训练模块，特征提取识别模块；

所述检测模块，用于加载人脸检测器，通过人脸检测器读取视频流或全景图像进行人脸检测，并对检测到的人脸图像进行实时显示和截取保存；

所述预处理模块，用于对截取的人脸图像进行预处理，将人脸图像进行灰度变换和图像归一化，并通过APVD对人脸图像进行检测，剔除不达标的人脸图像，保留达标人脸图像；

所述特征提取训练模块，用于建立训练样本库和训练样本的索引，通过路径索引读取达标的人脸图像，并利用CGW算法对达标的人脸图像进行特征提取，对提取的特征进行PCA特征降维和BP神经网络训练，得出训练差值；

所述特征提取识别模块，用于当训练误差值达到设置定值，读取达标的人脸图像，并对达标的人脸图像进行归一化、CGW特征提取、PCA降维和识别，输出识别结果。

进一步，所述人脸检测器为Viola-Jones人脸检测器，所述Viola-Jones人脸检测器对视频流或全景图像提取Haar-like特征，结合级联Adaboost算法，获取人脸检测率，对人脸检测率达标的人脸图像进行实时显示和截取保存。

进一步，所述预处理模块的APVD具体为：通过Haar小波提取人脸图像的高频信息，从而把人脸图像分成高频与低频两个部分，分别累计两部分图像相邻间像素差值，并计算差值平均，最后根据这两个值的关系得出模糊图像质量，对模糊图像质量达标的人脸图像进行保留。

本发明的有益效果是：根据实际应用场景中，从视频中检测并截取人脸图像，碰到光照改变、模糊和遮挡等各种因素的干扰，为了获取到比较理想的人脸图像，本发明基于小波域的像素差值累积，提出了APVD模糊检测算法，尽可能的在采集动态人脸图像时克服这些干扰，从而减少模糊图像对整个人脸识别系统的影响；在采集到的人脸图像上，本发明还在Gabor小波变换基础上，通过增加一个曲率参数，把Gabor小波扩展成弧形Gabor小波(CGW)，提取更加有效的人脸特征，从而提高系统识别率。

一种动态人脸识别方法，包括以下步骤：

步骤S1.加载人脸检测器，通过人脸检测器读取视频流和全景图像进行人脸检测，并对检测到的人脸图像进行实时显示和截取保存；

步骤S2.对截取的人脸图像进行预处理，将人脸图像进行灰度变换和图像归一化，并通过APVD对人脸图像进行检测，剔除不达标的人脸图像，保留达标人脸图像；

步骤S3.建立训练样本库和训练样本的索引，通过路径索引读取达标的人脸图像，利用CGW算法对达标的人脸图像进行特征提取，对提取的特征进行PCA特征降维和BP神经网络训练，得出训练误差值；

步骤S4.当训练误差值达到设置定值，读取达标的人脸图像，并对达标的人脸图像进行归一化、CGW特征提取、PCA降维和识别，输出识别结果。

优选的，所述人脸检测器为Viola-Jones人脸检测器，所述Viola-Jones人脸检测器对视频流或全景图像提取Haar-like特征，结合级联Adaboost算法，获取人脸检测率，对人脸检测率达标的人脸图像进行实时显示和截取保存。

进一步，所述步骤S2的APVD的具体实现：通过Haar小波提取人脸图像的高频信息，从而把人脸图像分成高频与低频两个部分，分别累计两部分图像相邻间像素差值，并计算差值平均，最后根据这两个值的关系得出模糊图像质量，对模糊图像质量达标的人脸图像进行保留。

进一步，所述步骤S2的APVD对人脸图像进行检测的具体步骤：

步骤S21：利用Haar小波对人脸图像提取小波特征，进行Haar小波一层分解后，使用低频子带提取低频振幅图像，高频子带提取高频振幅图像，将人脸图像分为低频与高频两个部分；

步骤S22：对提取小波特征后的高频振幅图像做自适应二值化，图G为小波提取后HL、LH和HH子带累加后的高频信息图像，平均像素值m(i,j)和方差ε(i,j)计算如下：

$m(i,j)=\frac{1}{2p}\underset{s=-p}{\overset{p}{\Σ}}\underset{t=-p}{\overset{p}{\Σ}}G(i+s,j+t)---\left(1\right)$

$\mathrm{\ϵ}(i,j)=\frac{1}{2p}\underset{s=-p}{\overset{p}{\Σ}}\underset{t=-p}{\overset{p}{\Σ}}|G(i+s,j+t)-m(i,j)|---\left(2\right)$

其中p是指邻近像素点(i,j)的像素点个数为半径，则像素点(i,j)处的局部二值化阈值为t(i,j)＝m(i,j)+ε(i,j)；高频信息图像G的水平二值化图B：

$B(i,j)=\left\{\begin{array}{c}255,ifG(i,j)>t(i,j)\\ 0,others\end{array}\right.---\left(3\right);$

步骤S23：利用获得的二值图B，找出原人脸图像中对应的高频成分，定义为H，即H＝S&B；对应其他区域定义为L，即L＝S-H；图像H中像素点的水平绝对差值定义为:

H_h(i,j)＝|H(i,j+1)-H(i,j-1)|(4)

水平差平均值为：

$H_{h-mean}=\frac{1}{MN}{\mathrm{\Σ}}_{i=1}^M{\mathrm{\Σ}}_{j=1}^N{H}_h(i,j)---\left(5\right)$

垂直绝对差值：

H_v(i,j)＝|H(i+1,j)-H(i-1,j)|(6)

垂直差平均值：

$H_{v-mean}=\frac{1}{MN}{\mathrm{\Σ}}_{i=1}^M{\mathrm{\Σ}}_{j=1}^N{H}_v(i,j)---\left(7\right)$

与公式(5)和公式(7)类似，可以分别求出图像L的水平差平均值L_h-mean垂直差平均值L_v-mean，则图像H的差值平均为H_mean＝(H_h-mean+H_v-mean)/2，图像L的差值平均为L_mean＝(L_h-mean+L_v-mean)/2；最后，模糊图像质量评估为:

$APVD=1-\frac{H_{mean}-L_{mean}}{H_{mean}}---\left(8\right).$

进一步，所述步骤S3中的CGW算法具体为：

根据Gabor核函数公式：

$\mathrm{\ψ}\left(\stackrel{\→}{x}\right)=\frac{k_{\mathrm{\υ}}^2}{{\mathrm{\σ}}^2}\exp (-\frac{k_{\mathrm{\υ}}^2\left|\right|\stackrel{\→}{x}|{|}^2}{2{\mathrm{\σ}}^2})\×\[\exp \left({\mathrm{ik}}_{\mathrm{\υ}}{x}^{\′}\right)-\exp (-\frac{{\mathrm{\σ}}^2}{2})\]---\left(10\right)$

增加一个曲率参数c，可以获得弧形Gabor小波算法的核函数如下：

本发明的有益效果是：根据实际应用场景中，从视频中检测并截取人脸图像，碰到光照改变、模糊和遮挡等各种因素的干扰，为了获取到比较理想的人脸图像，本发明基于小波域的像素差值累积，提出了APVD模糊检测算法，尽可能的在采集动态人脸图像时克服这些干扰，从而减少模糊图像对整个人脸识别系统的影响；在采集到的人脸图像上，本发明还在Gabor小波变换基础上，通过增加一个曲率参数，把Gabor小波扩展成弧形Gabor小波(CGW)，提取更加有效的人脸特征，从而提高系统识别率。

附图说明

图1为本发明一种动态人脸识别系统的模块框图；

图2为本发明一种动态人脸识别方法的流程图。

附图中，各标号所代表的部件列表如下：

1、检测模块，2、预处理模块，3、特征提取训练模块，4、特征提取识别模块。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，一种动态人脸识别系统，包括检测模块1，预处理模块2，特征提取训练模块3，特征提取识别模块4；

所述检测模块1，用于加载人脸检测器，通过人脸检测器读取视频流和全景图像进行人脸检测，并对检测到的人脸图像进行实时显示或截取保存；

所述预处理模块2，用于对截取的人脸图像进行预处理，将人脸图像进行灰度变换和图像归一化，并通过APVD对人脸图像进行检测，剔除不达标的人脸图像，保留达标人脸图像；

所述特征提取训练模块3，用于建立训练样本库和训练样本的索引，通过路径索引读取达标的人脸图像，并利用CGW算法对达标的人脸图像进行特征提取，对提取的特征进行PCA特征降维和BP神经网络训练，得出训练差值；

所述特征提取识别模块4，用于当训练误差值达到设置定值，读取达标的人脸图像，并对达标的人脸图像进行归一化、CGW特征提取、PCA降维和识别，输出识别结果。

优选的，所述人脸检测器为Viola-Jones人脸检测器，所述Viola-Jones人脸检测器对视频流或全景图像提取Haar-like特征，结合级联Adaboost算法，获取人脸检测率，对人脸检测率达标的人脸图像进行实时显示和截取保存。

优选的，所述预处理模块2的APVD具体为：通过Haar小波提取人脸图像的高频信息，从而把人脸图像分成高频与低频两个部分，分别累计两部分图像相邻间像素差值，并计算差值平均，最后根据这两个值的关系得出模糊图像质量，对模糊图像质量达标的人脸图像进行保留。

如图2所示，一种动态人脸识别方法，包括以下步骤：

步骤S1.加载人脸检测器，通过人脸检测器读取视频流和全景图像进行人脸检测，并对检测到的人脸图像进行实时显示和截取保存；

步骤S2.对截取的人脸图像进行预处理，将人脸图像进行灰度变换和图像归一化，并通过APVD对人脸图像进行检测，剔除不达标的人脸图像，保留达标人脸图像；

步骤S3.建立训练样本库和训练样本的索引，通过路径索引读取达标的人脸图像，利用CGW算法对达标的人脸图像进行特征提取，对提取的特征进行PCA特征降维和BP神经网络训练，得出训练误差值；

步骤S4.当训练误差值达到设置定值，读取达标的人脸图像，并对达标的人脸图像进行归一化、CGW特征提取、PCA降维和识别，输出识别结果。

优选的，所述人脸检测器为Viola-Jones人脸检测器，所述Viola-Jones人脸检测器对视频流或全景图像提取Haar-like特征，结合级联Adaboost算法，获取人脸检测率，对人脸检测率达标的人脸图像进行实时显示和截取保存。

优选的，所述步骤S2的APVD的具体实现：通过Haar小波提取人脸图像的高频信息，从而把人脸图像分成高频与低频两个部分，分别累计两部分图像相邻间像素差值，并计算差值平均，最后根据这两个值的关系得出模糊图像质量，对模糊图像质量达标的人脸图像进行保留。

优选的，所述步骤S2的APVD对人脸图像进行检测的具体步骤：

步骤S21：利用Haar小波对人脸图像提取小波特征，进行Haar小波一层分解后，使用低频子带提取低频振幅图像，高频子带提取高频振幅图像，将人脸图像分为低频与高频两个部分；

步骤S22：对提取小波特征后的高频振幅图像做自适应二值化，图G为小波提取后HL、LH和HH子带累加后的高频信息图像，平均像素值m(i,j)和方差ε(i,j)计算如下：

$m(i,j)=\frac{1}{2p}\underset{s=-p}{\overset{p}{\Σ}}\underset{t=-p}{\overset{p}{\Σ}}G(i+s,j+t)---\left(1\right)$

$\mathrm{\ϵ}(i,j)=\frac{1}{2p}\underset{s=-p}{\overset{p}{\Σ}}\underset{t=-p}{\overset{p}{\Σ}}|G(i+s,j+t)-m(i,j)|---\left(2\right)$

其中p是指邻近像素点(i,j)的像素点个数为半径，则像素点(i,j)处的局部二值化阈值为t(i,j)＝m(i,j)+ε(i,j)；高频信息图像G的水平二值化图B：

$B(i,j)=\left\{\begin{array}{c}255,ifG(i,j)>t(i,j)\\ 0,others\end{array}\right.---\left(3\right);$

步骤S23：利用获得的二值图B，找出原人脸图像中对应的高频成分，定义为H，即H＝S&B；对应其他区域定义为L，即L＝S-H；图像H中像素点的水平绝对差值定义为:

H_h(i,j)＝|H(i,j+1)-H(i,j-1)|(4)

水平差平均值为：

$H_{h-mean}=\frac{1}{MN}{\mathrm{\Σ}}_{i=1}^M{\mathrm{\Σ}}_{j=1}^N{H}_h(i,j)---\left(5\right)$

垂直绝对差值：

H_v(i,j)＝|H(i+1,j)-H(i-1,j)|(6)

垂直差平均值：

$H_{v-mean}=\frac{1}{MN}{\mathrm{\Σ}}_{i=1}^M{\mathrm{\Σ}}_{j=1}^N{H}_v(i,j)---\left(7\right)$

与公式(5)和公式(7)类似，可以分别求出图像L的水平差平均值L_h-mean垂直差平均值L_v-mean，则图像H的差值平均为H_mean＝(H_h-mean+H_v-mean)/2，图像L的差值平均为L_mean＝(L_h-mean+L_v-mean)/2；最后，模糊图像质量评估为:

$APVD=1-\frac{H_{mean}-L_{mean}}{H_{mean}}---\left(8\right).$

优选的，所述步骤S3中的CGW算法具体为：

根据Gabor核函数公式：

$\mathrm{\ψ}\left(\stackrel{\→}{x}\right)=\frac{k_{\mathrm{\υ}}^2}{{\mathrm{\σ}}^2}\exp (-\frac{k_{\mathrm{\υ}}^2\left|\right|\stackrel{\→}{x}|{|}^2}{2{\mathrm{\σ}}^2})\×\[\exp \left({\mathrm{ik}}_{\mathrm{\υ}}{x}^{\′}\right)-\exp (-\frac{{\mathrm{\σ}}^2}{2})\]---\left(10\right)$

增加一个曲率参数c，可以获得弧形Gabor小波算法的核函数如下：

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种动态人脸识别系统，其特征在于，包括检测模块(1)，预处理模块(2)，特征提取训练模块(3)，特征提取识别模块(4)；

所述检测模块(1)，用于加载人脸检测器，通过人脸检测器读取视频流或全景图像进行人脸检测，并对检测到的人脸图像进行实时显示和截取保存；

所述预处理模块(2)，用于对截取的人脸图像进行预处理，将人脸图像进行灰度变换和图像归一化，并通过APVD对人脸图像进行检测，剔除不达标的人脸图像，保留达标人脸图像；

所述特征提取训练模块(3)，用于建立训练样本库和训练样本的索引，通过路径索引读取达标的人脸图像，并利用CGW算法对达标的人脸图像进行特征提取，对提取的特征进行PCA特征降维和BP神经网络训练，得出训练差值；

所述特征提取识别模块(4)，用于当训练误差值达到设置定值，读取达标的人脸图像，并对达标的人脸图像进行归一化、CGW特征提取、PCA降维和识别，输出识别结果。

2.根据权利要求1所述一种动态人脸识别系统，其特征在于，所述人脸检测器为Viola-Jones人脸检测器，所述Viola-Jones人脸检测器对视频流或全景图像提取Haar-like特征，结合级联Adaboost算法，获取人脸检测率，对人脸检测率达标的人脸图像进行实时显示和截取保存。

3.根据权利要求1或2所述一种动态人脸识别系统，其特征在于，所述预处理模块(2)的APVD具体为：通过Haar小波提取人脸图像的高频信息，从而把人脸图像分成高频与低频两个部分，分别累计两部分图像相邻间像素差值，并计算差值平均，最后根据这两个值的关系得出模糊图像质量，对模糊图像质量达标的人脸图像进行保留。

4.一种动态人脸识别方法，其特征在于，包括以下步骤：

步骤S1.加载人脸检测器，通过人脸检测器读取视频流和全景图像进行人脸检测，并对检测到的人脸图像进行实时显示和截取保存；

步骤S2.对截取的人脸图像进行预处理，将人脸图像进行灰度变换和图像归一化，并通过APVD对人脸图像进行检测，剔除不达标的人脸图像，保留达标人脸图像；

步骤S3.建立训练样本库和训练样本的索引，通过路径索引读取达标的人脸图像，利用CGW算法对达标的人脸图像进行特征提取，对提取的特征进行PCA特征降维和BP神经网络训练，得出训练误差值；

步骤S4.当训练误差值达到设置定值，读取达标的人脸图像，并对达标的人脸图像进行归一化、CGW特征提取、PCA降维和识别，输出识别结果。

5.根据权利要求4所述一种动态人脸识别方法，其特征在于，所述人脸检测器为Viola-Jones人脸检测器，所述Viola-Jones人脸检测器对视频流或全景图像提取Haar-like特征，结合级联Adaboost算法，获取人脸检测率，对人脸检测率达标的人脸图像进行实时显示和截取保存。

6.根据权利要求4所述一种动态人脸识别方法，其特征在于，所述步骤S2的APVD的具体实现：通过Haar小波提取人脸图像的高频信息，从而把人脸图像分成高频与低频两个部分，分别累计两部分图像相邻间像素差值，并计算差值平均，最后根据这两个值的关系得出模糊图像质量，对模糊图像质量达标的人脸图像进行保留。

7.根据权利要求4所述一种动态人脸识别方法，其特征在于，所述步骤S2的APVD对人脸图像进行检测的具体步骤：

步骤S21：利用Haar小波对人脸图像提取小波特征，进行Haar小波一层分解后，使用低频子带提取低频振幅图像，高频子带提取高频振幅图像，将人脸图像分为低频与高频两个部分；

步骤S22：对提取小波特征后的高频振幅图像做自适应二值化，图G为小波提取后HL、LH和HH子带累加后的高频信息图像，平均像素值m(i,j)和方差ε(i,j)计算如下：

$m(i,j)=\frac{1}{2p}\underset{s=-p}{\overset{p}{\Σ}}\underset{t=-p}{\overset{p}{\Σ}}G(i+s,j+t)---\left(1\right)$

$\mathrm{\ϵ}(i,j)=\frac{1}{2p}\underset{s=-p}{\overset{p}{\Σ}}\underset{i=-p}{\overset{p}{\Σ}}|G(i+s,j+t)-m(i,j)|---\left(2\right)$

其中p是指邻近像素点(i,j)的像素点个数为半径，则像素点(i,j)处的局部二值化阈值为t(i,j)＝m(i,j)+ε(i,j)；高频信息图像G的水平二值化图B：

$B(i,j)=\left\{\begin{array}{cc}255,& \begin{array}{cc}if& G(i,j)>t(i,j)\end{array}\\ 0,& others\end{array}\right.---\left(3\right);$

步骤S23：利用获得的二值图B，找出原人脸图像中对应的高频成分，定义为H，即H＝S&B；对应其他区域定义为L，即L＝S-H；图像H中像素点的水平绝对差值定义为:

H_h(i,j)＝|H(i,j+1)-H(i,j-1)|(4)

水平差平均值为：

$H_{h-mean}=\frac{1}{MN}{\mathrm{\Σ}}_{i=1}^M{\mathrm{\Σ}}_{j=1}^N{H}_h(i,j)---\left(5\right)$

垂直绝对差值：

H_v(i,j)＝|H(i+1,j)-H(i-1,j)|(6)

垂直差平均值：

$H_{v-mean}=\frac{1}{MN}{\mathrm{\Σ}}_{i=1}^M{\mathrm{\Σ}}_{j=1}^N{H}_v(i,j)---\left(7\right)$

与公式(5)和公式(7)类似，可以分别求出图像L的水平差平均值L_h-mean垂直差平均值L_v-mean，则图像H的差值平均为H_mean＝(H_h-mean+H_v-mean)/2，图像L的差值平均为L_mean＝(L_h-mean+L_v-mean)/2；最后，模糊图像质量评估为:

$APVD=1-\frac{H_{mean}-L_{mean}}{H_{mean}}---\left(8\right).$

8.根据权利要求4至7任一项所述一种动态人脸识别方法，其特征在于，所述步骤S3中的CGW算法具体为：

根据Gabor核函数公式：

$\mathrm{\ψ}\left(\stackrel{\→}{x}\right)=\frac{k_{\mathrm{\υ}}^2}{{\mathrm{\σ}}^2}\exp (-\frac{k_{\mathrm{\υ}}^2\left|\right|\stackrel{\→}{x}|{|}^2}{2{\mathrm{\σ}}^2})\×\[\exp \left({\mathrm{ik}}_{\mathrm{\υ}}{x}^{\′}\right)-\exp (-\frac{{\mathrm{\σ}}^2}{2})\]---\left(10\right)$

增加一个曲率参数c，可以获得CGW算法的核函数如下：