CN104992148A - 基于随机森林的atm终端部分遮挡人脸关键点检测方法 - Google Patents

Abstract

本发明公开了一种基于随机森林的ATM终端部分遮挡人脸关键点检测方法，包括以下步骤：当银行卡插入ATM机时采集图像；通过多尺度Retinex增强方法提高灰暗图像对比度；采用Haarcascade人脸检测算法定位人脸；基于随机森林姿态估计树模型推测人脸姿态；通过Viola Jones框架判断人脸遮挡类型；根据估计的人脸姿态，选择随机森林关键点检测模型，标定未遮挡位置的人脸关键点。本发明通过基于随机森林的姿态预估计降低了姿态对人脸关键点检测的影响，通过遮挡部位自动识别及非遮挡部位关键点标记减弱了遮挡对人脸特征的影响，能够为基于ATM的遮挡人脸的身份识别提供高精度的人脸局部特征，提高人脸身份识别精度。

Description

基于随机森林的ATM终端部分遮挡人脸关键点检测方法

技术领域：

本发明属于机器视觉领域，特别涉及一种基于随机森林的ATM终端部分遮挡人脸关键点检测方法。

背景技术：

现有ATM视频监控系统属于被动防守型系统，主要作用是将监控视频录制下来，在事件发生后，通过视频进行事后取证。这种被动防守型的方式可能耽误解决事件的最佳机会，即使查实了证据，也无法挽回损失。

随着我国经济的高速发展，ATM终端已经深入到人们生活之中。但社会治安情况的日益复杂化，在ATM终端上的犯罪现象愈演愈烈。当前的形式已经迫切要求ATM安保领域从传统的被动防守型向主动的积极防御方向转型。

近年来，人脸智能识别技术已经能够保证识别率、识别速度、以及误识率和拒识率等各项指标的优异性，通过实时捕获的人脸影像与银行系统预先采集的客户人脸信息进行匹配，将为ATM终端的安全监控提供更实时智能的预警手段。但是，现有的成熟人脸识别技术主要针对完整人脸进行识别，而针对ATM终端实施犯罪行为的人员往往会有意识地使用口罩、墨镜等物体遮挡人脸，遮挡物引入的干扰使得现有基于人脸的信息匹配技术变得困难。其次，视频监控图像背景复杂，人脸姿态多样，脸部关键点难以确定，进一步增加了人脸的定位和身份识别的难度。

本发明针对上述问题，基于ATM终端捕获的操作人影像，在遮挡人脸检测的基础之上，进一步检测其人脸姿态，并对人脸未遮挡部位的关键点进行标定， 从而为下一步的智能人脸身份认证提供精准分析依据，降低由遮挡、姿态等引入的干扰，提高人脸信息匹配的准确率。

发明内容：

本发明的主要目的是提出一种面向ATM终端的部分遮挡人脸关键点检测方法，在准确检测人脸遮挡部位的同时，迅速、精准定位人脸未遮挡部位的关键点。

为了实现上述目的，本发明提供如下技术方案：

步骤一、当有用户插入银行卡的时候，采集人脸图像；

步骤二、将采集图像序列转化为灰度图，并归一化为480*360像素的图像；

步骤三、计算图像的方差值S，并判断其是否小于阈值ε，若S<ε，则对图像进行多尺度Retinex图像增强^[1]，提高图像的对比度；

步骤四、采用Haarcascade人脸检测算法^[2]，从图像中定位人脸具体位置；

步骤五、基于随机森林姿态估计树模型估计人脸姿态(左偏、正脸、右偏)；

步骤六、基于Viola Jones^[3]框架强分类器级联模型判断图像中人脸是否存在遮挡，并判断遮挡类型属于眼部或嘴部遮挡；

步骤七、根据步骤五估计的人脸姿态，选择相应姿态的随机森林关键点检测模型，标定未遮挡位置的人脸关键点；

与现有的技术相比，本发明具有以下有益效果：

1.通过步骤五基于随机森林的姿态预估计，降低了姿态变化引入的干扰对人脸关键点检测的影响，能有效提高人脸身份验证的准确度。

2.通过步骤六基于Viola Jones框架的遮挡部位检测及步骤七中基于随机森林的人脸关键点标定，为后续基于遮挡人脸的身份识别提供了高精度的 人脸局部特征，进一步降低了由遮挡引入的干扰对身份验证精度的影响。

3.结合多尺度Retinex图像增强技术、基于随机森林的姿态估计模型、ViolaJones遮挡判断方法及基于随机森林的多姿态关键点检测模型，共同构建了一个鲁棒的遮挡人脸关键点检测方法。如图6所示，在眼部和嘴部遮挡下，本发明对不同姿态的人脸都具有较好的关键点检测效果。

因此，本发明在ATM终端安全监控以及智能人脸身份认证的应用中都具有广泛的应用前景。

附图说明：

图1本发明的方法流程图；

图2多尺度Retinex图像增强效果图；

图3基于随机森林的姿态估计树模型；

图4基于Viola Jones框架强分类器级联模型的人脸遮挡检测模型；

图5随机森林人脸关键点检测流程图；

图6部分遮挡人脸关键点检测的结果图；

具体实施方式

为了更好的说明本发明的目的、具体步骤以及特点，下面结合附图对本发明作进一步详细的说明：

参考图1，本发明提出的一种基于随机森林的ATM终端部分遮挡人脸关键点检测方法，主要包含以下步骤：

步骤一、当有用户插入银行卡的时候，采集人脸图像；

步骤二、将采集图像序列转化为灰度图，并归一化为480*360像素的图像；

步骤三、计算图像的方差值S，并判断其是否小于阈值ε，若S<ε，则对图像进行多尺度Retinex图像增强^[1]，提高图像的对比度；

步骤四、采用Haarcascade人脸检测算法^[2]，从图像中定位人脸具体位置；

步骤五、基于随机森林姿态估计树模型估计人脸姿态(左偏、正脸、右偏)；

步骤六、基于Viola Jones^[3]框架强分类器级联模型判断图像中人脸是否存在遮挡，并判断遮挡类型属于眼部或嘴部遮挡；

步骤七、根据步骤五估计的人脸姿态，选择相应姿态的随机森林关键点检测模型，标定未遮挡位置的人脸关键点；

上述技术方案中，步骤一图像采集动作由用户插入银行卡的行为触发，并保存触发时刻T的图像。

上述技术方案中，步骤三多尺度Retinex图像增强，所采用的图像方差S的阈值ε＝15。

上述技术方案中，步骤三多尺度Retinex图像增强效果图如图2所示。

上述技术方案中，步骤三多尺度Retinex图像增强的方法为：

1.读入输入图像I_in(x,y)，将图像的像素值转化为浮点数，并通过对数变换转换到相应的对数域log(I_in(x,y))；

2.设定N个高斯环绕尺度m_n∈[1,N]，令亮度函数 求解∫∫F_n(x,y)dxdy＝1，确定尺度参数λ_n，进而求出F_n(x,y)；本发明中N＝3，m₁＝50，m₂＝80，m₃＝95

3.根据多尺度公式 $r(x,y)={\mathrm{\&Sigma;}}_{n=1}^N{\mathrm{\&omega;}}_n\&lsqb;{\mathrm{logI}}_{in}(x,y)-\log \left(F_n\right(x,y)*$ $I_{in}(x,y)\&rsqb;,,$ 计算对数域输出图像r(x,y)。其中ω_n对应着每个尺度对应的权重(在本发明中ω_n取值为其中，N取值为3)，F_n(x,y)为亮度函数；

4.通过指数变换将r(x,y)从对数域转换到实数域得到输出图像I_out(x,y)，即增强后输出图像。

上述技术方案中，步骤五基于随机森林的姿态估计树模型(如图3所示)的构建方法如下：

1.在ATM环境下采集1000张包括不同姿态的人脸图像，，在人脸位置随机取样若干图像块，构成训练集；

2.在训练集中的每个图像块I_i中构建信息P_i＝(f_i,D_i)，其中 表示图像的多种特征通道，其中表示的图像的灰度值和归一化灰度值，表示经过32个Gabor滤波器组后的特征图像；D_i＝{D_i,d,e_i∈{L,F,R}}，其中D_i,d表示的是图像块的中心位置到鼻子的偏移量，e_i∈{L,F,R}表示的是姿态标签；

3.随机产生分裂池φ＝(θ,τ)，为后面的二值函数分析做准备，其中θ＝ R₁和R₂表示在图像块I_i中随机取样的两个小块(如图3所示)， k为随机选择的特征通道，τ表示的是随机阈值；

4.从根节点开始进行随机树的构建，依次将训练集的图像块I_i送入根节点，从随机池中随机选择节点分裂信息值φ，根据节点的二值函数规则 将图像块输入下一层节点，如果t_φ(p)<τ则输入下一层的左节点，并令Γ_L＝Γ_L∪I_i(Γ_L表示进入左节点的图像块集合)，否则输入下一层的右节点,并令Γ_R＝Γ_R∪I_i(Γ_R表示进入右节点的图像块集合)，记录当前的节点分裂信息φ；

5.根据分裂池中的φ，及步骤4中的分裂规则，找到该节点最优分裂信息φ^*，即信息熵IG(φ)最大。

φ^*＝argmaxIG,

$IG\left(\mathrm{\&phi;}\right)=H\left(\mathrm{\&Gamma;}\right)-{\mathrm{\&Sigma;}}_{S\&Element;\{L,R\}}\frac{\left|{\mathrm{\&Gamma;}}_S\left(\mathrm{\&phi;}\right)\right|}{\left|\mathrm{\&Gamma;}\right|}H\left({\mathrm{\&Gamma;}}_S\left(\mathrm{\&phi;}\right)\right),$

$H\left(\mathrm{\&Gamma;}\right)=-{\mathrm{\&Sigma;}}_{e\&Element;\{e_L,e_F,e_R\}}p\left(e\right|\mathrm{\&Gamma;})log\left(p\right(e\left|\mathrm{\&Gamma;}\right)),$

其中，Γ_i∈{L,R}表示的是到达左/右节点i的图像块集，Γ表示其父节点的图像块集,p(e|Γ)表示图像块属于左(e_L)、正(e_F)、右脸(e_R)的概率；

6.按深度优先规则，对左右节点，重复步骤3～5。

7.当节点到达最大的深度(本发明中取值为20)或者达到节点的图像块数小于某一阈值(本发明中取值为20)，则创建叶节点，否则继续步骤3～6；

上述技术方案中，步骤五基于随机森林姿态估计树模型的检测方法如下：

1.对于输入图像，在检测到人脸位置后，在人脸框内随机的取样一组图像块；

2.依次将图像块I_i送入训练后随机森林姿态估计树模型，从根节点开始，直达叶点结束。在每个内节点提取该节点的最优分裂信息φ^*，并基于二值函数规则确定下行路径；

3.根据叶节点存储的投票信息，从而为人脸姿态投票；

$p\left(e\right|l)=\frac{{\mathrm{\&Sigma;}}_{i}p\left(e\right|I_i)}{\left|I\right|}$

其中，p(e|l)表示为到达叶节点l的图像块I_i投票姿态(左脸、正脸、右脸)的概率；

4.根据所有叶节点的信息选择∑_lp(e|l)最大的概率,作为人脸的姿态；

上述技术方案中，步骤六引入Viola Jones框架^[3]检测脸部遮挡。基于Viola Jones框架强分类器级联模型如图4所示。在本发明的具体实施中，我们首先使用2000张采集的人脸遮挡图像(既有眼部遮挡也有嘴部遮挡)作为正样本，2000张人脸非遮挡图像作为负样本，提取图像的Harr特征，训练遮挡强分类器级联模型(见图4中左图)。接着，我们使用1000张眼部遮挡图像作为正样本，1000张嘴部遮挡图像为负样本，训练不同遮挡部位识别的强分类级联模型(见图4中右图)。测试图像通过两级级联分类器，可以准确判断人脸的遮挡位置。

上述技术方案中，步骤七中基于随机森林的关键点检测树模型，检测的关键点包括：眼部关键点有8个(左眼4个，右眼4个)，嘴部关键点有7个，共计15个检测点，表示为

上述技术方案中，步骤七中随机森林关键点检测树的构建方法(如图5所示)如下：

1.在ATM环境下采集3000张包括各种姿态表情和光照变化的人脸图像，按照右偏、正脸、左偏把3000张图片分为3个数据集并手动标注人脸的关键点，将输入图片转化成灰度信息，并归一化成480*360大小；

2.在人脸框内扫描取样一组图像块X＝[I_i|i∈Z]，每个图像块大小为31×31，形成训练集；

3.对训练集中的每个图像块构建信息I_i＝{x,t}，其中x＝{x¹,x²,…,x^c}表示不同的特征通道，x¹,x²表示灰度图像以及归一化灰度图像，x³,…,x^c表示32个Gabor滤波图像，t＝{t¹,t²,…,t^N}表示的是图像块中心位置到N个(本发明中N取10)关键点的偏移量；

4.随机产生分裂池Φ＝{F₁,F₂,c,υ}，为后面的二值函数分析做准备。其中，F₁和F₂分别表示从图像块中随机取样的两个小图像块，c表示的是特征通道数，υ表示的为随机阈值；

5.从根节点开始构建随机树，先将图像块x送入根节点，根据节点的二值函数规则 $y_{\mathrm{\&Phi;}}\left(I\right)=|F_1{|}^{-1}{\mathrm{\&Sigma;}}_{b\&Element;F_1}{x}^i\left(b\right)-|F_2{|}^{-1}{\mathrm{\&Sigma;}}_{b\&Element;F_2}{x}^i\left(b\right),(i=\{1,2,...,c\left\}\right)$ 将图像块图像输入下一层节点。如果y_Φ(I)<υ，则输入下一层的左节点(进入的图像块记为I_L(Φ))，y_Φ(I)>υ,则输入下一层的右节点(进入的图像块记为I_R(Φ))；

6.选择分裂池中的Φ，找到最大信息熵的参数Φ作为该节点的分类信息；其中:Φ^*＝argmaxIG，

$IG\left(\mathrm{\&Phi;}\right)=H\left(I\right)-{\mathrm{\&Sigma;}}_{S\&Element;\{L,R\}}\frac{\left|I_S\left(\mathrm{\&Phi;}\right)\right|}{\left|I\right|}H\left(I_S\left(\mathrm{\&Phi;}\right)\right),$

$H\left(I\right)=-{\mathrm{\&Sigma;}}_{n=1}^N\frac{{\mathrm{\&Sigma;}}_{I\&Element;X}p\left(z_n\right|I)}{\left|I\right|}log\left(\frac{{\mathrm{\&Sigma;}}_{I\&Element;X}p\left(Z_n\right|I)}{\left|I\right|}\right),$

其中I_S∈{L,R}(Φ)表示到达节点i的图像块集，I表示其父节点的图像块集，p(z_n|I)表示图像块I属于第n个关键点z_n的概率；

7.当到达最大的深度(本发明中取值为20)或者达到节点的图像块数到达某一阈值(本发明中取值为20)，则创建叶节点，否则继续步骤5-6；

上述技术方案中，步骤七基于随机森林的人脸关键点检测树的检测方法如下：

1.对于输入图像，在检测到人脸的位置后，在人脸框内扫描取样一组图像块X＝[I_i|i∈Z]，每个图像块大小为31×31；

2.依次将图像块x_i送入训练后随机森林关键点检测树模型，从根节点开始，直达叶点结束。在每个内节点提取该节点的最优分裂信息Φ^*，并基于二值函数规则确定下行路径；

3.根据训练后的树模型叶节点存储的投票信息，为关键点投票，投票规则如下：

$p\left(z_n\right|l)=\frac{{\mathrm{\&Sigma;}}_{i}p\left(z_n\right|I_i)}{\left|I_l\right|}$

其中，p(z_n|l)表示到达叶节点l的图像块I_i投票关键点Z_n的概率，I_i∈I_l,|I_l|表示所有到达叶节点l的图像块数量。

4.根据投票信息，获得人脸的关键点位置f(yⁿ)：

$f\left(y^n\right)\&Proportional;\underset{l}{\&Sigma;}\underset{I_l}{\&Sigma;}{\mathrm{\&omega;}}_l^{n}K\left(\frac{y^n-(y_i+\stackrel{\&OverBar;}{t^n})}{h}\right){\mathrm{\&sigma;}}_l$

其中，表示每个叶节点的权重，K表示带宽为h的高斯核函数，y_i为到达叶节点图像块的中心位置，表示到第n个特征点的偏移量的均值。

上述技术方案中，面向ATM终端的部分遮挡人脸关键点检测方法最终检测结果如图6所示。在图中灰色的方框表示人脸的位置，第一行样本为眼部遮挡样本，第二行样本为嘴部遮挡样本，遮挡部位均精确识别。眼部或嘴部标注的点 即为检测到的关键点。如图所示，本方法能够精确的检测出各种姿态下遮挡位置以及非遮挡部分的关键点位置。

[1]Rahman,Z.u,D.J.Jobson and G.A.Woodell."Multi-Scale Retinex for Color Image Enhancement."In Image Processing,1996.Proceedings.,International Conference on,3,1003-1006vol.3,1996. 

[2]Rainer Lienhart and Jochen Maydt.An Extended Set of Haar-like Features for Rapid Object Detection,International Conference on Image Processing,2002. 

[3]Viola,Paul and MichaelJ Jones."Robust Real-Time Face Detection."International Journal of Computer Vision 57,no.2(2004):137-154. 

Claims (9)

1.基于随机森林的ATM终端部分遮挡人脸关键点检测方法，其特征在于，包括下列步骤：

步骤一、当有用户插入银行卡的时候，采集人脸图像；

步骤二、将采集图像序列转化为灰度图，并归一化为480*360像素的图像；

步骤三、计算图像的方差值S，并判断其是否小于阈值ε，若S<ε，则对图像进行多尺度Retinex图像增强，提高图像的对比度；

步骤四、采用Haarcascade人脸检测算法，从图像中定位人脸具体位置；

步骤五、基于随机森林姿态估计树模型推测人脸姿态(左偏、正脸、右偏)；

步骤六、基于Viola Jones框架强分类器级联模型判断图像中人脸是否存在遮挡，并判断遮挡类型属于眼部或嘴部遮挡；

步骤七、根据步骤五估计的人脸姿态，选择相应姿态的随机森林关键点检测模型，标定未遮挡位置的人脸关键点。

2.根据权利要求1所述的基于随机森林的ATM终端部分遮挡人脸关键点检测方法，其特征在于，用户在插入银行卡的时候，系统实时采集人脸的图像。

3.根据权利要求1所述的基于随机森林的ATM终端部分遮挡人脸关键点检测方法，其特征在于，所述多尺度Retinex图像增强，所采用的图像方差S的阈值ε＝15，共采用N＝3个高斯环绕尺度，其值分别为m₁＝50，m₂＝80，m₃＝95。

4.根据权利要求1所述的基于随机森林的ATM终端部分遮挡人脸关键点检测方法，其特征在于，所述的通过随机森林方法估计ATM人脸姿态(正脸、左偏或右偏)，训练集由随机取样的人脸图像块构成。训练模型时对每个图像块I_i∈[1,100]采用特征信息P_i＝(f_i,D_i)，其中f_i＝{f_i ¹,f_i ²,...,f_i ^a}表示图像的多种特征通道，其中f_i ¹,f_i ²表示的图像的灰度值和归一化灰度值，f_i ³,f_i ⁴,...,f_i ^a表示经 过32个Gabor滤波器组后的特征图像；D_i＝{D_i,d,e_i∈{L,F,R}}，其中D_i,d表示的是图像块的中心位置到鼻子的偏移量，e_i∈{L,F,R}表示的是姿态标签。

5.根据权利要求1所述的基于随机森林的ATM终端部分遮挡人脸关键点检测方法，其特征在于，所述的通过随机森林方法估计判断ATM采集的人脸的姿态(正脸、左偏或右偏)，各节点通过在图像块I_i中随机取样两个小块R₁和R₂及某通道特征f_i ^k∈{f_i ¹,f_i ²,...,f_i ^a}，随机产生分裂池φ＝(θ,τ)，其中θ＝{R₁,R₂,f_i ^k}，τ表示的是随机阈值。

6.根据权利要求1所述的基于随机森林的ATM终端部分遮挡人脸关键点检测方法，其特征在于，所述的通过随机森林方法估计判断ATM采集的人脸的姿态(正脸、左偏或右偏)，采用的节点的二值函数规则为 如果t_φ(p)<τ(τ表示的是随机阈值)则输入下一层的左节点，否则输入下一层的右节点。

7.根据权利要求1所述的基于随机森林的ATM终端部分遮挡人脸关键点检测方法，其特征在于，所述的通过随机森林方法估计判断ATM采集的人脸的姿态(正脸、左偏或右偏)，采用的最优分裂规则为：

φ^*＝argmaxIG,

其中，Γ_i∈{L,R}表示的是到达左/右节点i的图像块集，Γ表示其父节点的图像块

集,p(e|Γ)表示图像块属于左(e_L)、正(e_F)、右脸(e_R)的概率。

8.根据权利要求1所述的基于随机森林的ATM终端部分遮挡人脸关键点检测方法，其特征在于，所述基于Viola Jones框架强分类器级联模型，包括两级级联模型，分别用于遮挡检测与遮挡类型检测，两级级联模型均采用Haar特征。

9.根据权利要求1所述的基于随机森林的ATM终端部分遮挡人脸关键点检测方法，其特征在于，所述随机森林关键点检测模型仅仅检测未遮挡部位关键点，针对人脸姿态的不同分别建立了正脸关键点检测模型，左偏关键点检测模型以及右偏关键点检测模型。