CN111488843A - 基于漏报与误报率分步骤抑制的人脸墨镜判别方法 - Google Patents

Abstract

本发明公开基于漏报与误报率分步骤抑制的人脸墨镜判别方法，涉及图像识别技术。针对现有墨镜识别开发难度大、灵活性低的问题而提出本方案。包括图像获取的步骤；检测人体的步骤；检测墨镜伪装的步骤；墨镜误报判断的步骤；墨镜误报判断的步骤具体为：在检测到墨镜伪装结果为真时，利用分类器划分墨镜区域，从墨镜区域中分割出ROI区域，分别对ROI区域进行基于镜桥梯度判断、基于对称差分判断和基于Gabor变化判断，仅当三个判断的结果均为真时才判定为真正的墨镜伪装，否则判定为墨镜误报。本发明中的方案保证算法的漏报率能够达到应用要求，而后误报剔除方案只需要以降低误报率为主要目的，并同时控制住漏报率，降解研发难度，同时增强软件开发灵活性。

Description

基于漏报与误报率分步骤抑制的人脸墨镜判别方法

技术领域

本发明涉及图像识别技术，尤其涉及基于漏报与误报率分步骤抑制的人脸墨镜判别方法。

背景技术

由于现实世界中在自助银行等公共场所中经常有佩戴墨镜进行伪装的人员做出抢劫等违法犯罪行为，因此，从实时视频中自动侦测出此类人员并进行身份判识与跟踪具有重要的意义。此外，是否佩戴墨镜也是人脸属性分析的重要方面。现有技术中的墨镜识别具有开发难度大、软件开发灵活性低的问题。

发明内容

本发明目的在于提供基于漏报与误报率分步骤抑制的人脸墨镜判别方法，可高精度的实时检测出人脸佩戴的墨镜。

本发明所述的基于漏报与误报率分步骤抑制的人脸墨镜判别方法，包括图像获取的步骤；检测人体的步骤；检测墨镜伪装的步骤；还包括墨镜误报判断的步骤；

所述墨镜误报判断的步骤具体为：在检测到墨镜伪装结果为真时，利用分类器划分墨镜区域，从墨镜区域中分割出ROI区域，分别对所述ROI区域进行基于镜桥梯度判断、基于对称差分判断和基于Gabor变化判断，仅当三个判断的结果均为真时才判定为真正的墨镜伪装，否则判定为墨镜误报。

所述基于镜桥梯度判断具体包括镜桥定位的步骤、基于梯度的镜桥判别步骤；

所述基于梯度的镜桥判别步骤具体为：

在定位镜桥位置之后，用3x3的Sobel边缘检测算子对镜桥区域进行检测，得到每个像素点(x，y)的梯度大小G与梯度方向θ：

θ＝tan^-1(G_y,G_x)；其中G_x和G_y分别为图像的像素关于水平和垂直方向的一阶导数；

当检测到墨镜区域后，如果G和θ各自位于预设的取值范围内，则认为检测到的墨镜为真正墨镜，否则认为其为误报；

所述基于镜桥梯度判断具体包括镜桥定位的步骤具体为：

将图像转化为灰度图；

对灰度图进行灰度垂直投影得到垂直投影图像；垂直投影曲线函数PV(X)表示为：

以所述垂直投影图像的垂直中线位置作为起始点，利用线性梯度算法找到两侧的波峰值，波峰值的位置为人眼垂直中心线位置；

对灰度图进行灰度水平投影得到水平投影图像；水平投影曲线函数PH(Y)表示为：

求取水平投影图像的中心位置，并将该位置作为人眼水平中心线的位置；

人眼垂直中心线与人眼水平中心线的交点定为人眼的中心位置；以人眼的中心位置为矩形中心，做宽为图像1/4，高为图像1/2的矩形，该矩形内部即为所需检测的镜桥部分。

基于对称差分判断具体为：对称差分模板以墨镜区域的两条高的中点为中心，做两个次级矩形区域，所述次级矩形区域的宽为墨镜区域的0.45倍，高约为墨镜区域的0.25倍；分别计算两个次级矩形区域内像素在RGB通道的方差值，并累加求和，如果该方差大于阈值则将判定为墨镜误报。

所述基于Gabor变化判断具体为：根据Gabor核函数尺度和方向建立若干Gabor滤波器，所述若干Gabor滤波器经过信号卷积，形成一个Gabor空间；利用Gabor滤波器对检测得出的墨镜区域进行变换，将变换结果的均值和方差作为特征；最后基于最大类间方差的阈值分割计算出阈值化图像中的黑色像素点比例，根据所述黑色像素点比例判定误报结果。

本发明所述的基于漏报与误报率分步骤抑制的人脸墨镜判别方法，其优点在于，先检测后剔除的漏报与误报率分步骤抑制的人脸墨镜判别方法。系统读入摄像头获取的实时视频，然后首先检测出视频中可能的人脸墨镜样本，然后再进行误报的剔除。首先保证了算法的漏报率能够达到应用的要求，而后的误报剔除方案只需要以降低误报率为主要目的，并同时控制住漏报率，这样的方案降解了研发难度，同时增强了软件开发的灵活性。

附图说明

图1是本发明所述方法的流程示意图；

图2是本发明所述方法检测人体存在的步骤流程示意图；

图3是本发明所述方法检测墨镜伪装的步骤流程示意图。

具体实施方式

如图1-3所示，本发明所述的基于漏报与误报率分步骤抑制的人脸墨镜判别方法应用于人近距离正面面对摄像头的情况，且该方法有计算机系统完成。整体方法的流程简述如下：

1)读取摄像头采集到的图像序列。

2)通过运动帧差法和五官检测判断实时视频段中当前帧是否有人，如有人则开始执行人脸墨镜检测模块，否则继续读取视频段中的后续帧并重复执行该步骤。

3)人脸墨镜检测模块：系统对视频中是否存在人脸墨镜进行判别，当判定出视频段中的人脸佩戴墨时，用矩形框框出墨镜位置，并给出提示或报警。

其中，人脸墨镜检测也称为墨镜伪装检测。

(1)人员检测模块的设计

在检测墨镜伪装之前需先利用人员检测模块定位出人员的大致位置，这样不仅能够提高算法的执行速度，而且能够降低系统的误报率。人员检测模块使用运动帧差法检测出处于运动状态的目标。由于真正的关注点为视频中的人员，因此设计了基于五官检测的方法作为补充手段，以从处于运动状态的目标中判别出视频中的人员。

设计的运动帧差法旨在通过对视频图像序列中相邻帧的差异来获得运动目标轮廓，其合理性在于：当监控场景的视频中出现处于运动状态的人员时，帧与帧之间会出现较为明显的差别。对于当前帧，利用其前两个图像帧对应矩阵之和减去其后两个图像帧对应矩阵之和得到的“差异矩阵”的范数，判断视频中是否存在处于运动状态的目标。假如该范数之值大于阈值，则认为存在处于运动状态的目标。

在运动帧差法的基础上，使用基于五官检测的方法，从得出的处于运动状态的目标中筛选出人脸目标。换言之，如果判别出视频中存在处于运动状态的目标后，若还能从视频中能检测出五官，则判定相应的区域存在人脸(人员)；然后再采用后文的方法判别人脸区域是否存在墨镜。

(2)基于模式特征的分类器训练

为了判别存在人员的视频中是否存在墨镜，本发明专利专门设计了基于模式特征的分类器。其中，定义的模式特征如下：每一个模式特征为以一个像素点为中心得出的围绕该像素点的两个对称区域的像素和之差，即用其中一个区域的像素和减去另一个区域的像素和的结果即为当前像素点的模式特征值。此处所指的两个对称区域可以为矩形、圆形或椭圆形甚至任意形状的区域，只要两个区域以当前像素点为中心构成一个对称图形即可。在一次模式特征的具体应用中，事先规定一个图像帧中的每一个像素分别利用哪一个具体的对称区域提取特征，并将所有像素对应的这些对称区域称为一套对称区域；然后，对所有用于训练的和待判别的图像帧中的像素，均使用同一套对称区域提取特征，将一个图像帧中的每一个像素提取出的特征表示为一个矢量，该矢量称为该图像帧的特征。

分类器的训练同时需要正样本与负样本。所述正样本为墨镜的图像，负样本为非墨镜的图像。为了使得训练出的应用于墨镜判别的分类器具有较好的适用性，本发明专利提出了如下的样本采集方案：

1)正样本与负样本的采集需保证光照和背景的多样性。采集过程应尽量选取不同的时间段，且选用的背景应该形式多样。

2)为了使得训练出的分类器具有较好的泛化能力，部分正样本应包含适量的背景和噪音。

3)负样本应该尽量包罗除了墨镜图像之外的各种各样的图像。由于负样本的范围广泛且无法明确定义，因此收集用作负样本的图像的类型越多越好，这样训练出来的分类器的误报率可以得到较好的控制。

4)正负样本的数量比例要适当。正负样本的选取在1:3左右较为合适。如果负样本较少则会造成分类器误报增多。

(3)墨镜伪装检测模块的设计

其中的分类器根据实验进行筛选。通过如上方案能够正确检测到视频中大部分的墨镜伪装，但是会存在不少的误报，即一部分非墨镜图像会被误判为墨镜图像。本发明专利结合先验知识设计出一套规则来进行误报剔除。

关于墨镜伪装误报的分析表明，分类器产生的常见误报如下：将人低头时的人眼误报为墨镜、将正面人眼误报为墨镜、将身体其他部分误报为墨镜、将背景误报为墨镜。

本发明专利中的墨镜伪装检测模块检测到视频中的存在墨镜后，同时采用基于镜桥梯度的墨镜误报判别方法、基于对称差分的墨镜误报判别方法、基于Gabor滤波的墨镜误报判别对检测到的墨镜图像进行误报排除，并将没有被这三个方法中的任何一个方法排除掉的墨镜图像作为真正的墨镜图像。

(4)基于镜桥梯度的墨镜误报判别

通常情况下，当人脸被墨镜遮挡的时候，人脸和镜框之间的灰度值会出现高度的不连续性。将镜框与人脸的边界分为三部分：上边界、下边界和两眼之间的镜桥部分。由于受眉毛和睫毛的影响，对于正常人眼被误报为墨镜的图片，眼部的上下部分也会存在明显的边缘信息，因此正常人眼和墨镜报警在上下边界的边缘区分度要明显弱于在镜桥区域的边缘区分度。因此，通过设定阀值来检测是否存在镜桥，并据此剔除部分墨镜误报。具体技术方案叙述如下：

a)镜桥定位

如下步骤定位出镜桥的大致位置：

1)将源图像转化为灰度图。

2)对灰度图进行灰度垂直投影。垂直投影曲线函数PV(X)表示为：

3)以投影图像中线位置作为起始点，利用线性梯度算法找到附近的波峰值，即为人眼垂直中心线位置。

4)对灰度图进行灰度水平投影。水平投影曲线函数PH(Y)表示为：

求取水平积分图的中心位置，并将该位置作为人眼水平中心线的位置。

5)垂直中心线与水平中心线的交点即为人眼的中心位置。

6)以人眼中心为矩形中心，做宽为w/4，高为h/2的矩形，该矩形内部即为所需检测的镜桥部分。

b)基于梯度的镜桥判别

在定位镜桥位置之后，使用3x3的Sobel边缘检测算子对该区域进行检测，可以得到每个点(x，y)的梯度大小G与梯度方向θ：

θ＝tan^-1(G_y,G_x)。

其中G_x和G_y分别为图像像素关于水平和垂直方向的一阶导数。当方法检测到墨镜区域后，如果G和θ各自位于合适的取值范围内，则认为检测到的墨镜为真正墨镜，否则认为其为误报。

(5)基于对称差分的墨镜误报判别

判别理论基础为墨镜具有对称结构，即墨镜图像是一个关于墨镜镜架中心点的对称图像；假如检测出的墨镜为误报，则其难以满足对称图像的性质。因此，也基于此特性进行墨镜误报的剔除。

该部分技术方案如下：通过分类器所检测出的墨镜伪装为一个矩形区域，对称差分模板以该矩形框图两条高的中点为中心，做两个小的矩形区域，其中小矩形框的宽约为大矩形的0.45倍，高约为大矩形的0.25倍。因为每个小矩形框内的像素灰度值分布较为稳定，不会存在太大的差异，而且左右两个小矩形区域基本上是对称的，利用这两个特性设计如下算法：

分别计算两个小矩形框内像素在RGB通道的方差值，并累加求和，如果该方差大于某一阈值则将认为此帧图像存在误报。在背景误报的消除中具有良好的效果。

(6)基于Gabor滤波的墨镜误报判别

理论基础为真实墨镜的Gabor特征与被误报为墨镜的Gabor特征有相对明显的区别。具体而言，设计一种基于Gabor变换的眼部增强算法，能够使正常人眼部分睫毛与眉毛之间的眼皮区域凸显出来。然后使用最大类间方差的阈值分割方法对增强后的图片进行分割，以此对被误报为墨镜的正面人眼图像和真实墨镜图像进行区分。

Gabor空间和图像增强：根据Gabor核函数尺度和方向的不同，可以建立不同的Gabor滤波器。这些Gabor滤波器经过信号卷积，形成一个Gabor空间。本发明采用的核函数的尺度参数设置为3，且分别取4个不同的尺度与8个不同的方向，因此一共得出32个Gabor滤波器。利用Gabor滤波器对检测得出的墨镜图像进行变换，将变换结果的均值和方差作为特征。实验证明被误报为墨镜的正面人眼图像和真实墨镜图像在不同方向的变换结果经过变换后具有显著差异。

基于最大类间方差的阈值分割:为了对被误报为墨镜的正面人眼图像和真实墨镜图像进行判别，使用最大类间方差的阈值分割方法对图像的Gabor变换结果进行基于直方图的图像分割，其具体步骤如下：

第一步：计算得到原图像的灰度直方图。

第二步：给定所需计算的阈值区间T＝[T₀,T_n]。根据经验，T₀,T_n分别设置为当前图像中最大像素值的0.25倍与0.75倍。

第三步：对该区间的所有点做如下遍历:

首先对于每个T值都将图像中的点分为两部分，在直方图上小于T值的所有像素点标记为类别C₁，对于灰度级为[1,2,…,L]的图像，C1的灰度级范围为[1,2,…,T]。大于T值的所有像素点标记为类别C₂，其灰度级范围为[T+1,T+2,…,L]。

其次假设图像大小为M×N，计算两类问题的发生概率P₁和P₂，类别C₁中的像素点个数计为N₁，类别C₂中的像素点个数计为N₂，因此P₁，P₂分别为P₁＝N₁/M×N，P₂＝N₂/M×N；其中P₂＝1-P₁。

计算C₁和C₂的像素均值μ₁，μ₂。用μ表示图像的整体均值。此时有：μ＝P₁·μ₁+P₂·μ₂。

定义

令

对

区间的所有点进行遍历，并计算每个点对应的

之值。选择[T₀,T_n]区间的最佳值T＝T*的规则为其使得图像按照该阈值分为C₁和C₂两类后

取得最大值。

真实墨镜的Gabor变换图像大部分区域处于低灰度值范围，在阈值化图像中表现为黑色像素点。而被误报为墨镜的正常人脸的Gabor变换图像中，仅有眉毛和睫毛部分的像素处于低灰度值范围，因此阈值化图像中的黑色像素点较少。将二值化图像中黑色像素点与整个报警区域面积的比例值作为误报判定依据，如果该比例值小于50％，则判定为误报；相反，认为判别出的墨镜图像为真正的墨镜。

对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims (5)

1.基于漏报与误报率分步骤抑制的人脸墨镜判别方法，包括图像获取的步骤；检测人体的步骤；检测墨镜伪装的步骤；其特征在于，还包括墨镜误报判断的步骤；

所述墨镜误报判断的步骤具体为：在检测到墨镜伪装结果为真时，利用分类器划分墨镜区域，从墨镜区域中分割出ROI区域，分别对所述ROI区域进行基于镜桥梯度判断、基于对称差分判断和基于Gabor变化判断，仅当三个判断的结果均为真时才判定为真正的墨镜伪装，否则判定为墨镜误报。

2.根据权利要求1所述基于漏报与误报率分步骤抑制的人脸墨镜判别方法，其特征在于，所述基于镜桥梯度判断具体包括镜桥定位的步骤、基于梯度的镜桥判别步骤；

所述基于梯度的镜桥判别步骤具体为：

在定位镜桥位置之后，用3x3的Sobel边缘检测算子对镜桥区域进行检测，得到每个像素点(x，y)的梯度大小G与梯度方向θ：

θ＝tan^-1(G_y,G_x)；其中G_x和G_y分别为图像的像素关于水平和垂直方向的一阶导数；

当检测到墨镜区域后，如果G和θ各自位于预设的取值范围内，则认为检测到的墨镜为真正墨镜，否则认为其为误报。

3.根据权利要求2所述基于漏报与误报率分步骤抑制的人脸墨镜判别方法，其特征在于，所述基于镜桥梯度判断具体包括镜桥定位的步骤具体为：

将图像转化为灰度图；

对灰度图进行灰度垂直投影得到垂直投影图像；垂直投影曲线函数PV(X)表示为：

x∈(x₁,x₂)；以所述垂直投影图像的垂直中线位置作为起始点，利用线性梯度算法找到两侧的波峰值，波峰值的位置为人眼垂直中心线位置；

对灰度图进行灰度水平投影得到水平投影图像；水平投影曲线函数PH(Y)表示为：

y∈(y₁,y₂)；求取水平投影图像的中心位置，并将该位置作为人眼水平中心线的位置；

人眼垂直中心线与人眼水平中心线的交点定为人眼的中心位置；以人眼的中心位置为矩形中心，做宽为图像1/4，高为图像1/2的矩形，该矩形内部即为所需检测的镜桥部分。

4.根据权利要求1所述基于漏报与误报率分步骤抑制的人脸墨镜判别方法，其特征在于，基于对称差分判断具体为：

对称差分模板以墨镜区域的两条高的中点为中心，做两个次级矩形区域，所述次级矩形区域的宽为墨镜区域的0.45倍，高约为墨镜区域的0.25倍；分别计算两个次级矩形区域内像素在RGB通道的方差值，并累加求和，如果该方差大于阈值则将判定为墨镜误报。

5.根据权利要求1所述基于漏报与误报率分步骤抑制的人脸墨镜判别方法，其特征在于，所述基于Gabor变化判断具体为：根据Gabor核函数尺度和方向建立若干Gabor滤波器，所述若干Gabor滤波器经过信号卷积，形成一个Gabor空间；利用Gabor滤波器对检测得出的墨镜区域进行变换，将变换结果的均值和方差作为特征；最后基于最大类间方差的阈值分割计算出阈值化图像中的黑色像素点比例，根据所述黑色像素点比例判定误报结果。

Images