CN108062542B - 被遮挡的人脸的检测方法 - Google Patents

Abstract

本发明公开了一种被遮挡的人脸的检测方法，包括如下步骤：构建每帧图片的图像金字塔；基于预先采用Boosting方法训练得到的人脸检测字典，进行人脸是否存在、以及人脸是否遮挡的判别；用若干幅人脸和非人脸图片进行训练；根据每个弱分类器提取特征时所采用的人脸局部的位置，对各个弱分类器进行划分；基于划分类别后得到的弱分类器集合{h_i ^(j)}，进行人脸检测和异常人脸判别；对人脸检测集合进行合并，合并完成后得到人脸或异常人脸的检测结果。本发明具有对于佩带不同颜色的口罩、佩带不同颜色的眼罩、佩带深色墨镜等情况，都能正确判断人脸是否发生遮挡的特点。

Description

被遮挡的人脸的检测方法

技术领域

本发明涉及ATM机安全防护设备技术领域，尤其是涉及一种可以快速检测人脸是否发生了遮挡，以及是上半脸遮挡或下半脸遮挡的被遮挡的人脸的检测方法。

背景技术

ATM机中都装配有用于拍摄取款人员的针孔摄像头，用于监控操作ATM机的人员的行为，并记录下取款人员的面部图像。为了规避相机抓拍下自己的脸部图像进而识别出自己的身份，犯罪分子在进行ATM机操作时，会刻意用墨镜、口罩、头巾等遮挡住面部。因此，遮挡住面部操作ATM机的情况，一直是银行监管的重点。

中国目前ATM机的数量已经达到60余万台，且还在不断增长。ATM机7x24小时不间断工作。所以无论是数量还是时间，靠人盯住监控录像来判断是否发生了遮挡人脸操作ATM机的情况都是不可能完成的任务。

近年来，随着图像和人工智能技术的发展，通过计算机自动识别图像中的人脸图片是否有遮挡成为可能。

有的方法提出分析抓拍人脸图片的上半脸和下半脸的主要颜色，如果都与肤色接近，则为正常人脸；否则，如果上半脸偏离肤色，则为戴墨镜，如果下半脸偏离肤色，则为戴口罩，如果上下半脸都偏离肤色，则为戴面具。

然而，银行相机由于曝露在室外，无论是白天阳光较强的时候，还是夜间光线暗淡的时候，摄像头拍摄到的人脸图片都会接近灰白，肤色检测手段无法正确的检测人脸遮挡。另外，如果刻意佩戴与肤色相近的遮挡物，如粉色的口罩，也会导致无法正确检测。

发明内容

本发明的发明目的是为了克服现有技术中的监控方法无法准确检测遮挡人脸操作ATM机的情况的不足，提供了一种可以快速检测人脸是否发生了遮挡，以及是上半脸遮挡或下半脸遮挡的被遮挡的人脸的检测方法。

为了实现上述目的，本发明采用以下技术方案：

一种被遮挡的人脸的检测方法，包括如下步骤：

(1-1)获得监控视频数据，监控视频数据包括按时间顺序排列的若干帧图片；

(1-2)构建每帧图片的图像金字塔；

(1-3)对图像金字塔每一层的图像，按照从上到下、从左至右逐行扫描的顺序进行遍历，对每个遍历位置截取一个固定尺寸的子图，基于预先采用Boosting方法训练得到的人脸检测字典，进行人脸是否存在、以及人脸是否遮挡的判别；

(1-4)用若干幅人脸和非人脸图片进行训练，得到可划分类别的有鉴别力的弱分类器的集合{h_i ^(j)(x)}，和每个弱分类器在检测人脸时进行加权求和的权重集合{α_i}；i为弱分类器的序号，j为弱分类器类别；

其中，x为子图各个像素点的像素值按照从上到下、从左至右顺序排列得到的列向量，每个弱分类器根据子图某个局部像素点的像素值的状况，给出人脸或非人脸的判断；

(1-5)根据每个弱分类器提取特征时所采用的人脸局部的位置，对各个弱分类器进行划分；

(1-6)基于划分类别后得到的弱分类器集合{h_i ^(j)}，进行人脸检测和异常人脸判别；j＝{1，2，3}，h_i ⁽¹⁾用于标识弱分类器在上半脸，h_i ⁽²⁾用于标识弱分类器在下半脸，h_i ⁽³⁾用于标识弱分类器在全脸；

(1-7)对图像金字塔所有层的所有位置子图进行扫描后，得到一个人脸检测结果的集合，根据每个检测结果所位于的金字塔层，将每个检测结果还原到原始图像的尺寸时的子图所在的位置；

(1-8)对人脸检测集合进行合并，合并完成后得到人脸或异常人脸的检测结果。

本发明可以快速检测人脸是否发生了遮挡，以及是上半脸遮挡或下半脸遮挡；对于佩带不同颜色的口罩、佩带不同颜色的眼罩、佩带深色墨镜等情况，都能正确判断人脸是否发生遮挡，准确率高于90％。

作为优选，若人脸局部的位置与上半脸重叠百分比大于P，则划分为上半脸弱分类器；若人脸局部的位置与下半脸区域的重叠百分比大于P，则划分为下半脸弱分类器；否则，划分为全脸弱分类器。

作为优选，采用如下方法构建图像金字塔：

从原始图像开始，以固定的步长s对图像进行降采样，得到的图像置于图像金字塔的更高一层，并进一步基于此层图像以同样步长s进行降采样得到更上一层图像，直到降采样后得到图像的宽度或高度低于预先设定的最小宽高为止；

作为优选，

作为优选，步骤(1-6)包括如下步骤：

当∑_i∑_j α_ih_i ^(j)(x)＞t_f，则判断当前被扫描子图为人脸；

其中，t_f为人脸检测判别阈值，一般有

当每个子图人脸均检测成功后，计算上半脸弱分类器的权重累加结果和下半脸弱分类器的权重累加结果，根据上半脸/下半脸的权重累加结果是否平衡，如果不平衡，则做出上半脸或下半脸出现了遮挡的判断。

作为优选，若满足下述公式，则权重累加结果不平衡：

其中，T[]为真值判断函数，当内部条件为真时返回1，为假时返回0；

表示根据第i个弱分类器的类别标签j是否为1函数返回不同的值，

为上半脸弱分类器，

为下半脸弱分类器，c₁和c₂均为比例调谐因子。

作为上述方案的替换方案，若满足下述公式，则权重累加结果不平衡：

其中，t_a为人脸遮挡判决阈值，本发明取t_a＝0.2，

为上半脸弱分类器，

为下半脸弱分类器。

作为优选，步骤(1-7)包括如下步骤：

设每个检测结果所位的层数为s_k，则还原得到的原始尺寸的人脸检测集合为{f_k＝[s^kx_k，s^ky_k，s^kw_k，s^kh_k，l_k]}；

其中，s为金字塔层间降采样的变化比例因子，l_k＝0为无遮挡人脸标签，l_k＝1为上半脸遮挡人脸标签，l_k＝2为下半脸遮挡人脸标签，(x_k，y_k)为人脸检测结果的左上角横纵坐标，w_k为人脸检测结果的宽度，h_k为人脸检测结果的高度。

作为优选，步骤(1-8)包括如下步骤：

合并原则为集合中任意两个人脸检测框的重叠面积占二者总面积的比率；

如果比率高于给定阈值，则进行合并；

同时统计标签l_k在无遮挡、上半脸遮挡、和下半脸遮挡三种情形中的数量，将数量最多的类别作为最终检测结果。

因此，本发明具有如下有益效果：可以快速检测人脸是否发生了遮挡，以及是上半脸遮挡或下半脸遮挡；对于佩带不同颜色的口罩、佩带不同颜色的眼罩、佩带深色墨镜等情况，都能正确判断人脸是否发生遮挡，准确率高于90％。

附图说明

图1是本发明的一种流程图；

图2是本发明的图像金字塔的一种结构示意图；

图3是本发明的弱分类器的一种结构示意图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步的描述。

如图1所示的实施例是一种被遮挡的人脸的检测方法，包括如下步骤：

步骤100，获得监控视频数据，监控视频数据包括按时间顺序排列的2000帧图片；

步骤200，构建每帧图片的图像金字塔；

从原始图像开始，以固定的步长s对图像进行降采样，得到的图像置于图像金字塔的更高一层，并进一步基于此层图像以同样步长s进行降采样得到更上一层图像，直到降采样后得到图像的宽度或高度低于预先设定的最小宽高为止；

构建金字塔如图2所示，假定输入图像的尺寸为(w，h)，则金字塔上一层的尺寸为(w/s，h/s)，更上一层的尺寸为(w/s²，h/s²)，以此类推。建立金字塔的目的是为了应对不同大小人脸的检测。

步骤300，对图像金字塔每一层的图像，按照从上到下、从左至右逐行扫描的顺序进行遍历，对每个遍历位置截取一个固定尺寸的子图，基于预先采用Boosting方法训练得到的人脸检测字典，进行人脸是否存在、以及人脸是否遮挡的判别；

步骤400，用若干幅人脸和非人脸图片进行训练，得到可划分类别的有鉴别力的弱分类器的集合{h_i ^(j)(x)}，和每个弱分类器在检测人脸时进行加权求和的权重集合{α_i}；i为弱分类器的序号；

其中，x为子图各个像素点的像素值按照从上到下、从左至右顺序排列得到的列向量，每个弱分类器根据子图某个局部像素点的像素值的状况，给出人脸或非人脸的判断；

步骤500，根据每个弱分类器提取特征时所采用的人脸局部的位置，对各个弱分类器进行划分；

若人脸局部的位置与上半脸重叠百分比大于P，则划分为上半脸弱分类器；若人脸局部的位置与下半脸区域的重叠百分比大于P，则划分为下半脸弱分类器；否则，划分为全脸弱分类器。P为100％。

步骤600，基于划分类别后得到的弱分类器集合{h_i ^(j)}，进行人脸检测和异常人脸判别；j＝{1，2，3}，h_i ⁽¹⁾用于标识弱分类器在上半脸、h_i ⁽²⁾用于标识弱分类器在下半脸，h_i ⁽³⁾用于标识弱分类器在全脸；

当∑_i∑_j α_ih_i ^(j)(x)＞t_f，则判断当前被扫描子图为人脸；

其中，t_f为人脸检测判别阈值，一般有

当每个子图人脸均检测成功后，计算上半脸弱分类器的权重累加结果和下半脸弱分类器的权重累加结果，根据上半脸/下半脸的权重累加结果是否平衡，如果不平衡，则做出上半脸或下半脸出现了遮挡的判断。

若满足下述公式，则权重累加结果不平衡：

其中，T[]为真值判断函数，当内部条件为真时返回1，为假时返回0；

表示根据第i个弱分类器的类别标签j是否为1函数返回不同的值。

为上半脸弱分类器，

为下半脸弱分类器。c₁和c₂为比例调谐因子，c₁＝c₂＝0.5。

步骤700，对图像金字塔所有层的所有位置子图进行扫描后，得到一个人脸检测结果的集合，根据每个检测结果所位于的金字塔层，将每个检测结果还原到原始图像的尺寸时的子图所在的位置；

设每个检测结果所位的层数为s_k，则还原得到的原始尺寸的人脸检测集合为{f_k＝[s^kx_k，s^ky_k，s^kw_k，s^kh_k，l_k]}；

其中，s为金字塔层间降采样的变化比例因子，l_k＝0为无遮挡人脸标签，l_k＝1为上半脸遮挡人脸标签，l_k＝2为下半脸遮挡人脸标签，(x_k,y_k)为人脸检测结果的左上角横纵坐标，w_k为人脸检测结果的宽度，h_k为人脸检测结果的高度。

步骤800，对人脸检测集合进行合并，合并完成后得到人脸或异常人脸的检测结果。

合并原则为集合中任意两个人脸检测框的重叠面积占二者总面积的比率；

如果比率高于给定阈值，则进行合并；

同时统计标签l_k在无遮挡、上半脸遮挡、和下半脸遮挡三种情形中的数量，将数量最多的类别作为最终检测结果。

本发明可应用于金融行业。

实施方式一：本发明可以搭载于金融安全监控平台上，通过对抓拍的取款人照片或视频进行判读，对遮挡面部进行ATM机操作的情况进行报警，银行工作人员可对可疑人员进行远程喊话警告、呼叫现地安保人员等安全处理。

实施方式二：本发明可以移植到ATM机旁的嵌入式智能分期设备中，通过现场获取的视频流，检测是否有人在遮挡面部时进行ATM机操作，并可联动防护舱控制设备或ATM机控制设备，对可疑人员进行终止操作等处理。

应理解，本实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

Claims (7)

1.一种被遮挡的人脸的检测方法，其特征是，包括如下步骤：

(1-1)获得监控视频数据，监控视频数据包括按时间顺序排列的若干帧图片；

(1-2)构建每帧图片的图像金字塔；

(1-3)对图像金字塔每一层的图像，按照从上到下、从左至右逐行扫描的顺序进行遍历，对每个遍历位置截取一个固定尺寸的子图，基于预先采用Boosting方法训练得到的人脸检测字典，进行人脸是否存在、以及人脸是否遮挡的判别；

(1-4)用若干幅人脸和非人脸图片进行训练，得到可划分类别的有鉴别力的弱分类器的集合{h_i ^(j)(x)}，和每个弱分类器在检测人脸时进行加权求和的权重集合{α_i}；i为弱分类器的序号，j为弱分类器类别；

其中，x为子图各个像素点的像素值按照从上到下、从左至右顺序排列得到的列向量，每个弱分类器根据子图某个局部像素点的像素值的状况，给出人脸或非人脸的判断；

(1-5)根据每个弱分类器提取特征时所采用的人脸局部的位置，对各个弱分类器进行划分；

(1-6)基于划分类别后得到的弱分类器集合{h_i ^(j)}，进行人脸检测和异常人脸判别；j＝{1，2，3}，h_i ⁽¹⁾用于标识弱分类器在上半脸，h_i ⁽²⁾用于标识弱分类器在下半脸，h_i ⁽³⁾用于标识弱分类器在全脸；

当∑_i∑_jα_ih_i ^(j)(x)＞t_f，则判断当前被扫描子图为人脸；

其中，t_f为人脸检测判别阈值，一般有

当每个子图人脸均检测成功后，计算上半脸弱分类器的权重累加结果和下半脸弱分类器的权重累加结果，根据上半脸/下半脸的权重累加结果是否平衡，如果不平衡，则做出上半脸或下半脸出现了遮挡的判断；

若满足下述公式，则权重累加结果不平衡：

其中，T[]为真值判断函数，当内部条件为真时返回1，为假时返回0；

表示根据第i个弱分类器的类别标签j是否为1函数返回不同的值，

为上半脸弱分类器，

为下半脸弱分类器，c₁和c₂均为比例调谐因子；

(1-7)对图像金字塔所有层的所有位置子图进行扫描后，得到一个人脸检测结果的集合，根据每个检测结果所位于的金字塔层，将每个检测结果还原到原始图像的尺寸时的子图所在的位置；

(1-8)对人脸检测集合进行合并，合并完成后得到人脸或异常人脸的检测结果。

2.根据权利要求1所述的被遮挡的人脸的检测方法，其特征是，若人脸局部的位置与上半脸重叠百分比大于P，则划分为上半脸弱分类器；若人脸局部的位置与下半脸区域的重叠百分比大于P，则划分为下半脸弱分类器；否则，划分为全脸弱分类器。

3.根据权利要求1所述的被遮挡的人脸的检测方法，其特征是，采用如下方法构建图像金字塔：

从原始图像开始，以固定的步长s对图像进行降采样，得到的图像置于图像金字塔的更高一层，并进一步基于此层图像以同样步长s进行降采样得到更上一层图像，直到降采样后得到图像的宽度或高度低于预先设定的最小宽高为止。

4.根据权利要求1所述的被遮挡的人脸的检测方法，其特征是，

5.根据权利要求1所述的被遮挡的人脸的检测方法，其特征是，若满足下述公式，则权重累加结果不平衡：

其中，t_a为人脸遮挡判决阈值，

为上半脸弱分类器，

为下半脸弱分类器。

6.根据权利要求1所述的被遮挡的人脸的检测方法，其特征是，步骤(1-7)包括如下步骤：

设每个检测结果所位的层数为k，则还原得到的原始尺寸的人脸检测集合为{f_k＝[s^kx_k，s^ky_k，s^kw_k，s^kh_k，l_k]}；

其中，s为金字塔层间降采样的变化比例因子，l_k＝0为无遮挡人脸标签，l_k＝1为上半脸遮挡人脸标签，l_k＝2为下半脸遮挡人脸标签，(x_k，y_k)为人脸检测结果的左上角横纵坐标，w_k为人脸检测结果的宽度，h_k为人脸检测结果的高度。

7.根据权利要求1或2或3或4或5或6所述的被遮挡的人脸的检测方法，其特征是，步骤(1-8)包括如下步骤：

合并原则为集合中任意两个人脸检测框的重叠面积占二者总面积的比率；

如果比率高于给定阈值，则进行合并；

同时统计标签l_k在无遮挡、上半脸遮挡、和下半脸遮挡三种情形中的数量，将数量最多的类别作为最终检测结果。

Images