CN105354563A - 结合深度和彩色图像的遮挡人脸检测预警装置及实现方法 - Google Patents

Abstract

本发明公开了一种结合深度和彩色图像的遮挡人脸检测预警装置及实现方法，属于图像处理和安防监控领域；装置包括深度摄像头、彩色摄像头、图像处理部件、本地预警设备和网络报警设备；深度摄像头和彩色摄像头均与图像处理部件相连，同步采集深度数据和彩色图像，并将深度数据和对应的彩色图像同步传送给图像处理部件；图像处理部件检测到遮挡人脸后将预警信号发送给本地预警设备，同时通过网络将预警信号发送给网络报警设备，进行远程报警。发明同时基于深度图像和彩色图像，能有效减少外界光照变化带来的影响，遮挡检测结果稳健，检出率高于仅使用单一彩色图像的遮挡人脸检测方法。

Description

结合深度和彩色图像的遮挡人脸检测预警装置及实现方法

技术领域

本发明涉及一种遮挡人脸检测技术，特别是一种结合深度图像和彩色图像的遮挡人脸检测预警装置及实现方法。

背景技术

人们通过人脸来确认身份，因此，人脸是最重要的生物特征之一。犯罪分子在行使犯罪时往往会刻意遮挡人脸，因而能否稳定地判断出人脸是否被遮挡，是预防犯罪的有效手段。譬如，随着ATM机交易的频繁，银行ATM机网点越来越多，客户在ATM机上进行交易的时候也是违法犯罪行为最容易发生的时候。很多犯罪嫌疑人使用墨镜、围巾、口罩或者直接蒙面的方式来刻意遮挡自己的人脸特征，逃避法律处罚。对这种犯罪行为进行主动防御的有效措施就是对交易过程进行全程监控，一旦发现人脸模式异常，如取款者戴墨镜或蒙面操作ATM机，便认为有潜在的威胁存在，从而触发相应的预警或者报警机制。将遮挡人脸检测技术应用到ATM机预警系统中可降低ATM机犯罪的可能性。

遮挡人脸检测问题有以下三种常用的解决方案：

针对特定遮挡物类型的检测方法。这类方法只针对特定的遮挡类型，例如针对戴头盔、戴墨镜、戴口罩、戴围巾等，遮挡物也相对固定；此类方法一般能稳定地检测遮挡人脸，但泛化性能差，只有特定的遮挡行为才能被检测，无法适应不可预知的人脸遮挡情况。

基于肤色的遮挡检测方法。通过整个人脸中的重要器官的位置和肤色比例来判断遮挡人脸，此类方法可以适应多样化的人脸遮挡情况，同时对多样化的人脸表情也有很好适应性，但却对光照变化非常敏感，难以得到稳健的结果。

基于正面裸露人脸检测的方法。此类方法通过人脸检测器确定感兴趣的区域，通过分析部分检测到的人脸区域来确定是否为遮挡人脸；例如将人脸分为上半部分和下半部分，分别判定是否遮挡来综合判定人脸遮挡情况。

由上可知，现有的遮挡人脸检测技术大都基于二维彩色或者灰度图像，对光照变化、表情变化等比较敏感，缺乏稳健性，难以应用到实际的视频监控系统中。

发明内容

本发明的目的在于提供一种结合深度和彩色图像的遮挡人脸检测预警装置及实现方法。

实现本发明目的的技术方案为：一种结合深度和彩色图像的遮挡人脸检测预警装置，装置包括深度摄像头、彩色摄像头、图像处理部件、本地预警设备和网络报警设备；

深度摄像头和彩色摄像头均与图像处理部件相连，同步采集深度数据和彩色图像，并将深度数据和对应的彩色图像同步传送给图像处理部件；图像处理部件检测到遮挡人脸后将预警信号发送给本地预警设备，同时通过网络将预警信号发送给网络报警设备，进行远程报警。

进一步的，图像处理部件包括深度数据输入模块、彩色数据输入模块、前景目标分割模块、人头区域分割模块、图像配准模块、遮挡检测模块和结果输出模块；

深度数据输入模块同时与前景目标分割模块和图像配准模块相连，彩色数据输入模块与图像配准模块相连，前景目标分割模块与人头区域分割模块相连，人头区域分割模块和图像配准模块均与遮挡检测模块相连，遮挡检测模块与结果输出模块相连；

深度数据输入模块对深度数据进行归整化，转换成深度图像后传递给前景目标分割模块和图像配准模块；前景目标分割模块将深度图像中的像素点根据像素值聚为4类，并将其中与深度摄像头距离最近的一类像素点作为前景目标候选点，在前景目标候选点中寻找最大连通域作为前景目标；图像配准模块对彩色图像进行仿射变换，使其和深度图像位于同一个坐标系中，使深度图像和彩色图像逐像素对应；人头区域分割模块以前景目标作为输入，使用投影法确定人头区域，即人头的最小包围矩形；遮挡检测模块以深度图像、配准后的彩色图像和人头区域作为输入，在人头区域中进行遮挡检测，判断人脸区域是否有遮挡物；结果输出模块用于向本地预警设备和网络报警设备发出预警信号。

一种结合深度和彩色图像的遮挡人脸检测预警方法，包括以下步骤：

步骤1、同步采集深度数据和对应的彩色图像，并将深度数据转换为深度图像；

步骤2、将深度图像中的像素点根据像素值聚为4类，并将其中与深度摄像头距离最近的一类像素点作为前景目标候选点，在前景目标候选点中寻找最大连通域作为前景目标；

步骤3、对彩色图像进行仿射变换，使其和深度图像位于同一个坐标系中，使深度图像和彩色图像逐像素对应，得到配准后的彩色图像；

步骤4、以前景目标作为输入，使用投影法确定人头区域；

步骤5、以深度图像、配准后的彩色图像和人头区域作为输入，在人头区域中进行遮挡检测，判断人脸区域是否有遮挡物，若有，则进行本地预警或网络报警，若无，不作处理。

本发明与现有技术相比，其显著优点为：

(1)本发明使用深度数据，遮挡人脸检测结果对光照变化不敏感；

(2)本发明同时使用深度和彩色数据，遮挡检测结果更稳健，可以满足实际应用要求。

附图说明

图1为本发明的结合深度和彩色图像的遮挡人脸检测预警装置结构框图。

图2为图1中图像处理部件的内部结构框图。

图3为对深度图像进行聚类分割的计算流程图。

图4为获取人脸子区域特征向量的示意图。

图5为本发明的实施例示意图。

具体实施方式

结合图1，本发明的结合深度和彩色图像的遮挡人脸检测预警装置，包括深度摄像头、彩色摄像头、图像处理部件、本地预警设备和网络报警设备；

深度摄像头和彩色摄像头均与图像处理部件相连，在图像处理部件触发信号的控制下深度摄像头和彩色摄像头同步采集深度数据和彩色图像，并将深度数据和对应的彩色图像同步传送给图像处理部件；图像处理部件检测到遮挡人脸后将预警信号发送给本地预警设备，同时通过网络将预警信号发送给网络报警设备，进行远程报警。

结合图2，图像处理部件包括深度数据输入模块、彩色数据输入模块、前景目标分割模块、人头区域分割模块、图像配准模块、遮挡检测模块和结果输出模块；

深度数据输入模块同时与前景目标分割模块和图像配准模块相连，彩色数据输入模块与图像配准模块相连，前景目标分割模块与人头区域分割模块相连，人头区域分割模块和图像配准模块均与遮挡检测模块相连，遮挡检测模块与结果输出模块相连；

深度数据输入模块对深度数据进行归整化，转换成深度图像后传递给前景目标分割模块和图像配准模块；前景目标分割模块将深度图像中的像素点根据像素值聚为4类，并将其中与深度摄像头距离最近的一类像素点作为前景目标候选点，在前景目标候选点中寻找最大连通域作为前景目标；图像配准模块对彩色图像进行仿射变换，使其和深度图像位于同一个坐标系中，使深度图像和彩色图像逐像素对应；人头区域分割模块以前景目标作为输入，使用投影法确定人头区域，即人头的最小包围矩形；遮挡检测模块以深度图像、配准后的彩色图像和人头区域作为输入，在人头区域中进行遮挡检测，判断人脸区域是否有口罩、围巾、墨镜等遮挡物；结果输出模块用于向本地预警设备和网络报警设备发出预警信号。

彩色数据输入模块从彩色摄像头获取彩色图像，并将其转换为RGB彩色图像，其中每个像素点至少包含R、G、B三个通道的数据。

本发明的一种结合深度和彩色图像的遮挡人脸检测预警方法，包含以下步骤：

步骤1、同步采集深度数据和对应的彩色图像，对深度数据进行规整化，将深度数据转换为深度图像；

设D(x,y)表示原始深度数据D中位于坐标(x,y)处的深度数据值，以微软的Kinect传感器为例，则需要按照如下方式进行规整，

$I_D(x,y)=\frac{255}{0x0fff}D(x,y)$

I_D(x,y)是深度图像I_D中位于坐标(x,y)处的像素值，I_D和D尺寸相同，0x0fff为16进制数值；

将采集的彩色图像转换为RGB三通道彩色图像，其中每个像素点至少包含R、G、B三个通道的数据；如果彩色摄像头直接采集的图像为RGB彩色图像，则不需要转换过程。

步骤2、将深度图像中的像素点根据像素值聚为4类，并将其中与深度摄像头距离最近的一类像素点作为前景目标候选点，在前景目标候选点中寻找最大连通域作为前景目标；具体为：

步骤2-1：如图3所示，将深度图像I_D中的像素点根据像素值聚为4类，步骤为：

步骤2-1-1：随机选择四个像素值作为四个类的类中心；

步骤2-1-2：判断是否达到最大迭代次数，如果是，则转到步骤2-1-6，否则转到步骤2-1-3；

步骤2-1-3：对深度图像I_D中的每一个像素点，比较其像素值和四个类中心之间的距离，与哪一个类中心距离近，将其分到对应的类中；

步骤2-1-4：对每一个类，计算属于这一类的所有像素点的均值，作为该类新的类中心；

步骤2-1-5：判断是否收敛，如果是，则转到步骤2-1-6，否则转到步骤2-1-2；判断收敛的标准为：前后两次类中心之间的差距小于设定的阈值，或者前后两次目标函数之间的差值小于设定的阈值；

步骤2-1-6：聚类结束。

步骤2-2：将与摄像头距离最近的一类中的所有像素点当作前景目标候选点，将前景目标候选点所在位置填充为白色，其余位置填充为黑色，构造一幅与深度图像I_D尺寸相同的二值图像；然后在该二值图像中提取连通域，将最大连通域作为前景目标区域，保持白色不变，而将非最大连通域置为黑色，得到前景目标掩膜图像I_M，完成前景目标分割。

步骤3、彩色图像根据单应性矩阵进行仿射变换，使其和深度图像位于同一个坐标系中，使深度图像和彩色图像逐像素对应，得到配准后的彩色图像I_C；单应性矩阵通过同一场景下的深度图像和彩色图像对应点确定，这些点对通过人工进行标注；

步骤4、以前景目标作为输入，使用投影法确定人头区域；具体为：

步骤4-1：对前景目标掩膜图像I_M进行本地中值滤波；

步骤4-2：对本地中值滤波后的前景目标掩膜图像I_M进行垂直积分投影，再对得到的图像进行水平积分投影，得到水平积分投影图像I_P；

步骤4-3：先在水平积分投影图像I_P中寻找投影曲线的拐点，拐点所对应的横坐标为人头区域的宽度，纵坐标为人头区域的高度；然后根据步骤4-2中的投影关系，利用人头区域的宽度和高度，反向推算出人头在前景目标掩膜图像I_M中的坐标范围，得到人头区域R，完成人头区域分割。

步骤5、以深度图像、配准后的彩色图像和人头区域作为输入，在人头区域中进行遮挡检测，判断人脸区域是否有遮挡物，若有，则进行本地预警或网络报警，若无，不作处理；具体为：

步骤5-1：根据人头区域R，在深度图像I_D中找到对应的感兴趣区域图像R_D，在配准后的彩色图像I_C中找到对应的感兴趣区域图像R_C；

步骤5-2：将人头区域划分为多个互不相交的区域：

其中，R表示人头区域，N_R表示要将R划分的区域的个数，R⁽ⁱ⁾表示R的第i个子区域；

步骤5-3：对每一个子区域，计算与子区域R⁽ⁱ⁾相对应的的特征和的特征，并将其组织成一个向量，作为第i个子区域的特征向量F⁽ⁱ⁾；其中，为深度图像I_D中第i个子区域，为配准后的彩色图像I_C中第i个子区域；

如图4所示，计算深度人脸图像上第i＝4个子区域的直方图、Haar和LBP特征，同时，计算彩色人脸图像上第i＝4个子区域的直方图、Haar和LBP特征，将其组织成一个列向量，构成人脸第i＝4个区域的特征向量；

步骤5-4：用预先训练好的分类器对每一个特征向量F⁽ⁱ⁾(i＝1,2,…N_R)进行分类，判断其是否遮挡，然后将各个子区域的分类结果综合起来，得出人脸的遮挡情况，具体方法如下：

$\left\{\begin{array}{c}y\left(i\right)=f\left(F^{\left(i\right)}\right),i=1,...,N_R\\ Y=h\left(y\right(1),y(2),...,y(N_R\left)\right)\end{array}\right.$

其中，f（·)表示分类器，y(i)表示第i个子区域的分类结果，Y为综合后的分类结果，函数h(y(1),y(2),…,y(N_R))用来将N_R个子区域的分类结果综合起来；所用分类器可以是神经网络、支持向量机、Boosting集成分类器等通用分类器，这些分类器可以预先离线训练好；

步骤5-5：对综合后的分类结果Y进行量化，与给定阈值进行比较，判断人脸区域是否有遮挡物。这里的阈值通过实验确定，例如，对Y的取值范围进行如下划分：

此时，Y的取值范围为1-60，而且同一时间，只能取其中的一个值。以眼部遮挡为例，此时Y的取值范围是21-30，其中，21表示眼部有非常轻微的遮挡，而30表示眼部有非常严重的遮挡，其它数字表示的结果介于这一范围之内。这里的“轻微”和“严重”由某一器官所包含的各个子区域的遮挡比例控制，当遮挡比例超过80％时，认为是严重遮挡，当遮挡比例大于5％不足10％时，认为是有非常轻微的遮挡，而当遮挡比例小于5％时，认为没有遮挡。设眼部遮挡报警的阈值为23，那么当21≤Y≤23时，不作任何处理，只有当23＜Y≤30才进行眼部遮挡预警/报警。在此例子中，一共需要5个报警阈值，以对应不同的预警信息：头部遮挡预警，眼部遮挡预警，口部遮挡预警，脸部遮挡预警，多种遮挡预警。这里对结果进行量化和阈值处理的方法仅供参考，实际使用中不限于此。

实施例

结合图5，本发明的一个实施例——用于ATM机的遮挡人脸检测预警装置。使用微软公司的Kinect传感器作为深度摄像头和彩色摄像头，以嵌入式处理板pcDuino作为核心处理平台构成图像处理部件，使用扬声器和报警灯作为本地预警设备，使用警笛和短信发送模块作为网络报警设备。

Kinect传感器、扬声器和报警灯连接在pcDuino硬件上，而pcDuino本身通过WAN连接到Internet，可以向外界发送消息。整个装置内嵌在ATM机上方的特定位置，按如下流程运行：Kinect连续不断地从外界采集深度图像和彩色图像，运行在pcDuino上的图像处理算法在输入的图像中进行检测，未检测到遮挡人脸时不作任何处理，而当检测到遮挡人脸时，首先触发本地报警灯闪烁、扬声器进行警告，要求其移除遮挡物。如果遮挡物移除，则解除预警，扬声器和报警灯关闭，而如果在规定时间内未移除遮挡物，则通过Internet向外界发送报警消息，该消息能触发多种形式的报警信号通知到公安机关，例如鸣警笛、报警短息等。

Claims (8)

1.一种结合深度和彩色图像的遮挡人脸检测预警装置，其特征在于，装置包括深度摄像头、彩色摄像头、图像处理部件、本地预警设备和网络报警设备；

深度摄像头和彩色摄像头均与图像处理部件相连，同步采集深度数据和彩色图像，并将深度数据和对应的彩色图像同步传送给图像处理部件；图像处理部件检测到遮挡人脸后将预警信号发送给本地预警设备，同时通过网络将预警信号发送给网络报警设备，进行远程报警。

2.根据权利要求1所述的结合深度和彩色图像的遮挡人脸检测预警装置，其特征在于，图像处理部件包括深度数据输入模块、彩色数据输入模块、前景目标分割模块、人头区域分割模块、图像配准模块、遮挡检测模块和结果输出模块；

深度数据输入模块同时与前景目标分割模块和图像配准模块相连，彩色数据输入模块与图像配准模块相连，前景目标分割模块与人头区域分割模块相连，人头区域分割模块和图像配准模块均与遮挡检测模块相连，遮挡检测模块与结果输出模块相连；

深度数据输入模块对深度数据进行归整化，转换成深度图像后传递给前景目标分割模块和图像配准模块；前景目标分割模块将深度图像中的像素点根据像素值聚为4类，并将其中与深度摄像头距离最近的一类像素点作为前景目标候选点，在前景目标候选点中寻找最大连通域作为前景目标；图像配准模块对彩色图像进行仿射变换，使其和深度图像位于同一个坐标系中，使深度图像和彩色图像逐像素对应；人头区域分割模块以前景目标作为输入，使用投影法确定人头区域，即人头的最小包围矩形；遮挡检测模块以深度图像、配准后的彩色图像和人头区域作为输入，在人头区域中进行遮挡检测，判断人脸区域是否有遮挡物；结果输出模块用于向本地预警设备和网络报警设备发出预警信号。

3.根据权利要求2所述的结合深度和彩色图像的遮挡人脸检测预警装置，其特征在于，彩色数据输入模块从彩色摄像头获取彩色图像，并将其转换为RGB彩色图像，其中每个像素点至少包含R、G、B三个通道的数据。

4.一种结合深度和彩色图像的遮挡人脸检测预警方法，其特征在于，包括以下步骤：

步骤1、同步采集深度数据和对应的彩色图像，并将深度数据转换为深度图像；

步骤2、将深度图像中的像素点根据像素值聚为4类，并将其中与深度摄像头距离最近的一类像素点作为前景目标候选点，在前景目标候选点中寻找最大连通域作为前景目标；

步骤3、对彩色图像进行仿射变换，使其和深度图像位于同一个坐标系中，使深度图像和彩色图像逐像素对应，得到配准后的彩色图像；

步骤4、以前景目标作为输入，使用投影法确定人头区域；

步骤5、以深度图像、配准后的彩色图像和人头区域作为输入，在人头区域中进行遮挡检测，判断人脸区域是否有遮挡物，若有，则进行本地预警或网络报警，若无，不作处理。

5.根据权利要求4所述的结合深度和彩色图像的遮挡人脸检测预警方法，其特征在于，步骤2具体包含以下步骤：

步骤2-1：将深度图像I_D中的像素点根据像素值聚为4类；

步骤2-2：将与摄像头距离最近的一类中的所有像素点当作前景目标候选点，将前景目标候选点所在位置填充为白色，其余位置填充为黑色，构造一幅与深度图像I_D尺寸相同的二值图像；然后在该二值图像中提取连通域，将最大连通域作为前景目标区域，保持白色不变，而将非最大连通域置为黑色，得到前景目标掩膜图像I_M，完成前景目标分割。

6.根据权利要求5所述的结合深度和彩色图像的遮挡人脸检测预警方法，其特征在于，步骤2-1具体包含以下步骤：

步骤2-1-1：随机选择四个像素值作为四个类的类中心；

步骤2-1-2：判断是否达到最大迭代次数，如果是，则转到步骤2-1-6，否则转到步骤2-1-3；

步骤2-1-3：对深度图像I_D中的每一个像素点，比较其像素值和四个类中心之间的距离，与哪一个类中心距离近，将其分到对应的类中；

步骤2-1-4：对每一个类，计算属于这一类的所有像素点的均值，作为该类新的类中心；

步骤2-1-5：判断是否收敛，如果是，则转到步骤2-1-6，否则转到步骤2-1-2；判断收敛的标准为：前后两次类中心之间的差距小于设定的阈值，或者前后两次目标函数之间的差值小于设定的阈值；

步骤2-1-6：聚类结束。

7.根据权利要求5所述的结合深度和彩色图像的遮挡人脸检测预警方法，其特征在于，步骤4中以前景目标掩膜图像为输入，以人头区域的坐标范围为输出，包含以下步骤：

步骤4-1：对前景目标掩膜图像I_M进行本地中值滤波；

步骤4-2：对本地中值滤波后的前景目标掩膜图像I_M进行垂直积分投影，再对得到的图像进行水平积分投影，得到水平积分投影图像I_P；

步骤4-3：先在水平积分投影图像I_P中寻找投影曲线的拐点，拐点所对应的横坐标为人头区域的宽度，纵坐标为人头区域的高度；然后根据步骤4-2中的投影关系，利用人头区域的宽度和高度，反向推算出人头在前景目标掩膜图像I_M中的坐标范围，得到人头区域R，完成人头区域分割。

8.根据权利要求7所述的结合深度和彩色图像的遮挡人脸检测预警方法，其特征在于，步骤5具体为：

步骤5-1：根据人头区域R，在深度图像I_D中找到对应的感兴趣区域图像R_D，在配准后的彩色图像I_C中找到对应的感兴趣区域图像R_C；

步骤5-2：将人头区域划分为多个互不相交的区域：

其中，R表示人头区域，N_R表示要将R划分的区域的个数，R⁽ⁱ⁾表示R的第i个子区域。

步骤5-3：对每一个子区域，计算与子区域R⁽ⁱ⁾相对应的的特征和的特征，并将其组织成一个向量，作为第i个子区域的特征向量F⁽ⁱ⁾；其中，为深度图像I_D中第i个子区域，为配准后的彩色图像I_C中第i个子区域；

步骤5-4：用预先训练好的分类器对每一个特征向量F⁽ⁱ⁾(i＝1,2,…N_R)进行分类，判断其是否遮挡，然后将各个子区域的分类结果综合起来，得出人脸的遮挡情况，具体方法如下：

$\left\{\begin{array}{c}y\left(i\right)=f\left(F^{\left(i\right)}\right),i=1,...,N_R\\ Y=h\left(y\right(1),y\left(2\right),...,y\left(N_R\right))\end{array}\right.$

其中，f(·)表示分类器，y(i)表示第i个子区域的分类结果，Y为综合后的分类结果，函数h(y(1),y(2),…,y(N_R))用来将N_R个子区域的分类结果综合起来；

步骤5-5：对综合后的分类结果Y进行量化，与给定阈值进行比较，判断人脸区域是否有遮挡物。