CN103942539B - 一种人头部椭圆精确高效提取及遮蔽人脸检测方法 - Google Patents

Abstract

本发明提供了一种人头部椭圆精确高效提取方法及遮蔽人脸检测方法，提取方法步骤为：采集背景帧进行分析处理，得到背景满足的统计学条件，作为后续背景更新的判据；利用帧差法，调整灰度图二值化的阈值，去除背景的干扰和影响，得到包含人的二值图，利用人体头部曲线满足的统计学规律，找出头部所在区域的矩形，作为后续处理的基础；通过自适应椭圆算法，根据设定判据调整椭圆的大小和位置，经循环找到满足条件的最佳椭圆。本发明背景更新时效性和准确率高，能够满足实时处理的需要，为后续的头部椭圆精确提取算法提供了基础，可以应用于视频处理和实时监控系统中，遮蔽人脸检测可应用于ATM实时监控视频的处理，用于可疑情况的及时自动警报。

Description

一种人头部椭圆精确高效提取及遮蔽人脸检测方法

技术领域

本发明属于计算机视觉中的模式识别领域。具体的，本发明涉及一种人头部定位方法和遮蔽人脸检测方法，尤其是一种基于摄像头采集实时视频的人头部椭圆精确高效提取方法及遮蔽人脸检测方法。

背景技术

人脸识别和异常人脸检测是模式识别领域的一个重要研究课题，在监控视频处理、身份验证、警报系统等方面有着广泛而深入的应用。为了辅助摄像头进行数据的采集和分析，尤其是对故意遮挡面部的人进行警示，需要有能够适应该场景的头部提取和异常检测方法。基于特征的人脸识别是一种比较成熟的方法，运用多个级联的能够在一定程度上反映人头部特征，比如眼睛，鼻子等器官特征的弱分类器，通过ADABOOST方法进行强化生成准确率较高的强分类器是一种人脸识别方法；基于大量人脸部数据库建立的人脸模型也可以作为人脸识别与检测的一个可行方法，基于人脸部器官的辐射对称性进行检测也可以得到类似的效果和目的，基于肤色进行的人脸部识别也是可行的策略，基于灰度图中人头部的像素统计数据也能够实现一定准确率的头部定位和提取。但是上述的方法在面对遮蔽人脸识别时，均会遭遇问题，导致无法识别或者识别错误。因而，基于人脸部轮廓进行的头部定位提取是一个值得研究的领域，相应的方法有着更为广阔的应用场景。

在视频流人脸识别和提取领域，基于帧差的提取方法有着广泛的应用。在视频流中，利用高斯背景模型的背景更新结合帧差法可以提取出人的轮廓外形，为后续的人脸检测提供数据源。在背景比较简单的情况下可以采用单高斯背景模型，当背景相对复杂的时候，混合高斯模型可以实现比较好的效果。总体而言，高斯背景模型对于背景的渐变更新有着较强的适应能力，但是需要复杂的数学计算和多帧的前期建模，时间复杂度高，对于采集的视频处理实时性不够。因而快速高效准确的背景更新方法也是一个研究重点。

在得到人脸部区域后，进行异常人脸检测的方法有两种主流：一是利用肤色检测，计算对应区域肤色比例；而是进行目标区域的特征器官检测，利用对称性或者哈尔特征检测眼睛、鼻子、眉毛、嘴巴等面部特征，并根据检测结果综合判断面部是否遮挡，以及这档情况是否触发警报。

上述的三个方面技术结合已经能够对视频流进行背景建模、头部定位和异常检测。但由于高斯背景模型不适用于实时系统，头部定位在遮蔽人脸情况下精确度差，因而对于实时摄像头采集的视频进行头部精确提取和异常检测效果不是很好，需要有新的方法和模型来满足实时视频处理时效性和准确性两方面的要求。人脸异常检测是基于头部（脸部）的精确提取的，因而一个有着广泛适用性的头部椭圆提取方法和与之配套的异常人脸检测是一个值得研究的领域。

发明内容

为解决高斯背景模型时间复杂度高和传统的人头部识别和提取方法对于遮蔽人脸检测的能力不足的问题，提供一种人头部椭圆精确高效提取方法及遮蔽人脸检测方法。

根据本发明的一方面，本发明提出了一种人头部椭圆精确高效提取方法，即基于帧差统计数据进行背景检测更新和利用背景消除得到的二值图进行矩形锁定及椭圆自适应调整来达到精确头部定位的方法。本发明提出的背景更新方法仅需要计算帧差矩阵的标准差，复杂度低，可以同时完成背景更新和是否有人的检测；后续提出的自适应椭圆算法可以在限定时间复杂度的情况下，找到局部最优解，得到人头部椭圆的最佳拟合。

本发明所述的人头部椭圆精确高效提取方法，具体包括如下步骤：

步骤1：背景更新

采集背景帧进行分析处理，得到背景满足的统计学条件，作为后续背景更新的判据；

步骤2：矩形区域锁定

利用帧差法，调整灰度图二值化的阈值，去除背景的干扰和影响，得到包含人的二值图，在此基础上，利用人体头部曲线满足的统计学规律，找出头部所在区域的矩形，作为后续处理的基础；

步骤3：椭圆自适应调整算法

在步骤2的基础上，通过自适应椭圆算法，根据设定判据调整椭圆的大小和位置，经循环找到满足条件的最佳椭圆。

所述步骤1中：背景是渐变的，连续两帧之间变化小，计算得到背景的帧差的标准差小；而在有人出现的情况下，一般而言，只要人体在运动，连续两帧的变化较大，计算得到帧差的标准差较大。这一简单的判据可以作为是否更新背景的依据。但是在人体保持特定姿势不动的情况下，帧差的标准差仍有可能满足背景更新条件，会导致背景的误更新。

所述背景误更新，其本质在于出现在视频中人体的静止不动。考虑到现实环境中，人只有可能在极短时间内保持可以导致背景误更新的静止，因而可以通过设定可疑背景阈值的方法巧妙而简单地解决这一问题。

所述的背景更新，在判断是否更新背景的同时，判断视频帧中是否有人的活动，可以作为视频处理的一个应用。

所述的背景更新，在判断有人的情况下，可以利用背景消除法得到去除背景的RGB图片，转化为灰度图并设置合适的阈值二值化之后，可以得到包含人体轮廓的二值图。阈值的设定决定了二值图的品质，在理想情况下，获得的二值图除人体轮廓外，应该都是黑色像素点。得到仅包含人体轮廓的二值图后，可以利用人体头部像素点满足的统计学规律，提取出头部所在位置的矩形区域。统计学规律的体现在于人头部X轴和Y轴像素点的和满足头部轮廓，且明显区别与颈部及以下的统计结果，可以作为头部矩形锁定的可信判据。

所述步骤3中：椭圆自适应调整算法可以设定最大调整次数，避免付出过高时间代价；可以设定调整的终止条件，通过设定头部区域占自适应椭圆比值的阈值（比如本发明中阈值可以是90%），来调整自适应椭圆的精确度，在时间代价和精确提取之间做一个协调。

椭圆自适应调整的判据在于：自适应椭圆和二值化后的人头部椭圆的重合关系，可以通过衡量椭圆左右及上边缘满足的条件以及结合人头部长宽比（比如本发明中长宽比可以设置为1.35）来自适应地调整椭圆大小和位置，达到精确提取的目的。

优选地，根据自适应椭圆和头部椭圆满足的关系，调整自适应椭圆大小及位置：

（1）当自适应椭圆左边缘超出二值图中人物头部椭圆左边缘时，如果右边缘也超出人头部椭圆右边缘，那么可以判定椭圆短轴过长，减小短轴的长度，否则可以判定椭圆位置偏左，将椭圆中心位置向右调整即可；

（2）当自适应椭圆右边缘超出二值图中人物头部椭圆右边缘时，调整方法类似（1）；

（3）自适应椭圆的长轴大小通过人头部比例确定，在通过（1）、（2）的调节得到自适应椭圆短轴长度后，利用比例关系可以得到自适应椭圆长轴长度；

（4）在自适应椭圆长短轴及左右位置调整结束之后，根据新得到自适应椭圆的上边缘信息，可以决定自适应椭圆的上下位置调整：如果自适应椭圆上边缘超出二值化的人头部椭圆，那么自适应椭圆中心下移，反之亦然。

根据本发明的另一方面，本发明提出了一种遮蔽人脸检测方法，所述方法采用上述人头部椭圆精确高效提取方法得到人头部精确椭圆，然后进行肤色比例计算，判断人脸是否进行了遮蔽。

本发明人头部椭圆精确提取方法对于人脸是否遮蔽都有着良好的效果，能够适应多种不同的情况，有着很好的提取精确和较广的适应度，可以应用于不同的情境下；人体肤色在YCbCr色域下明显区别与其他背景或者衣服以及遮挡物，通过对肤色进行统计计算，可以得到人头部椭圆的肤色比例，并通过阈值的设定最终判断人头部是否有遮挡行为。

利用本发明提出的方法，可以准确定位人头部椭圆并判断脸部是否进行了遮挡，可以通过设定可疑背景阈值调整背景更新的灵敏度和背景误更新的概率，可以通过设定椭圆自适应算法迭代次数控制提取精确度和时间复杂度，可以通过肤色比例阈值的设定来调整对于脸部遮挡警报的灵敏度。

本发明应用范围广，复杂度可调节，精确度高，可以合理解决实时摄像头采集视频的人头部提取和异常人脸检测问题，并应用于银行ATM监控系统中。与现有技术相比，本发明具有如下的特点：

1、背景建模依赖于统计数据，背景更新复杂度低，而且能够适应实时视频处理，特别是ATM实时视频的需求；

2、头部提取方法不依赖于人体面部特征或者对称性，可以适用于遮挡及非遮挡情形，适用范围广，精确度高；

3、椭圆自适应调整算法复杂度和精确度可以调节，能够在时间和精确度之间做一个平衡，适用于实时视频处理时效性要求高、精确度满足应用的特点。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是基于摄像头采集实时视频的人头部椭圆精确高效提取方法及遮蔽人脸检测的流程图；

图2是背景更新方法流程图；

图3是椭圆自适应方法流程图；

图4是前期处理后得到的二值图中人物头部满足的统计学规律体现；

图5是矩形锁定后的结果；

图6是本发明的一个实施例的结果（实例中处于人物正常状态）；

图7、8是本发明另一个实施例的结果（实例中处于报警状态，图片中的“Abnormal”是“异常”的意思，在遮蔽人脸异常报警时，同步显示在监控图像中，从而提示监控人员）。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示，本发明在精确提取人头部椭圆的过程中，主要包含背景更新、矩形区域锁定和椭圆自适应调整算法。

在背景更新方面，如图2所示，考虑到实时处理的要求，采用了基于统计学规律的更新方法，计算前后帧差的标准差作为背景判别标准，利用了背景帧差远小于有人活动帧差的特点；考虑到人在静止不动的情况下有可能达到背景帧差的判决阈值，考虑到实际中人不可能长时间保持静止不动姿态，设置可疑背景帧数阈值，巧妙解决了背景误更新的问题；利用帧差的方法，可以消除背景，提取出人的趋于；通过设定阈值将获取图片转换为二值图，可以获得包含人整体轮廓的预处理图片。

在矩形区域锁定方面，利用人头满足的统计学规律，可以快速高效提取人头部区域。

在椭圆自适应调整方面，如图3所示，利用椭圆的大小和位置改变，在一定的代价下，找到最优拟合椭圆，作为头部精确提取结果。在人头部精确椭圆获取之后，利用肤色检测，计算肤色比例，判断人脸是否遮蔽。

具体实现可以采用以下操作：

1、背景帧采集和帧差标准差计算：利用摄像头进行单纯背景采集，对得到的RGB图像灰度化，计算连续两帧背景灰度图差矩阵的标准差I_sigma，多次计算后获取平均值I_thre，作为此后背景更新的依据。

其中w和h分别是图片以像素为单位的宽和高，I(x,y)背景灰度图帧差矩阵中第x行y列的灰度值，μ是帧差矩阵的均值。

2、背景采集建模结束之后开始进行是视频流数据的处理，对于输入帧f，计算其和背景帧帧差的标准差，如果小于I_thre则更新背景。同时计算当前帧与前一帧的帧差的标准差，如果小于I_thre则将可疑背景数目N_back加1，当可疑背景数目达到阈值N_thre时也进行背景更新。

本步骤中，后面利用可疑背景更新的目的和出发点有以下两个：（1）当背景发生比较大的变化，超出前期建模采集得到的阈值后，无法通过第一种机制进行更新，但是随后的背景会趋于稳定，不更新背景会严重影响后续人头部定位的进行；（2）人出现在视频流中的时候，是有可能在比较短的时间内保持静止不动的姿态，采用第二种方法更新背景的过程中如果不设置阈值或者阈值设置不合理很可能出现有人的图片被更新成为背景，使得后续处理无法进行。为了解决这个问题，考虑到人不可能较长时间保持同一姿态，引入可疑背景阈值N_thre并设置较为合理的参数。

N_thre的取值关系到背景错误更新的概率和背景突变后更新的速度，需要对两种情况进行协调，设置合理的参数，比如本实施例中可以设置具体值是5。N_thre取值过小容易引起背景的错误更新，把图像中有人但是人物静止的图片当成背景，实施错误的更新；当N_thre取值过大的时候，如果背景光线等条件发生突然变化时（比如突然开关灯），则需要较长时间才能完成背景的更新。

3、当通过1-2的检测，发现当前帧为有人的帧，则进行矩形区域锁定。这一步骤的实现依赖于帧差和二值化。对于帧差后得到的灰度图，设置合理的二值化阈值(比如对灰度等级256的图片可以设置具体值是50)，可以得到除了人轮廓意外全是黑色的二值图。根据附图3中人头部满足的统计学规律，可以锁定并找到附图4中所示的矩形区域，完成矩形锁定。

4、根据3得到的矩形区域，可以得到椭圆自适应算法进行的初始椭圆。设定自适应算法迭代次数阈值C_thre，执行椭圆自适应调节，得到限定区域里的最优解。

C_thre的取值关系到椭圆提取的精确度和整个提取过程的时间复杂度，本实施例中可以设置具体值是20。当C_thre的取值较大时，可以进行多次自适应调整，能够找到更大范围的最优解，从而以更大概率得到最贴近头部的椭圆，于此同时，也要耗费更长的时间，反之亦然。

5、得到头部精确椭圆区域之后，计算该区域内部肤色比例，设定肤色阈值S_thre用来判定脸部是否进行了遮挡。

S_thre的含义是触发报警的肤色比例，关系到整个系统的灵敏度，本发明可以设置的值是0.396。当S_thre取值过小时，人面部有少量遮挡，就会引发报警，容易引起误警；当S_thre取值过大时，只有面部遮挡严重才会触发报警，灵敏度低。

以下提供具体应用实例：

本发明提出的背景更新方法、自适应椭圆算法可以在不同应用平台上实现，下面涉及的是在matlab2011a平台上进行方法实现和GUI编写的过程以及使用编写好的软件进行操作的步骤。

1、网络摄像头的安装和选择：在不同的应用场景下，可能有一个或者多个摄像头供选择，并有不同的分辨率，选择好摄像头和分辨率后开启预览，为后续的视频采集和处理做好准备；

2、运用本发明提到的方法首先进行背景建模，计算得到当前背景帧差的阈值，为后续运用附图2中的背景更新做准备；

3、开始正式监控视频采集和处理过程：读入视频帧，按照附图1所示的流程图进行操作，首先判断是否是背景，在当前帧是背景的情况下更新背景，否则按照步骤4操作；

4、计算得到当前帧和背景帧的帧差，根据设定的二值化阈值将帧差图二值化，得到类似附图3、4中的二值图，利用本发明提到的统计学规律提取出人头部所在大致矩形区域，实现矩形锁定；

5、按照附图3提到的自适应椭圆算法进行头部椭圆的精确提取，设定迭代阈值，控制时间复杂度，提取得到头部精确椭圆区域，如附图6-8所示，其中“Abnormal”表示检测到人脸异常；

图6是实时视频处理GUI平台进行人头部定位得到的结果，演示的是未进行人脸遮蔽的情况；图7、8展示了在人脸遮蔽情况下对于头部椭圆提取和肤色检测后示警。图6、7、8中矩形区域是利用统计学规律进行矩形锁定的结果，红色椭圆是自适应椭圆算法找到的结果。

6、对头部椭圆趋于应用肤色检测，计算得到脸部肤色比例，根据预设的阈值判定脸部是否遮蔽，在脸部遮蔽的情况下发出警报，如图7、8所示。

本发明背景更新时效性和准确率高，能够满足实时处理的需要，为后续的头部椭圆精确提取算法提供了基础，可以应用于视频处理和实时监控系统中，遮蔽人脸检测可应用于ATM实时监控视频的处理，用于可疑情况的及时自动警报。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (8)

1.一种人头部椭圆精确高效提取方法，其特征在于，具体包括如下步骤：

步骤1：背景更新

采集背景帧进行分析处理，得到背景满足的统计学条件，作为后续背景更新的判据；

步骤2：矩形区域锁定

利用帧差法，调整灰度图二值化的阈值，去除背景的干扰和影响，得到包含人的二值图，在此基础上，利用人体头部曲线满足的统计学规律，找出头部所在区域的矩形，作为后续处理的基础；

步骤3：椭圆自适应调整算法

在步骤2的基础上，通过自适应椭圆算法，根据设定判据调整椭圆的大小和位置，经循环找到满足条件的最佳椭圆；

所述步骤3中：椭圆自适应调整算法提供设定最大调整次数避免付出过高时间代价；可以设定调整的终止条件，通过设定头部区域占椭圆比值的阈值，调整自适应椭圆的精确度，在时间代价和精确提取之间做一个协调；

所述椭圆自适应调整的判据在于：自适应椭圆和二值化后的人头部椭圆的重合关系，通过衡量自适应椭圆左右及上边缘满足的条件结合人头部长宽比来自适应地调整椭圆大小和位置，达到精确提取的目的。

2.根据权利要求1所述的人头部椭圆精确高效提取方法，其特征在于，所述步骤1中，背景更新的判据是：背景是渐变的，连续两帧之间变化小，计算得到的背景帧差的标准差小；而在有人出现的情况下，只要人体在运动，连续两帧的变化较大，计算得到的帧差标准差大。

3.根据权利要求2所述的人头部椭圆精确高效提取方法，其特征在于，所述背景更新中，在人体保持特定姿势不动的情况下，帧差标准差仍有可能满足背景更新条件，会导致背景的误更新，通过设定可疑背景阈值的方法防止误更新。

4.根据权利要求2所述的人头部椭圆精确高效提取方法，其特征在于，所述的背景更新，在判断有人的情况下，利用背景消除法得到去除背景的RGB图片，转化为灰度图并设置阈值二值化之后，得到包含人体轮廓的二值图,阈值的设定决定了二值图的品质，在理想情况下，获得的二值图除人体轮廓外，应该都是黑色像素点；得到仅包含人体轮廓的二值图后，利用人体头部像素点满足的统计学规律，提取出头部所在位置的矩形区域。

5.根据权利要求4所述的人头部椭圆精确高效提取方法，其特征在于，所述统计学规律的体现在于人头部X轴和Y轴像素点的和满足头部轮廓，且明显区别与颈部及以下的统计结果，作为头部矩形锁定的可信判据。

6.根据权利要求1-5任一项所述的人头部椭圆精确高效提取方法，其特征在于，根据自适应椭圆和头部椭圆满足的关系，调整自适应椭圆大小及位置：

(1)当自适应椭圆左边缘超出二值图中人头部椭圆左边缘时，如果右边缘也超出人头部椭圆右边缘，那么判定椭圆短轴过长，减小短轴的长度，否则判定椭圆位置偏左，将椭圆中心位置向右调整；

(2)当自适应椭圆右边缘超出二值图中人头部椭圆右边缘时，调整方法跟(1)相同；

(3)自适应椭圆的长轴大小通过人头部比例确定，在通过(1)、(2)的调节得到自适应椭圆短轴长度后，利用比例关系得到自适应椭圆长轴长度；

(4)在自适应椭圆长短轴及左右位置调整结束之后，根据新得到自适应椭圆的上边缘信息，可以决定自适应椭圆的上下位置调整：如果自适应椭圆上边缘超出二值化的人头部椭圆，那么自适应椭圆中心下移，反之亦然。

7.一种采用权利要求1-6任一项所述方法实现的遮蔽人脸检测方法，其特征在于，所述方法采用人头部椭圆精确高效提取方法得到人头部精确椭圆，然后进行人体肤色比例计算，判断人脸是否进行了遮蔽。

8.根据权利要求7所述的遮蔽人脸检测方法，其特征在于，所述人体肤色在YCbCr色域下明显区别于背景或者衣服以及遮挡物，通过对肤色进行统计计算，得到人头部椭圆的肤色比例，并通过阈值的设定最终判断人头部是否有遮挡行为。