CN103927519A - 一种实时人脸检测与过滤方法 - Google Patents

Abstract

本发明涉及一种实时人脸检测与过滤方法，包括以下步骤：前景检测；确定人脸检测区域；人脸检测，若检测到人脸，则提取人脸图像信息，并更新人脸图像信息链表后输出人脸图像，若未检测到人脸，则直接输出人脸图像；本发明的有益效果为：结合前景检测的方法确定检测区域，排除了大部分无需检测的区域，提高了检测效率，并降低了误检率，充分利用视频序列的空间信息和时间信息，能从检测出的一个人的多张人脸图像中过滤出一张比较清晰的人脸图像。

Description

一种实时人脸检测与过滤方法

技术领域

本发明涉及一种实时人脸检测与过滤方法。 

背景技术

人脸识别技术在智能安防领域得到了越来越多的应用，人脸检测是自动人脸识别系统的第一步，也是一个关键环节。人脸检测技术就是从任意一幅给定的图像或者视频序列，采用一定的策略对其进行搜索以确定其中是否含有人脸，如果是则返回人脸的相关信息，比如位置、大小和姿态。在安防领域，监控摄像头在24小时全天监控中，大部分区域是固定不变的，这些区域并不包含人脸图像；此外，当人出现在监控区域内，摄像头可能连续检测到一个人的多张人脸图像，为了选择一张比较清晰的人脸图像，需要对多张人脸图进行过滤。常用的人脸检测是在整帧图像上进行搜索，比较耗时，而且容易产生误检。 

发明内容

本发明的目的是提供一种实时人脸检测与过滤方法，以克服目前现有技术存在的上述不足。 

本发明的目的是通过以下技术方案来实现： 

一种实时人脸检测与过滤方法，包括以下步骤：

（1） 前景检测：提取当前帧的前景区域，并二值化前景区域图像，然后去除碎片区域，填充空洞区域；

（2） 确定人脸检测区域：将二值化后的前景区域分别向水平方向和垂直方向进行直方图投影，进一步去除前景图像左右两边及上下两边噪声的干扰；

（3）人脸检测：利用级联分类器算法进行人脸检测，若检测到人脸，并提取人脸图像信息I：人脸的位置P、大小S、人脸数据Data、检测到的次数nDetect、连续丢失检测的次数nLost和人脸的清晰度Q，并对人脸图像进行清晰度评价，然后执行步骤（4）；若未检测到人脸，则直接执行步骤（5）；

（4）更新人脸图像信息链表：若人脸图像信息链表为空值，则将人脸图像信息I加入人脸图像信息链表；若人脸图像信息链表存在N个人脸图像 ，则按以下步骤更新人脸图像信息列表：a）运用面积重叠法将I的人脸位置与人脸图像信息链表中人脸图像的人脸位置进行比较，若人脸图像信息链表中存在人脸图像与I的人脸图像为同一个人的人脸，则将人脸图像信息链表中的的人脸位置更新为I的人脸位置，同时将检测到的次数加1，将连续丢失检测的次数设置为0；若人脸图像信息I是新的一个人的人脸，将I加入人脸图像信息链表，然后执行步骤（5）；b）比较人脸图像I和的清晰度，若I的清晰度大于的清晰度，则更新的人脸图像数据为I的人脸图像数据；反之，不更新人脸图像数据；以及

（5）输出人脸图像：遍历人脸图像信息链表，若人脸图像的信息在步骤（4）中未发生更新，则将连续丢失检测的次数加1，若满足：

    ，则将输出，并从人脸图像信息链表中删除。

其中，，分别为设定的检测到同一个人的人脸次数和连续丢失检测帧数的阈值。 

进一步的，步骤1）中所述的前景检测的方法为帧间差分法，具体公式如下： 

其中，为前景图像，为像素点坐标，为当前帧，为前一帧，为二值化阈值，F 为二值化前景图像的像素值。

若当前图像坐标上的像素值与上一帧图像中上的像素值的差异大于某一阈值时，则当前像素被认为是前景，否则为背景。 

进一步的，所述二值化阈值采用大律法（OSTU）自动选取。 

可选择的，所述二值化阈值采用人为设定的值。 

进一步的，步骤（1）中所述去除碎片区域的方法是形态学方法。 

进一步的，步骤2）中所述将二值化后的前景区域分别向水平方向和垂直方向进行直方图投影，其具体运算公式如下： 

             

其中，，分别为水平方向和垂直方向的直方图，分别为人脸图像的宽和高，为二值化前景图像的像素值 。

设检测区域左上角的坐标为 ，右下角的坐标为 ，则检测区域各坐标可表示为： 

    

其中，T为投影阈值。

进一步的，步骤（3）中对人脸图像进行清晰度评价的具体方法如下： 

第一步，利用Sobel算子计算人脸图像的梯度幅值。

                

其中，和分别代表水平方向和垂直方向的Sobel算子。分别用 和 对图像进行卷积计算，得到水平方向和垂直方向的梯度图 、，那么梯度幅值为：

第二步，计算人脸图像的梯度方差：

                

其中，为梯度幅值图像的平均梯度值，梯度方差越大，说明图像越锐化

本发明的有益效果为：结合前景检测的方法确定检测区域，排除了大部分无需检测的区域，提高了检测效率，并降低了误检率，充分利用视频序列的空间信息和时间信息，能从检测出的一个人的多张人脸图像中过滤出一张比较清晰的人脸图像。

附图说明

下面根据附图对本发明作进一步详细说明。 

图1是本发明实施例所述的实时人脸检测和过滤方法的流程图； 

图2是人脸检测步骤的流程示意图。

具体实施方式

如图1-2所示，本发明实施例所述的一种实时人脸检测与过滤方法，具体地包括以下步骤： 

1、前景检测。利用帧间差分的方法提取当前帧的前景区域，然后利用形态学方法去除碎片区域，填充空洞区域。

其中，为前景图像，为像素点坐标，为当前帧，为前一帧，为二值化阈值，该二值化阈值采用大律法（OSTU）自动选取或人为设定。 

2、确定人脸检测区域。将二值化后的前景区域分别向水平方向和垂直方向进行直方图投影。 

   

   

  

 其中，，分别为水平方向和垂直方向的直方图，分别为人脸图像的宽和高，为二值化前景图像的像素值 。

设检测区域左上角的坐标为，右下角的坐标为。 

 其中，T为投影阈值，设为10个像素点，这样做的目的是进一步去除前景图像左右两边及上下两边噪声的干扰。

3、人脸检测。利用Viola-Jones提出的级联分类器算法进行人脸检测，若检测到人脸，则提取人脸图像信息I（包括人脸的位置(P)，大小(S)，人脸数据（Data)，检测到的次数(nDetect)，连续丢失检测的次数(nLost), 人脸的清晰度(Q))，若没有人脸则转至5。 

利用haar特征实现了一个正面人脸检测分类器，将待检测图像送入分类器，若待检测子窗口能够通过所有的分类器，则认为是人脸，反之，若被任意一个分类器拒绝，则认为是非人脸。 

本发明中人脸图像的清晰度主要利用梯度方差来评价，具体过程如下： 

a)   利用Sobel算子计算人脸图像的梯度幅值。

                      

                

其中和分别代表水平方向和垂直方向的Sobel算子。分别用和对图像进行卷积计算，得到水平方向和垂直方向的梯度图、，那么梯度幅值为

b)  计算人脸图像的梯度方差：

     其中，为梯度幅值图像的平均梯度值，梯度方差越大，说明图像越锐化。

4、更新人脸图像信息链表。若人脸图像信息链表为NULL（空值），则将I加入人脸图像信息链表；若人脸图像信息链表存在N个人脸图像，则按以下步骤更新人脸图像信息列表： 

a)   分别将I的人脸位置与人脸图像信息链表中人脸图像的人脸位置进行比较，并选出与I重叠面积最大的人脸图像，计算重叠面积与人脸图像I的面积的比值，若比值大于阈值（人为设定为0.4），则认为I和是属于同一个人的人脸，并将的人脸位置更新为，同时将（检测到的次数）加1，（连续丢失检测的次数）置为0；若比值小于，则认为人脸图像I是新的一个人的人脸，将I加入人脸图像信息链表，转至步骤5。

b)  比较人脸图像I和的清晰度，若，则更新的人脸图像数据为I的人脸图像数据；反之，不更新人脸图像数据。 

5、输出人脸图像。遍历人脸图像信息链表，若人脸图像的信息在步骤4中没有发生更新，则加1，若满足： 

            

其中，，分别为设定的检测到同一个人的人脸次数和连续丢失检测帧数的阈值。则将输出，并从人脸图像信息链表中删除。

非人脸图像在一段时间的连续帧数内，在视频中的同一位置误检的次数大部分为一次或者两次，而人脸图像则会连续检测到多次，因此检测帧数阈值设为5帧；在连续若干帧数内丢失检测某人的人脸，则判为该人已离开摄像头拍摄范围，此时输出人脸图像，丢失检测帧数阈值设为75帧。 

本发明不局限于上述最佳实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是具有与本申请相同或相近似的技术方案，均落在本发明的保护范围之内。 

Claims (7)

1.一种实时人脸检测与过滤方法，其特征在于，包括以下步骤：

（1） 前景检测：提取当前帧的前景区域，并二值化前景区域图像，然后去除碎片区域，填充空洞区域；

（2） 确定人脸检测区域：将二值化后的前景区域分别向水平方向和垂直方向进行直方图投影，进一步去除前景图像左右两边及上下两边噪声的干扰；

（3）人脸检测：利用级联分类器算法进行人脸检测，若检测到人脸，并提取人脸图像信息I：人脸的位置P、大小S、人脸数据Data、检测到的次数nDetect、连续丢失检测的次数nLost和人脸的清晰度Q，并对人脸图像进行清晰度评价，然后执行步骤（4）；若未检测到人脸，则直接执行步骤（5）；

（4）更新人脸图像信息链表：若人脸图像信息链表为空值，则将人脸图像信息I加入人脸图像信息链表；若人脸图像信息链表存在N个人脸图像                                               ，则按以下步骤更新人脸图像信息列表：a）运用面积重叠法将I的人脸位置与人脸图像信息链表中人脸图像的人脸位置进行比较，若人脸图像信息链表中存在人脸图像与I的人脸图像为同一个人的人脸，则将人脸图像信息链表中的的人脸位置更新为I的人脸位置，同时将检测到的次数加1，将连续丢失检测的次数设置为0；若人脸图像信息I是新的一个人的人脸，将I加入人脸图像信息链表，然后执行步骤（5）；b）比较人脸图像I和的清晰度，若I的清晰度大于的清晰度，则更新的人脸图像数据为I的人脸图像数据；反之，不更新人脸图像数据；以及

（5）输出人脸图像：遍历人脸图像信息链表，若人脸图像的信息在步骤（4）中未发生更新，则将连续丢失检测的次数加1，若满足：

    ，则将输出，并从人脸图像信息链表中删除；

其中，，分别为设定的检测到同一个人的人脸次数和连续丢失检测帧数的阈值。

2.根据权利要求1所述的一种实时人脸检测与过滤方法，其特征在于：步骤1）中，所述的前景检测的方法为帧间差分法，具体公式如下：

其中，为前景图像，为像素点坐标，为当前帧，为前一帧，为二值化阈值，F 为二值化前景图像的像素值；

若当前图像坐标上的像素值与上一帧图像中上的像素值的差异大于某一阈值时，则当前像素被认为是前景，否则为背景。

3.根据权利要求2所述的一种实时人脸检测与过滤方法，其特征在于：所述二值化阈值采用大律法（OSTU）自动选取。

4.根据权利要求2所述的一种实时人脸检测与过滤方法，其特征在于：所述二值化阈值采用人为设定的值。

5.根据权利要求3或4所述的一种实时人脸检测与过滤方法，其特征在于：步骤（1）中，所述去除碎片区域的方法是形态学方法。

6.根据权利要求3或4所述的一种实时人脸检测与过滤方法，其特征在于：步骤2）中，所述将二值化后的前景区域分别向水平方向和垂直方向进行直方图投影，其具体运算公式如下：

             

其中，，分别为水平方向和垂直方向的直方图，分别为人脸图像的宽和高，为二值化前景图像的像素值 ；

设检测区域左上角的坐标为 ，右下角的坐标为 ，则检测区域各坐标可表示为：

    

其中，T为投影阈值。

7.根据权利要求3或4所述的一种实时人脸检测与过滤的方法，其特征在于：步骤（3）中，对人脸图像进行清晰度评价的具体方法如下：

第一步，利用Sobel算子计算人脸图像的梯度幅值；

                

其中，和分别代表水平方向和垂直方向的Sobel算子；分别用 和 对图像进行卷积计算，得到水平方向和垂直方向的梯度图 、，那么梯度幅值为：

第二步，计算人脸图像的梯度方差：

                

其中，为梯度幅值图像的平均梯度值，梯度方差越大，说明图像越锐化。