CN105184244A - 视频人脸检测方法及装置 - Google Patents

Abstract

本发明提供了一种视频人脸检测方法及装置，其中方法包括人脸检测流程；所述人脸检测流程包括步骤，S1)输入视频图像帧，将图像帧作为原始图像；S3)采用haar或lbp特征使用adaboost分类器检测原始图像，得到人脸位置预序列；S4)将人脸位置预序列输入SVM分类器进行检测，得到人脸位置终序列。本发明将adaboost和SVM两种分类器有机结合应用于视频人脸检测，由此adaboost分类器的层级可较单独使用大幅减少，进而有效提升视频人脸检测的速度，进一步在adaboost的检测结果上使用SVM分类器进行二次分类从而确保快速检测的检测效果。

Description

视频人脸检测方法及装置

技术领域

本发明涉及一种视频图像处理方法，尤其是指一种视频人脸检测方法及装置。

背景技术

在实时视频监控装置中，对于不同角度的人脸图像存在实时检测采集，而后上传于服务器数据库存储关键信息进而进行犯罪嫌疑人人脸识别的应用需求。

然而传统的人脸检测多采用haar/lbp特征加adaboost分类器的方法从而实现摄像机等嵌入式设备上进行实时的人脸检测。上述adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器，然后把这些弱分类器集合起来，构成一个更强的最终分类器。使用adaboost分类器可以排除一些不必要的训练数据特征，并放在关键的训练数据上面。

但此种算法存在训练慢、检测慢等问题，其中检测慢在于需使用adaboost分类器的层级多，若减少使用adaboost分类器的层级或者使用SVM分类器(SVM-SupportVectorMachine，即支持向量机，是一个有监督的学习模型，通常用来进行模式识别、分类、以及回归分析)，虽可提高速度但经对同检测样本集的测试不难验证如此方法会导致最终应用中人脸检测效果变差的问题。

发明内容

本发明所要解决的技术问题是：提供一种可有效提高人脸检测速度的视频人脸检测方法及装置。

为了解决上述技术问题，本发明采用的技术方案为：一种视频人脸检测方法，包括人脸检测流程；所述人脸检测流程包括步骤，

S1)输入视频图像帧，将图像帧作为原始图像；

S3)采用haar或lbp特征使用adaboost分类器检测原始图像，得到人脸位置预序列；

S4)将人脸位置预序列输入SVM分类器进行检测，得到人脸位置终序列。

上述中，还包括分类器训练流程；所述分类器训练流程包括，采用灰度、颜色、边缘信息中的一个或者多个作为特征训练SVM分类器。

上述中，在人脸检测流程S1与S3之间还包括S2)输入加速处理；所述输入加速处理包括步骤，

S21)遍历判断原始图像的每个像素在YCbCr色彩空间下的颜色是否同时满足Cb∈[80,135]且Cr∈[136,177]，得到第一二值掩码图像；

S22)对原始图像进行图像边缘检测得到边缘图像；

S23)对边缘图像根据设定阈值进行二值化处理，得到第二二值掩码图像；

S24)对第二二值掩码图像进行腐蚀、膨胀图像处理，得到第三二值掩码图像；

S25)取第一二值掩码图像与第三二值掩码图像的交集，得到原始图像的区域二值掩码图像；

所述步骤S3具体包括步骤，

S31)采用滑动子窗口遍历原始图像；

S32)将当前滑动子窗口相对应的区域二值掩码图像中区域的值进行累加；

S33)判断累加值是否满足预设阈值，对满足阈值的执行步骤S34；

S34)对当前滑动子窗口进行adaboost分类检测，遍历结束后得到人脸位置预序列。

上述中，所述步骤S22中，使用sobel算子核 $\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$ 对原始图像进行图像边缘检测。

上述中，所述输入加速流程的步骤S24中的腐蚀、膨胀图像处理中的膨胀次数大于腐蚀次数。

一种视频人脸检测装置，包括人脸检测单元；所述人脸检测单元包括，

获取模块，用于输入视频图像帧，将图像帧作为原始图像而后转到adaboost检测模块；

adaboost检测模块，用于采用haar或lbp特征使用adaboost分类器检测原始图像，得到人脸位置预序列而后转到SVM检测模块；

SVM检测模块，用于将人脸位置预序列输入SVM分类器进行检测，得到人脸位置终序列。

上述中，还包括分类器训练单元；所述分类器训练单元包括SVM训练模块，用于采用灰度、颜色、边缘信息中的一个或者多个作为特征训练SVM分类器。

上述中，所述获取模块通过输入加速处理模块转到adaboost检测模块；所述输入加速处理模块包括，

颜色判别子模块，用于遍历判断原始图像的每个像素在YCbCr色彩空间下的颜色是否同时满足Cb∈[80,135]且Cr∈[136,177]，得到第一二值掩码图像而后转到边缘检测子模块；

边缘检测子模块，用于对原始图像进行图像边缘检测得到边缘图像而后转到二值处理子模块；

二值处理子模块，用于对边缘图像根据设定阈值进行二值化处理，得到第二二值掩码图像而后转到图像处理子模块；

图像处理子模块，用于对第二二值掩码图像进行腐蚀、膨胀图像处理，得到第三二值掩码图像而后转到交集子模块；

交集子模块，用于取第一二值掩码图像与第三二值掩码图像的交集，得到原始图像的区域二值掩码图像；

所述adaboost检测模块具体包括，

遍历子模块，采用滑动子窗口遍历原始图像而后转到累加子模块；

累加子模块，用于将当前滑动子窗口相对应的区域二值掩码图像中区域的值进行累加而后转到判断子模块；

判断子模块，用于判断累加值是否满足预设阈值，对满足阈值的转到检测子模块；

检测子模块，用于对当前滑动子窗口进行adaboost分类检测，遍历结束后得到人脸位置预序列。

上述中，所述边缘检测子模块，用于使用sobel算子核 $\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$ 对原始图像进行图像边缘检测。

上述中，所述加速处理模块的图像处理子模块中的腐蚀、膨胀图像处理中的膨胀次数大于腐蚀次数。

本发明的有益效果在于：将adaboost和SVM两种分类器有机结合应用于视频人脸检测，由此adaboost分类器的层级可较单独使用大幅减少，进而有效提升视频人脸检测的速度，而检测效果则进一步在adaboost的检测结果上使用SVM分类器进行二次分类，实现了在不影响检测效果的基础上大幅加速视频人脸检测。

附图说明

下面结合附图详述本发明的具体结构

图1为本发明的人脸检测流程的流程图；

图2为本发明的输入加速处理步骤的流程图；

图3为本发明的人脸检测流程的实施例流程图。

具体实施方式

为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。

请参阅图1，一种视频人脸检测方法，包括人脸检测流程；所述人脸检测流程包括步骤：

S1)输入视频图像帧，将图像帧作为原始图像；

S3)采用haar或lbp特征使用adaboost分类器检测原始图像，得到人脸位置预序列；

本步骤对原始图像的检测采用的是人脸识别常用的adaboost分类检测器，adaboost分类检测器的算法在进行检测时会使用到的一个滑动子窗口，其是一个可以根据设置层数逐层等比放大，并且可以自由滑动的矩形窗口。而本步骤中人脸位置预序列，通常是通过矩形区域在原始图像上的坐标表示人脸位置，例如人脸位置预序列为facelist1时：

facelist1_i{rectwidth_i,rectheight_i,sx_i,ex_i,sy_i,ey_i}，

式中i为自然数，rectwidth_i为第i个矩形窗口的宽，rectheight_i为第i个矩形窗口的高，sx_i,ex_i,sy_i,ey_i为第i个矩形窗口四个顶点的坐标值。

S4)将人脸位置预序列输入SVM分类器进行检测，得到人脸位置终序列。

区别于寻常仅采用adaboost分类检测器判别人脸，本发明方法进一步结合将人脸位置预序列作为输入使用SVM分类器再次进行检测，由此可有效滤除错误人脸，从而输出二次检测分类正确的人脸位置终序列。该人脸位置终序列facelist2的长度通常小于，最多等于人脸位置预序列为facelist1。

从上述描述可知，本发明的有益效果在于：将adaboost和SVM两种分类器有机结合应用于视频人脸检测，从而是的人脸识别效果更为优秀。此外，由于采用两级分类检测，因此实际应用中允许adaboost分类器的层级较单独使用大幅减少，由此可有效提升视频人脸检测的速度，而在检测速度提升的同时，由于后续在adaboost的检测结果上使用SVM分类器进行二次分类，可在不影响检测效果的基础上大幅加速视频人脸检测。

实施例1：

上述中，还包括分类器训练流程；所述分类器训练流程包括：对adaboost分类器及SVM分类器进行训练；其中，SVM分类器的训练采用与其他环境用的计算一致的特征即可。而adaboost分类器训练过程中，其层级数目由于后续SVM分类器的采用，可减少至单独使用时层级数目的1/2～2/3。由此，adaboost分类器的层级减少可有效提升视频人脸检测的速度，从而提升检测速度，而由于后续在adaboost的检测结果上使用SVM分类器进行二次分类，又可确保加速情况下不影响检测效果。

实施例2：

进一步的，上述分类器训练流程中，SVM分类器的训练采用的与其他环境用的计算一致的特征看包括(1)灰度、(2)颜色、(3)边缘信息中的一个或者多个作为训练特征。

实施例3：

如图2，上述视频人脸检测方法中的人脸检测流程S1与S3之间还包括S2)输入加速处理；所述输入加速处理包括步骤：

S21)遍历判断原始图像的每个像素在YCbCr色彩空间下的颜色是否同时满足Cb∈[80,135]且Cr∈[136,177]，得到第一二值掩码图像MASK1；

本步骤实则是对像素在YCbCr色彩空间下的颜色的一个判断，而Cb∈[80,135]且Cr∈[136,177]则是结合大量实验后确定最优的，符合人体肤色情况的YCbCr色彩空间下的Cb、Cr色度。当然，这里CbCr的阈值由于是根据肤色经验值而定，因此会受成像设备的影响，必要时根据实际情况进行调整。

S22)对原始图像进行图像边缘检测得到边缘图像SOBEL1；

S23)对边缘图像SOBEL1根据设定阈值进行二值化处理，得到第二二值掩码图像SOBEL2；

S24)对第二二值掩码图像SOBEL2进行腐蚀、膨胀图像处理，得到第三二值掩码图像MASK2；

S25)取第一二值掩码图像MASK1与第三二值掩码图像MASK2的交集，得到原始图像的区域二值掩码图像MASK3；

对应的，如图3所示，人脸检测流程中的步骤S3具体包括步骤，

S31)采用滑动子窗口遍历原始图像；

S32)将当前滑动子窗口相对应的区域二值掩码图像MASK3中区域的值进行累加；

S33)判断累加值是否满足预设阈值，对满足阈值的执行步骤S34；

S34)对当前滑动子窗口进行adaboost分类检测，遍历结束后得到人脸位置预序列。

通过在人脸检测流程中加入本例的输入加速处理，可在执行adaboost分类检测前对待分类检测的原始图像该区域不包含人脸信息的情况快速进行识别剔除，进而大幅提高人脸识别的效率。

实施例4：

上述中，所述步骤S22中，使用sobel算子核 $\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$ 对原始图像进行图像边缘检测。

实施例5：

上述中，所述输入加速流程的步骤S24中的腐蚀、膨胀图像处理中的膨胀次数大于腐蚀次数。

需要说明的是，形态学图像处理是在图像中移动一个结构元素，然后将结构元素与下面的二值图像进行交、并等集合运算。而腐蚀、膨胀图像处理分为两种，一种是先腐蚀后膨胀的过程，又称为开运算。它具有消除细小物体，在纤细处分离物体和平滑较大物体边界的作用。另一种则是先膨胀后腐蚀的过程，又称为闭运算。它具有填充物体内细小空洞，连接邻近物体和平滑边界的作用。

此处对第二二值掩码图像SOBEL2腐蚀、膨胀图像处理且膨胀次数大于腐蚀次数可确保原始图像对应的边缘图像对应的二值掩码图像的边缘更清晰连贯，便于后续加速识别之用。

本发明还涉及一种视频人脸检测装置，包括人脸检测单元；所述人脸检测单元包括：

获取模块，用于输入视频图像帧，将图像帧作为原始图像而后转到adaboost检测模块；

adaboost检测模块，用于采用haar或lbp特征使用adaboost分类器检测原始图像，得到人脸位置预序列而后转到SVM检测模块；

本adaboost检测模块对原始图像的检测采用的是人脸识别常用的adaboost分类检测器，adaboost分类检测器的算法在进行检测时会使用到的一个滑动子窗口，其是一个可以根据设置层数逐层等比放大，并且可以自由滑动的矩形窗口。而本步骤中人脸位置预序列，通常是通过矩形区域在原始图像上的坐标表示人脸位置，例如人脸位置预序列为facelist1时：

facelist1_i{rectwidth_i，rectheight_i，sx_i，ex_i，sy_i，ey_i}，

式中i为自然数，rectwidth_i为第i个矩形窗口的宽，rectheight_i为第i个矩形窗口的高，sx_i,ex_i,sy_i,ey_i为第i个矩形窗口四个顶点的坐标值。

SVM检测模块，用于将人脸位置预序列输入SVM分类器进行检测，得到人脸位置终序列。

区别于寻常仅采用adaboost检测模块判别人脸，本发明方法进一步结合将人脸位置预序列作为输入使用SVM检测模块再次进行检测，由此可有效滤除错误人脸，从而输出二次检测分类正确的人脸位置终序列。该人脸位置终序列facelist2的长度通常小于，最多等于人脸位置预序列为facelist1。

从上述描述可知，本发明的有益效果在于：将adaboost和SVM两种检测模块有机结合应用于视频人脸检测，从而是的人脸识别效果更为优秀。此外，由于采用两级分类检测，因此实际应用中允许adaboost检测模块的层级较单独使用大幅减少，由此可有效提升视频人脸检测的速度，而在检测速度提升的同时，由于后续在adaboost的检测结果上使用SVM检测模块进行二次分类，可在不影响检测效果的基础上大幅加速视频人脸检测。

实施例1：

上述中，还包括分类器训练单元；所述分类器训练单元包括SVM训练模块，用于采用灰度、颜色、边缘信息中的一个或者多个作为特征训练SVM分类器。

实施例2：

上述中，所述获取模块通过输入加速处理模块转到adaboost检测模块；所述输入加速处理模块包括，

颜色判别子模块，用于遍历判断原始图像的每个像素在YCbCr色彩空间下的颜色是否同时满足Cb∈[80,135]且Cr∈[136,177]，得到第一二值掩码图像而后转到边缘检测子模块；

本模块实则是用于对像素在YCbCr色彩空间下的颜色的一个判断，而Cb∈[80,135]且Cr∈[136,177]则是结合大量实验后确定最优的，符合人体肤色情况的YCbCr色彩空间下的Cb、Cr色度。

边缘检测子模块，用于对原始图像进行图像边缘检测得到边缘图像而后转到二值处理子模块；

二值处理子模块，用于对边缘图像根据设定阈值进行二值化处理，得到第二二值掩码图像而后转到图像处理子模块；

图像处理子模块，用于对第二二值掩码图像进行腐蚀、膨胀图像处理，得到第三二值掩码图像而后转到交集子模块；

交集子模块，用于取第一二值掩码图像与第三二值掩码图像的交集，得到原始图像的区域二值掩码图像；

所述adaboost检测模块具体包括，

遍历子模块，采用滑动子窗口遍历原始图像而后转到累加子模块；

累加子模块，用于将当前滑动子窗口相对应的区域二值掩码图像中区域的值进行累加而后转到判断子模块；

判断子模块，用于判断累加值是否满足预设阈值，对满足阈值的转到检测子模块；

检测子模块，用于对当前滑动子窗口进行adaboost分类检测，遍历结束后得到人脸位置预序列。

通过在人脸检测单元中加入本例的输入加速模块，可在执行adaboost分类检测前对待分类检测的原始图像该区域不包含人脸信息的情况快速进行识别剔除，进而大幅提高人脸识别的效率。

实施例3：

上述中，所述边缘检测子模块，用于使用sobel算子核 $\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$ 对原始图像进行图像边缘检测。

实施例4：

上述中，所述加速处理模块的图像处理子模块中的腐蚀、膨胀图像处理中的膨胀次数大于腐蚀次数。

需要说明的是，形态学图像处理是在图像中移动一个结构元素，然后将结构元素与下面的二值图像进行交、并等集合运算。而腐蚀、膨胀图像处理分为两种，一种是先腐蚀后膨胀的过程，又称为开运算。它具有消除细小物体，在纤细处分离物体和平滑较大物体边界的作用。另一种则是先膨胀后腐蚀的过程，又称为闭运算。它具有填充物体内细小空洞，连接邻近物体和平滑边界的作用。

此处对第二二值掩码图像SOBEL2腐蚀、膨胀图像处理且膨胀次数大于腐蚀次数可确保原始图像对应的边缘图像对应的二值掩码图像的边缘更清晰连贯，便于后续加速识别之用。

最后，需要说明的是，上述各流程中步骤的S1、S2、S3...S21、S31...等只代表其步骤之间的区分，不代表步骤的先后顺序有什么不同。特别是诸如输入加速处理中的步骤S21、S22就属于显然可互换顺序的步骤，因此以上所述仅为本发明的实施例，并非就此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效步骤、流程及方案变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种视频人脸检测方法，其特征在于：包括人脸检测流程；

所述人脸检测流程包括步骤，

S1)输入视频图像帧，将图像帧作为原始图像；

S3)采用haar或lbp特征使用adaboost分类器检测原始图像，得到人脸位置预序列；

S4)将人脸位置预序列输入SVM分类器进行检测，得到人脸位置终序列。

2.如权利要求1所述的视频人脸检测方法，其特征在于：还包括分类器训练流程；所述分类器训练流程包括，采用灰度、颜色、边缘信息中的一个或者多个作为特征训练SVM分类器。

3.如权利要求1所述的视频人脸检测方法，其特征在于：在人脸检测流程S1与S3之间还包括S2)输入加速处理；所述输入加速处理包括步骤，

S21)遍历判断原始图像的每个像素在YCbCr色彩空间下的颜色是否同时满足Cb∈[80,135]且Cr∈[136,177]，得到第一二值掩码图像；

S22)对原始图像进行图像边缘检测得到边缘图像；

S23)对边缘图像根据设定阈值进行二值化处理，得到第二二值掩码图像；

S24)对第二二值掩码图像进行腐蚀、膨胀图像处理，得到第三二值掩码图像；

S25)取第一二值掩码图像与第三二值掩码图像的交集，得到原始图像的区域二值掩码图像；

所述步骤S3具体包括步骤，

S31)采用滑动子窗口遍历原始图像；

S32)将当前滑动子窗口相对应的区域二值掩码图像中区域的值进行累加；

S33)判断累加值是否满足预设阈值，对满足阈值的执行步骤S34；

S34)对当前滑动子窗口进行adaboost分类检测，遍历结束后得到人脸位置预序列。

4.如权利要求3所述的视频人脸检测方法，其特征在于：所述步骤S22中，使用sobel算子核 $\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$ 对原始图像进行图像边缘检测。

5.如权利要求3所述的视频人脸检测方法，其特征在于：所述输入加速流程的步骤S24中的腐蚀、膨胀图像处理中的膨胀次数大于腐蚀次数。

6.一种视频人脸检测装置，其特征在于：包括人脸检测单元；所述人脸检测单元包括，

获取模块，用于输入视频图像帧，将图像帧作为原始图像而后转到adaboost检测模块；

adaboost检测模块，用于采用haar或lbp特征使用adaboost分类器检测原始图像，得到人脸位置预序列而后转到SVM检测模块；

SVM检测模块，用于将人脸位置预序列输入SVM分类器进行检测，得到人脸位置终序列。

7.如权利要求6所述的视频人脸检测装置，其特征在于：还包括分类器训练单元；所述分类器训练单元包括SVM训练模块，用于采用灰度、颜色、边缘信息中的一个或者多个作为特征训练SVM分类器。

8.如权利要求6所述的视频人脸检测装置，其特征在于：所述获取模块通过输入加速处理模块转到adaboost检测模块；所述输入加速处理模块包括，

颜色判别子模块，用于遍历判断原始图像的每个像素在YCbCr色彩空间下的颜色是否同时满足Cb∈[80,135]且Cr∈[136,177]，得到第一二值掩码图像而后转到边缘检测子模块；

边缘检测子模块，用于对原始图像进行图像边缘检测得到边缘图像而后转到二值处理子模块；

二值处理子模块，用于对边缘图像根据设定阈值进行二值化处理，得到第二二值掩码图像而后转到图像处理子模块；

图像处理子模块，用于对第二二值掩码图像进行腐蚀、膨胀图像处理，得到第三二值掩码图像而后转到交集子模块；

交集子模块，用于取第一二值掩码图像与第三二值掩码图像的交集，得到原始图像的区域二值掩码图像；

所述adaboost检测模块具体包括，

遍历子模块，采用滑动子窗口遍历原始图像而后转到累加子模块；

累加子模块，用于将当前滑动子窗口相对应的区域二值掩码图像中区域的值进行累加而后转到判断子模块；

判断子模块，用于判断累加值是否满足预设阈值，对满足阈值的转到检测子模块；

检测子模块，用于对当前滑动子窗口进行adaboost分类检测，遍历结束后得到人脸位置预序列。

9.如权利要求8所述的视频人脸检测装置，其特征在于：所述边缘检测子模块，用于使用sobel算子核 $\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$ 对原始图像进行图像边缘检测。

10.如权利要求8所述的视频人脸检测装置，其特征在于：所述加速处理模块的图像处理子模块中的腐蚀、膨胀图像处理中的膨胀次数大于腐蚀次数。