CN105046245A - 视频人脸检测评价方法 - Google Patents

Abstract

本发明提供了一种视频人脸检测评价方法，对输入视频进行评估对象选取后，进行综合了人脸进行大小、清晰度、正脸可能性的最优人脸评估，进而选取最优人脸。本发明的有益效果在于：通过对连续视频所有画面选取评估对象后，进一步对评估对象的人脸进行大小、清晰度、正脸可能性的综合判断，从而可在跟踪人脸的基础上对同一人脸的不同时刻快照进行评估输出该人脸的最优时刻快照作为输出快照以便使用、保留。解决了以往视频人脸识别会产生大量重复人脸快照而导致后端服务器的存储及计算工作量大的问题。同时解决了实时检测人脸进行采集存在重复及效果差的问题，并有效提高人脸快照的使用价值。

Description

视频人脸检测评价方法

技术领域

本发明涉及一种视频图像处理方法，尤其是指一种视频人脸检测评价方法。

背景技术

在实时视频监控系统中，对于不同角度的人脸图像存在实时检测采集，而后上传于服务器数据库存储关键信息进而进行犯罪嫌疑人人脸识别的应用需求。

然而传统的人脸检测由于通常是实时进行检测的，因此在检测过程中会产生大量重复的同一对象的不同人脸快照，这就造成在联系时间段T内可能在画面中检测出若干张同一对象的人脸，全部保存快照增加传输存储，不利于识别和使用查看，因此需要解决此类实时人脸检测采集的重复及效果差问题。

发明内容

本发明所要解决的技术问题是：提供一种可有效减少后端设备存储及计算工作、提高人脸快照使用价值的视频人脸检测评价方法。

为了解决上述技术问题，本发明采用的技术方案为：一种视频人脸检测评价方法，对输入视频进行评估对象选取后进行最优人脸评估选取最优人脸；

所述评估对象选取包括步骤，

S51)对视频连续图像帧中每帧图像检测得到的人脸位置终序列结果进行匹配跟踪，得到对象组跟踪序列；所述对象组跟踪序列中包含至少一个对象在连续图像帧中的人脸位置信息；

S52)将对象组跟踪序列中每个对象的人脸位置分别提取得到对应的对象人脸跟踪序列；

所述最优人脸评估包括对每个对象人脸跟踪序列分别进行正脸可能性评估、清晰度评估、人脸大小评估后经加权计算得到对象人脸跟踪序列的最终系数序列，选取最终序列的最大为对象人脸跟踪序列中的最优人脸；

所述正脸可能性评估包括步骤，

S611)根据对象人脸跟踪序列中的人脸位置信息获取其所在图像帧的肤色检测二值掩码图像上对应区域；

S612)根据肤色检测二值掩码图像上对应区域计算得到人脸面积比重序列；

所述清晰度评估包括步骤，

S621)输入对象人脸跟踪序列中每帧图像作为原始图像，对原始图像进行平滑获得平滑图像；

S622)对平滑图像计算边缘获得边缘图像；

S623)对边缘图像根据预设阈值进行二值化得到第四二值掩码图像；

S624)计算第四二值掩码图像与原始图像的边缘二值掩码图像的差值，得到差值二值掩码图像；

S625)根据对象人脸跟踪序列中每帧图像的人脸位置信息获取差值二值掩码图像上对应区域；

S626)根据差值二值掩码图像上对应区域计算得到清晰度值序列；

所述人脸大小评估包括计算人脸位置跟踪序列对应区域的大小得到大小序列的步骤；

所述加权计算包括根据检测人脸面积比重值序列、清晰度值序列及大小序列结合权重系数计算获得评估序列的步骤。

上述中，所述图像帧的肤色检测二值掩码图像通过遍历判断图像帧中每个像素在YCbCr色彩空间下的颜色是否同时满足Cb∈[80,135]且Cr∈[136,177]得到。

上述中，所述正脸可能性评估中，步骤S612的人脸面积比重序列通过肤色检测二值掩码图像上对应人脸位置信息的区域内累加值除于区域长、宽计算得到。

上述中，所述清晰度评估中，步骤S626的清晰度值序列通过差值二值掩码图像上对应人脸位置信息的区域内累加值除于区域长、宽计算得到。

上述中，所述人脸大小评估中的大小序列通过当前人脸位置信息的面积除于人脸位置终序列中人脸位置信息的最大面积计算得到。

上述中，所述评估对象选取中的人脸位置终序列通过以人脸检测流程得到；所述人脸检测流程包括步骤，

S1)输入视频图像帧，将图像帧作为原始图像；

S3)采用haar或lbp特征使用adaboost分类器检测原始图像，得到人脸位置预序列；

S4)将人脸位置预序列输入SVM分类器进行检测，得到人脸位置终序列。

上述中，在人脸检测流程S1与S3之间还包括S2)输入加速处理；所述输入加速处理包括步骤，

S21)遍历判断原始图像的每个像素在YCbCr色彩空间下的颜色是否同时满足Cb∈[80,135]且Cr∈[136,177]，得到肤色检测二值掩码图像；

S22)对原始图像进行图像边缘检测得到边缘图像；

S23)对边缘图像根据设定阈值进行二值化处理，得到边缘二值掩码图像；

S24)对边缘二值掩码图像进行腐蚀、膨胀图像处理，得到第三二值掩码图像；

S25)取肤色检测二值掩码图像与第三二值掩码图像的交集，得到原始图像的区域二值掩码图像；

所述步骤S3具体包括步骤，

S31)采用滑动子窗口遍历原始图像；

S32)将当前滑动子窗口相对应的区域二值掩码图像中区域的值进行累加；

S33)判断累加值是否满足预设阈值，对满足阈值的执行步骤S34；

S34)对当前滑动子窗口进行adaboost分类检测，遍历结束后得到人脸位置预序列。

本发明的有益效果在于：通过对连续视频所有画面选取评估对象后，进一步对评估对象的人脸进行大小、清晰度、正脸可能性的综合判断，从而可在跟踪人脸的基础上对同一人脸的不同时刻快照进行评估输出该人脸的最优时刻快照作为输出快照以便使用、保留。解决了以往视频人脸识别会产生大量重复人脸快照而导致后端服务器的存储及计算工作量大的问题。同时解决了实时检测人脸进行采集存在重复及效果差的问题，并有效提高人脸快照的使用价值。

附图说明

下面结合附图详述本发明的具体结构

图1为本发明的人脸检测评价流程图；

图2为本发明的人脸检测流程的流程图；

图3为本发明的输入加速流程的流程图；

图4为本发明的人脸检测流程的实施例流程图。

具体实施方式

为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。

请参阅图1，一种视频人脸检测评价方法，对输入视频进行评估对象选取后进行最优人脸评估选取最优人脸。

上述的评估对象选取包括步骤：

S51)对视频连续图像帧中每帧图像检测得到的人脸位置终序列结果进行匹配跟踪，得到对象组跟踪序列；所述对象组跟踪序列中包含至少一个对象在连续图像帧中的人脸位置信息；

本步骤中的人脸位置终序列，是对视频连续图像帧中每帧图像前处理人脸识别得到的。其人脸位置终序列通常为对应图像帧中检测到可能包含人脸的多个矩形区域各端点、长宽的序列。而对象组跟踪序列则是通过匹配跟踪方法对视频的整个连续图像帧中每帧图像的人脸位置终序列中属于不同对象的人脸位置信息按对象分类后构成的对象组跟踪序列。

S52)将对象组跟踪序列中每个对象的人脸位置分别提取得到对应的对象人脸跟踪序列。

本步骤进一步将包含不同对象的对象组跟踪序列按对象分离形成单独的对象人脸跟踪序列，以便后续对每个对象最优人脸进行评估。

进一步的，上述的最优人脸评估包括对每个对象人脸跟踪序列分别进行正 脸可能性评估、清晰度评估、人脸大小评估后经加权计算得到对象人脸跟踪序列的最终系数序列，选取最终序列的最大为对象人脸跟踪序列中的最优人脸。其中：

所述正脸可能性评估包括步骤，

S611)根据对象人脸跟踪序列中的人脸位置信息获取其所在图像帧的肤色检测二值掩码图像上对应区域；

S612)根据肤色检测二值掩码图像上对应区域计算得到人脸面积比重序列；

所述清晰度评估包括步骤，

S621)输入对象人脸跟踪序列中每帧图像作为原始图像，对原始图像进行平滑获得平滑图像；

S622)对平滑图像计算边缘获得边缘图像；

S623)对边缘图像根据预设阈值进行二值化得到第四二值掩码图像；

S624)计算第四二值掩码图像与原始图像的边缘二值掩码图像的差值，得到差值二值掩码图像；

S625)根据对象人脸跟踪序列中每帧图像的人脸位置信息获取差值二值掩码图像上对应区域；

S626)根据差值二值掩码图像上对应区域计算得到清晰度值序列；

所述人脸大小评估包括计算人脸位置跟踪序列对应区域的大小得到大小序列的步骤；

所述加权计算包括根据检测人脸面积比重值序列、清晰度值序列及大小序列结合权重系数计算获得评估序列的步骤。

本发明的有益效果在于：通过对连续视频所有画面选取评估对象后，进一步对评估对象的人脸进行大小、清晰度、正脸可能性的综合判断，从而可在跟踪人脸的基础上对同一人脸的不同时刻快照进行评估输出该人脸的最优时刻快照作为输出快照以便使用、保留。解决了以往视频人脸识别会产生大量重复人脸快照而导致后端服务器的存储及计算工作量大的问题。同时解决了实时检测人脸进行采集存在重复及效果差的问题，并有效提高人脸快照的使用价值。

具体示例：

S5)视频评估对象选取

对于每帧图像的检测结果facelist2作为输入，在视频中连续图像帧上进行匹配跟踪，跟踪方法可以使用运动速度方向匹配结合Meanshift或CT等跟踪方法进行跟踪，获得对象组跟踪序列{Tracklist_k}(k为自然数)，对任意i∈k(即k种对象的任意一个)Tracklist_i为一组检测对象人脸跟踪序列为{trackfacelist_t}(0<t<＝T)，由此，后续用于评估的则为每个跟踪的人(即对象)在人脸序列中对应选取最优人脸。

S6)对象评估

评估方法用来评价最优人脸的条件，包括人脸大小、清晰度、正脸的可能性。对这三条采用权重的方式。

正脸的可能性

对于一组检测人脸位置序列的其中一个对象人脸跟踪序列trackfacelist_t的位置点信息获得肤色检测二值掩码图像MASK1上对应的值获得占检测人脸面积的比重值序列计算得到{complexionlist_t}(0＜t＜＝T)

清晰度

先对原始图像(即对象人脸跟踪序列对应的图像)进行GASSIAN平滑获得平滑图像GASSIAN1，在其上计算sobel边缘图像获得边缘图像GSOBEL1，对其进行阈值二值化获得二值掩码图像GSOBEL2，计算GSOBEL2和SOBEL2的差值二值图像SMASK1。

对于一组检测人脸位置序列的其中一个对象人脸跟踪序列trackfacelist_t的位置点信息获得差值二值图像SMASK1上trackfacelist_t对应人脸区域计算获得对应的清晰度值序列{definition_t}(0＜t＜＝T)

人脸大小

对于对象人脸跟踪序列trackfacelist_t对应的人脸序列有对应计算可得归一化后的大小序列{area_t}(0＜t＜＝T)

加权计算

对于以上评价值有经验权重系数α、β、γ计算获得trackfacelist_t对应的最终系数{score_t}；计算公式为

score_t＝α×complexionlist_t+β×definition_t+γ×area_t

选取score_t最大为跟踪序列中的最优人脸。此处，score_t内包含的为数值数据，该最终结果的数值数据是个浮点数，因此只需选出数值最大的对应的图像即为最优人脸。

实施例1：

所述图像帧的肤色检测二值掩码图像通过遍历判断图像帧中每个像素在YCbCr色彩空间下的颜色是否同时满足Cb∈[80,135]且Cr∈[136,177]得到。

本实施例实则是对像素在YCbCr色彩空间下的颜色的一个判断，而Cb∈[80,135]且Cr∈[136,177]则是结合大量实验后确定最优的，符合人体肤色情况的YCbCr色彩空间下的Cb、Cr色度。

实施例2：

在上述正脸可能性评估中，步骤S612的人脸面积比重序列通过肤色检测二值掩码图像上对应人脸位置信息的区域内累加值除于区域长、宽计算得到。

设人脸面积比重序列为{complexionlist_t}(0＜t＜＝T)，T为视频总时长，t代表视频时长中任意时间点；则其计算公式为

${\mathrm{complexionlist}}_t=\left({\mathrm{\&Sigma;}}_{i>{\mathrm{sx}}_t}^{i\&le;{\mathrm{ex}}_t}{\mathrm{\&Sigma;}}_{j>{\mathrm{sy}}_t}^{j\&le;{\mathrm{ey}}_t}MASK{1}_{ij}\right)/({\mathrm{rectwidth}}_t,{\mathrm{rectheight}}_t)$

式中，MASK1为肤色检测二值掩码图像，sx_t,ex_t,sy_t,ey_t为t时间点人脸位置信息的区域的矩形窗口四个顶点的坐标值，rectwidth_t为t时间点人脸位置信息的区域的矩形窗口的宽，rectheight_t为t时间点人脸位置信息的区域的矩形窗口的高。

实施例3：

在上述清晰度评估中，步骤S626的清晰度值序列通过差值二值掩码图像上对应人脸位置信息的区域内累加值除于区域长、宽计算得到。

设清晰度值序列为{definition_t}(0＜t＜＝T)，T为视频总时长，t代表视频时长中任意时间点；则其计算公式为

式中，SMASK1为差值二值掩码图像，sx_t,ex_t,sy_t,ey_t为t时间点人脸位置信息的区域的矩形窗口四个顶点的坐标值，rectwidth_t为t时间点人脸位置信息的区域的矩形窗口的宽，rectheight_t为t时间点人脸位置信息的区域的矩形窗口的高。

实施例4：

在上述人脸大小评估中的大小序列通过当前人脸位置信息的面积除于人脸位置终序列中人脸位置信息的最大面积计算得到。

设大小序列为T为视频总时长，t代表视频时长中任意时间点；则其计算公式为

area_t＝rectwidth_t×rectheight_t

areaMAX＝max{area_t}

area_t＝area_t/areaMAX

实施例5：

上述中，所述评估对象选取中的人脸位置终序列通过以人脸检测流程得到；所述人脸检测流程参见图2，包括步骤，

S1)输入视频图像帧，将图像帧作为原始图像；

S3)采用haar或lbp特征使用adaboost分类器检测原始图像，得到人脸位置预序列；

本步骤对原始图像的检测采用的是人脸识别常用的adaboost分类检测器，adaboost分类检测器的算法在进行检测时会使用到的一个滑动子窗口，其是一个可以根据设置层数逐层等比放大，并且可以自由滑动的矩形窗口。而本步骤中人脸位置预序列，通常是通过矩形区域在原始图像上的坐标表示人脸位置，例如人脸位置预序列为facelist1时：

facelist1_i{rectwidth_i,rectheight_i,sx_i,ex_i,sy_i,ey_i}，

式中i为自然数，rectwidth_i为第i个矩形窗口的宽，rectheight_i为第i个矩形窗口的高，sx_i,ex_i,sy_i,ey_i为第i个矩形窗口四个顶点的坐标值。

S4)将人脸位置预序列输入SVM分类器进行检测，得到人脸位置终序列。

区别于寻常仅采用adaboost分类检测器判别人脸，本发明方法进一步结合将人脸位置预序列作为输入使用SVM分类器再次进行检测，由此可有效滤除错误人脸，从而输出二次检测分类正确的人脸位置终序列。该人脸位置终序列facelist2的长度通常小于，最多等于人脸位置预序列为facelist1。

从上述描述可知，本发明的有益效果在于：将adaboost和SVM两种分类器有机结合应用于视频人脸检测，从而是的人脸识别效果更为优秀。此外，由于采用两级分类检测，因此实际应用中允许adaboost分类器的层级较单独使用大幅减少，由此可有效提升视频人脸检测的速度，而在检测速度提升的同时，由于后续在adaboost的检测结果上使用SVM分类器进行二次分类，可在不影响检测效果的基础上大幅加速视频人脸检测。

实施例6：

上述视频人脸检测方法中的人脸检测流程S1与S3之间还包括S2)输入加速处理；如图3所示，所述输入加速处理包括步骤：

S21)遍历判断原始图像的每个像素在YCbCr色彩空间下的颜色是否同时满足Cb∈[80,135]且Cr∈[136,177]，得到第一二值掩码图像MASK1；

本步骤实则是对像素在YCbCr色彩空间下的颜色的一个判断，而Cb∈[80,135]且Cr∈[136,177]则是结合大量实验后确定最优的，符合人体肤色情况的YCbCr色彩空间下的Cb、Cr色度。

S22)对原始图像进行图像边缘检测得到边缘图像SOBEL1；

S23)对边缘图像SOBEL1根据设定阈值进行二值化处理，得到边缘二值掩码图像SOBEL2；

S24)对边缘二值掩码图像SOBEL2进行腐蚀、膨胀图像处理，得到第三二值掩码图像MASK2；

S25)取第一二值掩码图像MASK1与第三二值掩码图像MASK2的交集，得到原始图像的区域二值掩码图像MASK3；

对应的，如图4所示，人脸检测流程中的步骤S3具体包括步骤，

S31)采用滑动子窗口遍历原始图像；

S32)将当前滑动子窗口相对应的区域二值掩码图像MASK3中区域的值进行累加；

S33)判断累加值是否满足预设阈值，对满足阈值的执行步骤S34；

S34)对当前滑动子窗口进行adaboost分类检测，遍历结束后得到人脸位置预序列。

通过在人脸检测流程中加入本例的输入加速处理，可在执行adaboost分类检测前对待分类检测的原始图像该区域不包含人脸信息的情况快速进行识别剔除，进而大幅提高人脸识别的效率。

最后，需要说明的是，上述各流程中步骤的A、B、C...C1、C2...等只代表其步骤之间的区分，不代表步骤的先后顺序有什么不同。特别是诸如加速流程中的步骤B、C就属于显然可互换顺序的步骤，因此以上所述仅为本发明的实施例，并非就此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效步骤、流程及方案变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种视频人脸检测评价方法，其特征在于：对输入视频进行评估对象选取后进行最优人脸评估选取最优人脸；

所述评估对象选取包括步骤，

S51)对视频连续图像帧中每帧图像检测得到的人脸位置终序列结果进行匹配跟踪，得到对象组跟踪序列；所述对象组跟踪序列中包含至少一个对象在连续图像帧中的人脸位置信息；

S52)将对象组跟踪序列中每个对象的人脸位置分别提取得到对应的对象人脸跟踪序列；

所述最优人脸评估包括对每个对象人脸跟踪序列分别进行正脸可能性评估、清晰度评估、人脸大小评估后经加权计算得到对象人脸跟踪序列的最终系数序列，选取最终序列的最大为对象人脸跟踪序列中的最优人脸；

所述正脸可能性评估包括步骤，

S611)根据对象人脸跟踪序列中的人脸位置信息获取其所在图像帧的肤色检测二值掩码图像上对应区域；

S612)根据肤色检测二值掩码图像上对应区域计算得到人脸面积比重序列；

所述清晰度评估包括步骤，

S621)输入对象人脸跟踪序列中每帧图像作为原始图像，对原始图像进行平滑获得平滑图像；

S622)对平滑图像计算边缘获得边缘图像；

S623)对边缘图像根据预设阈值进行二值化得到第四二值掩码图像；

S624)计算第四二值掩码图像与原始图像的边缘二值掩码图像的差值，得到差值二值掩码图像；

S625)根据对象人脸跟踪序列中每帧图像的人脸位置信息获取差值二值掩码图像上对应区域；

S626)根据差值二值掩码图像上对应区域计算得到清晰度值序列；

所述人脸大小评估包括计算人脸位置跟踪序列对应区域的大小得到大小序列的步骤；

所述加权计算包括根据检测人脸面积比重值序列、清晰度值序列及大小序列结合权重系数计算获得评估序列的步骤。

2.如权利要求1所述的视频人脸检测评价方法，其特征在于：所述图像帧的肤色检测二值掩码图像通过遍历判断图像帧中每个像素在YCbCb色彩空间下的颜色是否同时满足Cb∈[80,135]且Cr∈[136,177]得到。

3.如权利要求1所述的视频人脸检测评价方法，其特征在于：所述正脸可能性评估中，步骤S612的人脸面积比重序列通过肤色检测二值掩码图像上对应人脸位置信息的区域内累加值除于区域长、宽计算得到。

4.如权利要求1所述的视频人脸检测评价方法，其特征在于：所述清晰度评估中，步骤S626的清晰度值序列通过差值二值掩码图像上对应人脸位置信息的区域内累加值除于区域长、宽计算得到。

5.如权利要求1所述的视频人脸检测评价方法，其特征在于：所述人脸大小评估中的大小序列通过当前人脸位置信息的面积除于人脸位置终序列中人脸位置信息的最大面积计算得到。

6.如权利要求1所述的视频人脸检测评价方法，其特征在于：所述评估对象选取中的人脸位置终序列通过以人脸检测流程得到；所述人脸检测流程包括步骤，

S1)输入视频图像帧，将图像帧作为原始图像；

S3)采用haar或lbp特征使用adaboost分类器检测原始图像，得到人脸位置预序列；

S4)将人脸位置预序列输入SVM分类器进行检测，得到人脸位置终序列。

7.如权利要求6所述的视频人脸检测评价方法，其特征在于：在人脸检测流程S1与S3之间还包括S2)输入加速处理；所述输入加速处理包括步骤，

S21)遍历判断原始图像的每个像素在YCbCr色彩空间下的颜色是否同时满足Cb∈[80,135]且Cr∈[136,177]，得到肤色检测二值掩码图像；

S22)对原始图像进行图像边缘检测得到边缘图像；

S23)对边缘图像根据设定阈值进行二值化处理，得到边缘二值掩码图像；

S24)对边缘二值掩码图像进行腐蚀、膨胀图像处理，得到第三二值掩码图像；

S25)取肤色检测二值掩码图像与第三二值掩码图像的交集，得到原始图像的区域二值掩码图像；

所述步骤S3具体包括步骤，

S31)采用滑动子窗口遍历原始图像；

S32)将当前滑动子窗口相对应的区域二值掩码图像中区域的值进行累加；

S33)判断累加值是否满足预设阈值，对满足阈值的执行步骤S34；

S34)对当前滑动子窗口进行adaboost分类检测，遍历结束后得到人脸位置预序列。