CN105893963B - 一种筛选视频中单个行人目标的最佳易识别帧的方法 - Google Patents

Abstract

本发明公开了一种筛选视频中单个行人最佳易识别帧的方法，所述方法首先进行彩色背景建模并使用背景差法来提取视频中的前景目标，然后对前景目标进行模糊度检测、行人检测、人脸检测以及眼睛和嘴巴位置检测。接着计算每一帧视频中前景目标的易识度。最后根据该行人在整个视频中每一帧里的易识别度筛选出该行人在整个视频中的最佳易识别帧。本发明利用视频中目标的易识别度和行人识别效率之间的关系，可以应用于视频监控中的行人目标识别等相关领域，指导不同应用领域对采集到的行人目标视频段进行关键帧的提取，从而提升后续目标识别的效率。

Description

一种筛选视频中单个行人目标的最佳易识别帧的方法

技术领域

本发明属于图像处理技术领域，特别涉及一种筛选视频中单个行人的易识别帧的方法。

背景技术

目标识别是视频监控领域的三大核心难题之一。然而在实际的监控应用中，我们往往是先存储了特定行人目标的一段视频。而由于在后续的行人目标识别中，我们往往只需要该行人目标关键的若干帧图片即可，这时候就需要我们事先从视频中对行人目标的容易识别的帧进行筛选，筛选出那些对后续的识别最有利的图片。

如何从视频中筛选出行人目标最易于后续识别的图片在理论研究与实际应用都具备重要的研究意义。在应用层面上，从视频中筛选出易于识别的行人目标帧对后续识别成功率有巨大影响。由于行人目标在视频中可能会有各种不同角度，不同距离以及不同完整度与不同清晰度的呈现，而所有这些因素都会对后续识别产生重大影响。在进入目标识别之前先筛选出那些易于识别的帧，这样就能够避免浪费用于有效目标识别的计算资源；在技术层面上，为了筛选出视频中行人目标的那些易于识别的帧，要涉及图像质量评价、人脸检测、行人检测等领域的内容，它们代表了计算机视觉领域的前沿研究方向；同时，由于图像质量评价、人脸检测与行人检测等的研究具有相当的难度，相应的研究具有重要的学术意义。

对视频中行人图片的易识别度评价是一种复杂的心理活动，有许多因素影响到对图片易识别度的判断。同一张图片在不同的人看来，可能有着不同的易识别度。建立一种有效的筛选模型系，利用客观的质量评价指标近似模拟人类的主观感受，可以指导不同应用领域实现对行人目标易识别帧的筛选，极大地优化后续的特征提取以及目标识别过程。

发明内容

本发明的目的在于提取视频中行人目标的易识别帧，指导目标特征提取与目标识别对视频中目标图片的合理选择，提出一种提取视频中行人目标的易识别帧的方法。

为了解决上述技术问题，本发明的技术方案是，

一种筛选视频中单个行人最佳易识别帧的方法，包括步骤如下：

步骤A，建立彩色背景模型并使用背景差法提取视频中的前景目标I_g：

根据待处理视频的首帧建立每一个位置x处像素点的R、G、B三通道背景模型M(x)；从第二帧视频开始，利用背景模型M(x)检测每帧视频中的前景像素点；获取前景像素点的二值图I_b，使用轮廓检测法寻找二值图I_b中的连通区域，提取前景目标I_g；根据检测到的前景像素点更新背景模型M(x)；其具体步骤如下：

步骤A-1，根据待处理视频首帧建立R、G、B的三通道背景模型，其中每个位置x处的背景模型是由对该位置以及其8领域进行N次随机取样得到的N个样本值组成的集合；

步骤A-2，从视频第二帧开始，检测每一帧中的前景像素点，若当前帧位置x处的像素值在R、G、B某一个通道上与它的背景模型中的至少2个像素点的差值大于阈值Radius，则该像素点为前景像素点，否则为背景像素点；

步骤A-3，将前景像素点位置的灰度值设置为0，而背景像素点位置的灰度值设置为255，对由此形成的二值图像I_b使用轮廓检测法，检测其中的连通区域，并且将面积S满足Min_AERA<S<Max_AERA和斜率SLOP符合SLOP_min<SLOP<SLOP_max的连通区域确定为前景目标I_g；其中Min_AERA、Max_AERA、SLOP_min和SLOP_max都是预先设定的值；

步骤A-4，对于被判定为背景点的位置x处的像素，以1/N的概率去更新其背景模型M(x)的N个样本值中的一个，同时也以1/N的概率去更新其8领域中的某个领域位置y处的背景模型M(y)的N个样本值中的一个；

步骤B，获取前景目标I_g的模糊度：

对前景目标I_g进行灰度化处理获取其灰度图，使用sobel算子检测该灰度图的边缘像素，并对每个边缘像素计算该边缘像素的模糊度，最后计算所有边缘像素的模糊度的平均值，作为前景目标I_g的模糊度Frame_ambiguity；

步骤C，检测人脸区域：

利用Viola-Jones人脸检测模型，对前景目标I_g进行人脸检测，获取人脸区域；

步骤D，计算人脸倾侧角：

利用Viola-Jones人脸检测模型，检测前景目标I_g中是否存在左右两只眼睛和嘴巴，并根据眼睛于嘴巴之间的相对位置关系，计算出人脸倾侧角Angle_of_face；

步骤D-1，眼睛与嘴巴位置检测。在步骤C中已经检测到存在人脸的情况下，对人脸区域再次利用Viola-Jones人脸检测框架，检测人脸区域内的眼睛和嘴巴的位置。而对于步骤C中没有检测到人脸的情况，则针对整个前景图片，使用Viola-Jones人脸检测框架检测眼睛和嘴巴。

步骤D-2，倾侧角计算。如果两只眼睛和嘴巴的位置都检测到的情况下，根据其位置特征，判断人脸倾侧角度。具体的判断方法为：假设左、右眼的中心点位置分别为E_l与E_r，而嘴巴区域的中心点位置为M，则对于三角形E_lE_rM，首先求出从M往作垂线，得到的垂足P。则人脸倾侧角为：

如果左右眼睛及嘴巴三者中只有两者或者只有其中一者被检测到的话，则倾侧角直接判定为90度；对于三者都没有检测到的情况，倾侧角判定为180度。

步骤E，行人检测：

使用Dalal提出的HOG+SVM行人检测方法，对前景目标I_g提取HOG特征，并使用SVM分类方法，确定前景目标I_g是否为行人；

步骤F，计算前景目标I_g的易识别度：

根据前景目标I_g的模糊度、人脸大小、人脸倾侧角以及行人检测结果计算前景目标I_g的易识别度；并根据每一帧中前景目标I_g的易识别度，找出单个行人目标在视频中的最佳易识别帧；所述前景目标I_g的易识别度，其计算过程如下：

步骤F-1，根据前景目标I_g的模糊度，计算其前景清晰度得分clarity_score；根据人脸面积，计算人脸大小得分face_score；根据人脸倾侧角，计算人脸倾侧角得分angle_score；根据行人检测，计算行人完整度得分body_score；具体的计算方法为:

前景清晰度得分为：clarity_score＝1-Frame_ambiguity/20；

人脸大小得分为：

其中，#face_standard表示标准人脸的大小，为常数；

人脸倾侧角得分为：angle_score＝1-Angle_of_face/180；

行人完整度得分为：

步骤F-2，计算前景目标I_g的易识别度Identifiability并找出最佳易识别帧：

其中，和均为权重参数，且满足：最终，将视频中易识别度最高的一帧选为最佳易识别帧。

有益效果：本发明公开了一种筛选视频中单个行人最佳易识别帧的方法。所述方法首先进行彩色背景建模并使用背景差法来提取视频中的前景目标，然后对前景目标进行模糊度检测、行人检测、人脸检测以及眼睛和嘴巴位置检测。接着计算每一帧视频中前景目标的易识度。最后根据该行人在整个视频中每一帧里的易识别度筛选出该行人在整个视频中的最佳易识别帧。本发明利用视频中目标的易识别度和行人识别效率之间的关系，可以应用于视频监控中的行人目标识别等相关领域，指导不同应用领域对采集到的行人目标视频段进行关键帧的提取，从而提升后续目标识别的效率。

附图说明

图1：本发明中对视频中的每一帧进行处理的流程图。

具体实施方式

下面结合附图，进一步具体说明本发明的一种筛选视频中行人目标的最佳易识别帧的方法。

本发明方法的整体流程如图1所示。一种筛选视频中行人目标的最佳易识别帧的方法，其详细步骤如下：

步骤A，建立色彩背景模型并使用背景差法提取方法进行前景目标I_g：

步骤A-1，利用待处理视频的首帧进行背景模型。对于每个位置X的像素点，对其R、G、B三通道分别用一组N个背景样本值进行建模，N通常设置为20。即：

X位置处的背景模型M(X)＝{M_R(X),M_G(X),M_B(X)}，而

M_R(X)＝{V_1R,V_2R,...,V_iR,...V_NR}

M_G(X)＝{V_1G,V_2G,...,V_iG,...V_NG}

M_B(X)＝{V_1B,V_2B,...,V_iB,...V_NB}

其中，V_iR,V_iG,V_iB分别表示从位置X及X的8领域共9个位置随机采样到的N个像素点中第i个像素点的R、G、B通道的像素值；

步骤A-2，前景像素点的检测。对于视频帧中每一个位置X的像素值V_x＝{V_xR,V_xG,V_xB}，将其分别与该位置的背景模型{M_R(X),M_G(X),M_B(X)}中的N个像素点进行比较。若在这N个像素点中有超过2个像素点与位置X的像素值在R、G、B任何一个通道上的差值大于阈值Radius，则判定该点为前景像素点，否则，该点判定为背景像素点。这里Radius通常设置为10。同时，为了防止某个静止区域被误判为运动区域，如果某个像素点连续100帧被判定为前景点，则将其重新判定为背景点；

步骤A-3，前景目标确定。将前景像素点位置的灰度值设置为0，而背景像素点位置的灰度值设置为255，对由此形成的二值图像I_b，检测其中的轮廓与连通区域。因为我们主要是为了检测行人目标，所以对于能够恰好框中该连通区域的矩形来说，若其面积与长宽比能够分别满足：

Min_AERA<S<Max_AERA和SLOP_min<SLOP<SLOP_max

则将该连通域确定为前景目标I_g；

其中Min_AERA和Max_AERA分别表示前景目标的最小面积和最大面积，SLOP_min和SLOP_max则分别表示前景目标的最小宽高比和最小宽高比，这四个值都可以根据具体的监控场景进行灵活设置；

步骤A-4，背景模型的更新。若某位置的像素点是背景点，则以1/N的概率，去更新该位置的N个背景模型样本值中的其中一个，并且，也以1/N的概率，去更新该位置8领域中某一位置y处的背景模型M(y)的N个样本值中的一个。

步骤B，获取前景目标I_g的模糊度：

对步骤A中获取的前景目标I_g，首先将其进行灰度化处理获取灰度图，然后使用sobel算子检测该灰度图中的边缘像素。对每个边缘像素，统计其水平方向上左右各10个像素中与它本身的像素值的差小于某一阈值Q的像素个数，并以此作为该边缘像素的模糊度。最后统计所有边缘像素的模糊度的平均值作为图像的总体的模糊度Frame_ambiguity。

步骤C，人脸检测：

利用Viola-Jones人脸检测模型，对前景目标I_g进行人脸检测，获取人脸区域。如果检测到人脸，则提取出人脸区域，并计算人脸区域面积，记为Face_AREA；如果没检测到人脸，则Face_AREA＝0。

步骤D，人脸倾侧角的判定：

步骤D-1，眼睛与嘴巴位置检测。在步骤C中已经检测到存在人脸的情况下，对人脸区域再次利用Viola-Jones人脸检测框架，检测人脸区域内的眼睛和嘴巴的位置。而对于步骤C中没有检测到人脸的情况，则针对整个前景图片，使用Viola-Jones人脸检测框架检测眼睛和嘴巴。

步骤D-2，倾侧角计算。如果两只眼睛和嘴巴的位置都检测到的情况下，根据其位置特征，判断人脸倾侧角度。具体的判断方法为：假设左、右眼的中心点位置分别为E_l与E_r，而嘴巴区域的中心点位置为M，则对于三角形E_lE_rM，首先求出从M往作垂线，得到的垂足P。则人脸倾侧角为：

如果左右眼睛及嘴巴三者中只有两者或者只有其中一者被检测到的话，则倾侧角直接判定为90度；对于三者都没有检测到的情况，倾侧角判定为180度。

步骤E，行人检测：

使用Dalal的HOG+SVM行人检测框架，对前景目标I_g进行行人检测，确定前景目标是否是相对完整的行人。

步骤F，计算前景目标I_g的易识别度：

步骤F-1，分别根据前景目标I_g的模糊度计算其清晰度得分；根据人脸面积计算人脸大小得分；根据人脸倾侧角计算人脸倾侧角得分；根据行人检测结果计算行人完整度得分。具体的计算公式为：

前景清晰度得分为：clarity_score＝1-Frame_ambiguity/20；

人脸大小得分为：

其中，#face_standard表示标准人脸的大小，实际可设为一个常数；

人脸角度得分为：angle_score＝1-Angle_of_face/180；

全身完整度得分为：

步骤F-2，计算出前景目标I_g的易识别度Identifiability并找出最佳易识别帧：其中，和为权重参数，可根据实际应用场景灵活分配，且需要满足最终，将视频中易识别度最高的一帧选为最佳易识别帧。

需要补充说明的一点是，本发明作为一个筛选视频中行人最佳易识别帧的方法，可以用不同的人脸检测算法以及行人检测算法来替换本发明描述的实施方式的对应项。

Claims (2)

1.一种筛选视频中单个行人目标的最佳易识别帧的方法，其特征在于，包括步骤如下：

步骤A，建立彩色背景模型并使用背景差法提取视频中的前景目标I_g：

根据待处理视频的首帧建立R、G、B三通道背景模型M(x)；从第二帧视频开始，利用背景模型M(x)检测每帧视频中的前景像素点；获取前景像素点的二值图I_b，使用轮廓检测法寻找二值图I_b中的连通区域，提取前景目标I_g；根据检测到的前景像素点更新背景模型M(x)；其具体步骤如下：

步骤A-1，根据待处理视频首帧建立R、G、B的三通道背景模型，其中每个位置x处的背景模型是由对该位置以及其8领域进行N次随机取样得到的N个样本值组成的集合；

步骤A-2，从视频第二帧开始，检测每一帧中的前景像素点，若当前帧位置x处的像素值在R、G、B某一个通道上与它的背景模型中的至少2个像素点的差值大于阈值Radius，则该像素点为前景像素点，否则为背景像素点；

步骤A-3，将前景像素点位置的灰度值设置为0，而背景像素点位置的灰度值设置为255，对由此形成的二值图像I_b使用轮廓检测法，检测其中的连通区域，并且将面积S满足Min_AERA<S<Max_AERA和斜率SLOP符合SLOP_min<SLOP<SLOP_max的连通区域确定为前景区域I_g；其中Min_AERA、Max_AERA、SLOP_min和SLOP_max都是预先设定的值；

步骤A-4，对于被判定为背景点的像素，以1/N的概率去更新其背景模型M(x)的N个样本值中的一个，同时也以1/N的概率去更新其8领域的某个位置y处的背景模型M(y)的N个样本值中的一个；

步骤B，获取前景目标I_g的模糊度：

对前景目标I_g进行灰度化处理获取其灰度图，使用sobel算子检测该灰度图的边缘像素，并对每个边缘像素计算该边缘像素的模糊度，最后计算所有边缘像素的模糊度的平均值，作为前景目标的模糊度Frame_ambiguity；

步骤C，检测人脸区域：

利用Viola-Jones人脸检测模型，对前景目标I_g进行人脸检测，获取人脸区域；

步骤D，计算人脸倾侧角：

利用Viola-Jones人脸检测模型，检测前景目标I_g中是否存在左右两只眼睛和嘴巴，并根据眼睛于嘴巴之间的相对位置关系，计算出人脸倾侧角Angle_of_face；

步骤E，行人检测：

使用Dalal提出的HOG+SVM行人检测方法，对前景目标I_g提取HOG特征，并使用SVM分类方法，确定前景目标I_g是否为行人；

步骤F，计算前景目标I_g的易识别度：

根据前景目标模糊度、人脸大小、人脸倾侧角以及行人检测结果计算前景目标I_g的易识别度；并根据每一帧的前景目标的易识别度，找出单个行人目标在视频中的最佳易识别帧；所述前景目标I_g的易识别度，其计算过程如下：

步骤F-1，根据前景目标I_g的模糊度，计算其前景清晰度得分clarity_score；根据人脸面积，计算人脸大小得分face_score；根据人脸倾侧角，计算人脸倾侧角得分angle_score；根据是否检测到行人，计算行人完整度得分body_score；具体的计算方法为:

前景清晰度得分为：clarity_score＝1-Frame_ambiguity/20；

人脸大小得分为：

其中，#face_standard表示标准人脸的大小，为常数；

人脸倾侧角得分为：angle_score＝1-Angle_of_face/180；

行人完整度得分为：

步骤F-2，计算前景目标I_g的易识别度Identifiability并筛选出最佳易识别帧：

其中，和均为权重参数，且满足：最终，将视频中易识别度最高的一帧选为最佳易识别帧。

2.据权利要求1所述的一种筛选视频中单个行人目标的最佳易识别帧的方法，其特征在于，步骤D中，所述人脸倾侧角的计算方法，其过程如下：

步骤D-1，利用Viola-Jones人脸检测模型，分别使用针对眼睛与非眼睛而训练的Adaboost级联分类器，以及针对嘴巴与非嘴巴而训练的Adaboost级联分类器，检测前景图片中左右两只眼睛位置E_l和E_r以及嘴巴的位置M；

步骤D-2，根据D-1中的检测结果及左右眼睛与嘴巴之间的相对位置关系计算人脸的倾侧角度，如果两只眼睛和嘴巴都检测到，对于三角形E_lE_rM，首先求出从M往作垂线，得到的垂足P；则人脸倾侧角为：

而如果左右眼睛及嘴巴三者中只有两者或者只有其中一者被检测到的话，则倾侧角直接判定为90度；对于三者都没有检测到的情况，倾侧角判定为180度。