CN104156942B - 一种用于复杂环境遗留物的检测方法 - Google Patents

Abstract

本发明公开了一种用于复杂环境遗留物的检测方法，包含以下步骤：将基于局部更新的混合高斯背景建模方法和改进的三帧差分法得到的前景目标进行比较，结合基于YCbCr颜色空间的阴影消除方法、连通域分析，分割得到场景内的暂时静止物团块；对每一帧图像采用质心判距法，分别统计每一个团块的静止时间；对于达到时间阈值的静止团块，通过方向梯度直方图行人检测算法排除驻留行人的可能性后，将其标记为遗留物，并通过加速分割检测特征FAST特征点检测算法排除驻留行人的可能性。本发明的方法，能提高遗留物检测的准确度，降低计算复杂度，同时能较好地适用于人流密集、遮挡频繁的复杂环境中，增强抗干扰能力。

Description

一种用于复杂环境遗留物的检测方法

技术领域

本发明涉及视频图像处理领域，特别涉及一种用于复杂环境遗留物的检测方法。

背景技术

在公共场所里，威胁公共安全的一大隐患是不明遗留物品的放置，诸如爆炸物、有毒物质等危险品，尤其对于地铁站、机场、商场等人流密集的公共区域，会造成严重后果。遗留物是指由运动主体携带进监控场景中，与运动主体分离，并在场景中保持静止超过一定时间阈值的物体(见文献[1])。遗留物检测的主要任务，就是要对视频监控场景进行智能分析，从存在着大量无关人和物的复杂环境中准确分割出目标对象，及时做出报警。

针对遗留物检测的实现，目前已有人提出不同的方法。文献[2]提出一种基于双背景的方法，将两个不同更新率的混合高斯背景模型进行比较，得到遗留物对象，但两个背景同时建模的计算复杂度比较大，且若物体遗留时间过长，仍会融入背景中，造成漏检测。文献[3]采用贝叶斯推理的方法来检测遗留行李，将物体的速度、方向、距离等跟踪轨迹信息作为证据，通过贝叶斯推理的框架对事件进行分析和识别，处理流程相对复杂，实时性要求不易满足。文献[4]使用一个实时更新的背景模型来检测运动目标区域，再通过匹配静止前景区域的边缘来判定目标区域是遗留物还是遗失物区域，这种方法对于人流密集、遮挡频繁的复杂场景的抗干扰能力不强。

因此，人们需要一种新的遗留物检测方法来满足需求。

参考文献：

[1]Muchtar K,Lin C Y,Kang L W,et al.Abandoned object detection incomplicated environments[C]//Proc of Signal and Information ProcessingAssociation Annual Summit and Conference,2013:1-6。

穆达尔K,林C Y，康L W，等.复杂环境中的遗留物检测[C]//信号与信息处理协会年度高峰会议录，2013:1-6。

[2]Porikli F.Detection of temporarily static regions by processingvideo at different frame rates[C]//Proc of Advanced Video and Signal BasedSurveillance,2007:236-241。

普里克利F.不同帧率视频处理下的暂时静止区域检测[C]//基于视频与信号的高级监控会议录,2007:236-241。

[3]Lv F,Song X,Wu B,et al.Left-luggage detection using bayesianinference[C]//Proc of the9th IEEE International Workshop on PETS,2006:83-90。

吕F，宋X，吴B，等.使用贝叶斯推理的遗留行李检测[C]//第9届跟踪与监控性能评价IEEE国际研讨会会议录,2006:83-90。

[4]Spagnolo P,Caroppo A,Leo M,et al.An abandoned/removed objectsdetection algorithm and its evaluation on PETS datasets[C]//Proc of Video andSignal Based Surveillance,2006:17-17。

斯帕诺罗P，卡罗波A，利奥M，等.一种遗留/移走物体检测算法及其PETS数据集评测[C]//基于视频与信号的监控会议录,2006:17-17。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种用于复杂环境遗留物的检测方法。

本发明的目的通过以下的技术方案实现：

一种用于复杂环境遗留物的检测方法，包含以下顺序的步骤：

S1.对于获取视频帧图像，分别用基于局部更新的混合高斯背景建模方法、改进的三帧差分法进行处理，并将上述两种方法得到的前景目标进行比较：对于一个像素点，如果在基于局部更新的混合高斯背景建模方法中被判断为前景，而在改进的三帧差分法中被判断为背景，则将其归入对应暂时静止物的像素点集合中，由此初步得到暂时静止物的候选前景区域；

S2.对于候选前景区域，结合基于YCbCr颜色空间的阴影消除方法、连通域分析，分割得到场景内的暂时静止物团块；

S3.对每一帧图像采用质心判距法，分别统计每一个静止物团块的静止时间；

S4.对于静止时间达到阈值的静止物团块，通过方向梯度直方图行人检测算法排除驻留行人的可能性后，将其标记为遗留物；

S5.在某个遗留物被检出的初始帧，采用加速分割检测特征FAST特征点检测算法检测该遗留物区域的局部特征：若后续帧中遗留物受到行人遮挡干扰，导致前景中不含有前面已检出的遗留物团块，则针对该区域再次检测局部特征，与首帧所检特征进行匹配，若匹配成功，则继续保持遗留物报警状态；否则说明遗留物已发生移动或消失，取消报警状态。

步骤S1中，所述的基于局部更新的混合高斯背景建模方法，具体如下：

A、当场景中没有检测出遗留物时，按照一般的方法对混合高斯背景模型进行更新；

B、当场景中检测出遗留物后，制作遗留物前景掩膜图像M，设当前帧图像为I，经过前面各帧更新后的混合高斯背景图像为B，则根据下式构造用于当前帧背景模型更新的图像U：

C、将当前帧图像与更新后的混合高斯背景模型进行匹配，分割得到前景目标，包括运动目标和暂时静止物。

步骤S1中，所述的改进的三帧差分法具体如下：

A、首先对连续的三帧图像f₁、f₂和f₃做差分运算，得到前两帧的帧差结果Diff₁₂与后两帧的帧差结果Diff₂₃；

B、然后对中间帧f₂与相应背景图像f_BG做差分得到Diff_BG，将Diff_BG分别和Diff₁₂与Diff₂₃做“与”运算，得到结果Δf₁和Δf₂，最后将Δf₁和Δf₂做“或”运算，结合膨胀和腐蚀形态学处理，进一步消除差值图像中的空洞，得到较完整的运动目标。

所述的步骤S2，具体包含以下顺序的步骤：

A、将候选前景区域的像素转换到YCbCr颜色空间中，然后将满足如下条件的像素判断为阴影像素：

其中，Y_FG、Cb_FG、Cr_FG分别表示前景区域的各分量大小；Y_BG、Cb_BG、Cr_BG分别表示背景区域的各分量大小；T_Cb和T_Cr分别表示对应分量的差值阈值；

B、将属于阴影像素从前景区域中排除，得到暂时静止物对应的前景区域；

C、对暂时静止物对应的前景区域进行连通域分析处理，即对这些区域的边缘轮廓采用多边形进行拟合，获得面积大于一定阈值的完整连通区域，并滤除面积较小的噪声区域；

D、对前景中的连通区域进行连续的查找处理，获得当前帧中数个完整的暂时静止物团块。

所述的步骤S3，具体包含以下步骤：

A、分别计算每个团块的质心点坐标和外接矩形框，并定义数组contour_center[n]和bounding_box[n]将相应数据保存起来，其中，n表示当前帧中团块的数量，即数组的长度；

B、在对下一帧图像进行相同的处理之后，得到另一组contour_center[n]和bounding_box[n]数据，为了将每帧之间不同的暂时静止物对应起来，逐一采用质心判距法，将上一帧的第j个团块，分别与当前帧的每个团块按照下式计算质心距离：

(i＝0,1,...,n_cur-1)

其中，x和y分别表示质心点的横坐标和纵坐标，n_cur表示当前帧中团块的数量；

C、设定距离阈值T_d，若d_i,j≤T_d,则认为当前帧的第i个团块与上一帧的第j个团块对应，且依然保持静止，此时将该团块的持续静止帧数加1；若d_i,j>T_d,则说明上一帧的第j个团块已经发生了移动，从暂时静止物对应的前景区域中消失，此时将该团块从暂时静止物中排除，并计算图像帧中每一个暂时静止物所对应的持续静止时间，持续静止时间以帧数为单位。

所述的步骤S4，具体包含以下步骤：

A、从特定的时刻开始对视频进行连续数帧的方向梯度直方图行人检测，使用图像局部区域的方向梯度直方图作为行人检测的特征描述子，结合SVM分类器进行训练与识别：设团块的静止时间为t，其被判断为遗留物的静止时间阈值为t_a，比例系数为η，其中0<η<1；当t＝ηt_a时开始进行行人检测，当t>t_a时则停止检测；在这段时间里，如果至少存在一帧图像将该团块所在区域检测为行人，则排除其为遗留物的可能；

B、将达到时间阈值的暂时静止物标记为遗留物，并将代表其性质的参数，包括质心点坐标和外接矩形框，加入遗留物参数结构序列中；对于场景中检测出的不同遗留物，分别使用这样一组参数结构记录其性质，用以区分不同的目标；

C、在一帧检测出遗留物后，将下一帧获得的所有暂时静止团块按照质心判距法分别与之匹配，若某一暂时静止团块与该遗留物的质心距离小于阈值，则认为是同一物体，且依旧保持遗留状态；

所述的步骤S5，具体包含以下步骤：

A、若某一暂时静止团块与该遗留物的质心距离均大于阈值，在某个遗留物被检出的初始帧，对该遗留物的区域检测FAST特征点，并将得到的特征点集合X0保存到代表该遗留物性质的参数结构中；

B、在后续某一帧中，若所有暂时静止团块与该遗留物的质心距离都大于阈值，则对该帧中对应原遗留物的区域再次检测FAST特征点，得到特征点集合X₁；

将X₁中的特征点与X₀中的特征点按照下式计算匹配率k：

设定匹配率阈值λ，若k≥λ，则说明遗留物被遮挡，但依然保持静止状态；设定帧数阈值T_n，若连续T_n帧都满足k<λ，则说明原遗留物已经发生移动，将其从遗留物参数结构序列中删除。

本发明与现有技术相比，具有如下优点和有益效果：

1、在背景建模方法上，本发明采用基于局部更新的混合高斯背景建模方法，这是对传统的混合高斯背景建模方法的改进。若采用传统的混合高斯背景模型，当场景中出现遗留物并且静止时间不断增长时，之前作为前景像素的遗留物区域对背景模型的贡献将缓慢增大，并逐渐融入背景中，结果该区域不再被判断为遗留物。本发明对传统的混合高斯背景建模方法采取局部更新的机制，视频中遗留物对应区域的像素不对混合高斯背景模型的更新产生影响，进而能有效避免由于遗留物长期静止而被融入背景的现象的发生。

2、为了验证本发明在实际复杂场景下检测遗留物的效果，使用采集于地铁站安防监控摄像头的视频数据进行测试与分析。视频片段中一共含有六次不同的遗留物放置事件。由结果可知，每次遗留物放置事件均能被准确识别，场景中放置的遗留物通过其外接矩形框标记出来，作为报警的依据，而且由于加入了阴影消除的处理，报警矩形框均能准确地定位遗留物区域，阴影部分不会被误标记。

3、由于实际地铁站环境中人员流动密集，遮挡频繁，能够比较充分地检验算法应对复杂环境的能力。如存在遗留物存在被行人短暂遮挡的情况，由于本发明采用了局部特征匹配的方法，即使遗留物被行人短暂遮挡，依然能够检测出遗留物目标区域。若场景中的台阶上长时间存在着驻留行人，由于本发明在行人驻留时间达到阈值之前采用了行人检测算法予以排除，所以并没有将其误检测为遗留物。

4、如图2，本发明对每帧图像的处理时间基本上都小于50ms，只有在特定的时刻对暂时静止物团块进行行人检测的处理时间相对较长，但由于本发明只在满足条件的少量图像帧中才使用行人检测算法，因此对整个处理过程的实时性影响很小，同时又不影响准确性。测试视频的帧率为20帧/秒，即每帧相隔50ms，而经统计本发明对每帧图像的平均处理时间为47ms，满足实时处理的要求。

附图说明

图1为本发明所述的一种用于复杂环境的遗留物检测方法的流程图；

图2为图1所述方法的实验视频每帧图像的处理时间统计图；

图3为图1所述方法的对连续两帧图像之间的团块进行配对的示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1，一种用于复杂环境的遗留物检测方法，包含以下顺序的步骤：

对视频帧图像采用基于局部更新的混合高斯背景建模方法：当场景中没有检测出遗留物时，按照一般的方法对混合高斯背景模型进行更新；当场景中检测出遗留物后，制作遗留物前景掩膜图像M，设当前帧图像为I，经过前面各帧更新后的混合高斯背景图像为B，则根据下式构造用于当前帧背景模型更新的图像U：

将当前帧图像与更新后的混合高斯背景模型进行匹配，分割得到前景目标，包括运动目标和暂时静止物；

对视频帧图像采用改进的三帧差分法，首先对连续的三帧图像f1、f2和f3做差分运算，得到前两帧的帧差结果Diff12与后两帧的帧差结果Diff23，然后对中间帧f2与相应背景图像fBG做差分得到DiffBG，将DiffBG分别和Diff12与Diff23做“与”运算，得到结果Δf1和Δf2，最后将Δf1和Δf2做“或”运算，结合膨胀和腐蚀等形态学处理，进一步消除差值图像中的空洞，得到较完整的运动目标；

对上述两种检测方法得到的前景目标进行比较，对于一个像素点，如果在基于局部更新的混合高斯背景建模方法中被判断为前景，而在改进的三帧差分法中被判断为背景，则将其归入对应暂时静止物的像素点集合中，由此初步得到暂时静止物的候选前景区域；

将候选前景区域的像素转换到YCbCr颜色空间中，然后将满足如下条件的像素判断为阴影像素：

其中，Y_FG、Cb_FG、Cr_FG分别表示前景区域的各分量大小；Y_BG、Cb_BG、Cr_BG分别表示背景区域的各分量大小；T_Cb和T_Cr分别表示对应分量的差值阈值；

将属于阴影的像素从前景区域中排除，得到暂时静止物对应的前景区域；

对暂时静止物对应的前景区域进行连通域分析处理，即对这些区域的边缘轮廓采用多边形进行拟合，获得面积大于一定阈值的完整连通区域，并滤除面积较小的噪声区域；

对前景中的连通区域进行连续的查找处理，获得当前帧中数个完整的暂时静止物团块；

分别计算每个团块的质心点坐标和外接矩形框，并定义数组contour_center[n]和bounding_box[n]将相应数据保存起来，其中，n表示当前帧中团块的数量，即数组的长度；

在对下一帧图像进行相同的处理之后，得到另一组contour_center[n]和bounding_box[n]数据，为了将每帧之间不同的暂时静止物对应起来，逐一采用质心判距法，如图3所示(其中npre和ncur分别表示上一帧和当前帧中团块的数量)，将上一帧的第j个团块，分别与当前帧的每个团块按照下式计算质心距离：

(i＝0,1,...,n_cur-1)

其中，x和y分别表示质心点的横坐标和纵坐标；

C、设定距离阈值T_d，若d_i,j≤T_d,则认为当前帧的第i个团块与上一帧的第j个团块对应，且依然保持静止，此时将该团块的持续静止帧数加1；若d_i,j>T_d,则说明上一帧的第j个团块已经发生了移动，从暂时静止物对应的前景区域中消失，此时将该团块从暂时静止物中排除，并计算图像帧中每一个暂时静止物所对应的持续静止时间，持续静止时间以帧数为单位；

从特定的时刻开始对视频进行连续数帧的HOG(Histograms of OrientedGradients)行人检测，使用图像局部区域的方向梯度直方图作为行人检测的特征描述子，结合SVM分类器进行训练与识别；设团块的静止时间为t，其被判断为遗留物的静止时间阈值为t_a，比例系数为η(0<η<1)，当t＝ηt_a时开始进行行人检测，当t>t_a时则停止检测；实验选取η＝90％；在这段时间里，如果至少存在一帧图像将该团块所在区域检测为行人，则排除其为遗留物的可能；

将达到时间阈值的暂时静止物标记为遗留物，并将代表其性质的参数，包括质心点坐标和外接矩形框，加入遗留物参数结构序列中；对于场景中检测出的不同遗留物，分别使用这样一组参数结构记录其性质，用以区分不同的目标；

在一帧检测出遗留物后，将下一帧获得的所有暂时静止团块按照质心判距法分别与之匹配，若某一暂时静止团块与该遗留物的质心距离小于阈值，则认为是同一物体，且依旧保持遗留状态；若质心距离均大于阈值，此时并不能简单认为原来的遗留物已经发生移动，因为在实际复杂场景中，行人的频繁遮挡会使遗留物前景区域发生暂时的变形或消失，容易导致漏检遗留物；

为了克服行人遮挡对检测带来的影响，对检测出的遗留物采用局部特征匹配的方法，寻找遗留物对应区域的局部特征；在某个遗留物被检出的初始帧，对该遗留物的区域检测FAST(Features from Accelerated Segment Test)特征点，并将得到的特征点集合X₀保存到代表该遗留物性质的参数结构中；在后续某一帧中，若所有暂时静止团块与该遗留物的质心距离都大于阈值，则对该帧中对应原遗留物的区域再次检测FAST特征点，得到特征点集合X₁；

将X₁中的特征点与X₀中的特征点按照下式计算匹配率k：

设定匹配率阈值λ，若k≥λ，则说明遗留物被遮挡，但依然保持静止状态；设定帧数阈值T_n，若连续T_n帧都满足k<λ，则说明原遗留物已经发生移动，将其从遗留物参数结构序列中删除。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.一种用于复杂环境遗留物的检测方法，其特征在于，包含以下顺序的步骤：

S1.对于获取视频帧图像，分别用基于局部更新的混合高斯背景建模方法、改进的三帧差分法进行处理，并将上述两种方法得到的前景目标进行比较：对于一个像素点，如果在基于局部更新的混合高斯背景建模方法中被判断为前景，而在改进的三帧差分法中被判断为背景，则将其归入对应暂时静止物的像素点集合中，由此初步得到暂时静止物的候选前景区域；

S2.对于候选前景区域，结合基于YCbCr颜色空间的阴影消除方法、连通域分析，分割得到场景内的暂时静止物团块；

S3.对每一帧图像采用质心判距法，分别统计每一个静止物团块的静止时间；

S4.对于静止时间达到阈值的静止物团块，通过方向梯度直方图行人检测算法排除驻留行人的可能性后，将其标记为遗留物；

S5.在某个遗留物被检出的初始帧，采用加速分割检测特征FAST特征点检测算法检测该遗留物区域的局部特征：若后续帧中遗留物受到行人遮挡干扰，导致前景中不含有前面已检出的遗留物团块，则针对该区域再次检测局部特征，与首帧所检特征进行匹配，若匹配成功，则继续保持遗留物报警状态；否则说明遗留物已发生移动或消失，取消报警状态。

2.根据权利要求1所述的用于复杂环境遗留物的检测方法，其特征在于：步骤S1中，所述的基于局部更新的混合高斯背景建模方法，具体如下：

A、当场景中没有检测出遗留物时，按照一般的方法对混合高斯背景模型进行更新；

B、当场景中检测出遗留物后，制作遗留物前景掩膜图像M，设当前帧图像为I，经过前面各帧更新后的混合高斯背景图像为B，则根据下式构造用于当前帧背景模型更新的图像U：

C、将当前帧图像与更新后的混合高斯背景模型进行匹配，分割得到前景目标，包括运动目标和暂时静止物。

3.根据权利要求1所述的用于复杂环境遗留物的检测方法，其特征在于：步骤S1中，所述的改进的三帧差分法具体如下：

A、首先对连续的三帧图像f₁、f₂和f₃做差分运算，得到前两帧的帧差结果Diff₁₂与后两帧的帧差结果Diff₂₃；

B、然后对中间帧f₂与相应背景图像f_BG做差分得到Diff_BG，将Diff_BG分别和Diff₁₂与Diff₂₃做“与”运算，得到结果Δf₁和Δf₂，最后将Δf₁和Δf₂做“或”运算，结合膨胀和腐蚀形态学处理，进一步消除差值图像中的空洞，得到较完整的运动目标。

4.根据权利要求1所述的用于复杂环境遗留物的检测方法，其特征在于：所述的步骤S2，具体包含以下顺序的步骤：

A、将候选前景区域的像素转换到YCbCr颜色空间中，然后将满足如下条件的像素判断为阴影像素：

$\left\{\begin{array}{c}{Y}_{FG}<Y_{BG}\\ |{\mathrm{Cb}}_{FG}-{\mathrm{Cb}}_{BG}|<T_{Cb}\\ |{\mathrm{Cr}}_{FG}-{\mathrm{Cr}}_{BG}|<T_{Cr}\end{array}\right.$

其中，Y_FG、Cb_FG、Cr_FG分别表示前景区域的各分量大小；Y_BG、Cb_BG、Cr_BG分别表示背景区域的各分量大小；T_Cb和T_Cr分别表示对应分量的差值阈值；

B、将属于阴影像素从前景区域中排除，得到暂时静止物对应的前景区域；

C、对暂时静止物对应的前景区域进行连通域分析处理，即对这些区域的边缘轮廓采用多边形进行拟合，获得面积大于一定阈值的完整连通区域，并滤除面积较小的噪声区域；

D、对前景中的连通区域进行连续的查找处理，获得当前帧中数个完整的暂时静止物团块。

5.根据权利要求1所述的用于复杂环境遗留物的检测方法，其特征在于：所述的步骤S3，具体包含以下步骤：

A、分别计算每个团块的质心点坐标和外接矩形框，并定义数组contour_center[n]和bounding_box[n]将相应数据保存起来，其中，n表示当前帧中团块的数量，即数组的长度；

B、在对下一帧图像进行相同的处理之后，得到另一组contour_center[n]和bounding_box[n]数据，为了将每帧之间不同的暂时静止物对应起来，逐一采用质心判距法，将上一帧的第j个团块，分别与当前帧的每个团块按照下式计算质心距离：

$d_{i,j}=\sqrt{{(x_i-x_j)}^2+{(y_i-y_j)}^2},(i=0,1,...,n_{cur}-1)$

其中，x和y分别表示质心点的横坐标和纵坐标，n_cur表示当前帧中团块的数量；

C、设定距离阈值T_d，若则认为当前帧的第i个团块与上一帧的第j个团块对应，且依然保持静止，此时将该团块的持续静止帧数加1；若则说明上一帧的第j个团块已经发生了移动，从暂时静止物对应的前景区域中消失，此时将该团块从暂时静止物中排除，并计算图像帧中每一个暂时静止物所对应的持续静止时间，持续静止时间以帧数为单位。