CN115690162A - 一种固定视频中移动大目标的检测方法及装置 - Google Patents

Abstract

本发明适用于视频检测技术领域，提供一种固定视频中移动大目标的检测方法及装置，所述检测方法包括：视频界面中设置多个检测框形成检测区域，通过帧间差分法获取视频中运动区域像素；根据检测框的位置关系以及检测运动区域像素在检测框内的像素变化情况判断目标是否进入和离开检测区域；当检测到目标进入再离开检测区域，则完成当前目标检测，立即进行场景初始化，进入下一目标检测。本发明对于紧密跟踪的多个目标之间能够进行准确区隔，在快速和大目标运动、紧密跟随情况下，也达到了不错的检测效果，具有非常好的实用性。

Description

一种固定视频中移动大目标的检测方法及装置

技术领域

本发明属于视频检测技术领域，尤其涉及一种固定视频中移动大目标的检测方法及装置。

背景技术

固定视频中由于目标较近或者目标本身尺寸较大（比如目标占据整个画面的30%比例以上的情况），目标在视频中即使是慢速移动也会形成画面中大幅度像素的突变，并且可能在视频中多个目标还可能连续跟随，此情况下运动目标准确检测一直是业界难点。一个实际应用场景是，在收费站或物流停车收费亭下，有连续跟随的货车进入收费通道，由于目标跟随较近，大目标在视频中的连续移动下，常规方案无法对移动大目标进行检测。

常规的视频运动目标检测方法采用基于前景检测算法的越线（拌线）判断的方法，具体过程是：(1)在视频监控区域内设定一条绊线，在该绊线周围划定一个敏感区域；(2)用目标框框定目标，当运动目标的目标框进入敏感区域后，即可判断有如有目标进入，且进一步还可以通过计算目标框坐标分析目标运动方向。越线（拌线）检测方法在很多场景中得到了大量的应用。但这种方式要求能够对出现的目标进行相对稳定的目标框定，在遇到大量的噪声、多个目标紧随经过以及目标尺寸较大的情况下，越线（拌线）检测的准确率就指数级下降，大量的误报让应用变得难以让客户忍受。

另外基于视频的运动目标检测算法种类很多，VIBE是一种像素级视频背景建模或前景检测的算法，效果优于所熟知的几种算法，对硬件内存占用也少，因此，业界对于移动目标的检测，大多优先使用VIBE前景检测算法；但是在视频中移动的大目标用VIBE检测算法时，由于像素点在画面中变化幅度很大，即使是慢速的大目标（比如离摄像机较近的汽车等），也因为像素的大幅度突变，VIBE的背景模型来不及更新，造成连续的大目标经过时，难以区分不同的目标，无法准确判断目标的过界行为，效果较差，不适合使用在特定的应用场景。

帧间差分法也是一种常用方法，将视频流中相邻两帧或相隔几帧图像的两幅图像像素值相减，并对相减后的图像进行阈值化来提取图像中的运动区域，其优点是算法实现简单，程序设计复杂度低；对光线等场景变化不太敏感，能够适应各种动态环境，稳定性较好，且一个非常重要的特性是背景更新速度快，适用于目标连续、跟随的情况下的快速背景更新的需求。但是帧间差分法的缺点也是很明显的：第一，空洞现象。在运动目标内易产生空洞，特别是目标运动速度较快时，影响目标区域准确提取，而且如果车辆的体积较大，那么车辆在前后帧中根容易产生重叠部分，尤其是大的运动目标（比如大货车），这使得帧间差分法的结果主要为车头和车尾，车辆中间部分的差分值相对报小，形成空洞，不利于检测。第二，双影现象。差分图像物体边缘轮廓较粗导致。第三、不能提取出运动对象的完整区域，仅能提取轮廓。

因此目前针对固定视频中移动大目标的检测，还未有一种简单高效且效果好的检测方案，特别是针对紧密跟踪的多个移动大目标的检测。

发明内容

鉴于上述问题，本发明的目的在于提供一种固定视频中移动大目标的检测方法及装置，旨在解决现有方法无法适应快速、大目标运动、紧密跟随情况下目标检测的技术问题。

本发明采用如下技术方案：

一方面，所述固定视频中移动大目标的检测方法包括下述步骤：

在视频界面中设置多个检测框形成检测区域，其中至少有两个检测框在视频界面中并排排列；

通过帧间差分法获取视频中运动区域像素；

根据检测框的位置关系以及检测运动区域像素在检测框内的像素变化情况判断目标是否进入和离开检测区域；

当检测到目标进入再离开检测区域，则完成当前目标检测，立即进行场景初始化，进入下一目标检测。

另一方面，所述固定视频中移动大目标的检测装置包括：

检测框设置单元，用于在视频界面中设置多个检测框形成检测区域，其中至少有两个检测框在视频界面中并排排列；

差分处理单元，用于通过帧间差分法获取视频中运动区域像素；

移动检测单元，用于根据检测框的位置关系以及检测运动区域像素在检测框内的像素变化情况判断目标是否进入和离开检测区域；

场景初始化单元，用于当检测到目标进入再离开检测区域，则完成当前目标检测，立即进行场景初始化，进入下一目标检测。

本发明的有益效果是：本发明通过合理布置检测框位置，检测多个检测框中的像素变化关系，利用帧间差分法对目标头部和尾部差分结果比较显著的特点，对帧差分图像的运动区域像素进行二次分析处理，较好地避免了帧间差分法的缺点，避免空洞和双影现象的影响，不依赖完整的对象区域，特别对于紧密跟踪的多个目标之间能够进行准确区隔，在快速和大目标运动、紧密跟随情况下，也达到了不错的检测效果，具有非常好的实用性。

附图说明

图1是本发明实施例提供的固定视频中移动大目标的检测方法的流程图；

图2是本发明实施例提供的检测框的一种布置形式示意图；

图3是本发明实施例提供的检测框的第二种布置形式示意图；

图4是本发明实施例提供的检测框的第三种布置形式示意图；

图5是本发明实施例提供的检测框的第四种布置形式示意图；

图6是本发明实施例提供的检测框的第五种布置形式示意图；

图7是检测框在一帧图像中的一种实际布置示意图；

图8是图像经过帧间差分法得到的运动区域像素示意图；

图9是本发明实施例提供的固定视频中移动大目标的检测装置的结构方框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

图1示出了本发明实施例提供的固定视频中移动大目标的检测方法的流程，为了便于说明仅示出了与本发明实施例相关的部分。

如图1所示，本实施例提供的固定视频中移动大目标的检测方法包括下述步骤：

步骤S101、在视频界面中设置多个检测框形成检测区域，其中至少有两个检测框在视频界面中并排排列。

本实施例中，所述检测框的形状不限，优选为矩形。其中至少有两个检测框是并排排列。检测的布置位置有多种，适用于不同运动方向的目标检测。

作为一种实现方式，按照作用来分，所述检测框分为触发检测框和拌线检测框，其中拌线检测框至少有两个且并排设置，所述触发检测框与拌线检测框成角度设置。一般来讲，触发检测框与拌线检测框垂直设置为佳，实际可控制在60°至120°的角度。触发检测框最佳按照目标行进方向布置。

比如检测框可以按照“╋”、“┣”、“┫”、“┻”或者“┳”形状进行排列布置。触发检测框与拌线检测框相互垂直布置。

其中“╋”形状适用于四个方向行进的情形；“┣”形状适用于从右往左行进的情形；“┫”形状适用于从左往右行进的情形；“┻”形状适用于从上往下行进的情形；“┳”形状适用于从下往上行进的情形。检测框采用这些布置性质，可检测目标的运动方向以及是否进入和离开检测区域，具体检测过程后续具体说明。

作为一种实现方式，检测框也可以只采用拌线检测框，拌线检测框“━”形状排列，或者“┃”形状排列。此情况下，只检测目标是否进入和离开检测区域。“━”形状适用于从左或右行进的情形，“┃”形状适用于从上或从下行进的情形。

步骤S102、通过帧间差分法获取视频中运动区域像素。

目标在视频界面中移动，通过帧间图像差分法可检测出相邻两帧图像中发生变化的区域，具体过程是用图像序列中的连续两帧图像进行差分处理，再对差分图像进行灰度化、二值化，获得运动区域像素信息，以此区分出背景区域和运动目标区域，进而提取要检测的运动目标。

具体的，获取视频中第n帧图像

和第n+1帧图像

，将两帧图像对应像素点的灰度值进行相减，并取其绝对值，得到差分帧图像：

设定阈值Threshold，得到二值化图像，白色点RGB（255，255，255）为运动目标，黑色点RGB（0,0,0）为背景。即二值化图像：

帧间差分法得到的运动区域像素特点是，目标头部和尾部差分结果比较显著，中间易产生空洞。本实施例利用此特征并根据检测框内的像素变化进行目标检测。

步骤S103、根据检测框的位置关系以及检测运动区域像素在检测框内的像素变化情况判断目标是否进入和离开检测区域。

本步骤主要是通过检测框内的像素变化来检测移动目标是否进入和离开检测区域。另外，本步骤中，还可以同时根据检测框的位置关系以及运动区域像素在触发检测框中的像素变化情况判断目标的运动方向，从而避免大量因噪声、跟车过近造成误报。

判断目标进入和离开检测区域的具体过程如下：

当检测到触发检测框中有运动区域像素的像素变化后，判定目标头部进入触发检测框；

目标头部进入触发检测框后，当检测到拌线检测框中有运动区域像素的像素变化，判定目标头部经过拌线检测框，即判断目标进入检测区域；

当再次检测到触发检测框中有运动区域像素的像素变化后，判定目标尾部进入触发检测框；

目标尾部进入触发检测框后，当检测到拌线检测框中再次有运动区域像素的像素变化，判定目标尾部经过拌线检测框，当拌线检测框中运动区域像素显著减少后，即判断目标离开检测区域。

以如图2所示的“╋”形状排列方式为例，该方式适用于四个方向行进。

1）如果目标是从上至下运动，此时序号标记1、2的检测框为触发检测框，序号标记为5、6、7、8的检测框为拌线检测框；

2）判断目标头部进入触发检测框：利用帧间差分法得到的目标头部和尾部帧差分显著的特点（空洞在目标的头部和尾部难以出现），根据1号、2号触发检测框是否有运动区域像素的像素变化以及先后关系可判断目标头部是否进入触发检测框。比如运动区域像素先移动至1号触发检测框，此时1号触发检测框内的像素会有显著变化，然后运动区域像素移动至2号触发检测框，此时2号触发检测框内的像素会有显著变化，因此通过触发检测框的像素先后变化关系即可判断目标头部从1号进入到2号触发检测框，即目标头部进入触发检测框；

3）判断目标头部经过拌线检测框：找到与1号、2号触发检测框的连线接近垂直的方向，一般为60°至120°的角度方向找到5-8号拌线检测框，判断这些拌线检测框内的运动区域像素的像素变化，如果进入拌线检测框，会有显著的像素变化，比如拌线检测框内运动区域像素从没有到显著增多，此时可判定目标头部经过拌线检测框，此时认定目标进入检测区域。

4）判断目标尾部进入触发检测框：

当目标继续移动经过拌线检测框，目标头部会离开拌线检测框，由于目标空洞影响，拌线检测框内运动区域像素也会有明显变化。当再次检测到运动区域像素进入到触发检测框后，即触发检测框内的像素数量显著增加，说明此时目标尾部开始进入触发检测框。

5）判断目标尾部经过拌线检测框：目标继续移动直至拌线检测框中再次有运动区域像素的像素显著变化，说明此时目标尾部开始经过拌线检测框，直至拌线检测框中运动区域像素显著减少后，即判断目标已经离开检测区域。

对上述实例中，如果目标是其他运动方向的情形，如果是从左往右，则5号、6号检测框为触发检测框，1号、2号、3号、4号检测框为拌线检测框；如果是从下往上，则4号、3号检测框为触发检测框，5号、6号、7号、8号检测框为拌线检测框；如果是从右往左，则8号、7号检测框为触发检测框，1号、2号、3号、4号检测框为拌线检测框。

因此此检测框布置下，可以检测各个方向的运动目标检测。

如果目标移动方向是特定的，也可以进行相应检测框布置。

如图3中，检测框为“┣”形状布置，适用于从右往左行进的情形，则8号、7号为触发检测框，1号、2号、3号、4号为拌线检测框。图4中，检测框为“┫”形状布置，适用于从左往右行进的情形，5号、6号检测框为触发检测框，1号、2号、3号、4号检测框为拌线检测框。图5中，检测框为“┻”形状布置，适用于从上往下行进的情形，则1号、2号检测框为触发检测框，5号、6号、7号、8号检测框为拌线检测框。图6中，检测框为“┳”形状布置，适用于从下往上行进的情形，则4号、3号检测框为触发检测框，5号、6号、7号、8号检测框为拌线检测框。

图7、8示出了一种“┣”形状布置的实例，触发检测框为4号和3号，拌线检测框为0号、1号和3号，触发检测框和拌线检测框成角度设置。图7为视频图像帧，图8是经过帧间差分法得到的运动区域像素示意图。图示中，可见运动区域像素进入了拌线检测框，即拌线检测框内的像素有显著变化。

上述各实例中，触发检测框有两个，拌线检测框有四个，实际数量可灵活设置，拌线检测框至少有两个。如果触发检测框只设置一个，那么可以根据触发检测框和拌线检测框中运动区域像素的像素变化可以判断目标的运动方向。比如触发检测框先检测到像素显著变化，拌线检测框再检测到像素显著变化，即可判定目标是由触发检测框向拌线检测框方向移动。

此外，前述中也说明了检测框也可以只采用拌线检测框，拌线检测框“━”形状排列，或者“┃”形状排列。此时可根据拌线检测框中运动区域像素的像素显著变化情况判断目标头部和尾部经过拌线检测框，当目标尾部完全经过拌线检测框后完成当前目标检测，只是此情况下无法判断目标的移动方向。

特别需要说明的是，设置触发检测框和拌线检测框不仅可以检测目标的移动方向以及目标是否完全经过检测区域，即便是目标头部完全经过拌线检测框后经过空洞区域，目标又回退使得目标头部再次经过拌线检测框和触发检测框，也不会出现误判。因为目标尾部是先进入触发检测框再经过拌线检测框，不会因为目标回退将目标头部误判为目标尾部。而只采用拌线检测框无法解决此问题。

步骤S104、当检测到目标进入再离开检测区域，则完成当前目标检测，立即进行场景初始化，进入下一目标检测。

利用帧间差分法背景更新速度快的优点，检测到目标离开检测区域后此时立即标记为当前目标完全经过的状态，完成移动目标的检测，且立即进行场景初始化，等待下一目标检测，即便是多个快速运动目标的紧跟情况，也可以准确区隔。场景初始化后，在重新判断下一目标是否触发检测框，实现了目标连续连接。

实施例二：

图9示出了本发明实施例提供的固定视频中移动大目标的检测装置的结构，为了便于说明仅示出了与本发明实施例相关的部分。

如图9所示，本实施例提供的固定视频中移动大目标的检测装置包括检：

检测框设置单元101，用于在视频界面中设置多个检测框形成检测区域，其中至少有两个检测框在视频界面中并排排列；

差分处理单元102，用于通过帧间差分法获取视频中运动区域像素；

移动检测单元103，用于根据检测框的位置关系以及检测运动区域像素在检测框内的像素变化情况判断目标是否进入和离开检测区域；

场景初始化单元104，用于当检测到目标进入再离开检测区域，则完成当前目标检测，立即进行场景初始化，进入下一目标检测。

上述各功能单元对应实现了实施例一中的步骤S101-S104，通过检测框设置单元在视频界面中设置检测框，并通过差分处理单元处理图像帧，然后通过移动检测单元检测移动目标，最后一个目标检测完成后，通过场景初始化单元初始化，等待下一个目标检测。

本实施例中，所述检测框分为触发检测框和拌线检测框，其中拌线检测框至少有两个且并排设置，所述触发检测框与拌线检测框成角度设置。所述检测框按照“╋”、“┣”、“┫”、“┻”或者“┳”形状进行排列布置。

另外所述检测装置还包括：

方向检测单元，用于根据检测框的位置关系以及运动区域像素在触发检测框中的像素变化情况判断目标的运动方向。

通过方向检测单元可以判断目标的运动方向。

作为一种具体实现结构，所述移动检测单元103具体包括：

头部触发检测模块，用于当检测到触发检测框中有运动区域像素的像素变化后，判定目标头部进入触发检测框；

头部经过检测模块，用于目标头部进入触发检测框后，当检测到拌线检测框中有运动区域像素的像素变化，判定目标头部经过拌线检测框，即判断目标进入检测区域；

尾部触发检测模块，用于当再次检测到触发检测框中有运动区域像素的像素变化后，判定目标尾部进入触发检测框；

尾部经过检测模块，用于目标尾部进入触发检测框后，当检测到拌线检测框中再次有运动区域像素的像素变化，判定目标尾部经过拌线检测框，当拌线检测框中运动区域像素显著减少后，即判断目标离开检测区域。

综上，本发明通过合理布置检测框位置，检测多个检测框中的像素变化关系，利用帧间差分法对目标头部和尾部差分结果比较显著的特点，对帧差分图像的运动区域像素进行二次分析处理，较好地避免了帧间差分法的缺点，避免空洞和双影现象的影响，不依赖完整的对象区域，特别对于紧密跟踪的多个目标之间能够进行准确区隔，在快速和大目标运动、紧密跟随情况下，也达到了不错的检测效果，具有非常好的实用性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种固定视频中移动大目标的检测方法，其特征在于，所述检测方法包括下述步骤：

在视频界面中设置多个检测框形成检测区域，其中至少有两个检测框在视频界面中并排排列；

通过帧间差分法获取视频中运动区域像素；

根据检测框的位置关系以及检测运动区域像素在检测框内的像素变化情况判断目标是否进入和离开检测区域；

当检测到目标进入再离开检测区域，则完成当前目标检测，立即进行场景初始化，进入下一目标检测。

2.如权利要求1所述固定视频中移动大目标的检测方法，其特征在于，所述检测框分为触发检测框和拌线检测框，其中拌线检测框至少有两个且并排设置，所述触发检测框与拌线检测框成角度设置。

3.如权利要求2所述固定视频中移动大目标的检测方法，其特征在于，所述检测方法还包括下述步骤：

根据检测框的位置关系以及运动区域像素在触发检测框中的像素变化情况判断目标的运动方向。

4.如权利要求2或3所述固定视频中移动大目标的检测方法，其特征在于，判断目标进入和离开检测区域的具体过程如下：

当检测到触发检测框中有运动区域像素的像素变化后，判定目标头部进入触发检测框；

目标头部进入触发检测框后，当检测到拌线检测框中有运动区域像素的像素变化，判定目标头部经过拌线检测框，即判断目标进入检测区域；

当再次检测到触发检测框中有运动区域像素的像素变化后，判定目标尾部进入触发检测框；

目标尾部进入触发检测框后，当检测到拌线检测框中再次有运动区域像素的像素变化，判定目标尾部经过拌线检测框，当拌线检测框中运动区域像素显著减少后，即判断目标离开检测区域。

5.如权利要求2所述固定视频中移动大目标的检测方法，其特征在于，所述检测框按照“╋”、“┣”、“┫”、“┻”或者“┳”形状进行排列布置。

6.一种固定视频中移动大目标的检测装置，其特征在于，所述检测装置包括：

检测框设置单元，用于在视频界面中设置多个检测框形成检测区域，其中至少有两个检测框在视频界面中并排排列；

差分处理单元，用于通过帧间差分法获取视频中运动区域像素；

移动检测单元，用于根据检测框的位置关系以及检测运动区域像素在检测框内的像素变化情况判断目标是否进入和离开检测区域；

场景初始化单元，用于当检测到目标进入再离开检测区域，则完成当前目标检测，立即进行场景初始化，进入下一目标检测。

7.如权利要求6所述固定视频中移动大目标的检测装置，其特征在于，所述检测框分为触发检测框和拌线检测框，其中拌线检测框至少有两个且并排设置，所述触发检测框与拌线检测框成角度设置。

8.如权利要求7所述固定视频中移动大目标的检测装置，其特征在于，所述检测装置还包括：

方向检测单元，用于根据检测框的位置关系以及运动区域像素在触发检测框中的像素变化情况判断目标的运动方向。

9.如权利要求7或8所述固定视频中移动大目标的检测装置，其特征在于，所述移动检测单元具体包括：

头部触发检测模块，用于当检测到触发检测框中有运动区域像素的像素变化后，判定目标头部进入触发检测框；

头部经过检测模块，用于目标头部进入触发检测框后，当检测到拌线检测框中有运动区域像素的像素变化，判定目标头部经过拌线检测框，即判断目标进入检测区域；

尾部触发检测模块，用于当再次检测到触发检测框中有运动区域像素的像素变化后，判定目标尾部进入触发检测框；

尾部经过检测模块，用于目标尾部进入触发检测框后，当检测到拌线检测框中再次有运动区域像素的像素变化，判定目标尾部经过拌线检测框，当拌线检测框中运动区域像素显著减少后，即判断目标离开检测区域。

10.如权利要求7所述固定视频中移动大目标的检测装置，其特征在于，所述检测框按照“╋”、“┣”、“┫”、“┻”或者“┳”形状进行排列布置。

Images