CN101867805B

CN101867805B - 一种利用警戒网格提升运动检测效率的方法

Info

Publication number: CN101867805B
Application number: CN 200910057092
Authority: CN
Inventors: 范柘
Original assignee: SHANGHAI AWARE INFORMATION TECHNOLOGY Co Ltd
Current assignee: SHANGHAI AWARE INFORMATION TECHNOLOGY Co Ltd
Priority date: 2009-04-20
Filing date: 2009-04-20
Publication date: 2011-10-05
Anticipated expiration: 2029-04-20
Also published as: CN101867805A

Abstract

本发明公开了一种利用警戒网格提升运动检测效率的方法，其包含以下步骤：依照警戒网格中的同一像素标号提取当前帧的子图像；对子图像进行运动检测，判别其中是否存在运动物体；根据子图像中运动物体的区域，对当前帧的原始图像中的相应区域进行局部全分辨率的运动检测；对当前帧的子图像进行背景更新；循环警戒网格，使得在下一帧的图像处理中，针对警戒网格中的下一个像素标号提取子图像，如此循环往复实时对图像进行监控检测。本发明方法在保证实际检测的效果和质量的前提下，能有效提高运动检测帧率，明显降低检测过程中的运算量，提高检测处理的速度。

Description

一种利用警戒网格提升运动检测效率的方法

技术领域

本发明属于图像处理的模式识别领域，典型应用于智能视频监控，具体涉及一种利用警戒网格提升运动检测效率的方法。

背景技术

目前，从图像数据流中实时提取分析运动物体是一项计算量非常大，对运算速度要求非常高的工作。由于智能视频分析系统在向高清、支持多路信号的方向发展。所以，这都要求在保证检测质量的前提下，需要尽可能地降低图像的运算量。

一个比较典型的要解决的问题就是，要保证运动检测的帧率和图像采集的帧率相匹配。PAL，NTSC制式的图像的帧率分别是25和30帧每秒。当采集的图像较大时，现有的硬件条件不足以支撑在此帧率条件下进行多路实时图像分析。

所以目前存在的一些相关技术包括：通过缩减(Downsample)图像来降低运算量。但是所述的缩减法降低了图像的分辨率，同时也缩短了运动检测的有效距离。另外，为了避免阶梯效应(aliasing)，在缩减图像之前，通常需要先经过高斯(Gauss)过滤。而这些步骤都会部分抵消使用小图像来提高帧率的效能。

发明内容

本发明提供一种利用警戒网格提升运动检测效率的方法，在保证实际检测的效果和质量的前提下，能有效提高运动检测帧率，明显降低检测过程中的运算量，提高检测处理的速度。

为了实现上述目的，为本发明提供的利用警戒网格提升运动检测效率的方法的流程图，其包含以下步骤：

步骤1、处理当前帧的图像时，依照警戒网格提取当前帧的子图像；

所述的警戒网格由若干个循环子单元组成，每个循环子单元由m×n个像素组成，依次标号为像素1，2，……，m+n；

从当前帧的原始图像中提取在当前警戒网格中的某个相同标号的所有像素，并组成一个新的子图像供当前帧进行试探性运动检测；

步骤2、对步骤1中得到的当前帧的子图像进行运动检测，判别当前帧的子图像中是否存在运动物体，若存在，同时确定该运动物体的区域，并执行步骤3；若不存在运动物体，则执行步骤4；

步骤2.1、对步骤1中得到的当前帧的子图像进行运动检测，得到其中各个运动像素的位置；

步骤2.2、在检测得到当前帧的子图像上的所有运动像素点后，使用关闭操作将相邻的运动像素聚拢成团(Blob)，并将每个孤立的团提取出来，依照每一个团的位置以及大小得到其包围框(Bounding box)；

步骤2.3、判断是否存在步骤2.2中所述的团，若存在，则说明当前帧中在团所在的区域存在运动物体，继续执行步骤3；若不存在团，则说明当前帧的图像中不存在运动物体，继续执行步骤4；

步骤3、根据步骤2中检测得到的运动物体区域，对当前帧的原始图像中的相应区域进行局部全分辨率的运动检测；

步骤3.1、在原始图像中的相应区域，采用全分辨率模式，对运动物体在当前帧中相应区域内的未被步骤1提取为子图像的像素进行补充运动检测；

所述的相应区域的具体计算方法为：根据在提取出的子图像上存在的团的包围框，对该包围框按警戒网格比例进行m×n的放大，从而在原始图像中得到需要进行补充检测的区域，即得到若干个相邻的循环子单元构成的警戒网格的区域；

所述的进行补充运动检测的具体方法为：对计算得到的原始图像上相应区域内的未被步骤1提取为子图像的像素进行补充运动检测，也就是对属于子图像中的团中包含的运动像素，将和其属于同一个m×n循环子单元的其他在子图像中相应区域内的未被步骤1提取为子图像的像素，进行补充运动检测；

步骤3.2、合并运动检测结果：将当前帧的子图像的运动检测结果和步骤3.1中对警戒网格的相应区域内的未被步骤1提取为子图像的像素区域的补充运动检测结果合并，从而得到当前帧的原始图像上的全分辨率运动检测结果；

步骤4、对当前帧的子图像进行背景更新，以适应逐渐变化的背景环境；

步骤5、循环警戒网格，使其向前循环一步，使得在下一帧的图像处理中，针对警戒网格中的下一个像素标号提取子图像；

如果警戒网格的像素标号向前到达终点m+n，就再循环回到标号1的像素；

随后返回步骤1，继续对所述下一帧图像进行运动检测。

本发明方法中，对警戒网格循环的目的是为了避免在警戒网格间距较大时，对缓慢移动的小物体的运动检测可能产生的延迟。

本发明方法中，由于需要检测跟踪的最小运动物体远大于1个像素，通常在10甚至100个像素量级左右，所以一个正常的运动物体不可能会从警戒网格中漏出去。另一方便，由于此警戒网格的循环往复，所以即使是很小的缓慢移动的物体在第一帧从较疏的网格里“逃脱”，没有被子图像提取到，但其在下一帧内仍然会被捕捉到。

由于循环警戒网格法处理一个周期的像素总数和普通方法相同，所以理论上讲，循环警戒网格法处理一个周期的时间和普通方法处理一帧的时间相同，发现目标的及时性相类似，并没有由于循环检测而延迟对运动物体的发现。所以本发明方法在检测质量上可以得到足够的保证。

另外，在本发明方法中，由于采用m×n个像素构成的循环子单元的警戒网格，所以虽然每一个循环的周期将变长，但是单帧的图像处理量会相应降低；在没有运动物体的情况下，运动检测需要考虑的像素数目变为原始图像全像素的1/m×n；又由于运动检测算法的工作量通常是和所需处理的像素数呈正比关系的；所以当像素数变为原来的1/m×n时，理论上讲，处理速度提高至原来的m×n倍。

进一步，由于运动物体和背景变化所引起的像素变化的时间周期差别巨大，而背景所需适应的变化通常是由于日照变化，云彩运动所引起的，所以适应此类长周期的信号不需要采用图像流帧率级别的采样率。因此对背景模型的更新只需要对当前指定标号的像素，也就是提取后的子图像进行即可。这意味着对背景模型的采样频率降低到原来的1/m×n。从实际测试操作的情况来看，又再次表明本发明方法对运动检测的质量和效果没有影响，但是其明显降低了检测过程中的运算量。

在保证得到相同检测质量和效果前提下，使用本发明方法所提供的循环警戒网格法可提高运动检测速度50％-80％左右。

综上，本发明方法能有效提高运动检测帧率，可以将运动检测结果及时地叠加显示到实时图像上，给用户提供平顺自然的监控效果。同时，在保证实际检测的效果和质量的前提下，明显降低检测过程中的运算量，提高检测处理的速度，将有限的计算机处理能力尽量应用到最需要的时间段和图像区域。

附图说明

图1为本发明所述的利用警戒网格提升运动检测效率的方法的流程图；

图2为本发明中所述的警戒网格的示意图；

图3为本发明中所述的局部全分辨率检测的示意图。

具体实施方式

以下结合图1-图3，通过具体的优选实施例，对本发明做具体说明。

如图1所示，为本发明提供的利用警戒网格提升运动检测效率的方法的流程图，其包含以下步骤：

本实施例中，所述的警戒网格如图2所示，其由25个循环子单元组成，每个循环子单元由2×2个像素组成，依次标号为像素1，2，3和4；故对应当前图像的整个警戒网格的像素标号按照其子单元的像素标号循环变化，即像素1，2，3，4，1，2，3，4，1，2……；

从当前帧的原始图像中提取在当前警戒网格中的某个相同标号的所有像素，并组成一个新的子图像供当前帧进行试探性运动检测；本实施例中，如图3所示，提取警戒网格中标号为1的所有像素，组成新的子图像；

步骤2.1、对步骤1中得到的当前帧的子图像进行运动检测，得到其中各个运动像素的位置；在本实施例中，可以采用的运动检测的方法包括背景减除法，或光流法等；

步骤2.2、在检测得到当前帧的子图像上的所有运动像素点后，使用“关闭”操作将相邻的运动像素聚拢成如图3中所示的团101，并利用FloodFill方法将每个孤立的团提取出来，其即是检测得到运动物体，依照每一个团的位置以及大小得到其包围框(Bounding box)；

对于典型的较大运动物体，可忽略非常小的团的存在(例如当团的大小在5个像素以下时)，从而提高检测效率。

步骤2.3、判断是否存在步骤2.2中所述的团，若存在，则说明当前帧中在团101所在的区域存在运动物体，继续执行步骤3；若不存在团，则说明当前帧的图像中不存在运动物体，继续执行步骤4；

本实施例中，以2×2的循环子单元的警戒网格为例，当在子图像中发现存在团后，将相应的该团的包围框四角坐标放大2倍得到原始图像上的全分辨率检测区域，对每个循环子单元的警戒网格中的另外3个像素(子图像已经检测了1个像素)进行补充运动检测；具体请参考图3所示，通过提取原始图像中的1号像素而得到的子图像，其中被阴影部分覆盖的三个1号像素代表在子图像中检测到的运动像素，将其按2×2的比例放大得到原始图像中的全分辨率检测区域，需要对其中的另外9个相应的被阴影覆盖的像素(标号为2，3，4的像素)进行补充运动检测；

本发明方法中，无论步骤2中在当前帧的子图像中是否有检测到运动物体，都需要对该子图像进行背景更新；

步骤5、循环警戒网格，使其向前循环一步，使得在下一帧的图像处理中，针对警戒网格中的下一个像素标号提取子图像(本实施例中，下一帧是对标号为2的像素提取子图像)；

如果警戒网格的像素标号向前到达终点，就再循环回到起点(本实施例中，若当前对标号为4的像素提取子图像，则在下一帧的图像处理中，循环回到对标号1的像素提取子图像)；

随后返回步骤1，继续对所述下一帧图像进行运动检测。

本发明方法中，由于需要检测跟踪的最小运动物体远大于1个像素，通常在10甚至100个像素量级左右，所以一个正常的运动物体不可能会从警戒网格中漏出去。例如，对于一个2×2的循环子单元的警戒网格，它在提取子图像时的像素间距只有1个像素，远远小于最小运动物体的像素要求。另一方便，由于此警戒网格的循环往复，所以即使是很小的缓慢移动的物体在第一帧从较疏的网格里“逃脱”，没有被子图像提取到，但其在下一帧内仍然会被捕捉到。

另外，在本发明方法中，由于采用m×n(本实施例中是2×2)个像素构成的循环子单元的警戒网格，所以虽然每一个循环的周期将变长，但是单帧的图像处理量会相应降低；在没有运动物体的情况下，运动检测需要考虑的像素数目变为原始图像全像素的1/m×n(本实施例中是1/4)；又由于运动检测算法的工作量通常是和所需处理的像素数呈正比关系的；所以当像素数变为原来的1/m×n(本实施例中是1/4)时，理论上讲，处理速度提高至原来的m×n(本实施例中是4)倍。

进一步，由于运动物体和背景变化所引起的像素变化的时间周期差别巨大，而背景所需适应的变化通常是由于日照变化，云彩运动所引起的，所以适应此类长周期的信号不需要采用图像流帧率级别的采样率。因此对背景模型的更新只需要对当前指定标号的像素，也就是提取后的子图像进行即可。这意味着对背景模型的采样频率降低到原来的1/m×n(本实施例中是1/4)。从实际测试操作的情况来看，又再次表明本发明方法对运动检测的质量和效果没有影响，但是其明显降低了检测过程中的运算量。

Claims

1.一种利用警戒网格提升运动检测效率的方法，其特征在于，具体包含以下步骤：

步骤1、处理当前帧的图像时，从当前帧的原始图像中提取警戒网格中的某个相同标号的所有像素，组成当前帧的子图像；

其中，所述的警戒网格由若干个循环子单元组成，每个循环子单元由m×n个像素组成，依次标号为像素1，2，……，m+n；

步骤2、对步骤1中得到的当前帧的子图像进行运动检测，得到其中各个运动像素的位置；在检测得到当前帧的子图像上的所有运动像素后，使用关闭操作将相邻的运动像素聚拢成团，并将每个孤立的团提取出来，依照每一个团的位置以及大小得到其包围框；判断是否存在所述的团，若存在，说明当前帧的子图像中存在运动物体，则确定该运动物体的区域并继续执行步骤3；若不存在团，说明当前帧的子图像中不存在运动物体，则继续执行步骤4；

步骤3、根据当前帧子图像上所提取的团的包围框，对该包围框按警戒网格比例进行m×n的放大，从而在原始图像中得到需要进行补充检测的区域，即得到若干个相邻的循环子单元构成的警戒网格的区域，对所述需要进行补充检测的区域内的未被步骤1提取为子图像的像素进行补充运动检测，也就是对与子图像中的团中包含的运动像素属于同一个m×n循环子单元的未被步骤1提取为子图像的像素，进行补充运动检测；将步骤1得到的当前帧的子图像的运动检测结果和步骤3中对需要进行补充检测的警戒网格区域内的未被步骤1提取为子图像的像素的补充运动检测结果合并，从而得到当前帧的原始图像上的全分辨率运动检测结果；

步骤5、使警戒网格的像素标号向前循环一步，使得在下一帧的图像处理中，针对警戒网格中的下一个像素标号提取子图像，返回步骤1，继续对所述下一帧图像进行运动检测。

2.根据权利要求1所述的利用警戒网格提升运动检测效率的方法，其特征在于，所述的步骤5中，当警戒网格的像素标号向前循环到达终点m+n时，则循环回到起点标号为1的像素。