CN102184552A - 一种基于差分融合与图像边缘信息的运动目标检测方法 - Google Patents

Abstract

本发明涉及一种基于差分融合与图像边缘信息的运动目标检测方法，抽取视频图像预处理，并对图像进行边缘提取得到连续的边缘图像，接着用unit8数据格式对连续的边缘图像分别进行帧间差分运算，并对中间帧图像进行背景差分运算，然后融合这两种差分的检测结果，进而初步提取运动行人目标。在背景差分中，改进了自动提取背景的方法，提出一种基于连续边缘图像的背景图像提取和更新方法。然后利用基于自适应背景模型的动态阈值提取图像中的运动目标区域，并进行形态学滤波和连通性检测，最终获取运动行人的前景目标。在光照突变这一复杂环境下准确而可靠地检测出运动目标，在识别率和误检率两个方面均优于传统的三种方法。

Description

一种基于差分融合与图像边缘信息的运动目标检测方法

技术领域

本发明涉及一种检测方法，特别涉及一种基于差分融合与图像边缘信息的运动目标检测方法。

背景技术

近年来，视频监控图像的运动目标检测是一个非常活跃的研究方向，处于视觉监控的最底层，是各种后续处理如目标分类、行为分析理解的基础，在智能监控、视频压缩、自动导航、虚拟现实等方面有着广泛的应用前景。

运动目标检测是指从序列图像中将运动的前景目标从背景图像中提取出来。其任务是从场景序列图像中剔除静止的背景区域，找出运动的前景区域，并尽可能地抑制背景噪声和前景噪声。序列图像和视频中所具有的丰富的原始数据、相邻帧间的强相关性以及时间域上的动态时变模式等在很大程度上使得运动目标的较好检测、分割和识别成为可能。如何检测出运动目标，对视频图像分析具有重要的意义。

静态背景下常用的运动目标检测方法主要有三种：光流法、帧间差分法和背景差法。

光流法是通过研究图像序列的光流场实现运动目标检测的一种方法，其效果依赖于光流估计的准确度，优点是能够检测出独立运动的对象，不需要预先知道场景的任何信息，并可用于摄像机运动的情况，但其计算复杂耗时，除非有特殊硬件支持，否则很难实现实时检测。

帧间差分法是利用序列中相邻两帧或几帧图像间的差异进行目标检测和提取，由于相邻的时间间隔一般较短，因此对于动态环境具有较强的自适应能力，受光线变化影响小，能快速地检测出运动目标的轮廓，然而其轮廓一般表现为不连续，并存在很大的空洞，而三帧差分对于目标的重叠部分仍然不容易检测出来，而且在低对比度条件下，这种现象尤其明显，并且对噪声很敏感。

背景差法是计算机视觉中最常用的运动目标检测算法，其基本思想是将当前每一帧图像与实现存储或实时获取的背景图像想减，计算出与背景偏离超过一定阈值T的区域作为运动区域。该方法可以得到较完整的运动目标，计算速度取决于背景的建立以及背景的更新所采用的方法。考虑速度和稳健性两个方面，背景差法的综合性能最好。但是其在环境突变的情况下，尤其是当光线发生变化的时候，识别率和误检率降会急剧下降。

发明内容

本发明是针对现在技术所存在的上述不足的问题，提出了一种基于差分融合与图像边缘信息的运动目标检测方法，在光照突变这一复杂环境下准确而可靠地检测出运动目标。

本发明的技术方案为：一种基于差分融合与图像边缘信息的运动目标检测方法，包括如下步骤：

1）首先要用摄像机获取场景中的景物视频，得到模拟图像；然后利用图像采集卡将模拟图像转化为数字图像，输入计算机处理模块；

2）计算机处理模块对原始图像进行预处理，对提取的原始图像进行滤波去噪、图像灰度化将彩色视频图像转换为灰度图像后、采用直方图均衡化对图像进行增强操作；

3）从视频中获取预处理后的原始图像，然后用Sobel算子提取图像的边缘信息，得到连续的边缘图像；

4）用unit8数据格式按顺序对提取的连续边缘图像中各帧之间以及中间帧和背景图像进行差分运算，得到差分图像，背景差分采用基于帧差的背景图像提取和更新方法；

5）将差分图像采用“异或”再“非”的逻辑操作，同时将其结果与背景差分结果进行“与”操作；

6）对于步骤5)得到的结果进行滤波处理，再用动态阈值进行二值化处理，将其结果进行“或”运算得到最终的目标轮廓；

7）对最终的目标轮廓进行形态学滤波和连通性检测，得最终运动行人目标的轮廓和位置。

所述用Sobel算子提取图像的边缘信息得到连续的边缘图像，选取Sobel算子作为边缘算子，Sobel算子可以用模板卷积实现，对于一幅图像                                                

，它的边缘图像为：

其中

，

Hx和Hy是Sobel算子的行梯度和列梯度。

所述采用基于帧差的背景图像提取和更新方法，依据预处理后的五帧图像进行自动提取背景，并通过设置一个明确的判断条件，对迭代过程进行控制，来判断某一个时刻背景图像中运动目标已经去除，当条件满足时，则认为背景图像中已经不含有运动目标，对于背景图像的更新，执行背景提取的操作，然后在设定周期内当检测到背景图像与实际情况有较大差异时才执行背景更新的操作，否则跳过。

所述采用“异或”再“非”的逻辑操作,代替逻辑“与”的操作，即如果相同则提取，只要两个二进制数对应的“位”相同则置为1。

本发明的有益效果在于：本发明一种基于差分融合与图像边缘信息的运动目标检测方法，在光照突变这一复杂环境下准确而可靠地检测出运动目标，在识别率和误检率两个方面均优于传统的三种方法。

附图说明

图1为本发明的功能模块示意图；

图2为本发明的计算机处理流程图；

图3为本发明的背景图像提取和更新流程图；

图4为本发明的量化比较结果示意图。

具体实施方式

本发明是通过以下技术方案实现的，首先抽取5帧视频图像预处理，并对5帧图像进行边缘提取得到5帧连续的边缘图像，接着用unit8数据格式对这5帧连续的边缘图像分别进行帧间差分运算，并对中间帧图像进行背景差分运算，然后融合这两种差分的检测结果，进而初步提取运动行人目标。在背景差分中，改进了自动提取背景的方法，提出一种基于5帧连续边缘图像的背景图像提取和更新方法。然后利用基于自适应背景模型的动态阈值提取图像中的运动目标区域，并进行形态学滤波和连通性检测，最终获取运动行人的前景目标。

所述的原始图像预处理是指，对从视频中提取原始图像，对其进行滤波去噪、图像灰度化、直方图均衡化处理。

本发明所述的图像的边缘信息提取是指从视频中提取预处理后的5帧原始图像用Sobel算子梯度化，选取Sobel算子作为边缘算子。Sobel算子可以用模板卷积实现。

对于一幅图像

，它的边缘图像为

      (1)

其中

        (2)

其中Hx和Hy是Sobel算子的行梯度和列梯度，预处理得到5帧连续的边缘图像。

所述的背景差分法与五帧差分法相结合是指：

1) 设经过预处理和提取图像边缘信息得到5帧连续的边缘图像为，

，

，

，

，

 。

2）按下式对各帧之间以及中间帧和背景图像进行差分运算，得到

           (3)

           (4)

           (5)

           (6)

                              (7)

3) 将4个帧间差分图像采用“异或”再“非”的逻辑操作，同时将其结果与背景差分结果进行“与”操作，

       (8)

       (9)

4)对于步骤3)得到的

和

进行滤波处理，再用动态阈值进行二值化处理，将其结果进行“或”运算得到最终的目标轮廓

，

                   (10)

5) 对

进行形态学滤波和连通性检测，得最终运动行人目标的轮廓和位置。

本发明中所述的动态阈值是为了适应光线变化，在

法计算出阈值

的基础上，增加一个动态阈值

，其表达式如下:

      (11)

则动态阈值

                   (12)                                                                 式中是抑制系数，它可以根据实际应用的需求设置为某个值，其参考值为0.5；

表示所处理图像的大小，其数值结果表示检测区域的像素个数。

反映了环境的整体变化情况。如果图像光照变化较小，动态阈值是一个很小的值，在假定检测区域的像素足够多的前提下将趋于0。如果图像光照变化明显，则动态阈值

将明显增大，这就有效地抑制了光线整体变化带来的影响。

本发明所述的基于帧差的背景图像提取和更新方法是指：依据预处理后的五帧图像进行自动提取背景，并通过设置一个明确的判断条件，对迭代过程进行控制，来判断某一个时刻背景图像中运动目标已经去除，当条件满足时，则认为背景图像中已经不含有运动目标，对于背景图像的更新，执行背景提取的操作，然后在设定周期内当检测到背景图像与实际情况有较大差异时才执行背景更新的操作，否则跳过。具体步骤如下：

1)初始化，假设要处理的图像为行、

列，并设置一个

的二维标记矩阵F，其元素F(x,y)标记是否已经提取了(x,y)位置的背景，值设为0或1，分别表示未提取或者已经提取了(x,y)位置的背景。初始化时F(x,y)的值全置为0。同时设置一个计数器P，记录已提取背景的像素点数目，初始化为0。设置变量Q=

表示图像的总像素数目。分配一个缓冲区用来存储提取的背景图像，CB表示背景图像，初始化时为空图像，各像素点的值置为0。

2)获取已经预处理后的五帧图像。

3)检测背景区域，计算差分图像

(i=1,2…4)及其二值化阈值，

采用前文所述的动态阈值

，进行二值化处理:

                  (13)

设置结构元SE，对图像Mask_i执行数学形态学膨胀运算:

                       (14)

4)提取和更新背景图像CB，当

时，对点(x,y)执行背景图像提取和更新；当时，CB(x,y)的值维持不变。

背景图像更新的具体操作如下:

如果标记矩阵中F(x,y)=0，则修改标记值为1，并修改计数器P=P+1，以下式(15)提取背景:

            (15)

如果标记矩阵中F(x,y)=1，则维持标记值和计数值都不变，更新背景由式(16)获取。

 (16)

式(15)和(16)中的

是在区间

内取值的加权系数。

5)循环控制，当P<Q时返回2)，继续循环；或者结束循环，最后得到CB即为背景提取的最后结果。

本发明所述的后处理是指进行形态学滤波和连通检验。首先进行腐蚀运算，去除孤立的小区域，再进行若干次膨胀运算，将小间隙填充。这样一方面可以平滑图像，另一方面可以消除噪声。然后进行连通检验的方法来消除图像内部较大的空洞。

如图1所示，本发明分为图像采集处理模块和计算机处理模块。图像采集理模块中首先要用摄像机1获取场景中的景物视频，得到模拟图像；然后利用图像采集卡2将模拟图像转化为数字图像，输入计算机处理模块。

计算机处理模块又分为4个子模块：预处理模块3、边缘提取模块4、运动目标检测模块5和后处理模块6。选取图像采集处理模块输出的5帧原始数字视频图像，首先进行图像滤波去噪、图像灰度化、直方图均衡化预处理操作，然后对这5帧连续的视频图像采用Sobel边缘算子提取图像的信息边缘，获得5帧连续的边缘图像，接着采用融合五帧差分和背景差分的方法进行运动目标检测，最后经过形态学滤波和连通检测的后处理操作以提取完整的运动前景目标。

如图2所示，计算机处理模块的具体实施方式如下：

（a）原始5帧视频图像预处理：首先采用经典的自适应中值滤波先对原始图像滤波去噪，将这5帧彩色视频图像转换为灰度图像后，然后采用直方图均衡化对图像进行增强操作，使图像细节变得更加清晰。

（b）从视频中获取预处理后的5帧原始图像，然后用Sobel算子提取图像的边缘信息，原理如式（1）和（2）所示，得到5帧连续的边缘图像。

（c）用unit8数据格式按图2中的顺序对提取的5帧连续边缘图像分别进行帧间差分运算，如式（3）、(4)、(5)、(6)所示，得到5帧差分图像

、

、

、

。

（d）对步骤（3）中得5帧差分图像按图2中的顺序采用“异或”再“非”的逻辑操作，得到

和

。

（e）对中间帧

进行背景差分运算，如式（7）所示，得到背景差分图像

。

（f）其中式（7）中背景图像的提取和更新如图3所示。

（g）实际应用中，一般在系统开始的时候执行背景提取操作，然后在一定的周期内当检测到背景图像与实际情况有较大差异时才执行该操作，如果持续不断地执行，会占用较大的内存和较长的处理时间，影响系统实时性。因此，在执行一次背景提取操作后的一段时间内，其结果会应用一定时间，在这段时间内，我们用下边方法执行背景更新操作。

（h）设CB为当前提取出来系统保存的背景图像， CI为当前采集的图像，计算二者差分DI，动态选择阈值T进行二值化得:

（i）

                          (17)

（j）以式（18）来构造即时背景:

                           (18)

（k）然后可以(19)式更新当前即时背景图像:

                        (19)

（l）分别对

和、

进行逻辑“与”操作，如式（8）和（9）所示，得到检测结果

和

。

（m）分别对检测结果

和

进行图像滤波处理，再用动态选择阈值

进行二值化处理。

（n）将二值化的图像进行逻辑“或”运算，如式（10）所示，得到最终的运动行人目标轮廓

。

（o）对

进行形态学滤波和连通性检测，最终得到运动行人目标的轮廓和位置。

为了体现本发明的进步性，以识别率

和误检率

^[9]对上述算法的效率和准确度进行比较，其中识别率和误检率的计算如下式：

           (20)

其中TP表示检测到的与实际相符的运动目标数目，FP表示误检出的非运动目标数目，FN表示未检测出的目标数目。

为了对比各种方法的实时性，用每帧的处理时间来衡量，定义如下：

                         (21)

其中t表示程序运行的总时间，f表示处理的帧数。

采用上述四种方法对光照改变后提取的5帧图像序列进行测试，评价结果如图4所示。其中Algorithm 1～4分别代表三帧差分法，五帧差分法，背景差分法，本发明方法。其中白色条形为识别率DR；灰色条形为误检率FAR；虚线条形为每帧处理时间T(s)。

量化评比结果说明本方法在识别率和误检率两个方面均优于传统的三种方法，虽然处理的是5帧序列图像，其每帧的处理时间仍和传统的方法相当，也能达到实时性的要求，进一步体现了本发明的价值。

Claims (4)

1.一种基于差分融合与图像边缘信息的运动目标检测方法，其特征在于，包括如下步骤：

1）首先要用摄像机获取场景中的景物视频，得到模拟图像；然后利用图像采集卡将模拟图像转化为数字图像，输入计算机处理模块；

2）计算机处理模块对原始图像进行预处理，对提取的原始图像进行滤波去噪、图像灰度化将彩色视频图像转换为灰度图像后、采用直方图均衡化对图像进行增强操作；

3）从视频中获取预处理后的原始图像，然后用Sobel算子提取图像的边缘信息，得到连续的边缘图像；

4）用unit8数据格式按顺序对提取的连续边缘图像中各帧之间以及中间帧和背景图像进行差分运算，得到差分图像，背景差分采用基于帧差的背景图像提取和更新方法；

5）将差分图像采用“异或”再“非”的逻辑操作，同时将其结果与背景差分结果进行“与”操作；

6）对于步骤5)得到的结果进行滤波处理，再用动态阈值进行二值化处理，将其结果进行“或”运算得到最终的目标轮廓；

7）对最终的目标轮廓进行形态学滤波和连通性检测，得最终运动行人目标的轮廓和位置。

2.根据权利要求1所述基于差分融合与图像边缘信息的运动目标检测方法，其特征在于，所述用Sobel算子提取图像的边缘信息得到连续的边缘图像，选取Sobel算子作为边缘算子，Sobel算子可以用模板卷积实现，对于一幅图像                                               

，它的边缘图像为：

其中

，

Hx和Hy是Sobel算子的行梯度和列梯度。

3.根据权利要求1所述基于差分融合与图像边缘信息的运动目标检测方法，其特征在于，所述采用基于帧差的背景图像提取和更新方法，依据预处理后的图像进行自动提取背景，并通过设置一个明确的判断条件，对迭代过程进行控制，来判断某一个时刻背景图像中运动目标已经去除，当条件满足时，则认为背景图像中已经不含有运动目标，对于背景图像的更新，执行背景提取的操作，然后在设定周期内当检测到背景图像与实际情况有较大差异时才执行背景更新的操作，否则跳过。

4.根据权利要求1所述基于差分融合与图像边缘信息的运动目标检测方法，其特征在于，所述采用“异或”再“非”的逻辑操作,代替逻辑“与”的操作，即如果相同则提取，只要两个二进制数对应的“位”相同则置为1。

Images