CN109740558B - 一种基于改进光流法的移动目标检测方法 - Google Patents

Abstract

本发明公开了一种基于改进光流法的移动目标检测方法，涉及计算机视觉技术领域，本发明结合传统的LK光流法，在原有的基础上结合帧间差分法和meanshift聚类算法进行优化和改进，使其能够在静态背景和动态背景下都能准确的提取出移动目标。同时改进的方法还一定程度上缩短了执行的时间，且对光线变化等噪声干扰有一定的抵抗能力。

Description

一种基于改进光流法的移动目标检测方法

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于改进光流法的移动目标检测方法。

背景技术

移动目标检测，是智能视频监控系统的基础技术，在导弹发射、违章拍照、卫星导航、机器人图像识别等各个领域都涉及该方面的工作。移动目标检测主要包含3种类别：帧间差分法，背景差分法，光流法。光流法在对移动目标进行检测的过程中，由于所获得的光流矢量是从三维空间投影到二维照片上的位移，因此我们得到的结果不仅仅是物体的运动轨迹，还包含物体本身在三维空间上的信息。

光流法作为移动目标检测中的一类重要算法，在相关领域有着广泛的应用，但目前的光流法易受到光线变化和背景运动带来的影响，对移动目标的检测并不十分准确。有许多学者提出了帧间差分法或者是三帧差法对LK光流算法的改进算法，能够有效的提高光流法的计算速度与移动目标的计算精度。这些算法大多数都是针对静态背景的，但是对于运动背景下传统LK算法的局限性，依然没有什么效果。大多数实际的图像序列中可能存在背景的全局运动,会对光流算法产生影响。针对动态背景，很多人利用模糊U邻域(FUNN)聚类等算法实现光流的聚类,从而剔除噪音、孤立点和不感兴趣样本实现前景和背景的分离。虽然提升了移动目标检测精度，但是由于算法较为繁琐，时间复杂度过高，不利于快速的计算，所以就需要一种基于改进光流法的移动目标检测方法。

发明内容

本发明实施例提供了一种基于改进光流法的移动目标检测方法，用以解决现有技术中存在的问题。

一种基于改进光流法的移动目标检测方法，包括如下步骤：

S1.对连续两帧图像进行预处理，即将连续两帧图像转为灰度图，并进行中值滤波；

S2.对所述步骤S1预处理后的连续两帧图像利用帧间差分法产生二值图像，并去除二值图像中小面积图形；

S3.根据所述步骤S2处理好的二值图对原图像进行切割，获取连续两帧移动目标轮廓图；

S4.利用canny算子计算出前一帧轮廓图的边缘特征点；

S5.利用LK金字塔光流法计算边缘特征点的光流矢量，进而形成光流矢量图；

S6.对存在光流的特征点进行过滤；

S7.利用meanshift聚类算法将过滤后特征点矢量相似的分为一类，计算各类的中心点；

S8.选取包含点数最多的类中心点，将其视为背景点，将类似的点从矢量图中剔除；

S9.根据更新后的矢量图生成二值图像，并再一次去除小面积图形，获得最终结果。

较佳地，在所述步骤S2中，图像中小面积图像是指图像中存在的孤立的白点，即噪声点。

较佳地，在所述步骤S5中，在利用LK金字塔光流法计算边缘特征点的光流矢量时，其中金字塔的层数为3-4层。

本发明有益效果：本发明提出的帧间差分法与Lk光流法以及meanshift结合的改进方法的优点：(1)针对LK金字塔光流法计算复杂时间复杂度高的问题，使用帧间差分法缩小检测区域；(2)针对背景运动对移动目标检测干扰问题，采用meanshift算法删除背景点，同时对输入特征点序列进行筛选过滤，减少meanshift算法运行时间；(3)利用删除小目标的函数对结果进一步优化。本发明方法较传统光流法来说在一定程度上减少了执行时间，且在运动背景下检测移动目标准确率显著提高。

附图说明

图1为本发明实施例提供的一种基于改进光流法的移动目标检测方法的结构示意图；

图2为本发明实施例提供的一种基于改进光流法的移动目标检测方法的小区监控视频图像；

图3为本发明实施例提供的一种基于改进光流法的移动目标检测方法的道路监控视频图像；

图4为本发明实施例提供的一种基于改进光流法的移动目标检测方法的车载记录仪监控视频图像；

图5为本发明实施例提供的一种基于改进光流法的移动目标检测方法的户外探险监控视频频图像；

图6为本发明实施例提供的一种基于改进光流法的移动目标检测方法的四种方法运行时间对比图一；

图7为本发明实施例提供的一种基于改进光流法的移动目标检测方法的4组原始图像序列；

图8为本发明实施例提供的一种基于改进光流法的移动目标检测方法的帧间差分法与背景差分法结合方法对于序列1的检测效果图；

图9为本发明实施例提供的一种基于改进光流法的移动目标检测方法的帧间差分法与背景差分法结合方法对于序列2的检测效果图；

图10为本发明实施例提供的一种基于改进光流法的移动目标检测方法的帧间差分法与背景差分法结合方法对于序列3的检测效果图；

图11为本发明实施例提供的一种基于改进光流法的移动目标检测方法的帧间差分法与背景差分法结合方法对于序列4的检测效果图；

图12为本发明实施例提供的一种基于改进光流法的移动目标检测方法的帧间差分法与背景差分法结合方法的运行时间对比图；

图13为本发明实施例提供的一种基于改进光流法的移动目标检测方法的LK光流法及其结合方法对于序列1的检测效果图；

图14为本发明实施例提供的一种基于改进光流法的移动目标检测方法的LK光流法及其结合方法对于序列2的检测效果图；

图15为本发明实施例提供的一种基于改进光流法的移动目标检测方法的LK光流法及其结合方法对于序列3的检测效果图；

图16为本发明实施例提供的一种基于改进光流法的移动目标检测方法的LK光流法及其结合方法对于序列4的检测效果图；

图17为本发明实施例提供的一种基于改进光流法的移动目标检测方法的四种方法运行时间对比图二；

图18为本发明实施例提供的一种基于改进光流法的移动目标检测方法的三种结合方法在4组数据上的执行时间对比图；

图19为本发明实施例提供的一种基于改进光流法的移动目标检测方法的三种较好方法运行时间平均值对比图。

具体实施方式

下面结合发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

参照图1，本发明提供了一种基于改进光流法的移动目标检测方法，本发明首先要利用帧间差分法对前后两帧图像进行差分运算得到二值图像。在获取到二值图像后，会发现图像中有可能存在许多孤立的白点(噪声点)，直接剔除即可。通过处理后的二值图，可以得到运动物体的大概位置。我们将这个位置从原图中截取出来进行后续运算，既在一定程度上减少噪音的干扰，又能加快后续光流法的计算速度。

具体包括如下步骤：

S1.对连续两帧图像进行预处理，即将连续两帧图像转为灰度图，并进行中值滤波；

S2.对所述步骤S1预处理后的连续两帧图像利用帧间差分法产生二值图像，并去除二值图像中小面积图形；在所述步骤S2中，图像中小面积图像是指图像中存在的孤立的白点，即噪声点。

S3.根据所述步骤S2处理好的二值图对原图像进行切割，获取连续两帧移动目标轮廓图；

S4.利用canny算子计算出前一帧轮廓图的边缘特征点；

S5.利用LK金字塔光流法计算边缘特征点的光流矢量，进而形成光流矢量图；在所述步骤S5中，在利用LK金字塔光流法计算边缘特征点的光流矢量时，其中金字塔的层数为3-4层。

在进行移动目标检测时，不一定非要知道每个点的信息，大部分最重要的信息保留在边缘特征点内。由于LK光流法是可以用来计算稀疏光流的，我们只需针对边缘特征点(代表着物体的轮廓)来绘制光流矢量图，进而捕获到移动物体的位置。计算边缘点的算法有很多种，例如说Roberts算子，sobel算子，还有Canny算子等。

本发明选取的是Canny算子计算边缘特征点。在得到边缘特征点后，针对这些点进行LK金字塔光流运算。搭建高斯金字塔时，一般搭建3-4层即可。层数过少则无法有效处理运动速度快的光流，层数过多容易造成数据丢失。

S6.对存在光流的特征点进行过滤；

S7.利用meanshift聚类算法将过滤后特征点矢量相似的分为一类，计算各类的中心点；

S8.选取包含点数最多的类中心点，将其视为背景点，将类似的点从矢量图中剔除；

S9.根据更新后的矢量图生成二值图像，并再一次去除小面积图形，获得最终结果。

针对背景运动问题，本发明利用meanshift聚类算法去除背景光流矢量。由于背景运动往往是由于摄像头移动造成的，但摄像头移动速度总有一个限度。为此本发明设置一个阈值对输入的特征点序列进行过滤，当某点光流矢量大小大于该阈值时，直接认为这个点属于移动物体，不参与meanshit运算。

这样做减少了meanshift算法输入的数据量，只针对部分特征点计算，加快运行的时间。将这部分特征点的光流矢量数值作为输入，重新搭建一个坐标系，对这个坐标系进行meanshift聚类运算，对特征点进行分类并计算出各类中心点，分类之后，找到包含点数最多类的中心点a，将点a的坐标视为背景点的矢量数值，从光流矢量图中剔除即可(光流矢量设为0)。剔除之后，将光流矢量图转化为二值图(存在光流矢量的点置为1，其余的点置为0)，会发现还会有许多孤立点。本发明将这些点视为未去净的背景点，通过MATLAB自带函数再一次去除小面积图形即可。

本实验是在matlab R2016a平台下完成的，先利用本发明改进方法分别在静态背景和动态背景下对移动目标进行检测，同时挑选三种已有的改进方法(帧间差分法结合LK光流法、传统LK光流法、LK光流法结合meanshift算法)进行比较，分析本发明方法可行性。

实施例1、静态背景下的移动目标检测

参照图2和图3，针对静态背景，本发明选取2组视频图像序列进行对比：

序列1：小区监控视频图像，背景静止，人匀速向前步行

序列2：道路监控视频图像，背景基本静止，道路车辆飞速移动。

从两组图片中可以看出，相较于其他三种方法，本发明的方法检测出来的移动目标更为精确。虽然其他3种原有方法也可以检测出移动目标，但还是有许多背景噪声没有去除。

实施例2、动态背景下的移动目标检测

参照图4和图5，针对运动背景，本发明选取2组视频图像序列进行对比，分别是：

序列1：车载记录仪监控视频图像，视频图像背景轻微晃动，车行驶较为缓慢；

序列2：户外探险监控视频图像，视频背景较为晃动，人缓慢步行。

经过对比，相较于其他改进方法，本发明改进方法在背景移动的情况下能较为精确的提取出移动目标。针对帧间差分法和LK光流法结合方法和传统的LK光流法，从图中可以看出检测效果极差，而LK光流法与meanshift算法结合方法，相较于本发明方法而言，有更多的瑕点没有去除。

参照图6，从执行时间上来说，虽然帧间差分法结合光流法计算时间最短，但是在动态背景下计算效果较差。另外两种方法在大部分情况运行时间都高于本发明方法，且得到的结果也不是十分理想。综合考虑，还是本发明方法更加优秀。

实施例3、与其他方法的对比

选用四种帧间差分法与背景差分法结合的方法与本发明方法进行比较：连续帧差法与背景差分法结合、五帧差分法与背景差分法结合、背景差分法与改进三帧差分法结合、背景差分法与改进五帧差分法结合。

参照图7-19，4组原始图像序列分别为：1.person、2.car、3.dog、4.ball

通过对比，可以发现：背景差分与改进三帧差分法结合的改进方法运行相对更快，但对于背景运动较大的复杂背景，此类结合方法检测效果较差。因此，帧间差分法与背景差分法结合的方法，更适用于简单静态背景或背景运动不大时的移动目标检测，可以应用在楼道、室内、道路、工厂、简单野外等公共安全视频监控领域。

而本发明提出的LK光流法+meanshift算法、帧间差分法与LK光流及meanshift结合的方法，检测效果更好，排除晃动、光照等干扰，不会把背景晃动区域错误的检测为移动目标，适用于复杂运动背景，也适用于简单静态背景。所以，本发明方法在公共安全视频监控领域中的应用性更强更广泛。

综上所述，本发明提出的帧间差分法与Lk光流法以及meanshift结合的改进方法的优点：(1)针对LK金字塔光流法计算复杂时间复杂度高的问题，使用帧间差分法缩小检测区域；(2)针对背景运动对移动目标检测干扰问题，采用meanshift算法删除背景点，同时对输入特征点序列进行筛选过滤，减少meanshift算法运行时间；(3)利用删除小目标的函数对结果进一步优化。本发明方法较传统光流法来说在一定程度上减少了执行时间，且在运动背景下检测移动目标准确率显著提高。

以上公开的仅为本发明的一个具体实施例，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (2)

1.一种基于改进光流法的移动目标检测方法，其特征在于，包括如下步骤：S1.对连续两帧图像进行预处理，即将连续两帧图像转为灰度图，并进行中值滤波；S2.对所述步骤S1预处理后的连续两帧图像利用帧间差分法产生二值图像，并去除二值图像中小面积图形，图像中小面积图像是指图像中存在的孤立的白点，即噪声点；S3.根据所述步骤S2处理好的二值图对原图像进行切割，获取连续两帧移动目标轮廓图；S4.利用canny算子计算出前一帧轮廓图的边缘特征点；S5.利用LK金字塔光流法计算边缘特征点的光流矢量，进而形成光流矢量图；S6.对存在光流的特征点进行过滤；S7.利用meanshift聚类算法将过滤后特征点矢量相似的分为一类，计算各类的中心点；S8.选取包含点数最多的类中心点，将其视为背景点，将类似的点从矢量图中剔除；S9.根据更新后的矢量图生成二值图像，并再一次去除小面积图形，获得最终结果。

2.如权利要求1所述的方法，其特征在于，在所述步骤S5中，在利用LK金字塔光流法计算边缘特征点的光流矢量时，其中金字塔的层数为3-4层。

Images