CN110516528A - 一种基于运动背景下的动目标检测和跟踪方法 - Google Patents

Abstract

本发明涉及一种基于运动背景下的动目标检测和跟踪方法，该方法步骤为：(1)运动目标检测。(2)建立目标特征库：建立目标库、检测提取第一帧目标区域、进行SIFT特征提取并存入特征库。(3)帧处理：读取当前帧，当前帧的待搜索区域与特征库进行SIFT匹配，运用RANSAC去除错配点，根据匹配结果框选出目标当前位置。(4)更新特征库：根据特征匹配结果及目标位置，更新目标特征库。(5)以目标新位置为起始，重复步骤(2)～(4)，实现对复杂背景下目标的跟踪。本发明对照明、背景、目标外观的变化具有良好的适应性，解决了动态背景下目标难以检测的问题，以及目标尺度变化和遮挡造成的目标丢失问题，减小了跟踪误差。

Description

一种基于运动背景下的动目标检测和跟踪方法

技术领域

本发明属于图像处理技术领域，涉及一种基于FloodFill算法和形态学处理，并与SIFT算法相融合的复杂背景下运动目标跟踪方法。

背景技术

目前运动目标检测是机器视觉研究热点之一，运动摄像机情况下的目标检测和跟踪还在发展中，它有着许多重要的应用，如雷达吊舱导航航拍图像的目标检测跟踪等，都与摄像机获得的视频图像序列进行处理下的目标检测跟踪有着密不可分的关系。

运动物体的检测与跟踪是视频处理系统的基本和关键，依照运动场景与摄像机之间是否存在相对运动，可以将视频处理分为静态背景和动态背景两大类。所谓静态背景是指运动场景中的运动只存在目标运动，而背景没有或者只有微小的变化。动态背景是指运动场景中的运动由摄像机的运动和目标运动共同运动产生的，相对于静态背景而言，动态背景下的目标跟踪大大地增加了运动目标检测和跟踪的复杂度。因此，动态背景下的运动目标检测和跟踪是个关键也是个难点。

目标检测这方面的算法很多,现实中并不存在绝对通用的算法，所以要根据不同的场景下的特征和鲁棒性的要求来折中选择所需的算法。目前比较常用的几种主要的方法有：时间差分法,背景减除法等。但对于这几种算法来说，通常静态背景下，检测的效果较好，对于动态背景下，对于目标检测来说效果不是很理想。

在基于特征的跟踪中，目标的识别通常是对目标具有高度辨别性的特征进行提取,比较典型的特征提取算法有Harris算法、SUSAN算法等,但这些算法在处理目标形变时往往无能为力,当目标发生形变时,提取的特征发生改变,从而使得目标无法匹配或发生误匹配等现象。

发明内容

根据上述缺陷，本发明提出了一种基于运动背景下的动目标检测和跟踪方法。其中应用FloodFill算法及形态学处理结合等算法进行对目标提取，基于SIFT特征设计了一种跟踪改进算法。

为实现以上的目的，本发明是通过以下技术方案来实现的：

(1)运动目标检测：从采集到的第一帧图像，运用FloodFill算法进行处理通过去噪、形态学处理以及二值图像最小外接矩阵框运算,最终提取得到目标轮廓区域。

(2)首先建立目标库，将第一帧中运动目标图像块提取出来,进行SIFT特征提取后将特征向量存入目标库中目标特征库，形成,每个目标特征包括目标的特征信息。

(3)帧处理：读取当前帧，以更新后的特征库为基准,与当前帧的待搜索区域进行SIFT匹配，运用RANSAC去除错配点，根据匹配结果框选出目标当前位置。

(4)更新目标特征库：根据(3)特征匹配结果及目标位置，更新目标特征库。

(5)以目标新位置为起始，重复第(2)～(4)步的处理，从而实现对复杂背景下目标的实时跟踪。

经过测试，本发明具有的有益效果是：

1、使用FloodFill算法及形态学处理等算法对初始帧进行目标检测处理得到较好的实验效果。

2、使用SIFT算法与RANSAC算法结合进行对目标跟踪，由于SIFT特征是图像的一种局部特征，对图像的旋转、尺度缩放及亮度变化保持良好的不变性，并且对视角变化、仿射变换、噪声也保持一定程度的稳定性，所以本发明减小了跟踪误差，具有良好的自适应性及鲁棒性。

附图说明

图1目标跟踪框架图。

图2本发明方法流程图。

图3目标位置预测及特征库更新示意图。

图4a测试效果图。

图4b测试效果图。

图4c测试效果图。

具体实施方式

以下结合附图对本发明的具体实施方案做作进一步说明。

本发明的主用于动态背景下单目标检测跟踪的。图1为本发明的目标跟踪框架图。大体分为二大部分，第一部分为目标检测部分，第二部分为目标跟踪部分。

步骤1得到第一帧视频图像时，先执行目标检测。该部分由FloodFill算法进行处理通过去噪、形态学处理以及二值图像最小外接矩阵框运算,最终提取得到目标轮廓区域。

步骤2执行目标跟踪模块。该模块是跟踪的核心。该部分是由建立目标特征库、帧处理、更新特征库模块组成。首先建立目标库，将第一帧中运动目标图像块提取出来,进行SIFT特征提取后将特征向量存入特征库中,每个目标特征包括目标的特征信息。帧处理：读取当前帧，以更新后的特征库为基准,与当前帧的待搜索区域进行SIFT匹配，运用RANSAC去除错配点，根据匹配结果框选出目标当前位置。更新特征库：根据特征匹配结果及目标位置，更新目标特征库。

步骤3跟踪结束。判断跟踪是否结束，否则循环执行跟踪模块。

图2为本发明方法流程图。具体描述如下：

步骤1读取第一帧，执行目标检测，主要由FloodFill算法和自适应阈值分割及形态学处理和二值图像最小外接矩阵框等运算得到目标轮廓，进而将目标轮廓大小保存下来。

采集到的第一帧图像先进行FloodFill算法处理，该算法涉及到三个参数：初始种子点，目标颜色判定规则和替换颜色。算法步骤为：(1)种子像素入栈。(2)执行三步：首先栈顶像素出栈，然后将出栈像素设置成填充色，最后检查出栈像素的8-邻接点，若其中某个像素不是边界色且未置成填充色，则把该像素入栈。(3)检查栈是否为空，若非空重复步骤(2),若为空则结束。

对FloodFill算法处理得到的图像进行形态学中的腐蚀、膨胀等操作等处理目的是去除非目标区域。

对于膨胀算法来说，f(x,y)表示当前处理的图像，g(x,y)为结构元素；f(x,y)、g(x,y)分别为当前图像和结构元素在(x,y)的灰度值。图像f(x,y)被结构元素g(x,y)膨胀标记为定义如下：

其中，D_f,D_g分别是f(x,y)和g(x,y)的定义域。

图像f(x,y)被结构元素g(x,y)腐蚀记为定义如下：

其中，D_f,D_g分别是f(x,y)和g(x,y)的定义域。

步骤2建立目标特征库部分。以下是用来产生SIFT图像特征的主要计算步骤：

2-1.尺度空间的生成：尺度空间理论目的是模拟图像数据的多尺度特征，高斯卷积核是实现尺度变化的唯一线性核。尺度空间定义为：

L(x,y,σ)＝G(x,y,σ)*I(x,y) (式3)

其中，G(x,y,σ)是尺度可变高斯函数，(x,y)是空间坐标，σ是尺度坐标。它的大小决定了图像的平滑程度。

2-2检测尺度空间极值：为了寻找尺度空间的极值点，每个采样点要和它的所有相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。搜索所有尺度上的图像位置，使用高斯微分函数可以有效的检测出潜在的特征点，识别出来的这些特征点对于尺度缩放和旋转变化具有不变性；

2-3.关键点的定位：在每个候选的位置上，通过一个拟合三维二次函数以确定关键点的位置和尺度，同时去除对比度低的关键点和不稳定的边缘响应点以增强匹配稳定性、提高抗噪声能力。空间尺度函数为：

求导，并令其为0，得到精确的位置

在已检测到的特征点中，去掉对比度低的点：将公式5带入公式4,取前两项可得：

判断公式6的绝对值>＝0.03,该特征点便保留下来，否则丢弃。

2-4.关键点的方向确定：利用关键点邻域像素的梯度方向分布特性为每个特征点指定方向参数，使算子具备旋转不变性。

其中m(x,y)，θ(x,y)分别为关键点的模值和方向。

2-5.生成特征点描述子：关键点描述子的生成步骤为旋转主方向、生成描述子、归一化处理。

从得到的第一帧图像开始，对步骤1所处理好的目标区域根据上述算法进行sift特征提取得到目标的特征向量，并将其带有的所有信息(位置、方向等)保存下来得到目标的特征库。在下一帧时，根据步骤1保存下来的目标区域，将其放大区域提取SIFT特征，并将这些特征与特征库进行特征匹配；RANSAC去除错配点以便得到更为精确的匹配点，根据匹配结果计算目标位置；根据特征匹配结果及目标位置，更新特征库。

步骤3读取当前帧，根据步骤1保存下来的目标区域，将其放大区域提取SIFT特征，并将这些特征点与特征库进行特征匹配，经过RANSAC(去除错误的匹配点)算法得到更为精确的匹配点，根据匹配结果计算目标位置及更新特征库。

步骤4此处与步骤3、步骤5结合在一起实现了SIFT目标特征的跟踪的核心过程。由于光照、旋转、缩放等因素目标在视频图像中不断变化，因此需要进行特征库更新。特征库更新由图3进行详细介绍。

步骤5跟踪结束条件判断。判断跟踪是否结束，否则循环执行跟踪模块。

图3为目标位置预测及特征库更新示意图。由于无法预测当前帧目标的位置将会在上一帧目标位置周围的哪个方向(图3右侧圆形区域)，所以采用下面方法对目标当前位置进行预测。

步骤1以上一帧目标区域(图3中左侧的黑框)的大小放大2倍，以放大后的区域的中心为圆心，放大后的区域的对角线的一半为半径进行画圆作为搜索区域(图3中右侧圆形区域)。

步骤2对搜索区域进行SIFT特征点提取，然后将特征库中的特征点与搜索区域提取的特征点进行匹配，得到匹配后的特征点对数(如图3中的黑色直线所连接的加号)。

步骤3用步骤2提取出新的特征点来更新目标的特征库。在特征库中设有相应的ID用来区别新旧特征点。当新特征点加入特征库时，初始化ID为0，原有的特征点ID自加，ID越低说明特征点越接近目标特征，当ID自加到一定程度，则剔除此特征点用来完成特征库的更新。

步骤4以特征库中特征点的ID的级别(一般为0～3)来预测当前目标的位置。位置中心的计算方法用以下公式所示：

n为匹配成功的特征对数，(x_i,y_i)为特征坐标，为目标位置中心。

图4为测试效果图。测试了几组实验结果，选取测试视频大小为320*240。图4a视频为可见光下动背景的坦克运动测试视频。图4b视频为吊舱雷达拍摄的车辆运动测试视频。图4a中坦克为检测目标，白色框为目标区域，白色星点为当前帧目标的特征点。图4b中车辆为检测目标，图4b和图4c截取了视频中第10帧和40帧的图片。图中白色框为目标区域，黑色星点分别为第10帧和第40帧目标的特征点。

Claims (4)

1.一种基于运动背景下的动目标检测和跟踪方法,其特征在于该方法包括以下步骤：

步骤1、运动目标检测：从采集到的第一帧图像，运用FloodFill算法进行处理；通过去噪、形态学处理以及二值图像最小外接矩阵框运算,最终提取得到目标轮廓区域；

步骤2、建立目标特征库：首先建立目标库，将第一帧中运动目标图像块提取出来,进行SIFT特征提取后将特征向量存入目标库中形成目标特征库，每个目标特征包括目标的特征信息；

步骤3、帧处理：读取当前帧，以更新后的目标特征库为基准,与当前帧的待搜索区域进行SIFT匹配，运用RANSAC去除错配点，根据匹配结果框选出目标当前位置；

步骤4、更新目标特征库：根据特征匹配结果及目标位置，更新目标特征库；

步骤5、以目标新位置为起始，重复步骤2～步骤4，从而实现对复杂背景下目标的实时跟踪。

2.根据权利要求1所述的动目标检测和跟踪方法，其特征在于步骤1中FloodFill算法具体是：

2-1.种子像素入栈；

2-2.栈顶像素出栈；

2-3.将出栈像素设置成填充色；

2-4.检查出栈像素的8-邻接点，若其中某个像素不是边界色且未置成填充色，则把该像素入栈；

2-5.检查栈是否为空，若栈非空重复步骤2-2,若栈为空则结束。

3.根据权利要求1所述的动目标检测和跟踪方法，其特征在于步骤2中SIFT特征提取具体是：

3-1.尺度空间极值检测：搜索所有尺度上的图像位置，使用高斯微分函数有效的检测出潜在的特征点；识别出来的这些特征点对于尺度缩放和旋转变化具有不变性；

3-2.关键点的定位：在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度；对于每个候选点，确定他们的位置和尺度；

3-3.关键点的方向确定：为每个关键点分配一个主方向或多个辅方向，所有后面操作都被转换为对特征点方向、尺度和位置的操作，从而保证了变化的不变性；

3-4.生成特征点描述子：在每个关键点周围的邻域内，在选定的尺度上测量图像局部的梯度；这些梯度被变换成一种表示，这种表示允许比较大的局部形状的变形和光照变化。

4.根据权利要求1所述的动目标检测和跟踪方法，其特征在于步骤3与步骤4具体是：

4-1.将上一帧目标区域的大小放大2倍，以放大后的区域的中心为圆心，放大后的区域的对角线的一半为半径进行画圆作为搜索区域；

4-2.对搜索区域进行SIFT特征点提取，然后将特征库中的特征点与搜索区域提取的特征点进行匹配，得到匹配后的特征点对数；

4-3.用步骤4-2.提取出新的特征点来更新目标的特征库；在特征库中设有相应的ID用来区别新旧特征点；当新特征点加入特征库时，初始化ID为0，原有的特征点ID自加，ID越低说明特征点越接近目标特征，当ID自加到一定程度，则剔除此特征点用来完成特征库的更新；

4-4.以特征库中特征点的ID的级别来预测当前目标的位置；目标位置中心的计算用以下公式所示：

n为匹配成功的特征对数，(x_i,y_i)为特征坐标，为目标位置中心。