CN106875415B - 一种动态背景中弱小动目标的连续稳定跟踪方法 - Google Patents

Abstract

本发明公开了一种动态背景中弱小动动目标的连续稳定跟踪方法，首先获取视频数据，针对每一帧图像进行如下处理：在当前帧图像中，获取待跟踪动目标位置坐标，依据该位置确定目标追踪框；采用贝叶斯框架对目标追踪框内区域建立当前帧图像的空间上下文模型；利用当前帧图像的空间上下文模型与下一帧图像进行卷积计算获得下一帧图像中待跟踪动目标出现位置的置信图，置信度最大的位置即下一帧图像中的待跟踪动目标位置；基于双阈值动目标危机判定，判定待跟踪动目标没有被遮挡或者丢失时，则输出下一帧图像中的动目标位置，当前帧图像的跟踪处理过程结束；否则更新目标追踪框进行重检。该方法实现了目标在背景干扰和遮挡情况下的连续稳定跟踪。

Description

一种动态背景中弱小动目标的连续稳定跟踪方法

技术领域

本发明属于目标检测跟踪研究领域，具体为一种在动态背景下弱小动目标连续稳定跟踪方法。

背景技术

运动目标的跟踪在军事、国防以及工业等领域具有广泛的应用前景，引起了国内外广大科研工作者的浓厚兴趣，使之发展成为计算机视觉的一个热点领域。目前，典型的运动目标跟踪方法主要有：帧差法、基于模板匹配的跟踪方法、基于特征点的跟踪方法和基于周域统计特性的跟踪方法。帧差法适用于背景变化较小的静态场景，算法复杂度低，但对大目标慢动情况只能提取目标的轮廓。基于模板匹配的跟踪方法事先建立的跟踪目标模板直接决定了跟踪的效果，精确有效的目标模板比较难获得，且模板更新过程比较复杂，实时性差。基于特征点的跟踪方法由于不用考虑目标持征的整体性，所以目标跟踪精度高且鲁棒性好，但对简单结构特征点不突出的目标跟踪效果不理想。基于周域统计特性的跟踪方法是目前在实际应用中比较多的一种方法，此算法实现过程简单，并且程序运算速度快。

如何准确的判断目标的遮挡及准确定位重新出现的目标，是实现目标连续稳定跟踪的重点。所谓弱小目标，是指当成像系统和目标的相对位置较远时，虽然目标本身可能有几米甚至十几米的直径，但在成像平面内仅表现为十几个像素的面积。而动态背景下的弱小动目标，由于摄像机运载平台的运动影响及目标自身大小、特征的限制，使其成为运动目标跟踪问题的一个难点。

发明内容

有鉴于此，本发明提供了一种动态背景中弱小动目标的连续稳定跟踪方法，该方法能够对目标被遮挡或者丢失的状况进行判定，从而实现了目标在背景干扰和遮挡情况下的连续稳定跟踪。

为了达到上述目的，本发明的技术方案为：一种动态背景中弱小动动目标的连续稳定跟踪方法，包括以下具体步骤：

S1：获取视频数据，针对视频数据中的每一帧图像按照时间顺序进行如下S2～S6的跟踪处理。

S2：在当前帧图像中，获取待跟踪动目标位置坐标，对当前帧图像进行阈值分割和形态学运算，得到多个连通域，并以包含所述待跟踪动目标位置坐标的连通域作为目标区域，取该目标区域的外接矩形框为目标追踪框。

若当前帧图像为初始帧，则通过外部输入获得该待跟踪动目标位置坐标，否则直接获取上一帧图像跟踪获得的目标位置坐标。

S3：采用贝叶斯框架对目标追踪框内区域建立当前帧图像的空间上下文模型。

S4：利用所述当前帧图像的空间上下文模型与所述下一帧图像进行卷积计算获得下一帧图像中待跟踪动目标出现位置的置信图，置信度最大的位置即下一帧图像中的待跟踪动目标位置。

S5：基于双阈值动目标危机判定，以确定动目标是否遮挡或丢失，具体步骤为：

针对所述下一帧图像中待跟踪动目标出现位置的置信图的峰值尖锐度PSR，计算PSR的标准化值R_t。

统计当前帧图像和下一帧图像目标区域差值的绝对值的元素和作为差异值St。

当R_t小于第一设定阈值，S_t小于第二设定阈值时，判定待跟踪动目标被遮挡或者丢失。

当判定待跟踪动目标没有被遮挡或者丢失时，则输出下一帧图像中的动目标位置，当前帧图像的跟踪处理过程结束。

若判定待跟踪动目标存在被遮挡或者丢失时，进入步S6。

S6、以S4中得到动目标位置为中心确定搜索区域，所述搜索区域尺寸为预先设定值，采用尺度不变特征变换匹配SIFT算法对下一帧图像以及下一帧图像后第k帧图像进行匹配，k为预设的帧间隔，然后利用帧差法对匹配结果中的搜索区域进行帧差得到二值图像，若二值图像中包含动目标且与待跟踪动目标的尺寸限定条件相差在设定范围内，则以所述二值图像中动目标的最小外接矩形作为目标追踪框返回S3，否则增大k值重复本步骤。

进一步地，S3包括如下步骤：

S31：针对当前帧图像t，针对动目标追踪框，利用置信图函数c(x)计算出动目标所在帧的置信度图：

其中，x是动目标追踪框内的像素值，x*为所述动目标的点坐标对应像素值；b是置信图函数中预设的规则化常数，α是置信图函数中预设的尺度参数，β是置信图函数中预设的形状参数；

S32：基于在生物视觉系统中的关注焦点特性，计算出当前帧图像的先验概率图P(c(z)|o)：P(c(z)|o)＝I(z)ω_σ(z-x^*)；

式中的ω_σ为加权高斯函数，定义为：

其中，I(z)表示图像中z坐标处像素的灰度值，a是加权高斯函数中预设的规则化的常数，σ是加权高斯函数中预设的尺度参数，z为动目标追踪框区域内的各像素点的位置坐标；

S33：利用所得到的置信度图和先验概率图建立动目标的空间上下文模型

F代表快速傅里叶变换。

优选地，第一设定阈值为2，第二设定阈值为5。

优选地，β＝1。

有益效果：

1、本发明基于当前目标位置置信图来自适应更新时空上下文模型，避免了目标轻微遮挡时产生模型更新错误，实现目标在背景干扰、轻微遮挡等情况下的稳健长时间跟踪。本发明基于目标位置置信图峰值尖锐度PSR和目标区域灰度强度变化信息的目标危机判别函数，可以对强干扰、严重遮挡情况下目标可能丢失的情况进行判别。

2、本发明中，当目标严重丢失时，基于SIFT实现帧间图像的匹配，并利用区域帧差法对目标进行重新位置确定，将定位结果传送给时空上下文模型，完成线上目标的连续稳定长时跟踪。

附图说明

图1为发明流程图；

图2为采集的视频数据的初始帧图像；

图3为目标区域提取图像，图中(a)为截取的目标128×128的包含目标的处理区域，(b)为自适应分割的模板与目标区域的组合显示，(c)分割结果；

图4为分割目标框在初始帧图像的显示；

图5为追踪丢失时的图像及目标框的显示；

图6为利用SIFT和帧差法重捕获目标及目标外接矩形框的显示；

图7再次利用本文追踪方法的追踪结果显示。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

实施例：本实施例提供了一种针对动态背景中弱小动目标的连续稳定跟踪方法，流程如图1所示，包括以下具体步骤：

S1：获取视频数据，本实施例中所获取的视频数据为利用无人机自主拍摄，采集视频的图像尺寸为720×1280像素的彩色数据，无人机飞行高度为103米，视频帧频为100帧/秒。针对视频数据中的每一帧图像按照时间顺序进行如下处理。本实施例中所采集的初始帧图像如图2所示。

S2：在当前帧图像中，获取待跟踪动目标位置坐标，若当前帧图像为初始帧，则通过外部输入获得该待跟踪动目标位置坐标，否则直接获取上一帧跟踪获得的目标位置坐标即可对当前帧图像进行阈值分割和形态学运算，得到多个连通域，并以包含目标的点坐标的连通域作为目标区域，取该目标区域的外接矩形框为目标追踪框。

本实施例中，点选目标，获得图像目标上的一个点坐标[x,y]，以点坐标周围128×128的包含目标的区域进行目标的预识别，首先，采用小波低通滤波系数对图像进行水平和垂直方向的滤波，通过二者进行算数平方根运算，得到区域的特征图像；其次对特征图像进行迭代阈值分割得到分割结果；通过对分割结果进行三阶卷积平滑处理和空洞填充处理，使目标形状信息更加突出；对各连通域进行标记，去除与边界相连的连通域，并通过面积、长宽比、及离点选坐标距离等信息确定目标二值图像区域，取其外接矩形框为目标框。本实施例中，目标区域提取图像如图3所示，图中(a)为截取的目标128×128的包含目标的处理区域，(b)为自适应分割的模板与目标区域的组合显示，(c)分割结果。图4为分割目标框在初始帧图像的显示。

S3：采用贝叶斯框架对目标追踪框内区域建立其空间上下文模型。

本实施例中，S3包括S31～S34四个步骤。

S31：针对当前帧图像t，针对目标追踪框，利用置信图函数c(x)计算出目标所在帧的置信度图：

其中，x是目标追踪框内的像素值，x*为目标的点坐标对应像素值；b是置信图函数中预设的规则化常数，α是置信图函数中预设的尺度参数，β是置信图函数中预设的形状参数；当β＞1时，其图形比较平滑，不利于跟踪过程中目标中心点的定位，而当β＜1时，图形的尖锋又过于尖锐，会造成跟踪器对噪声过于敏感。这里取β＝1作为最终的参数。

S32：基于在生物视觉系统中的关注焦点特性，计算出当前帧图像的先验概率图P(c(z)|o)：

P(c(z)|o)＝I(z)ω_σ(z-x^*) (2)

式中的ω_σ为加权高斯函数，定义为：

其中，I(z)表示图像中z坐标处像素的灰度值，a是加权高斯函数中预设的规则化的常数，σ是加权高斯函数中预设的尺度参数，z为目标追踪框区域内的各像素点的位置坐标；

S33：利用所得到的置信度图和先验概率图建立目标的空间上下文模型

P(x|c(z),o)＝h^sc(x-z) (3)

将式(2)～(3)代入式(1)中，可以得到

其中，

表示卷积操作。卷积操作计算量大，速度较慢。对式(4)两边同时进行快速傅里叶变换,可以得到

F(c(x))＝F(h^sc(x))*F(I(z)ω_σ(z-x^*)) (5)

其中,F代表快速傅里叶变换,表示对应像素相乘.再对上述公式进行一个简单的变换,即可得到空间上下文模型的计算公式，即

F代表快速傅里叶变换；

S4：利用当前帧图像的空间上下文模型与下一帧图像进行卷积计算获得下一帧图像中目标出现位置的置信图，置信度最大的位置即下一帧图像中的目标位置；

本实施例中可以采用如下步骤执行S4：

S41：在第t+1帧中：当第t+1帧图像到来之前，首先，根据第t侦的目标中心点，提取空间信息区域(即目标和目标所在的位置一定范围内的信息(local context)，Ω_c(X^*)；X为搜索区域的像素值。

S42：构建相应的上下文特征集

输入第t+1帧图像后，利用第t帧的所得到的时空上下文模型，将其与输入图像进行卷积运算，这样就能够得到第t+1峽图像中目标区域的置信度图，在置信度图中，置信度取值最大的位置就是所跟踪的目标中心点所在的位置。用公式表示为：

其中，c_t+1(x)是计算第t+1帧图像的置信度图，由公式(6)推导出来：

由式(8)所得的目标位置是主要由空间信息跟踪的结果，即新的数据图像中的目标位置，基于S4循环进行目标的连续追踪。

S5：基于双阈值目标危机判定，以确定目标是否遮挡或丢失；

(1)每一帧得到的目标位置置信图峰值尖锐度(PSR)是不一样的。PSR大小反映了目标受遮挡、快速运动等因素影响的程度，实验表明目标在不同因素影响下PSR有较大区别，PSR值越大目标位置置信度越高。实验表明：当PSR值稳定在2.5～4时跟踪结果可信度较高，而低于2.5时目标可能受到遮挡、快速运动、光照变化等因素的影响，随着影响程度的增加PSR值也逐步降低。

现有方法中直接采用峰值max表征峰值尖锐度；本发明中采用峰值max值相对均值的偏移量来表征峰值尖锐度；通过减去均值、除以方差运算，将原有的c_t(x)分布变为标准正太分布，使不同帧图像下的置信区域(11*11)分布有通用的阈值进行位置置信度的判别。

式中，c_t(x)是计算第t帧图像的置信度图；μ和σ分别是置信图峰值位置周围11×11邻域内的均值和标准差，R_max表示当前所有帧中PSR的最大值，一旦R_t低于阈值R_th(本发明根据目标框的大小取值为2.0)，表明目标遮挡严重。

(2)为了提高遮挡判别的性能，将目标所在矩形区域分成n个4×4的子块，通过统计相邻帧目标框区域内的灰度相关匹配程度来进行目标是否遮挡或丢失进行判别，公式如下：

式中，p＝1,…,n，对应n个子块区域的块数，u和v对应子块区域的最大长和宽；f_t+1(i,j)表示t+1帧目标区域图像中某子块区域(i,j)位置的像素灰度值，f_t(i,j)表示t+1帧目标区域图像中某子块区域(i,j)位置的像素灰度值；

表示目标区域内目标灰度特征偏移量，即相邻帧图像中目标框区域内目标的灰度相关匹配程度；其[0,10]表示微小差异变化，[10,30]表示重度差异变化，30以上表示严重差异变化。

本发明中，视频运行在

且R_t<2.0时判定目标丢失，效果最佳。

其中图5为追踪丢失时的图像及目标框的显示。

当判定待跟踪动目标没有被遮挡或者丢失时，则输出下一帧图像中的目标位置；

若判定待跟踪动目标存在被遮挡或者丢失时，进入步S6；

S6、以S4中得到动目标位置为中心确定搜索区域，搜索区域尺寸为预先设定值，采用尺度不变特征变换匹配算法即SIFT算法对下一帧图像以及下一帧图像后第k帧图像进行匹配，k为预设的帧间隔，k的值不必过大，可以根据帧率的动目标速度确定，应当能够保证动目标能够出现，然后利用帧差法对匹配结果中的搜索区域进行帧差得到二值图像，若二值图像中包含动目标且与待跟踪动目标的尺寸限定条件相差在设定范围内，则以二值图像中动目标的最小外接矩形作为目标追踪框返回S3，否则增大k值重新进行匹配，k值增大部分不必过大，可以直接自增k。

上述尺寸限定条件可以为预先设定，或者依据S2中所跟踪到的目标区域尺寸进行设定。

图6为利用SIFT算法和帧差法重捕获目标及目标外接矩形框的显示；图7再次利用本文追踪方法的追踪结果显示。

综上，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种动态背景中弱小动目标的连续稳定跟踪方法，其特征在于，包括以下具体步骤：

S1：获取视频数据，针对视频数据中的每一帧图像按照时间顺序进行如下S2～S6的跟踪处理；

S2：在当前帧图像中，获取待跟踪动目标位置坐标，对当前帧图像进行阈值分割和形态学运算，得到多个连通域，并以包含所述待跟踪动目标位置坐标的连通域作为目标区域，取该目标区域的外接矩形框为目标追踪框；

若当前帧图像为初始帧，则通过外部输入获得该待跟踪动目标位置坐标，否则直接获取上一帧图像跟踪获得的目标位置坐标；

S3：采用贝叶斯框架对目标追踪框内区域建立当前帧图像的空间上下文模型；

S4：利用所述当前帧图像的空间上下文模型与下一帧图像进行卷积计算获得下一帧图像中待跟踪动目标出现位置的置信图，置信度最大的位置即下一帧图像中的待跟踪动目标位置；

S5：基于双阈值动目标危机判定，以确定动目标是否遮挡或丢失，具体步骤为：

针对所述下一帧图像中待跟踪动目标出现位置的置信图的峰值尖锐度PSR，计算PSR的标准化值R_t；

统计当前帧图像和下一帧图像目标区域差值的绝对值的元素和作为差异值S_t；

当R_t小于第一设定阈值，S_t大于第二设定阈值时，判定待跟踪动目标被遮挡或者丢失；

当判定待跟踪动目标没有被遮挡或者丢失时，则输出下一帧图像中的动目标位置，当前帧图像的跟踪处理过程结束；

若判定待跟踪动目标存在被遮挡或者丢失时，进入步骤S6；

S6、以S4中得到动目标位置为中心确定搜索区域，所述搜索区域尺寸为预先设定值，采用尺度不变特征变换匹配SIFT算法对下一帧图像以及下一帧图像后第k帧图像进行匹配，k为预设的帧间隔，然后利用帧差法对匹配结果中的搜索区域进行帧差得到二值图像，若二值图像中包含动目标且与待跟踪动目标的尺寸限定条件相差在设定范围内，则以所述二值图像中动目标的最小外接矩形作为目标追踪框返回S3，否则增大k值重复本步骤。

2.如权利要求1所述的一种动态背景中弱小动目标的连续稳定跟踪方法，其特征在于，所述S3包括如下步骤：

S31：针对当前帧图像t，针对动目标追踪框，利用置信图函数c(x)计算出动目标所在帧的置信度图：

其中，x是动目标追踪框内的像素值，x*为所述动目标的点坐标对应像素值；b是置信图函数中预设的规则化常数，α是置信图函数中预设的尺度参数，β是置信图函数中预设的形状参数；

S32：基于在生物视觉系统中的关注焦点特性，计算出当前帧图像的先验概率图P(c(z)|o)：P(c(z)|o)＝I(z)ω_σ(z-x^*)；

式中的ω_σ为加权高斯函数，定义为：

其中，I(z)表示图像中z坐标处像素的灰度值，a是加权高斯函数中预设的规则化的常数，σ是加权高斯函数中预设的尺度参数，z为动目标追踪框区域内的各像素点的位置坐标；

S33：利用所得到的置信度图和先验概率图建立动目标的空间上下文模型

F代表快速傅里叶变换。

3.如权利要求2所述的一种动态背景中弱小动目标的连续稳定跟踪方法，其特征在于，所述第一设定阈值为2，第二设定阈值为5。

4.如权利要求1、2或者3所述的一种动态背景中弱小动目标的连续稳定跟踪方法，其特征在于，β＝1。

Images