CN114092512A - 基于自适应多核相关滤波的雷达目标检测与跟踪方法 - Google Patents

Abstract

本发明公开了一种基于自适应多核相关滤波的雷达多扩展目标检测与跟踪方法，属于目标检测与跟踪领域。所述方法首先采用新生目标自适应算法得到存活目标集合，然采用三步航迹估计算法对所述存活目标集合中的每个目标进行预测；本发明将单扩展目标跟踪扩展为多扩展目标跟踪，通过提出的新生目标自适应算法，避免了原MKCF方案漏跟问题；通过使用动态提取目标三帧鲁棒图像的方法为目标建立KCF跟踪器，解决了MKCF算法中产生非鲁棒KCF模板的问题；提出了三步航迹估计算法，解决了原MKCF延伸为多扩展目标跟踪中出现目标难匹配、目标形变、目标遮挡、目标紧邻与杂波过大的问题，并在多扩展目标跟踪上取得了鲁棒的结果。

Description

基于自适应多核相关滤波的雷达目标检测与跟踪方法

技术领域

本发明涉及基于自适应多核相关滤波的雷达目标检测与跟踪方法，属于目标检测与跟踪领域。

背景技术

近年来，长江流域贸易日益增加，同时内河道安全问题频繁发生，因此船舶监控变得尤为重要。但在复杂多变的环境下，基于雷达x波段信息存在信号干扰严重，杂波数过多的问题，并且在实际多目标跟踪过程中，还会存在目标形变、目标数量不确定、目标遮挡、目标紧邻，目标改变过快等复杂情况。因此，基于雷达信息的船舶多扩展目标检测及跟踪非常具有挑战性。

在2014年由Joao F.Henriques等提出来的核相关滤波算法(Kernel CorrelationFilter，KCF)在跟踪效果及跟踪速度上取得了一定的优势，在跟踪过程中，使用目标周围区域的循环矩阵采集正负样本来训练目标检测器，并成功利用循环矩阵的傅里叶域可对角化性质，大大降低了运算量，并在基于雷达目标跟踪领域得到了广泛的应用。

YI Zhou等人提出了基于X波段雷达数据的单扩展目标跟踪方法，即多核相关滤波方法(Multiple Kernelized Correlation Filters，MKCF)，给出了一种动态使用多个KCF滤波器的技术，以此来解决出现严重遮挡、河面杂波过大和目标之间干扰强等情况下的非鲁棒跟踪。概括来说，KCF算法在干扰小，无遮挡的时候能够取得很好的跟踪效果，但现实中，情况往往复杂多样，因此，在基于KCF算法上的目标跟踪算法主要是通过改变KCF的使用方式以及结合其他算法来解决跟踪过程中出现的问题。在将MKCF算法应用于多扩展目标跟踪时，在目标的跟踪过程中，目标的KCF跟踪器虽然能够产生高评估分数的预测框，但这个预测框却不鲁棒，这是由于目标形变引起了KCF跟踪器的跟踪效果差；MKCF技术中采用分水岭算法实时检测跟踪目标周围区域，得到与跟踪目标交并比(Intersection over Union，IOU)匹配的检测目标，然后用最优匹配的检测目标建立新的KCF跟踪器，但这种方案不适用于多扩展目标跟踪；MKCF技术中采用先跟踪后检测的航迹估计算法，应用于多扩展目标跟踪后，由于雷达极坐标图像干扰过大，MKCF航迹估计算法过于简单，得到的跟踪效果并不好。所以，本发明针对这三个问题做出改进。

发明内容

为了解决上述在扩展目标跟踪中跟踪效果差的问题，本发明提供了一种基于自适应多核相关滤波的雷达目标检测与跟踪方法，所述方法首先采用新生目标自适应算法得到存活目标集合，然后采用三步航迹估计算法对所述存活目标集合中的每个目标进行预测；

所述新生目标自适应算法包括：卡尔曼滤波算法和数据关联算法；所述多扩展目标跟踪方法依次采用卡尔曼滤波算法和数据关联算法对待跟踪目标进行处理，得到存活目标集合；

所述三步航迹估计算法包括：首先采用优化的MKCF算法对目标进行预测，如果所述优化的MKCF算法不能成功得到最终的跟踪结果，则采用分水岭算法对目标周围进行检测，如果所述优化的MKCF算法和所述分水岭算法都不能成功得到最终的跟踪结果，则采用所述卡尔曼滤波算法中的预测框作为最终的跟踪结果。

可选的，所述采用新生目标自适应算法得到存活目标集合，包括：

对于视频的中间帧，k>0，将第k帧的跟踪结果S_k中所有目标经过卡尔曼滤波预测后的目标框集合

与B_k、G_k+1进行数据关联；

其中，

为第k帧虚警或新生目标集合，B_k中包含杂波和新生目标；

为k+1时刻的检测框集合；

数据关联的过程包括：

首先，将

和G_k+1中的目标框进行关联，利用目标框之间中心点距离差和目标框之间的交并比IOU满足阈值来得到关联矩阵，并将

中与G_k+1中成功匹配上的目标识别为第k+1帧有检测的存活目标，

中未成功匹配的目标识别为无检测的存活目标，当这种目标的无检测帧数超过阈值，则将目标识别为结束跟踪目标；

然后，将G_k+1中未成功匹配上的目标与B_k中的目标进行关联，采取距离作为关联因素，将匹配上的目标作为第k+1帧的新生目标；

最后，将G_k+1中经过上述两步都没有成功匹配上的目标作为第k+1帧的新生或虚警目标B_k+1；组合第k帧的跟踪目标集

和第k+1帧的新生目标集得到第k+1帧的存活目标集合

可选的，所述优化的MKCF算法包括：

在当前帧时刻，对存活目标集合M＝{m₁,m₂,…,m_n}中的目标m进行操作；

若m是新生目标，则为目标m创建KF跟踪器，并利用当前帧的图像为目标m创建KCF跟踪器，然后将这个KCF跟踪器加入到目标m的KCF跟踪器集合track_kcf_m中；

若m是存活目标，采用离当前帧时刻最近的三帧图像区域块为目标建立KCF跟踪器。

可选的，所述采用离当前帧时刻最近的三帧图像区域块为目标建立KCF跟踪器，这三帧图像应该满足：此目标在这三帧图像中被判定为有检测的存活目标。

可选的，所述从三帧图像中选取图像区域块建立KCF跟踪器的步骤包括：

若是目标存在的KCF跟踪器预测的目标框响应满足峰值旁瓣比PSR阈值，则将所有满足PSR阈值的预测框和与此目标匹配上的检测框融合起来产生一个最优的图像框，然后用这个图像框数据为目标建立新的KCF跟踪器；

若是没有满足PSR阈值的预测框，则采用水滴算法检测此帧目标周围区域，然后将所有检测到的检测框与目标上一帧跟踪结果框作中心距离差、宽高差和IOU比较，取结果中最优的检测框作为目标新的KCF跟踪器模板；

若是两种方法都没有成功实现，则采用当前帧检测集G中与目标匹配上的检测框作为新的KCF跟踪器模板。

可选的，所述三步航迹估计算法包括：

首先，采用所述优化的MKCF算法对目标进行预测，得到目标所有KCF跟踪器的响应矩阵和预测框，采用所述优化的MKCF算法中的融合算法将响应矩阵中满足PSR的预测框进行融合计算，得到一个优化的预测框b；

若目标为有检测的存活目标，则采用三步航迹估计算法中的融合算法将所述预测框b和目标对应的检测框进行第二次融合计算，得出一个最优的结果，将这个结果作为目标第k+1帧的最终跟踪结果；若目标为无检测的存活目标，则不用融合检测框，直接采用预测框b作为目标第k+1帧的跟踪结果；

其次，若是目标经过所述优化的MKCF算法预测后没有产生满足PSR阈值的预测框，则采用分水岭算法对目标周围进行检测，产生检测集

若目标为有检测的存活目标，则将检测集

中的检测框与目标所带的检测框g_k+1作宽高差比较，将小于宽高差阈值的

元素再去与目标第k帧经过卡尔曼滤波算法预测后的跟踪结果作中心距离和IOU比较，将最优的结果作为目标第k+1帧的跟踪结果；

最后，若是没有产生检测集

则有检测的存活目标使用目标所带的检测框g_k+1作为目标第k+1帧的跟踪结果，无检测的存活目标使用第k帧跟踪结果经过卡尔曼滤波算法预测后的预测框作为目标第k+1帧的跟踪结果。

可选的，所述目标m的KCF跟踪器集合track_kcf_m最大数量可以容纳3个KCF跟踪器。

可选的，所述方法包括：

对于视频的初始帧，k＝0，将检测框集合G₀中的检测框全部加入到虚警或新生目标集合B₀中作为第0帧的虚警或新生目标，在k＝1时，将检测框集合G₁中的检测框与虚警或新生目标集合B₀中的目标框做框中心距离运算，若是差值小于距离阈值，则将检测框集合G₁和虚警或新生目标集合B₀匹配上的目标作为第1帧的新生目标，检测框集合G₁中剩下的检测框作为新的虚警或新生目标集合B₁。

可选的，PSR阈值为13。

本发明还提供上述的基于MKCF的雷达多扩展目标跟踪方法在目标检测与跟踪、雷达智能信息处理领域内的应用。

本发明有益效果是：

(1)本发明可实现多扩展目标跟踪，通过提出的新生目标自适应算法，完成了多扩展目标跟踪前的目标匹配问题，避免漏跟的多扩展目标跟踪，比MKCF具有更好的跟踪效果；

(2)本发明提出的优化MKCF算法，通过使用动态提取目标三帧鲁棒图像的方法为目标建立KCF跟踪器，这样做的优势在于将目标过去两帧的有效信息与当前时刻有效信息结合起来，解决了MKCF算法中只利用当前信息的情况下会产生非鲁棒KCF模板的问题，在中心距离误差、重叠精度两种评价指标上达到了比MKCF更好的效果；

(3)本发明提出的三步航迹估计算法，通过将航迹估计分成三种：第一种，利用优化的MKCF算法进行目标跟踪，第二种，采用分水岭算法进行目标检测后跟踪，第三种，使用KF预测进行目标跟踪；通过这三种跟踪方法的有效结合，相对于MKCF简单的先跟踪后检测的跟踪方法，本发明的方法既利用了目标当前帧的相关性信息，又利用了目标前后帧的速度信息，并且将两种信息有效互补，解决了目标相互临近、过桥遮挡、干扰过强和目标形变以及变速等情况下的多扩展目标跟踪问题，相对于现有技术取得了更好的跟踪效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明方法的整体流程图。

图2是MKCF的整体流程图。

图3是基于本发明的检测算法产生的三帧检测可视化图。

图4是IOU算法的图解与计算公式说明图。

图5是本发明方法的MKCF优化算法实施流程图。

图6是对比目标紧邻情况的实验一结果图。

图7是对比过桥遮挡情况的实验二结果图。

图8是对比目标形变情况的实验三结果图。

图9是本发明与MKCF实验CLE结果对比图。

图10是本发明与MKCF实验OP结果对比图。

图11是本发明的DP结果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

首先对本申请涉及的相关内容进行介绍如下：

1、核相关滤波原理

核相关滤波算法(Kernel Correlation Filter，KCF)就是根据当前帧的信息和之前帧的信息训练出一相关滤波器，然后与新输入的帧进行相关性计算，得到置信图；首先，我们可以将问题表述为：

f(z)＝w^Tz

w^T就可以看成训练出的相关性系数，z就可以看成新输入的帧，f(z)就可以表示为置信度；采用常用的岭回归方法对上述式子进行优化求解：

w＝(X^TX+λI)^-1X^Ty

因为转置和求逆过于复杂，所以引入核函数，将低维空间线性不可分的样本数据映射到一个高维可分的特征空间，引入后将参数训练问题简化为：

α＝(K+λI)^-1y

K_ij＝k(x_i,x_j)表示核相关性，一般使用高斯核函数：

在KCF方法中，训练样本集是在目标周围区域循环采样产生，因此产生的循环矩阵样本拥有对角化的性质:

训练过程进一步简化为：

进一步化简为：

训练出这个相关性系数后，新的检测函数可以表示为：

其中

就为预测出的新位置，⊙表示点积；并利用当前帧的

和x去更新模板系数2、MKCF算法原理

MKCF算法的中心思想有两点：一是采用一种判别标准来判别目标KCF跟踪器的鲁棒性：峰原比(Peak to Sidelobe Ratio，PSR)，在跟踪过程中，对目标周围进行图像分割，每次用较高PSR值的跟踪器来投票选出IOU重叠率最好的分割块，用于初始化新的KCF跟踪器，因此随着时间的增长会有多个KCF跟踪器被用于跟踪同一个目标，所以第二点就是多个KCF跟踪结果融合算法，原文中采用极大似然准则来融合高PSR值的多个结果。流程图可以参考图2，详细介绍如下：

(1)PSR

若是从极大似然的角度看待KCF，KCF的跟踪结果可以看成一个似然分布Y，当Y为一个针型高斯分布且峰值为1时，可以说是一个最优估计。因此似然分布Y可以衡量候选z和参考x之间的相似性，定义PSR计算公式为：

s＝(y’_p-μ_s)/σ_s

其中y′_p表示分布Y中的峰值区域，围绕Y中最大值的矩形窗口被称为峰值区域，μ_s和σ_s分别表示旁瓣区域的均值和标准差，旁瓣区域是Y中不包含峰值区域的其余部分。

PSR值越高，分布Y中就更多的集中在峰值区域，就表明KCF的估计很好，所以用PSR值可以来衡量目标KCF跟踪器结果的好坏。

(2)MKCF融合准则

MKCF采用极大似然准则和近似来融合多个KCF跟踪结果。

2.2.1问题描述

假设v是目标在一时间内的位置向量，目标拥有N个KCF跟踪器，每个跟踪器具有一个预测值：

位置向量v可能作为目标单个跟踪器预测位置的中心似然表述为p(T_i|v),因为每个跟踪器观测值是独立的，所以联合似然分布可以通过每个观测值的概率函数的乘积来计算：

在KCF中，如果将KCF的响应看成一个跟踪器的测量值，那么个体似然分布可以看成响应矩阵，即p(T_i|v)＝Y’_i(v),进一步得到联合似然分布：

那么融合的目标就是找到一个位置向量v使得Y′(v)最大化：

2.2.2近似求解

在介绍PSR中，提到

中的位置向量v是受约束的二维高斯分布：

其中μ_i,

分别表示均值和协方差，对于第i个跟踪器，v作为目标中心位置的概率为：

因为在KCF跟踪器中，v表示在响应矩阵Y中峰值y′_p的位置，所以上式中均值μ_i可以等同于v，σ_i与y′_p成反比：

给定N个独立的高斯响应

融合的目的就是找到最大化联合似然函数：

转化为对数似然：

其中C为与位置向量v无关的项。对上式求导，然后置零求解：

将y′_p代入：

这样就可以求得融合后的最优解。

3、卡尔曼滤波原理

卡尔曼滤波概括为三点：

A.用上一帧最优估计状态和最优估计误差计算新的先验状态估计和先验误差估计；

B.用当前帧的先验误差估计和测量噪声来计算卡尔曼增益；

C.然后用增益和先验状态估计来计算当前帧的最优状态估计；

过程如下：

1)预测

其中F_k为状态转移函数，B_kα可以看成控制变量，P_k|k-1为后验误差估计，Q_k为过程噪声中协方差。

2)更新

P_k|k＝(I-K_kH_k)P_k|k-1

其中H_k为量测密度函数，S_k为实际值与估计值之间的协方差矩阵，K_k为计算出的卡尔曼增益。

实施例一：

本实施例提供基于自适应多核相关滤波的雷达目标检测与跟踪方法，流程图参见图1，所述方法包括：

步骤一：初始化

1.1参数初始化

初始时刻k＝0，视频总帧数为N，每个目标拥有一个KCF跟踪器集合

用于记录目标的KCF跟踪器，s表示目标标签，k表示帧数，每个目标允许最大KCF跟踪器数量为3，每个目标拥有一个稳定跟踪集合

用于记录稳定跟踪目标时目标的跟踪框，PSR阈值设为13，IOU阈值设为0.32，距离阈值设为24(像素)，宽高差阈值设为30(像素)，无检测帧数阈值设为32帧。

1.2目标检测

在本实施例中，目标检测使用了两种方法，第一种是产生每一帧的所有目标检测集的方法，参见图3，图3(a)(b)(c)是整个数据开始，中间和结束时刻大致的检测结果图，其中包含目标框和杂波目标框，检测方法如下：对每一帧图像进行灰度处理后，对每一帧的灰度图像进行灰度阈值判断，经过实验，灰度阈值设为40可以很好的包含每一帧所有运动目标，然后对其进行简单的杂波处理，记第k帧的检测框状态集为

目标个数为m，其中g_k＝[x_k,y_k,w_k,h_k],分别表示目标检测框的左上角横坐标、左上角纵坐标、检测框宽和高；第二种是图像分割中的分水岭方法，用于检测目标周围那种小范围区域的目标块：先将区域内图像进行图像开运算和闭运算，之后确定前景面积，然后使用分水岭算法进行目标检测，记目标m周围的检测集为

个数为n个，其中b_m＝[x_m,y_m,w_m,h_m]。

步骤二：目标新生、存活或结束自适应

2.1目标新生、存活判断

当k＝0时，将G₀中的目标检测框全部加入到虚警或新生集合

目标个数为z，此时第0帧中的目标全部为一种不确定目标，不进行操作，因此第0帧的跟踪结果为空，进入到下一帧。

当k>0时，记第k-1帧的跟踪结果集

目标个数为n，s_k-1＝[x_k-1,y_k-1,w_k-1,h_k-1,l],其中x_k-1,y_k-1表示目标框左上角横纵坐标，w_k-1,h_-1表示目标框的宽、高，l表示标签。首先将S_k-1中的所有目标进行KF滤波器预测得到

其中

表示目标s稳定跟踪集合中最后第i个跟踪框，N表示目标s的

到

经过的总帧数，利用目标的track_rect_list_k-1中最近不大于10帧的跟踪框计算平均速度v_k-1，用v_k-1去预测目标第k帧的位置存入

将

与G_k中目标框进行数据关联，假设

中目标

G_k中目标

先计算目标框之间的中心距离差dist：

如果目标s和目标g的dist小于距离阈值，然后将目标s与目标g进行IOU计算，IOU计算参见图4，当目标s循环完G_k中的所有目标后，找到与目标s最优的匹配检测框，存到第k帧的存活集Save_k中，并标记为与检测集匹配上的目标，从G_k中剔除与

中目标匹配上的检测框；然后将剩余的G_k与H_k-1进行数据关联，采用中心距离差的方法进行匹配，将H_k-1中匹配上的目标框作为新生目标加入到第k帧新生目标集合New_k,最后将G_k中没匹配上的检测框加入到第k帧虚警或新生集合H_k。

最后，将新生集合New_k中的目标加入到第k帧存活集Save_k中，并标记为新生目标。

2.2目标结束判断

第k帧的跟踪结果集S_k中每个目标拥有一个记录值No_Detection_s，用于记录目标s在目标新生、存活判断中没有与检测集G_k+1匹配上的帧数：

当目标s的No_Detection_s超过无检测阈值，则在S_k中删除目标s。

将

中没有超过无检测阈值的目标加入到Save_k中，且将目标标记为无检测的存活目标。

步骤三：航迹估计

经过前两个步骤后得出的第k帧存活集为Save_k，其中的目标分为有检测的存活目标、无检测的存活目标和新生目标。

3.1新生目标

使用新生目标框为新生目标创建KCF跟踪器，加入到目标的track_kcf中，为目标创建KF跟踪器，为目标贴上标签。

然后将新生目标框作为此目标的第k帧跟踪结果，加入到S_k+1中。

3.2有检测的存活目标

记有检测目标x的Save_k中目标框为sbox_x＝[x,y,w,h]，G_k中与目标x匹配上的检测框为g_x＝[x,y,w,h]，使用分水岭算法检测sbox_x框周围两倍大小的图像，得到检测集W_D_x。

遍历目标x的KCF跟踪器集合track_kcf_x，使用当前帧的图像更新track_kcf_x中的KCF跟踪器，得到预测框pbox_x和对应的PSR值psr_pbox_x，将psr_pbox_x值低于PSR阈值的KCF跟踪器从track_kcf_x中删除，将psr_pbox_x高于PSR阈值的预测框pbox_x加入到一个集合中，然后使用原MKCF中的融合算法，将集合中的预测框融合为一个预测框pbox_better_x。

接着分为三步：

(1)若是目标x存在pbox_better_x，则采用本发明提出的融合算法，将pbox_better_x和g_x进行融合，得到最优的预测框pbox_best_x加入到第k帧跟踪结果S_k+1中：

pbox_best_x＝[x,y,w,h]

其中w_a和w_b分别表示预测框和检测框的融合权重。

(2)若是目标x不存在pbox_better_x，遍历检测集W_D_x中的检测框w_dbox_x＝[x,y,w,h]，先计算g_x与w_dbox_x的宽高差w_h:

若是w_h小于阈值，则再计算框中心距离差和IOU，在满足宽高差和距离差的前提下，找到W_D_x中IOU值最大的检测框加入到第k帧跟踪结果S_k+1中。

(3)若是前两步都没有成功，则直接将检测框g_x加入到第k帧跟踪结果S_k+1中。

3.3无检测的存活目标

记无检测目标x的Save_k中目标框为sbox_x＝[x,y,w,h]，使用分水岭算法检测sbox_x框周围两倍大小的图像，得到检测集W_D_x。

同样先遍历无检测目标x的KCF跟踪器，融合高于PSR阈值的预测框得到一个最优预测框pbox_better_x。

接着也分为三步：

(1)若是目标x存在pbox_better_x，直接将pbox_better_x加入到目标x第k帧跟踪结果S_k+1中。

(2)若是目标x不存在pbox_better_x，将W_D_x检测集中与sbox_x满足IOU阈值的框再取中心距离差最小的检测框加入到目标x第k帧跟踪结果S_k+1中。

(3)若是上两步都没有成功，则直接将sbox_x加入到目标x第k帧跟踪结果S_k+1中。

步骤四：目标处理

因为本实施例是在灰度图像上进行扩展目标跟踪，且雷达图像存在大量杂波，因此需要进行杂波处理。

经过大量实验，最后本实施例将杂波处理分为两种方法：

第一种是将两个目标框IOU值大于阈值时识别为相互重叠，在跟踪过程中会出现相互重叠的跟踪目标，这时候删除相对虚假的跟踪目标：

其中a,b表示目标，time表示目标存在的总帧数。

第二种是计算跟踪目标图像框的平均灰度，然后将低于阈值的目标删除：

其中a.th表示目标a的图像框平均灰度，阈值0.25为经验参数。

扩展一：目标KCF跟踪器操作

在跟踪过程中，目标的KCF跟踪器集合track_kcf会进行动态的增减，且在本实施例中对MKCF的动态增减方法进行了优化，参见图5，使得本实施例下多扩展目标跟踪取得了很好的跟踪效果。

目标的KCF集合track_kcf是一个先进先出的队列集合，当满足最大数量KCF跟踪器时，会优先删除时间最久的那个KCF跟踪器。在步骤三中，我们已经提到，当目标KCF跟踪器预测框为低PSR值时，会将这个KCF跟踪器从目标KCF跟踪器集合中删除，对于建立新的KCF跟踪器，方法如下：

首先，在步骤三航迹估计完成时，得到新的一帧(k+1)跟踪结果

然后基于前面的条件判断目标n是否为有检测的存活目标，若是，则使用新的跟踪结果

为目标n建立新的KCF跟踪器加入到目标n的track_kcf中；若不是，则不用操作。

扩展二：目标稳定跟踪集操作

在步骤二中，对目标进行KF预测时使用到本实施例提出的速度计算方法，其中目标在当前帧k的速度是基于目标的稳定跟踪集合track_rect_list来得出。

对于目标track_rect_list中的跟踪框增加方法如下：

若目标是新生目标，则直接将目标第一个跟踪结果加入到目标的track_rect_list中；

若目标不是新生目标，则判断目标在步骤三中是否为有检测的存活目标，若是，则将目标当前帧k时刻的跟踪结果加入到目标的track_rect_list中，若不是，则跳过，同时记录下加入到track_rect_list中时的帧数k，方便步骤二中计算速度。

为验证本申请提出的基于MKCF的雷达多扩展目标跟踪方法的效果，特实验如下：

1、实验条件及参数

本发明采用的数据集为MKCF一文中提供的数据集，此数据集是在2013年8月8日，位于中国宜昌长江岸边的X波段海洋雷达数据(https://drive.google.com/drive/folders/1F2gGTT0eBk7bdGFrcyH2G3vbkEBQ57fu？usp＝sharing)。

MKCF一文中是将雷达数据转化为极坐标下的图像序列进行单扩展目标跟踪，选取了五个名为Alice，Billy，Camen，Dolphin，Ellen的目标依次跟踪。本发明同样采取极坐标下的图片序列进行跟踪，但本发明是进行多扩展目标跟踪，所以数据集的groundtruth数据集为本发明手动标注，图片序列总共出现9个目标，我们标记为(1)，(2)，(3)，(4)，(5)，(6)，(7)，(8)，(9)。和MKCF原文五个目标对应关系，第一个英文名是MKCF文中目标名，第二个数字是我们标注的真实集目标名，第三个是对应的本发明方法跟踪时标记的目标名：

Alice→(7)→(17)；

Billy→(1)→(1)；

Camen→(5)→(2)；

Dolphin→(8)→(20)；

Ellen→(9)→(34)；

整个图片序列包含目标紧邻、过桥遮挡、目标形变、目标杂波过多、目标速度急剧变化等干扰情况，总共包含458帧图片，实验采用和MKCF一文中相同的评价指标真实值与估计值中心距离误差(Center Location Error，CLE)、重叠精度(Overlap Precision,OP)和本发明自行规定阈值的距离精度(Distance Percision,DP)，还有多目标跟踪下评价指标：漏跟目标数。

分别定义如下：

1)中心距离误差(CLE)

其中，N_s,N_e分别表示目标开始帧和结束帧，g,p分别表示目标真实框和估计框。

2)重叠精度(OP)

其中，IOU(g,p)表示真实框和估计框的交并比。

3)距离精度(DP)

将CLE和OP结合起来，计算中心距离差小于10和OP大于0.5的帧数：

4)漏跟目标数

在整个图片序列中，若是目标始终没有跟踪上，则识别为漏跟目标。

2、实验及结果分析

本发明方法采用PyCharm2020.2.3实现，在处理器为Intel Core i7-8750、2.2GHz，12核，内存为16GB，显卡为NVIDIA Geforce GTX 1060with Max-Q Design的笔记本电脑上运行，并与2019年Yi Zhou等在发表论文《Multiple Kernelized CorrelationFilters(MKCF)for Extended Object Tracking Using X-Band Marine Radar Data》中提出的MKCF方法进行性能比较分析。

具体实验从三个方面对发明方法进行性能评估，即：目标紧邻、过桥遮挡、目标形变，实验结果如下。

实验一：目标紧邻

图片序列中，真实数据下目标(7)和(8)会出现紧邻的情况，这种情况下，检测很容易出现少检或者将两个目标识别为一个目标等问题

实验一的实验结果如图6所示，图6(a)给出了本发明方法对两个目标在94，95，96，97帧的检测结果，可以看出，由于目标紧邻，第94帧检测结果(左上)只检测了一个目标，第95帧(右上)和第96帧(左下)将两个目标检测到一个框中，第97帧(右下)则是成功检测出两个目标，但是右边的目标被干扰严重，产生非鲁棒检测框；图6(b)给出了MKCF对两个目标跟踪结果，图6(b)上面两帧是MKCF对左边目标在第94，97帧的跟踪情况，下面两帧图像MKCF是对右边目标在第94，95帧的跟踪情况；图6(c)给出了本发明方法跟踪结果，左上是第94帧，右上是第95帧，左下是第96帧，右下是第97帧；表1.1给出性能对比。

从图6(a)可以看出，两个目标在紧邻的时候检测存在较大的误差，出现两个框被融合为一个的情况，或者检测框不准确，从图6(b)(c)的对比可以看出，MKCF可以单独分别跟踪两个目标，而本发明方法可以很好地同时跟踪两个目标，不会产生非鲁棒跟踪的情况，说明本发明方法在这种紧邻情况下的多扩展目标跟踪上取得了很好的跟踪效果。再从表1.1中对比可以看出，对于目标(7)的CLE，本发明方法和MKCF相近的情况下，本发明方法的OP结果要高出0.1，且目标(8)的CLE和OP结果都要优于MKCF的实验结果，所以在对紧邻目标的处理上，本发明方法不仅实现了多扩展目标跟踪，而且在性能上都优于MKCF。

表1.1紧邻目标CLE与OP

实验二：过桥遮挡

在实验过程中，过桥遮挡是基于这个数据下的一大难题，而且多扩展目标跟踪在处理过桥遮挡时更加困难，因为当多个目标同时出现在桥附近时，目标的下一帧滤波就会变得尤为困难。

实验二的实验结果如图7所示，图7(a)给出了本发明方法在目标出现干扰时的过桥情况，可以看出标记为3的目标在进入桥时，出现干扰目标26(左一)，完全被桥遮挡时(中间)，出桥时(右一)；图7(b)给出了目标(1)、(8)、(9)在MKCF实验中的实验结果，目标1进入桥时刻(左一)，被桥遮挡(右一)，目标8进入桥时刻(左二)，被桥遮挡(中间二)，刚出桥后(右二)，目标9进桥时刻(左三)，出桥时刻(右三)；图7(c)给出了目标(1)、(8)、(9)在本发明实验中的实验结果，目标1进桥时刻出现部分遮挡(左一)，完全被桥遮挡(中间一)，目标1部分出桥(右一)，目标8进桥时刻(左二)，完全被桥遮挡(中间二)，出桥时刻(右二)，目标9的进桥时刻(左三)，完全被桥遮挡(中间三)，出桥时刻(右三)；2.1给出了性能对比。

从图7(a)可以看出，本发明方法在处理存在干扰目标过桥遮挡时，能够成功地跟踪上目标，从图7(b)(c)中可以看出，本发明方法在多目标跟踪时，对于过桥遮挡这种情况，能够很好地跟踪上目标，对于这种问题能够有效地解决，从表2.1的性能对比中可以看出，三个过桥目标在CLE和OP上的结果，本发明方法都要明显优于MKCF，所以本发明方法在衍生为多扩展目标跟踪后，采用结合KF方法的航迹估计算法和新生目标自适应算法对处理过桥遮挡拥有明显的优势。

表2.1过桥遮挡目标CLE与OP

实验三：目标形变

因为使用的数据是雷达极坐标下的图像序列，所以目标在接近或者远离雷达探测器中心时，目标的外观都会产生严重的形变，这是这种数据下进行视频跟踪的一大难题。

实验三的实验结果如图8所示，图8(a)给出了本发明标注的真实集下的目标形状对比，选取了三个目标，分别是(1)，(5)，(9)，目标1出生时刻形状大小(左一)，目标1中间时刻形状大小(中间一)，目标1的结束时刻形状大小(右一)，可以发现，目标1的形状从短变长再变短，目标5出生时刻形状大小(左二)，目标5中间时刻形状大小(中间二)，目标5的结束时刻形状大小(右二)，形状同样有着变化，目标9的出生时刻(左三)，目标9的中间时刻(中间三)，目标9的结束时刻(右三)；图8(b)给出了MKCF方法对三个目标的实验结果，如图中所示，每个目标从左到右记录了目标出生时刻，中间时刻，结束时刻的形状大小变化；图8(c)给出了本发明方法实验结果，同样，从左到右记录了目标出生时刻，中间时刻，结束时刻的形状大小变化；表3.1给出相应的性能对比。

从图8(a)中可以看出，三个目标在不同的时间段下的形状会出现很大的改变，这对实验增加了难度，从图8(b)(c)可以看出，MKCF方法在处理形变的问题上效果并不明显，且目标跟踪后期的跟踪框存在较大的冗余，反观本发明方法，在处理形变上具有明显的提升，这就说明本发明提出的KCF跟踪器动态建立方法取得了很好的效果，为处理形变这一问题提供有力的帮助，从表3.1中可以看出，对三个发生严重形变的目标进行跟踪时，本发明方法实验结果比MKCF实验结果要好。

表3.1形变目标CLE与OP

接下来将展示所有目标四个方面性能评估，即：中心距离误差，重叠精度，距离精度，实验结果如下。

中心距离误差(CLE)：

图9给出了所有目标从各自起始帧到结束帧的中心距离误差，横坐标表示目标名，原MKCF论文中的跟踪目标名已经对应上，纵坐标表示误差，单位为像素，此结果越低表示跟踪效果越好。蓝线红圈表示本发明方法的实验结果，黄线五角星表示MKCF论文实验结果，其中黄线五角星为0的位置表示MKCF实验中没有跟踪此目标。

我们可以看出，本发明实验结果的CLE基本低于5个像素点，且除了标记为(7)的目标相近之外，本发明实验结果的CLE都低于MKCF的CLE，而且MKCF方法对标记为(5)的目标的CLE高达17.5个像素。

重叠精度(OP)：

图10给出了所有目标从各自起始帧到结束帧的重叠精度，横坐标表示目标名，纵坐标表示IOU值，范围为0～1，此结果越高表示跟踪效果越好。蓝线红圈表示本发明方法的实验结果，黄线五角星表示MKCF论文实验结果，其中黄线五角星为0的位置表示MKCF方法中没有跟踪此目标。

我们可以看出，本发明实验结果的IOU值都大于0.4，且除了目标(6)，其他目标基本都有很高的IOU值，再对比MKCF实验结果，我们目标的IOU值都要高于MKCF实验结果，而且目标(7)、(8)、(9)的IOU值都高出MKCF实验结果接近0.1，目标(5)的IOU值甚至高出接近0.2。

距离精度(DP)：

图11给出了本发明规定条件下的距离精度，我们规定CLE低于10个像素点，OP高于0.5的目标识别为良性跟踪目标。图横坐标表示目标名，纵坐标表示目标起始帧到结束帧中识别为良性跟踪的帧数占目标总帧数的百分比，此结果越高表示跟踪效果越好。因为MKCF论文中没有给出其规定的CLE和OP判定阈值，所以这里不作比较。

我们可以看出，除了目标(1)百分比接近0.65和目标(6)百分比接近0.3外，其他目标的距离精度全部都高于0.85。

通过上述实验可知，本申请提供的基于自适应MKCF的雷达多扩展目标跟踪方法，通过对MKCF算法进行改进优化，扩展为多目标跟踪，并提出了目标自适应结构，航迹估计算法以及对MKCF中KCF跟踪器的动态建立优化算法，在多扩展目标跟踪中取得了很好的跟踪效果，能够有效处理MKCF论文中数据下多目标跟踪的诸多问题，如目标紧邻，过桥遮挡，目标严重形变等，且实验性能相较于MKCF实验，取得了明显的优势。

本发明实施例中的部分步骤，可以利用软件实现，相应的软件程序可以存储在可读取的存储介质中，如光盘或硬盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于自适应多核相关滤波的雷达目标检测与跟踪方法，其特征在于，所述方法首先采用新生目标自适应算法得到存活目标集合，然后采用三步航迹估计算法对所述存活目标集合中的每个目标进行预测；

所述新生目标自适应算法包括：卡尔曼滤波算法和数据关联算法；所述多扩展目标跟踪方法依次采用卡尔曼滤波算法和数据关联算法对待跟踪目标进行处理，得到存活目标集合；

所述三步航迹估计算法包括：首先采用优化的多核相关滤波MKCF算法对目标进行预测，如果优化的MKCF算法不能成功得到最终的跟踪结果，则采用分水岭算法对目标周围进行检测，如果所述优化的MKCF算法和所述分水岭算法都不能成功得到最终的跟踪结果，则采用所述卡尔曼滤波算法中的预测框作为最终的跟踪结果。

2.根据权利要求1所述的方法，其特征在于，所述采用新生目标自适应算法得到存活目标集合，包括：

对于视频的中间帧，k＞0，将第k帧的跟踪结果S_k中所有目标经过卡尔曼滤波预测后的目标框集合

与B_k、G_k+1进行数据关联；

其中，

为第k帧虚警或新生目标集合，B_k中包含杂波和新生目标；

为k+1时刻的检测框集合；

数据关联的过程包括：

首先，将

和G_k+1中的目标框进行关联，利用目标框之间中心点距离差和目标框之间的交并比IOU满足阈值来得到关联矩阵，并将

中与G_k+1中成功匹配上的目标识别为第k+1帧有检测的存活目标，

中未成功匹配的目标识别为无检测的存活目标，当这种目标的无检测帧数超过阈值，则将目标识别为结束跟踪目标；

然后，将G_k+1中未成功匹配上的目标与B_k中的目标进行关联，采取距离作为关联因素，将匹配上的目标作为第k+1帧的新生目标；

最后，将G_k+1中经过上述两步都没有成功匹配上的目标作为第k+1帧的新生或虚警目标B_k+1；组合第k帧的跟踪目标集

和第k+1帧的新生目标集得到第k+1帧的存活目标集合

3.根据权利要求1所述的方法，其特征在于，所述优化的MKCF算法包括：

在当前帧时刻，对存活目标集合M＝{m₁，m₂，...，m_n}中的目标m进行操作；

若m是新生目标，则为目标m创建KF跟踪器，并利用当前帧的图像为目标m创建KCF跟踪器，然后将这个KCF跟踪器加入到目标m的KCF跟踪器集合track_kcf_m中；

若m是存活目标，采用离当前帧时刻最近的三帧图像区域块为目标建立KCF跟踪器。

4.根据权利要求3所述的方法，其特征在于，所述采用离当前帧时刻最近的三帧图像区域块为目标建立KCF跟踪器，这三帧图像满足：此目标在这三帧图像中被判定为有检测的存活目标。

5.根据权利要求4所述的方法，其特征在于，所述从三帧图像中选取图像区域块建立KCF跟踪器的步骤包括：

若是目标存在的KCF跟踪器预测的目标框响应满足峰值旁瓣比PSR阈值，则将所有满足PSR阈值的预测框和与此目标匹配上的检测框融合起来产生一个最优的图像框，然后用这个图像框数据为目标建立新的KCF跟踪器；

若是没有满足PSR阈值的预测框，则采用水滴算法检测此帧目标周围区域，然后将所有检测到的检测框与目标上一帧跟踪结果框作中心距离差、宽高差和IOU比较，取结果中最优的检测框作为目标新的KCF跟踪器模板；

若是两种方法都没有成功实现，则采用当前帧检测集G中与目标匹配上的检测框作为新的KCF跟踪器模板。

6.根据权利要求5所述的方法，其特征在于，所述三步航迹估计算法包括：

首先，采用所述优化的MKCF算法对目标进行预测，得到目标所有KCF跟踪器的响应矩阵和预测框，采用所述优化的MKCF算法中的融合算法将响应矩阵中满足PSR阈值的预测框进行融合计算，得到一个优化的预测框b；

若目标为有检测的存活目标，则采用航迹估计算法中的融合算法将所述预测框b和目标对应的检测框进行第二次融合计算，得出一个最优的结果，将这个结果作为目标第k+1帧的最终跟踪结果；若目标为无检测的存活目标，则不用融合检测框，直接采用预测框b作为目标第k+1帧的跟踪结果；

其次，若是目标经过所述优化的MKCF算法预测后没有产生满足PSR阈值的预测框，则采用分水岭算法对目标周围进行检测，产生检测集

若目标为有检测的存活目标，则将检测集

中的检测框与目标所带的检测框g_k+1作宽高差比较，将小于宽高差阈值的

元素再去与目标第k帧经过卡尔曼滤波算法预测后的跟踪结果作中心距离和IOU比较，将最优的结果作为目标第k+1帧的跟踪结果；

最后，若是没有产生检测集

则有检测的存活目标使用目标所带的检测框g_k+1作为目标第k+1帧的跟踪结果，无检测的存活目标使用第k帧跟踪结果经过卡尔曼滤波算法预测后的预测框作为目标第k+1帧的跟踪结果。

7.根据权利要求3所述的方法，其特征在于，所述目标m的KCF跟踪器集合track_kcf_m最大容纳3个KCF跟踪器。

8.根据权利要求2所述的方法，其特征在于，所述方法包括：

对于视频的初始帧，k＝0，将检测框集合G₀中的检测框全部加入到虚警或新生目标集合B₀中作为第0帧的虚警或新生目标，在k＝1时，将检测框集合G₁中的检测框与虚警或新生目标集合B₀中的目标框做框中心距离运算，若是差值小于距离阈值，则将检测框集合G₁和虚警或新生目标集合B₀匹配上的目标作为第1帧的新生目标，检测框集合G₁中剩下的检测框作为新的虚警或新生目标集合B₁。

9.根据权利要求5所述的方法，其特征在于，PSR阈值为13。

10.权利要求1-9任一所述的基于自适应多核相关滤波的雷达目标检测与跟踪方法在目标检测与跟踪、雷达智能信息处理领域内的应用。

Images