CN109242883B - 基于深度sr-kcf滤波的光学遥感视频目标跟踪方法 - Google Patents

Abstract

本发明提出了一种基于深度SR‑KCF滤波的光学遥感视频目标跟踪方法，用于在保证跟踪速度的基础上提高跟踪精度，实现步骤为：获取目标检测网络R‑FCN的训练集；训练目标检测网络；优化目标跟踪算法KCF，得到SR‑KCF；设定目标跟踪算法SR‑KCF中目标状态的判断条件；构建检测辅助跟踪算法；设定跟踪目标与检测目标的匹配条件；获取光学遥感视频第一帧图像包含目标的信息；获取光学遥感视频第二帧及以后图像包含目标的信息；输出光学遥感视频目标跟踪结果。本发明运用深度学习可以提取到目标更高级的特征，在相关滤波算法KCF中添加了背景抑制因子和稀疏响应因子，有效提高了提高跟踪精度。

Description

基于深度SR-KCF滤波的光学遥感视频目标跟踪方法

技术领域

本发明属于遥感视频处理技术领域，涉及一种光学遥感视频目标跟踪方法，具体涉及一种基于深度SR-KCF滤波的光学遥感视频目标跟踪方法。可用于土地测绘、矿产资源开发、智慧城市建设、交通设施监测、农业估产、林业资源普查、生态环境监测及防灾减灾等方面。

背景技术

目标跟踪是指在给定某视频序列初始帧的目标大小与位置的情况下，预测后续帧中这些目标的大小与位置。按照成像方式的不同，目标跟踪可分为光学视频目标跟踪和遥感视频目标跟踪两类。其中遥感视频目标跟踪又包含红外视频目标跟踪和光学遥感视频目标跟踪。基于相关滤波的光学遥感视频目标跟踪的方法可以总结为：输入初始化目标框，在下一帧中产生众多候选框，提取这些候选框的特征，然后计算这些候选框的响应，最后在这些响应中找一个得分最高的候选框作为预测的目标，或者对多个预测值进行融合得到更优的预测目标。基于帧差法的光学遥感视频运动目标检测的方法可以总结为：通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法。光学遥感视频目标跟踪与普通视频目标跟踪相比具有大面积同步观测的特点，可用于土地测绘、矿产资源开发、智慧城市建设、交通设施监测、农业估产、林业资源普查、生态环境监测及防灾减灾等方面，对其进行研究很有必要。鉴于光学遥感视频目标跟踪有如此广泛的应用，这对光学遥感视频目标跟踪方法在跟踪速度和精度方面的性能就提出了很高的要求。

Bo Du等人在2017在其发表的论文“Object Tracking in Satellite Videos byFusing the Kernel Correlation Filter and the Three-Frame-DifferenceAlgorithm”，(IEEE Geoscience&Remote Sensing Letters，2017)中，公开了一种融合KCF和三帧差分的光学遥感视频目标跟踪方法。该方法将基于相关滤波的目标跟踪方法KCF获取的跟踪结果和基于帧差法的三帧差分方法获取的运动目标检测结果进行了融合，得到了最终的目标跟踪结果。其中，KCF实现目标跟踪的过程为：输入初始化目标框，在下一帧运用循环矩阵的方法产生众多候选框，运用HOG或者灰度的方法来提取这些候选框的特征，然后计算这些候选框的响应，最后在这些响应中找一个得分最高的候选框作为预测的目标。三帧差分方法是在帧差法的基础上进行改进，将两帧图像作为一组进行差分，检测出中间帧运动目标的形状轮廓的方法。该跟踪方法在KCF跟踪结果的基础上引入了三帧差分对运动目标的检测结果，可以在KCF的基础上进一步提高跟踪精度；另一方面，KCF在选取目标候选块上，运用了循环矩阵的方法，而循环矩阵可以在傅里叶空间进行对角化，可以简化计算，进而达到较高的跟踪速度。但是其存在的缺陷在于，一方面该方法运用HOG或灰度来对目标进行特征提取，只能提取到目标的粗特征，容易造成跟踪延迟的问题，进而影响跟踪精度，此外，由于基于相关滤波的KCF算法在设计目标函数时忽略了被跟踪目标可能模糊或者被部分遮挡的因素，当目标模糊或者被部分遮挡的情况下，容易造成目标跟踪丢失现象，其跟踪精度更加有限。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷，提出了一种基于深度SR-KCF滤波的光学遥感视频目标跟踪方法，用于在保证跟踪速度的基础上提高跟踪精度。

为实现上述目的，本发明采取的技术方案包括如下步骤：

(1)获取目标检测网络R-FCN的训练集D1：

(1a)从数据库中获取F帧包含静止目标和运动目标，且大小为S×S×3的光学遥感视频，并从其中每隔F1帧选取一帧图像，再对选取的图像进行编号，得到图像集D，其中，F1＜F，D＝{I₁,I₂,...,I_i,...I_n}，I_i表示D中的第i帧图像，n表示D中图像的个数；

(1b)对I_i中的运动目标和静止目标进行标记，得到I_i对应的标签L_i，并将D和L组合得到训练集D1，其中，L_i∈{c_l,(x_l,y_l),(w_l,h_l)}，c_l表示I_i中第l个目标的类别，(x_l,y_l)表示I_i中第l个目标的左上角坐标，(w_l,h_l)表示I_i中第l个目标的宽度和高度；

(2)训练目标检测网络R-FCN：

采用D1训练目标检测网络R-FCN，得到预训练模型P1；

(3)优化目标跟踪算法KCF：

将背景抑制因子

和稀疏响应因子

添加到目标跟踪算法KCF，实现对KCF的优化，得到目标跟踪算法SR-KCF：

其中，A₀表示目标跟踪算法KCF的训练样本，y表示A₀的标签，ω表示权重系数，λ₁、λ₂和λ₃分别表示

和

的权重系数，k表示提取的目标候选块的个数，||·||₂表示取2-范数；

(4)设定目标跟踪算法SR-KCF中目标状态的判断条件Q：

其中，ε∈[0.5,1]，(x'_fj,y'_fj)表示第f帧中第j个目标的中心位置坐标，(x'_(f-1)k,y'_(f-1)k)表示第f-1帧中第k个目标的中心位置坐标；

(5)构建检测辅助跟踪算法MS_DAT：

其中，(x'_j,y'_j)表示运用SR-KCF所跟踪的目标的中心位置坐标，(x′_t,y′_t)表示运用P1所检测的目标的中心位置坐标，

t表示P1所检测到的第t个目标，s₀表示(x′_t,y′_t)和(x'_j,y'_j)的匹配输出值；

(6)设定跟踪目标与检测目标的匹配条件

其中，σ∈[0.5,1]，c'_j表示经P1所检测的目标的类别，c_j表示SR-KCF所跟踪的目标的类别；

(7)获取光学遥感视频第一帧图像包含目标的信息：

运用P1对待处理的N帧光学遥感视频的第一帧图像进行目标检测，得到第一帧图像所包含目标的类别和位置信息J₁，J₁＝{c_1r,(x_1r,y_1r),(w_1r,h_1r)}，N≥2；

(8)获取光学遥感视频第二帧到第N帧图像包含目标的信息：

(8a)将J_f-1输入到SR-KCF中对第f帧图像进行目标跟踪，得到第f帧图像所包含目标的类别和位置信息J_f、响应值R_fj以及最大响应值R_{max j}，J_f＝{c_fj,(x_fj,y_fj),(w_fj,h_fj)}，R_fj＝ω^TA_fij，R_{max j}＝max(R_2j,R_3j,...,R_fj)，f∈[2,...,N]；

(8b)根据第f帧图像包含的第j个目标的中心位置坐标(x'_fj,y'_fj)和第f-1帧图像包含的第k个目标的中心位置坐标(x'_(f-1)k,y'_(f-1)k)是否满足Q，判断第j个目标的状态Z_f，若是，则第j个目标的状态Z_f为静止Z_fj，否则，则第j个目标的状态Z_f为运动Z'_fj；

(8c)判断

是否成立，若是，则第f帧图像所包含目标j存在跟踪延迟，运用P1对第f帧图像进行目标检测，得到第f帧图像所包含目标的类别信息和位置信息J_fr，否则，第f帧图像所包含目标j不存在跟踪延迟，第f帧图像所包含目标j的类别和位置信息保持J_fj不变；

(8d)将J_fj中第j个目标的位置信息换算成其中心位置坐标(x'_fj,y'_fj)，同时将J_fr中第r个目标的位置信息换算成其中心位置坐标(x'_fr,y'_fr)，并将(x'_fj,y'_fj)和(x'_fr,y'_fr)输入到MS_DAT中对第f帧进行辅助检测，得到J_fj中第j个目标的和J_fr中第r个目标的匹配输出值s_0jr，再判断s_0jr、c_fj和c_fr是否符合条件

若是，第j个目标的类别和位置信息J_f为J_fr，否则，第j个目标的类别和位置信息J_f为J_fj；

(9)输出光学遥感视频目标跟踪结果：

将步骤(7)获取的J₁、步骤(8b)获取的Z_f和步骤(8d)获取的J_f作为光学遥感视频目标跟踪结果并输出。

本发明与现有技术相比，具有以下优点：

(1)本发明在实现目标检测上，运用了深度学习中的目标检测方法R-FCN，可以提高到目标跟踪级别的特征，检测到的目标的位置更加准确，克服了现有技术中基于HOG或者灰度图像提取的特征来实现目标检测容易造成跟踪延迟的问题，可以提高目标跟踪精度。

(2)本发明在实现目标跟踪上，在基于相关滤波的算法KCF的目标函数中添加了背景抑制和稀疏响应因子，使得在目标比较模糊或者目标被部分遮挡的情况下，仍然可以对目标实现跟踪，降低了目标被跟丢的可能性，进而提高跟踪精度。

附图说明

图1是本发明的实现流程图；

图2是本发明仿真实验使用的光学遥感视频中的第一帧图像帧；

图3是本发明仿真实验运用R-FCN对图2进行目标检测得到的检测图；

图4是本发明和现有技术在圣地亚哥数据集中第113帧运动目标跟踪的仿真图；

图5是本发明和现有技术的精度-位置误差临界值仿真结果图。

具体实施方式

下面结合附图和具体实施例，对本发明作进一步的详细描述。

参照图1、一种基于深度SR-KCF滤波的光学遥感视频目标跟踪方法，包括如下步骤：

步骤1)获取目标检测网络R-FCN的训练集D1：

在本发明实施例中，用到的目标检测网络R-FCN，包括依次层叠的主干网络ResNet101'、position sensitive score map层、score层和输出层，其中：

主干网络ResNet101'，是通过大小为1×1×1024的卷积核对残差网ResNet101的第100层进行卷积，得到全卷积层，并通过全卷积层替换残差网络ResNet101第101层的全连接层实现的；

position sensitive score map层，是通过大小为1024×1×1的卷积核对主干网络ResNet101'的第101层进行卷积实现的；

score层，是通过对position sensitive score map层进行ROI平均池化实现的；

输出层，是通过分类器Softmax对score层进行分类实现的。

步骤1a)从数据库中获取F帧包含静止目标和运动目标，且大小为S×S×3的光学遥感视频，并从其中每隔F1帧选取一帧图像，再对选取的图像进行编号，得到图像集D，其中，F1＜F，D＝{I₁,I₂,...,I_i,...I_n}，I_i表示D中的第i帧图像，n表示D中图像的个数；

在本发明实施例中，从数据库中获取326帧包含静止目标和运动目标，且大小为500×500×3的光学遥感视频V1，从第一帧开始，从V1每隔20帧选取一帧图像，再对选取的图像进行编号，得到图像集D，D＝{I₁,I₂,...,I_i,...,I₁₆}；

步骤1b)对I_i中的运动目标和静止目标进行标记，得到I_i对应的标签L_i，并将D和L组合得到训练集D1，其中，L_i∈{c_l,(x_l,y_l),(w_l,h_l)}，c_l表示I_i中第l个目标的类别，(x_l,y_l)表示I_i中第l个目标的左上角坐标，(w_l,h_l)表示I_i中第l个目标的宽度和高度；

在本发明实施例中，对I_i中的运动目标和静止目标进行标记，得到I_i对应的标签L_i，并将D和L组合得到训练集D1，其中，L_i∈{c_l,(x_l,y_l),(w_l,h_l)}，c_l表示I_i中第l个目标的类别(飞机)，(x_l,y_l)表示I_i中第l个目标的左上角坐标，(w_l,h_l)表示I_i中第l个目标的宽度和高度；

步骤2)训练目标检测网络R-FCN：

采用D1训练目标检测网络R-FCN，得到预训练模型P1；

在本发明实施例中，训练目标检测网络R-FCN使用的损失函数同R-FCN论文公开的一致；

步骤3)优化目标跟踪算法KCF：

将背景抑制因子

和稀疏响应因子

添加到目标跟踪算法KCF，实现对KCF的优化，得到目标跟踪算法SR-KCF：

其中，A₀表示目标跟踪算法KCF的训练样本，y表示A₀的标签，ω表示权重系数，λ₁、λ₂和λ₃分别表示

和

的权重系数，k表示提取的目标候选块的个数，||·||₂表示取2-范数；

上述所述的目标跟踪算法KCF，其表达式为：

其中，A₀表示目标跟踪算法KCF的训练样本，y表示A₀的标签，ω表示权重系数，λ₁表示

的权重系数，||·||₂表示取2-范数。

在本发明实施例中，λ₁、λ₂和λ₃的取值分别表示1、0.5和1.05；

由于基于相关滤波的KCF算法在设计目标函数时忽略了被跟踪目标可能模糊或者被部分遮挡的因素，当目标模糊或者被部分遮挡的情况下，其跟踪精度更加有限。本发明在KCF的基础上，引入了背景抑制因子和稀疏响应因子，在一定程度上，可以对背景模糊或者部分遮挡的目标继续跟踪；

步骤4)设定目标跟踪算法SR-KCF中目标状态的判断条件Q：

其中，ε∈[0.5,1]，(x'_fj,y'_fj)表示第f帧中第j个目标的中心位置坐标，(x'_(f-1)k,y'_(f-1)k)表示第f-1帧中第k个目标的中心位置坐标；

在本发明实施例中，ε＝0.6；

步骤5)构建检测辅助跟踪算法MS_DAT：

其中，(x'_j,y'_j)表示运用SR-KCF所跟踪的目标的中心位置坐标，(x′_t,y′_t)表示运用P1所检测的目标的中心位置坐标，

t表示P1所检测到的第t个目标，s₀表示(x′_t,y′_t)和(x'_j,y'_j)的匹配输出值；

步骤6)设定跟踪目标与检测目标的匹配条件

其中，σ∈[0.5,1]，c'_j表示经P1所检测的目标的类别，c_j表示SR-KCF所跟踪的目标的类别；

在本发明实施例中，σ＝0.5；

步骤7)获取光学遥感视频第一帧图像包含目标的信息：

运用P1对待处理的N帧光学遥感视频的第一帧图像进行目标检测，得到第一帧图像所包含目标的类别和位置信息J₁，J₁＝{c_1r,(x_1r,y_1r),(w_1r,h_1r)}，N≥2；

在本发明实施例中，运用P1对待处理的326帧光学遥感视频的第一帧图像进行目标检测，得到第一帧图像所包含目标的类别和位置信息J₁，J₁＝{c_1r,(x_1r,y_1r),(w_1r,h_1r)}，r＝11；

步骤8)获取光学遥感视频第二帧到第N帧图像包含目标的信息：

步骤8a)将J_f-1输入到SR-KCF中对第f帧图像进行目标跟踪，得到第f帧图像所包含目标的类别和位置信息J_f、响应值R_fj以及最大响应值R_{max j}，J_f＝{c_fj,(x_fj,y_fj),(w_fj,h_fj)}，R_fj＝ω^TA_fij，R_{max j}＝max(R_2j,R_3j,...,R_fj)，f∈[2,...,N]；

步骤8b)根据第f帧图像包含的第j个目标的中心位置坐标(x'_fj,y'_fj)和第f-1帧图像包含的第k个目标的中心位置坐标(x'_(f-1)k,y'_(f-1)k)是否满足Q，判断第j个目标的状态Z_f，若是，则第j个目标的状态Z_f为静止Z_fj，否则，则第j个目标的状态Z_f为运动Z'_fj；

步骤8c)判断

是否成立，若是，则第f帧图像所包含目标j存在跟踪延迟，运用P1对第f帧图像进行目标检测，得到第f帧图像所包含目标的类别信息和位置信息J_fr，否则，第f帧图像所包含目标j不存在跟踪延迟，第f帧图像所包含目标j的类别和位置信息保持J_fj不变；

步骤8d)将J_fj中第j个目标的位置信息换算成其中心位置坐标(x'_fj,y'_fj)，同时将J_fr中第r个目标的位置信息换算成其中心位置坐标(x'_fr,y'_fr)，并将(x'_fj,y'_fj)和(x'_fr,y'_fr)输入到MS_DAT中对第f帧进行辅助检测，得到J_fj中第j个目标的和J_fr中第r个目标的匹配输出值s_0jr，再判断s_0jr、c_fj和c_fr是否符合条件

若是，第j个目标的类别和位置信息J_f为J_fr，否则，第j个目标的类别和位置信息J_f为J_fj；

本发明在实现对运动目标检测上，运用了深度学习中的目标检测方法R-FCN，可以提高到目标更高级别的特征，使得检测出来的目标的位置更加准确，可以避免跟踪延迟问题的出现。

步骤9)输出光学遥感视频目标跟踪结果：

将步骤(7)获取的J₁、步骤(8b)获取的Z_f和步骤(8d)获取的J_f作为光学遥感视频目标跟踪结果并输出。

以下结合仿真试验，对本发明的技术效果作进一步说明：

1.仿真条件和内容：

本发明从吉林一号视频卫星拍摄的圣地亚哥地区的视频上，裁剪了大小为500×500×3的包含飞机的视频作为对飞机跟踪的数据集DateSet。仿真平台为：主频为2.40GHz的Intel Xeon CPU E5-2630 v3 CPU，64GB的运行内存，Ubuntu16.04操作系统，Caffe深度学习平台，Matlab R2014a开发平台。显卡：GeForce GTX TITAN X/PCIe/SSE2×2。

利用本发明和现有基于融合KCF和三帧差分的光学遥感视频目标跟踪方法，对图DateSet进行目标跟踪仿真，其中，图3为R-FCN在视频第一帧上的目标检测结果图，图4为现有技术和本发明在DateSet的第113帧的仿真结果图，图5为本发明和现有技术的精度-位置误差临界值曲线图。

2、仿真内容与结果：

用本发明方法和对比方法在上述仿真条件下进行实验，即运用对比方法与本发明对圣地亚哥地区光学遥感视频中飞机目标进行跟踪，得到如图4(a)、图4(b)、图5和表1的结果。

表1.圣地亚哥地区光学遥感视频目标跟踪结果一览表

	Precision	FPS	mAP
				Tracker Fusion	74.71％	14.06	-
SR-KCF	89.83％	15.11	100％

表1中，Precision表示预测出来的目标的位置与标签位置的区域重叠率，FPS表示跟踪算法的每秒帧率，mAP表示目标检测算法R-FCN在整个跟踪过程中的平均目标检测精度。Tracker Fusion表示对比方法，SR-KCF表示本发明。可以看出，我们的算法在保持跟踪速度的基础上，大幅度提高了跟踪的精度，速度由14.06提高到15.11，而精度由74.71％提高到89.83％。R-FCN的目标检测平均精度在DateSet上达到100％。

图3表示R-FCN在第一帧的目标检测结果，R-FCN将第一帧中所有目标都检测出来了。从图4(a)可以看出，仿真的坐标框不够精确，尤其是plane11，从图4(b)可以看出，与图4(a)相比，仿真结果的坐标框要比图4(a)精确，plane11表示本发明检测出来的静止目标，其他目标为运动目标。相较于现有方法，本发明的仿真结果的精确率由74.71％提高到89.83％。图5表示了本方法与对比方法在精度-位置误差临界值上的曲线图，可以看出来本发明在每个位置误差临界值上都要优于对比方法。

本发明利用一种基于深度学习的方法来对目标进行特征提取，能够提取到目标更加高级的特征，有利于在跟踪过程中的检测部分对目标进行精确检测，可以避免跟踪延迟现象，进而一定程度上提高跟踪精度，另外，本发明考虑了目标跟踪过程中目标可能模糊或者部分遮挡的问题，在现有基于相关滤波的光学遥感视频目标跟踪算法的基础中，引入了背景抑制因子和稀疏响应因子，从而可以在目标模糊或者部分被遮挡的情况下，任然可以对这些进行跟踪，从而可以间接提高跟踪精度。

Claims (3)

1.一种基于深度SR-KCF滤波的光学遥感视频目标跟踪方法，其特征在于，包括如下步骤：

(1)获取目标检测网络R-FCN的训练集D1：

(1a)从数据库中获取F帧包含静止目标和运动目标，且大小为S×S×3的光学遥感视频，并从其中每隔F1帧选取一帧图像，再对选取的图像进行编号，得到图像集D，其中，F1＜F，D＝{I₁,I₂,...,I_i,...I_n}，I_i表示D中的第i帧图像，n表示D中图像的个数；

(1b)对I_i中的运动目标和静止目标进行标记，得到I_i对应的标签L_i，并将D和L组合得到训练集D1，其中，L_i∈{c_l,(x_l,y_l),(w_l,h_l)}，c_l表示I_i中第l个目标的类别，(x_l,y_l)表示I_i中第l个目标的左上角坐标，(w_l,h_l)表示I_i中第l个目标的宽度和高度；

(2)训练目标检测网络R-FCN：

采用D1训练目标检测网络R-FCN，得到预训练模型P1；

(3)优化目标跟踪算法KCF：

将背景抑制因子

和稀疏响应因子

添加到目标跟踪算法KCF，实现对KCF的优化，得到目标跟踪算法SR-KCF：

其中，A₀表示目标跟踪算法KCF的训练样本，y表示A₀的标签，ω表示权重系数，λ₁、λ₂和λ₃分别表示

和

的权重系数，k表示提取的目标候选块的个数，||·||₂表示取2-范数；

(4)设定目标跟踪算法SR-KCF中目标状态的判断条件Q：

其中，ε∈[0.5,1]，(x'_fj,y'_fj)表示第f帧中第j个目标的中心位置坐标，(x'_(f-1)k,y'_(f-1)k)表示第f-1帧中第k个目标的中心位置坐标；

(5)构建检测辅助跟踪算法MS_DAT：

其中，(x'_j,y'_j)表示运用SR-KCF所跟踪的目标的中心位置坐标，(x′_t,y′_t)表示运用P1所检测的目标的中心位置坐标，

t表示P1所检测到的第t个目标，s₀表示(x′_t,y′_t)和(x'_j,y'_j)的匹配输出值；

(6)设定跟踪目标与检测目标的匹配条件l：

其中，σ∈[0.5,1]，c'_j表示经P1所检测的目标的类别，c_j表示SR-KCF所跟踪的目标的类别；

(7)获取光学遥感视频第一帧图像包含目标的信息：

运用P1对待处理的N帧光学遥感视频的第一帧图像进行目标检测，得到第一帧图像所包含目标的类别和位置信息J₁，J₁＝{c_1r,(x_1r,y_1r),(w_1r,h_1r)}，N≥2；

(8)获取光学遥感视频第二帧到第N帧图像包含目标的信息：

(8a)将J_f-1输入到SR-KCF中对第f帧图像进行目标跟踪，得到第f帧图像所包含目标的类别和位置信息J_f、响应值R_fj以及最大响应值R_maxj，J_f＝{c_fj,(x_fj,y_fj),(w_fj,h_fj)}，R_fj＝ω^TA_fij，R_maxj＝max(R_2j,R_3j,...,R_fj)，f∈[2,...,N]；

(8b)根据第f帧图像包含的第j个目标的中心位置坐标(x'_fj,y'_fj)和第f-1帧图像包含的第k个目标的中心位置坐标(x'_(f-1)k,y'_(f-1)k)是否满足Q，判断第j个目标的状态Z_f，若是，则第j个目标的状态Z_f为静止Z_fj，否则，则第j个目标的状态Z_f为运动Z'_fj；

(8c)判断

是否成立，若是，则第f帧图像所包含目标j存在跟踪延迟，运用P1对第f帧图像进行目标检测，得到第f帧图像所包含目标的类别信息和位置信息J_fr，否则，第f帧图像所包含目标j不存在跟踪延迟，第f帧图像所包含目标j的类别和位置信息保持J_fj不变；

(8d)将J_fj中第j个目标的位置信息换算成其中心位置坐标(x'_fj,y'_fj)，同时将J_fr中第r个目标的位置信息换算成其中心位置坐标(x'_fr,y'_fr)，并将(x'_fj,y'_fj)和(x'_fr,y'_fr)输入到MS_DAT中对第f帧进行辅助检测，得到J_fj中第j个目标的和J_fr中第r个目标的匹配输出值s_0jr，再判断s_0jr、c_fj和c_fr是否符合条件l，若是，第j个目标的类别和位置信息J_f为J_fr，否则，第j个目标的类别和位置信息J_f为J_fj；

(9)输出光学遥感视频目标跟踪结果：

将步骤(7)获取的J₁、步骤(8b)获取的Z_f和步骤(8d)获取的J_f作为光学遥感视频目标跟踪结果并输出。

2.根据权利要求1所述的基于深度SR-KCF滤波的光学遥感视频目标跟踪方法，其特征在于：步骤(1)中所述的目标检测网络R-FCN，包括依次层叠的的主干网络ResNet101'、position sensitive score map层、score层和输出层，其中：

主干网络ResNet101'，是通过大小为1×1×1024的卷积核对残差网ResNet101的第100层进行卷积，得到全卷积层，并通过全卷积层替换残差网络ResNet101第101层的全连接层实现的；

position sensitive score map层，是通过大小为1024×1×1的卷积核对主干网络ResNet101'的第101层进行卷积实现的；

score层，是通过对position sensitive score map层进行ROI平均池化实现的；

输出层，是通过分类器Softmax对score层进行分类实现的。

3.根据权利要求1所述的基于深度SR-KCF滤波的光学遥感视频目标跟踪方法，其特征在于：步骤(3)中所述的目标跟踪算法KCF，其表达式为：

其中，A₀表示目标跟踪算法KCF的训练样本，y表示A₀的标签，ω表示权重系数，λ₁表示

的权重系数，||·||₂表示取2-范数。

Images