CN112381856B - 一种适应城市复杂背景的低慢小目标跟踪装置及方法 - Google Patents

Abstract

为解决传统图像跟踪算法无法兼顾运算速度和对目标尺度、姿态变化适应性的技术问题，本发明提供了一种适应城市复杂背景的低慢小目标跟踪装置及方法。本发明采用多光谱目标识别+激光雷达的复合探测方式来实现对无人机目标的检测，在城市复杂背景下，当无人机目标和背景特征难以区分时，采用激光雷达获得目标和背景距离差异信息来辅助目标识别，增加了无人机目标检测成功的概率；采用多模复合跟踪方法，较传统跟踪方法具有更强的跟踪稳定性和适应性，可适应目标尺度变化、姿态变化，短时遮挡等情况。

Description

一种适应城市复杂背景的低慢小目标跟踪装置及方法

技术领域

本发明属于光电跟踪技术领域，涉及一种城市复杂背景下对无人机进行稳定的图像跟踪方法。

背景技术

低慢小目标是低空、慢速、小型目标的统称，一般将飞行高度小于1000m，飞行时速小于200公里，雷达反射面积小于两平方米的低空飞行物称为低慢小目标。低慢小目标主要包括部分民用无人机、航空模型等低慢小航空器，以及飞鸟、风筝等低空飞行物，具有起飞要求低、升空突然性强、发现处置困难等特点。

目前低慢小目标的探测方式主要有雷达和光电两种方式，雷达具有探测距离远、不受天气影响等优点，但是其测角精度较低，也不能适应城市等复杂背景的情况。光电探测测角、测距精度高，可对目标进行清晰成像，并对目标类型进行进一步的识别，同时，通过多光谱融合及先进算法可实现在城市复杂背景下对无人机目标的跟踪。

反无人机系统中，目前常用的光学传感器有可见光和红外传感器，对城市复杂背景下的低慢小目标探测有待提高。目前常用的算法有图像跟踪KCF算法和TLD目标跟踪算法；图像跟踪KCF算法虽然具有运算速度快，实时性好等特点，但对目标尺度变化和姿态变化适应性差；TLD目标跟踪算法虽然在一定程度上适应目标尺度和姿态变化，但存在运算速度慢，运算效率低的情况。

发明内容

为解决传统图像跟踪算法无法兼顾运算速度和对目标尺度、姿态变化适应性的技术问题，本发明提供了一种适应城市复杂背景的低慢小目标跟踪装置及方法。

本发明的技术方案是：

一种适应城市复杂背景的低慢小目标跟踪装置，包括二维转台、控制器、上位机、键鼠显示和隔离电源；

二维转台包括负载总成和转台本体；转台本体用于承载所述负载总成，并按所述控制器发出的指令进行方位、俯仰旋转运动；

控制器包括转台伺服控制板、电源板、伺服驱动器、图像解析板、时序控制板和GPU图像处理平台；转台伺服控制板用于对所述二维转台进行伺服控制；电源板用于对所述隔离电源进行电压转化，从而为控制器内各模块供电；伺服驱动器为所述转台本体的功率驱动机构；时序控制板用于为GPU图像处理平台和转台伺服控制板提供控制时序；

其特殊之处在于：

负载总成包括多波段分光成像模块、红外成像模块、激光雷达和图像融合板；

多波段分光成像模块用于获取目标的多光谱图像；

红外成像模块用于于获取目标的红外图像；

激光雷达用于获取目标和周围背景的三维距离像，辅助所述多波段分光成像模块和红外成像模块进行目标识别；

图像融合板用于将多波段分光成像模块和红外成像模块采集的图像进行特征融合，并将特征融合后得到的融合视频帧进行压缩，并传输给所述控制器中的图像解析板；

图像解析板用于解压来自所述图像融合板的压缩后的融合视频帧；

GPU图像处理平台上装载有复合TLD目标跟踪算法，所述复合TLD目标跟踪算法被运行时用于实现以下步骤：

步骤1，输入融合视频帧；

步骤2，判断当前目标是否未被遮挡，若未被遮挡，则进入步骤3；若当前目标被遮挡，则进入步骤7；

步骤3，将输入的融合视频帧分为两路，一路经过抽取送入TLD目标跟踪算法，另一路直接送入KCF目标跟踪算法；

步骤4，判断当前跟踪是否有效，若有效则进入步骤5；若无效则进入步骤6；

步骤5，将TLD目标跟踪算法中的中值流跟踪框Φ_TLD和KCF算法跟踪框Φ_KCF重叠部分的特征点作为可信跟踪点进行更新，并持续跟踪，返回步骤1；

步骤6，分别将中值流跟踪框Φ_TLD和KCF算法跟踪框Φ_KCF内目标送入具有先验信息的目标识别模块中，判断它们与先验信息的相似度，选取相似度高的跟踪算法目标框为正确目标框，并对漂移目标框进行初始化，转入步骤5；若中值流跟踪框Φ_TLD和KCF算法跟踪框Φ_KCF与先验信息的相似度均较低以致无法识别出跟踪框内目标，则判断为目标被遮挡，进入步骤7；

步骤7，采用IMM卡尔曼滤波器来预估目标在下一帧可能出现的位置，并控制伺服驱动器随动预测轨迹，在下一帧预测位置采用基于先验信息的目标识别模块对目标进行检测，若一段时间后检出目标，则目标已经飞出遮挡区域，可以转为正常跟踪，返回步骤1；若长时间仍未检测到目标，则重新全局搜索目标，返回步骤1。

进一步地，所述步骤4具体为：

4.1)将TLD目标跟踪算法中的中值流跟踪框Φ_TLD和KCF目标跟踪算法跟踪框Φ_KCF的交集与并集的比值，作为当前帧的目标跟踪有效度γ：

4.2)设定有效跟踪阈值为γ₀，当γ＞γ₀时，判断为有效跟踪状态，进入步骤5；当γ≤γ₀时，判断为跟踪失效，进入步骤6。

进一步地，步骤4.2)中，TLD对视频序列进行抽取跟踪，每隔设定帧，和KCF算法进行跟踪有效度比较一次。

进一步地，图像融合板将多波段分光成像模块和红外成像模块采集的图像进行特征融合的方法具体为：自适应的选取目标和背景对比显著的图像进行特征融合，若某一谱段图像的目标与背景对比显著，则分配较大的融合系数，若某一谱段图像的目标背景相似，则分配较小的融合系数。

进一步地，所述多波段分光成像模块由三个探测器和一个多波段分光成像变焦镜头构成；三个探测器共用所述多波段分光成像变焦镜头。

进一步地，所述融合系数根据下述方法确定：

对于多波段分光成像模块获取的单幅多光谱图像，由激光雷达辅助所确定的目标区域为：

S_t＝{x,y,W₀,H₀}

背景区域为：

式中：x,y为目标中心坐标，W₀,H₀为以目标图像形心为中心的横向宽度和纵向宽度；背景区域大于目标区域；

目标和背景的概率密度函数分别为：

式中：p(i)表示目标的概率密度函数，q(i)表示背景的概率密度函数，n_f和n_b分别表示直方图和背景的像素数量，表示目标第i级灰度对应的点数，/>表示背景第i级灰度对应的点数，i＝1,2,3,…；

特征可分性度量为：

Log似然比函数：

Log似然比方差：

式中：ε为保证函数log(·)有意义的极小值，取ε＝0.01；

待融合的图像包括三个多光谱图像和一个红外图像，所对应的似然比方差分别为e₁、e₂、e₃、e₄；

归一化后每幅图像的融合系数为：

本发明还提供了一种适应城市复杂背景的低慢小目标跟踪方法，其特殊之处在于，包括以下步骤：

1)利用多波段分光成像模块和红外成像模块跟踪采集目标的多光谱图像和红外图像，在采集过程中利用激光雷达辅助所述多波段分光成像模块和红外成像模块进行目标识别；

2)对目标的多光谱图像和红外图像进行特征融合；

3)获取特征融合后的融合视频帧；

4)判断当前目标是否未被遮挡，若未被遮挡，则进入步骤5)；若当前目标被遮挡，则进入步骤9)；

5)将输入的融合视频帧分为两路，一路经过抽取送入TLD目标跟踪算法，另一路直接送入KCF目标跟踪算法；

6)判断当前跟踪是否有效，若有效则进入步骤7)；若无效则进入步骤8)；

7)将TLD目标跟踪算法中的中值流跟踪框Φ_TLD和KCF算法跟踪框Φ_KCF重叠部分的特征点作为可信跟踪点进行更新，并持续跟踪，返回步骤3)；

8)分别将中值流跟踪框Φ_TLD和KCF算法跟踪框Φ_KCF内目标送入具有先验信息的目标识别模块中，判断它们与先验信息的相似度，选取相似度高的跟踪算法目标框为正确目标框，并对漂移目标框进行初始化，转入步骤7)；若中值流跟踪框Φ_TLD和KCF算法跟踪框Φ_KCF与先验信息的相似度均较低以致无法识别出跟踪框内目标，则判断为目标被遮挡，进入步骤9)；

9)采用IMM卡尔曼滤波器来预估目标在下一帧可能出现的位置，并控制伺服驱动器随动预测轨迹，在下一帧预测位置采用基于先验信息的目标识别模块对目标进行检测，若一段时间后检出目标，则目标已经飞出遮挡区域，可以转为正常跟踪，返回步骤3)；若长时间仍未检测到目标，则重新全局搜索目标，返回步骤3)。

进一步地，所述步骤6)具体为：

6.1)将TLD目标跟踪算法中的中值流跟踪框Φ_TLD和KCF目标跟踪算法跟踪框Φ_KCF的交集与并集的比值，作为当前帧的目标跟踪有效度γ：

6.2)设定有效跟踪阈值为γ₀，当γ＞γ₀时，判断为有效跟踪状态，进入步骤7)；当γ≤γ₀时，判断为跟踪失效，进入步骤8)。

进一步地，步骤2)中特征融合的方法具体为：自适应的选取目标和背景对比显著的图像进行特征融合，若某一谱段图像的目标与背景对比显著，则分配较大的融合系数，若某一谱段图像的目标背景相似，则分配较小的融合系数。

本发明的有益效果是：

1.相比传统的无人机检测方式，本发明采用多光谱目标识别+激光雷达的复合探测方式来实现对无人机目标的检测，在城市复杂背景下，当无人机目标和背景特征难以区分时，采用激光雷达获得目标和背景距离差异信息来辅助目标识别，增加了无人机目标检测成功的概率。

2.本发明采用多模复合跟踪方法，较传统跟踪方法具有更强的跟踪稳定性和适应性，可适应目标尺度变化、姿态变化，短时遮挡等情况，在跟踪过程中所采集的目标图像自动存储，作为深度学习的训练样本。

3.本发明运算速度快、对目标尺度变化和姿态变化适应性好。

附图说明

图1是本发明低慢小目标跟踪装置的组成框图。

图2是本发明低慢小目标跟踪装置的中各组成部分之间的连接关系示意图。

图3是本发明中分光棱镜图示。

图4是本发明中激光雷达扫描无人机及背景示意图.

图5是激光雷达自适应调节视场，扫描点阵示意图。

图6是多传感器融合策略。

图7是多模复合目标跟踪算法原理框图。

图8是多模复合TLD目标跟踪算法流程图。

图9是运算嵌套关系。

具体实施方式

以下结合附图对本发明作进一步说明。

如图1所示，本发明目标跟踪装置包括二维转台、控制器、上位机、键鼠显示和隔离电源。

二维转台主要用于进行目标搜索成像、跟踪成像、激光测距以及搜索和跟踪动作的执行。二维转台包括负载总成和转台本体；负载总成是目标跟踪装置进行光电测量的执行部，主要包括多波段分光成像模块(由三个探测器和一个多波段分光成像变焦镜头构成)、红外成像模块(由一个红外相机和一个镜头构成)、激光雷达和图像融合板。图像融合板用于将多波段分光成像模块、红外成像模块采集的图像进行融合得到融合视频帧，并对融合视频帧压缩后传输给控制器中的图像解析板。转台本体为现有单元，是负载总成的承载机构，并按控制器指令进行方位、俯仰旋转运动，从而使二维转台的负载总成能够实现扫描搜索、跟踪；转台本体主要包括框架主体、设置在框架主体上的方位电机及编码器、俯仰电机及编码器、方位光电滑环、俯仰光电滑环。

控制器主要进行图像处理和目标识别、搜索和跟踪模式的控制、多波段分光成像模块、红外成像模块、激光雷达的控制、以及与上位机之间的信息交互。控制器包括转台伺服控制板、电源板、伺服驱动器、图像解析板、时序控制板和GPU图像处理平台；转台伺服控制板用于对二维转台进行伺服控制；电源板用于对外部隔离电源进行电压转化，从而为控制器内各模块供电；伺服驱动器为方位和俯仰电机的功率驱动机构；图像解析板用于解压图像融合板传来的压缩的融合视频帧；时序控制板用于为GPU图像处理平台和转台伺服控制板提供控制时序；GPU图像处理平台内含高速GPU，用来高效运行复合TLD目标跟踪算法。

上位机和键鼠显示用于进行搜索图像和跟踪图像的显示、目标的人工确认、搜索和跟踪的相关参数设置和模式控制。

多波段分光成像模块设计

本发明采用三波段分光成像形式，利用波段光谱信息进行图像识别，三个探测器(图3中的1#探测器、2#探测器、3#探测器)共用一个成像镜头，在成像镜头后截距位置利用三块棱镜构成分光棱镜，实现三波段分光，三块棱镜构成的分光棱镜如图3所示。

成像入射光束经过成像镜头成像后，分光棱镜根据光谱波段将入射光分为三束，分别在不同的探测器上成像。多波段分光成像模块中探测器的靶面尺寸为1.2英寸，分光棱镜保证入射光束可以完全到达探测器靶面，分光棱镜的通光口径不小于Φ25mm。基于成像模块结构布局考虑，分光棱镜的布局采用图3给出的布局形式，三块棱镜采用同种材料，采用光敏胶进行胶合。

三波段的光谱范围划分需保证三个探测器对白光所成的像素灰度等级基本一致，即保证白光入射时，分光后三个探测器像面照度基本一致。探测器成像灰度等级由镜头透过率曲线和探测器的光谱响应曲线决定，通过光学设计可以保证成像镜头光谱透过率在450～950nm光谱范围内的偏差不大于2％，因此图像灰度等级主要由探测器的光谱响应曲线决定。

激光雷达辅助的多传感器自适应融合策略

如图4、图5所示，激光雷达采用高速振镜扫描的方式实现，高速振镜由压电陶瓷驱动或者音圈电机驱动，可在小角度范围内实现快速扫描，扫描激光束会覆盖无人机及周围背景区域，由此激光雷达可生成无人机和周围背景的三维距离像，根据无人机和背景成像距离的不同可将无人机从背景中分离出来，从而有利于辅助基于多波段分光成像模块+红外成像模块的目标识别。激光雷达根据目标和背景距离变化也可以辅助多波段分光成像模块进行目标部分遮挡或者完全遮挡的状态判断。

如图5所示，激光雷达可自适应的调整视场大小，在无人机距离目标跟踪装置近的时候，激光雷达采用宽视场、稀疏的激光点阵，随着无人机距目标跟踪装置距离的增加，激光雷达的视场缩小、点阵逐渐密集，以保证在远距离情况下获得较高的分辨率。

如图6所示，激光雷达可获得无人机和周围背景的三维距离像，根据无人机目标飞行航迹的关联性，根据历史航迹得到预测结果和无人机与周围背景的距离差异，将无人机当前时刻的位置估计出来，根据估计的无人机当前位置来进一步减小多波段分光成像模块的多光谱跟踪窗口和红外成像模块的图像跟踪窗口的范围。在当前激光雷达获得的距离图像对无人机目标位置估计准确的情况下，从多波段分光成像模块获取的多光谱图像和红外成像模块获取的红外图像中，自适应的选取目标和背景对比显著的图像进行特征融合，若某一谱段图像的目标与背景对比显著，则分配较大的融合系数，若某一谱段图像的目标背景相似，则分配较小的融合系数。

对于多波段分光成像模块获取的单幅多光谱图像，由激光雷达辅助所确定的目标区域为：

S_t＝{x,y,W₀,H₀} (1.1)

背景区域为：

式中：x,y为目标中心坐标，W₀,H₀为以目标图像形心为中心的横向宽度和纵向宽度。背景区域要稍大于目标区域。

目标和背景的概率密度函数分别为：

式中：p(i)表示目标的概率密度函数，q(i)表示背景的概率密度函数，n_f和n_b分别表示直方图和背景的像素数量，表示目标第i级灰度对应的点数，/>表示背景第i级灰度对应的点数，i＝1,2,3,…。

特征可分性度量为：

Log似然比函数：

Log似然比方差：

式中：ε为保证函数log(·)有意义的极小值，可取ε＝0.01。

似然比方差e较大的特征具有较高的区分度。待融合的图像包括三个多光谱图像和一个红外图像，所对应的似然比方差分别为e₁、e₂、e₃、e₄。归一化后每幅图片的融合系数为：

通过激光雷达获取目标和背景的三维距离像，来辅助多波段分光成像模块和红外成像模块来进行数据融合。事先将激光雷达主光轴和多波段分光成像模块和红外成像模块中的探测器主光轴进行标定，以保证激光雷达辅助多波段分光成像模块和红外成像模块中目标位置确定的准确性。

采用激光雷达辅助的多波段分光成像模块+红外成像模块的融合方法较传统可见光+红外图像融合模式具有更强的抗复杂背景干扰能力，也具有更强的鲁棒性。

多模复合跟踪原理

采用激光雷达辅助+多波段分光成像模块+红外成像模块的多传感器探测模式，来提高复杂背景下无人机和背景之间的特征差异，更有利于无人机目标的识别、提取和跟踪。由于TLD目标跟踪算法将传统的跟踪与检测算法相结合，并加入一种改进的在线学习机制，解决了目前大部分跟踪算法在跟踪失效后不能重新捕获目标的缺点，并且能够很好的适应目标外观的变化，具有一定的鲁棒性和适应性。在实际系统应用中，TLD目标跟踪算法也存在耗时较长，容易产生跟踪漂移等缺点。

因此，为了获得实时稳定的跟踪算法，本发明提出了改进的复合TLD目标跟踪算法。如图7所示，一方面，图像处理前端获取的融合视频帧(多波段跟光成像模块和红外成像模块融合的图像)一路经过抽取(原始50Hz，抽取后为10Hz)，之后送入TLD目标跟踪算法，另一路直接送入KCF目标跟踪算法中；KCF目标跟踪算法实时性高，运算速度快，在运行正常的情况下，TLD目标跟踪算法会对KCF样本进行更新，以弥补KCF目标跟踪算法不能适应目标尺度变化及遮挡情况下重新捕获的情况，当KCF和TLD算法都不能有效检测目标时，通过最外层的基于先验信息的目标识别模块来重新检测并定位目标。总之，复合TLD目标跟踪算法将三种算法进行优势互补。

如图8所示，复合TLD目标跟踪算法的具体流程如下：

步骤1，输入融合视频帧；

步骤2，判断当前目标是否未被遮挡(判断方法同步骤6)，若未被遮挡，则进入步骤3；若当前目标被遮挡，则进入步骤7；

步骤3，将输入的融合视频帧分为两路，一路经过抽取送入TLD目标跟踪算法，另一路直接送入KCF目标跟踪算法；

步骤4，判断当前跟踪是否有效；

4.1)将TLD目标跟踪算法中的中值流跟踪框Φ_TLD和KCF目标跟踪算法跟踪框Φ_KCF的交集与并集的比值，作为当前帧的目标跟踪有效度γ：

4.2)设定有效跟踪阈值为γ₀，当γ＞γ₀时，判断为有效跟踪状态；当γ≤γ₀时，判断为跟踪失效，由于TLD算法运行速度较KCF慢，TLD对视频序列进行了抽取跟踪，每隔5帧，和KCF算法进行跟踪有效度比较一次，

若比较结果为跟踪有效，则进入步骤5；

若比较结果为跟踪失效，则进入步骤6；

步骤5，将中值流跟踪框Φ_TLD和KCF算法跟踪框Φ_KCF重叠部分的特征点作为可信跟踪点进行更新，并持续跟踪，返回步骤1；

步骤6，分别将中值流跟踪框Φ_TLD和KCF算法跟踪框Φ_KCF内目标送入具有先验信息的目标识别模块中，判断它们与先验信息的相似度，选取相似度高的跟踪算法目标框为正确目标框，并对漂移目标框进行初始化(即更新另一算法的跟踪框)，转入步骤5；若中值流跟踪框Φ_TLD和KCF算法跟踪框Φ_KCF与先验信息的相似度均较低以致无法识别出跟踪框内目标，则判断为目标被遮挡，进入步骤7；

步骤7，采用IMM卡尔曼滤波器来预估目标在下一帧可能出现的位置，并控制伺服驱动器随动预测轨迹，在下一帧预测位置采用基于先验信息的目标识别模块对目标进行检测，若一段时间后检出目标，则目标已经飞出遮挡区域，可以转为正常跟踪，返回步骤1。若长时间仍未检测到目标，则重新全局搜索目标，返回步骤1。

如图9所示，KCF目标跟踪算法、TLD目标跟踪算法和基于先验信息的目标识别模块构成三环目标跟踪算法，速度最快的KCF目标跟踪算法在最内层，由于短时间内目标的形状、姿态和尺度不会发生太大变化，因此，内层KCF目标跟踪算法可以保证运算的实时性。以较低频率运行的TLD目标跟踪算法，对目标尺度变化、姿态变化和短时遮挡有一定的适应性，可以用来更新KCF目标跟踪算法的模板，如果目标发生严重遮挡或者KCF、TLD目标跟踪算法判别目标丢失的情况下，采用最外层的基于先验信息的目标识别模块再次对可疑目标进行确认，同时更新KCF和TLD算法的模板。

Claims (7)

1.一种适应城市复杂背景的低慢小目标跟踪装置，包括二维转台、控制器、上位机、键鼠显示和隔离电源；

二维转台包括负载总成和转台本体；转台本体用于承载所述负载总成，并按所述控制器发出的指令进行方位、俯仰旋转运动；

控制器包括转台伺服控制板、电源板、伺服驱动器、图像解析板、时序控制板和GPU图像处理平台；转台伺服控制板用于对所述二维转台进行伺服控制；电源板用于对所述隔离电源进行电压转化，从而为控制器内各模块供电；伺服驱动器为所述转台本体的功率驱动机构；时序控制板用于为GPU图像处理平台和转台伺服控制板提供控制时序；

其特征在于：

负载总成包括多波段分光成像模块、红外成像模块、激光雷达和图像融合板；

多波段分光成像模块用于获取目标的多光谱图像；

红外成像模块用于于获取目标的红外图像；

激光雷达用于获取目标和周围背景的三维距离像，辅助所述多波段分光成像模块和红外成像模块进行目标识别；

图像融合板用于将多波段分光成像模块和红外成像模块采集的图像进行特征融合，并将特征融合后得到的融合视频帧进行压缩，并传输给所述控制器中的图像解析板；图像融合板将多波段分光成像模块和红外成像模块采集的图像进行特征融合的方法具体为：自适应的选取目标和背景对比显著的图像进行特征融合，若某一谱段图像的目标与背景对比显著，则分配较大的融合系数，若某一谱段图像的目标背景相似，则分配较小的融合系数；

所述融合系数根据下述方法确定：

对于多波段分光成像模块获取的单幅多光谱图像，由激光雷达辅助所确定的目标区域为：

S_t＝{x,y,W₀,H₀}

背景区域为：

式中：x,y为目标中心坐标，W₀,H₀为以目标图像形心为中心的横向宽度和纵向宽度；背景区域大于目标区域；

目标和背景的概率密度函数分别为：

式中：p(i)表示目标的概率密度函数，q(i)表示背景的概率密度函数，n_f和n_b分别表示直方图和背景的像素数量，表示目标第i级灰度对应的点数，/>表示背景第i级灰度对应的点数，i＝1,2,3,；

特征可分性度量为：

Log似然比函数：

Log似然比方差：

式中：ε为保证函数log(·)有意义的极小值，取ε＝0.01；

待融合的图像包括三个多光谱图像和一个红外图像，所对应的似然比方差分别为e₁、e₂、e₃、e₄；

归一化后每幅图像的融合系数为：

图像解析板用于解压来自所述图像融合板的压缩后的融合视频帧；

GPU图像处理平台上装载有复合TLD目标跟踪算法，所述复合TLD目标跟踪算法被运行时用于实现以下步骤：

步骤1，输入融合视频帧；

步骤2，判断当前目标是否未被遮挡，若未被遮挡，则进入步骤3；若当前目标被遮挡，则进入步骤7；

步骤3，将输入的融合视频帧分为两路，一路经过抽取送入TLD目标跟踪算法，另一路直接送入KCF目标跟踪算法；

步骤4，判断当前跟踪是否有效，若有效则进入步骤5；若无效则进入步骤6；

步骤5，将TLD目标跟踪算法中的中值流跟踪框Φ_TLD和KCF算法跟踪框Φ_KCF重叠部分的特征点作为可信跟踪点进行更新，并持续跟踪，返回步骤1；

步骤6，分别将中值流跟踪框Φ_TLD和KCF算法跟踪框Φ_KCF内目标送入具有先验信息的目标识别模块中，判断它们与先验信息的相似度，选取相似度高的跟踪算法目标框为正确目标框，并对漂移目标框进行初始化，转入步骤5；若中值流跟踪框Φ_TLD和KCF算法跟踪框Φ_KCF与先验信息的相似度均较低以致无法识别出跟踪框内目标，则判断为目标被遮挡，进入步骤7；

步骤7，采用IMM卡尔曼滤波器来预估目标在下一帧可能出现的位置，并控制伺服驱动器随动预测轨迹，在下一帧预测位置采用基于先验信息的目标识别模块对目标进行检测，若一段时间后检出目标，则目标已经飞出遮挡区域，可以转为正常跟踪，返回步骤1；若长时间仍未检测到目标，则重新全局搜索目标，返回步骤1。

2.根据权利要求1所述的适应城市复杂背景的低慢小目标跟踪装置，其特征在于：所述步骤4具体为：

4.1)将TLD目标跟踪算法中的中值流跟踪框Φ_TLD和KCF目标跟踪算法跟踪框Φ_KCF的交集与并集的比值，作为当前帧的目标跟踪有效度γ：

4.2)设定有效跟踪阈值为γ₀，当γ＞γ₀时，判断为有效跟踪状态，进入步骤5；当γ≤γ₀时，判断为跟踪失效，进入步骤6。

3.根据权利要求2所述的适应城市复杂背景的低慢小目标跟踪装置，其特征在于：步骤4.2)中，TLD对视频序列进行抽取跟踪，每隔设定帧，和KCF算法进行跟踪有效度比较一次。

4.根据权利要求3所述的适应城市复杂背景的低慢小目标跟踪装置，其特征在于：所述多波段分光成像模块由三个探测器和一个多波段分光成像变焦镜头构成；三个探测器共用所述多波段分光成像变焦镜头。

5.一种基于权利要求1所述的适应城市复杂背景的低慢小目标跟踪装置的跟踪方法，其特征在于，包括以下步骤：

1)利用多波段分光成像模块和红外成像模块跟踪采集目标的多光谱图像和红外图像，在采集过程中利用激光雷达辅助所述多波段分光成像模块和红外成像模块进行目标识别；

2)对目标的多光谱图像和红外图像进行特征融合；

3)获取特征融合后的融合视频帧；

4)判断当前目标是否未被遮挡，若未被遮挡，则进入步骤5)；若当前目标被遮挡，则进入步骤9)；

5)将输入的融合视频帧分为两路，一路经过抽取送入TLD目标跟踪算法，另一路直接送入KCF目标跟踪算法；

6)判断当前跟踪是否有效，若有效则进入步骤7)；若无效则进入步骤8)；

7)将TLD目标跟踪算法中的中值流跟踪框Φ_TLD和KCF算法跟踪框Φ_KCF重叠部分的特征点作为可信跟踪点进行更新，并持续跟踪，返回步骤3)；

8)分别将中值流跟踪框Φ_TLD和KCF算法跟踪框Φ_KCF内目标送入具有先验信息的目标识别模块中，判断它们与先验信息的相似度，选取相似度高的跟踪算法目标框为正确目标框，并对漂移目标框进行初始化，转入步骤7)；若中值流跟踪框Φ_TLD和KCF算法跟踪框Φ_KCF与先验信息的相似度均较低以致无法识别出跟踪框内目标，则判断为目标被遮挡，进入步骤9)；

9)采用IMM卡尔曼滤波器来预估目标在下一帧可能出现的位置，并控制伺服驱动器随动预测轨迹，在下一帧预测位置采用基于先验信息的目标识别模块对目标进行检测，若一段时间后检出目标，则目标已经飞出遮挡区域，可以转为正常跟踪，返回步骤3)；若长时间仍未检测到目标，则重新全局搜索目标，返回步骤3)。

6.根据权利要求5所述的适应城市复杂背景的低慢小目标跟踪方法，其特征在于：所述步骤6)具体为：

6.1)将TLD目标跟踪算法中的中值流跟踪框Φ_TLD和KCF目标跟踪算法跟踪框Φ_KCF的交集与并集的比值，作为当前帧的目标跟踪有效度γ：

6.2)设定有效跟踪阈值为γ₀，当γ＞γ₀时，判断为有效跟踪状态，进入步骤7)；当γ≤γ₀时，判断为跟踪失效，进入步骤8)。

7.根据权利要求6所述的适应城市复杂背景的低慢小目标跟踪方法，其特征在于：步骤2)中特征融合的方法具体为：自适应的选取目标和背景对比显著的图像进行特征融合，若某一谱段图像的目标与背景对比显著，则分配较大的融合系数，若某一谱段图像的目标背景相似，则分配较小的融合系数。