CN113344971A - 一种融合卡尔曼滤波的孪生红外目标跟踪方法 - Google Patents

Abstract

本发明涉及一种融合卡尔曼滤波的孪生红外目标跟踪方法，属于计算机视觉和深度学习领域。该方法在SiamRPN++的目标跟踪算法中融合了卡尔曼滤波算法，用来提升遮挡场景下对红外目标的跟踪性能。首先利用SiamRPN++得到的置信度得分与遮挡阈值进行比较，判别目标是否处于遮挡状态。一旦目标进入遮挡，对目标位置使用卡尔曼滤波进行预测。之后，在跟踪框架中引入CBAM注意力机制对遮挡周围的干扰物得分进行了抑制，提升了置信度判别策略的可靠性，有效解决了在遮挡时卡尔曼预测因受到干扰物影响而错误停止预测的问题。本发明提出的方法对遮挡问题有较好的鲁棒性，相比原始SiamRPN++算法在精确度和成功率方面有较大提升。

Description

一种融合卡尔曼滤波的孪生红外目标跟踪方法

技术领域

本发明属于计算机视觉和深度学习领域，具体涉及一种融合卡尔曼滤波的孪生红外目标跟踪方法。

背景技术

随着红外摄像头在成像质量、分辨率等属性上得到增强，红外目标跟踪作为计算机视觉中的一项基本任务，近年来受到越来越多的关注。红外跟踪的主要优势是能够在完全黑暗的情况下使用，具有对光照不敏感和隐私保护性等优点，被广泛应用于智能监控、辅助驾驶及海上救援等领域中。但是相较于可见光目标，红外目标具有缺乏色彩信息、分辨率低、轮廓模糊等特征信息量较少的问题，阻碍了跟踪模型提取的特征质量。同时，在跟踪过程中目标存在热交叉、尺度变化、旋转、形变、遮挡等挑战，使得红外目标的稳定跟踪成为是一项极具挑战性的任务，特别是在物体遮挡的情况下，目标容易被跟丢。

考虑到卷积神经网络强大的表示能力，目前主流的红外目标跟踪方法将深度特征引入到跟踪中。这些方法大致可分为两类。一类是基于深度特征的红外目标跟踪方法，使用预先训练的分类网络提取深层特征，然后将它们集成到传统的跟踪器中。例如，DSST-tir和ECO-tir算法使用深层特征作为相关滤波器的特征输入，证明了使用深度特征可以获得更好的性能。一类是基于匹配的深度红外目标跟踪方法。例如，HSSNet、MLSSNet和MMNet算法将跟踪作为匹配问题，使用孪生网络对红外目标进行相似性匹配。这些方法因其高效、简便而备受关注。

孪生网络跟踪器将跟踪视为一项相似性验证任务，首先离线训练出一个相似度量网络，然后利用它在线计算候选对象和目标之间的相似性。考虑到红外目标跟踪需同时兼顾跟踪精度和跟踪速度，所以选取精度和速度较为平衡的孪生网络跟踪模型SiamRPN++作为红外目标跟踪器。然而，当目标被遮挡时，SiamRPN++算法在搜索区域中提取到的目标特征信息减少或者提取到错误的目标信息，导致模板图像与搜索图像匹配失败，跟踪漂移。

发明内容

本发明的目的是为了解决现有技术的不足，提供一种融合卡尔曼滤波的孪生红外目标跟踪方法。首先，该方法利用置信度得分判别目标是否处于遮挡状态，一旦目标进入遮挡状态，对目标位置使用卡尔曼滤波进行预测。之后，为了解决在遮挡时，因受到干扰物影响错误地认为目标脱离遮挡，卡尔曼滤波停止预测的问题，在SiamRPN++跟踪框架中引入注意力机制对遮挡干扰进行抑制。在红外公共数据集上进行对所提方法进行评估，相比于原始方法获得了显著的增益，可以有效解决跟踪过程中的遮挡问题。

为了实现上述目的，本发明采用的具体方案为：

一种融合卡尔曼滤波的孪生红外目标跟踪方法，包括以下步骤：

S1、引入注意力机制，构建CBAM_SiamRPN++红外目标跟踪模型；

S2、在训练集上训练改进的孪生网络跟踪模型，得到收敛的跟踪模型；

S3、利用训练得到的的孪生网络跟踪模型进行在线跟踪，得到置信度得分；

S4、设定遮挡阈值，根据置信度得分判别目标是否处于遮挡状态，转到步骤S5或步骤S6进行目标跟踪；

S5、置信度得分大于阈值，目标未被遮挡，转到步骤S3，后续帧使用孪生网络进行跟踪；

S6、置信度得分小于阈值，目标进入遮挡状态，对目标位置使用卡尔曼滤波进行预测，将预测得到的位置作为本帧的跟踪结果；

S7、根据步骤S6中卡尔曼预测的位置得到下一帧搜索区域，然后转到步骤S3，直到目标脱离遮挡。

作为对上述方案的进一步优化，步骤S1具体包括：在SiamRPN++跟踪模型的区域建议网络互相关计算相似度之前，引入CBAM注意力模块，分别对分类分支和回归分支进行空间和通道上的特征加强，由pytorch深度学习框架构建CBAM_SiamRPN++红外目标跟踪模型。

作为对上述方案的进一步优化，步骤S2具体包括：

S21、收集不同种类的红外图像序列集，将数据集的标签统一转换为VOT标准数据集形式；

S22、根据红外视频序列图片中目标的位置及尺寸，裁剪出对应的目标模板区域Z和搜索区域X，并以此图像对(Z,X)作为训练数据，构成红外训练数据集；

S23、采取SiamRPN++在COCO、ImageNet DET、ImageNet VID、Youtube-BB数据集上训练得到的预训练权重文件，在红外训练数据集上训练改进的CBAM_SiamRPN++模型并保存最终训练权重。

作为对上述方案的进一步优化，步骤S3具体包括：

S31、读取待跟踪视频序列的第一帧图片及图片中目标位置，裁剪出目标模板区域图像Z；

S32、读取待跟踪视频第t帧图片，并根据第t-1帧中确定的目标位置，裁剪出第t帧图片的搜索区域图像X；

S33、将模板图像Z和搜索图像X输入至步骤S2训练好的孪生网络模型，经特征提取、通道和空间注意力加权后，得到分类分支和回归分支的模板特征图和搜索特征图；

S34、分别在分类分支和回归分支对模板特征图和搜索特征图进行互相关操作，获得前/背景分类概率估计和边界框位置回归估计。

作为对上述方案的进一步优化，步骤S4具体包括：

S41、根据步骤S3得到的前/背景分类概率估计，得到目标的最大置信度分数；

S42、设定遮挡阈值T，与S41得到的最大置信度分数进行比较，判断目标是否处于遮挡状态。

作为对上述方案的进一步优化，步骤S5具体包括：

S51、根据步骤S4，当置信度得分大于遮挡干扰时，判断出目标未被遮挡或者脱离遮挡状态；

S52、根据步骤S51得到的本帧跟踪结果，裁剪出下一帧图片的搜索区域图像X，转到步骤S3，使用孪生网络跟踪器进行跟踪。

作为对上述方案的进一步优化，步骤S6具体包括：

S61、根据步骤S4，当置信度得分小于遮挡干扰时，判断出目标进入或者处于遮挡状态；

S62、根据前几帧目标的位置和速度信息，使用卡尔曼滤波对目标的运动轨迹进行预测，得到遮挡下的目标位置。

作为对上述方案的进一步优化，步骤S7具体包括：

S71、根据步骤S6预测得到的目标位置，裁剪出下一帧图片的搜索区域X；当目标连续5帧处于遮挡状态时，将搜索区域区域扩大1.5倍，裁剪出下一帧图片的搜索区域X；

S72、转到步骤S3，将S71裁剪出的下一帧搜索区域图像X输入至孪生网络跟踪模型，直至置信度得分大于遮挡阈值时，目标脱离遮挡。

有益效果：本发明针对现有孪生网络跟踪方法对红外目标遮挡鲁棒性差的问题，提出了一种融合卡尔曼滤波的孪生红外目标跟踪方法，能够根据置信度判别策略判定遮挡状态，自适应的切换孪生网络跟踪器和卡尔曼滤波对红外目标进行跟踪。并在孪生网络跟踪模型中引入注意力机制，对遮挡时出现的干扰物进行了抑制，这样卡尔曼滤波在目标遮挡时不会因为置信度判别错误而停止预测，提升了置信度判别策略的可靠性。对比原有的孪生网络跟踪方法，本发明提出的方法可以在遮挡情形下对红外目标进行准确的跟踪。

附图说明

图1是CBAM注意力结构图；

图2是添加注意力模块的区域建议网络结构图；

图3是本发明所提跟踪方法的整体流程图；

图4是lsotb-tir测试集上各算法的精确度和成功率对比图。

具体实施方式

为了更好地理解上述技术方案，下面将结合说明书附图及具体的实施方式对上述技术方案进行详细的说明。

一种融合卡尔曼滤波的孪生红外目标跟踪方法，包括如下步骤：

S1、引入注意力机制，构建CBAM_SiamRPN++红外目标跟踪模型。具体而言，步骤S1包括：在SiamRPN++跟踪模型的区域建议网络互相关计算相似度之前，引入CBAM注意力模块，分别对分类分支和回归分支进行空间和通道上的特征加强，由pytorch深度学习框架构建CBAM_SiamRPN++红外目标跟踪模型。

CBAM是一个结合通道和空间的注意力模块，其结构图如图1所示，有两个按顺序排列的子模块，顺序依次进行通道上和空间上的注意力。首先进行的是通道注意力权重的计算，在通道维度上对原始特征进行重标定，此时重要的通道得到了增强，不重要的通道得到了抑制。接下来进行的是空间注意力权重的计算，对特征的每个位置分配不同的权重。

由于区域建议网络的分类和回归分支互相关前的卷积层抽象程度较高且特征提取充分，故在互相关前添加CBAM注意力模块，如图2所示。

S2、在训练集上训练改进的孪生网络跟踪模型，得到收敛的跟踪模型。具体而言，步骤S2包括：

S21、收集各种种类的红外图像序列集，将数据集的标签统一转换为VOT标准数据集形式；

S22、根据红外视频序列图片中目标的位置及尺寸，裁剪出对应的目标模板区域Z和搜索区域X，并以此图像对(Z,X)为训练数据，构成红外训练数据集；

S23、采用SiamRPN++在COCO、ImageNet DET、ImageNet VID、Youtube-BB数据集上训练得到的的预训练权重文件，设置训练数据量、批尺寸、学习率、迭代次数及相应的超参数，在红外训练数据集上训练改进的CBAM_SiamRPN++模型并保存最终训练权重。

S3、利用训练得到的的孪生网络模型进行在线跟踪，得到置信度得分。具体而言，步骤S3包括：

S31、读取待跟踪视频序列的第一帧图片及图片中目标位置，以标注的边界框的中心为目标中心，以边长

截取出一个正方形区域，其中w和h分别为初始帧目标的宽和高，

是根据宽高计算得到的一个参数。若该区域超出图片边界，则用图片的像素平局值填充超出的部分，最后将正方形区域尺寸重置为127*127，即得到目标模板区域图像Z；

S32、读取待跟踪视频第t帧图片，以边长

并根据第t-1帧中确定的目标中心位置，截取出一个正方形区域，其中w和h分别为第t-1帧中确定的目标框的宽和高，

是根据宽高计算得到的一个参数。若该区域超出图片边界，则用图片的像素平局值填充超出的部分，最后将正方形区域尺寸重置为255*255，即得到第t帧图片的搜索区域图像X；

S33、将模板图像Z和搜索图像X输入至步骤S2训练好的孪生网络模型，经特征提取、通道和空间注意力加权后，得到分类分支和回归分支的模板特征图和搜索特征图；

S34、分别在分类分支和回归分支对模板特征图和搜索特征图使用深度可分离卷积进行互相关操作，经后续处理后获得前/背景分类概率估计和边界框位置回归估计。

S4、设定遮挡阈值，根据置信度得分判别目标是否处于遮挡状态，转到步骤S5或步骤S6进行目标跟踪。具体而言，步骤S4包括：

S41、根据步骤S3得到的前/背景分类概率估计，得到目标的最大置信度分数；

S42、设定遮挡阈值T为0.95，与S41得到的最大置信度分数进行比较，判断目标是否处于遮挡状态，当置信度得分大于阈值转到步骤S5，当置信度得分小于阈值转到步骤S6。

S5、当置信度得分大于设定的遮挡阈值时，目标未被遮挡，转到步骤S3，后续帧使用孪生网络跟踪器进行跟踪。具体而言，步骤S5包括：

S51、根据步骤S4，当置信度得分大于遮挡阈值时，判断出目标未被遮挡或者脱离遮挡状态，将步骤S3孪生网络回归分支得到的边界框位置作为本帧的跟踪结果；

S52、根据步骤S51得到的本帧跟踪结果，裁剪出下一帧图片的搜索区域图像X，转到步骤S3，使用孪生网络跟踪器进行跟踪。

S6、置信度得分小于阈值，目标进入遮挡状态，对目标位置使用卡尔曼滤波进行预测,将预测得到的位置作为本帧的跟踪结果。具体而言，步骤S6包括：

S61、根据步骤S4，当置信度得分小于遮挡干扰时，判断出目标进入或者处于遮挡状态；

S62、根据前几帧目标的位置和速度信息，使用卡尔曼滤波对目标的运动轨迹进行预测，得到遮挡下的目标位置，将预测得到的位置作为此帧跟踪目标的中心点位置。假设目标的尺寸在遮挡前后不变，目标的宽高使用遮挡前一帧的宽高替代。

S7、根据步骤S6中卡尔曼预测的位置得到下一帧搜索区域，然后转到步骤S3，直到目标脱离遮挡。具体而言，步骤S7包括：

S71、根据步骤S6预测得到的目标位置，裁剪出下一帧图片的搜索区域X；当目标连续5帧处于遮挡状态时，目标处于长期遮挡状态，此时连续多帧使用卡尔曼滤波会造成预测位置与目标真实位置偏差过大，使得目标在脱离遮挡后出现在搜索区域之外。为了应对这种场景，将搜索区域区域扩大1.5倍，裁剪出下一帧图片的搜索区域X。

S72、转到步骤S3，将S71裁剪出的下一帧搜索区域图像X输入至孪生网络跟踪模型，直至置信度得分大于遮挡阈值时，目标脱离遮挡。

至此，本发明提出的一种融合卡尔曼滤波的孪生红外目标跟踪方法流程如图3所示。

为了对本发明的效果进行更好的说明，在公开的LSOTB-TIR红外数据集上进行了实验。测试集共有120个序列，超过8.2万帧图片，拥有22类目标，包括红外目标跟踪的12个属性挑战，包括热交叉、类内干扰、强度变化、遮挡、形变等。

将OPE(One Pass Evaluation)作为算法在lsotb基准下性能的评价指标，用精确度(Pr)与成功率(AU)来表示，分别代表每一帧跟踪矩形框与人工标注的边界框的中心位置的距离，以及目标与标准目标的重叠度。如图4所示，与原始SiamRPN++跟踪方法进行比较，本发明所提方法在准确度和成功率上都有显著的提升。为了进一步证明本发明对红外目标有更优良的跟踪性能，与其他5个跟踪算法进行比较，实验结果如图4所示。

需要说明的是，以上所述的实施方案应理解为说明性的，而非限制本发明的保护范围，本发明的保护范围以权利要求书为准。对于本领域技术人员而言，在不背离本发明实质和范围的前提下，对本发明作出的一些非本质的改进和调整仍属于本发明的保护范围。

Claims (8)

1.一种融合卡尔曼滤波的孪生红外目标跟踪方法，其特征在于，包含以下步骤：

S1、引入注意力机制，构建CBAM_SiamRPN++红外目标跟踪模型；

S2、在训练集上训练改进的孪生网络跟踪模型，得到收敛的跟踪模型；

S3、利用训练得到的的孪生网络跟踪模型进行在线跟踪，得到置信度得分；

S4、设定遮挡阈值，根据置信度得分判别目标是否处于遮挡状态，转到步骤S5或步骤S6进行目标跟踪；

S5、置信度得分大于阈值，目标未被遮挡，转到步骤S3，后续帧使用孪生网络进行跟踪；

S6、置信度得分小于阈值，目标进入遮挡状态，对目标位置使用卡尔曼滤波进行预测,将预测得到的位置作为本帧的跟踪结果；

S7、根据步骤S6中卡尔曼预测的位置得到下一帧搜索区域，然后转到步骤S3，直到目标脱离遮挡。

2.根据权利要求1所述的一种融合卡尔曼滤波的孪生红外目标跟踪方法，其特征在于：步骤S1具体包括： 在SiamRPN++跟踪模型的区域建议网络互相关计算相似度之前，引入CBAM注意力模块，分别对分类分支和回归分支进行空间和通道上的特征加强，由pytorch深度学习框架构建CBAM_SiamRPN++红外目标跟踪模型。

3.根据权利要求1所述的一种融合卡尔曼滤波的孪生红外目标跟踪方法，其特征在于：步骤S2具体包括：

S21、收集各种种类的红外图像序列集，将数据集的标签统一转换为VOT标准数据集形式；

S22、根据红外视频序列图片中目标的位置及尺寸，裁剪出对应的目标模板区域Z和搜索区域X，并以此图像对(Z ,X)为训练数据，构成红外训练数据集；

S23、采用SiamRPN++在COCO、ImageNet DET、ImageNet VID、Youtube-BB数据集上的训练得到的权重文件作为初始预训练权重，在红外训练数据集上训练改进的CBAM_SiamRPN++模型并保存最终训练权重。

4.根据权利要求1所述的一种融合卡尔曼滤波的孪生红外目标跟踪方法，其特征在于：步骤S3具体包括：

S31、读取待跟踪视频序列的第一帧图片及图片中目标位置，裁剪出目标模板区域图像Z；

S32、读取待跟踪视频第t帧图片，并根据第t-1帧中确定的目标位置，裁剪出第t帧图片的搜索区域图像X；

S33、将模板图像Z和搜索图像X输入至步骤S2训练好的孪生网络跟踪模型，经特征提取、通道和空间注意力加权后，得到分类分支和回归分支的模板特征图和搜索特征图；

S34、分别在分类分支和回归分支对模板特征图和搜索特征图进行互相关操作，获得

前/背景分类概率估计和边界框位置回归估计。

5.根据权利要求4所述的一种融合卡尔曼滤波的孪生红外目标跟踪方法，其特征在于：步骤S4具体包括：

S41、根据步骤S3得到的前/背景分类概率估计，得到目标的最大置信度分数；

S42、设定遮挡阈值T，与S41得到的最大置信度分数进行比较，判断目标是否处于遮挡状态。

6.根据权利要求1所述的一种融合卡尔曼滤波的孪生红外目标跟踪方法，其特征在于：步骤S5具体包括：

S51、根据步骤S4，当置信度得分大于遮挡干扰时，判断出目标未被遮挡或脱离遮挡状态；

S52、根据步骤S3得到的边界框位置回归估计，获取到本帧跟踪得到的目标位置，裁剪出下一帧图片的搜索区域图像X，转到步骤S3，使用孪生网络跟踪器进行跟踪。

7.根据权利要求1所述的一种融合卡尔曼滤波的孪生红外目标跟踪方法，其特征在于：步骤S6具体包括：

S61、根据步骤S4，当置信度得分小于遮挡干扰时，判断出目标进入或者处于遮挡状态；

S62、根据前几帧目标的位置和速度信息，使用卡尔曼滤波对目标的运动轨迹进行预测，得到遮挡下的目标位置。

8.根据权利要求1所述的一种融合卡尔曼滤波的孪生红外目标跟踪方法，其特征在于：步骤S7具体包括：

S71、根据步骤S6预测得到的目标位置，裁剪出下一帧图片的搜索区域X；当目标连续5帧处于遮挡状态时，将搜索区域区域扩大1.5倍，裁剪出下一帧图片的搜索区域X；

S72、转到步骤S3，将S71裁剪出的下一帧搜索区域图像X输入至孪生网络跟踪模型，直至置信度得分大于遮挡阈值时，目标脱离遮挡。

Images