CN115775261A

CN115775261A - 基于高斯距离匹配的海面多目标跟踪方法及系统

Info

Publication number: CN115775261A
Application number: CN202211457200.0A
Authority: CN
Inventors: 肖刚; 梁振起; 曾柳; 顾恩惠
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2022-11-21
Filing date: 2022-11-21
Publication date: 2023-03-10

Abstract

一种基于高斯距离匹配的海面多目标跟踪方法及系统，采用目标检测器获得视频中每一帧的预检测结果，使用卡尔曼滤波对预检测结果形成的轨迹进行先验估计后，依次①使用IoU距离关联轨迹和高分检测框、②使用IoU距离关联步骤①剩余轨迹和低分检测框以及③使用高斯距离关联步骤②剩余轨迹和步骤①剩余高分检测框，综合三次关联结果后使用以观测为中心的卡尔曼滤波执行后验估计得到当前帧的轨迹，实现多目标跟踪。本发明针对真实海面场景和目标特性，采用TBD范式且仅通过运动信息来关联目标，通过配备高斯距离级联匹配、以观测为中心的卡尔曼滤波模块，从而设计能够适应海面低帧率、观测平台晃动、目标非线性运动等挑战的多目标跟踪器。

Description

基于高斯距离匹配的海面多目标跟踪方法及系统

技术领域

本发明涉及的是一种图像处理领域的技术，具体是一种基于高斯距离匹配的海面多目标跟踪方法及系统。

背景技术

现有基于深度学习的多目标跟踪算法主要可以分为基于检测的跟踪(Tracking-By-Detection，TBD)范式和联合检测与嵌入(Joint-Detection-Embedding，JDE)范式。不同于行人重识别领域，海面场景的气象条件较复杂、目标距离较远且海面目标帧间位置变化较大。无论是较低的视频帧率，还是外海的海浪导致的观测平台剧烈抖动，亦或是快速移动的帆船，快艇等。都导致在相邻两帧之间同一目标之间的交并比很小，甚至为0。如图1所示，尤其是远处小目标更难以关联。现有基于IOU的匹配规则会引起很严重的性能下降。此外，海面目标不能简单的假定为匀速线性运动。因为较低的视频帧率，特别的是在外海的海浪导致的观测平台剧烈抖动，观测值往往会大幅偏离轨迹。如图1右所绘制的轨迹预测，尤其是外海场景比较常见。此挑战导致采用传统的卡尔曼滤波(基于目标匀速线性运动的假设)会引起很严重的性能下降。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于高斯距离匹配的海面多目标跟踪方法及系统，针对真实海面场景和目标特性，采用TBD范式且仅通过运动信息来关联目标，通过配备高斯距离级联匹配、以观测为中心的卡尔曼滤波模块，从而设计能够适应海面低帧率、观测平台晃动、目标非线性运动等挑战的多目标跟踪器。

本发明是通过以下技术方案实现的：

本发明涉及一种基于高斯距离匹配的海面多目标跟踪方法，采用目标检测器获得视频中每一帧的预检测结果，使用卡尔曼滤波对预检测结果形成的轨迹进行先验估计后，依次①使用IoU距离关联轨迹和高分检测框、②使用IoU距离关联步骤①剩余轨迹和低分检测框以及③使用高斯距离关联步骤②剩余轨迹和步骤①剩余高分检测框，综合三次关联结果后使用以观测为中心的卡尔曼滤波执行后验估计得到当前帧的轨迹，实现多目标跟踪。

所述的预检测结果，包括：置信度大于0.6的高分检测框和置信度大于0.1小于等于0.6的低分检测框。

所述的卡尔曼滤波，首先在关联之前预测轨迹在下一帧的位置，关联后通过直接使用检测框在线修正轨迹的位置，从而规避采用高斯距离关联带来的卡尔曼滤波后验估计过大的误差。

所述的多目标跟踪方法，当步骤③后依旧存在剩余高分检测框，即连续两帧的剩余高分检测框的置信度大于0.7时，重新进行轨迹初始化，具体为：对剩余高分检测框分配新的身份标识并初始化新的轨迹。

所述的多目标跟踪方法，当步骤③后依旧存在剩余轨迹，即已连续30帧没有检测框能够与之关联成功时，则标记跟丢状态，具体为：将剩余轨迹标记为跟丢状态并删除此剩余轨迹。

本发明涉及一种实现上述方法的系统，包括：视频流单元、目标检测算法单元、多目标跟踪算法单元和界面显示与控制单元，其中：视频流单元读取相机或本地视频流，采用ROS2话题异步通信机制输出源图像至目标检测算法单元；目标检测算法单元根据实时收到的源图像使用已部署的TensorRT模型推理得到检测框结果；多目标跟踪算法单元根据实时收到的检测框进行目标关联、轨迹初始化以及跟丢轨迹的移除，生成检测框和身份标识结果；界面显示与控制单元根据实时收到的源图像、检测框和身份标识结果进行图像叠加绘制显示。

每个单元中均设有功能模块和ROS2通信模块，使得视频流单元、目标检测算法单元和多目标跟踪算法单元之间通过发布和订阅特定名称话题的方式进行实时通信，其中：源图像、检测框、检测框和身份标识结果为话题的通信接口与数据格式；界面显示与控制单元与其他单元的ROS2通信模块之间通过Qt的信号与槽机制进行通信，最终将检测跟踪结果的图像和数据显示到界面上。

技术效果

本发明以观测为中心的卡尔曼滤波配合高斯距离级联匹配，即通过高斯距离级联匹配，即首先使用IoU距离匹配，再使用高斯距离匹配的方式解决后验估计偏差较大的问题，显著提升跟踪精度和效率：多目标跟踪精度MOTA从34.6％提升到46.9％；目标关联的能力IDF1从30.8％提升到49.2％；整体性能S从27.3％提升到44.4％。与此同时，采用本技术手段仅将运行速度从35.4FPS降到35.2FPS，几乎没有增加太多计算量。

附图说明

图1为本领域外海场景示意图；

图2为本发明系统示意图；

图3为本发明流程图；

图4为实施例中卡尔曼滤波失效示意图；

图5为实施例中训练损失函数变化示意图；

图6为实施例中训练集精度变化示意图；

图7为实施例中在不同CMGD阈值参数σ下的本发明的跟踪性能示意图；

图8为实施例中ByteTrack和本发明在不同检测结果下的跟踪性能示意图。

具体实施方式

如图3所示，为本实施例涉及一种基于高斯距离匹配的海面多目标跟踪方法，包括：

步骤1、目标检测：采用YOLOv7神经网络根据输入帧检测得到高分检测框和低分检测框，若检测框的置信度大于0.6，则分类为高分检测框；若检测框的置信度大于0.1且小于0.6，则分类为低分检测框。

步骤2、进行以观测为中心的卡尔曼滤波先验估计，即根据上一帧目标的位置和速度，预测当前帧目标的位置。具体为：

2.1)在多目标跟踪的任务中，对每个目标建立一个状态空间

其中：(u，v)、，a、h分别代表检测框和轨迹在图像像素坐标系下的位置、宽高比、高。

代表对应变量的变化率(变量在前后帧的差值)。则系统的状态方程为：

其中：n～N(0，Q)，v～N(0，R)，A为状态转移矩阵；H为测量矩阵；n和v服从高斯分布；Q，R则为系统过程噪声和观测噪声。

2.2)根据线性运动的假设，在跟踪过程中，状态变量的先验估计由以下方程解算

其中：状态变量的定义见2.1)的状态空间，状态变量的下标k代表当前状态，k-1代表前一状态。

步骤3、使用IoU距离关联轨迹和高分检测框。设高分检测框集合为D，共m个检测目标，轨迹预测框集合为T，共n个轨迹。则匈牙利匹配的代价矩阵为C，形状为m×n，则对于任意d_i∈D，任意t_j∈T，则它们之间的IoU距离即为代价矩阵元素c_i，j，可通过下式计算：

其中：area()代表包围框的面积。c_i，j越大，代表两个包围框的重叠率越大，最大为1，代表完全重叠，最小为0，代表完全无重叠。在得到代价矩阵之后，即可将问题转化为一个最优二部匹配问题，采用匈牙利匹配根据损失最小的准则实现匹配。

步骤4、使用IoU距离关联步骤3的剩余轨迹和低分检测框。设经过步骤3后仍剩余的轨迹为T，设低分检测框集合为D。将D和T作为输入，重复步骤3实现剩余轨迹和低分检测框的匹配。

步骤5、使用高斯距离关联步骤3剩余轨迹和步骤4剩余高分检测框。具体为：

5.1)设经过步骤3和步骤4两次IoU关联后剩余的检测和轨迹分别为：D_remain＝{d₁，…d_m}，

则每一个检测和轨迹之间的平方高斯距离为：

t_ju)²+(d_iv-t_iv)²+(d_ia-t_ja)²+(d_ih-t_ih)²，其中：(u，v)，a和h为目标或轨迹在像素坐标系下的横纵坐标，宽高比，高度。

5.2)计算基于高斯距离构建匹配代价矩阵C＝{c_ij}，

其中：σ为最大的高斯匹配距离。考虑到低帧率和观测平台的晃动，σ取140。与IoU距离相似，采用匈牙利匹配，设置匹配阈值均为0.98，由于较高的匹配阈值，当目标和轨迹之间的面积比值＞4或＜1/4，则拒绝匹配，从而大幅提升在外海的跟踪性能。

步骤6、综合三次关联结果使用以观测为中心的卡尔曼滤波执行后验估计得到当前帧的轨迹，具体为：设目标检测结果，即观测值为d_k，如果成功匹配，则使用观测值d_k直接替换后验估计。考虑到低帧率和非线性运动，卡尔曼滤波的后验估计偏差较大，本发明直接采用更为准确的检测结果作为最终结果。

本项目采用常见的的数据增强方法，如Mosaic，左右翻转，平移，尺度变化，HSV域增强，以及一定的角度旋转增强(用以模拟船体摇晃)。

本发明采用的评估跟踪性能指标包括多目标跟踪精度(MOTA)，假阳性(FP)，假阴性(FN)，IDS(身份切换)和IDF1(身份分数)等。MOTA由FP，FN和IDS计算得到。考虑到FP和FN数值相较于IDS过大，而MOTA偏向于对检测性能的评估。IDF1具备评估目标身份的能力，因此更多地关注IDF1对关联性能的表现。

此外，为反映不同类别的MOT性能，采用以下调和平均公式：

其中：MOTA_i和IDF1_i表示类别i对应的指标值。S_i为其调和平均值。在计算过程中，当MOTA_i小于0，对应值S_i＝0。

鉴于不同类别的数量和重要性不同，采用加权平均值来描述最终评价指标

经过具体的实际实验，本发明在平台：RTX 3090*4；batchsize：20；迭代周期：100；学习率：0.01，余弦衰减的环境下，设置训练分辨率：1920*1920；测试分辨率：1920*1088；模型尺寸：yolov7-w6，得到的仿真结果如下：

首先将本发明与各种经典算法进行比较，包括SORT、ByteTrack和OC-SORT等。为公平起见，所有的算法均选择YOLOv7-W6作为目标检测器。

表1-本发明与各种经典算法定量对比结果

ByteTrack和OC-SORT在面对恶劣的海况时，对SORT的改进非常有限。ByteTrack将本发明从34.4增加到36.6，IDF1从29.7增加到30.8，s从26.7增加到27.3。OC-SORT使本发明从34.4增加到35.0，IDF1从29.7增加到30.4，S从26.7增加到27.8。本发明在9个评价指标中，有7个表现最佳，分别是MOTA、IDF1、MT、ML、FN、IDS和FM。由于数据关联部分的计算消耗较低，本发明的速度几乎没有减慢(即FPS从35.5到35.2)。

表2-本发明与各种经典算法调和加权平均指标S对比结果

从表2中可以看出，本发明对于渔船和货船类别的跟踪性能有很大的改善。这是因为它们往往出现在波涛汹涌的大海中，那里有更强的波浪，导致观测平台的摆动。至于帆船和快艇，它们往往具有非线性或剧烈的运动，特别是在低帧率视频中。由于浮标尺寸太小，在以前的算法中通常无法关联。例如SORT，ByteTrack，OC-SORT等仅使用IoU距离的算法。本发明使用OCKF来处理非线性运动，使用CMGD来处理观测平台的摆动或IoU距离关联失败。以上实验结果证明本发明带来的跟踪性能的提高与有效性。

以ByteTrack作为基线方法做为对比。为清楚地显示CMGD和OCKF模块的功能，逐步添加模块进行比较。

表3-高斯距离级联匹配+以观测为中心的卡尔曼滤波消融实验

ByteTrack只能达到34.6％MOTA、30.8％IDF1和27.3％S的性能。当仅添加高斯距离级联匹配模块时，IDF1从30.8％增加到41.1％。当仅加入以观测为中心的卡尔曼滤波模块后，MOTA从34.6％增加到41.3％。由于缺乏有效的高斯距离关联，在观测平台摆动或IoU关联失败的情况下往往性能很差。而同时加入两个关键模块之后，MOTA从34.6％增加到46.9％，IDF1从30.8％增加到49.2％，S从27.3％增加到44.4％。时间消耗几乎没有显著变化。

表4-不同卡尔曼滤波选择对比表

从表4可见，以观测为中心的卡尔曼滤波比无KF更能提高关联性能，因为以观测为中心的卡尔曼滤波保留先验估计，即根据当前状态空间中预测轨迹在下一帧的位置和速度。

表5-检测模型深度+检测模型输入图片分辨率

本发明中目标检测器的模型大小和输入大小是影响精度和速度平衡的两个关键因素。如表5所示，检测运行时间随模型大小和输入大小而大幅增加，同时跟踪性能也大大提高。鉴于真实海面视频中大量的小目标及其模糊的外观，像1088*1920这样的大分辨率是确保获得良好的检测结果作为数据关联输入的有效手段。当目标检测器的性能足够好时，像本发明这样合适的数据关联算法可以进一步在很大程度上提高跟踪性能。

与现有技术相比，本发明采用YOLOv7作为算法的检测器，提供质量较好的检测结果作为数据关联部分的输入。为适应海面场景，数据关联部分则额外设计高斯距离级联匹配、以观测为中心的卡尔曼滤波模块。本发明能够应用于无人艇侦察、海面目标搜救等视频检测跟踪领域。

上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims

1.一种基于高斯距离匹配的海面多目标跟踪方法，其特征在于，采用目标检测器获得视频中每一帧的预检测结果，使用卡尔曼滤波对预检测结果形成的轨迹进行先验估计后，依次①使用IoU距离关联轨迹和高分检测框、②使用IoU距离关联步骤①剩余轨迹和低分检测框以及③使用高斯距离关联步骤②剩余轨迹和步骤①剩余高分检测框，综合三次关联结果后使用以观测为中心的卡尔曼滤波执行后验估计得到当前帧的轨迹，实现多目标跟踪。

2.根据权利要求1所述的基于高斯距离匹配的海面多目标跟踪方法，其特征是，所述的卡尔曼滤波，首先在关联之前预测轨迹在下一帧的位置，关联后通过直接使用检测框在线修正轨迹的位置，从而规避采用高斯距离关联带来的卡尔曼滤波后验估计过大的误差。

3.根据权利要求1所述的基于高斯距离匹配的海面多目标跟踪方法，其特征是，所述的多目标跟踪方法，当步骤③后依旧存在剩余高分检测框，即连续两帧的剩余高分检测框的置信度大于0.7时，重新进行轨迹初始化，具体为：对剩余高分检测框分配新的身份标识并初始化新的轨迹。

4.根据权利要求1所述的基于高斯距离匹配的海面多目标跟踪方法，其特征是，所述的多目标跟踪方法，当步骤③后依旧存在剩余轨迹，即已连续30帧没有检测框能够与之关联成功时，则标记跟丢状态，具体为：将剩余轨迹标记为跟丢状态并删除此剩余轨迹。

5.根据权利要求1-4中任一所述的基于高斯距离匹配的海面多目标跟踪方法，其特征是，所述的目标检测器，采用YOLOv7神经网络根据输入帧检测得到高分检测框和低分检测框。

6.根据权利要求1-4中任一所述的基于高斯距离匹配的海面多目标跟踪方法，其特征是，所述的先验估计是指：根据上一帧目标的位置和速度，预测当前帧目标的位置，具体为：

2.1)在多目标跟踪的任务中，对每个目标建立一个状态空间

其中：(u,v)、,a、h分别代表检测框和轨迹在图像像素坐标系下的位置、宽高比、高，

代表对应变量的变化率(变量在前后帧的差值)，则系统的状态方程为：

其中：n～N(0,Q),v～N(0,R)，A为状态转移矩阵；H为测量矩阵；n和v服从高斯分布；Q，R则为系统过程噪声和观测噪声；

7.根据权利要求1-4中任一所述的基于高斯距离匹配的海面多目标跟踪方法，其特征是，所述的使用IoU距离关联轨迹和高分检测框是指：根据高分检测框集合D，共m个检测目标，轨迹预测框集合为T，共n个轨迹，匈牙利匹配的代价矩阵为C，形状为m×n，则对于任意d_i∈D，任意t_j∈T，则它们之间的IoU距离即为代价矩阵元素

其中：area()代表包围框的面积，在得到代价矩阵之后，即可将问题转化为一个最优二部匹配问题，采用匈牙利匹配根据损失最小的准则实现匹配。

8.根据权利要求1-4中任一所述的基于高斯距离匹配的海面多目标跟踪方法，其特征是，所述的使用IoU距离关联步骤①剩余轨迹和低分检测框是指：根据经过IoU距离关联轨迹和高分检测框后仍剩余的轨迹为T以及低分检测框集合为D，将D和T作为输入，重复使用IoU距离关联轨迹和高分检测框实现剩余轨迹和低分检测框的匹配。

9.根据权利要求1-4中任一所述的基于高斯距离匹配的海面多目标跟踪方法，其特征是，所述的使用高斯距离关联步骤②剩余轨迹和步骤①剩余高分检测框是指：

5.1)根据经过两次IoU关联后剩余的检测和轨迹分别为：D_remain＝{d₁,…d_m},

则每一个检测和轨迹之间的平方高斯距离为：

其中：(u，v)，,a,和,h,为目标或轨迹在像素坐标系下的横纵坐标，宽高比，高度；

5.2)计算基于高斯距离构建匹配代价矩阵C＝{c_ij}，其中：

σ为最大的高斯匹配距离。考虑到低帧率和观测平台的晃动，采用匈牙利匹配，当目标和轨迹之间的面积比值>4,或<1/4，则拒绝匹配。

10.根据权利要求1-4中任一所述的基于高斯距离匹配的海面多目标跟踪方法，其特征是，所述的后验估计是指：综合三次关联结果使用以观测为中心的卡尔曼滤波执行后验估计得到当前帧的轨迹，具体为：设目标检测结果，即观测值为d_k，如果成功匹配，则使用观测值d_k直接替换后验估计。

11.一种实现权利要求1-10中任一所述基于高斯距离匹配的海面多目标跟踪方法的系统，其特征在于，包括：视频流单元、目标检测算法单元、多目标跟踪算法单元和界面显示与控制单元，其中：视频流单元读取相机或本地视频流，采用ROS2话题异步通信机制输出源图像至目标检测算法单元；目标检测算法单元根据实时收到的源图像使用已部署的TensorRT模型推理得到检测框结果；多目标跟踪算法单元根据实时收到的检测框进行目标关联、轨迹初始化以及跟丢轨迹的移除，生成检测框和身份标识结果；界面显示与控制单元根据实时收到的源图像、检测框和身份标识结果进行图像叠加绘制显示。

12.根据权利要求11所述的系统，其特征是，每个单元中均设有功能模块和ROS2通信模块，使得视频流单元、目标检测算法单元和多目标跟踪算法单元之间通过发布和订阅特定名称话题的方式进行实时通信，其中：源图像、检测框、检测框和身份标识结果为话题的通信接口与数据格式；界面显示与控制单元与其他单元的ROS2通信模块之间通过Qt的信号与槽机制进行通信，最终将检测跟踪结果的图像和数据显示到界面上。