CN117214881B - 一种复杂场景下基于Transformer网络的多目标跟踪方法 - Google Patents

Abstract

本发明属于雷达数据处理中的多目标跟踪技术领域，具体涉及一种复杂场景下基于Transformer网络的多目标跟踪方法。本发明利用航迹标签分配网络，将历史航迹与有效量测进行关联，即可在跟踪过程中得到每个被跟踪目标的航迹信息。本发明利用目标状态预测网络以及估计得到的检测概率确定有效量测筛选的概率阈值，该阈值会根据估计得到的检测概率自适应调整，使有效量测的筛选更加准确。在漏检发生时，使用目标状态预测值作为目标状态估计值，提高了对目标数目估计的稳定性。本发明利用估计检测概率确定的目标消亡阈值和目标新生阈值进行航迹管理，对错误跟踪的航迹及时进行终止并剔除，对正确跟踪的航迹进行终止，并对新生目标对应的航迹进行起始。

Description

一种复杂场景下基于Transformer网络的多目标跟踪方法

技术领域

本发明属于雷达数据处理中的多目标跟踪技术领域，具体涉及一种复杂场景下基于Transformer网络的多目标跟踪方法。

背景技术

随着现代电子对抗技术和武器装备的不断发展，目标跟踪的场景中电磁环境更加复杂，被跟踪目标的机动性和机动能力也更强，现代战场上在复杂电磁环境下对目标进行更加精确、稳定的跟踪显得十分关键。现如今多目标跟踪技术的理论基础经过长期发展已经较为成熟，从利用数据关联方法，将单目标跟踪向多目标跟踪推广的JPDA(JointProbabilistic Data Association)算法，到寻找数据关联最优解的MHT(MultipleHypothesis Tracking)算法，再到基于随机有限集的多目标跟踪算法，都存在过多的限制条件和假设条件，限制了算法的实际应用。

近些年来，有学者利用具有时间序列处理能力的深度学习方法来解决多目标跟踪问题。例如，李文娜(雷达学报，2022年3月，基于Transformer网络的机载雷达多目标跟踪方法)使用Transformer网络解决多目标跟踪过程中的数据关联问题，并利用卡尔曼滤波器对关联后的结果进行滤波。该算法虽然在数据关联的过程中没有用到目标运动模型、杂波率和滤波器协方差等先验信息，但在滤波过程中使用了卡尔曼滤波器，仍需用到目标运动模型和滤波器协方差等先验知识。Juliano Pinto(2021IEEE 24th InternationalConference on Information Fusion(FUSION)，2021年12月，Next GenerationMultitarget Trackers:Random Finite Set Methods vs Transformer-based DeepLearning)提出一种基于Transformer网络的MT3(MultiTarget Tracking Transformer)算法，该算法可以完成对目标的跟踪，但在跟踪过程中存在航迹连续性问题，同时跟踪结果完全依赖于输入的量测值，在检测概率较低、观测噪声较大或者杂波率较高等复杂场景下，该算法的跟踪性能会大幅下降，该算法网络架构框图如图1所示。

发明内容

本发明的目的在于针对传统多目标跟踪算法及上述基于Transformer网络的多目标跟踪算法中存在的跟踪过程中需要限制条件、假设条件和较多先验知识的问题，以及检测概率较低或者杂波率较高的复杂环境下算法性能大幅下降的问题，提供一种复杂场景下基于Transformer网络的多目标跟踪方法。

一种复杂场景下基于Transformer网络的多目标跟踪方法，包括以下步骤：

步骤1：设定初始有效量测筛选的概率阈值P_exist和目标消亡阈值T_Death，确定初始时刻有效量测；

步骤2：初始时刻，进行航迹起始；根据初始有效量测筛选的概率阈值P_exist，判断在一个传感器分辨率单元中是否存在多个有效量测；若存在多个有效量测，则任取其中一个作为目标状态估计值，其余视为杂波；若仅存在一个有效量测，则将其作为目标状态估计值；

步骤3：若当前时刻有效量测的数量大于1，则在历史航迹中从当前时刻向前截取τ个时刻的航迹值，并将这τ个时刻航迹值对应的时刻替换为0到τ-1，将每条航迹单独地输入到航迹标签分配网络的编码器中，将当前时刻有效量测输入到航迹标签分配网络的解码器中，航迹标签分配网络的输出为该航迹和当前时刻有效量测之间的关联概率；得到关联概率之后，用航迹标签分配方法对航迹标签和当前时刻有效量测之间进行分配；

若当前时刻有效量测的数量等于1，则计算每条航迹中最后一个航迹值与该有效量测的距离，并将距离最小的航迹标签分配给该有效量测；同时在所有历史航迹中从当前时刻开始向前取τ个时刻的航迹值，并将这τ个时刻航迹值对应的时刻替换为0到τ-1，将处理后的所有航迹作为目标状态预测网络的输入，目标状态预测网络的输出即为当前时刻每条航迹的预测值；之后，通过向每个目标状态预测值和历史航迹最后一个航迹值添加跟踪门的方法对当前时刻有效量测的航迹标签分配结果进一步进行筛选，如果航迹标签对应的当前时刻有效量测在上述两个跟踪门之外，则取消该航迹标签分配结果，即将该航迹标签对应的有效量测恢复为未被分配的状态；

步骤4：对具有相同航迹标签的有效量测和目标状态预测值进行合并，如果这些航迹标签对应的航迹中存在时间步长为1的航迹，则仅使用有效量测进行航迹更新，对于其他时间步长大于1的航迹，则对有效量测和目标状态预测值进行加权求和，得到最终目标状态估计值S后，利用最终目标状态值对相应航迹进行更新；

对于未被分配到有效量测的航迹，直接使用航迹对应的目标状态预测值对航迹进行更新，当一条航迹连续未被分配到有效量测的次数大于目标消亡阈值T_Death时，则认为该航迹对应的目标已经消亡，该航迹终止更新，同时一条被终止航迹的长度小于目标新生阈值T_Birth时，则认为该航迹并非由目标产生，而是由杂波产生；T_Birth＝k_B·T_Death，k_B为比例系数；

对于未分配航迹标签的有效量测，计算其与其他有效量测和当前时刻最终目标状态估计值之间的距离，当距离较近时，则认为该有效量测为一个杂波，否则认为该有效量测来自一个新生目标，并为其分配一个新的航迹标签；

步骤5：若未完成所有目标的跟踪，则统计历史航迹中的检测情况，估计出当前时刻的检测概率利用检测概率/>更新有效量测筛选的概率阈值P_exist和目标消亡阈值T_Death后，返回步骤3；

其中，在航迹更新过程中，如果在某个时刻目标对应的航迹没有被分配到有效量测，则认为该目标在这个时刻未被检测到；n_e为一个比例系数，n_e∈N⁺，n_e＞1；[·]表示取整函数。

进一步地，步骤3中所述航迹标签分配网络的训练方法为：

首先利用给定均值的泊松分布确定场景中的起始目标数目，再从匀速模型、常加速模型和协同转弯模型中为每个目标选取一种运动模型，然后再从给定的场景范围、速度取值范围、加速度取值范围和转弯率取值范围中随机地为每个目标确定初始位置、速度值、加速度值和转弯率值；基于以上数据，让目标运动给定的时间长度τ，在目标运动过程中，会有新的目标出现，新出现目标的参数设置和起始目标的参数设置方式相同；最后即可得到一定数量的航迹，这些航迹作为航迹标签分配网络的训练数据；

利用生成的多条最大长度为τ+1的航迹，轮流将每条航迹0:τ-1时刻的目标位置及其时刻值作为航迹标签分配网络编码器的输入，将所有航迹τ时刻的目标位置及其时刻值作为航迹标签分配网络解码器的输入，航迹标签分配网络的输出即为每条航迹与τ时刻目标位置的关联概率；损失函数采用交叉熵损失函数，同时采用Adam算法对训练过程进行优化；

其中，表示当前时刻第i个有效量测和航迹标签为l_j的航迹之间的关联关系，i＝1,...,N，j＝1,...,N；如果二者相互关联，则/>为1，否则/>为0；/>表示航迹l_j和当前时刻第i个有效量测之间的关联概率。

进一步地，步骤3中所述目标状态预测网络的训练方法为：

首先利用给定均值的泊松分布确定场景中的起始目标数目，再从匀速模型、常加速模型和协同转弯模型中为每个目标选取一种运动模型，然后再从给定的场景范围、速度取值范围、加速度取值范围和转弯率取值范围中随机地为每个目标确定初始位置、速度值、加速度值和转弯率值，在目标运动过程中随机选取两个时刻对目标运动模型进行切换，在运动模型切换时刻，从匀速模型、常加速模型和协同转弯模型中为每个目标选取一种运动模型；基于以上数据，让目标运动给定的时间长度τ，在目标运动过程中，会有新的目标出现，新出现目标的参数设置和起始目标的参数设置方式相同；最后即可得到一定数量的航迹，这些航迹作为目标状态预测网络的训练数据；

利用生成的最大长度为τ+1的航迹集，将0:τ-1时刻的航迹作为目标状态预测网络编码器的输入，将航迹标签和τ时刻作为目标状态预测网络的解码器的输入，目标状态预测网络的输出为τ时刻目标状态预测值，将τ时刻的目标状态作为真实值计算目标状态预测过程中的损失，同时采用Adam算法对训练过程进行优化，损失函数的计算方法为：

计算目标状态预测网络得到的目标状态预测值和真实目标状态值之间的欧式距离d_jk，用欧式距离组成匈牙利算法的代价矩阵C，使用匈牙利匹配算法对目标状态预测值和真实目标值进行匹配；

其中，x_j表示航迹标签为l_j的航迹的目标状态预测值，x_k表示航迹标签为l_k的航迹的真实目标状态值，j＝1,...,N，k＝1,...,N；

对匹配之后的目标状态预测值和真实目标进行损失函数计算：

其中，表示与目标状态预测值x_j匹配的真实目标状态值。

进一步地，所述步骤3中航迹标签分配方法具体为：

步骤3.1：由航迹标签分配网络获取每个航迹标签对应的关联概率；

步骤3.2：选取一个未被分配航迹标签及其对应的关联概率；

步骤3.3：若最大关联概率大于截止概率P_c，则将当前航迹标签分配给最大关联概率对应的有效量测；若该有效量测已经被分配航迹标签，则执行步骤3.4-步骤3.5；

其中，N_MT3为当前时刻有效量测的数量；

步骤3.4：若当前航迹标签关联概率大于该有效量测之前分配到的航迹标签的关联概率。则将当前航迹标签分配给该有效量测，并将该有效量测之前分配到的航迹标签变为当前航迹标签及关联概率；

步骤3.5：将当前航迹标签对应的关联概率中的最大关联概率移除；

步骤3.6：若当前航迹标签中所有的有效量测均被尝试分配，则执行步骤3.7；否则，返回步骤3.3；

步骤3.7：若未将所有航迹标签进行分配，则返回步骤3.2。

本发明的有益效果在于：

针对多目标跟踪过程中的航迹连续性问题，本发明利用航迹标签分配网络，将历史航迹与有效量测进行关联，即可在跟踪过程中得到每个被跟踪目标的航迹信息。针对检测概率较低，频繁发生漏检时，目标数目估计不稳定的问题，本发明利用目标状态预测网络以及估计得到的检测概率确定有效量测筛选的概率阈值，该阈值会根据估计得到的检测概率自适应调整，使有效量测的筛选更加准确。在漏检发生时，使用目标状态预测值作为目标状态估计值，提高了对目标数目估计的稳定性。针对杂波率较大时，错误跟踪的问题，本发明利用估计检测概率确定的目标消亡阈值和目标新生阈值进行航迹管理，对错误跟踪的航迹及时进行终止并剔除，对正确跟踪的航迹进行终止，并对新生目标对应的航迹进行起始。

附图说明

图1为本发明中MT3算法网络架构图。

图2为本发明中多目标跟踪方法结构图。

图3为本发明中航迹标签分配网络架构图。

图4为本发明中目标状态预测网络架构图。

图5为本发明的总体流程图。

图6为本发明中航迹标签分配方法流程图。

图7为航迹交叉仿真实验结果图。

图8为航迹管理方法的仿真实验结果图。

图9为不同检测概率下的仿真实验结果表。

图10为不同杂波率下的仿真实验结果表。

具体实施方式

下面结合附图对本发明做进一步描述。

本发明的目的是为了解决多目标跟踪过程中的航迹连续性问题和复杂环境下对多个目标的跟踪问题，提出一种基于Transformer网络的多目标跟踪方法。本发明提出的多目标跟踪方法中包括基于Transformer网络的MT3算法、基于Transformer网络的航迹标签分配网络、基于Transformer网络的目标状态预测网络和航迹管理方法等四个部分。首先利用航迹标签分配网络为每个有效量测分配一个航迹标签，以解决跟踪过程中的航迹连续性问题；然后利用目标状态预测网络对当前时刻的目标状态进行预测，同时在跟踪过程中估计检测概率，并利用检测概率计算有效量测筛选概率阈值，以解决在检测概率较低时，因频繁发生漏检而导致的目标数目估计不稳定的问题；最后利用航迹管理方法对正确跟踪的航迹进行起始和终止，对错误跟踪的航迹进行剔除，以解决在杂波率较大时，因错误筛选有效量测造成的错误跟踪问题。

本发明主要包括四个部分的内容，如图2所示，第一部分为：MT3算法，用于筛选有效量测；第二部分为：航迹标签分配网络，用以解决航迹连续性问题；第三部分为目标状态预测网络，用以对当前时刻目标状态进行预测；第四部分为航迹管理方法，用以进行航迹的起始和终止，同时可以剔除错误跟踪的航迹。

首先利用MT3算法筛选出当前时刻的有效量测；将每条历史航迹和当前时刻有效量测作为航迹标签分配网络的输入，输出得到每条航迹与当前时刻有效量测的关联概率，利用该关联概率为当前时刻有效量测分配相应的航迹标签；再将当前时刻所有历史航迹作为目标状态预测网络的输入，输出为当前时刻的目标状态预测值。将具有相同航迹标签的当前时刻有效量测和目标状态预测值进行加权融合后得到当前时刻的最终目标状态估计值，从而对航迹进行更新。对于当前时刻没有分配到有效量测的航迹，则直接使用目标状态预测值对航迹进行更新，同时利用航迹管理方法判断该航迹是否应该被终止。对于当前时刻没有分配到航迹标签的有效量测，其中可能含有新生目标的量测，利用航迹管理方法进行航迹起始。

在航迹管理方法中，首先需要对当前时刻的检测概率进行估计，基于以下原则进行：如果在某个时刻目标对应的航迹没有被分配到该时刻的有效量测，则认为该目标在该时刻未被检测到，否则认为被检测到。利用上述规则统计历史航迹中的检测情况即可估计出当前时刻的检测概率；然后根据检测概率来确定有效量测筛选的概率阈值，同时利用检测概率来确定判断目标消亡所需要的时间步长，定义该时间步长为目标消亡阈值，利用目标消亡阈值即可完成航迹终止。在航迹起始过程中，首先需要判断没有分配到航迹标签的当前时刻有效量测是否来自新生目标。具体来说，判断没有分配到航迹标签的当前时刻有效量测是否落入当前时刻更新后航迹的跟踪门内，同时判断没有分配到航迹标签的当前时刻有效量测与其他当前时刻有效量测的距离是否较近，这里评判准则可以采用传感器的分辨率。若以上情况均未发生，则初步认为该没有分配到航迹标签的当前时刻有效量测为新生目标产生的量测，并为该新生目标分配新的航迹标签。然后根据目标消亡阈值确定目标新生阈值的大小，当新生目标对应航迹的长度大于目标新生阈值时，认为该新生目标为真实的新生目标，否则认为该新生目标为被错误跟踪的杂波，将该新生目标对应的航迹剔除。

一种复杂场景下基于Transformer网络的多目标跟踪方法，包括以下步骤：

步骤1：设定初始有效量测筛选的概率阈值P_exist和目标消亡阈值T_Death，确定初始时刻有效量测；

步骤2：初始时刻，进行航迹起始；根据初始有效量测筛选的概率阈值P_exist，判断在一个传感器分辨率单元中是否存在多个有效量测；若存在多个有效量测，则任取其中一个作为目标状态估计值，其余视为杂波；若仅存在一个有效量测，则将其作为目标状态估计值；

步骤3：若当前时刻有效量测的数量大于1，则在历史航迹中从当前时刻向前截取τ个时刻的航迹值，并将这τ个时刻航迹值对应的时刻替换为0到τ-1，将每条航迹单独地输入到航迹标签分配网络的编码器中，将当前时刻有效量测输入到航迹标签分配网络的解码器中，航迹标签分配网络的输出为该航迹和当前时刻有效量测之间的关联概率；得到关联概率之后，用航迹标签分配方法对航迹标签和当前时刻有效量测之间进行分配；

若当前时刻有效量测的数量等于1，则计算每条航迹中最后一个航迹值与该有效量测的距离，并将距离最小的航迹标签分配给该有效量测；同时在所有历史航迹中从当前时刻开始向前取τ个时刻的航迹值，并将这τ个时刻航迹值对应的时刻替换为0到τ-1，将处理后的所有航迹作为目标状态预测网络的输入，目标状态预测网络的输出即为当前时刻每条航迹的预测值；之后，通过向每个目标状态预测值和历史航迹最后一个航迹值添加跟踪门的方法对当前时刻有效量测的航迹标签分配结果进一步进行筛选，如果航迹标签对应的当前时刻有效量测在上述两个跟踪门之外，则取消该航迹标签分配结果，即将该航迹标签对应的有效量测恢复为未被分配的状态；

步骤4：对具有相同航迹标签的有效量测和目标状态预测值进行合并，如果这些航迹标签对应的航迹中存在时间步长为1的航迹，则仅使用有效量测进行航迹更新，对于其他时间步长大于1的航迹，则对有效量测和目标状态预测值进行加权求和，得到最终目标状态估计值S后，利用最终目标状态值对相应航迹进行更新；

对于未被分配到有效量测的航迹，直接使用航迹对应的目标状态预测值对航迹进行更新，当一条航迹连续未被分配到有效量测的次数大于目标消亡阈值T_Death时，则认为该航迹对应的目标已经消亡，该航迹终止更新，同时一条被终止航迹的长度小于目标新生阈值T_Birth时，则认为该航迹并非由目标产生，而是由杂波产生；T_Birth＝k_B·T_Death，k_B为比例系数；

对于未分配航迹标签的有效量测，计算其与其他有效量测和当前时刻最终目标状态估计值之间的距离，当距离较近时，则认为该有效量测为一个杂波，否则认为该有效量测来自一个新生目标，并为其分配一个新的航迹标签；

步骤5：若未完成所有目标的跟踪，则统计历史航迹中的检测情况，估计出当前时刻的检测概率利用检测概率/>更新有效量测筛选的概率阈值P_exist和目标消亡阈值T_Death后，返回步骤3；

其中，在航迹更新过程中，如果在某个时刻目标对应的航迹没有被分配到有效量测，则认为该目标在这个时刻未被检测到；n_e为一个比例系数，n_e∈N⁺，n_e＞1；[·]表示取整函数。

与现有技术相比，本发明的有益效果：

第一，针对多目标跟踪过程中的航迹连续性问题，本发明利用航迹标签分配网络，将历史航迹与有效量测进行关联，即可在跟踪过程中得到每个被跟踪目标的航迹信息；

第二，针对检测概率较低，频繁发生漏检时，目标数目估计不稳定的问题，本发明利用目标状态预测网络以及估计得到的检测概率确定有效量测筛选的概率阈值，该阈值会根据估计得到的检测概率自适应调整，使有效量测的筛选更加准确。在漏检发生时，使用目标状态预测值作为目标状态估计值，提高了对目标数目估计的稳定性。

第三，针对杂波率较大时，错误跟踪的问题，本发明利用估计检测概率确定的目标消亡阈值和目标新生阈值进行航迹管理，对错误跟踪的航迹及时进行终止并剔除，对正确跟踪的航迹进行终止，并对新生目标对应的航迹进行起始。

实施例1：

在利用MT3算法、航迹标签分配网络和目标状态预测网络对多个目标进行跟踪之前，首先需要对上述三个网络分别进行单独训练，训练完成后，将三个网络进行组合，同时结合航迹管理方法即可完成对多个目标的跟踪。

航迹标签分配网络的架构图如图3所示，图中表示一条航迹，l_j(j＝1,…,N)表示航迹对应的航迹标签，N表示航迹的数量，0:τ-1表示航迹存在的时间，0为起始时刻，τ-1为终止时刻，|l_j|(j＝1,…,N)表示航迹标签l_j对应航迹存在的时间步长。航迹标签分配网络的编码器需要将每条历史航迹及其时刻值单独作为输入，航迹标签分配网络的解码器需要将当前时刻的有效量测及其当前时刻作为解码器的输入，图中实线箭头表示当前输入的航迹，虚线箭头表示非当前输入的航迹。/>表示航迹l_j和当前时刻第i个有效量测之间的关联概率。

一、航迹标签分配网络训练数据的生成

首先利用给定均值的泊松分布确定场景中的起始目标数目，再从匀速模型(CV)、常加速模型(CA)和协同转弯模型(CT)中为每个目标选取一种运动模型，然后再从给定的场景范围、速度取值范围、加速度取值范围和转弯率取值范围中随机地为每个目标确定初始位置、速度值、加速度值和转弯率值。基于以上数据，让目标运动给定的时间长度τ，在目标运动过程中，会有新的目标出现，新出现目标的参数设置和起始目标的参数设置方式相同。最后即可得到一定数量的航迹，这些航迹作为航迹标签分配网络的训练数据。

二、航迹标签分配网络的搭建

首先在Transformer网络的编码器之前进行时刻位置编码操作和预处理操作，具体来说，在时刻位置编码操作中对每个时刻采用嵌入(Embedding)操作进行编码，在预处理操作中，首先利用场景范围对目标位置进行归一化操作，然后使用线性网络对目标位置进行维度变换，使目标位置的维度和时刻编码的维度保持一致，再将变换后的目标位置和时刻编码求和，即可得到Transformer网络编码器的输入。上述操作是为了将航迹中的目标位置信息并行输入到Transformer网络编码器中时，能够保持航迹中不同时刻之间的相对位置关系。这里Transformer网络的编码器与标准Transformer网络编码器相同，而解码器不再采用标准解码器自回归的输入输出方式，而是采用并行的输入输出方式。Transformer网络的解码器之前同样需要进行时刻位置编码操作和预处理操作。Transformer网络解码器的输出经过线性网络变换为一维张量，用于后续损失函数的计算。

三、航迹标签分配网络的训练

利用步骤一生成多条最大长度为τ+1的航迹，轮流将每条航迹0:τ-1时刻的目标位置及其时刻值作为航迹标签分配网络编码器的输入，将所有航迹τ时刻的目标位置及其时刻值作为航迹标签分配网络解码器的输入，航迹标签分配网络的输出即为每条航迹与τ时刻目标位置的关联概率，这里损失函数采用式(1)交叉熵损失函数，同时采用Adam算法对训练过程进行优化。

表示当前时刻第i个有效量测和航迹标签为l_j的航迹之间的关联关系。如果二者相互关联，则/>为1，否则/>为0。/>表示航迹l_j和当前时刻第i个有效量测之间的关联概率。

目标状态预测网络的架构图如图4所示，图中符号除了目标状态预测网络的输出之外，其余与航迹标签分配网络相同，目标状态预测网络的输出x_j(j＝1,…,N)表示航迹l_j(j＝1,…,N)的目标状态预测值。

四、目标状态预测网络训练数据的生成

目标状态预测网络训练数据的生成方式与步骤一基本相同，不同之处在于在目标运动过程中需要随机选取两个时刻对目标运动模型进行切换，在运动模型切换时刻，从匀速模型(CV)、常加速模型(CA)和协同转弯模型(CT)中为每个目标选取一种运动模型。

五、目标状态预测网络的搭建

首先在Transformer网络的编码器之前同样需要进行时刻位置编码操作和预处理操作，除这两个操作之外，还需要将每条航迹的航迹标签进行独热编码后，与时刻位置编码和预处理后的目标位置相加作为Transformer网络编码器的输入。在Transformer网络的解码器之前需要将当前时刻编码与航迹标签的独热编码相加后作为Transformer网络解码器的输入，将Transformer网络解码器的输出经过线性网络变换后即可得到每条航迹对应的目标状态预测值。

六、损失函数的计算

首先采用式(2)计算目标状态预测网络得到的目标状态预测值和真实目标状态值之间的欧式距离，用欧式距离组成式(3)匈牙利算法的代价矩阵C，使用匈牙利匹配算法对目标状态预测值和真实目标值进行匹配，

式中x_j表示航迹标签为l_j的航迹的目标状态预测值，x_k表示航迹标签为l_k的航迹的真实目标状态值。由式(2)计算结果可以组成：

对匹配之后的目标状态预测值和真实目标采用式(4)Smooth L1损失函数进行计算。

式中表示与目标状态预测值x_j匹配的真实目标状态值。

七、目标状态预测网络的训练

利用步骤四生成的最大长度为τ+1的航迹集，将0:τ-1时刻的航迹作为目标状态预测网络编码器的输入，将航迹标签和τ时刻作为目标状态预测网络的解码器的输入，目标状态预测网络的输出为τ时刻目标状态预测值，将τ时刻的目标状态作为真实值计算目标状态预测过程中的损失，同时采用Adam算法对训练过程进行优化。

八、目标跟踪

利用训练完成的MT3算法网络、航迹标签分配网络和目标状态预测网络进行多目标跟踪的流程图如图5所示。首先在第一个时刻需要进行航迹起始，设定一个初始有效量测筛选的概率阈值，进一步判断筛选出的有效量测中是否存在距离较近的点，即判断在一个传感器分辨率单元中是否存在多个有效量测，若存在，则任意选取其中一个量测作为有效量测，其余量测作为杂波。

在完成初始时刻的航迹起始后，如果当前时刻有效量测的数量大于1，则在历史航迹中从当前时刻开始向前取τ个时刻的航迹值，并将这τ个时刻航迹值对应的时刻替换为0到τ-1后，将每条航迹单独地输入到航迹标签分配网络编码器中，将当前时刻有效量测输入到网络的解码器中，网络的输出为该航迹和当前时刻有效量测之间的关联概率。在得到关联概率之后，采用航迹标签分配方法对航迹标签和当前时刻有效量测之间进行分配。航迹标签分配方法的流程图如图6所示，首先尝试将当前航迹标签分配给关联概率最大的当前时刻有效量测，如果之前已经被分配了航迹标签，则比较当前航迹标签的关联概率和之前航迹标签的关联概率的大小，将关联概率较大的那个航迹标签分配给这个当前时刻有效量测，另一个关联概率较小的航迹标签，则需要重新进行分配，尝试将其分配给该航迹标签第二大关联概率对应的当前时刻有效量测，重复上述过程直至每个航迹标签被成功分配或者关联概率小于一个截止概率P_c：

上式中N_MT3为当前时刻有效量测的数量；

如果当前时刻有效量测的数量等于1，则计算每条航迹中最后一个航迹值与该有效量测的距离，并将距离最小的航迹标签分配给该有效量测。同时在所有历史航迹中从当前时刻开始向前取τ个时刻的航迹值，同样需要将这τ个时刻航迹值对应的时刻替换为0到τ-1，将处理后的所有航迹作为目标状态预测网络的输入，目标状态预测网络的输出即为当前时刻每条航迹的预测值。在得到目标状态预测值之后，通过向每个目标状态预测值和历史航迹最后一个航迹值添加跟踪门的方法对当前时刻有效量测的航迹标签分配结果进一步进行筛选，如果航迹标签对应的当前时刻有效量测在上述两个跟踪门之外，则取消该航迹标签分配结果，即将该航迹标签对应的有效量测恢复为未被分配的状态。

在当前时刻有效量测完成航迹标签分配，同时得到当前时刻目标状态预测值之后，需要对二者进行加权融合处理，以得到最终的目标状态估计值。具体操作如下：首先，对具有相同航迹标签的有效量测和目标状态预测值进行合并，如果这些航迹标签对应的航迹中存在时间步长为1的航迹，则仅使用有效量测进行航迹更新，对于其他时间步长大于1的航迹，利用下式对有效量测和目标状态预测值进行加权求和：

S＝α·M+β·P，α+β＝1 (6)

其中M为有效量测，P为目标状态预测值，S为合并后的最终目标状态估计值，α和β分别为有效量测和目标状态预测值对应的权重，得到最终目标状态估计值后，利用最终目标状态值对相应航迹进行更新。

然后，对于未被分配到有效量测的航迹，则直接使用航迹对应的目标状态预测值对航迹进行更新，当一条航迹连续未被分配到有效量测的次数大于目标消亡阈值时，则认为该航迹对应的目标已经消亡，该航迹终止更新，目标消亡阈值的计算如(10)式所示。同时一条被终止航迹的长度小于下式所示的目标新生阈值时，则认为该航迹并非由目标产生，而是由杂波产生：

T_Birth＝k_B·T_Death,k＞1 (7)

其中T_Birth为目标新生阈值，T_Death为目标消亡阈值，k_B为一个比例系数，用来根据目标消亡阈值确定目标新生阈值。

最后，对于未被分配到航迹标签的有效量测，首先需要计算其与其他有效量测和当前时刻最终目标状态估计值之间的距离，当距离较近时，则认为该有效量测为一个杂波，否则认为该有效量测来自一个新生目标，并为其分配一个新的航迹标签。

在上述航迹更新过程中，如果在某个时刻目标对应的航迹没有被分配到有效量测，则认为该目标在这个时刻未被检测到，否则认为该目标被检测到。基于上述规则统计历史航迹中的检测情况，利用式(8)即可估计出当前时刻的检测概率

其中N_Undetected为当前时刻历史航迹中目标未被检测到的所有次数，N_All为当前时刻历史航迹中目标被检测的所有次数。首先利用估计的检测概率可以进一步确定有效量测筛选的概率阈值P_exist：

其中n_e为一个比例系数，用来确定估计的检测概率和有效量测筛选的概率阈值之间的关系。有效量测筛选的概率阈值的作用是判断MT3算法中网络输出的量测是否来自目标，当量测对应的有效概率大于有效量测筛选的概率阈值时，认为该量测来自目标，为有效量测，否则认为该量测为杂波。同时也可以利用估计的检测概率确定目标消亡阈值T_Death：

其中[·]表示取整函数，目标消亡阈值是航迹管理方法的核心所在，利用目标消亡阈值即可完成航迹的起始和终止，同时剔除错误跟踪形成的航迹。

为了更好体现本发明的有效性，采用最优子模式分配(OSPA)距离来对跟踪结果进行评估，OSPA距离用于判断两个集合之间的差异程度的误差距离，OSPA距离的计算公式如下式所示：

其中p(1≤p≤∞)为阶参数，c(c＞0)为截止距离，d_c(x,y)＝min{c,d(x,y)}为真值和估计值之间的距离。如果m≤n，则OSPA距离采用式(11)计算；如果m＞n，则D_p,c(X,Y)＝D_p,c(Y,X)；如果n＝m＝0，则D_p,c(X,Y)＝0。在仿真实验中计算OSPA距离时，设置c＝4，p＝2。

在仿真实验中，监视的场景范围大小为[-10km,10km]×[-10km,10km]，目标状态为[xkm,v_xkm/s,ykm,v_ykm/s]，目标状态向量中第一维和第三维是目标的位置信息，第二维和第四维是目标的速度信息，观测噪声服从均值为0，标准差为0.01km的高斯分布，雷达采样间隔为1s。

首先针对本发明的技术效果中的第一部分，设置一个三条航迹交叉的仿真实验，以验证其有效性，仿真实验的场景条件设置如下：目标的初始状态为[-9km,0.15km/s,-9km,0.14km/s]、[-9km,0.15km/s,0km,0km/s]和[-9km,0.15km/s,9km,-0.15km/s]，检测概率为0.9，杂波率为10，目标在场景中匀速运动120s，目标运动20s后开始跟踪。仿真结果如图7所示，在仿真结果中，将本发明的方法称为IMT3(Improved MT3)，图7(a)为MT3对三个运动轨迹交叉目标的跟踪结果，图中黑色实线为目标的真实运动轨迹，黑色的点为MT3的跟踪结果，从图中可以看出，MT3无法得到每个目标具体的运动轨迹。图7(b)为IMT3对三个运动轨迹交叉目标的跟踪结果，图中黑色实线为目标的真实运动轨迹，彩色的点为IMT3的跟踪结果，用不同颜色对目标的运动轨迹进行区分，显然IMT3能够得到每个目标具体的运动轨迹，即使在目标交叉运动之后，仍然能够正确地生成目标轨迹信息。同时图(c)为MT3和IMT3的OSPA距离对比图，从图中可以看出，IMT3跟踪结果的稳定性和精度要远好于MT3，通过对比图(d)和图(e)，可以看出IMT3对目标数目的估计也比MT3更加准确和稳定。

针对本发明的技术效果二，设置三条航迹平行的仿真实验，在不同的检测概率的情况下，仿真实验的场景条件设置如下：目标的初始状态为[-9km,0.15km/s,-9km,0.1km/s]、[-9km,0.15km/s,-6km,0.1km/s]和[-9km,0.15km/s,-3km,0.1km/s]，检测概率分别为0.98、0.9、0.8、0.7和0.6，杂波率为10，目标匀速运动120s，目标运动20s后开始跟踪，将100s内跟踪结果的OSPA距离的平均值作为仿真实验最终结果。可以从图9的仿真实验结果看出IMT3的OSPA距离远小于MT3的OSPA距离，首先上述效果得益于在检测概率降低发生漏检时，可以使用目标状态预测值对航迹进行更新，避免了航迹中断，使IMT3对目标数目的估计更加稳定；其次得益于随检测概率变化的有效量测的筛选概率阈值，该概率阈值减少了漏检的发生，使得IMT3对目标数目的估计更加准确。

针对本发明的技术效果三，设置三条航迹平行的仿真实验，在不同杂波率的情况下，仿真实验的场景条件设置除杂波率和检测概率外，与不同检测概率仿真实验中相同，检测概率为0.9，杂波率为10、15、20、25和30。仿真结果如图10所示，从结果中可以看出在不同的杂波率下，IMT3的OSPA距离远小于MT3，这主要是由于IMT3利用航迹管理方法剔除了错误跟踪的航迹，使得IMT3对目标数目的估计比MT3更加稳定和准确。

针对本发明的技术效果三，设置有目标新生和消亡的仿真实验，来验证本发明中航迹管理方法的有效性，仿真实验的场景条件设置如下：在初始时刻有三个目标，其初始状态为：[-9km,0.15km/s,-9km,0.1km/s]、[-9km,0.15km/s,-6km,0.1km/s]和[-9km,0.15km/s,-3km,0.1km/s]。在50s时，场景中出现第一个新生目标，其状态为[0km,0.15km/s,-6km,0.1km/s]；在60s时，场景中出现第二个新生目标，其状态为[-6km,0.15km/s,3km,0.1km/s]；在70s时，场景中出现第三个新生目标，其状态为[2km,0.15km/s,-9km,0.1km/s]。在80s时，初始状态为[-9km,0.15km/s,-9km,0.1km/s]的目标消失；在90s时，初始状态为[-9km,0.15km/s,-3km,0.1km/s]和[0km,0.15km/s,-6km,0.1km/s]的目标消失。检测概率为0.9，杂波率为10。目标在存在时间内做匀速运动。仿真结果如图8所示，从图8(a)中可以看出，IMT3在新生目标出现时，可以发现新生目标，并对其进行航迹起始，同时在目标消亡时，可以将其航迹终止。从图8(b)中可以看出，MT3也可以发现目标新生和目标消亡，并对其进行跟踪或停止跟踪，但由于MT3无法获得目标具体的航迹信息，无法对航迹进行管理，所以在跟踪过程中，频繁发生错误跟踪的情况。结合图8(c)、图(d)和图(e)可以看出，IMT3需要累积几个时刻的有效量测才会发现新生目标，并为其建立航迹，而在目标消失时，需要通过目标消亡阈值对航迹是否应该被终止进行判断，即IMT3算法在目标出现或者目标消失时，对目标数目的估计会出现波动，相应的OSPA距离也会出现波动。

本发明提出的基于Transformer网络的多目标跟踪方法，可达到在检测概率较低、杂波率较大的复杂场景中，对多个目标进行跟踪时，得到每个目标的航迹信息，同时避免错误跟踪现象的发生，对目标数目的估计结果也更加稳定，且可以发现新生目标并对其进行航迹起始的效果。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种复杂场景下基于Transformer网络的多目标跟踪方法，其特征在于，包括以下步骤：

步骤1：设定初始有效量测筛选的概率阈值P_exist和目标消亡阈值T_Death，确定初始时刻有效量测；

步骤2：初始时刻，进行航迹起始；根据初始有效量测筛选的概率阈值P_exist，判断在一个传感器分辨率单元中是否存在多个有效量测；若存在多个有效量测，则任取其中一个作为目标状态估计值，其余视为杂波；若仅存在一个有效量测，则将其作为目标状态估计值；

步骤3：若当前时刻有效量测的数量大于1，则在历史航迹中从当前时刻向前截取τ个时刻的航迹值，并将这τ个时刻航迹值对应的时刻替换为0到τ-1，将每条航迹单独地输入到航迹标签分配网络的编码器中，将当前时刻有效量测输入到航迹标签分配网络的解码器中，航迹标签分配网络的输出为该航迹和当前时刻有效量测之间的关联概率；得到关联概率之后，用航迹标签分配方法对航迹标签和当前时刻有效量测之间进行分配；

若当前时刻有效量测的数量等于1，则计算每条航迹中最后一个航迹值与该有效量测的距离，并将距离最小的航迹标签分配给该有效量测；同时在所有历史航迹中从当前时刻开始向前取τ个时刻的航迹值，并将这τ个时刻航迹值对应的时刻替换为0到τ-1，将处理后的所有航迹作为目标状态预测网络的输入，目标状态预测网络的输出即为当前时刻每条航迹的预测值；之后，通过向每个目标状态预测值和历史航迹最后一个航迹值添加跟踪门的方法对当前时刻有效量测的航迹标签分配结果进一步进行筛选，如果航迹标签对应的当前时刻有效量测在上述两个跟踪门之外，则取消该航迹标签分配结果，即将该航迹标签对应的有效量测恢复为未被分配的状态；

步骤4：对具有相同航迹标签的有效量测和目标状态预测值进行合并，如果这些航迹标签对应的航迹中存在时间步长为1的航迹，则仅使用有效量测进行航迹更新，对于其他时间步长大于1的航迹，则对有效量测和目标状态预测值进行加权求和，得到最终目标状态估计值S后，利用最终目标状态值对相应航迹进行更新；

对于未被分配到有效量测的航迹，直接使用航迹对应的目标状态预测值对航迹进行更新，当一条航迹连续未被分配到有效量测的次数大于目标消亡阈值T_Death时，则认为该航迹对应的目标已经消亡，该航迹终止更新，同时一条被终止航迹的长度小于目标新生阈值T_Birth时，则认为该航迹并非由目标产生，而是由杂波产生；T_Birth＝k_B·T_Death，k_B为比例系数；

对于未分配航迹标签的有效量测，计算该未分配航迹标签的有效量测与其他有效量测和当前时刻最终目标状态估计值之间的距离，当距离较近时，则认为该有效量测为一个杂波，否则认为该有效量测来自一个新生目标，并为该有效量测分配一个新的航迹标签；

步骤5：若未完成所有目标的跟踪，则统计历史航迹中的检测情况，估计出当前时刻的检测概率利用检测概率/>更新有效量测筛选的概率阈值P_exist和目标消亡阈值T_Death后，返回步骤3；

其中，在航迹更新过程中，如果在某个时刻目标对应的航迹没有被分配到有效量测，则认为该目标在这个时刻未被检测到；n_e为一个比例系数，n_e∈N⁺，n_e＞1；[·]表示取整函数。

2.根据权利要求1所述的一种复杂场景下基于Transformer网络的多目标跟踪方法，其特征在于：步骤3中所述航迹标签分配网络的训练方法为：

首先利用给定均值的泊松分布确定场景中的起始目标数目，再从匀速模型、常加速模型和协同转弯模型中为每个目标选取一种运动模型，然后再从给定的场景范围、速度取值范围、加速度取值范围和转弯率取值范围中随机地为每个目标确定初始位置、速度值、加速度值和转弯率值；基于以上数据，让目标运动给定的时间长度τ，在目标运动过程中，会有新的目标出现，新出现目标的参数设置和起始目标的参数设置方式相同；最后即可得到一定数量的航迹，这些航迹作为航迹标签分配网络的训练数据；

利用生成的多条最大长度为τ+1的航迹，轮流将每条航迹0:τ-1时刻的目标位置及其时刻值作为航迹标签分配网络编码器的输入，将所有航迹τ时刻的目标位置及其时刻值作为航迹标签分配网络解码器的输入，航迹标签分配网络的输出即为每条航迹与τ时刻目标位置的关联概率；损失函数采用交叉熵损失函数，同时采用Adam算法对训练过程进行优化；

其中，表示当前时刻第i个有效量测和航迹标签为l_j的航迹之间的关联关系，i＝1,...,N，j＝1,...,N；如果二者相互关联，则/>为1，否则/>为0；/>表示航迹l_j和当前时刻第i个有效量测之间的关联概率。

3.根据权利要求1所述的一种复杂场景下基于Transformer网络的多目标跟踪方法，其特征在于：步骤3中所述目标状态预测网络的训练方法为：

首先利用给定均值的泊松分布确定场景中的起始目标数目，再从匀速模型、常加速模型和协同转弯模型中为每个目标选取一种运动模型，然后再从给定的场景范围、速度取值范围、加速度取值范围和转弯率取值范围中随机地为每个目标确定初始位置、速度值、加速度值和转弯率值，在目标运动过程中随机选取两个时刻对目标运动模型进行切换，在运动模型切换时刻，从匀速模型、常加速模型和协同转弯模型中为每个目标选取一种运动模型；基于以上数据，让目标运动给定的时间长度τ，在目标运动过程中，会有新的目标出现，新出现目标的参数设置和起始目标的参数设置方式相同；最后即可得到一定数量的航迹，这些航迹作为目标状态预测网络的训练数据；

利用生成的最大长度为τ+1的航迹集，将0:τ-1时刻的航迹作为目标状态预测网络编码器的输入，将航迹标签和τ时刻作为目标状态预测网络的解码器的输入，目标状态预测网络的输出为τ时刻目标状态预测值，将τ时刻的目标状态作为真实值计算目标状态预测过程中的损失，同时采用Adam算法对训练过程进行优化，损失函数的计算方法为：

计算目标状态预测网络得到的目标状态预测值和真实目标状态值之间的欧式距离d_jk，用欧式距离组成匈牙利算法的代价矩阵C，使用匈牙利匹配算法对目标状态预测值和真实目标值进行匹配；

其中，x_j表示航迹标签为l_j的航迹的目标状态预测值，x_k表示航迹标签为l_k的航迹的真实目标状态值，j＝1,...,N，k＝1,...,N；

对匹配之后的目标状态预测值和真实目标进行损失函数计算：

其中，表示与目标状态预测值x_j匹配的真实目标状态值。

4.根据权利要求1所述的一种复杂场景下基于Transformer网络的多目标跟踪方法，其特征在于：所述步骤3中航迹标签分配方法具体为：

步骤3.1：由航迹标签分配网络获取每个航迹标签对应的关联概率；

步骤3.2：选取一个未被分配航迹标签及其对应的关联概率；

步骤3.3：若最大关联概率大于截止概率P_c，则将当前航迹标签分配给最大关联概率对应的有效量测；若该有效量测已经被分配航迹标签，则执行步骤3.4-步骤3.5；

其中，N_MT3为当前时刻有效量测的数量；

步骤3.4：若当前航迹标签关联概率大于该有效量测之前分配到的航迹标签的关联概率；则将当前航迹标签分配给该有效量测，并将该有效量测之前分配到的航迹标签变为当前航迹标签及关联概率；

步骤3.5：将当前航迹标签对应的关联概率中的最大关联概率移除；

步骤3.6：若当前航迹标签中所有的有效量测均被尝试分配，则执行步骤3.7；否则，返回步骤3.3；

步骤3.7：若未将所有航迹标签进行分配，则返回步骤3.2。