CN113487653A - 一种基于轨迹预测的自适应图跟踪方法 - Google Patents

Abstract

本发明公开了一种基于轨迹预测的自适应图跟踪方法，该方法在估计轨迹的位移之后，在当前帧重新提取轨迹的特征，使得相同目标的特征尽可能保持一致。本发明融合了位置、外观和历史信息，在自适应图神经网络中更新特征，用以区分不同目标以及学习目标重要的部位。本发明提出了balanced MSE LOSS，用以平衡样本分布，让神经网络自动学习区分不同类型目标(如新出现的或消失的目标)。本发明可以应用于自动驾驶中输出多个目标的轨迹，还能够预测视频目标的行为，并且可以提高交通管理效率以及预防事故的发生。

Description

一种基于轨迹预测的自适应图跟踪方法

技术领域

本发明属于计算机视觉和模式识别领域，尤其涉及一种基于轨迹预测的自适应图跟踪方法。

背景技术

目标追踪一直是计算机视觉中很重要的研究方向，在自动驾驶、视频目标行为预测、交通管理及预防中有很大的应用。很多视频涵盖了从清晰到模糊、光照强度从白天到黑夜、视角从高到低、镜头从静止到移动的不同场景，并且视频中有较多的目标自遮挡、互遮挡现象。而即使是同一个目标，在运动的过程中可能会发生姿态、角度等的变换，甚至会发生光照强度的变化，那么目标的特征会发生较大的变化，这些都给多目标跟踪带来了极大的挑战。

现在主流的方法如利用卡尔曼滤波器预测历史目标在当前帧的位置，并用匈牙利算法进行匹配，或用CNN或变分方法预测历史目标到当前帧的光流，用简单的贪婪算法完成匹配；FairMOT方法加入一个Re-id分支，用以提取更精细的目标特征，并用特征余弦距离加IOU(Intersection over Union)的方式组成相似度矩阵，再用匈牙利算法完成匹配。尽管这些方法在多目标跟踪领域取得了不错的进展，但它们仍存在以下缺点：

(1)目标在运动过程中的特征不一致。因为即使是同一个目标，在运动的过程中可能会发生姿态、角度等的变换，甚至会发生光照强度的变化，那么这一目标在不同帧上提取出来的特征可能会有较大不同，因此在关联匹配的时候会降低跟踪的准确率；

(2)没有充分利用信息。大多数方法在特征时，只利用了外观信息，没有用到位置关系，也没用到历史目标的特征信息；

(3)样本分布不平衡。

发明内容

本发明的目的在于针对现有技术中目标在运动过程中的特征不一致、提取特征时未充分利用时空信息、样本分布不平衡的不足，提供一种基于轨迹预测的自适应图跟踪方法。

本发明的目的是通过以下技术方案来实现的：一种基于轨迹预测的自适应图跟踪方法，包括以下步骤：

步骤一：基于轨迹预测的特征重提取：当前帧I_t通过ResNet101-fpn网络转化成特征图，被检测到的M个目标边框用ROI Align提取区域特征，这些特征通过全连接层转化为特征向量；同时，用pyramid-LK算法预测前一帧I_t-1的目标在当前帧的位置，再加上除了I_t-1帧的前k帧，共N个历史目标，同样都在当前帧的特征图上重新提取特征向量。这些初始外观特征向量和边框位置都作为自适应图神经网络的输入。

步骤二：在自适应图神经网络AGNN中通过融合外观、位置、历史信息，AGNN能够更新历史和当前目标的特征，可以学习区分不同目标以及学习目标重要的部位用来重新识别被遮挡过的目标，最后通过AGNN输出相似度矩阵S_out∈R^M×N，在训练阶段转到步骤三，在测试阶段转到步骤四。

步骤三：使用balanced MSE Loss平衡样本分布，进行反向传播，更新神经网络参数。balanced MSE Loss为：

其中，α，β，γ，δ，ε是超参数。E_c0代表连续负样本损失项，E_c1代表连续正样本损失项，E_ne代表新出现的样本损失项，E_d代表消失样本损失项，E_w代表正则损失项。

代表神经网络输出值，S_i，j是标签值，

表示神经网络中所有参数的L2损失。

步骤四：将输出的相似度矩阵扩成增广矩阵：在矩阵的右端添加尺寸为M×M，元素全为阈值π的矩阵，即S_out＝[S_out，π×1_M×M]，再通过匈牙利算法直接输出最佳匹配结果，完成轨迹更新。假设匈牙利算法输出的结果匹配对是(i，j)，i是行号，j是列号。若j＜N，那么i和j匹配成功，并且目标j对应的id分配给目标i。否则，i被认为是一个新出现的目标，分配给目标i的id为max{id}+1。

进一步地，所述步骤二包括以下步骤：

(2.1)计算初始特征相似度矩阵：

S_ft＝[S_i，j]_M×N，i＝1，…，M，j＝1，…，N

其中，

代表当前帧第i个被检测到的目标，f_t ^j代表第j个历史目标，S′_i，j代表

与f_t ^j的相似度，S_i，j为对S′_i，j逐行归一化后的相似度。

(2.2)计算边框的交并比IOU，加上步骤(2.1)的结果组成先验相似度矩阵：

E＝w×IOU+(1-w)×S_ft

其中，w为权重参数。

(2.3)利用自适应权重融合特征：

其中，F_d是

组成的M行矩阵，F_t是f_t ^j组成的N行矩阵，W₁、W₂、W_a为神经网络中可训练参数矩阵，Sigmoid为激活函数；⊙是点乘。H′_d是当前帧所有目标的特征嵌入向量构成的矩阵，H′_t是N个历史目标的特征嵌入向量构成的矩阵。

(2.4)输出相似度矩阵：

其中，

是H′_d的第i行，代表当前帧第i个目标更新后的特征，

是H′_t的第j行，代表第j个历史目标更新后的特征；||||₂表示求2范数；

为对

逐行归一化后的特征，

为对

逐行归一化后的特征；H_d是

组成的M行矩阵，H_t是

组成的N行矩阵。

进一步地，步骤(2.2)中，权重参数w初始值设为0.5。

进一步地，步骤(2.3)中，激活函数

本发明的有益效果是：本发明首先预测历史目标的运动并在当前帧提取特征，所以相同目标的特征能够保持一致。然后将这些特征与新检测目标得到的特征一起输入自适应图神经网络，AGNN能够聚合轨迹和检测目标的位置和外观信息来更新特征，这是学习各个目标最重要部位的关键。本发明还在训练阶段提出了balanced MSE Loss，使得网络能够学习到更好的数据分布。本发明在MOT数据集上的跟踪准确率大大优于现有技术中最先进的方法。

附图说明

图1是基于轨迹预测的自适应图跟踪方法流程图；

图2是使用光流预估计的效果示意图；

图3是样本分布不平衡的解读示意图。

具体实施方式

下面根据附图详细说明本发明。

如图1所示，本发明一种基于轨迹预测的自适应图跟踪(TPAGT：TrackletsPredicting Based Adaptive Graph Tracking)方法，包括以下步骤：

步骤一：基于轨迹预测的特征重提取：当前帧I_t通过ResNet101-fpn网络转化成特征图，被检测到的M个目标边框用ROI Align提取区域特征，这些特征通过全连接层转化为特征向量；同时，用pyramid-LK算法预测前一帧I_t-1的目标在当前帧的位置，再加上前k帧(除了I_t-1帧)，共N个历史目标，同样都根据预测的位置在当前帧的特征图上重新提取特征向量。这些初始外观特征向量和边框位置都作为自适应图神经网络的输入。

图2是pyramid-LK算法的作用，(a)(b)(c)三张图片是当前帧图像I_t。其中，(a)中的边框来自于I_t-1。(b)使用了pyramid-LK算法预测目标的运动，所以能得到边框在当前帧的中心坐标(边框的高度和宽度保持不变)。(c)是当前帧标签边框，可见(b)与(c)几乎是一致的。

步骤二：在自适应图神经网络AGNN中通过融合外观、位置、历史信息，AGNN能够更新历史和当前目标的特征，可以学习区分不同目标以及学习目标重要的部位用来重新识别被遮挡过的目标，最后通过AGNN输出相似度矩阵S_out∈R^M×N，在训练阶段转到步骤三，在测试阶段转到步骤四。具体地，通过以下子步骤来实现：

(1)计算初始特征相似度矩阵S_ft：

S_ft＝[S_i，j]_M×N，i＝1，…，M，j＝1，…，N

其中，

代表当前帧第i个被检测到的目标，f_t ^j代表第j个历史目标，S′_i，j代表

与f_t ^j的相似度，S_i，j为对S′_i，j逐行归一化后的相似度。

(2)计算边框的交并比IOU，加上步骤(2)的结果S_ft组成先验相似度矩阵E：

E＝w×IOU+(1-w)×S_ft

其中，参数w衡量了位置信息与外观信息的相对重要程度，初始值设为0.5。

(3)利用自适应权重融合特征：

其中，F_d是

组成的M行矩阵，F_t是f_t ^j组成的N行矩阵，W₁、W₂、W_a为神经网络中可训练参数矩阵，

为激活函数，⊙是点乘，目标特征向量不同维度上的值代表该目标被抓取的不同部位上的信息，而不同部位就是我们区分目标的关键。因此在聚合特征时我们需要给不同维度上的值加权，如何加权是需要根据输入的特征来确定，因此我们称W_a为适应性参数，称Sigmoid(F_tW_a)、Sigmoid(F_dW_a)为适应性权重。这是我们把这个网络叫做自适应图神经网络的原因。H′_d是当前帧所有目标的特征嵌入向量构成的矩阵，H′_t是N个历史目标的特征嵌入向量构成的矩阵。

(4)输出相似度矩阵S_out：

其中，

是H′_d的第i行，代表当前帧第i个目标更新后的特征，

是H′_t的第j行，代表第j个历史目标更新后的特征；||||₂表示求2范数；

为对

逐行归一化后的特征，

为对

逐行归一化后的特征；H_d是

组成的M行矩阵，H_t是

组成的N行矩阵。

步骤三：使用balanced MSE Loss平衡样本分布，进行反向传播，更新神经网络参数。损失函数

为：

其中，α，β，γ，δ，ε是超参数，E_c0代表连续负样本损失项，E_c1代表连续正样本损失项，E_ne代表新出现的样本损失项，E_d代表消失样本损失项，E_w代表正则损失项。

代表神经网络输出值，S_i，j是标签值，

表示神经网络中所有参数的L2损失。

在计算完相似度矩阵之后，同一个目标的标签应为1，不同目标的标签应为0。如图3，每一行代表当前帧被检测到的目标，每一列代表历史目标。若某一列全为0，那就代表此目标消失。若某一行全为0，则代表此目标为新出现的目标。其他情况下，值为1代表目标匹配上，称作连续正样本，值为0代表目标不匹配，称为连续负样本。

步骤四：将输出的相似度矩阵S_out扩成增广矩阵：在矩阵的右端添加尺寸为M×M，元素全为阈值π的矩阵，即S_out＝[S_out，π×1_M×M]，再通过匈牙利算法直接输出最佳匹配结果，完成轨迹更新。假设匈牙利算法输出的结果匹配对是(i，j)，i是行号，j是列号。若j＜N，那么i和j匹配成功，并且目标j对应的id分配给目标i。否则，i被认为是一个新出现的目标，分配给目标i的id为max{id}+1。其中，max{id}表示当前最大的id。

Claims (4)

1.一种基于轨迹预测的自适应图跟踪方法，其特征在于，包括以下步骤：

步骤一：基于轨迹预测的特征重提取：当前帧I_t通过ResNet101-fpn网络转化成特征图，被检测到的M个目标边框用ROIAlign提取区域特征，这些特征通过全连接层转化为特征向量；同时，用pyramid-LK算法预测前一帧I_t-1的目标在当前帧的位置，再加上除了I_t-1帧的前k帧，共N个历史目标，同样都在当前帧的特征图上重新提取特征向量。这些初始外观特征向量和边框位置都作为自适应图神经网络的输入。

步骤二：在自适应图神经网络AGNN中通过融合外观、位置、历史信息，AGNN能够更新历史和当前目标的特征，可以学习区分不同目标以及学习目标重要的部位用来重新识别被遮挡过的目标，最后通过AGNN输出相似度矩阵S_out∈R^M×N，在训练阶段转到步骤三，在测试阶段转到步骤四。

步骤三：使用balanced MSE Loss平衡样本分布，进行反向传播，更新神经网络参数。balanced MSE Loss为：

其中，α，β，γ，δ，ε是超参数。E_c0代表连续负样本损失项，E_c1代表连续正样本损失项，E_ne代表新出现的样本损失项，E_d代表消失样本损失项，E_w代表正则损失项。

代表神经网络输出值，S_i，j是标签值，

表示神经网络中所有参数的L2损失。

步骤四：将输出的相似度矩阵扩成增广矩阵：在矩阵的右端添加尺寸为M×M，元素全为阈值π的矩阵，即S_out[S_out，π×1_M×M]，再通过匈牙利算法直接输出最佳匹配结果，完成轨迹更新。假设匈牙利算法输出的结果匹配对是(i，j)，i是行号，j是列号。若j＜N，那么i和j匹配成功，并且目标j对应的id分配给目标i。否则，i被认为是一个新出现的目标，分配给目标i的id为max{id}+1。

2.根据权利要求1所述基于轨迹预测的自适应图跟踪方法，其特征在于，所述步骤二包括以下步骤：

(2.1)计算初始特征相似度矩阵：

S_ft＝[S_i，j]_M×N，i＝1，…，M，j＝1，…，N

其中，

代表当前帧第i个被检测到的目标，

代表第j个历史目标，S′_i，j代表

与

的相似度，S_i，j为对S′_i，j逐行归一化后的相似度。

(2.2)计算边框的交并比IOU，加上步骤(2.1)的结果组成先验相似度矩阵：

E＝w×IOU+(1-w)×S_ft

其中，w为权重参数。

(2.3)利用自适应权重融合特征：

其中，F_d是

组成的M行矩阵，F_t是

组成的N行矩阵，W₁、W₂、W_a为神经网络中可训练参数矩阵，Sigmoid为激活函数；⊙是点乘。H′_d是当前帧所有目标的特征嵌入向量构成的矩阵，H′_t是N个历史目标的特征嵌入向量构成的矩阵。

(2.4)输出相似度矩阵：

其中，

是H′_d的第i行，代表当前帧第i个目标更新后的特征，

是H′_t的第j行，代表第j个历史目标更新后的特征；||||₂表示求2范数；

为对

逐行归一化后的特征，

为对

逐行归一化后的特征；H_d是

组成的M行矩阵，Ht是

组成的N行矩阵。

3.根据权利要求2所述基于轨迹预测的自适应图跟踪方法，其特征在于，步骤(2.2)中，权重参数w初始值设为0.5。

4.根据权利要求2所述基于轨迹预测的自适应图跟踪方法，其特征在于，步骤(2.3)中，激活函数

Images