CN110660083A - 一种结合视频场景特征感知的多目标跟踪方法 - Google Patents

Abstract

本发明公开了一种结合视频场景特征感知的多目标跟踪方法，包括如下步骤：采用深度网络检测初始视频帧中的目标，确定目标的位置、尺寸等信息；将目标图像输入到特征提取网络提取目标的外观特征，同时将视频图像输入CNN进行场景感知，结合场景特征和检测目标的信息，通过LSTM网络预测目标的运动状态；根据目标的外观特征和运动特征分别计算检测目标与已跟踪目标的外观相似度和运动匹配度，融合得到最终的距离度量；根据距离度量采用匈牙利方法进行检测目标和轨迹的匹配；采用上述方法进行下一帧视频的处理，直至视频结束。所述方法克服了已有多目标跟踪方法在复杂场景下跟踪精度低的问题，因此具有更加广泛的适用性，同时具有实时跟踪的能力。

Description

一种结合视频场景特征感知的多目标跟踪方法

技术领域

本发明涉及一种结合视频场景特征感知的多目标跟踪方法，属于计算机视觉中的多目标跟踪技术领域。

背景技术

目标跟踪是计算机视觉的一个重要研究领域。近年来，深度学习在计算机视觉领域得到了广泛应用，许多研究者也开始将深度学习模型引入到目标跟踪中，并取得了很好的效果。同时视频中目标跟踪技术也被广泛应用于人类生产生活的各个领域，包括精确制导、视频监控、无人驾驶

根据跟踪目标的数量，目标跟踪可分为单目标跟踪和多目标跟踪，单目标跟踪的主要研究内容是如何克服光照变化、物体形变、互相重叠、尺寸变化等造成的影响，实现对单一目标的准确、高效跟踪。不同于单目标跟踪，多目标跟踪的核心是如何实现各个目标在前后视频帧的准确、高效匹配。因此多目标跟踪在实际的视频分析应用中具有更大的应用价值和研究意义。

目前多目标跟踪技术已经有了不少研究成果：多假设跟踪(MHT)、概率数据滤波法(JPDAF)和基于卡曼滤波和匈牙利算法的多目标跟踪算法，是多目标跟踪中常用的三个方法，不同于检测跟踪类方法将跟踪问题视为全局优化问题，MHT和JPDAF采用逐帧关联的数据关联方式。在JPDAF中，单个状态假设是通过关联概率对单个测量值进行加权而产生的。在MHT中，所有可能的假设都被跟踪，但为了计算的可行性，必须应用剪枝方案。最近，这两种方法都在检测跟踪场景中被重新使用，并产生了较好的效果。然而，这些方法都是以牺牲计算和实现复杂度为代价的，并不适合实际应用中的实时性要求。

基于卡曼滤波和匈牙利算法的多目标跟踪算法，在Sort(Simple Online andRealtime Tracking)算法的基础上进行改进，结合了目标的外观特征信息，同时采用了级联匹配的数据关联策略，减轻了目标发生混叠时产生IDSwitch的问题。算法在进行目标运动特征匹配时，采用匀速线性运动模型对目标的运动状态进行估计，并使用卡曼滤波方法进行状态更新，当跟踪目标的运动受环境影响较小时，该方法能够很好地估计目标未来的运动状态，因此在简单场景中具有良好的跟踪效果,具有较高的跟踪鲁棒性，同时具有简单、高效、实时性好的优点。但在复杂场景下，目标的运动状态往往是非线性变化的，如躲避障碍物、走向出口，此时仍然采用该方法进行运动状态预测会产生较大误差，目标跟踪的效果也会因此降低。

现有的多目标跟踪算法进行目标跟踪时大多没有考虑到场景对目标运动的影响，因此在复杂场景下对目标进行跟踪会产生较大的误差，因此需要一种结合视频场景信息的多目标跟踪方法，能够对复杂场景中的多个目标进行快速、准确跟踪。

发明内容

本发明为了解决现有技术中多目标跟踪算法在复杂场景下对目标进行跟踪时误差大的不足，提供一种能够感知视频场景信息的多目标跟踪方法，从而实现对复杂场景中的多个目标进行快速、准确跟踪。

为了达到上述目的，本发明提出的技术方案为：一种结合视频场景特征感知的多目标跟踪方法，其特征在于，包括以下步骤：

步骤一、采用FasterRCNN算法检测初始视频帧图像中的目标，得到t时刻第i个目标的检测信息

步骤二、在初始情况下(t＝0时)，直接进入步骤四。

t>0非初始状态时，将目标图像输入到特征提取网络中提取目标的外观特征

同时采用CNN网络对视频图像的场景信息进行感知得到场景特征S_t；

将检测信息

和场景特征S_t输入到LSTM网络中，计算第i个目标的LSTM在t时刻的隐藏状态向量

其中W_L为LSTM网络的权值矩阵，

为LSTM在t-1时刻的隐藏状态向量；

通过下式得到t时刻第i个目标的运动特征

其中W_o为LSTM网络输出层的权值矩阵，b_o为输出层的偏置矩阵，(p，q)为目标检测信息中的目标位置坐标，v为运动速度；

步骤三、计算当前视频帧中检测目标与已跟踪目标之间的外观匹配度d_a和运动特征匹配度d_m，并将二者融合得到最终的距离度量d；

计算目标i与已跟踪目标j的外观特征向量之间的最小余弦距离：

其中，

代表目标i的外观特征向量，T_j代表已跟踪目标j的轨迹，

代表轨迹T_j在k时刻的检测的特征向量；

设定阈值t_a排除不可能的数据关联：

计算目标i与已跟踪目标j在当前时刻的运动状态之间的马氏距离：

其中

为当前时刻将检测目标i加入轨迹T_j时计算得到的轨迹T_j的运动状态，即

为轨迹T_j中的最后一个检测；

是由LSTM网络预测的目标i在当前时间和空间的协方差矩阵；

设定阈值t_m排除不可能的数据关联：

将d_a和d_m通过加权平均得目标d_i与轨迹T_j最终的距离度量d：

d(i,j)＝c_a·c_m(α·d_a(i,j)+(1-α)·d_m(i,j))

其中α为超参数；

步骤四、在初始情况下(t＝0时)，直接将目标的检测

初始化为轨迹T_i。然后返回步骤一，进行下一视频帧的处理，直至视频结束。

在非初始情况下，根据距离度量d采用匈牙利方法进行当前检测目标和已跟踪目标的匹配。若目标i与已跟踪目标j的距离d最短，则将目标i的检测

加入轨迹T_j，除非轨迹T_j已与目标k匹配，且d(i,k)<d(i,j)。然后返回步骤一，进行下一视频帧的处理，直至视频结束。

对上述技术方案的进一步设计为：所述步骤一中使用FasterRCNN算法对其中的目标进行检测，t时刻第i个目标检测信息记为

其中t代表物体的种类代码，(p,q)是检测框底边的中点坐标，v是检测物体的运动速度，初始化时v设置为0，h是检测框的高度，γ为检测框的纵横比。

所述步骤二中将目标图像输入到特征提取网络提取目标的外观特征的具体方法如下：

利用步骤一中FasterRCNN算法中的检测框将目标图像从视频帧中分割出来，并将其输入到特征提取网络CNN网络中进行外观特征提取，t时刻视频帧中的第i个目标的特征记为

所述特征提取CNN网络为具有2个卷积层和6个残差块的宽频域网络，并由全连接层输出128维特征向量r。

所述步骤二中用于感知视频图像的场景特征的CNN网络包含3个卷积层，每个卷积层后面设有1层极大化层，并通过2个全连接层输出256维的特征向量S_t。

所述步骤四中采用采用匈牙利方法将检测目标和轨迹进行匹配的条件是，目标i只和与其距离最短的轨迹T_j匹配，除非轨迹T_j已与目标k匹配，且d(i,k)<d(i,j)。

本发明的技术方案与现有技术相比产生的技术效果为：

本发明提出的一种结合视频场景特征感知的多目标跟踪方法，使用深度神经网络感知场景信息，并结合目标的运动、场景等信息，利用循环神经网络对复杂场景下对目标的运动状态进行更加准确的预测，从而更好地辅助目标跟踪。克服了现有多目标跟踪算法在复杂场景下跟踪鲁棒性低，容易跟踪失败的问题。

本发明同时结合了外观特征和运动特征进行跟踪目标相似度的计算，既具有外观特征在轨迹长时间丢失的情况下进行匹配比较有效的特点，又具有运动特征对于短期的预测和匹配效果好的特点，因此短时期和长时期跟踪的性能都比较好。

本发明提出的方法可以实现对复杂场景下多个目标进行跟踪，方法实现过程中不需要针对跟踪目标进行特殊训练，因此具有广泛的适用性。同时，该方法对复杂环境下的干扰具有较强的抵抗能力，与现有多目标跟踪算法相比，该方法精度高，实时性好，更加符合现实应用中的跟踪需求。

附图说明

图1是本发明实施例所述方法的流程图；

图2为本发明实施例所述方法的框架结构图；

图3为本发明实施例所述方法的场景感知和运动状态预测模块示意图；

图4为本发明实施例的跟踪数据关联算法流程图；

具体实施方式

下面结合附图以及具体实施例对本发明进行详细说明。

实施例

如图1和图2所示，本发明设计了一种结合视频场景特征感知的多目标跟踪方法，该方法具体包括以下步骤：

步骤1：采用深度网络检测初始视频帧中的目标，确定目标的位置、尺寸等信息。

对于t时刻的视频帧f，使用FasterRCNN算法对其中的目标进行检测，每个检测记为其中t代表物体的种类代码，(p,q)是检测框底边的中点坐标，v是检测物体的运动速度，初始化时v设置为0，h是检测框的高度，γ为检测框的纵横比。

步骤2：在初始情况下(t＝0时)，直接进入步骤4。

在非初始情况下，将目标图像输入到特征提取网络提取目标的外观特征

同时采用CNN网络对视频图像的场景信息进行感知得到场景特征S_t，并结合场景特征S_t和检测目标的信息通过LSTM网络预测目标的运动状态

如图3。具体实现如下：

(1)根据目标检测框将目标图像从视频帧中分割出来，并将其输入到预训练的CNN网络中进行外观特征提取。

其中，特征提取网络是一个在大规模行人重识别数据集上进行训练的具有2个卷积层和6个残差块的宽频域网络，并由最后的全连接层输出128维特征向量r。时刻t的视频帧中第i个目标的特征记为

(2)将时刻t的视频帧输入预训练的CNN网络中提取场景特征S_t。该CNN包含3个卷积层，每个卷积层后面有1层极大化层，最后通过2个全连接层输出256维的特征向量S_t。

(3)将t时刻第i个目标的检测

和场景特征向量S_t输入到LSTM网络中，计算第i个目标的LSTM在t时刻的隐藏状态向量

其中W_L为LSTM网络的权值矩阵，其值通过网络的训练确定。

为LSTM在t-1时刻的隐藏状态向量。

LSTM网络的具体实现方法如下：

输入门定义为Gi_t＝σ(W_ixx_t+W_ihh_t-1+W_icc_t-1+b_i)，遗忘门定义为Gf_t＝σ(W_fxx_t+W_fhh_t-1+W_fcc_t-1+b_f)，输出门定义为Go_t＝σ(W_oxx_t+W_ohh_t-1+W_occ_t+b_o)。

其中c_t＝Gf_tc_t-1+Gi_ttanh(W_cxx_t+W_chh_t-1)+b_c，h_t＝Go_ttanh(c_t)，σ(·)为sigmoid激活函数，W_ij表示网络第i层与第j层之间的权值矩阵，b表示网络各层的偏置矩阵。

(4)LSTM网络对目标i在t时刻的状态预测通过下式得到：

其中W_o为LSTM网络输出层的权值矩阵，b_o为输出层的偏置矩阵，其值通过网络的训练确定。构成m的三个参数p，q，v即为目标检测向量d中的目标位置坐标和运动速度参数。

预测目标运动状态所使用的网络，采用端到端的方式进行训练，即将CNN和LSTM网络组成目标运动状态预测网络进行训练。

步骤3：根据提取到的外观特征预测的运动特征

分别计算当前视频帧中检测目标和已跟踪目标的外观匹配度d_a和运动状态匹配度d_m，并将二者融合得到最终的距离度量d。

具体的方法如下：

(1)计算目标i与已跟踪目标j的外观特征向量之间的最小余弦距离：

其中，

代表目标i的外观特征向量，T_j代表已跟踪目标j的轨迹，

代表轨迹T_j在k时刻的检测的特征向量；

并通过设定阈值t_a以95％的置信度排除不可能的数据关联：

在CNN网络的训练过程中，该阈值通过计算正确与错误的数据关联之间的距离来确定。

(2)计算目标i与已跟踪目标j在当前时刻的运动状态之间的马氏距离：

其中

为当前时刻将检测目标i加入轨迹T_j时计算得到的轨迹T_j的运动状态，即

具体地，

是由LSTM网络预测的目标i在当前时间和空间的协方差矩阵；

类似地，设定阈值t_m以排除不可能的数据关联：

(3)d_a和d_m通过加权平均得目标d_i与轨迹T_j最终的距离度量：

d(i,j)＝c_a·c_m(α·d_a(i,j)+(1-α)·d_m(i,j))

其中α为超参数。

步骤4：在初始情况下(t＝0时)，直接将目标的检测

初始化为轨迹T_i。然后进入步骤5。

非初始情况下，根据距离度量d采用匈牙利方法进行当前检测目标和轨迹的匹配，具体的算法如图3所示：

图3所示算法用于对t(t≠0)时刻的视频帧中的检测目标与跟踪轨迹进行数据关联，算法中将目标检测

记为dⁱ。算法正确运行的前提条件是检测目标的数量与跟踪轨迹的数量相等。

步骤4.1、算法初始化，采用步骤3中的距离度量公式计算距离度量矩阵D＝d(i,j)，初始化两个数组M₁，M₂，分别用来记录检测目标和轨迹的匹配对象(如M₁[i]＝j，表示与检测目标d_i匹配的轨迹为T_j)，两个数组的元素初始值都为-1，表示处于未匹配状态。定义并初始化未匹配检测目标的集合U和轨迹数组T。

步骤4.2、从集合U中选取一个检测dⁱ，若集合U为空则进入步骤4.6，集合U不为空则将j初始化为0，与T中的轨迹数据T_j逐个进行匹配。匹配的基本思想是：将目标与距离度量最小的轨迹进行匹配。

步骤4.3、匹配分为以下几种情况，

算法流程如图4所示：

a.轨迹T_j还未与其他检测匹配：若检测dⁱ与轨迹T_j之间的距离小于检测dⁱ当前匹配的距离，则撤销检测dⁱ当前的匹配，将其与轨迹T_j进行匹配，若dⁱ在集合U中，将其从集合U中移除，进入步骤4.4。否则，进入步骤4.4。

b1.轨迹T_j还已与其他检测匹配，检测dⁱ与轨迹T_j之间的距离小于检测dⁱ当前匹配的距离，且若检测dⁱ与轨迹T_j之间的距离小于轨迹T_j当前匹配的距离，撤销检测dⁱ和轨迹T_j当前的匹配，将检测dⁱ与轨迹T_j进行匹配，若dⁱ在集合U中，将其从集合U中移除，并将轨迹T_j之前的匹配对象加入到待匹配检测集合U中，进入步骤4.4。

b2.轨迹T_j还已与其他检测匹配，检测dⁱ与轨迹T_j之间的距离小于检测dⁱ当前匹配的距离，但若检测dⁱ与轨迹T_j之间的距离不小于轨迹T_j当前匹配的距离，进入步骤4.4。

b3.轨迹T_j还已与其他检测匹配，且检测dⁱ与轨迹T_j之间的距离不小于检测dⁱ当前匹配的距离，进入步骤4.4。

步骤4.4、j自增1，准备处理轨迹T_j+1，此时需要判断是否已完成所有轨迹的处理，若没有，则进入步骤4.3，否则，进入步骤4.5。

步骤4.5、判断集合U是否为空，即是否完成了所有检测与轨迹数据的匹配，若为空，则进入步骤4.6，否则进入步骤4.2。

步骤4.6、后处理。根据匹配数组M₁完成检测数据和轨迹数据的关联，如M₁[i]＝j，则将检测dⁱ加入估计T_j中。

步骤5：重复以上步骤进行下一帧视频的处理，直至视频结束。

上述方法克服了现有多目标跟踪算法跟踪鲁棒性低，在复杂环境的影响下易跟踪失败的问题，同时保持了在线实时跟踪的能力，因此具有更强的实用性，能够满足实际场景中目标跟踪的需求。

使用本发明方法在多目标跟踪数据集的MOT16-14视频序列上进行跟踪测试，跟踪结果显示本发明算法能够很好地应对复杂场景为目标跟踪带来的挑战，准确跟踪目标并给出目标区域dⁱ。

本发明的不局限于上述各实施例，凡采用等同替换方式得到的技术方案均落在本发明要求保护的范围内。

Claims (6)

1.一种结合视频场景特征感知的多目标跟踪方法，其特征在于，包括以下步骤：

步骤一、采用FasterRCNN算法检测初始视频帧图像中的目标，得到t时刻第i个目标的检测信息

步骤二、当t＝0时，为初始状态，直接进入步骤四。

t>0非初始状态时，将目标图像输入到特征提取网络中提取目标的外观特征

同时采用CNN网络对视频图像的场景信息进行感知得到场景特征S_t；

将检测信息

和场景特征S_t输入到LSTM网络中，计算第i个目标的LSTM在t时刻的隐藏状态向量

其中W_L为LSTM网络的权值矩阵，

为LSTM在t-1时刻的隐藏状态向量；

通过下式得到t时刻第i个目标的运动特征

其中W_o为LSTM网络输出层的权值矩阵，b_o为输出层的偏置矩阵，(p，q)为目标检测信息中的目标位置坐标，v为运动速度；

步骤三、计算当前视频帧中检测目标与已跟踪目标之间的外观匹配度d_a和运动特征匹配度d_m，并将二者融合得到最终的距离度量d；

计算目标i与已跟踪目标j的外观特征向量之间的最小余弦距离：

其中，

代表目标i的外观特征向量，T_j代表已跟踪目标j的轨迹，代表轨迹T_j在k时刻的检测的特征向量；

设定阈值t_a排除不可能的数据关联：

计算目标i与已跟踪目标j在当前时刻的运动状态之间的马氏距离：

其中

为当前时刻将检测目标i加入轨迹T_j时计算得到的轨迹T_j的运动状态，即

为轨迹T_j中的最后一个检测；

是由LSTM网络预测的目标i在当前时间和空间的协方差矩阵；

设定阈值t_m排除不可能的数据关联：

将d_a和d_m通过加权平均得目标d_i与轨迹T_j最终的距离度量d：

d(i,j)＝c_a·c_m(α·d_a(i,j)+(1-α)·d_m(i,j))

其中α为超参数；

步骤四、当t＝0时，将目标的检测

初始化为轨迹T_i，即该目标为已跟踪目标；然后返回步骤一，进行下一视频帧的处理，直至视频结束。

当非初始情况时，根据距离度量d采用匈牙利方法进行当前检测目标和已跟踪目标的匹配。若目标i与已跟踪目标j的距离d最短，则将目标i的检测加入轨迹T_j，除非轨迹T_j已与目标k匹配，且d(i,k)<d(i,j)。然后返回步骤一，进行下一视频帧的处理，直至视频结束。

2.根据权利要求1所述结合视频场景特征感知的多目标跟踪方法，其特征在于：所述步骤一中使用FasterRCNN算法对其中的目标进行检测，t时刻第i个目标检测信息记为

其中t代表物体的种类代码，(p,q)是检测框底边的中点坐标，v是检测物体的运动速度，初始化时v设置为0，h是检测框的高度，γ为检测框的纵横比。

3.根据权利要求1所述结合视频场景特征感知的多目标跟踪方法，其特征在于：所述步骤二中将目标图像输入到特征提取网络提取目标的外观特征的具体方法如下：

利用步骤一中FasterRCNN算法中的检测框将目标图像从视频帧中分割出来，并将其输入到特征提取网络CNN网络中进行外观特征提取，t时刻视频帧中的第i个目标的特征记为

4.根据权利要求3所述结合视频场景特征感知的多目标跟踪方法，其特征在于：所述特征提取CNN网络为具有2个卷积层和6个残差块的宽频域网络，并由全连接层输出128维特征向量r。

5.根据权利要求4所述结合视频场景特征感知的多目标跟踪方法，其特征在于：所述步骤二中用于感知视频图像的场景特征的CNN网络包含3个卷积层，每个卷积层后面设有1层极大化层，并通过2个全连接层输出256维的特征向量S_t。

6.根据权利要求1所述结合视频场景特征感知的多目标跟踪方法，其特征在于：所述步骤四中采用采用匈牙利方法将检测目标和轨迹进行匹配的条件是，目标i只与其距离最短的轨迹T_j匹配，除非轨迹T_j已与目标k匹配，且d(i,k)<d(i,j)。

Images