CN111488795B - 应用于无人驾驶车辆的实时行人跟踪方法 - Google Patents

Abstract

本发明公开了一种应用于无人驾驶车辆的实时行人跟踪方法，步骤1：利用改进的SSD行人检测算法进行行人实时检测；步骤2：在Deep Sort多目标跟踪算法方法中把光流预测结果与卡尔曼滤波结果进行融合，预测行人状态；步骤3：使用卡尔曼滤波算法估计的状态和检测行人的状态之间的马氏距离来表示运动匹配度量；步骤4：使用一个预训练的卷积神经网络来计算检测框中行人的外观描述子；将该卷积神经网络在行人重识别数据集上进行训练，得到图像描述向量；步骤5：计算总的匹配度量；步骤6：引入级联匹配策略，优先匹配距离当前帧最近的帧中出现的行人；步骤7：进行跟踪对象的生存周期管理。本发明实现了为无人驾驶场景提供行人的状态信息。

Description

应用于无人驾驶车辆的实时行人跟踪方法

技术领域

本发明涉及无人驾驶环境感知技术领域，具体涉及一种基于Track-by-Detection策略的融合光流的Deep SORT多目标跟踪算法进行无人驾驶场景下的行人跟踪算法。

背景技术

无人驾驶系统利用感知层实时获取周围环境的信息，其中的故障物信息提供给决策与规划层使用。位于感知层的视觉系统用于检测出无人驾驶车辆当前感知范围内的运动障碍物包括车辆、行人等的位置信息与速度信息，同时，对每个运动障碍物进行唯一的ID标号，预测其运动状态，并确定运动轨迹，从而计算出车辆的可行驶区域。

行人的运动信息对于无人驾驶车辆的安全行驶起着至关重要的作用。基于深度学习的行人检测算法只对单帧图片进行处理，缺乏视频流前后帧中被检测行人的关联信息，在行人被短期遮挡时会丢失信息，这将会给决策和规划层带来极大的风险。因此，目标检测器必须引入基于视觉的多目标跟踪方法，利用视频流的上下文语义，补全目标被短期遮挡时的信息，为感知层提供更为准确的运动障碍物轨迹跟踪和更为鲁棒的运动信息预测。行人跟踪是目标跟踪中研究最多的一部分，由于行人是一个非刚体的目标，而且受外观和遮挡的影响较大，对行人检测与跟踪算法的研究具有很大的挑战性，在实际应用中具有更高的商业价值。

发明内容

针对现有技术的行人检测方法无法提供行人足够的动态信息，以及传统的在线跟踪方法没有充分地利用行人的特征信息等问题，本发明提出一种应用于无人驾驶车辆的实时行人跟踪方法，针对场景采用一种融合光流的Deep SORT行人跟踪算法；在卡尔曼滤波的线性预测部分融合基于光流的目标运动信息，同时，将改进的SSD实时行人检测算法作为Deep SORT模型中的行人检测部分，实现实时地行人跟踪对象的生存周期管理。

本发明的一种应用于无人驾驶车辆的实时行人跟踪方法，该方法包括以下步骤：

步骤1：设计行人检测网络，利用改进的SSD行人检测算法进行行人实时检测：该算法使用单个卷积神经网络，直接从原始图像得到边界框的坐标和行人的概率，具体描述为整个行人检测网络为一个全卷积神经网络，整体依据SSD架构进行，将SSD中的主干网络VGG更换为性能更加强大的残差网络ResNet，再使用SSD方法中的检测部分在多尺度特征图上进行分类和回归，即得到行人的类别概率以及其边界框的坐标描述；

步骤2：定义每个行人的状态变量，X_t的表达式如下：

其中，x,y分别表示对应检测框中心的坐标，γ表示宽高比，h表示检测框的高度，

分别表示它们各自的速度，t表示图像的帧数；

取边界框的坐标(x,y,γ,h)作为行人状态的直接观测变量，利用卡尔曼滤波算法和特征点光流法对行人状态进行估计；特征点选用Harris角点，在第t帧图像中对当前已有的N个跟踪目标进行预测时，对t-1帧的N个目标的边界框所对应的图像提取g个特征点的位置loc＝[(x,y)₁,...,(x,y)_g]，对所有的g个特征点运用光流法进行跟踪，求解得到对应特征点在像素级的运动矢量mov，即各个特征点的速度集合，表达式为：

mov＝[(u,ν)₁,...,(u,ν)_g]

其中，g表示在使用光流法时所选取的对应特征点的个数，u,v表示各个特征点在横纵方向上瞬时速度的矢量描述；

计算得到对应特征点在第t帧的位置，表达式如下：

new_loc＝[(x′,y′)₁,...,(x′,y′)_g]

(x′,y′)_i＝(x,y)_i+(u,n)_i,i＝1,...,g

求解出一个变换矩阵来表示光流代表的运动，作为对跟踪目标的下一个边界框进行预测的跟踪框，构造光流特征点在两帧图像之间的运动变换矩阵，表达式如下：

AT＝b

A和b具体形式为：

其中，T为变换矩阵；

利用最小二乘法求得变换矩阵T^*，表达式如下：

T^*＝-(A^TA)^-1A^Tb

计算出变换矩阵之后，对t-1帧中N个跟踪行人检测框的四个顶点进行坐标变换即可得到新的检测框，即为光流法根据底层像素运动对图像中的动态障碍物所做出的运动估计，把该估计信息记做X_op；

在Deep Sort多目标跟踪算法方法中把光流预测出的结果与卡尔曼滤波的结果进行融合，得到卡尔曼滤波融合光流预测出的行人状态，如下式所示：

其中，

表示t时刻卡尔曼滤波融合光流预测出的行人状态，

表示t时刻卡尔曼滤波预测出的行人状态，X_op表示为光流法根据底层像素运动对图像中的行人运动状态的估计，λ表示卡尔曼滤波增益；

步骤3：计算运动匹配度量，即使用卡尔曼滤波算法估计的状态和新得到的检测行人的状态之间的马氏距离来表示运动匹配度量，其表达式如下：

d⁽¹⁾(i,j)＝(d_j-y_i)^TS_i ^-1(d_j-y_i)

其中，S_i表示第i条轨迹由卡尔曼滤波器预测得到的在当前时刻观测空间的协方差矩阵，y_i表示第i条轨迹在当前时刻预测的行人状态，d_j表示第j个检测行人的状态，T表示转置符号；

通过将马氏距离按95％的置信区间的卡方检验中计算，排除不可能的关联；指示函数定义如下：

其中，如果第i条轨道与第j个检测结果之间的关联是可接受的，则其值为1；对于四维测量空间，相应的马氏距离的阈值为t⁽¹⁾＝9.4877；

步骤4：定义外观匹配度量；

对每一个检测框d_j计算一个外观描述子r_j(||r_j||＝1)，并且为每条轨迹保留了最后L_k＝100个相关外观描述子的图库

则外观匹配度量表示外观空间中第i条轨迹和第j个检测结果之间的最小余弦距离，表达式如下：

其中，

表示检测框d_j的外观描述子向量的转置、

表示第i条轨迹中的第k个相关的外观描述子。

同样，定义一个指示函数来指示根据外观匹配度量是否允许关联，表达式如下：

在一个单独的训练数据集上为这个指示函数1找到一个合适的阈值t⁽²⁾；

使用一个预训练的卷积神经网络来计算检测框中行人的外观描述子；将该卷积神经网络在行人重识别数据集上进行训练，同时将行人的图像作为网络的输入，得到图像的描述向量，即该图像中行人的外观描述子；

步骤5：计算总的匹配度量；

使用加权和将运动匹配度量和外观匹配度量结合起来，从而构建组合关联度量c_i,j表达式如下：

c_i,j＝λd⁽¹⁾(i,j)+(1-λ)d⁽²⁾(i,j)

其中，通过超参数λ控制各度量对组合关联度量的影响，如果组合关联度量c_i,j位于两个度量的选通区域，则作为可接受的，将选通区域表示为：

步骤6：通过总的匹配度量公式得到总的代价矩阵D，再通过级联条件，设定阈值分别对外观和位置因素进行计算，满足条件则返回1，否则返回0。初始化匹配矩阵为空，初始化未匹配矩阵等于D；通过匈牙利算法，对于每个属于追踪框集合中的元素，在检测框里面查找代价最低且满足阈值过滤条件的检测框作为匹配结果，同时更新匹配矩阵和非匹配矩阵；优先匹配距离当前帧最近的帧中出现的行人作为最优的匹配结果；

步骤7：进行跟踪对象的生存周期管理：

如果有未匹配到的检测框，并且该检测框与所有跟踪对象IoU值都小于某个阈值，且在之后3帧内连续匹配成功，则建立该跟踪对象；如果某个跟踪对象连续30帧内都没有匹配成功，则删除该跟踪对象；匹配成功，则删除该跟踪对象。

与已有技术相比，本发明的技术特点与效果：

1、相比较其他传统的目标跟踪方法，基于Track-by-Detection策略的在线多目标跟踪算法具有较高的实时性和较强的鲁棒性，符合无人驾驶场景对算法的要求；

2、实现了无人驾驶场景中为决策和规划层提供行人的状态信息；

3、利用图像信息本身的特点，在卡尔曼滤波的线性预测部分，融合基于光流的行人运动信息，使得预测的边界框能够更加贴近行人的外观。

附图说明

图1为改进的SSD行人检测算法模型示意图；

图2为行人跟踪过程示意图；

图3为本发明的一种应用于无人驾驶车辆的实时行人跟踪方法整体流程图。

附图标记：

1、2为边界框，3为检测框。

具体实施方式

以下结合附图及实施例对本发明的技术方案进行进一步的说明，但不作为本发明的限制。

本发明的应用于无人驾驶车辆的实时行人跟踪方法，基于Track-by-Detection策略的在线多目标跟踪算法，提出一种融合光流的Deep SORT实时行人跟踪算法，具体实施步骤如下：

步骤1：设计行人检测网络，利用改进的SSD行人检测算法进行行人实时检测：该算法使用单个卷积神经网络，直接从原始图像得到边界框的坐标和行人的概率，具体描述为整个行人检测网络为一个全卷积神经网络，整体依据SSD架构进行，将SSD中的主干网络VGG更换为性能更加强大的残差网络ResNet，再使用SSD方法中的检测部分在多尺度特征图上进行分类和回归，即得到行人的类别概率以及其边界框的坐标描述；

步骤2：定义每个行人的状态变量，状态变量X_t的表达式如下：

其中，x,y分别表示对应检测框中心的坐标，γ表示宽高比，h表示检测框的高度，

表示它们各自的速度，t表示图像的帧数；

取检测框的坐标(x,y,γ,h)作为行人状态的直接观测变量，利用卡尔曼滤波算法和特征点光流法对行人状态进行估计；特征点选用Harris角点，在第t帧图像中对当前已有的N个跟踪目标进行预测时，对t-1帧的N个目标的边界框所对应的图像提取g个特征点的位置loc＝[(x,y)₁,...,(x,y)_g]，对所有的g个特征点运用光流法进行跟踪，求解得到对应特征点在像素级的运动mov，即各特征点的速度集合，表达式为：

mov＝[(u,ν)₁,...,(u,ν)_g] (2)

其中，g表示在使用光流法时所选取的对应特征点的个数，u,v表示各个特征点在横纵方向上瞬时速度的矢量描述。

计算得到对应特征点在第t帧的位置，表达式如下：

new_loc＝[(x′,y′)₁,...,(x′,y′)_g] (3)

(x′,y′)_i＝(x,y)_i+(u,n)_i,i＝1,...,g (4)

求解出一个变换矩阵来表示光流代表的运动，作为对跟踪目标的下一个边界框进行预测的跟踪框，构造光流特征点在两帧图像之间的运动变换矩阵，表达式如下：

AT＝b (5)

A和b具体形式为：

其中，T为变换矩阵；

利用最小二乘法求得变换矩阵T^*，表达式如下：

T^*＝-(A^TA)^-1A^Tb (7)

计算出变换矩阵之后，对t-1帧中N个跟踪行人检测框的四个顶点进行坐标变换即可得到新的检测框，即为光流法根据底层像素运动对图像中的动态障碍物所做出的运动估计，把该估计信息记做X_op；

在Deep Sort多目标跟踪算法方法中把光流预测出的结果与卡尔曼滤波的结果进行融合，得到卡尔曼滤波融合光流预测出的行人状态，如下式所示：

其中，

表示t时刻卡尔曼滤波融合光流预测出的行人状态，

表示t时刻卡尔曼滤波预测出的行人状态，X_op表示为光流法根据底层像素运动对图像中的行人运动状态的估计，λ表示卡尔曼滤波增益；

步骤3：计算运动匹配度量，即使用卡尔曼滤波算法估计的状态和新得到的检测行人的状态之间的马氏距离来表示运动匹配度量，其表达式如下：

d⁽¹⁾(i,j)＝(d_j-y_i)^TS_i ^-1(d_j-y_i) (9)

其中，S_i表示第i条轨迹由卡尔曼滤波器预测得到的在当前时刻观测空间的协方差矩阵，y_i表示第i条轨迹在当前时刻预测的行人状态，d_j表示第j个检测行人的状态，T表示矩阵的转置；

考虑到运动的连续性，通过将马氏距离按95％的置信区间的卡方检验中计算，可以排除不可能的关联。指示函数定义如下：

其中，如果第i条轨道与第j个检测结果之间的关联是可接受的，则其值为1；对于四维测量空间，相应的马氏距离的阈值为t⁽¹⁾＝9.4877；

步骤4：定义外观匹配度量；

对每一个检测框d_j计算一个外观描述子r_j(||r_j||＝1)，并且为每条轨迹保留了最后L_k＝100个相关外观描述子的图库

则外观匹配度量表示外观空间中第i条轨迹和第j个检测结果之间的最小余弦距离，表达式如下：

其中，

表示检测框d_j的外观描述子向量的转置、

表示第i条轨迹中的第k个相关的外观描述子。

同样，定义一个指示函数来指示根据外观匹配度量是否允许关联，表达式如下：

在一个单独的训练数据集上为这个指示函数1找到一个合适的阈值t⁽²⁾；

使用一个预训练的卷积神经网络来计算检测框中行人的外观描述子。将该卷积神经网络在行人重识别数据集上进行训练，同时将行人的图像作为网络的输入，得到图像的描述向量；

在步骤4中，使用一个预训练的卷积神经网络来计算检测框中行人的外观描述子。将该卷积神经网络在行人重识别数据集上进行训练，同时将行人的图像作为网络的输入，得到图像的描述向量；

步骤5：计算总的匹配度量；

使用加权和将运动匹配度量和外观匹配度量结合起来，从而构建组合关联度量c_i,j表达式如下：

c_i,j＝λd⁽¹⁾(i,j)+(1-λ)d⁽²⁾(i,j) (13)

其中，通过超参数λ控制各度量对组合关联度量的影响。如果组合关联度量c_i,j位于两个度量的选通区域，则称其为可接受的，将选通区域表示为：

步骤6：分配问题；

利用匈牙利匹配算法来解决卡尔曼滤波算法估计的状态和新得到的检测行人状态之间的关联度。匈牙利匹配算法的度量结合了行人运动信息和外观信息。通过总的匹配度量公式得到总的代价矩阵D，再通过级联条件，设定阈值分别对外观和位置因素进行计算，满足条件则返回1，否则返回0。初始化匹配矩阵为空，初始化未匹配矩阵等于D。通过匈牙利算法，对于每个属于追踪框集合中的元素，在检测框里面查找代价最低且满足阈值过滤条件的检测框作为匹配结果，同时更新匹配矩阵和非匹配矩阵。优先匹配距离当前帧最近的帧中出现的行人作为最优的匹配结果；

步骤7：跟踪对象的生存周期管理；

如果有未匹配到的检测框，并且该检测框与所有跟踪对象IoU值都小于某个阈值，且在之后3帧内连续匹配成功，则建立该跟踪对象。如果某个跟踪对象连续30帧内都没有匹配成功，则删除该跟踪对象。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种应用于无人驾驶车辆的实时行人跟踪方法，其特征在于，该方法包括以下步骤：

步骤1：设计行人检测网络，利用改进的SSD行人检测算法进行行人实时检测：该算法使用单个卷积神经网络，直接从原始图像得到边界框的坐标和行人的概率，具体描述为整个行人检测网络为一个全卷积神经网络，整体依据SSD架构进行，将SSD中的主干网络VGG更换为性能更加强大的残差网络ResNet，再使用SSD方法中的检测部分在多尺度特征图上进行分类和回归，即得到行人的类别概率以及其边界框的坐标描述；

步骤2：定义每个行人的状态变量，X_t的表达式如下：

其中，x,y分别表示对应检测框中心的坐标，γ表示宽高比，h表示检测框的高度，

分别表示它们各自的速度，t表示图像的帧数；

取边界框的坐标(x,y,γ,h)作为行人状态的直接观测变量，利用卡尔曼滤波算法和特征点光流法对行人状态进行估计；特征点选用Harris角点，在第t帧图像中对当前已有的N个跟踪目标进行预测时，对t-1帧的N个目标的边界框所对应的图像提取g个特征点的位置loc＝[(x,y)₁,...,(x,y)_g]，对所有的g个特征点运用光流法进行跟踪，求解得到对应特征点在像素级的运动矢量mov，即各个特征点的速度集合，表达式为：

mov＝[(u,ν)₁,...,(u,ν)_g]

其中，g表示在使用光流法时所选取的对应特征点的个数，u,v表示各个特征点在横纵方向上瞬时速度的矢量描述；

计算得到对应特征点在第t帧的位置，表达式如下：

new_loc＝[(x′,y′)₁,...,(x′,y′)_g]

(x′,y′)_i＝(x,y)_i+(u,n)_i,i＝1,...,g

求解出一个变换矩阵来表示光流代表的运动，作为对跟踪目标的下一个边界框进行预测的跟踪框，构造光流特征点在两帧图像之间的运动变换矩阵，表达式如下：

AT＝b

A和b具体形式为：

其中，T为变换矩阵；

利用最小二乘法求得变换矩阵T^*，表达式如下：

T^*＝-(A^TA)^-1A^Tb

计算出变换矩阵之后，对t-1帧中N个跟踪行人检测框的四个顶点进行坐标变换即可得到新的检测框，即为光流法根据底层像素运动对图像中的动态障碍物所做出的运动估计，把该估计信息记做X_op；

在Deep Sort多目标跟踪算法方法中把光流预测出的结果与卡尔曼滤波的结果进行融合，得到卡尔曼滤波融合光流预测出的行人状态，如下式所示：

其中，

表示t时刻卡尔曼滤波融合光流预测出的行人状态，

表示t时刻卡尔曼滤波预测出的行人状态，X_op表示为光流法根据底层像素运动对图像中的行人运动状态的估计，λ表示卡尔曼滤波增益；

步骤3：计算运动匹配度量，即使用卡尔曼滤波算法估计的状态和新得到的检测行人的状态之间的马氏距离来表示运动匹配度量，其表达式如下：

d⁽¹⁾(i,j)＝(d_j-y_i)^TS_i ^-1(d_j-y_i)

其中，S_i表示第i条轨迹由卡尔曼滤波器预测得到的在当前时刻观测空间的协方差矩阵，y_i表示第i条轨迹在当前时刻预测的行人状态，d_j表示第j个检测行人的状态，T表示转置符号；

通过将马氏距离按95％的置信区间的卡方检验中计算，排除不可能的关联；指示函数定义如下：

其中，如果第i条轨道与第j个检测结果之间的关联是可接受的，则其值为1；对于四维测量空间，相应的马氏距离的阈值为t⁽¹⁾＝9.4877；

步骤4：定义外观匹配度量；

对每一个检测框d_j计算一个外观描述子r_j(||r_j||＝1)，并且为每条轨迹保留了最后L_k＝100个相关外观描述子的图库

则外观匹配度量表示外观空间中第i条轨迹和第j个检测结果之间的最小余弦距离，表达式如下：

其中，

表示检测框d_j的外观描述子向量的转置、

表示第i条轨迹中的第k个相关的外观描述子，

同样，定义一个指示函数来指示根据外观匹配度量是否允许关联，表达式如下：

在一个单独的训练数据集上为这个指示函数1找到一个合适的阈值t⁽²⁾；

使用一个预训练的卷积神经网络来计算检测框中行人的外观描述子；将该卷积神经网络在行人重识别数据集上进行训练，同时将行人的图像作为网络的输入，得到图像的描述向量，即该图像中行人的外观描述子；

步骤5：计算总的匹配度量；

使用加权和将运动匹配度量和外观匹配度量结合起来，从而构建组合关联度量c_i,j表达式如下：

c_i,j＝ld⁽¹⁾(i,j)+(1-l)d⁽²⁾(i,j)

其中，通过超参数l控制各度量对组合关联度量的影响，如果组合关联度量c_i,j位于两个度量的选通区域，则作为可接受的，将选通区域表示为：

步骤6：通过总的匹配度量公式得到总的代价矩阵D，再通过级联条件，设定阈值分别对外观和位置因素进行计算，满足条件则返回1，否则返回0， 初始化匹配矩阵为空，初始化未匹配矩阵等于D；通过匈牙利算法，对于每个属于追踪框集合中的元素，在检测框里面查找代价最低且满足阈值过滤条件的检测框作为匹配结果，同时更新匹配矩阵和非匹配矩阵；优先匹配距离当前帧最近的帧中出现的行人作为最优的匹配结果；

步骤7：进行跟踪对象的生存周期管理：

如果有未匹配到的检测框，并且该检测框与所有跟踪对象IoU值都小于某个阈值，且在之后3帧内连续匹配成功，则建立该跟踪对象；如果某个跟踪对象连续30帧内都没有匹配成功，则删除该跟踪对象；匹配成功，则删除该跟踪对象。

Images