CN108022258B - 基于单次多框检测器与卡尔曼滤波的实时多目标跟踪方法 - Google Patents

Abstract

本发明公开了基于单次多框检测器与卡尔曼滤波的实时多目标跟踪方法，该方法包括首先读取视频流，然后调用单次多框检测器(Single Shot MultiBox Detector,SSD)模型对视频帧进行检测，之后采用卡尔曼滤波算法对检测结果进行单步预测(跟踪)，通过欧氏距离与HSV颜色直方图相似性联合判定检测框和跟踪框是否配对，并且对配对结果进行相应的更新，删除不满足新式的双判定条件的跟踪，最终完成多目标的实时跟踪。本发明可以在各种复杂场景和不同天气下较好地实现对多目标的实时稳定跟踪。

Description

基于单次多框检测器与卡尔曼滤波的实时多目标跟踪方法

技术领域

本发明一种基于单次多框检测器与卡尔曼滤波的实时多目标跟踪方法，属于智能视频监控技术领域。

背景技术

近几年来目标检测与跟踪算法越来越受到计算机视觉领域学者的重视，它已经成为视频监控技术领域的重要课题，尤其是针对多目标而言。其中，可视化监视和监测系统通常采用静态摄像头，目标检测部分的主要任务是从视频图像中检测出感兴趣的目标。现有的目标检测使用方法通常为背景差法，即从所谓静止的背景中分离出运动物体，通常采用构建背景模型方式，采用帧差法，检测出前景目标，从而实现目标的检测。目标跟踪部分多采用卡尔曼滤波、camshift跟踪或者二者的结合等方法。由于在多目标的检测与跟踪算法中，目标检测起到极其重要的作用，又由于背景差法的局限性，即当光线较差以及目标发生遮挡时，背景差算法的效果极大下降，从而给后续的跟踪以及计数、画轨迹等应用带来很大的困难。

发明内容

本发明针对上述现有技术的不足，提出了一种基于单次多框检测器与卡尔曼滤波的实时多目标跟踪方法。针对目标检测，本发明首先采用基于深度学习的目标检测算法SSD，将其移植到windows系统下，更便于实际的推广应用；针对目标跟踪，采用更加稳定的卡尔曼滤波算法，对检测得到的目标框进行预测，通过欧氏距离与HSV颜色直方图相似性联合判定检测框和跟踪框是否配对，并且对配对结果进行相应的更新，删除不满足新式双判定条件的跟踪，最终完成多目标的实时跟踪。该方法对各种复杂场景与不同天气下的多目标实现了实时跟踪，具有很高的鲁棒性。

为了实现上述目的，本发明的技术方案是运用了一种基于单次多框检测器与卡尔曼滤波的实时多目标跟踪方法，包括如下步骤：

步骤A，读取视频流；

步骤B，调用SSD目标检测算法模型对视频帧进行检测；

步骤C，用卡尔曼滤波算法对检测结果进行预测，并将预测坐标更新到跟踪框中；

步骤D，对检测框与跟踪框的结果进行配对；

步骤D-1：计算检测框与跟踪框中心点之间的欧氏距离

步骤D-2：计算检测框与跟踪框各自区域内的HSV颜色直方图，对二者进行直方图相似性匹配；

步骤D-3：当h大于70且匹配结果大于0.7时,才认为检测框与跟踪框配对成功；

步骤E，更新配对成功与配对未成功的跟踪，删除不满足新式双判定条件的跟踪；

步骤F，对目标进行计数与画轨迹。

进一步地，本发明将SSD目标检测算法与卡尔曼滤波跟踪算法应用于windows系统。

进一步地，本发明步骤D配对方式采用的是双判定，即HSV颜色直方图相似性匹配与欧氏距离阈值联合判定。

进一步地，本发明步骤D配对方式中的欧式距离阈值为70。

进一步地，本发明步骤D配对方式中的HSV颜色直方图相似性配对阈值为0.7。

进一步地，本发明步骤E中删除不满足新式双判定条件的跟踪步骤包括：

步骤E-1，判断该目标是否被SSD目标检测算法连续两帧及多帧检测到，如果成立，则进行步骤E-2；否则进行步骤E-5；

步骤E-2，调用卡尔曼滤波算法对该目标连续预测20帧；

步骤E-3，判断在步骤E-2预测的20帧内，该目标是否被再次检测到，如果成立，则进行步骤E-4；否则进行步骤E-5；

步骤E-4，用其检测框代替预测框，然后依次进行步骤E-2与E-3；

步骤E-5，删除该目标的跟踪ID号。

进一步地，本发明步骤F中画轨迹采用的是数据结构中的数组，不同于以往的链表。

所述步骤F中的画轨迹包括：

步骤F-1，首先建立一个数组P_t，共有20个元素，每一个元素又都是一个Point类型的向量，即P_t[i][j]，其中i∈(0，1,2...19)，j∈(0,1,2,3......)，初始化其元素为P_t[i][0].x=0，P_t[i][0].y＝0。其中P_t[i][0].x代表ID编号，P_t[i][0].y代表是否有更新的Flag；

步骤F-2，进行判定，假设某跟踪边框的ID号为T，则判断P_t[i][0].x是否等于T，如果等于，则令P_t[i][0].y＝1，同时将该边框的中心坐标(tx,ty)，赋值给P_t[i][k]，即P_t[i][k]＝(tx,ty)，k∈(1,2,3...)，如果不等于，则寻找一个P_t[i][0].x＝0的P_t[i]向量，令P_t[i][0].x＝T，P_t[i][0].y＝1，同时将该边框的中心坐标(tx,ty)，赋值给P_t[i][k]，即P_t[i][k]＝(tx,ty)，k∈(1,2,3...)；

步骤F-3，进行判定，如果P_t[i][0].x不等于0，同时P_t[i][0].y等于0，则对P_t[i]进行清空，同时对P_t[i]进行步骤F-1的初始化，以供其他新出现的ID使用，如果P_t[i][0].x不等于0，同时P_t[i][0].y不等于0，则令P_t[i][0].y＝0；

步骤F-4，根据上述步骤F-1到F-3，同一ID编号下的所有中心点坐标依次赋值到P_t[i][k]，k∈(1,2,3...)，把所有点的中心坐标连起来则为轨迹线。

有益效果：

1、本发明首次将基于深度学习的目标检测算法SSD与卡尔曼跟踪结合在一起，在windows平台下完成，能够很好地在实际场景中应用与推广。

2、本发明通过采用欧氏距离与HSV颜色直方图相似性联合判定检测框和跟踪框是否配对，同时删除不满足新式双判定条件的跟踪，对多目标的精确跟踪起到了关键了作用。

3、本发明画目标轨迹线采用的是数据结构中的数组，更便捷与可靠。

4、本发明在光线较暗，目标遮挡与变形等极端情况下，依旧可以完成很好的跟踪，同时针对实际场景中的车辆行人视频流连续运行一周，未出现程序奔溃等错误，具有很高的鲁棒性与实用性。

附图说明

图1为本发明的方法流程图。

图2～4为本发明在不同道路状况下对多目标(车辆、行人)的实时跟踪效果图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图实施例对本发明作进一步的详细说明。

本发明的流程示意图如图1所示，以下为一个具体的实施例，其具体步骤依次为：

步骤A，读取视频流；

步骤B，调用SSD目标检测算法模型对视频帧进行检测；

其中目标检测算法为基于深度学习的SSD算法，其具体使用步骤如下：

步骤B-1，训练基于深度学习的目标检测算法SSD的检测模型。该检测算法模型可以识别包括背景在内的21类物体。模型训练中图片大小为300*300，训练数据集采用VOC2007与VOC2012，测试数据集采用VOC2012，共迭代16000次；

步骤B-2，将SSD代码(Python语言)转为纯C代码，移植到配有VS2013、Open CV2.4.9、cuda8.0、cudnn5.0、GPU的windows环境下，进行环境配置；

步骤B-3，调用SSD检测模型对输入的视频帧图片进行检测，其中置信度得分阈值为0.6(置信度得分高于0.6的检测框会被显示出来)。得到第i个物体的检测框(x_i,y_i,w_i,h_i)，其中(x_i,y_i)为该检测框的左上角坐标，w_i为该检测框的宽度，h_i该检测框的高度，其中心点为(d_x,d_y)。其中dx＝x_i+w_i/2，dy＝y_i+h_i/2；

步骤C，用卡尔曼滤波算法对检测结果进行预测，并将预测坐标更新到跟踪框中；

其中卡尔曼滤波系统的状态方程和观测方程为：

X_K＝AX_K-1+W_K-1 (1)

Z_K＝HZ_K+V_K (2)

式中，X_K表示K时刻系统的状态向量；Z_K表示K时刻系统的观测向量；A表示状态转移矩阵；H表示观测矩阵；W_K-1和V_K表示高斯白噪声，二者互不相关，均值都为0。由步骤B-3得出的检测框中心点坐标为(d_x,d_y)，框的高度与宽度分别为h_i，w_i。其运动矢量为(v_x,v_y)。则运动物体的运动状态的状态向量为：

X＝(d_x,d_y,h_i,w_i,v_x,v_y)^T (3)

选取观测向量Z＝(d_x,d_y,h_i,w_i)^T，确定系统的状态转移矩阵与观测矩阵：

利用系统离散状态方程和观察方程式即式(1)、式(2)及相应的初始值，根据观测值Z_K，在均方误差最小的情况下，对当前状态X_K进行估计修正，从而得到最优估计值，同时根据状态方程预测下一时刻的状态向量，然后再进行修正，如此循环迭代，从而预测出物体在下一帧图像中的位置坐标。

步骤C中，预测坐标更新到跟踪框中的方式为：通过步骤C中卡尔曼预测获得第i个物体的预测位置为(p_x,p_y)，更新后坐标为(p_x-w_i/2,p_y-h_i/2,w_i,h_i)，其中心点为(d_x，,d_y，)。

步骤D，对检测框与跟踪框的结果进行配对；

步骤D-1：计算检测框与跟踪框中心点之间的欧氏距离

步骤D-2：计算检测框与跟踪框各自区域内的HSV颜色直方图，对二者进行直方图相似性匹配；

步骤D-3：当h大于70且匹配结果大于0.7时,才认为检测框与跟踪框配对成功；

步骤E，更新配对成功与配对未成功的跟踪，删除不满足条件的跟踪；

其中删除不满足新式双判定条件的跟踪步骤如下：

步骤E-1，判断该目标是否被SSD目标检测算法连续两帧及多帧检测到，如果成立，则进行步骤E-2；否则进行步骤E-5；

步骤E-2，调用卡尔曼滤波算法对该目标连续预测20帧；

步骤E-3，判断在步骤E-2预测的20帧内，该目标是否被再次检测到，如果成立，则进行步骤E-4；否则进行步骤E-5；

步骤E-4，用其检测框代替预测框，然后依次进行步骤E-2与E-3；

步骤E-5，删除该目标的跟踪ID号；

步骤F，对目标进行计数与画轨迹。

所述步骤F中的画轨迹具体步骤包括如下：

步骤F-1，首先建立一个数组P_t，共有20个元素，每一个元素又都是一个Point类型的向量，即P_t[i][j]，其中i∈(0，1,2...19)，j∈(0,1,2,3......)，初始化其元素为P_t[i][0].x＝0，P_t[i][0].y＝0。其中P_t[i][0].x代表ID编号，P_t[i][0].y代表是否有更新的Flag；

步骤F-2，进行判定，假设某跟踪边框的ID号为T，则判断P_t[i][0].x是否等于T，如果等于，则令P_t[i][0].y＝1，同时将该边框的中心坐标(tx,ty)，赋值给P_t[i][k]，即P_t[i][k]＝(tx,ty)，k∈(1,2,3...)，如果不等于，则寻找一个P_t[i][0].x＝0的P_t[i]向量，令P_t[i][0].x＝T，P_t[i][0].y＝1，同时将该边框的中心坐标(tx,ty)，赋值给P_t[i][k]，即P_t[i][k]＝(tx,ty)，k∈(1,2,3...)；

步骤F-3，进行判定，如果P_t[i][0].x不等于0，同时P_t[i][0].y等于0，则对P_t[i]进行清空，同时对P_t[i]进行步骤F-1的初始化，以供其他新出现的ID使用，如果P_t[i][0].x不等于0，同时P_t[i][0].y不等于0，则令P_t[i][0].y＝0；

步骤F-4，根据上述步骤F-1到F-3，同一ID编号下的所有中心点坐标依次赋值到P_t[i][k]，k∈(1,2,3...)，把所有点的中心坐标连起来则为轨迹线。

综上所述仅为本发明中的具体实施方式，但本发明的实际保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的推演或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (3)

1.一种基于单次多框检测器与卡尔曼滤波的实时多目标跟踪方法，其特征在于，包括如下步骤：

步骤A，读取视频流；

步骤B，调用SSD目标检测算法模型对视频帧进行检测，得到第i个物体的检测框中心点为(d_x,d_y)；

步骤C，用卡尔曼滤波算法对检测结果进行预测，并将预测框坐标更新到跟踪框中，得到第i个物体的预测的跟踪框中心点为(d’_x，d’_y)；

步骤D，对检测框与跟踪框的结果进行配对；

步骤D-1：计算检测框与跟踪框中心点之间的欧氏距离

步骤D-2：计算检测框与跟踪框各自区域内的HSV颜色直方图，对二者进行直方图相似性匹配；

步骤D-3：当h大于70且匹配结果大于0.7时,才认为检测框与跟踪框配对成功；

步骤E，分别更新配对成功与配对未成功的跟踪，删除不满足新式双判定条件的跟踪；

步骤F，对目标进行计数与画轨迹；

所述步骤F中的画轨迹包括：

步骤F-1，首先建立一个数组P_t，共有20个元素，每一个元素又都是一个Point类型的向量，即P_t[i][j]，其中i∈(0，1,2...,19)，j∈(0,1,2,3......)，初始化其元素为P_t[i][0].x＝0，P_t[i][0].y＝0，其中P_t[i][0].x代表ID编号，P_t[i][0].y代表是否有更新的Flag；

步骤F-2，进行判定，假设某跟踪边框的ID号为T，则判断P_t[i][0].x是否等于T，如果等于，则令P_t[i][0].y＝1，同时将该边框的中心坐标(tx,ty)，赋值给P_t[i][k]，即P_t[i][k]＝(tx,ty)，k∈(1,2,3...)，如果不等于，则寻找一个P_t[i][0].x＝0的P_t[i]向量，令P_t[i][0].x＝T，P_t[i][0].y＝1，同时将该边框的中心坐标(tx,ty)，赋值给P_t[i][k]，即P_t[i][k]＝(tx,ty)，k∈(1,2,3...)；

步骤F-3，进行判定，如果P_t[i][0].x不等于0，同时P_t[i][0].y等于0，则对P_t[i]进行清空，同时对P_t[i]进行步骤F-1的初始化，以供其他新出现的ID使用，如果P_t[i][0].x不等于0，同时P_t[i][0].y不等于0，则令P_t[i][0].y＝0；

步骤F-4，根据上述步骤F-1到F-3，同一ID编号下的所有中心点坐标依次赋值到P_t[i][k]，k∈(1,2,3...)，把所有点的中心坐标连起来则为轨迹线。

2.根据权利要求1所述的一种基于单次多框检测器与卡尔曼滤波的实时多目标跟踪方法，其特征在于，所述方法将SSD目标检测算法与卡尔曼滤波跟踪算法应用于windows系统。

3.根据权利要求1所述的一种基于单次多框检测器与卡尔曼滤波的实时多目标跟踪方法，其特征在于，所述步骤E中删除不满足新式双判定条件的跟踪步骤如下：

步骤E-1，判断目标是否被SSD目标检测算法连续两帧及多帧检测到，如果成立，则进行步骤E-2；否则进行步骤E-5；

步骤E-2，调用卡尔曼滤波算法对目标连续预测20帧；

步骤E-3，判断在步骤E-2预测的20帧内，目标是否被再次检测到，如果成立，则进行步骤E-4；否则进行步骤E-5；

步骤E-4，用其检测框代替预测框，然后依次进行步骤E-2与E-3；

步骤E-5，删除目标的跟踪ID号。

Images