CN112669345B - 一种面向云端部署的多目标轨迹跟踪方法及系统 - Google Patents

Abstract

本发明公开了一种面向云端部署的多目标轨迹跟踪方法及系统，该方法包括：对预构建的目标检测模型进行FP16推断优化加速，得到优化后的目标检测模型；获取摄像头的实时图像数据并基于优化后的目标检测模型对实时图像数据进行检测，得到人员框和轨迹框；根据当前人员框中的人员信息，选择匹配方式与上一帧存在的轨迹信息进行匹配，得到匹配结果；根据匹配结果对人员信息和轨迹状态进行更新。该系统包括：优化模块、检测模块、匹配模块和更新模块。本发明能够提高多目标跟踪的性能。本发明作为一种面向云端部署的多目标轨迹跟踪方法及系统，可广泛应用于多目标跟踪技术领域。

Description

一种面向云端部署的多目标轨迹跟踪方法及系统

技术领域

本发明涉及多目标跟踪技术领域，尤其涉及一种面向云端部署的多目标轨迹跟踪方法及系统。

背景技术

对于通用多目标跟踪框架的四个阶段，目前，将各个阶段的方法结合起来，构建一个云端部署的多目标实时跟踪系统时，很难有令人满意的效果，主要因为相关算法复杂度的问题，很难达到实时跟踪目标，并且对于实际应用时，人员轨迹的增加与删除，是难以把握的关键部分，当出现人员大面积遮挡或长时间遮挡时，轨迹的下一步动作判断错误将会使得跟踪的准确性降低。

发明内容

为了解决上述技术问题，本发明的目的是提供一种面向云端部署的多目标轨迹跟踪方法及系统，解决轨迹在人员大面积、长时间遮挡时的问题，提高多目标跟踪的性能。

本发明所采用的第一技术方案是：一种面向云端部署的多目标轨迹跟踪方法，包括以下步骤：

对预构建的目标检测模型进行FP16推断优化加速，得到优化后的目标检测模型；

获取摄像头的实时图像数据并基于优化后的目标检测模型对实时图像数据进行检测，得到人员框和轨迹框；

根据当前人员框中的人员信息，选择匹配方式与上一帧存在的轨迹信息进行匹配，得到匹配结果；

根据匹配结果对人员信息和轨迹状态进行更新。

进一步，所述对预构建的目标检测模型进行FP16推断优化加速，得到优化后的目标检测模型这一步骤，其具体包括：

使用YOLOv3目标检测模型作为预构建的目标检测模型；

根据预构建的目标检测模型的结构组成设置输入输出尺寸，构建onnx模型转换器并将模型权重转换为onnx模型；

实例化构建器、网络结构和解析指针并设置推断精度为16位浮点数，对onnx模型进行转换构建得到trt引擎；

对trt引擎进行本地化存储，得到优化后的目标检测模型。

进一步，所述匹配方式包括外观特征匹配、重叠面积匹配和中心距离匹配，所述根据当前人员框中的人员信息，选择匹配方式与上一帧存在的轨迹信息进行匹配，得到匹配结果这一步骤，其具体为：

提取当前人员框中的人员外观特征，选择外观特征匹配方法，与前一帧的人员外观特征计算特征距离并给予匈牙利算法进行匹配；

对于未匹配上的人员框和轨迹信息，计算重叠匹配度并基于匈牙利算法进行重新匹配；

对于仍未匹配上的人员框和轨迹信息，计算中心点之间的距离并基于匈牙利算法进行匹配；

得到匹配结果。

进一步，所述根据匹配结果对人员信息和轨迹状态进行更新。这一步骤，其具体包括：

对人员轨迹信息进行建模，将人员的轨迹信息表示为其中(u,v)是当前人员轨迹的中心坐标，γ是轨迹框的长宽比，h表示轨迹框的高度，/>表示人员在图像坐标系中的速度信息；

对于匹配上的轨迹信息，采用一个基于匀速模型和线性观测模型的卡尔曼滤波器，对该轨迹信息对应的人员信息进行更新并预测下一帧的位置，得到下一帧的轨迹信息(u,v,γ,h)；

对于未匹配上的轨迹信息，基于预设规则对轨迹状态进行更新。

进一步，所述特征距离包括平方马氏距离和余弦相似度的加权融合，所述平方马氏距离的计算公式如下：

上式中，d_j表示第j个检测框的位置，y_i表示第i个轨迹对目标的预测位置，S_i表示检测框位置和预测轨迹位置之间的协方差矩阵，d⁽¹⁾(i,j)则表示第j个检测框和第i条预测轨迹之间的运动匹配度。

进一步，余弦相似度具体为对每一个工作人员构建一个最近一段时间的外观特征向量库，然后计算第i个检测框中的工作人员的外观特征向量库和第j个预测轨迹框的特征向量间的最小余弦距离，所述余弦相似度的计算公式如下：

上式中，表示第i个检测框中人员的外观特征向量库中的第k个外观特征向量，r_j表示第j条预测轨迹框的特征向量，d⁽²⁾(i,j)表示第i个检测框中人员的外观特征向量库和第j条预测轨迹框的特征向量之间的最小余弦距离。

进一步，所述特征距离的计算公式如下：

c_i,j＝λd⁽¹⁾(i,j)+(1-λ)d⁽²⁾(i,j)

上式中，λ表示超参数。

进一步，所述重叠匹配度的计算公式如下：

上式中，A表示人员框的面积，B表示轨迹信息中轨迹框的面积。

进一步，所述轨迹状态包括待定、确认、暂停和删除，所述对于未匹配上的轨迹信息，基于预设规则对轨迹状态进行更新这一步骤，其具体包括：

将轨迹状态的初始状态设为待定；

当轨迹状态为待定，并连续成功匹配三次，状态更新为确认；

当轨迹状态为确认，并且未能成功匹配，则将更新时间加一，当轨迹的更新时间超过设定阈值且未被匹配上，则将状态设为暂停；

当轨迹状态为暂停，并且未能成功匹配，则将暂停时间加一，当轨迹的暂停时间超过设定阈值且一直未被匹配上，则将轨迹的状态设为删除；

当轨迹状态为确认或暂停，匹配成功则将状态设为确认状态，并且将更新时间和暂时时间归零。

本发明所采用的第二技术方案是：一种面向云端部署的多目标轨迹跟踪系统，包括以下模块：

优化模块，用于对预构建的目标检测模型进行FP16推断优化加速，得到优化后的目标检测模型；

检测模块，用于获取摄像头的实时图像数据并基于优化后的目标检测模型对实时图像数据进行检测，得到人员框和轨迹框；

匹配模块，用于根据当前人员框中的人员信息，选择匹配方式与上一帧存在的轨迹信息进行匹配，得到匹配结果；

更新模块，用于根据匹配结果对人员信息和轨迹状态进行更新。

本发明方法及系统的有益效果是：本发明在目标检测阶段进行了FP16推断优化，在云端部署时能够极大地提高推理速度；在人物关联阶段进行多次匹配，并且对于人员轨迹的更新提供了一个高效的算法，解决轨迹在人员大面积、长时间遮挡时的问题，提高多目标跟踪的性能。

附图说明

图1是本发明具体实施例一种面向云端部署的多目标轨迹跟踪方法的步骤流程图；

图2是本发明具体实施例一种面向云端部署的多目标轨迹跟踪系统的结构框图；

图3是本发明具体实施例基于预设规则对轨迹状态进行更新的步骤流程图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

参照图1，本发明提供了一种面向云端部署的多目标轨迹跟踪方法，该方法包括以下步骤：

S1、对预构建的目标检测模型进行FP16推断优化加速，得到优化后的目标检测模型；

S2、获取摄像头的实时图像数据并基于优化后的目标检测模型对实时图像数据进行检测，得到人员框和轨迹框；

具体地，可以得到图像中的人员空间位置和大小；

S3、根据当前人员框中的人员信息，选择匹配方式与上一帧存在的轨迹信息进行匹配，得到匹配结果；

S4、根据匹配结果对人员信息和轨迹状态进行更新。

进一步作为本方法的优选实施例，所述对预构建的目标检测模型进行FP16推断优化加速，得到优化后的目标检测模型这一步骤，其具体包括：

使用YOLOv3目标检测模型作为预构建的目标检测模型；

具体地，使用DarkNet-53网络作为骨干，使用LeakyReLU作为激活层，包括75个卷积层，72个批量标准化层和激活层；获取开源的模型参数作为该目标检测模型的权重；

根据预构建的目标检测模型的结构组成设置输入输出尺寸，构建onnx模型转换器并将模型权重转换为onnx模型；

实例化构建器、网络结构和解析指针并设置推断精度为16位浮点数，对onnx模型进行转换构建得到trt引擎；

对trt引擎进行本地化存储，得到优化后的目标检测模型。

进一步作为本方法优选实施例，所述匹配方式包括外观特征匹配、重叠面积匹配和中心距离匹配，所述根据当前人员框中的人员信息，选择匹配方式与上一帧存在的轨迹信息进行匹配，得到匹配结果这一步骤，其具体为：

提取当前人员框中的人员外观特征，选择外观特征匹配方法，与前一帧的人员外观特征计算特征距离并给予匈牙利算法进行匹配；

对于未匹配上的人员框和轨迹信息，选择重叠面积匹配方法，与前一帧的人员框计算重叠匹配度并基于匈牙利算法进行重新匹配；

对于仍未匹配上的人员框和轨迹信息，选择中心距离匹配，与前一帧的人员框计算中心点之间的距离并基于匈牙利算法进行匹配；

得到匹配结果。

具体地，对于外观特征提取，其具体包括特征提取模型的构建、优化，相关数据集的整理，以及模型的训练，参数和损失函数的调整；更具体地，根据实际场景的需要，由于工作人员服装的统一，因此模型的构建基于PCB行人重识别模型，将工作人员图像切分为多个部分，每一个部分赋予不同的权重，来提高不同工作人员之间外观特征向量的区别度；另外通过添加实际场景中的工作人员数据图像，以此提升特征提取效果；

进一步作为本发明的优选实施例，所述根据匹配结果对人员信息和轨迹状态进行更新。这一步骤，其具体包括：

对人员轨迹信息进行建模，将人员的轨迹信息表示为其中(u,v)是当前人员轨迹的中心坐标，γ是轨迹框的长宽比，h表示轨迹框的高度，/>表示人员在图像坐标系中的速度信息；

对于匹配上的轨迹信息，采用一个基于匀速模型和线性观测模型的卡尔曼滤波器，对该轨迹信息对应的人员信息进行更新并预测下一帧的位置，得到下一帧的轨迹信息(u,v,γ,h)；

对于未匹配上的轨迹信息，基于预设规则对轨迹状态进行更新。

具体地，对于匹配上的轨迹框，使用匹配上的人员信息进行更新，并对下一帧的位置进行预测这一步骤，具体包括对人物运动状态的建模，包括空间坐标、人物大小、运动速度等信息，采用匀速模型和观测模型的卡尔曼滤波器进行轨迹更新预测。

进一步作为本发明优选实施例，所述特征距离包括平方马氏距离和余弦相似度的加权融合，所述平方马氏距离的计算公式如下：

上式中，d_j表示第j个检测框的位置，y_i表示第i个轨迹对目标的预测位置，S_i表示检测框位置和预测轨迹位置之间的协方差矩阵，d⁽¹⁾(i,j)则表示第j个检测框和第i条预测轨迹之间的运动匹配度。

具体地，马氏距离通过计算检测框位置和平均轨迹位置之间的标准差将状态测量的不确定性进行了考虑，如果某次关联的马氏距离小于指定的阈值，则设置运动状态的关联为成功；

进一步作为本发明优选实施例，所述余弦相似度的计算公式如下：

上式中，表示第i个检测框中人员的外观特征向量库中的第k个外观特征向量，r_j表示第j条预测轨迹框的特征向量，d⁽²⁾(i,j)表示第i个检测框中人员的外观特征向量库和第j条预测轨迹框的特征向量之间的最小余弦距离。

具体地，如果某次关联的余弦最小距离小于指定的阈值，那么这个关联就是成功的。

进一步作为本方法的优选实施例，所述特征距离的计算公式如下：

c_i,j＝λd⁽¹⁾(i,j)+(1-λ)d⁽²⁾(i,j)

上式中，λ表示超参数，用于调整两种度量方法的权重。

进一步作为本方法的优选实施例，所述重叠匹配度的计算公式如下

上式中，A表示人员框的面积，B表示轨迹信息中轨迹框的面积。

进一步作为本方法的优选实施例，计算每一对人物框的中心点(x1，y1)和轨迹框的中心点(x2，y2)之间的距离，所述计算中心点之间的距离的具体计算公式如下：

然后设置一个最小阈值，使用匈牙利算法进行匹配，获得在满足阈值的情况下使总代价最小的匹配方案；

进一步作为本方法的优选实施例，参照图3，所述轨迹状态包括待定、确认、暂停和删除，所述对于未匹配上的轨迹信息，基于预设规则对轨迹状态进行更新这一步骤，其具体包括：

将轨迹状态的初始状态设为待定；

当轨迹状态为待定，并连续成功匹配三次，状态更新为确认；

当轨迹状态为确认，并且未能成功匹配，则将更新时间加一，当轨迹的更新时间超过设定阈值且未被匹配上，则将状态设为暂停；

当轨迹状态为暂停，并且未能成功匹配，则将暂停时间加一，当轨迹的暂停时间超过设定阈值且一直未被匹配上，则将轨迹的状态设为删除；

当轨迹状态为确认或暂停，匹配成功则将状态设为确认状态，并且将更新时间和暂时时间归零。

如图2所示，一种面向云端部署的多目标轨迹跟踪系统，包括以下模块：

优化模块，用于对预构建的目标检测模型进行FP16推断优化加速，得到优化后的目标检测模型；

检测模块，用于获取摄像头的实时图像数据并基于优化后的目标检测模型对实时图像数据进行检测，得到人员框和轨迹框；

匹配模块，用于根据当前人员框中的人员信息，选择匹配方式与上一帧存在的轨迹信息进行匹配，得到匹配结果；

更新模块，用于根据匹配结果对人员信息和轨迹状态进行更新。

上述系统实施例中的内容均适用于本方法实施例中，本方法实施例所具体实现的功能与上述系统实施例相同，并且达到的有益效果与上述系统实施例所达到的有益效果也相同。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (6)

1.一种面向云端部署的多目标轨迹跟踪方法，其特征在于，包括以下步骤：

对预构建的目标检测模型进行FP16推断优化加速，得到优化后的目标检测模型；

获取摄像头的实时图像数据并基于优化后的目标检测模型对实时图像数据进行检测，得到人员框和轨迹信息；

根据当前人员框中的人员信息，选择匹配方式与上一帧存在的轨迹信息进行匹配，得到匹配结果；

根据匹配结果对人员信息和轨迹状态进行更新；

所述匹配方式包括外观特征匹配、重叠面积匹配和中心距离匹配，所述根据当前人员框中的人员信息，选择匹配方式与上一帧存在的轨迹信息进行匹配，得到匹配结果这一步骤，其具体为：

提取当前人员框中的人员外观特征，选择外观特征匹配方法，与前一帧的人员外观特征计算特征距离并给予匈牙利算法进行匹配；

对于未匹配上的人员框和轨迹信息，计算重叠匹配度并基于匈牙利算法进行重新匹配；

对于仍未匹配上的人员框和轨迹信息，计算中心点之间的距离并基于匈牙利算法进行匹配；

得到匹配结果；

所述根据匹配结果对人员信息和轨迹状态进行更新这一步骤，其具体包括：

对人员轨迹信息进行建模，将人员的轨迹信息表示为其中(u,v)是当前人员轨迹的中心坐标，γ是轨迹框的长宽比，h表示轨迹框的高度，/>表示人员在图像坐标系中的速度信息；

对于匹配上的轨迹信息，采用一个基于匀速模型和线性观测模型的卡尔曼滤波器，对该轨迹信息对应的人员信息进行更新并预测下一帧的位置，得到下一帧的轨迹信息(u,v,γ,h)；

对于未匹配上的轨迹信息，基于预设规则对轨迹状态进行更新；

所述特征距离包括平方马氏距离和余弦相似度的加权融合，所述平方马氏距离的计算公式如下：

上式中，d_j表示第j个检测框的位置，y_i表示第i个轨迹对目标的预测位置，S_i表示检测框位置和预测轨迹位置之间的协方差矩阵，d⁽¹⁾(i,j)则表示第j个检测框和第i条预测轨迹之间的运动匹配度；

所述余弦相似度的计算公式如下：

上式中，表示第i个检测框中人员的外观特征向量库中的第k个外观特征向量，r_j表示第j条预测轨迹框的特征向量，d⁽²⁾(i,j)表示第i个检测框中人员的外观特征向量库和第j条预测轨迹框的特征向量之间的最小余弦距离。

2.根据权利要求1所述一种面向云端部署的多目标轨迹跟踪方法，其特征在于，所述对预构建的目标检测模型进行FP16推断优化加速，得到优化后的目标检测模型这一步骤，其具体包括：

使用YOLOv3目标检测模型作为预构建的目标检测模型；

根据预构建的目标检测模型的结构组成设置输入输出尺寸，构建onnx模型转换器并将模型权重转换为onnx模型；

实例化构建器、网络结构和解析指针并设置推断精度为16位浮点数，对onnx模型进行转换构建得到trt引擎；

对trt引擎进行本地化存储，得到优化后的目标检测模型。

3.根据权利要求2所述一种面向云端部署的多目标轨迹跟踪方法，其特征在于，所述特征距离的计算公式如下：

c_i,j＝λd⁽¹⁾(i,j)+(1-λ)d⁽²⁾(i,j)

上式中，λ表示超参数。

4.根据权利要求3所述一种面向云端部署的多目标轨迹跟踪方法，其特征在于，所述重叠匹配度的计算公式如下：

上式中，A表示人员框的面积，B表示轨迹信息中轨迹框的面积。

5.根据权利要求4所述一种面向云端部署的多目标轨迹跟踪方法，其特征在于，所述轨迹状态包括待定、确认、暂停和删除，所述对于未匹配上的轨迹信息，基于预设规则对轨迹状态进行更新这一步骤，其具体包括：

将轨迹状态的初始状态设为待定；

当轨迹状态为待定，并连续成功匹配三次，状态更新为确认；

当轨迹状态为确认，并且未能成功匹配，则将更新时间加一，当轨迹的更新时间超过设定阈值且未被匹配上，则将状态设为暂停；

当轨迹状态为暂停，并且未能成功匹配，则将暂停时间加一，当轨迹的暂停时间超过设定阈值且一直未被匹配上，则将轨迹的状态设为删除；

当轨迹状态为确认或暂停，匹配成功则将状态设为确认状态，并且将更新时间和暂时时间归零。

6.一种面向云端部署的多目标轨迹跟踪系统，其特征在于，包括以下模块：

优化模块，用于对预构建的目标检测模型进行FP16推断优化加速，得到优化后的目标检测模型；

检测模块，用于获取摄像头的实时图像数据并基于优化后的目标检测模型对实时图像数据进行检测，得到人员框和轨迹框；

匹配模块，用于根据当前人员框中的人员信息，选择匹配方式与上一帧存在的轨迹信息进行匹配，得到匹配结果；

更新模块，用于根据匹配结果对人员信息和轨迹状态进行更新；

所述匹配方式包括外观特征匹配、重叠面积匹配和中心距离匹配，所述根据当前人员框中的人员信息，选择匹配方式与上一帧存在的轨迹信息进行匹配，得到匹配结果，其具体为：

提取当前人员框中的人员外观特征，选择外观特征匹配方法，与前一帧的人员外观特征计算特征距离并给予匈牙利算法进行匹配；

对于未匹配上的人员框和轨迹信息，计算重叠匹配度并基于匈牙利算法进行重新匹配；

对于仍未匹配上的人员框和轨迹信息，计算中心点之间的距离并基于匈牙利算法进行匹配；

得到匹配结果；

所述根据匹配结果对人员信息和轨迹状态进行更新，其具体包括：

对人员轨迹信息进行建模，将人员的轨迹信息表示为其中(u,v)是当前人员轨迹的中心坐标，γ是轨迹框的长宽比，h表示轨迹框的高度，/>表示人员在图像坐标系中的速度信息；

对于匹配上的轨迹信息，采用一个基于匀速模型和线性观测模型的卡尔曼滤波器，对该轨迹信息对应的人员信息进行更新并预测下一帧的位置，得到下一帧的轨迹信息(u,v,γ,h)；

对于未匹配上的轨迹信息，基于预设规则对轨迹状态进行更新；

所述特征距离包括平方马氏距离和余弦相似度的加权融合，所述平方马氏距离的计算公式如下：

上式中，d_j表示第j个检测框的位置，y_i表示第i个轨迹对目标的预测位置，S_i表示检测框位置和预测轨迹位置之间的协方差矩阵，d⁽¹⁾(i,j)则表示第j个检测框和第i条预测轨迹之间的运动匹配度；

所述余弦相似度的计算公式如下：

上式中，表示第i个检测框中人员的外观特征向量库中的第k个外观特征向量，r_j表示第j条预测轨迹框的特征向量，d⁽²⁾(i,j)表示第i个检测框中人员的外观特征向量库和第j条预测轨迹框的特征向量之间的最小余弦距离。