CN116012421A - 目标跟踪方法及装置 - Google Patents

Abstract

本发明提供一种多目标跟踪方法及装置，该方法包括：对预先获取的目标跟踪图像进行目标检测，得到对应目标跟踪图像的目标检测结果，目标检测结果包括多个不同目标类别的目标检测框；利用多目标跟踪器对当前跟踪的目标跟踪图像进行目标预测，得到目标预测结果，目标预测结果包括多个不同目标类别的目标预测框；将多个不同目标类别的目标预测框和多个不同目标类别的目标检测框进行关联匹配，以实现多目标跟踪。本发明通过对目标跟踪图像分别进行目标检测和目标预测，以对检测得到的不同类别的目标检测框和预测得到的不同类别的目标预测框进行统一关联，能够确保在明显减少匹配算法耗时的同时不影响时序关联的效果。

Description

目标跟踪方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种目标跟踪方法及装置。

背景技术

随着图像处理在民用和商用领域的广泛应用，多目标跟踪在智能视频监控、自动驾驶和无人超市等领域起到日益重要的作用，因此目标跟踪，特别是多目标跟踪也面临着更高的要求。在单目ADAS系统中，目标跟踪的正确性和稳定性(尤其是时序上的稳定性)对上层测距测速和报警逻辑起着关键性的作用，而目标检测跟踪的属性，至少包括框和接地点。实际ADAS系统部署应用，不仅仅有车端，也可能会有云端，尤其对于低算力的车端，将当前极短时间的视频(如10s)上传云端，可以依托云端大算力以在比车端低的耗时下得到计算结果，对车端进行更新纠正。

然而，目前在车端的低端计算设备上的单目ADAS研究比较少，多目标跟踪研究主要集中在tracking-by-detection框架下的在线跟踪，比如SORT、DeepSort等。另外，近期还存在检测跟踪一体化的趋势，比如JDE、FairMoT等。但这些研究基本都属于在线单类别单属性多目标跟踪，如行人类别的框属性、人体类别的姿态属性、车辆类别的框属性等。

此外，目前还可以基于深度学习进行跟踪，比如检测、表象特征提取、匹配等，甚至检测跟踪一体的端到端，但深度学习依赖大规模数据，跟踪所需视频流标注耗费远甚于目标检测的框标注，且在训练数据没有覆盖场景的泛化能力明显弱于SORT之类，以及不自带时序滤波平滑效果。

发明内容

本发明提供一种目标跟踪方法及装置，用以解决现有技术中多目标跟踪准确性和稳定性较差的缺陷，能够大幅提升目标跟踪的准确性和时序稳定性。

本发明提供一种目标跟踪方法，包括：对预先获取的目标跟踪图像进行目标检测，得到对应所述目标跟踪图像的目标检测结果，所述目标检测结果包括多个不同目标类别的目标检测框；利用多目标跟踪器对当前跟踪的目标跟踪图像进行目标预测，得到目标预测结果，所述目标预测结果包括多个不同目标类别的目标预测框；将所述多个不同目标类别的目标预测框和所述多个不同目标类别的目标检测框进行关联匹配，以实现多目标跟踪。

根据本发明提供的一种目标跟踪方法，所述将所述多个不同目标类别的目标预测框和所述多个不同目标类别的目标检测框进行关联匹配，包括：根据各所述目标预测框和各所述目标检测框，得到对应度量值；根据所述度量值，并基于预设关联算法，将所述目标跟踪图像的多个不同目标类别的目标检测框和多个不同目标类别的目标预测框进行匹配，得到对应各个目标类别的目标匹配结果；基于目标匹配结果显示为匹配对，且匹配对对应的目标跟踪图像的连续帧数符合预设帧数，得到目标跟踪结果。

根据本发明提供的一种目标跟踪方法，在所述得到对应各个目标类别的目标匹配结果之后，包括：基于所述目标匹配结果显示为匹配对，将所述度量值与预设阈值进行比较，且判断所述目标预测框和所述目标检测框的类别是否一致；若所述度量值大于或等于所述预设阈值，且类别一致，则利用所述目标检测结果更新所述多目标跟踪器；否则，解除相应匹配对的配对关系，并将对应目标预测框的目标匹配结果更新为未匹配预测框，将对应目标检测框的目标匹配结果更新为未匹配检测框。

根据本发明提供的一种目标跟踪方法，在所述得到对应各个目标类别的目标匹配结果之后，还包括：基于所述目标匹配结果显示为未匹配检测框，初始化所述多目标跟踪器；基于所述目标匹配结果显示为未匹配预测框，记录对应连续未匹配的次数。

根据本发明提供的一种目标跟踪方法，所述目标检测结果还包括与所述多个不同目标类别的目标检测框一一对应的检测接地点，所述利用所述目标检测结果更新所述多目标跟踪器，包括：利用与所述目标预测框匹配的目标检测框和与所述目标检测框对应的检测接地点更新所述多目标跟踪器，以利用更新后的多目标跟踪器对所述目标预测结果进行前向卡尔曼滤波。

根据本发明提供的一种目标跟踪方法，当预先获取的目标跟踪图像为云端离线视频时，在将所述多个不同目标类别的目标预测框和所述多个不同目标类别的目标检测框进行关联匹配之后，还包括：基于所述目标匹配结果显示为匹配对，对构成同一轨迹的各时序点的目标预测结果进行后向卡尔曼滤波。

根据本发明提供的一种目标跟踪方法，所述基于目标匹配结果显示为匹配对，对构成同一轨迹的各时序点的目标预测结果进行后向卡尔曼滤波，包括：基于所述目标匹配结果显示为匹配对，对构成同一轨迹的各时序点的目标进行最优状态估计，得到对应最优估计结果；基于各时序点和最优估计结果，得到高斯分布序列；根据所述高斯分布序列和预先获取的各时序点的目标检测框，反向迭代至后向卡尔曼滤波器中，进行轨迹平滑。

本发明还提供一种目标跟踪装置，包括：目标检测模块，对预先获取的目标跟踪图像进行目标检测，得到对应所述目标跟踪图像的目标检测结果，所述目标检测结果包括多个不同目标类别的目标检测框；目标预测模块，利用多目标跟踪器对当前跟踪的目标跟踪图像进行目标预测，得到目标预测结果，所述目标预测结果包括多个不同目标类别的目标预测框；跟踪模块，将所述多个不同目标类别的目标预测框和所述多个不同目标类别的目标检测框进行关联匹配，以实现多目标跟踪。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述目标跟踪方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述目标跟踪方法的步骤。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述目标跟踪方法的步骤。

本发明提供的目标跟踪方法及装置，通过对目标跟踪图像分别进行目标检测和目标预测，以对检测得到的不同类别的目标检测框和预测得到的不同类别的目标预测框进行统一关联，能够确保在明显减少匹配算法耗时的同时不影响时序关联的效果；另外，通过将属性分解到跟踪的时序关联和时序滤波两个不同的功能中，能明显避免将预测接地点属性用于时序关联时带来的干扰，又能得到经过在线滤波后的接地点，且所有类别共用同一个多目标跟踪器，以对不同类别的目标进行统一关联，能在明显减少匹配算法耗时的同时不影响时序关联的效果。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的目标跟踪方法的流程示意图之一；

图2是本发明提供的目标跟踪方法的流程示意图之二；

图3是本发明提供的目标跟踪装置的结构示意图；

图4是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了本发明一种目标跟踪方法的流程示意图，该方法包括：

S11，对预先获取的目标跟踪图像进行目标检测，得到对应目标跟踪图像的目标检测结果，目标检测结果包括多个不同目标类别的目标检测框；

S12，利用多目标跟踪器对当前跟踪的目标跟踪图像进行目标预测，得到目标预测结果，目标预测结果包括多个不同目标类别的目标预测框；

S13，将多个不同目标类别的目标预测框和多个不同目标类别的目标检测框进行关联匹配，以实现多目标跟踪。

需要说明的是，本说明书中的S1N不代表目标跟踪方法的先后顺序，下面具体结合图2描述本发明的目标跟踪方法。

步骤S11，对预先获取的目标跟踪图像进行目标检测，得到对应目标跟踪图像的目标检测结果，目标检测结果包括多个不同目标类别的目标检测框。

在本实施例中，对预先获取的目标跟踪图像进行目标检测，包括：利用多目标检测器对当前帧目标跟踪图像进行目标检测，得到目标检测结果。需要说明的是，目标检测结果包括多个不同目标类别的目标检测框和各目标检测框对应的检测接地点，目标包括其他车辆目标以及非车辆目标，非车辆目标比如行人。应当注意的是，对目标跟踪图像进行目标检测，可以采用一些现有目标检测模型进行检测，此处不作进一步地限定。

在一个可选实施例中，在对预先获取的目标跟踪图像进行目标检测之前，包括：获取云端视频帧流；对视频帧流进行解码；按预设帧率对解码后的视频帧流进行采样，得到目标跟踪图像。需要说明的是，通过预设帧率进行采样，以尽量确保采样的均匀性。

在一个可选实施例中，在对预先获取的目标跟踪图像进行目标检测之前，包括：获取车端基于摄像头实时采集图像帧流，作为目标跟踪图像。更进一步地说，在获取车端基于摄像头实时采集图像帧流之后，还包括：基于预设帧率对实时采集的图像桢流进行采样。

需要说明的是，通过获取车端或云端的视频帧流，使得本方法既能用于低端计算设备的实时车端，又能在此基础上以极低计算代价通过新增算法模块就能利用云端视频离线性明显提升跟踪准确性和稳定性，还能对多个类别障碍物的多个属性进行跟踪的多目标跟踪方案，对于单目ADAS实际应用和推广非常重要。

步骤S12，利用多目标跟踪器对当前跟踪的目标跟踪图像进行目标预测，得到目标预测结果，目标预测结果包括多个不同目标类别的目标预测框。

在本实施例中，利用多目标跟踪器对当前跟踪的目标跟踪图像进行目标预测，包括：利用多目标跟踪器，结合历史目标预测数据，对当前跟踪的目标跟踪图像进行目标预测，得到目标预测结果；其中，目标预测结果包括多个不同目标类别的目标预测框和各个目标预测框对应的预测接地点。

步骤S13，将多个不同目标类别的目标预测框和多个不同目标类别的目标检测框进行关联匹配，以实现多目标跟踪。

在本实施例中，将多个不同目标类别的目标预测框和多个不同目标类别的目标检测框进行关联匹配，包括：根据各目标预测框和各目标检测框，得到对应度量值；根据度量值，并基于预设关联算法，将目标跟踪图像的多个不同目标类别的目标检测框和多个不同目标类别的目标预测框进行匹配，得到对应各个目标类别的目标匹配结果；基于目标匹配结果显示为匹配对，且匹配对对应的目标跟踪图像的连续帧数符合预设帧数，得到目标跟踪结果。

在一个可选实施例中，在得到对应各个目标类别的目标匹配结果之后，包括：基于目标匹配结果显示为匹配对，将度量值与预设阈值进行比较，且判断目标预测框和目标检测框的类别是否一致；若度量值大于或等于预设阈值，且类别一致，则利用目标检测结果更新多目标跟踪器；否则，解除相应匹配对的配对关系，并将对应目标预测框的目标匹配结果更新为未匹配预测框，将对应目标检测框的目标匹配结果更新为未匹配检测框。

应当注意，由于障碍物目标具有多个类别，且所有类别共用一个多目标跟踪器，因此，在统一时序关联后去除掉类别不同的匹配对，从而便于明显降低匹配算法损耗。另外，在实际处理过程中，同一目标帧间运动距离远小于不同类别障碍物之间的距离，因此基本不会影响时序关联。

更进一步地说，利用目标检测结果更新多目标跟踪器，包括：利用与目标预测框匹配的目标检测框和与目标检测框对应的检测接地点更新多目标跟踪器，以利用更新后的多目标跟踪器对目标预测结果进行前向卡尔曼滤波。需要补充的是，由于目标具有多个属性，因此考虑到跟踪和后续测速的目的，将目标预测框和预测接地点的作用进行分解，仅针对目标预测框和目标检测框进行关联匹配；另外，单目测距测速严重依赖接地点时序的稳定性，所以通过利用与目标预测框匹配的目标检测结果更新多目标跟踪器，以对目标预测框和预测接地点都进行时序滤波，即前向卡尔曼滤波，从而使跟踪在时序关联上不受接地点的妨碍，同时又能得到时序滤波后的接地点。

在另一个可选实施例中，在得到对应各个目标类别的目标匹配结果之后，还包括：基于目标匹配结果显示为未匹配检测框，初始化多目标跟踪器；基于目标匹配结果显示为未匹配预测框，记录对应连续未匹配的次数。更进一步地说，若存在连续帧目标跟踪图像对应的匹配对的对数符合预设帧数，才可以确定对应目标匹配结果为可输出的目标跟踪结果；若存在连续一定帧数的目标跟踪图像对应的目标匹配结果显示为未匹配检测框，则用来初始化多目标跟踪器；若存在连续一定帧数的目标跟踪图像对应的目标匹配结果显示为未匹配预测框，则删除对应跟踪器，参考图2。

另外，多目标跟踪器可以采用前向卡尔曼滤波器，在利用多目标跟踪器对当前跟踪的目标跟踪图像进行前向卡尔曼预测之前，还包括：对前向卡尔曼滤波器进行调参，主要包括过程噪声Q、测量噪声R和初始状态协方差矩阵P。

应当注意的是，在没有标注的情况下，一般通过在覆盖预期场景的测试集上以一定原则调整上述三个参数并观察跟踪效果。一般P的数值量级较大，以反映对运动初始状态的不确定性较大，这样可以在初始几帧后快速调整到正确的运动状态；测量噪声R反映贝叶斯融合中对检测的信任程度，可以根据检测器的精度进行调整，而实际中检测器的精度会受目标离本车的距离，光照，白天夜晚，雨雪雾等因素影响，将这些因素甚至检测器的定位精度分值自适应纳入到R中，能明显提升滤波效果；过程噪声Q反映贝叶斯融合中对运动建模的信任程度，Q的数值越小，对运动建模的不确定性就越小，滤波后的框在时序上就更稳定，但在线性滤波对运动状态的突然变化会有不可避免的over-shooting问题。而实际中影响运动建模的准确性的因素有采样帧的均匀性、采样的帧率等，如采样帧率越大，帧间时间差就越小，那么用匀速运动来近似的准确度就越高，则Q的数值相应可以调小。

在一个可选实施例中，前向卡尔曼滤波器可以使用匀速运动模型，在采样帧率足够大时近似足够正确，虽然在运动状态突然变化时会有over-shooting问题，但在运动稳定后会逐渐调整正确；如果使用加速模型，虽然对运动状变化时更快反映，但容易将噪声纳入加速度，从而二阶反映到预测，波动非常大，很不稳定。

在一个可选实施例中，当预先获取的目标跟踪图像为云端离线视频时，在将多个不同目标类别的目标预测框和多个不同目标类别的目标检测框进行关联匹配之后，还包括：基于目标匹配结果显示为匹配对，对构成同一轨迹的各时序点的目标预测结果进行后向卡尔曼滤波。需要说明的是，在离线场景中，通过将RTS(Rauch-Tung-Striebel)平滑分解为前向卡尔曼滤波和后向卡尔曼滤波，可以在在线跟踪的基础上，仅使用后向卡尔曼滤波，以实现平滑效果，从而提高获取的目标跟踪结果的准确性和时序稳定性。

另外，对预先经前向卡尔曼滤波的目标预测结果再进行后向卡尔曼滤波从理论上等价于对每段轨迹做RTS平滑，即对轨迹中每点状态使用整个轨迹上所有时序点的目标检测框进行最优估计。实际上，由于跟踪的时序关联还是在线的，但跟踪的时序滤波已经从在线滤波变为离线平滑，而在线滤波、离线平滑在当前和在先时序目标检测框的基础上新增未来时序目标检测数框去对当前时刻的状态进行最优估计，以解决在线滤波的over-shooting问题。

在给定在先和当前目标检测框时，在线滤波只能根据在先目标检测框反映的运动趋势来预测当前状态，如果目标跟踪图像中目标运动发生变化，则该预测不准确，而目标跟踪图像中目标运动的变化会体现在未来数据中，即有了过去，当前和未来的目标检测框，离线RTS平滑可以准确估计当前状态，即使是在运动变化的状态下。通过增加RTS平滑利用云端的离线性给出没有over-shooting问题且更加时序稳定的状态估计，即更稳定更准确的框和接地点，无需重新设计离线多类多属性多目标跟踪方案，且仅这一点在单目ADAS的FCW和HMW就能观察到明显提升，微调报警参数，HMW报警精度就提升了8个点。

更进一步的说，基于目标匹配结果显示为匹配对，对构成同一轨迹的各时序点的目标预测结果进行后向卡尔曼滤波，包括：基于目标匹配结果显示为匹配对，对构成同一轨迹的各时序点的目标进行最优状态估计，得到对应最优估计结果；基于各时序点和最优估计结果，得到高斯分布序列；根据高斯分布序列和预先获取的各时序点的目标检测框，反向迭代至后向卡尔曼滤波器中，进行轨迹平滑。

综上，本发明实施例通过对目标跟踪图像分别进行目标检测和目标预测，以对检测得到的不同类别的目标检测框和预测得到的不同类别的目标预测框进行统一关联，能够确保在明显减少匹配算法耗时的同时不影响时序关联的效果；另外，通过将属性分解到跟踪的时序关联和时序滤波两个不同的功能中，能明显避免将预测接地点属性用于时序关联时带来的干扰，又能得到经过在线滤波后的接地点，且所有类别共用同一个多目标跟踪器，以对不同类别的目标进行统一关联，能在明显减少匹配算法耗时的同时不影响时序关联的效果。

下面对本发明提供的目标跟踪装置进行描述，下文描述的目标跟踪装置与上文描述的目标跟踪方法可相互对应参照。

图3示出了一种目标跟踪装置的结构示意图，该装置，包括：

目标检测模块31，对预先获取的目标跟踪图像进行目标检测，得到对应目标跟踪图像的目标检测结果，目标检测结果包括多个不同目标类别的目标检测框；

目标预测模块32，利用多目标跟踪器对当前跟踪的第二目标跟踪图像进行目标预测，得到目标预测结果，目标预测结果包括多个不同目标类别的目标预测框；

跟踪模块33，将多个不同目标类别的目标预测框和多个不同目标类别的目标检测框进行关联匹配，以实现多目标跟踪。

在本实施例中，目标检测模块31，包括：目标检测单元，利用多目标检测器对当前帧目标跟踪图像进行目标检测，得到目标检测结果。需要说明的是，目标检测结果包括多个不同目标类别的目标检测框和各目标检测框对应的检测接地点，目标包括其他车辆目标以及非车辆目标，非车辆目标比如行人。

图像获取模块，包括：视频帧流获取单元，在对预先获取的目标跟踪图像进行目标检测之前，获取云端视频帧流；解码单元，对视频帧流进行解码；采样单元，按预设帧率对解码后的视频帧流进行采样，得到目标跟踪图像。

在一个可选实施例中，图像获取模块，包括：图像获取单元，在对预先获取的目标跟踪图像进行目标检测之前，获取车端基于摄像头实时采集图像帧流，作为目标跟踪图像。更进一步地说，图像获取模块，还包括：采样单元，基于预设帧率对实时采集的图像桢流进行采样。

在本实施例中，目标预测模块32，包括：目标预测单元，利用多目标跟踪器，结合历史目标预测数据，对当前跟踪的目标跟踪图像进行目标预测，得到目标预测结果；其中，目标预测结果包括多个不同目标类别的目标预测框和各个目标预测框对应的预测接地点。

本实施例中，跟踪模块33，包括：度量单元，根据各目标预测框和各目标检测框，得到对应度量值；匹配单元，根据度量值，并基于预设关联算法，将目标跟踪图像的多个不同目标类别的目标检测框和多个不同目标类别的目标预测框进行匹配，得到对应各个目标类别的目标匹配结果；目标跟踪单元，基于目标匹配结果显示为匹配对，且匹配对对应的目标跟踪图像的连续帧数符合预设帧数，得到目标跟踪结果。

在一个可选实施例中，跟踪模块33，还包括：比较判断单元，基于目标匹配结果显示为匹配对，将度量值与预设阈值进行比较，且判断目标预测框和目标检测框的类别是否一致；更新单元，若度量值大于或等于预设阈值，且类别一致，则利用目标检测结果更新多目标跟踪器；否则，配对解除单元，解除相应匹配对的配对关系，并将对应目标预测框的目标匹配结果更新为未匹配预测框，将对应目标检测框的目标匹配结果更新为未匹配检测框。

更进一步地说，更新单元，包括：更新子单元，利用与目标预测框匹配的目标检测框和和与目标检测框对应的检测接地点更新多目标跟踪器，以利用更新后的多目标跟踪器对目标预测结果进行前向卡尔曼滤波。

在另一个可选实施例中，跟踪模块33，还包括：初始化单元，基于目标匹配结果显示为未匹配检测框，初始化多目标跟踪器；数据记录单元，基于目标匹配结果显示为未匹配预测框，记录对应连续未匹配的次数。更进一步地说，跟踪模块33，还包括：目标跟踪结果确定单元，判断是否存在连续帧目标跟踪图像对应的匹配对的对数符合预设帧数，若是，则确定对应目标匹配结果为可输出的目标跟踪结果；跟踪器删除单元，若存在连续一定帧数的目标跟踪图像对应的目标匹配结果显示为未匹配检测框，则用来初始化多目标跟踪器；若存在连续一定帧数的目标跟踪图像对应的目标匹配结果显示为未匹配预测框，则删除对应跟踪器。

在一个可选实施例中，该装置还包括：调参模块，对前向卡尔曼滤波器进行调参，主要包括过程噪声Q、测量噪声R和初始状态协方差矩阵P。

应当注意的是，在没有标注的情况下，一般通过在覆盖预期场景的测试集上以一定原则调整上述三个参数并观察跟踪效果。一般P的数值量级较大，以反映对运动初始状态的不确定性较大，这样可以在初始几帧后快速调整到正确的运动状态；测量噪声R反映贝叶斯融合中对检测的信任程度，可以根据检测器的精度进行调整，而实际中检测器的精度会受目标离本车的距离，光照，白天夜晚，雨雪雾等因素影响，将这些因素甚至检测器的定位精度分值自适应纳入到R中，能明显提升滤波效果；过程噪声Q反映贝叶斯融合中对运动建模的信任程度，Q的数值越小，对运动建模的不确定性就越小，滤波后的框在时序上就更稳定，但在线性滤波对运动状态的突然变化会有不可避免的over-shooting问题。而实际中影响运动建模的准确性的因素有采样帧的均匀性、采样的帧率等，如采样帧率越大，帧间时间差就越小，那么用匀速运动来近似的准确度就越高，则Q的数值相应可以调小。

在一个可选实施例中，当获取的目标跟踪图像为云端离线视频时，该装置，还包括：后向卡尔曼滤波模块，在将多个不同目标类别的目标预测框和多个不同目标类别的目标检测框进行关联匹配之后，基于目标匹配结果显示为配对，对构成同一轨迹的各时序点的目标检测结果进行后向卡尔曼滤波。

更进一步的说，后向卡尔曼滤波模块，包括：最优估计单元，基于目标匹配结果显示为匹配对，对构成同一轨迹的各时序点的目标进行最优状态估计，得到对应最优估计结果；高斯分布序列获取单元，基于各时序点和最优估计结果，得到高斯分布序列；目标跟踪单元，根据高斯分布序列和预先获取的各时序点的目标检测框，反向迭代至后向卡尔曼滤波器中，进行轨迹平滑。

本发明实施例通过对目标跟踪图像分别进行目标检测和目标预测，以对检测得到的不同类别的目标检测框和预测得到的不同类别的目标预测框进行统一关联，能够确保在明显减少匹配算法耗时的同时不影响时序关联的效果；另外，通过将属性分解到跟踪的时序关联和时序滤波两个不同的功能中，能明显避免将预测接地点属性用于时序关联时带来的干扰，又能得到经过在线滤波后的接地点，且所有类别共用同一个多目标跟踪器，以对不同类别的目标进行统一关联，能在明显减少匹配算法耗时的同时不影响时序关联的效果。

图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)41、通信接口(Communications Interface)42、存储器(memory)43和通信总线44，其中，处理器41，通信接口42，存储器43通过通信总线44完成相互间的通信。处理器41可以调用存储器43中的逻辑指令，以执行目标跟踪方法，该方法包括：对预先获取的目标跟踪图像进行目标检测，得到对应目标跟踪图像的目标检测结果，目标检测结果包括多个不同目标类别的目标检测框；利用多目标跟踪器对当前跟踪的目标跟踪图像进行目标预测，得到目标预测结果，目标预测结果包括多个不同目标类别的目标预测框；将多个不同目标类别的目标预测框和多个不同目标类别的目标检测框进行关联匹配，以实现多目标跟踪。

此外，上述的存储器43中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的目标跟踪方法，该方法包括：对预先获取的目标跟踪图像进行目标检测，得到对应目标跟踪图像的目标检测结果，目标检测结果包括多个不同目标类别的目标检测框；利用多目标跟踪器对当前跟踪的目标跟踪图像进行目标预测，得到目标预测结果，目标预测结果包括多个不同目标类别的目标预测框；将多个不同目标类别的目标预测框和多个不同目标类别的目标检测框进行关联匹配，以实现多目标跟踪。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的目标跟踪方法，该方法包括：对预先获取的目标跟踪图像进行目标检测，得到对应目标跟踪图像的目标检测结果，目标检测结果包括多个不同目标类别的目标检测框；利用多目标跟踪器对当前跟踪的目标跟踪图像进行目标预测，得到目标预测结果，目标预测结果包括多个不同目标类别的目标预测框；将多个不同目标类别的目标预测框和多个不同目标类别的目标检测框进行关联匹配，以实现多目标跟踪。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种多目标跟踪方法，其特征在于，包括：

对预先获取的目标跟踪图像进行目标检测，得到对应所述目标跟踪图像的目标检测结果，所述目标检测结果包括多个不同目标类别的目标检测框；

利用多目标跟踪器对当前跟踪的目标跟踪图像进行目标预测，得到目标预测结果，所述目标预测结果包括多个不同目标类别的目标预测框；

将多个不同目标类别的所述目标预测框和多个不同目标类别的所述目标检测框进行关联匹配，以实现多目标跟踪。

2.根据权利要求1所述的目标跟踪方法，其特征在于，所述将所述多个不同目标类别的目标预测框和所述多个不同目标类别的目标检测框进行关联匹配，包括：

根据各所述目标预测框和各所述目标检测框，得到对应度量值；

根据所述度量值，并基于预设关联算法，将所述目标跟踪图像的多个不同目标类别的目标检测框和多个不同目标类别的目标预测框进行匹配，得到对应各个目标类别的目标匹配结果；

基于目标匹配结果显示为匹配对，且匹配对对应的目标跟踪图像的连续帧数符合预设帧数，得到目标跟踪结果。

3.根据权利要求2所述的目标跟踪方法，其特征在于，在所述得到对应各个目标类别的目标匹配结果之后，包括：

基于所述目标匹配结果显示为匹配对，将所述度量值与预设阈值进行比较，且判断所述目标预测框和所述目标检测框的类别是否一致；

若所述度量值大于或等于所述预设阈值，且类别一致，则利用所述目标检测结果更新所述多目标跟踪器；否则，解除相应匹配对的配对关系，并将对应目标预测框的目标匹配结果更新为未匹配预测框，将对应目标检测框的目标匹配结果更新为未匹配检测框。

4.根据权利要求2所述的目标跟踪方法，其特征在于，在所述得到对应各个目标类别的目标匹配结果之后，还包括：

基于所述目标匹配结果显示为未匹配检测框，初始化所述多目标跟踪器；

基于所述目标匹配结果显示为未匹配预测框，记录对应连续未匹配的次数。

5.根据权利要求3所述的目标跟踪方法，其特征在于，所述目标检测结果还包括与所述多个不同目标类别的目标检测框一一对应的检测接地点，所述利用所述目标检测结果更新所述多目标跟踪器，包括：

利用与所述目标预测框匹配的目标检测框和与所述目标检测框对应的检测接地点更新所述多目标跟踪器，以利用更新后的多目标跟踪器对所述目标预测结果进行前向卡尔曼滤波。

6.根据权利要求1所述的目标跟踪方法，其特征在于，当预先获取的目标跟踪图像为云端离线视频时，在将所述多个不同目标类别的目标预测框和所述多个不同目标类别的目标检测框进行关联匹配之后，还包括：

基于所述目标匹配结果显示为匹配对，对构成同一轨迹的各时序点的目标预测结果进行后向卡尔曼滤波。

7.根据权利要求6所述的目标跟踪方法，其特征在于，所述基于目标匹配结果显示为匹配对，对构成同一轨迹的各时序点的目标预测结果进行后向卡尔曼滤波，包括：

基于所述目标匹配结果显示为匹配对，对构成同一轨迹的各时序点的目标进行最优状态估计，得到对应最优估计结果；

基于各时序点和最优估计结果，得到高斯分布序列；

根据所述高斯分布序列和预先获取的各时序点的目标检测框，反向迭代至后向卡尔曼滤波器中，进行轨迹平滑。

8.一种目标跟踪装置，其特征在于，包括：

目标检测模块，对预先获取的目标跟踪图像进行目标检测，得到对应所述目标跟踪图像的目标检测结果，所述目标检测结果包括多个不同目标类别的目标检测框；

目标预测模块，利用多目标跟踪器对当前跟踪的目标跟踪图像进行目标预测，得到目标预测结果，所述目标预测结果包括多个不同目标类别的目标预测框；

跟踪模块，将所述多个不同目标类别的目标预测框和所述多个不同目标类别的目标检测框进行关联匹配，以实现多目标跟踪。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述目标跟踪方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述目标跟踪方法的步骤。

Images