CN115063454B - 多目标跟踪匹配方法、装置、终端及存储介质 - Google Patents

Abstract

本发明提供了一种多目标跟踪匹配方法、装置、终端及存储介质，该方法首先获取当前目标集以及预测目标集；然后将当前目标集和预测目标集在多个维度下进行关联，就可以得到关联结果；其中，每个维度表示当前目标集与预测目标集之间一种关联关系；最后根据关联结果，确定预测目标和当前目标的匹配结果。通过从不同的维度考虑当前目标集和预测目标集之间的关联关系，能够在单一关联关系未能识别出相关联的目标时，从其他维度体现当前目标集和预测目标集之间的关联，从而有效避免因物体之间遮挡以及相似物体之间的干扰导致的目标匹配错误的问题，能够有效提高目标跟踪的稳定性。

Description

多目标跟踪匹配方法、装置、终端及存储介质

技术领域

本申请属于计算机视觉技术领域，尤其涉及一种多目标跟踪匹配方法、装置、终端及存储介质。

背景技术

多目标跟踪（Multiple Object Tracking，MOT）广泛应用于视频监控、人机交互、虚拟现实、智能交通、医学图像等领域，其主要任务是给定一个图像序列，找到图像序列中运动的物体，并将不同帧中运动的物体一一对应，然后给出不同物体的运动轨迹。这些物体可以是任意的，如行人、车辆、运动员、各种动物等。

在多目标跟踪过程中，需要应用目标匹配算法。目标匹配算法核心思想是用当前帧出现的新目标匹配上一帧或者以往多帧出现的目标，其匹配的策略一般是根据目标出现的距离判断最匹配目标，或者根据目标重合的像素点数匹配目标。但由于实际场景中常常会存在各物体之间遮挡、多个相似物体之间互相干扰等问题，容易导致目标的匹配错误，因此，现有技术对于目标的跟踪不够稳定。

发明内容

有鉴于此，本发明提供了一种多目标跟踪匹配方法、装置、终端及存储介质，旨在解决现有技术对于目标的跟踪不够稳定的问题。

本发明实施例的第一方面提供了一种多目标跟踪匹配方法，包括：

获取当前目标集以及预测目标集；其中，当前目标集包括多个由当前帧的图像确定的当前目标的数据；预测目标集包括多个由历史帧的图像预测得到的预测目标的数据；

将当前目标集和预测目标集在多个维度下进行关联，得到关联结果；其中，每个维度表示当前目标集与预测目标集之间一种关联关系；

根据关联结果，确定预测目标和当前目标的匹配结果。

本发明实施例的第二方面提供了一种多目标跟踪匹配方法装置，包括：

获取模块，获取当前目标集以及预测目标集；其中，当前目标集包括多个由当前帧的图像确定的当前目标的数据；预测目标集包括多个由历史帧的图像预测得到的预测目标的数据；

关联模块，用于将当前目标集和预测目标集在多个维度下进行关联，得到关联结果；其中，每个维度表示当前目标集与预测目标集之间一种关联关系；

匹配模块，用于根据关联结果，确定预测目标集和当前目标集的匹配结果。

本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上第一方面的多目标跟踪匹配确定方法的步骤。

本发明实施例的第四方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上第一方面的多目标跟踪匹配方法的步骤。

本发明实施例提供的多目标跟踪匹配方法、装置、终端及存储介质，首先获取当前目标集以及预测目标集；其中，当前目标集包括多个由当前帧的图像确定的当前目标的数据；预测目标集包括多个由历史帧的图像预测得到的预测目标的数据；然后将当前目标集和预测目标集在多个维度下进行关联，就可以得到关联结果；其中，每个维度表示当前目标集与预测目标集之间一种关联关系；最后根据关联结果，确定预测目标和当前目标的匹配结果。通过从不同的维度考虑当前目标集和预测目标集之间的关联关系，能够在单一关联关系未能识别出相关联的目标时，从其他维度体现当前目标集和预测目标集之间的关联，从而有效避免因物体之间遮挡以及相似物体之间的干扰导致的目标匹配错误的问题，能够有效提高目标跟踪的稳定性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的多目标跟踪匹配方法的应用场景图；

图2是本发明实施例提供的多目标跟踪匹配方法的实现流程图；

图3是预测目标的横坐标的残差示意图；

图4是预测目标的横坐标的残差正态分布拟合图；

图5是预测目标的纵坐标的残差示意图；

图6是预测目标的纵坐标的残差正态分布拟合图；

图7是本发明实施例提供的多目标跟踪匹配装置的结构示意图；

图8是本发明实施例提供的终端设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

图1是本发明实施例提供的多目标跟踪匹配方法的应用场景图。如图1所示，本发明实施例提供的多目标跟踪匹配方法可以包括但不限于应用于该应用场景。在该发明实施例中，多目标跟踪匹配系统可以应用的场景包括但不限于视频监控、人机交互、虚拟现实、智能交通、医学图像。典型的本方案可以适用商用车盲区监测时对可能发生危险的目标的跟踪。多目标跟踪匹配系统包括：摄像设备11以及终端设备12。

摄像设备11用于采集拍摄当前场景的图像，并上传给终端设备12。终端设备12在接收到拍摄的图像后，将当前帧图像中的目标与历史帧图像的目标相匹配，从而得到图像中各目标的轨迹，实现多目标跟踪。

摄像机可以是手机内置摄像头、车载摄像机、路侧摄像单元等，在此不作限定。终端设备12可以是车载终端、手机、笔记本、智能机器人终端、无人机终端等，在此不作限定。

图2是本发明实施例提供的多目标跟踪匹配方法的实现流程图。如图2所示，在一些实施例中，多目标跟踪匹配方法，应用于图1中所示的终端设备12，该方法包括：

S210，获取当前目标集以及预测目标集；其中，当前目标集包括多个由当前帧的图像确定的当前目标的数据；预测目标集包括多个由历史帧的图像预测得到的预测目标的数据。

在本发明实施例中，可以通过目标检测算法从采集的图像中识别目标。历史帧图像可以是上一帧的图像，也可以是上上帧的图像，在此不作限定。在识别出上一帧的目标后，对上一帧的目标进行轨迹预测，得到当前时刻的预测目标，然后将采集当前图像确定的当前目标与预测得到的预测目标相匹配，从而实现目标的跟踪。

在轨迹预测时需要先确定跟踪点，然后建立世界坐标系，从而确定目标的世界坐标和初始速度，再输入到卡尔曼滤波器中，得到预测目标/预测轨迹。

其中，可以取目标检测算法输出的目标框下边缘中心点作为跟踪点，也可以根据特征点检测算法确定跟踪点，在此不作限定。

其中，建立世界坐标系时可以根据跟踪点的像素坐标，计算该点的世界坐标。具体的，首先可以假设目标在某时刻是静止目标，y轴方向的相对速度是车速的相反数，x轴方向的相对速度是0。可以根据相机标定信息，即相机内参和外参，计算相机坐标和世界坐标之间的旋转平移矩阵，然后建立世界坐标和像素坐标之间的投影关系，得到目标在地平面上的世界坐标（f _x ，f _y ），并且给目标赋相对速度初始值（f _v _ _x ，f _v _ _y ）。

S220，将当前目标集和预测目标集在多个维度下进行关联，得到关联结果；其中，每个维度表示当前目标集与预测目标集之间一种关联关系。

在本发明实施例中，关联结果为当前目标集中的当前目标和预测目标集的预测目标之间的关联关系对应的关联度组成的矩阵。

在一些实施例中，多个维度包括下述至少一项：距离关联关系、重叠度关联关系、相似度关联关系。

在本发明实施例中，距离关联关系可以为马氏距离、距离方差关联关系等，在此不作限定。重叠度关联关系可以是IoU(Intersection over Union，交并比)、GIoU(Generalized-IoU，广义交并比)、DIoU(Complete-IoU，考虑了中心点距离的交并比)、CIoU(Distance-IoU，考虑了中心点重合的交并比)。相似度关联关系可以是目标框的长宽比相似度、大小相似度等，在此不作限定。

其中，在计算距离方差关联关系时，可以先选择椭圆二维关联。然后可以进行归一化统计距离D的计算：D ²=EP ^-1 E ^T 。其中，E为滤波器残差(测量值与预测值之差)，P为残差的协方差矩阵。若目标已经进行跟踪后，则使用更新后的误差协方差，否则利用初始的协方差矩阵计算P。二维椭圆关联门的计算方法如下：

其中，δ为各参数分布的标准差,x₍₂₎和y₍₂₎为本周期的测量值，x₍₁₎和y₍₁₎为上周期的预测值。

当各参数的差呈正态分布时，D ²=x符合自由度为2的χ ²分布。实际上关联问题就是就变成了统一检验的问题。若D ²<χ ²，则认为实验成功。第二个点落入关联门限的概率为：

随机变量不在关联门限内的概率为：

这样就把波门与P联系起来，对于单传感器来说D ²<χ ²就意味着两个目标点关联成功，其中，χ ²为临界值，然后根据临界值可得到关联概率(相似度)。此时，关联问题就是就变成了统一检验的问题。可以设定关联概率后便可以进行将前后两个周期的数据进行概率关联，选定目标后作为测量数据输入卡尔曼跟踪器进行估计。若对于关联概率的选择（相似度）拟选定为A%，可以得到D ²<B时目标间存在关联关系，关系值的大小dist_association=(B-D ²)/B，其中，B为累计误差，可以通过试验确定。

其中，在计算重叠度关联关系时，可以计算已跟踪上目标集的预测框与新目标集的测量框的IoU，并返回IoU的关系值。如果IoU像素个数非零，则返回目标间存在关联关系。IoU_association=IoU_pix/max(w*h)，其中IoU_association为IoU关联系数，IoU_pix为IoU包含的像素个数，max(w*h)为两关联目标框中的并集。其中，w为目标框的宽度，h为目标框的高度。

S230，根据关联结果，确定预测目标和当前目标的匹配结果。

在本发明实施例中，需要在关联结果中挑选合适的关联关系，作为匹配结果。其中，挑选方式可以是最优匹配(即选取关联度最高预测目标和当前目标进行匹配)、最大匹配(即在保证关联度较高的前提下，选取最多匹配数量的匹配结果)。例如，可以通过匈牙利算法遍历关联结果，从而得到预测目标和当前目标的匹配结果。

现有技术中，通常采用单一的关联方法实现目标匹配，例如距离关联和IoU关联，但单一关联方法容易出现错误关联，从而导致目标的跟踪不稳定。例如在交通场景中同一区域的行人之间的互相遮挡导致的关联错误，或者运动场景中同一队伍的运动员的相似队服导致的关联错误。在本发明实施例中，通过从不同的维度考虑当前目标集和预测目标集之间的关联关系，能够在单一关联关系未能识别出相关联的目标时，从其他维度体现当前目标集和预测目标集之间的关联，从而有效避免因物体之间遮挡以及相似物体之间的干扰导致的目标匹配错误的问题，能够有效提高目标跟踪的稳定性。

在一些实施例中，S220可以包括：计算当前目标集和预测目标集之间的距离关联系数矩阵、重叠度关联系数矩阵、相似度关联系数矩阵；根据距离关联系数矩阵、重叠度关联系数矩阵和相似度关联系数矩阵，确定当前目标集和预测目标集之间的第一关联系数矩阵；根据第一关联系数矩阵，确定关联结果。

在本发明实施例中，在多个维度下进行关联时，即便所使用的维度相同，其关联方式也可能不同。可以通过各维度加权的方式实现关联，也可以先考虑其中两种/一种维度对目标匹配的影响，再使用剩余维度实现关联，在此不作限定。

在一些实施例中，根据距离关联系数矩阵、重叠度关联系数矩阵和相似度关联系数矩阵，确定当前目标集和预测目标集之间的第一关联系数矩阵，包括：根据距离关联系数矩阵、重叠度关联系数矩阵、相似度关联系数矩阵以及每个维度对应的预设权重，确定第一关联系数矩阵。

在本发明实施例中，假设预测目标集为U，当前目标集为V，则可以取U集合中的第i目标，与V集合中的第j个目标进行关联，得到关联后的第一关联系数矩阵scale_association[i][j]。其中，第一关联系数矩阵为M*N矩阵，i∈M，j∈N，M为U集合中预测目标的个数，N为V集合中当前目标的个数。预设权重可以根据主成分分析法计算，也可以采用熵值法等确定，在此不作限定。

在一些实施例中，各个维度对应的预设权重可以均设置为1/3。则U集合中的第i目标与V集合中的第j个目标的关联度为：scale_association[i][j]=（dist_association+IoU_association+wh_association）*(1/3)。

其中，dist_association为目标预测值的第i目标与新目标集的第j个目标的实际距离。wh_associationchangk为目标框长宽比的相似度，IoU_association为目标框IoU。

在一些实施例中，根据距离关联系数矩阵、重叠度关联系数矩阵和相似度关联系数矩阵，确定当前目标集和预测目标集之间的第一关联系数矩阵，包括：根据距离关联系数矩阵和相似度关联系数矩阵，确定增益矩阵；根据增益矩阵和重叠度关联系数矩阵，确定第一关联系数矩阵。

在一些实施例中，根据距离关联系数矩阵和相似度关联系数矩阵，确定增益矩阵，包括：确定相似度关联系数矩阵中大于预设相似度阈值的第一元素；根据第一元素，确定距离关联系数矩阵中小于预设距离阈值的第二元素；根据当前目标集中与第二元素对应的当前目标，确定增益矩阵。

在本发明实施例中，可以对距离关联系数矩阵中小于距离关联系数均值的目标i和目标j进行增益，和/或对相似度关联系数矩阵中大于相似度关联系数均值的目标i和目标j进行增益。

另外，增益矩阵中包括多个增益系数。在同时使用距离关联系数矩阵和相似度关联系数矩阵实现增益时，可以对其配比增益权重。例如，预测目标集中存在目标i₁、i₂、i₃，当前目标集中存在目标j₁、j₂、j₃，目标i₁和目标j₁的距离关联系数小于距离关联系数均值，但相似度关联系数不大于相似度关联系数均值，目标i₂和目标j₂的距离关联系数不小于距离关联系数均值，但相似度关联系数大于相似度关联系数均值，目标i₃和目标j₃的距离关联系数小于距离关联系数均值，且相似度关联系数大于相似度关联系数均值，距离关联系数矩阵对应的增益权重为0.4，相似度关联系数对应的增益权重为0.6，则目标i₁和目标j₁计算出的增益系数应再乘以0.4，目标i₂和目标j₂计算出的增益系数应乘以0.6，目标i₃和目标j₃计算出的增益系数应乘以1。

在本发明实施例中，增益系数可以为当前目标框大小与平均当前目标框大小比值的倒数，且最大增益值不超过2，大于平均值则不进行增益，即增益系数为1。增益系数还可以是当前目标框和预测目标框的之间距离与平均距离的比值的倒数，且最大增益值不超过2，大于平均值则不进行增益，即增益系数为1。

在一些实施例中，第一关联系数矩阵表示当前目标集中的当前目标与预测目标集中的预测目标之间的关联度。根据第一关联系数矩阵，确定关联结果，包括：将关联度大于预设关联度阈值的当前目标以及预测目标进行关联，得到多个目标关联关系。相应的，S230可以包括：根据多个目标关联关系，确定预测目标集和当前目标集的第一匹配目标；删除第一匹配目标对应的目标关联关系，并跳转至根据多个目标关联关系，确定预测目标集和当前目标集的第一匹配目标的步骤，直到多个目标关联关系均被删除时，停止跳转并将得到的所有第一匹配目标作为预测目标集和当前目标集的匹配结果。

在本发明实施例中，上述关联关系的选取和删除均可以以改变第一关联系数矩阵的方式进行。例如，在第一关联系数矩阵scale_association[M][N]中，把最大值和本行和本列中与最大值接近的数值（大于预设关联度阈值）找到，然后记录这些值对应的当前目标和预测目标，并将第一关联系数矩阵中对应的部分清零。

然后重新执行第一关联系数矩阵中选取最大值或选取大于阈值的数值的步骤，直到scale_association[M][N]中全部为非零值，跳出本次循环。

在一些实施例中，根据多个目标关联关系，确定预测目标集和当前目标集的第一匹配目标，包括：在当前目标集中的第一目标与至少两个预测目标集中的第二目标关联时，分别判断各第二目标所关联的第一目标是否为唯一目标；若判断结果为所关联的第一目标是唯一目标，则将第二目标与第一目标进行匹配，得到第一匹配目标；若判断结果为所关联的第一目标非唯一目标，则将第二目标与其他目标进行匹配，得到第一匹配目标；其中，其他目标为当前目标集中除第一目标外的当前目标。

在本发明实施例中，若预测目标为目标a、目标b，当前目标为目标1、目标2。得到的关联结果为目标a与目标1、目标2关联，目标b与目标2关联，则再比较目标2分别与目标a和目标b之间的关联度，若目标2与目标a之间的关联度大于与目标b之间的关联度，则目标1或目标2与目标a匹配(选择关联度高的一个进行匹配)，目标b不匹配。反之，则目标1与目标a匹配，目标2与目标b匹配。除了最优匹配和通过匈牙利算法实现的最大匹配外，本发明还可以使用上述方法进行匹配。其中，对在当前目标集中的第一目标与至少两个预测目标集中的第二目标关联的情况进行处理是为了尽量得到大的匹配结果，而判断结果为所关联的第一目标非唯一目标的过程是为了尽量得到最优匹配结果，因此上述方法通过双向关联度判断，能够在最大匹配的基础上实现最优匹配。

在一些实施例中，在S230之后，多目标跟踪匹配方法还包括：对预测目标集中未关联的预测目标进行轨迹维护；将当前目标集中未关联的当前目标记为新目标，生成新的轨迹并赋予新的标签。

在一些实施例中，在S230之后，多目标跟踪匹配方法还包括：根据匹配目标对预先建立的卡尔曼跟踪器的参数进行更新；其中，卡尔曼跟踪器用于根据历史帧的图像进行预测，得到预测目标集。

在本发明实施例中，卡尔曼跟踪器具体模型与算法如下。跟踪模型基于匀速模型，建模如下：

其中，公式(3)为系统方程，X _k 为系统状态量，X _k =[xyV _x V _y ]^T，F为状态转移矩阵，V _k 为系统噪声，其符合正态分布V _k ~N(0，Q)。y和x分别为目标的纵坐标与横坐标，V _y 为纵向速度,V _x 为横向速度。

公式(4)为系统观测方程，W _k 为测量噪声，其符合正态分布W _k ~N(0，R)。

卡尔曼跟踪的过程如下：

其中，X(^)^¯ _k 状态预测值，X(^)^¯ _k-1为上一时刻的系统状态值，P^¯ _k 为预测的协方差，P ^¯ _k+1为预测的协方差，K _k 为卡尔曼增益，X(^) _k 为状态估计值，P _k 为估计协方差更新值，e _k 为滤波器残差，S _k 为协方差矩阵更新值，F、Q、R、H为卡尔曼跟踪器的参数。

其中，Z _k 为测量矩阵，为二维向量，如下式所示：

在建立卡尔曼跟踪器之后，需要进行卡尔曼预测参数初始化：

其中，T为数据更新周期，BSD数据更新周期根据系统时钟计算所得，所以在预测时，需要实时读取时间戳之差来判断周期T。然后在每次匹配完成之后，根据匹配目标对上述的F、Q、R、H进行更新。

在一些实施例中，多目标跟踪匹配方法还包括：获取预设优化周期内的匹配结果；根据预设优化周期内的匹配结果对预先建立的卡尔曼跟踪器进行残差分析，得到分析结果；根据分析结果对卡尔曼跟踪器的参数进行优化。

在本发明实施例中，可以对采样周期为T的目标样本进行残差分析。

可以通过对模型残差e _k 进行正态分布拟合来创建正态分布对象，得到：

图3是预测目标的横坐标的残差示意图。其中横轴为预测目标的横坐标值，纵轴为残差。图4是预测目标的横坐标的残差正态分布拟合图。其中横轴为偏离平均值的差值，纵轴为概率密度。如图3和图4所示，横坐标x的残差值ex _k 的期望和方差分别为：μ=-0.0140134，σ=0.473055。

图5是预测目标的纵坐标的残差示意图。其中横轴为预测目标的纵坐标值，纵轴为残差。图6是预测目标的纵坐标的残差正态分布拟合图。其中横轴为偏离平均值的差值，纵轴为概率密度。如图5和图6所示，纵坐标y的值残差ey _k 的期望和方差分别为：μ=-0.263873，σ=0.948626。

可以得出，ex _k 残差值落在±3σ范围内的概率：P _r (μ-3σ≤ex _k ≤μ+3σ)=0.9780，ey _k 残差值落在±3σ范围内的概率：P _r (μ-3σ≤ey _k ≤μ+3σ)=0.9760。

本发明实施例中，通过残差分析可以对卡尔曼跟踪器的参数Q和R进行优化。

本发明的有益效果具体如下：

1.通过从不同的维度考虑当前目标集和预测目标集之间的关联关系，能够在单一关联关系未能识别出相关联的目标时，从其他维度体现当前目标集和预测目标集之间的关联，从而有效避免因物体之间遮挡以及相似物体之间的干扰导致的目标匹配错误的问题，能够有效提高目标跟踪的稳定性。

2.残差分析可以对卡尔曼跟踪器的参数进行优化，能够有效提高目标跟踪的准确度。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

图7是本发明实施例提供的多目标跟踪匹配装置的结构示意图。如图7所示，在一些实施例中，多目标跟踪匹配装置，包括：

获取模块710，用于获取当前目标集以及预测目标集；其中，当前目标集包括多个由当前帧的图像确定的当前目标的数据；预测目标集包括多个由历史帧的图像预测得到的预测目标的数据。

关联模块720，用于将当前目标集和预测目标集在多个维度下进行关联，得到关联结果；其中，每个维度表示当前目标集与预测目标集之间一种关联关系。

匹配模块730，用于根据关联结果，确定预测目标和当前目标的匹配结果。

可选的，多个维度包括下述至少一项：距离关联关系、重叠度关联关系、相似度关联关系。相应的，关联模块720，具体用于：计算当前目标集和预测目标集之间的距离关联系数矩阵、重叠度关联系数矩阵、相似度关联系数矩阵；根据距离关联系数矩阵、重叠度关联系数矩阵和相似度关联系数矩阵，确定当前目标集和预测目标集之间的第一关联系数矩阵；根据第一关联系数矩阵，确定关联结果。

可选的，关联模块720，具体用于根据距离关联系数矩阵、重叠度关联系数矩阵、相似度关联系数矩阵以及每个维度对应的预设权重，确定第一关联系数矩阵。

可选的，关联模块720，具体用于根据距离关联系数矩阵和相似度关联系数矩阵，确定增益矩阵；根据增益矩阵和重叠度关联系数矩阵，确定第一关联系数矩阵。

可选的，关联模块720，具体用于确定相似度关联系数矩阵中大于预设相似度阈值的第一元素；根据第一元素，确定距离关联系数矩阵中小于预设距离阈值的第二元素；根据当前目标集中与第二元素对应的当前目标，确定增益矩阵。

可选的，第一关联系数矩阵表示当前目标集中的当前目标与预测目标集中的预测目标之间的关联度。相应的，关联模块720，具体用于将关联度大于预设关联度阈值的当前目标以及预测目标进行关联，得到多个目标关联关系。相应的，匹配模块730，用于根据多个目标关联关系，确定预测目标集和当前目标集的第一匹配目标；删除第一匹配目标对应的目标关联关系，并跳转至根据多个目标关联关系，确定预测目标集和当前目标集的第一匹配目标的步骤，直到多个目标关联关系均被删除时，停止跳转并将得到的所有第一匹配目标作为预测目标集和当前目标集的匹配结果。

可选的，匹配模块730，用于在当前目标集中的第一目标与至少两个预测目标集中的第二目标关联时，分别判断各第二目标所关联的第一目标是否为唯一目标；若判断结果为所关联的第一目标是唯一目标，则将第二目标与第一目标进行匹配，得到第一匹配目标；若判断结果为所关联的第一目标非唯一目标，则将第二目标与其他目标进行匹配，得到第一匹配目标；其中，其他目标为当前目标集中除第一目标外的当前目标。

可选的，多目标跟踪匹配装置还包括轨迹处理模块。轨迹处理模块用于对预测目标集中未关联的预测目标进行轨迹维护；将当前目标集中未关联的当前目标记为新目标，生成新的轨迹并赋予新的标签。

可选的，多目标跟踪匹配装置还包括更新模块。更新模块用于根据匹配目标对预先建立的卡尔曼跟踪器的参数进行更新；其中，卡尔曼跟踪器用于根据历史帧的图像进行预测，得到预测目标集。

可选的，多目标跟踪匹配装置还包括优化模块。优化模块用于获取预设优化周期内的匹配结果；根据预设优化周期内的匹配结果对预先建立的卡尔曼跟踪器进行残差分析，得到分析结果；根据分析结果对卡尔曼跟踪器的参数进行优化。

本实施例提供的多目标跟踪匹配装置，可用于执行上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。

图8是本发明实施例提供的终端设备的示意图。如图8所示，本发明的一个实施例提供的终端设备8，该实施例的终端设备8包括：处理器80、存储器81以及存储在存储器81中并可在处理器80上运行的计算机程序82。处理器80执行计算机程序82时实现上述各个多目标跟踪匹配方法实施例中的步骤，例如图2所示的步骤210至步骤230。或者，处理器80执行计算机程序82时实现上述各系统实施例中各模块/单元的功能，例如图7所示模块710至730的功能。

示例性的，计算机程序82可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器81中，并由处理器80执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序82在终端设备8中的执行过程。

终端设备8可以是物理终端设备、云终端设备、终端设备集群等，在此不作限定。终端可包括，但不仅限于，处理器80、存储器81。本领域技术人员可以理解，图8仅仅是终端设备8的示例，并不构成对终端设备8的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如终端还可以包括输入输出设备、网络接入设备、总线等。

所称处理器80可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器81可以是终端设备8的内部存储单元，例如终端设备8的硬盘或内存。存储器81也可以是终端设备8的外部存储设备，例如终端设备8上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。进一步地，存储器81还可以既包括终端设备8的内部存储单元也包括外部存储设备。存储器81用于存储计算机程序以及终端所需的其他程序和数据。存储器81还可以用于暂时地存储已经输出或者将要输出的数据。

本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述多目标跟踪匹配方法实施例中的步骤。

计算机可读存储介质存储有计算机程序82，计算机程序82包括程序指令，程序指令被处理器80执行时实现上述实施例方法中的全部或部分流程，也可以通过计算机程序82来指令相关的硬件来完成，计算机程序82可存储于一计算机可读存储介质中，该计算机程序82在被处理器80执行时，可实现上述各个方法实施例的步骤。其中，计算机程序82包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。

计算机可读存储介质可以是前述任一实施例的终端的内部存储单元，例如终端的硬盘或内存。计算机可读存储介质也可以是终端的外部存储设备，例如终端上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，计算机可读存储介质还可以既包括终端的内部存储单元也包括外部存储设备。计算机可读存储介质用于存储计算机程序及终端所需的其他程序和数据。计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (8)

1.一种多目标跟踪匹配方法，其特征在于，包括：

获取当前目标集以及预测目标集；其中，所述当前目标集包括多个由当前帧的图像确定的当前目标的数据；所述预测目标集包括多个由历史帧的图像预测得到的预测目标的数据；

计算所述当前目标集和所述预测目标集之间的距离关联系数矩阵、重叠度关联系数矩阵、相似度关联系数矩阵；

根据所述距离关联系数矩阵和所述相似度关联系数矩阵，确定增益矩阵；

根据增益矩阵和所述重叠度关联系数矩阵，确定所述当前目标集和所述预测目标集之间的第一关联系数矩阵；

根据所述第一关联系数矩阵，确定关联结果；

根据所述关联结果，确定所述预测目标和所述当前目标的匹配结果。

2.根据权利要求1所述的多目标跟踪匹配方法，其特征在于，所述根据所述距离关联系数矩阵和所述相似度关联系数矩阵，确定增益矩阵，包括：

确定所述相似度关联系数矩阵中大于预设相似度阈值的第一元素；

根据所述第一元素，确定所述距离关联系数矩阵中小于预设距离阈值的第二元素；

根据所述当前目标集中与所述第二元素对应的当前目标，确定所述增益矩阵。

3.根据权利要求1所述的多目标跟踪匹配方法，其特征在于，所述第一关联系数矩阵表示所述当前目标集中的当前目标与所述预测目标集中的预测目标之间的关联度；

所述根据所述第一关联系数矩阵，确定所述关联结果，包括：

将关联度大于预设关联度阈值的所述当前目标以及所述预测目标进行关联，得到多个目标关联关系；

所述根据所述关联结果，确定所述预测目标集和所述当前目标集的匹配结果，包括：

根据所述多个目标关联关系，确定所述预测目标集和所述当前目标集的第一匹配目标；

删除所述第一匹配目标对应的目标关联关系，并跳转至所述根据所述多个目标关联关系，确定所述预测目标集和所述当前目标集的第一匹配目标的步骤，直到所述多个目标关联关系均被删除时，停止跳转并将得到的所有第一匹配目标作为所述预测目标集和所述当前目标集的匹配结果。

4.根据权利要求3所述的多目标跟踪匹配方法，其特征在于，所述根据所述多个目标关联关系，确定所述预测目标集和所述当前目标集的第一匹配目标，包括：

当所述当前目标集中的第一目标与至少两个所述预测目标集中的第二目标关联时，分别判断各第二目标所关联的第一目标是否为唯一目标；

若判断结果为所关联的第一目标是唯一目标，则将所述第二目标与所述第一目标进行匹配，得到第一匹配目标；

若判断结果为所关联的第一目标非唯一目标，则将所述第二目标与其他目标进行匹配，得到第一匹配目标；

其中，所述其他目标为所述当前目标集中除所述第一目标外的当前目标。

5.根据权利要求1所述的多目标跟踪匹配方法，其特征在于，在根据所述关联结果，确定所述预测目标集和所述当前目标集的匹配结果之后，所述方法还包括：

根据所述预测目标集和所述当前目标集的匹配结果对预先建立的卡尔曼跟踪器的参数进行更新；其中，所述卡尔曼跟踪器用于根据历史帧的图像进行预测，得到所述预测目标集；

所述方法还包括：

获取预设优化周期内的匹配结果；

根据预设优化周期内的匹配结果对预先建立的卡尔曼跟踪器进行残差分析，得到分析结果；

根据所述分析结果对所述卡尔曼跟踪器的参数进行优化。

6.一种多目标跟踪匹配方法装置，其特征在于，包括：

获取模块，获取当前目标集以及预测目标集；其中，所述当前目标集包括多个由当前帧的图像确定的当前目标的数据；所述预测目标集包括多个由历史帧的图像预测得到的预测目标的数据；

关联模块，用于计算所述当前目标集和所述预测目标集之间的距离关联系数矩阵、重叠度关联系数矩阵、相似度关联系数矩阵；根据所述距离关联系数矩阵和所述相似度关联系数矩阵，确定增益矩阵；根据增益矩阵和所述重叠度关联系数矩阵，确定所述当前目标集和所述预测目标集之间的第一关联系数矩阵；根据所述第一关联系数矩阵，确定关联结果；

匹配模块，用于根据所述关联结果，确定所述预测目标和所述当前目标的匹配结果。

7.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上的权利要求1至5中任一项所述多目标跟踪匹配方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上的权利要求1至5中任一项所述多目标跟踪匹配方法的步骤。

Images