CN113160272B - 目标跟踪方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明图像处理技术领域，具体涉及目标跟踪方法、装置、电子设备及存储介质，所述方法包括获取待处理视频的当前图像帧以及待处理视频中各个历史目标的历史轨迹；将当前图像帧输入目标跟踪网络中，得到当前图像帧中各个像素点的特征信息及位置信息；根据各个像素点的特征信息及位置信息在各个历史目标的历史轨迹中进行目标匹配，确定当前图像帧中各个目标的轨迹。利用目标跟踪网络确定当前图像帧中各个像素点的特征信息及位置信息，即，利用一个网络就可以实现跟踪，简化了跟踪网络的结构，提高了跟踪效率；且该网络是无锚点的网络架构，针对各个像素点进行特征提取，能够尽量避免多个目标重叠后特征提取有误的问题，提高了跟踪准确性。

Description

目标跟踪方法、装置、电子设备及存储介质

技术领域

本发明涉及图像处理技术领域，具体涉及目标跟踪方法、装置、电子设备及存储介质。

背景技术

随着智能交通的发展，可以利用路口的摄像头和智能芯片对于一些违法行为或人员进行跟踪上报，这样就可以大大减少执法人员的人力。现有的目标跟踪方法一般分为两种：一种是两阶段的跟踪算法，首先利用检测网络得到对应的目标框，再对目标框中的目标进行缩放后利用Re-ID网络输出对应目标的特征，最后通过匹配算法进行匹配跟踪；另一种是一阶段的跟踪算法，直接利用一个网络得到对应的目标框和目标框内目标特征，可以通过目标框内特征直接进行跟踪。

然而，对于两阶段的跟踪算法，将多目标跟踪任务划分为两部分，第一部分是利用一个网络做目标检测，第二个是利用另一个网络做特征提取。由于在该跟踪算法中涉及到多个网络，网络结构较复杂，导致跟踪效率较低，且跟踪的效率完全依赖于检测结果。对于一阶段的跟踪算法，主要是利用anchor based的方法，这样会出现一个检测框中有多个目标，提取的目标特征容易涉及到框内多个目标，导致特征提取的准确性较低。

发明内容

有鉴于此，本发明实施例提供了一种目标跟踪方法、装置、电子设备及存储介质，以解决目标跟踪效率与准确性偏低的问题。

根据第一方面，本发明实施例提供了一种目标跟踪方法，包括：

获取待处理视频的当前图像帧以及所述待处理视频中各个历史目标的历史轨迹；

将所述当前图像帧输入目标跟踪网络中，得到所述当前图像帧中各个像素点的特征信息及位置信息；

根据所述各个像素点的特征信息及位置信息在所述各个历史目标的历史轨迹中进行目标匹配，确定所述当前图像帧中各个目标的轨迹。

本发明实施例提供了一种目标跟踪方法，利用目标跟踪网络确定当前图像帧中各个像素点的特征信息及位置信息，即，利用一个网络就可以实现跟踪，简化了跟踪网络的结构，提高了跟踪效率；且经过该网络得到的各个像素点的特征信息及位置信息，即该网络是无锚点的网络架构，针对各个像素点进行特征提取，能够尽量避免多个目标重叠后特征提取有误的问题，提高了跟踪准确性。

结合第一方面，在第一方面第一实施方式中，所述将所述当前图像帧输入目标跟踪网络中，得到所述当前图像帧中各个像素点的特征信息及位置信息，包括：

将所述当前图像帧输入目标跟踪网络的特征提取网络中，对所述当前图像帧进行特征提取；

将特征提取结果分别输入特征分支网络及位置分支网络中，得到所述各个像素点的特征信息及位置信息。

本发明实施例提供了一种目标跟踪方法，在目标跟踪网络中主干网络采用特征提取网络进行各个像素点的特征提取，而不需要先对其进行目标检测再提取特征，简化了网络结构，再利用两种类型的分支网络进行相应信息的提取，从而实现特征和位置信息的提取。

结合第一方面第一实施方式，在第一方面第二实施方式中，所述将特征提取结果分别输入特征分支网络及位置分支网络中，得到所述各个像素点的特征信息及位置信息，包括：

利用所述特征分支网络中的检测热度分支确定所述各个像素点所属的目标类别、概率及对应的中心点位置；

利用所述特征分支网络中的特征分支确定所述各个像素点的特征；

利用所述位置分支网络中的宽高回归分支确定所述各个像素点对应的检测框的宽高；

利用所述位置分支网络中的偏移回归分支确定所述各个像素点对应的检测框的中心点偏移量。

本发明实施例提供了一种目标跟踪方法，利用检测热度分支得到对应目标中心点的位置，再通过偏移回归分支来修正中心点的位置，最后通过宽高回归分支确定出检测框的宽高，一方面可以保证位置确定的准确性，另一方面可以利用中心位置可以避免多个目标重叠后特征提取有误的问题，提高了跟踪的准确性。

结合第一方面，在第一方面第三实施方式中，所述特征信息包括所述像素点所属的目标类别及类别概率，所述根据所述各个像素点的特征信息及位置信息在所述各个历史目标的历史轨迹中进行目标匹配，确定所述当前图像帧中各个目标的轨迹，包括：

基于所述各个像素点对应的类别概率以及预设值的大小关系，对所述各个像素点进行筛选，以得到目标像素点；

利用所述目标像素点的特征信息及位置信息，确定所述目标像素点对应的检测框的特征及位置；

基于所述检测框的特征及位置，在所述检测框对应目标类别的所述历史轨迹中进行目标匹配，确定所述当前图像帧中各个目标的轨迹。

本发明实施例提供了一种目标跟踪方法，利用各个像素点对应的类别概率与预设值的大小关系对像素点进行筛选，可以在跟踪之前先筛选出一部分不满足条件的像素点，减少了后续的数据处理量。

结合第一方面第三实施方式，在第一方面第四实施方式中，所述历史轨迹存储在跟踪列表或跟丢列表中，所述基于所述检测框的特征及位置，在对应类别的所述历史轨迹中进行目标匹配，确定所述当前图像帧中各个目标的轨迹，包括：

利用所述检测框的特征及位置与对应类别的所述历史轨迹进行距离计算；

基于距离计算结果在所述跟踪列表以及所述跟丢列表中进行目标匹配；

当在所述跟踪列表以及所述跟踪列表中均匹配不到相应目标时，利用所述检测框与对应类别的所述历史轨迹进行交并比的计算；

基于交并比的计算结果再在所述跟踪列表以及所述跟丢列表中进行目标匹配，以确定所述当前图像帧中各个目标的轨迹。

本发明实施例提供了一种目标跟踪方法，利用两种不同的方式进行目标匹配，在第一次匹配失败的情况下再进行第二次匹配，保证了匹配的准确性。

结合第一方面第四实施方式，在第一方面第五实施方式中，所述利用所述检测框的特征与对应类别的所述历史轨迹进行距离计算，包括：

对所述历史轨迹中的各个历史目标进行轨迹预测，确定所述各个历史目标在所述当前图像帧中的位置，以确定所述各个历史目标对应的预测框的位置；

计算所述检测框与所述预测框之间的第一距离；

计算所述检测框的特征与所述历史轨迹对应的特征的第二距离；

利用所述第一距离与所述第二距离，确定所述检测框与对应类别的所述历史轨迹之间的距离。

本发明实施例提供了一种目标跟踪方法，先利用预测框与检测框之间的第一距离确定目标的大概方位，在此基础上再利用检测框的特征进行精确的目标匹配，提高了匹配的准确性。

结合第一方面第四实施方式，在第一方面第六实施方式中，所述基于交并比的计算结果再在所述跟踪列表以及所述跟丢列表中进行目标匹配，以确定所述当前图像帧中各个目标的轨迹，包括：

当在所述跟踪列表以及所述跟丢列表中均匹配不到目标时，确定所述检测框对应的目标为新目标，并为所述新目标分配轨迹标识。

本发明实施例提供了一种目标跟踪方法，在确定出新目标时，为其分配轨迹标识，为了后续对其进行跟踪，可以保证跟踪的全面性。

根据第二方面，本发明实施例还提供了一种目标跟踪装置，包括：

获取模块，用于获取待处理视频的当前图像帧以及所述待处理视频中各个历史目标的历史轨迹；

网络处理模块，用于将所述当前图像帧输入目标跟踪网络中，得到所述当前图像帧中各个像素点的特征信息及位置信息；

匹配模块，用于根据所述各个像素点的特征信息及位置信息在所述各个历史目标的历史轨迹中进行目标匹配，确定所述当前图像帧中各个目标的轨迹。

本发明实施例提供了一种目标跟踪装置，利用目标跟踪网络确定当前图像帧中各个像素点的特征信息及位置信息，即，利用一个网络就可以实现跟踪，简化了跟踪网络的结构，提高了跟踪效率；且经过该网络得到的各个像素点的特征信息及位置信息，即该网络是无锚点的网络架构，针对各个像素点进行特征提取，能够尽量避免多个目标重叠后特征提取有误的问题，提高了跟踪准确性。

根据第三方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的目标跟踪方法。

根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的目标跟踪方法。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的目标跟踪方法的整体架构示意图；

图2是根据本发明实施例的目标跟踪方法的流程图；

图3是根据本发明实施例的目标跟踪方法的流程图；

图4是根据本发明实施例的目标跟踪网络的结构示意图；

图5是根据本发明实施例的目标跟踪方法的流程图；

图6是根据本发明实施例的目标跟踪装置的结构框图；

图7是本发明实施例提供的电子设备的硬件结构示意图；

图8a-图8c是根据本发明实施例的目标跟踪结果示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的目标跟踪方法，从整体架构上来说，可以划分为目标跟踪网络与跟踪策略两部分。具体地，如图1所示，所述的目标跟踪方法采用端到端的深度学习网络，利用目标跟踪网络实现跟踪目标确定和跟踪目标特征提取，最后利用跟踪策略对目标进行跟踪，应用场景非常广泛，例如，行人闯红灯抓拍上传、车辆闯红灯抓拍等等。

所述的目标跟踪网络是基于无锚点的一阶段跟踪网络，即一个网络就可以获取各个像素点的特征信息及位置信息，提高了目标跟踪的效率。同时由于该跟踪方法是针对各个像素点进行处理的，可以避免多个目标重叠后特征提取有误的问题，提高了目标跟踪的准确性。

进一步地，该目标跟踪方法可以对多分类多目标同时进行跟踪，相应地，目标跟踪网络可以称之为多分类多目标网络(multiple classes multiple objects trackingnet，简称为MCMOT Net)。

根据本发明实施例，提供了一种目标跟踪方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中提供了一种目标跟踪方法，可用于上述的电子设备，如电脑、手机、平板电脑等，图2是根据本发明实施例的目标跟踪方法的流程图，如图2所示，该流程包括如下步骤：

S11，获取待处理视频的当前图像帧以及待处理视频中各个历史目标的历史轨迹。

待处理视频可以是前端采集设备采集的视频，也可以其他视频来源，例如待处理视频可以是实时视频，也可以是历史视频，在此对待处理视频的来源并不做任何限制。

电子设备依次对待处理视频中的各个图像帧进行目标跟踪，确定出待处理视频中出现的所有目标的轨迹，也可以是针对特定目标进行轨迹的确定等等。其中，所述的当前图像帧为电子设备正在处理的图像帧，历史目标为在待处理视频中当前图像帧之前的图像帧中出现的目标，历史轨迹为多个分别对应于各个历史目标的轨迹。

所述的历史轨迹可以是包括历史目标在各个时间点的位置及特征，也可以是仅包括历史目标在上一图像帧中的位置及特征等等，具体可以根据实际需求进行相应的设置即可。相应地，历史轨迹的特征可以是历史目标在各个时间点的特征的融合，也可以是历史目标在上一图像帧中的特征。

S12，将当前图像帧输入目标跟踪网络中，得到当前图像帧中各个像素点的特征信息及位置信息。

所述的目标跟踪网络为一阶段网络，利用一个网络就可以确定出当前图像帧中各个像素点的特征信息及位置信息。该目标跟踪网络中用来提取图像抽象特征的网络结构可以是基于ResNet系列、DLA系列或VGG-Net等常用网络结构，也可以使用常用神经网络层，如卷积层、BN层或激活层的不同组合来实现。在此对目标跟踪网络的具体网络结构并不做任何限制，具体可以根据实际情况进行相应的设置。

电子设备将当前图像帧输入至目标跟踪网络中，该网络就可以输出当前图像帧中各个像素点的特征信息及位置信息。所述的特征信息可以包括各个像素点的特征或各个像素点所属的目标类别等等，所述的位置信息可以包括各个像素点对应的检测框的位置信息，例如中心点位置、检测框的宽高等等。

关于该步骤具体将在下文中进行详细描述。

S13，根据各个像素点的特征信息及位置信息在各个历史目标的历史轨迹中进行目标匹配，确定当前图像帧中各个目标的轨迹。

由于在上述S12中已经得到了各个像素点的特征信息和位置信息，电子设备就可以直接利用各个像素点的特征信息和位置信息与历史轨迹进行目标匹配。

具体地，上述的特征信息中包括有像素点所属的目标类别，在进行匹配之前，电子设备可以利用最大池化的方式对预设范围内的像素点进行同一目标的合并，以得到各个目标对应的检测框；再利用各个目标对应的检测框与历史轨迹中各个历史目标的特征和预测得到的检测框进行匹配，所述的匹配可以是匈牙利匹配、KM匹配等等。

电子设备还可以是针对各个像素点进行目标匹配，即，利用当前图像帧中各个像素点的检测框的特征与历史轨迹中各个像素点的历史检测框的特征进行匹配，可以依据像素点所属的目标类别对匹配结果进行合并，以确定当前图像帧中各个目标的轨迹等等。

关于该步骤具体将在下文中进行详细描述。

本实施例提供的目标跟踪方法，利用目标跟踪网络确定当前图像帧中各个像素点的特征信息及位置信息，即，利用一个网络就可以实现跟踪，简化了跟踪网络的结构，提高了跟踪效率；且经过该网络得到的各个像素点的特征信息及位置信息，即该网络是无锚点的网络架构，针对各个像素点进行特征提取，能够尽量避免多个目标重叠后特征提取有误的问题，提高了跟踪准确性。

在本实施例中提供了一种目标跟踪方法，可用于上述的电子设备，如电脑、手机、平板电脑等，图3是根据本发明实施例的目标跟踪方法的流程图，如图3所示，该流程包括如下步骤：

S21，获取待处理视频的当前图像帧以及待处理视频中各个历史目标的历史轨迹。

详细请参见图2所示实施例的S11，在此不再赘述。

S22，将当前图像帧输入目标跟踪网络中，得到当前图像帧中各个像素点的特征信息及位置信息。

目标跟踪网络包括两个部分内容，分别为特征提取网络以及分支网络，其中，特征提取网络的输出分别与各个分支网络连接，利用各个分支网络分别进行相应信息的提取。

具体地，上述S22可以包括：

S221，将当前图像帧输入目标跟踪网络的特征提取网络中，对当前图像帧进行特征提取。

如上文所述的，所述的目标跟踪网络又可以称之为MCMOT Net，向该网络输入一张图片，就可以输出该图片上各个像素点特征及位置。该网络最主要的主体是特征提取网络，这个网络主要是为了提取对应图像的抽象特征，例如，可以采用现有的网络结构，也可以采用网络层的组合来达到提取图像抽象特征的网络结构。

电子设备将当前图像帧输入到特征提取网络中，利用特征提取网络对当前图像帧进行特征提取，得到该图像的抽象特征。

S222，将特征提取结果分别输入特征分支网络及位置分支网络中，得到各个像素点的特征信息及位置信息。

在提取出抽象特征之后，还需要连接分支网络，以提取各个像素点的特征信息及位置信息。其中，所述的分支网络包括特征分支网络与位置分支网络。每个分支网络有对应的卷积层、BN层或激活层来得到不同的功能。例如，通过对应网络层的设置可以获得对应检测各个像素点所属的类别、得分及中心位置、宽度和高度、中心偏移量以及像素点的特征等等，具体分支网络的结构可以根据实际需求进行网络层的设置，在此对其并不做任何限制。

在本实施例的一些可选实施方式中，图4示出了目标跟踪网络的结构示意图，在该目标跟踪网络结构中包括有4个分支网络，分别为检测热度分支、特征分支、宽高回归分支以及偏移回归分支。对应于各个分支网络，分别输出检测热度图、Feature特征图、宽高回归特征图以及偏移回归特征图。结合图4上述S222可以包括：

(1)利用特征分支网络中的检测热度分支确定各个像素点所属的目标类别概率及对应中心点的位置。

检测热度分支的输出为目标检测热度图，其可以确定出各个像素点所属的目标类别、概率及对应中心点的位置。类别可以依据实际需求进行设置，例如，行人、摩托车、自行车、卡车等等。

(2)利用特征分支网络中的特征分支确定各个像素点的特征。

(3)利用位置分支网络中的宽高回归分支确定各个像素点对应的检测框的宽高。

(4)利用位置分支网络中的偏移回归分支确定各个像素点对应的检测框的中心点偏移量。

利用检测热度图、宽高回归分支以及偏移回归分支可以准确地确定出检测框的中心位置，一方面可以保证位置确定的准确性，另一方面可以利用中心位置可以避免多个目标重叠后特征提取有误的问题，提高了跟踪的准确性。

电子设备利用目标跟踪网络对当前图像帧进行目标检测、目标分类和目标特征提取，得到对应目标的得分、对应目标的中心位置、对应检测框的宽度和高度、中心点偏移量和对应检测框的特征向量。上述的目标检测、目标分类、目标特征提取使用的是同一个网络完成的。

需要说明的是，本实施例中的目标跟踪网络使用的是无锚点(即，anchor free)的方式来实现一阶段多分类多目标的跟踪。该目标跟踪网络采用的特征提取方式只依赖目标的中心点位置，在特征分支中会对输入图像的每个像素点产生一个特征向量，因此，每个像素点的向量都是不同的。

在本实施例的一些可选实施方式中，上述的目标跟踪网络可以采用如下方式训练得到：

(1)获取样本图像。利用通过CMOS传感器采集大量图像数据，以交通场景为例，包括不同的类别(例如，车辆、非机动车、行人等)，不同的光照(例如，晴天、阴天、晚上、早晨等)，不同的路口场景等等，以得到到各种各样的样本图像。

(2)在训练阶段，首先给定真实的检测框的中心位置；然后通过中心位置进行特征抽取，并且对不同目标进行建模，把不同的目标建模成不同的类别，也就是说把提取特征的问题转换成分类问题，来进行特征提取；最后使用交叉熵损失函数来回归网络。这样在训练过程中检测任务和特征抽取是同时进行的，使两个任务的优先级相同，保证了特征抽取的唯一性。

上述的训练过程仅仅是一种示例，具体可以根据实际情况进行相应的调整，在此对其并不做任何限制。

S23，根据各个像素点的特征信息及位置信息在各个历史目标的历史轨迹中进行目标匹配，确定当前图像帧中各个目标的轨迹。

详细请参见图2所示实施例的S13，在此不再赘述。

本实施例提供的目标跟踪方法，在目标跟踪网络中主干网络采用特征提取网络进行各个像素点的特征提取，而不需要先对其进行目标检测再提取特征，简化了网络结构，再利用两种类型的分支网络进行相应信息的提取，从而实现特征和位置信息的提取。

在本实施例中提供了一种目标跟踪方法，可用于上述的电子设备，如电脑、手机、平板电脑等，图5是根据本发明实施例的目标跟踪方法的流程图，如图5所示，该流程包括如下步骤：

S31，获取待处理视频的当前图像帧以及待处理视频中各个历史目标的历史轨迹。

所述历史轨迹存储在跟踪列表、跟丢列表、重新找到列表或移除列表中，对应的各个历史目标的当前状态可以为下述三个状态：(1)跟踪状态(Tracked状态)，即这个轨迹是被跟踪的状态；(2)丢失状态(Lost状态)，之前被跟踪过，但是后面跟丢了的状态；(3)移除状态(Removed状态)，即丢失一定的帧数，这个轨迹被移除的状态。

其余详细请参见图3所示实施例的S21，在此不再赘述。

S32，将当前图像帧输入目标跟踪网络中，得到当前图像帧中各个像素点的特征信息及位置信息。

其中，所述特征信息包括所述像素点所属的目标类别及类别概率。所述的目标类别为该像素点所属的类别(如，行人、车辆等等)，所述的类别概率为像素点属于该类别的概率。

其余详细请参见图3所示实施例的S22，在此不再赘述。

S33，根据各个像素点的特征信息及位置信息在各个历史目标的历史轨迹中进行目标匹配，确定当前图像帧中各个目标的轨迹。

具体地，上述S33可以包括：

S331，基于各个像素点对应的类别概率以及预设值的大小关系，对各个像素点进行筛选，以得到目标像素点。

在进行目标匹配之前，电子设备先对各个像素点进行筛选，确定出满足当前场景需求的目标像素点。其中，对于不同的场景可以设置不同的预设值，例如，对于准确度要求比较高的场景下，可以设置较大的预设值；对于全面性要求比较高的场景下，可以设置较小的预设值。

如图3所示实施例的S22中所述，检测热度分支输出目标检测热度图，该目标检测热度图对应的其实是该热度图中每个位置出现目标的概率，此处的目标具有确定的目标类别，因此，每个位置出现目标的概率可以认为是对应的为像素点对应的类别概率。预设值是对目标出现的概率的筛选。若出现的概率比较低，其就不能满足当前检测目标的需求。

电子设备可以依次将各个像素点对应的类别概率与预设值进行比较，将类别概率大于预设值的像素点确定为目标像素点。

S332，利用目标像素点的特征信息及位置信息，确定目标像素点对应的检测框的特征及位置。

电子设备在确定出目标像素点之后，提取目标像素点的特征信息及位置信息，利用相应的位置信息就可以形成目标像素点对应的检测框，从而得到该检测框的特征及位置。具体地，当检测框是与目标像素点一一对应时，检测框的特征即为目标像素点的特征，检测框的位置可以利用目标像素点的位置确定；当检测框是与多个目标像素点组成的目标对应时，检测框的特征可以是多个目标像素点的特征的融合，检测框的位置可以是利用多个目标像素点的位置确定。

可选地，为了便于对目标像素点进行管理，对应于各个目标像素点可以构建一个跟踪器来管理目标像素点的特征信息及位置信息。所述的跟踪器就相当于各个目标像素点的身份证，利用其可以存储目标像素点的各种信息。

在确定出目标像素点之后，由于该目标像素点还未进行目标匹配，因此可以将其状态定义为未激活的状态，此时对于跟踪器而言，各个目标像素点仅仅是代表当前图像帧上的一个位置，不涉及到目标的轨迹。

S333，基于检测框的特征及位置，在检测框对应目标类别的历史轨迹中进行目标匹配，确定当前图像帧中各个目标的轨迹。

电子设备在得到当前图像帧中目标像素点的检测框之后，利用目标像素点的检测框与对应类别的历史轨迹进行目标匹配。其中，距离计算方式可以作为目标匹配的依据，匹配的方式可以是匈牙利算法、KM算法或者其他匹配算法，在此对距离计算方式以及匹配的方式并不做任何限制。

对于各个目标像素点的检测框，电子设备可以依次在各个列表中进行匹配。例如，电子设备在确定出目标像素点所属的目标类别之后，可以在该目标类别对应的目标列表的历史轨迹中进行目标匹配。电子设备也可以先将属于同一目标类别的目标像素点进行合并处理，确定出各个目标对应的检测框，再将目标对应的检测框与历史轨迹进行匹配，等等。

在下文的描述中，以目标像素点对应的检测框为例进行详细描述。相应地，也可以用由目标像素点筛选的得到的目标的检测框进行目标匹配，具体处理过程与目标像素点对应的检测框的处理方式类似，在此不再赘述。

在本实施例的一些可选实施方式中，上述S333可以包括：

(1)利用检测框的特征与对应类别的历史轨迹进行距离计算。

具体地，历史轨迹和当前图像帧中各个检测框的距离计算，其中，历史轨迹是之前待处理视频中已经在跟踪的目标，检测框是当前图像帧的检测结果，计算距离是为了把之前跟踪的目标和当前帧检测的结果进行匹配。比如，原来视频中已经获得两个人的轨迹信息，在当前帧又检测到两个检测框，通过距离计算才能知道这两个检测框和之前轨迹的对应关系。

作为本实施例的一种可选实施方式，上述步骤(1)可以包括：

1.1)对历史轨迹中的各个历史目标进行轨迹预测，确定各个历史目标在当前图像帧中的位置，以确定各个历史目标对应的预测框的位置。

对跟踪类别以及跟丢列表中的历史轨迹进行轨迹预测，例如可以采用KalmanFilter预测，得到各个历史目标对应的预测框的位置。

1.2)计算检测框与预测框之间的第一距离。

电子设备可以计算各个检测框与预测框之间的距离，例如，进行马氏距离的计算，如果超过对应的阈值将计算得到的马氏距离设置为无穷大。

1.3)计算检测框的特征与历史轨迹对应的特征的第二距离。

将跟踪列表和跟丢列表中的历史轨迹的特征和检测框对应的特征进行余弦距离的计算，得到第二距离。

此处需要说明的是，上述第一距离以及第二距离的计算方式并不限于上述的马氏距离或余弦距离，也可以采用其他方式进行距离计算，在此对其并不做任何限制。

1.4)利用第一距离与第二距离，确定检测框与对应类别的历史轨迹之间的距离。

电子设备将第一距离与第二距离进行融合，得到检测框与历史轨迹之间的距离。具体地，按照一定比例将第一距离与第二距离进行结合，得到最后的距离矩阵。

例如，在跟踪列表和跟踪类别中均有两个历史轨迹信息，在当前图像帧中有一个检测目标，那么这个检测目标和原来的两个历史轨迹会计算得到2*1的马氏距离DIST_M，2*1的余弦距离DIST_C。线性组合代表的也是马氏距离和余弦距离的组合，例如两者的比重都是0.5，那么最终的距离矩阵计算就是0.5*DIST_M+0.5*DIST_C＝DIST_TOTOAL，其中，DIST_TOTAL的维度也是2*1。

先利用预测框与检测框之间的第一距离确定目标的大概方位，在此基础上再利用检测框的特征进行精确的目标匹配，提高了匹配的准确性。

(2)基于距离计算结果在跟踪列表以及跟丢列表中进行目标匹配。

当在跟踪列表以及跟踪列表中均匹配不到相应目标时，执行步骤(3)；否则，将其加入相应的列表中。

在确定出最终的距离之后，电子设备可以进行两次数据匹配，其中，第二次数据匹配仅仅是在第一次数据匹配失败的情况进行的。

具体地，第一次数据匹配方式：根据线性分配的方式，将检测框和之前存在的历史轨迹进行线性分配，所述的线性分配是将检测框归属到哪个历史轨迹中去，分配方法可以是匈牙利匹配算法、KM算法等。

如果检测框与跟踪列表中的历史轨迹匹配成功，即，利用上述的分配方法将检测框分配到相应的历史轨迹中，那么就更新跟踪列表中对应的历史轨迹，以及该历史轨迹的特征。对于历史轨迹的特征的更新可以是使用滑动平均，或者只保留指定几帧的策略，在此对具体的更新策略并不做任何限定。

如果检测框与跟丢列表中的历史轨迹匹配成功，则将跟丢列表中的历史轨迹更新至重新找到列表中，相应地，可以更新该轨迹的特征。

(3)利用检测框与对应类别的历史轨迹进行交并比的计算。

当利用距离在跟踪列表以及跟丢列表中无法匹配到目标时，电子设备再利用检测框与对应类别的历史目标的检测框进行交并比的计算。其中，历史目标的检测框可以为历史目标在上一图像帧中的检测框。

(4)基于交并比的计算结果再在跟踪列表以及跟丢列表中进行目标匹配，以确定当前图像帧中各个目标的轨迹。

利用两种不同的方式进行目标匹配，在第一次匹配失败的情况下再进行第二次匹配，保证了匹配的准确性。

其中，对于各个历史轨迹而言，若当前图像帧中并没有任何目标与某历史轨迹相匹配，那么该历史轨迹的轨迹状态将会被设置为丢失状态。

在本实施例的一些可选实施方式中，上述步骤(4)可以包括：

当在所述跟踪列表以及所述跟丢列表中均匹配不到目标时，确定所述检测框对应的目标为新目标，并为所述新目标分配轨迹标识。

若对应的检测框是第一次出现，那么这个检测框的状态是没有激活的。具体地，第一次出现，代表当前图像帧中出现了一个之前待处理视频中未出现过的人，其检测框对应的跟踪其没有被激活。当电子设备确定出该检测框是第一次出现，那么将检测框对应的跟踪器进行激活，激活的同时会记录当前图像帧的序列号并且为新目标分配一个新的轨迹标识。

在确定出新目标时，为其分配轨迹标识，为了后续对其进行跟踪，可以保证跟踪的全面性。

本实施例提供的目标跟踪方法，利用各个像素点对应的类别概率与预设值的大小关系对像素点进行筛选，可以在跟踪之前先筛选出一部分不满足条件的像素点，减少了后续的数据处理量。

图8a-图8c展示出了对待处理视频中的图像帧进行目标跟踪的结果示意图，在跟踪结果中标识出了各个目标的位置、类别等等，具体的标注信息可以根据实际情况进行相应的设置，并不限于图8a-图8c中所示。

在本实施例的一些可选实施方式中，电子设备对当前图像帧中各个检测框进行目标匹配之后，会对更新后的历史轨迹进行归纳。具体地，可以包括以下几个方面：

(1)对丢失列表中的轨迹进行判断，如果超过最大保留值，即，最多连续丢失的帧数，将丢失帧列表数据移到移除列表中，并将其状态修改为移除状态；对于未超过最大保留值的，将继续保存在丢失列表中。

(2)如果之前在跟踪列表中，此处也能跟踪，则仍然保留在已跟踪列表中；如果未能跟踪到，将该轨迹移到丢失列表中；

(3)如果该轨迹是激活的状态，将该轨迹加入已跟踪列表中；

(4)将重新找到列表中的轨迹id存到已跟踪列表中；

(5)首次出现的检测框的轨迹加入跟踪列表中。

在本实施例中还提供了一种目标跟踪装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

本实施例提供一种目标跟踪装置，如图6所示，包括：

获取模块41，用于获取待处理视频的当前图像帧以及所述待处理视频中各个历史目标的历史轨迹；

网络处理模块42，用于将所述当前图像帧输入目标跟踪网络中，得到所述当前图像帧中各个像素点的特征信息及位置信息；

匹配模块43，用于根据所述各个像素点的特征信息及位置信息在所述各个历史目标的历史轨迹中进行目标匹配，确定所述当前图像帧中各个目标的轨迹。

本实施例提供了一种目标跟踪装置，利用目标跟踪网络确定当前图像帧中各个像素点的特征信息及位置信息，即，利用一个网络就可以实现跟踪，简化了跟踪网络的结构，提高了跟踪效率；且经过该网络得到的各个像素点的特征信息及位置信息，即该网络是无锚点的网络架构，针对各个像素点进行特征提取，能够尽量避免多个目标重叠后特征提取有误的问题，提高了跟踪准确性。

本实施例中的目标跟踪装置是以功能单元的形式来呈现，这里的单元是指ASIC电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。

上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。

本发明实施例还提供一种电子设备，具有上述图6所示的目标跟踪装置。

请参阅图7，图7是本发明可选实施例提供的一种电子设备的结构示意图，如图7所示，该电子设备可以包括：至少一个处理器51，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口53，存储器54，至少一个通信总线52。其中，通信总线52用于实现这些组件之间的连接通信。其中，通信接口53可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口53还可以包括标准的有线接口、无线接口。存储器54可以是高速RAM存储器(Random Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器54可选的还可以是至少一个位于远离前述处理器51的存储装置。其中处理器51可以结合图6所描述的装置，存储器54中存储应用程序，且处理器51调用存储器54中存储的程序代码，以用于执行上述任一方法步骤。

其中，通信总线52可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线52可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器54可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器54还可以包括上述种类的存储器的组合。

其中，处理器51可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。

其中，处理器51还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。

可选地，存储器54还用于存储程序指令。处理器51可以调用程序指令，实现如本申请图2、3以及5实施例中所示的目标跟踪方法。

本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的目标跟踪方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard DiskDrive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种目标跟踪方法，其特征在于，包括：

获取待处理视频的当前图像帧以及所述待处理视频中各个历史目标的历史轨迹；

将所述当前图像帧输入目标跟踪网络中，得到所述当前图像帧中各个像素点的特征信息及位置信息；

根据所述各个像素点的特征信息及位置信息在所述各个历史目标的历史轨迹中进行目标匹配，确定所述当前图像帧中各个目标的轨迹；所述根据所述各个像素点的特征信息及位置信息在所述各个历史目标的历史轨迹中进行目标匹配具体包括：利用当前图像帧中各个像素点的位置信息与历史轨迹中各个像素点的历史位置信息进行匹配，得到各个像素点的匹配结果，并根据各个像素点的特征信息对所述匹配结果进行合并；所述特征信息包括所属的目标类别，所述位置信息包括对应的检测框的位置信息。

2.根据权利要求1所述的方法，其特征在于，所述将所述当前图像帧输入目标跟踪网络中，得到所述当前图像帧中各个像素点的特征信息及位置信息，包括：

将所述当前图像帧输入目标跟踪网络的特征提取网络中，对所述当前图像帧进行特征提取；

将特征提取结果分别输入特征分支网络及位置分支网络中，得到所述各个像素点的特征信息及位置信息。

3.根据权利要求2所述的方法，其特征在于，所述将特征提取结果分别输入特征分支网络及位置分支网络中，得到所述各个像素点的特征信息及位置信息，包括：

利用所述特征分支网络中的检测热度分支确定所述各个像素点所属的目标类别、概率及对应中心点的位置；

利用所述特征分支网络中的特征分支确定所述各个像素点的特征；

利用所述位置分支网络中的宽高回归分支确定所述各个像素点对应的检测框的宽高；

利用所述位置分支网络中的偏移回归分支确定所述各个像素点对应的检测框的中心点偏移量。

4.根据权利要求1所述的方法，其特征在于，所述特征信息包括所述像素点所属的目标类别及类别概率，所述根据所述各个像素点的特征信息及位置信息在所述各个历史目标的历史轨迹中进行目标匹配，确定所述当前图像帧中各个目标的轨迹，包括：

基于所述各个像素点对应的类别概率以及预设值的大小关系，对所述各个像素点进行筛选，以得到目标像素点；

利用所述目标像素点的特征信息及位置信息，确定所述目标像素点对应的检测框的特征及位置；

基于所述检测框的特征及位置，在所述检测框对应目标类别的所述历史轨迹中进行目标匹配，确定所述当前图像帧中各个目标的轨迹。

5.根据权利要求4所述的方法，其特征在于，所述历史轨迹存储在跟踪列表或跟丢列表中，所述基于所述检测框的特征及位置，在对应类别的所述历史轨迹中进行目标匹配，确定所述当前图像帧中各个目标的轨迹，包括：

利用所述检测框的特征及位置与对应类别的所述历史轨迹进行距离计算；

基于距离计算结果在所述跟踪列表以及所述跟丢列表中进行目标匹配；

当在所述跟踪列表以及所述跟踪列表中均匹配不到相应目标时，利用所述检测框与对应类别的所述历史轨迹进行交并比的计算；

基于交并比的计算结果再在所述跟踪列表以及所述跟丢列表中进行目标匹配，以确定所述当前图像帧中各个目标的轨迹。

6.根据权利要求5所述的方法，其特征在于，所述利用所述检测框的特征与对应类别的所述历史轨迹进行距离计算，包括：

对所述历史轨迹中的各个历史目标进行轨迹预测，确定所述各个历史目标在所述当前图像帧中的位置，以确定所述各个历史目标对应的预测框的位置；

计算所述检测框与所述预测框之间的第一距离；

计算所述检测框的特征与所述历史轨迹对应的特征的第二距离；

利用所述第一距离与所述第二距离，确定所述检测框与对应类别的所述历史轨迹之间的距离。

7.根据权利要求5所述的方法，其特征在于，所述基于交并比的计算结果再在所述跟踪列表以及所述跟丢列表中进行目标匹配，以确定所述当前图像帧中各个目标的轨迹，包括：

当在所述跟踪列表以及所述跟丢列表中均匹配不到目标时，确定所述检测框对应的目标为新目标，并为所述新目标分配轨迹标识。

8.一种目标跟踪装置，其特征在于，包括：

获取模块，用于获取待处理视频的当前图像帧以及所述待处理视频中各个历史目标的历史轨迹；

网络处理模块，用于将所述当前图像帧输入目标跟踪网络中，得到所述当前图像帧中各个像素点的特征信息及位置信息；

匹配模块，用于根据所述各个像素点的特征信息及位置信息在所述各个历史目标的历史轨迹中进行目标匹配，确定所述当前图像帧中各个目标的轨迹；所述根据所述各个像素点的特征信息及位置信息在所述各个历史目标的历史轨迹中进行目标匹配具体包括：利用当前图像帧中各个像素点的位置信息与历史轨迹中各个像素点的历史位置信息进行匹配，得到各个像素点的匹配结果，并根据各个像素点的特征信息对所述匹配结果进行合并；所述特征信息包括所属的目标类别，所述位置信息包括对应的检测框的位置信息。

9.一种电子设备，其特征在于，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-7中任一项所述的目标跟踪方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行权利要求1-7中任一项所述的目标跟踪方法。

Images