CN115760905A - 目标跟踪方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种目标跟踪方法、装置、电子设备及计算机可读存储介质。目标跟踪方法包括：利用多任务神经网络从历史图像帧中获取与待跟踪目标对应的候选部位检测框、REID信息和若干个人体关键点，并创建与待跟踪目标对应的跟踪对象；基于根据历史图像帧获取的跟踪对象的REID信息和根据当前图像帧获取的多个检测对象的REID信息，构建REID相似度矩阵；利用通用匹配算法基于REID相似度矩阵对跟踪对象和多个检测对象进行特征匹配；从多个检测对象中获取到与跟踪对象匹配成功的检测对象，以作为目标检测对象；将目标检测对象的各部位坐标信息以及人体姿态关键点信息合并到跟踪对象的历史跟踪信息中。上述方案，能够减小系统运行耗时。

Description

目标跟踪方法、装置、电子设备及计算机可读存储介质

技术领域

本申请涉及计算机视觉技术领域，特别是涉及一种目标跟踪方法、装置、电子设备及计算机可读存储介质。

背景技术

多目标姿态跟踪是计算机视觉方向中非常重要的研究方向之一，通过对马路、商场等公共区域的行人进行轨迹跟踪能够完成区域人流密度统计、办公区域无感打卡、非法入侵区域报警等，通过对目标的姿态进行跟踪，能够预测目标的动作趋势、跌倒报警、打斗报警等等，是未来智慧生活、万物互联的重要技术手段之一。

目前常见的多目标姿态跟踪技术往往依赖多个神经网络的组合，将目标检测、姿态估计、人脸识别、行人重识别等环节分配给各个子网络，最后将各自的网络输出结果进行逻辑组合，完成最终的姿态跟踪。这势必导致整个流程的耗时巨大，多个网络模型的管理也较为繁琐，为工业界的技术落地带来重重困难。因此设计一种兼顾目标检测、姿态估计以及特征提取的多任务神经网络是十分重要且意义非凡的。

发明内容

本申请主要解决的技术问题是提供一种目标跟踪方法、装置、电子设备及计算机可读存储介质，能够减小系统运行耗时。

为了解决上述问题，本申请第一方面提供了一种目标跟踪方法，所述目标跟踪方法包括：利用多任务神经网络从历史图像帧中获取与待跟踪目标对应的候选部位检测框、REID信息和若干个人体关键点；根据所述待跟踪目标对应的候选部位检测框、REID信息和若干个人体关键点，创建与所述待跟踪目标对应的跟踪对象；基于根据所述历史图像帧获取的所述跟踪对象的REID信息和根据当前图像帧获取的多个检测对象的REID信息，构建REID相似度矩阵；利用通用匹配算法基于所述REID相似度矩阵对所述跟踪对象和所述多个检测对象进行特征匹配；从所述多个检测对象中获取到与所述跟踪对象匹配成功的检测对象，以作为目标检测对象；将所述目标检测对象的各部位坐标信息以及人体姿态关键点信息合并到所述跟踪对象的历史跟踪信息中。

其中，所述根据所述待跟踪目标对应的候选部位检测框、REID信息和若干个人体关键点，创建与所述待跟踪目标对应的跟踪对象，包括：通过人体关键点聚类算法对所述若干个人体关键点进行关键点聚类，得到所述待跟踪目标的若干个人体姿态关键点；采用基于人体姿态关键点监督的关联策略，从所述候选部位检测框中确定出真实部位检测框；根据所述真实部位检测框、所述REID信息和所述若干个人体姿态关键点，创建与所述待跟踪目标对应的所述跟踪对象。

其中，所述部位检测框包括人脸检测框、头肩检测框和人体检测框；所述采用基于人体姿态关键点监督的关联策略，从所述候选部位检测框中确定出真实部位检测框，包括：根据所述若干个人体姿态关键点中的上下左右四个边界点获得理论人体检测框，将所述理论人体检测框与所有候选人体检测框进行交并比匹配，根据匹配结果确定真实人体检测框；从框中心点在所述真实人体检测框内部的所有候选头肩检测框中，筛选出框中包含的人体姿态关键点满足第一预设条件的所有目标候选头肩检测框，计算所述所有目标候选头肩检测框与所述真实人体检测框的交并比，选出交并比最大的目标候选头肩检测框作为真实头肩检测框；从框中心点在所述真实头肩检测框内部的所有候选人脸检测框中，筛选出框中包含的人体姿态关键点满足第二预设条件的所有目标候选人脸检测框，计算所述所有目标候选人脸检测框与所述真实头肩检测框的交并比，选出交并比最大的目标候选人脸检测框作为真实人脸检测框。

其中，在所述基于根据所述历史图像帧获取的所述跟踪对象的REID信息和根据当前图像帧获取的多个检测对象的REID信息，构建REID相似度矩阵之前，所述方法包括：判断根据所述当前图像帧获取的所述多个检测对象是否包含REID信息；响应于所述多个检测对象包含REID信息，执行所述基于根据所述历史图像帧获取的所述跟踪对象的REID信息和根据当前图像帧获取的多个检测对象的REID信息，构建REID相似度矩阵的步骤；响应于所述多个检测对象不包含REID信息，根据所述跟踪对象的历史跟踪信息中的部位检测框和当前图像帧获取的所述多个检测对象的部位检测框，对所述跟踪对象和所述多个检测对象进行交并比匹配，并执行所述从所述多个检测对象中获取到与所述跟踪对象匹配成功的检测对象，以作为目标检测对的步骤。

其中，所述根据所述跟踪对象的历史跟踪信息中的部位检测框和当前图像帧获取的所述多个检测对象的部位检测框，对所述跟踪对象和所述多个检测对象进行交并比匹配，包括：将所述跟踪对象的部位检测框和所述多个检测对象的部位检测框进行交并比计算，构建交并比距离矩阵；利用所述通用匹配算法基于所述交并比距离矩阵对所述跟踪对象和所述多个检测对象进行匹配。

其中，所述REID信息包括人脸REID信息和人体REID信息，所述REID相似度矩阵包括人脸REID相似度矩阵与人体REID相似度矩阵；所述利用通用匹配算法基于所述REID相似度矩阵对所述跟踪对象和所述多个检测对象进行特征匹配，包括：利用所述通用匹配算法基于所述人脸REID相似度矩阵对所述跟踪对象和所述多个检测对象进行人脸特征匹配；响应于所述人脸特征匹配成功，则执行所述从所述多个检测对象中获取到与所述跟踪对象匹配成功的检测对象，以作为目标检测对象的步骤；响应于所述人脸特征匹配不成功，则进一步利用所述通用匹配算法基于所述人体REID相似度矩阵对所述跟踪对象和所述多个检测对象进行人体特征匹配；若所述人体特征匹配成功，则执行所述从所述多个检测对象中获取到与所述跟踪对象匹配成功的检测对象，以作为目标检测对象的步骤；若所述人体特征匹配不成功，则执行所述将所述跟踪对象的部位检测框和所述多个检测对象的部位检测框进行交并比计算，构建交并比距离矩阵的步骤。

其中，所述将所述跟踪对象的部位检测框和所述多个检测对象的部位检测框进行交并比计算，构建交并比距离矩阵，包括：获取所述多个检测对象在所述当前图像帧中与所述跟踪对象的历史跟踪信息中具有的所有相同部位的部位检测框；计算所述跟踪对象与所述多个检测对象之间的所述所有相同部位的部位检测框的交并比；根据所述所有相同部位的部位检测框的交并比，得到所述跟踪对象与所述多个检测对象之间的平均交并比；根据所述跟踪对象与每个所述检测对象之间的平均交并比，构建所述交并比距离矩阵。

其中，在所述利用所述通用匹配算法基于所述交并比距离矩阵对所述跟踪对象和所述多个检测对象进行匹配之后，所述方法还包括：若所述跟踪对象与所述多个检测对象均匹配不成功，则将所述跟踪对象的状态更新为丢失状态，并在所述跟踪对象持续处于丢失状态的图像帧数大于预设帧数时，将所述跟踪对象删除，和/或，将每个所述检测对象均创建为新的跟踪对象。

为了解决上述问题，本申请第二方面提供了一种目标跟踪装置，所述目标跟踪装置包括：获取模块，所述获取模块用于利用多任务神经网络从历史图像帧中获取与待跟踪目标对应的候选部位检测框、REID信息和若干个人体关键点；创建模块，所述创建模块用于根据所述待跟踪目标对应的候选部位检测框、REID信息和若干个人体关键点，创建与所述待跟踪目标对应的跟踪对象；匹配模块，所述匹配模块用于基于根据所述历史图像帧获取的所述跟踪对象的REID信息和根据当前图像帧获取的多个检测对象的REID信息，构建REID相似度矩阵；以及利用通用匹配算法基于所述REID相似度矩阵对所述跟踪对象和所述多个检测对象进行特征匹配；处理模块，所述处理模块用于从所述多个检测对象中获取到与所述跟踪对象匹配成功的检测对象，以作为目标检测对象，并将所述目标检测对象的各部位坐标信息以及人体姿态关键点信息合并到所述跟踪对象的历史跟踪信息中。

为解决上述问题，本申请第三方面提供了一种电子设备，所述声源方位的定位电子设备包括相互连接的处理器和存储器；所述存储器用于存储程序指令，所述处理器用于执行所述程序指令以实现上述第一方面的目标跟踪方法。

为解决上述问题，本申请第四方面提供了一种计算机可读存储介质，其上存储有程序指令，所述程序指令被处理器执行时实现上述第一方面的目标跟踪方法。

本发明的有益效果是：区别于现有技术的情况，本申请的目标跟踪方法利用多任务神经网络从历史图像帧中获取与待跟踪目标对应的候选部位检测框、REID信息和若干个人体关键点，然后根据待跟踪目标对应的候选部位检测框、REID信息和若干个人体关键点，可以创建与待跟踪目标对应的跟踪对象；在跟踪过程中，可以基于根据历史图像帧获取的跟踪对象的REID信息和根据当前图像帧获取的多个检测对象的REID信息，构建REID相似度矩阵，然后利用通用匹配算法基于REID相似度矩阵对跟踪对象和多个检测对象进行特征匹配，从而可以从多个检测对象中获取到与跟踪对象匹配成功的检测对象，以作为目标检测对象，于是可以将目标检测对象的各部位坐标信息以及人体姿态关键点信息合并到跟踪对象的历史跟踪信息中。通过采用多任务神经网络结构，网络一次前向即可同时输出部位检测框、REID信息和人体关键点等相关信息，因为三个任务均复用同一个主干网络，所以系统运行耗时大大降低。

附图说明

图1是本申请目标跟踪方法一实施例的流程示意图；

图2是本申请一应用场景中多任务神经网络一实施例的结构示意图；

图3是图1中步骤S12一实施例的流程示意图；

图4是本申请一应用场景中人体姿态示意图；

图5是图3中步骤S122一实施例的流程示意图；

图6a和图6b是本申请一应用场景中基于交并比的三部位关联效果示意图；

图7是本申请一应用场景中基于人体姿态的三部位关联示意图；

图8a和图8b是本申请一应用场景中基于人体姿态的三部位关联效果示意图；

图9是本申请目标跟踪方法另一实施例的流程示意图；

图10是图9中步骤S96一实施例的流程示意图；

图11是图9中步骤S95一实施例的流程示意图；

图12是图10中步骤S961一实施例的流程示意图；

图13是本申请一应用场景中检测对象与跟踪对象之间的交并比计算示意图；

图14是本申请一应用场景中跟踪效果示意图；

图15是本申请一应用场景中目标跟踪方法的流程示意图；

图16是本申请目标跟踪装置一实施例的结构示意图；

图17是本申请电子设备一实施例的结构示意图；

图18是本申请计算机可读存储介质一实施例的结构示意图。

具体实施方式

下面结合说明书附图，对本申请实施例的方案进行详细说明。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。

本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。

请参阅图1，图1是本申请目标跟踪方法一实施例的流程示意图。本实施例中的目标跟踪方法，包括以下步骤：

步骤S11：利用多任务神经网络从历史图像帧中获取与待跟踪目标对应的候选部位检测框、REID信息和若干个人体关键点。

具体地，本申请实施例中可以采用HRNet(人体姿态识别网络)作为多任务神经网络的主干网络，请参阅图2，图2是本申请一应用场景中多任务神经网络一实施例的结构示意图，将一图像帧输入多任务神经网络后，参考FairMOT(实时多目标跟踪)进行多任务训练，最终可以同时输出部位检测框(DETECTION)、REID信息(RE-ID，行人重识别)和人体关键点(KEY-POINTS)。在一实施例中，部位检测框可以包含人脸、头肩以及人体三类的检测结果，REID信息可以包括人脸REID信息与人体REID信息，人体关键点可以包括18个人体部位的关键点。

步骤S12：根据所述待跟踪目标对应的候选部位检测框、REID信息和若干个人体关键点，创建与所述待跟踪目标对应的跟踪对象。

可以理解的是，根据待跟踪目标对应的候选部位检测框、REID信息和若干个人体关键点，每一个待跟踪目标都会被创建为一个跟踪对象。在一实施例中，跟踪对象的跟踪信息应包含该待跟踪目标的人脸检测框、头肩检测框、人体检测框、人体关键点、人脸REID信息以及人体REID信息等。

请结合图3，图3是图1中步骤S12一实施例的流程示意图。在一实施例中，上述步骤S12具体包括：

步骤S121：通过人体关键点聚类算法对所述若干个人体关键点进行关键点聚类，得到所述待跟踪目标的若干个人体姿态关键点。

可以理解的是，网络输出的人体关键点是一些无关联的孤立点，因此需要对所有的人体关键点进行聚类，得到每个待跟踪目标的姿态实例，包括若干个人体姿态关键点。本申请实施例中，可以采用通用人体关键点聚类算法Mid-range pairwise offsets完成关键点聚类，如图4所示，每个待跟踪目标都会被聚类为具有18个点的人体姿态。

步骤S122：采用基于人体姿态关键点监督的关联策略，从所述候选部位检测框中确定出真实部位检测框。

可以理解的是，每一个待跟踪目标都会被创建为一个跟踪对象，包含该待跟踪目标的人脸检测框、头肩检测框、人体检测框、人体关键点、人脸REID信息以及人体REID信息。其中人脸检测框与人脸REID信息在网络输出时共用同一张heat-map(热力图)，人体检测框与人体REID信息在网络输出时共用同一张heat-map，所以部位检测框与REID信息是一一对应的，但是不同类别的部位检测框之间没有关联关系，从网络输出结果中无法得知某个人脸检测框、某个头肩检测框与某个人体检测框属于同一个人。如果仅使用空间交并比进行人脸检测框、头肩检测框与人体检测框的关联，则会出现如图6a和图6b所示的情况，相同目标可以用同一种颜色或者类型的框来标注，于是根据空间交并比来进行标注的话，图6a中间的两个人可以分别用不同颜色的框标注，但是在图6b中，远处的人的人脸检测框完全位于近处的人的人体检测框内，则会导致两个人的检测框相关联，从而导致某个跟踪对象中包含了不同的待跟踪目标的人体检测框与人脸检测框，势必会导致后续跟踪匹配过程产生错误。因此，为解决交并比关联精度低的问题，本申请实施例可以采用基于人体姿态关键点监督的关联策略，如图8a和图8b所示，图8a和图8b是本申请一应用场景中基于人体姿态的三部位关联效果示意图，步骤S121可以将人体关键点聚类为一个个姿态实例，即使待跟踪目标处于背影状态也可以给出头部的关键点，于是通过计算头部关键点在候选人脸检测框内部的个数即可以完成候选框的筛选。如图8a所示，中间处于背影状态的待跟踪目标的5个头部关键点均不在候选人脸检测框内部(人脸检测框中心点在头肩检测框内部会被认定为候选人脸检测框)，如图8b所示，中间处于背影状态的待跟踪目标仅有一个头部关键点在候选人脸检测框内部，所以该人脸检测框不会与该待跟踪目标进行关联。当然，对于人流量很大的密集场景，某些待跟踪目标无法检出人体关键点时，仍然可以使用交并比关联方案。

具体地，部位检测框包括人脸检测框、头肩检测框和人体检测框，请结合图7，图7是本申请一应用场景中基于人体姿态的三部位关联示意图，在实际应用过程中，可以用不同颜色或者类型的框来标注不同的部位检测框，例如可以用蓝色框表示人脸检测框F1，红色框表示头肩检测框F2，绿色框表示人体检测框F3，经过步骤S121的人体关键点聚类后，可以获得每个待跟踪目标包含的18个人体姿态关键点的完整人体姿态骨架。

请结合图5，图5是图3中步骤S122一实施例的流程示意图。在一实施例中，上述步骤S122具体包括：

步骤S1221：根据所述若干个人体姿态关键点中的上下左右四个边界点获得理论人体检测框，将所述理论人体检测框与所有候选人体检测框进行交并比匹配，根据匹配结果确定真实人体检测框。

例如，可以利用人体姿态关键点的上下左右四个边界点经外扩20％获得理论人体检测框，然后将理论人体检测框与画面中所有的人体检测框进行交并比匹配，其中满足max_iou>0.7的人体检测框则被认定为真实人体检测框，若max_iou<＝0.7，则使用理论人体检测框作为真实人体检测框。

步骤S1222：从框中心点在所述真实人体检测框内部的所有候选头肩检测框中，筛选出框中包含的人体姿态关键点满足第一预设条件的所有目标候选头肩检测框，计算所述所有目标候选头肩检测框与所述真实人体检测框的交并比，选出交并比最大的目标候选头肩检测框作为真实头肩检测框。

在确定真实人体检测框后，可以将画面中所有的框中心点在真实人体检测框内部的头肩检测框作为候选头肩检测框，然后从候选头肩检测框中筛选出框中包含的人体姿态关键点满足第一预设条件的所有候选头肩检测框作为目标候选头肩检测框，例如，头肩关键点为8个(左耳、左眼、鼻子、右眼、右耳、脖子、左肩、右肩)，可以将框中所包含的上述头肩关键点的个数小于5个的候选头肩检测框过滤掉，然后计算剩余的候选头肩检测框与真实人体检测框的交并比，从中选出交并比最大的候选头肩检测框，确定为真实头肩检测框。

步骤S1223：从框中心点在所述真实头肩检测框内部的所有候选人脸检测框中，筛选出框中包含的人体姿态关键点满足第二预设条件的所有目标候选人脸检测框，计算所述所有目标候选人脸检测框与所述真实头肩检测框的交并比，选出交并比最大的目标候选人脸检测框作为真实人脸检测框。

在确定真实头肩检测框后，可以将画面中所有的框中心点在真实头肩检测框内部的人脸检测框作为候选人脸检测框，然后从候选人脸检测框中筛选出框中包含的人体姿态关键点满足第二预设条件的所有候选头肩检测框作为目标候选人脸检测框，例如，人脸关键点为5个(左耳、左眼、鼻子、右眼、右耳)，可以将框中所包含的上述人脸关键点的个数小于3个的候选人脸检测框过滤掉，然后计算剩余的候选人脸检测框与真实头肩检测框的交并比，从中选出交并比最大的候选人脸检测框，确定为真实人脸检测框。

步骤S123：根据所述真实部位检测框、所述REID信息和所述若干个人体姿态关键点，创建与所述待跟踪目标对应的所述跟踪对象。

综上所述，根据上述真实部位检测框、REID信息和若干个人体姿态关键点，可以对待跟踪目标创建仅属于自己的跟踪对象，其中跟踪对象包括人脸检测框、头肩检测框、人体检测框、人脸REID信息、人体REID信息以及人体姿态。当然，可能因为遮挡、背影、拥挤等原因缺少某类部位检测框与其对应的REID信息(头肩框没有REID信息)。

步骤S13：基于根据所述历史图像帧获取的所述跟踪对象的REID信息和根据当前图像帧获取的多个检测对象的REID信息，构建REID相似度矩阵。

在跟踪过程中，对于当前图像帧新检测到的多个检测对象，可以根据历史图像帧获取跟踪对象的REID信息，以及根据当前图像帧获取多个检测对象的REID信息，然后基于跟踪对象的REID信息和多个检测对象的REID信息来进行余弦相似度计算，构建REID相似度矩阵。

步骤S14：利用通用匹配算法基于所述REID相似度矩阵对所述跟踪对象和所述多个检测对象进行特征匹配。

步骤S15：从所述多个检测对象中获取到与所述跟踪对象匹配成功的检测对象，以作为目标检测对象。

然后可以利用通用匹配算法，例如匈牙利算法，基于REID相似度矩阵进行特征匹配，从而可以从多个检测对象中获取到与跟踪对象匹配成功的检测对象，以作为目标检测对象。

步骤S16：将所述目标检测对象的各部位坐标信息以及人体姿态关键点信息合并到所述跟踪对象的历史跟踪信息中。

在获取到与跟踪对象匹配的目标检测对象后，可以将目标检测对象的各部位坐标信息以及人体姿态关键点信息合并到跟踪对象的历史跟踪信息中，以对跟踪对象的跟踪信息进行更新。

上述方案，通过采用多任务神经网络结构，网络一次前向即可同时输出部位检测框、REID信息和人体关键点等相关信息，因为三个任务均复用同一个主干网络，所以系统运行耗时大大降低。另外，本申请实施例采用基于人体姿态关键点的多部位关联方法，通过判断人体姿态关键点在候选检测框内部的个数来筛选候选检测框，能够有效避免人群拥挤时使用交并比关联而产生的误关联，得益于人体姿态关键点的监督关联策略，能够很大程度地降低因错误关联而引起的跟踪错误(串ID、断ID等)。

请参阅图9，图9是本申请目标跟踪方法另一实施例的流程示意图。本实施例中的目标跟踪方法，包括以下步骤：

步骤S91：利用多任务神经网络从历史图像帧中获取与待跟踪目标对应的候选部位检测框、REID信息和若干个人体关键点。

步骤S92：根据所述待跟踪目标对应的候选部位检测框、REID信息和若干个人体关键点，创建与所述待跟踪目标对应的跟踪对象。

步骤S93：判断根据所述当前图像帧获取的所述多个检测对象是否包含REID信息。若所述多个检测对象包含REID信息，则执行步骤S94；若所述多个检测对象不包含REID信息，则执行步骤S96。

步骤S94：基于根据所述历史图像帧获取的所述跟踪对象的REID信息和根据当前图像帧获取的多个检测对象的REID信息，构建REID相似度矩阵。

步骤S95：利用通用匹配算法基于所述REID相似度矩阵对所述跟踪对象和所述多个检测对象进行特征匹配。

步骤S96：根据所述跟踪对象的历史跟踪信息中的部位检测框和当前图像帧获取的所述多个检测对象的部位检测框，对所述跟踪对象和所述多个检测对象进行交并比匹配。

步骤S97：从所述多个检测对象中获取到与所述跟踪对象匹配成功的检测对象，以作为目标检测对象。

步骤S98：将所述目标检测对象的各部位坐标信息以及人体姿态关键点信息合并到所述跟踪对象的历史跟踪信息中。

本实施例的步骤S91、S92、94、95、97、98的内容与上一实施例的步骤S11至S16基本类似，此处不再赘述。区别在于，本实施例中，当检测对象包含REID信息时，则采用REID信息进行特征匹配，当检测对象不包含REID信息时，则采用部位检测框进行交并比匹配，使得跟踪结果更加精准。

请结合图10，图10是图9中步骤S96一实施例的流程示意图。在一实施例中，上述步骤S96具体包括：

步骤S961：将所述跟踪对象的部位检测框和所述多个检测对象的部位检测框进行交并比计算，构建交并比距离矩阵。

请结合图12，图12是图10中步骤S961一实施例的流程示意图。

在一实施例中，上述步骤S961具体包括：

步骤S9611：获取所述多个检测对象在所述当前图像帧中与所述跟踪对象的历史跟踪信息中具有的所有相同部位的部位检测框。

步骤S9612：计算所述跟踪对象与所述多个检测对象之间的所述所有相同部位的部位检测框的交并比。

步骤S9613：根据所述所有相同部位的部位检测框的交并比，得到所述跟踪对象与所述多个检测对象之间的平均交并比。

步骤S9614：根据所述跟踪对象与每个所述检测对象之间的平均交并比，构建所述交并比距离矩阵。

具体地，在跟踪对象与当前帧的检测对象进行IOU(交并比)匹配过程中，采用交集部位平均交并比的策略，即只有在跟踪对象与检测对象中同时存在的部位才会进行交并比计算，并且对多个部位的交并比进行平均计算。如图13所示，图13是本申请一应用场景中检测对象与跟踪对象之间的交并比计算示意图，跟踪对象A此时只有人脸和头肩的历史信息，但是检测对象B具有人脸、头肩以及人体三个部位的当前帧坐标信息，则跟踪对象A和检测对象B只会计算共同拥有的部位的交并比。即计算跟踪对象A的人脸检测框与检测对象B的人脸检测框的交并比IOU_face，以及跟踪对象A的头肩检测框与检测对象B的头肩检测框的交并比IOU_shoulder，最后对IOU_face与IOU_shoulder求平均值得到IOU_ave，作为跟踪对象A与检测对象B之间的交并比，如此便得到一对检测对象与跟踪对象的交并比。在实际跟踪过程中，每一帧中都会新增m个检测对象，并且此时也会存在n个激活状态的跟踪对象，因此，可以计算得到维度为m*n的二维矩阵，其中矩阵的元素为跟踪对象和检测对象两两之间的平均交并比。最后作为分配任务，使用匈牙利匹配算法可以给出基于该二维矩阵的最佳配对结果，实现跟踪对象和检测对象的成功匹配。

步骤S962：利用所述通用匹配算法基于所述交并比距离矩阵对所述跟踪对象和所述多个检测对象进行匹配。

在跟踪过程中，对于当前图像帧新检测到的多个检测对象，当不存在REID信息时，则可以根据历史图像帧获取跟踪对象的部位检测框，以及根据当前图像帧获取多个检测对象的部位检测框，然后基于跟踪对象的部位检测框和多个检测对象的部位检测框来进行交并比计算，构建交并比距离矩阵。然后可以利用通用匹配算法，例如匈牙利算法，基于交并比距离矩阵进行匹配，从而可以从多个检测对象中获取到与跟踪对象匹配成功的检测对象，以作为目标检测对象。

在一实施例中，本申请的目标跟踪方法还包括：若所述跟踪对象与所述多个检测对象均匹配不成功，则将所述跟踪对象的状态更新为丢失状态，并在所述跟踪对象持续处于丢失状态的图像帧数大于预设帧数时，将所述跟踪对象删除，和/或，将每个所述检测对象均创建为新的跟踪对象。

可以理解的是，当跟踪对象与某个检测对象匹配成功时，则可以将检测对象的各部位坐标信息以及人体姿态关键点信息更新到对应的跟踪对象中。而当某个检测对象没有匹配上任何一个跟踪对象时，则认为当前帧发现的该检测对象为新的待跟踪目标，于是可以将该检测对象创建为新的跟踪对象。另外，当某个跟踪对象没有匹配上任何一个检测对象，则认为该跟踪对象在当前帧处于丢失状态；可以理解的是，在一实施方式中，当某个跟踪对象持续处于丢失状态的图像帧数大于预设帧数时，则可以将该跟踪对象删除，例如如果某个跟踪对象丢失状态持续30帧以上，则该跟踪对象将会被删除。

在跟踪过程中，因为以跟踪对象与检测对象为最小单位进行匹配，所以可以解决很多转头、遮挡等常见的跟踪问题。如图14所示，图14是本申请一应用场景中跟踪效果示意图，当右后方的目标的人体检测框没有检测到时，能够依赖其人脸REID信息、人脸检测框以及头肩检测框完成匹配，当该目标的人体检测框再次检出时，人体检测框依旧可以保持原始的目标ID，即可以用相同颜色或者类型的框表示。特别地，即使人体检测框长时间无法检出，只要跟踪对象中其它部位能够持续完成匹配、关联，则该目标ID一直会保留下去，不会因人体检测框消失时长超过丢失次数阈值而结束跟踪对象的生命周期。

上述方案，根据人脸、头肩、人体三部位采用交集部位取平均交并比的方式，在某类检测框没有检出的情况下依旧可以通过跟踪对象中其它部位进行持续跟踪，同时其它未检出部位不会因为消失次数超会阈值而被删除，因此能够解决很多转头、遮挡引起的断ID问题。

请结合图11，图11是图9中步骤S95一实施例的流程示意图。在一实施例中，REID信息包括人脸REID信息和人体REID信息，REID相似度矩阵包括人脸REID相似度矩阵与人体REID相似度矩阵；上述步骤S95具体包括：

步骤S951：利用所述通用匹配算法基于所述人脸REID相似度矩阵对所述跟踪对象和所述多个检测对象进行人脸特征匹配。若所述人脸特征匹配成功，则执行步骤S97；若所述人脸特征匹配不成功，则执行步骤S952。

步骤S952：利用所述通用匹配算法基于所述人体REID相似度矩阵对所述跟踪对象和所述多个检测对象进行人体特征匹配。若所述人体特征匹配成功，则执行步骤S97；若所述人体特征匹配不成功，则执行步骤S961。

可以理解的是，本申请实施例中，每个跟踪对象包含对应的待跟踪目标的人脸检测框、头肩检测框、人体检测框、人脸REID信息、人体REID信息以及人体姿态关键点，在跟踪过程依赖于REID信息的特征匹配与检测框的交并比匹配，使得跟踪结果更加精准。在人脸REID信息与人体REID信息都存在时，优先使用区别度更高、信息更加丰富的人脸REID信息进行匹配，其余情况存在哪个REID信息就用哪个REID信息。而当REID信息都不存在时，则采用交并比匹配的方式进行匹配。

请参阅图15，图15是本申请一应用场景中目标跟踪方法的流程示意图。在一应用场景中，对于第k+1帧新检测到的检测体(检测对象)匹配跟踪体(跟踪对象)；第一步：判断第k+1帧的n个新检测体中是否包含REID信息，如果含有REID信息，则将n个新检测体与m个历史跟踪体中的REID信息进行余弦相似度计算，构建人脸REID相似度矩阵与人体REID相似度矩阵；第二步：利用通用匹配算法即匈牙利算法基于特征矩阵进行特征匹配，若匹配成功则进入第五步，其中，若人脸REID信息匹配失败，则进行人体REID信息匹配，如果人脸、人体REID信息匹配均失败则进入第三步；第三步：将n个新检测体与m个历史跟踪体中的各部位检测框进行交并比计算，并构建交并比距离矩阵；第四步：利用通用匹配算法即匈牙利算法基于交并比距离矩阵进行匹配，若匹配成功则进入第五步，若匹配失败则进入第六步；第五步：将当前检测体中各部位坐标信息以及人体姿态关键点信息合并到对应历史跟踪体的历史跟踪目标信息中，并返回第一步进入循环；第六步：对于当前帧中与历史跟踪体未匹配成功的检测体，可以创建为新的跟踪体并进入下一帧循环，历史跟踪体中没有匹配到当前帧中对应的检测体时，则该历史跟踪体的丢失次数加1，另外，若丢失次数达到30次，则删除该跟踪体。

请参阅图16，图16是本申请目标跟踪装置一实施例的结构示意图。本实施例中的目标跟踪装置16包括相互连接的获取模块160、创建模块162、匹配模块164和处理模块166；所述获取模块160用于利用多任务神经网络从历史图像帧中获取与待跟踪目标对应的候选部位检测框、REID信息和若干个人体关键点；所述创建模块162用于根据所述待跟踪目标对应的候选部位检测框、REID信息和若干个人体关键点，创建与所述待跟踪目标对应的跟踪对象；所述匹配模块164用于基于根据所述历史图像帧获取的所述跟踪对象的REID信息和根据当前图像帧获取的多个检测对象的REID信息，构建REID相似度矩阵；以及利用通用匹配算法基于所述REID相似度矩阵对所述跟踪对象和所述多个检测对象进行特征匹配；所述处理模块166用于从所述多个检测对象中获取到与所述跟踪对象匹配成功的检测对象，以作为目标检测对象，并将所述目标检测对象的各部位坐标信息以及人体姿态关键点信息合并到所述跟踪对象的历史跟踪信息中。

在一实施例中，所述创建模块162执行根据所述待跟踪目标对应的候选部位检测框、REID信息和若干个人体关键点，创建与所述待跟踪目标对应的跟踪对象的步骤，具体包括：通过人体关键点聚类算法对所述若干个人体关键点进行关键点聚类，得到所述待跟踪目标的若干个人体姿态关键点；采用基于人体姿态关键点监督的关联策略，从所述候选部位检测框中确定出真实部位检测框；根据所述真实部位检测框、所述REID信息和所述若干个人体姿态关键点，创建与所述待跟踪目标对应的所述跟踪对象。

在一实施例中，所述部位检测框包括人脸检测框、头肩检测框和人体检测框；所述创建模块162执行采用基于人体姿态关键点监督的关联策略，从所述候选部位检测框中确定出真实部位检测框的步骤，包括：根据所述若干个人体姿态关键点中的上下左右四个边界点获得理论人体检测框，将所述理论人体检测框与所有候选人体检测框进行交并比匹配，根据匹配结果确定真实人体检测框；从框中心点在所述真实人体检测框内部的所有候选头肩检测框中，筛选出框中包含的人体姿态关键点满足第一预设条件的所有目标候选头肩检测框，计算所述所有目标候选头肩检测框与所述真实人体检测框的交并比，选出交并比最大的目标候选头肩检测框作为真实头肩检测框；从框中心点在所述真实头肩检测框内部的所有候选人脸检测框中，筛选出框中包含的人体姿态关键点满足第二预设条件的所有目标候选人脸检测框，计算所述所有目标候选人脸检测框与所述真实头肩检测框的交并比，选出交并比最大的目标候选人脸检测框作为真实人脸检测框。

在一实施例中，在所述匹配模块164执行基于根据所述历史图像帧获取的所述跟踪对象的REID信息和根据当前图像帧获取的多个检测对象的REID信息，构建REID相似度矩阵的步骤之前，匹配模块164还用于判断根据所述当前图像帧获取的所述多个检测对象是否包含REID信息；响应于所述多个检测对象包含REID信息，执行所述基于根据所述历史图像帧获取的所述跟踪对象的REID信息和根据当前图像帧获取的多个检测对象的REID信息，构建REID相似度矩阵的步骤；响应于所述多个检测对象不包含REID信息，根据所述跟踪对象的历史跟踪信息中的部位检测框和当前图像帧获取的所述多个检测对象的部位检测框，对所述跟踪对象和所述多个检测对象进行交并比匹配，并且处理模块166执行所述从所述多个检测对象中获取到与所述跟踪对象匹配成功的检测对象，以作为目标检测对的步骤。

在一实施例中，所述匹配模块164执行根据所述跟踪对象的历史跟踪信息中的部位检测框和当前图像帧获取的所述多个检测对象的部位检测框，对所述跟踪对象和所述多个检测对象进行交并比匹配的步骤，具体包括：将所述跟踪对象的部位检测框和所述多个检测对象的部位检测框进行交并比计算，构建交并比距离矩阵；利用所述通用匹配算法基于所述交并比距离矩阵对所述跟踪对象和所述多个检测对象进行匹配。

在一实施例中，所述REID信息包括人脸REID信息和人体REID信息，所述REID相似度矩阵包括人脸REID相似度矩阵与人体REID相似度矩阵；所述匹配模块164执行利用通用匹配算法基于所述REID相似度矩阵对所述跟踪对象和所述多个检测对象进行特征匹配的步骤，具体包括：利用所述通用匹配算法基于所述人脸REID相似度矩阵对所述跟踪对象和所述多个检测对象进行人脸特征匹配；响应于所述人脸特征匹配成功，则处理模块166执行所述从所述多个检测对象中获取到与所述跟踪对象匹配成功的检测对象，以作为目标检测对象的步骤；响应于所述人脸特征匹配不成功，则进一步利用所述通用匹配算法基于所述人体REID相似度矩阵对所述跟踪对象和所述多个检测对象进行人体特征匹配；若所述人体特征匹配成功，则处理模块166执行所述从所述多个检测对象中获取到与所述跟踪对象匹配成功的检测对象，以作为目标检测对象的步骤；若所述人体特征匹配不成功，则执行所述将所述跟踪对象的部位检测框和所述多个检测对象的部位检测框进行交并比计算，构建交并比距离矩阵的步骤。

在一实施例中，所述匹配模块164执行将所述跟踪对象的部位检测框和所述多个检测对象的部位检测框进行交并比计算，构建交并比距离矩阵的步骤，具体可以包括：获取所述多个检测对象在所述当前图像帧中与所述跟踪对象的历史跟踪信息中具有的所有相同部位的部位检测框；计算所述跟踪对象与所述多个检测对象之间的所述所有相同部位的部位检测框的交并比；根据所述所有相同部位的部位检测框的交并比，得到所述跟踪对象与所述多个检测对象之间的平均交并比；根据所述跟踪对象与每个所述检测对象之间的平均交并比，构建所述交并比距离矩阵。

在一实施例中，在所述匹配模块164执行利用所述通用匹配算法基于所述交并比距离矩阵对所述跟踪对象和所述多个检测对象进行匹配的步骤之后，若所述跟踪对象与所述多个检测对象均匹配不成功，则所述处理模块166还用于将所述跟踪对象的状态更新为丢失状态，并在所述跟踪对象持续处于丢失状态的图像帧数大于预设帧数时，将所述跟踪对象删除，和/或，将每个所述检测对象均创建为新的跟踪对象。

请参阅图17，图17是本申请电子设备一实施例的结构示意图。本实施例中的电子设备17包括相互连接的处理器172和存储器171；存储器171用于存储程序指令，处理器172用于执行存储器171中存储的程序指令，以实现上述任一目标跟踪方法实施例的步骤。在一个具体的实施场景中，电子设备17可以包括但不限于：微型计算机、服务器。

具体而言，处理器172用于控制其自身以及存储器171以实现上述任一目标跟踪方法实施例的步骤。处理器172还可以称为CPU(Central Processing Unit，中央处理单元)。处理器172可能是一种集成电路芯片，具有信号的处理能力。处理器172还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器172可以由集成电路芯片共同实现。

请参阅图18，图18是本申请计算机可读存储介质一实施例的结构示意图。本申请计算机可读存储介质18，其上存储有程序指令180，程序指令180被处理器执行时实现上述任一目标跟踪方法实施例中的步骤。

该计算机可读存储介质18具体可以为U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等可以存储程序指令180的介质，或者也可以为存储有该程序指令180的服务器，该服务器可将存储的程序指令180发送给其他设备运行，或者也可以自运行该存储的程序指令180。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法、设备和装置，可以通过其它的方式实现。例如，以上所描述的设备和装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (11)

1.一种目标跟踪方法，其特征在于，包括：

利用多任务神经网络从历史图像帧中获取与待跟踪目标对应的候选部位检测框、REID信息和若干个人体关键点；

根据所述待跟踪目标对应的候选部位检测框、REID信息和若干个人体关键点，创建与所述待跟踪目标对应的跟踪对象；

基于根据所述历史图像帧获取的所述跟踪对象的REID信息和根据当前图像帧获取的多个检测对象的REID信息，构建REID相似度矩阵；

利用通用匹配算法基于所述REID相似度矩阵对所述跟踪对象和所述多个检测对象进行特征匹配；

从所述多个检测对象中获取到与所述跟踪对象匹配成功的检测对象，以作为目标检测对象；

将所述目标检测对象的各部位坐标信息以及人体姿态关键点信息合并到所述跟踪对象的历史跟踪信息中。

2.根据权利要求1所述的目标跟踪方法，其特征在于，所述根据所述待跟踪目标对应的候选部位检测框、REID信息和若干个人体关键点，创建与所述待跟踪目标对应的跟踪对象，包括：

通过聚类算法对所述若干个人体关键点进行关键点聚类，得到所述待跟踪目标的若干个人体姿态关键点；

采用基于人体姿态关键点监督的关联策略，从所述候选部位检测框中确定出真实部位检测框；

根据所述真实部位检测框、所述REID信息和所述若干个人体姿态关键点，创建与所述待跟踪目标对应的所述跟踪对象。

3.根据权利要求2所述的目标跟踪方法，其特征在于，所述部位检测框包括人脸检测框、头肩检测框和人体检测框；

所述采用基于人体姿态关键点监督的关联策略，从所述候选部位检测框中确定出真实部位检测框，包括：

根据所述若干个人体姿态关键点中的上下左右四个边界点获得理论人体检测框，将所述理论人体检测框与所有候选人体检测框进行交并比匹配，根据匹配结果确定真实人体检测框；

从框中心点在所述真实人体检测框内部的所有候选头肩检测框中，筛选出框中包含的人体姿态关键点满足第一预设条件的所有目标候选头肩检测框，计算所述所有目标候选头肩检测框与所述真实人体检测框的交并比，选出交并比最大的目标候选头肩检测框作为真实头肩检测框；

从框中心点在所述真实头肩检测框内部的所有候选人脸检测框中，筛选出框中包含的人体姿态关键点满足第二预设条件的所有目标候选人脸检测框，计算所述所有目标候选人脸检测框与所述真实头肩检测框的交并比，选出交并比最大的目标候选人脸检测框作为真实人脸检测框。

4.根据权利要求1所述的目标跟踪方法，其特征在于，在所述基于根据所述历史图像帧获取的所述跟踪对象的REID信息和根据当前图像帧获取的多个检测对象的REID信息，构建REID相似度矩阵之前，所述方法包括：

判断根据所述当前图像帧获取的所述多个检测对象是否包含REID信息；

响应于所述多个检测对象包含REID信息，执行所述基于根据所述历史图像帧获取的所述跟踪对象的REID信息和根据当前图像帧获取的多个检测对象的REID信息，构建REID相似度矩阵的步骤；

响应于所述多个检测对象不包含REID信息，根据所述跟踪对象的历史跟踪信息中的部位检测框和当前图像帧获取的所述多个检测对象的部位检测框，对所述跟踪对象和所述多个检测对象进行交并比匹配，并执行所述从所述多个检测对象中获取到与所述跟踪对象匹配成功的检测对象，以作为目标检测对的步骤。

5.根据权利要求4所述的目标跟踪方法，其特征在于，所述根据所述跟踪对象的历史跟踪信息中的部位检测框和当前图像帧获取的所述多个检测对象的部位检测框，对所述跟踪对象和所述多个检测对象进行交并比匹配，包括：

将所述跟踪对象的部位检测框和所述多个检测对象的部位检测框进行交并比计算，构建交并比距离矩阵；

利用所述通用匹配算法基于所述交并比距离矩阵对所述跟踪对象和所述多个检测对象进行匹配。

6.根据权利要求5所述的目标跟踪方法，其特征在于，所述REID信息包括人脸REID信息和人体REID信息，所述REID相似度矩阵包括人脸REID相似度矩阵与人体REID相似度矩阵；

所述利用通用匹配算法基于所述REID相似度矩阵对所述跟踪对象和所述多个检测对象进行特征匹配，包括：

利用所述通用匹配算法基于所述人脸REID相似度矩阵对所述跟踪对象和所述多个检测对象进行人脸特征匹配；

响应于所述人脸特征匹配成功，则执行所述从所述多个检测对象中获取到与所述跟踪对象匹配成功的检测对象，以作为目标检测对象的步骤；

响应于所述人脸特征匹配不成功，则进一步利用所述通用匹配算法基于所述人体REID相似度矩阵对所述跟踪对象和所述多个检测对象进行人体特征匹配；

若所述人体特征匹配成功，则执行所述从所述多个检测对象中获取到与所述跟踪对象匹配成功的检测对象，以作为目标检测对象的步骤；

若所述人体特征匹配不成功，则执行所述将所述跟踪对象的部位检测框和所述多个检测对象的部位检测框进行交并比计算，构建交并比距离矩阵的步骤。

7.根据权利要求5或6所述的目标跟踪方法，其特征在于，所述将所述跟踪对象的部位检测框和所述多个检测对象的部位检测框进行交并比计算，构建交并比距离矩阵，包括：

获取所述多个检测对象在所述当前图像帧中与所述跟踪对象的历史跟踪信息中具有的所有相同部位的部位检测框；

计算所述跟踪对象与所述多个检测对象之间的所述所有相同部位的部位检测框的交并比；

根据所述所有相同部位的部位检测框的交并比，得到所述跟踪对象与所述多个检测对象之间的平均交并比；

根据所述跟踪对象与每个所述检测对象之间的平均交并比，构建所述交并比距离矩阵。

8.根据权利要求5或6所述的目标跟踪方法，其特征在于，在所述利用所述通用匹配算法基于所述交并比距离矩阵对所述跟踪对象和所述多个检测对象进行匹配之后，所述方法还包括：

若所述跟踪对象与所述多个检测对象均匹配不成功，则将所述跟踪对象的状态更新为丢失状态，并在所述跟踪对象持续处于丢失状态的图像帧数大于预设帧数时，将所述跟踪对象删除，和/或，将每个所述检测对象均创建为新的跟踪对象。

9.一种目标跟踪装置，其特征在于，所述目标跟踪装置包括：

获取模块，所述获取模块用于利用多任务神经网络从历史图像帧中获取与待跟踪目标对应的候选部位检测框、REID信息和若干个人体关键点；

创建模块，所述创建模块用于根据所述待跟踪目标对应的候选部位检测框、REID信息和若干个人体关键点，创建与所述待跟踪目标对应的跟踪对象；

匹配模块，所述匹配模块用于基于根据所述历史图像帧获取的所述跟踪对象的REID信息和根据当前图像帧获取的多个检测对象的REID信息，构建REID相似度矩阵；以及利用通用匹配算法基于所述REID相似度矩阵对所述跟踪对象和所述多个检测对象进行特征匹配；

处理模块，所述处理模块用于从所述多个检测对象中获取到与所述跟踪对象匹配成功的检测对象，以作为目标检测对象，并将所述目标检测对象的各部位坐标信息以及人体姿态关键点信息合并到所述跟踪对象的历史跟踪信息中。

10.一种电子设备，其特征在于，所述电子设备包括相互连接的处理器和存储器；

所述存储器用于存储程序指令，所述处理器用于执行所述程序指令以实现如权利要求1-8任一项所述的目标跟踪方法。

11.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至8任一项所述的目标跟踪方法。

Images