CN112150508A

CN112150508A - 一种目标追踪方法、装置及相关设备

Info

Publication number: CN112150508A
Application number: CN202011052491.6A
Authority: CN
Inventors: 何宇洋; 张达敏; 刘鹏里; 谢会斌; 李聪廷
Original assignee: Jinan Boguan Intelligent Technology Co Ltd
Current assignee: Jinan Boguan Intelligent Technology Co Ltd
Priority date: 2020-09-29
Filing date: 2020-09-29
Publication date: 2020-12-29
Anticipated expiration: 2040-09-29
Also published as: CN112150508B

Abstract

本申请公开了一种目标追踪方法，包括分别对第一图像帧和第二图像帧进行目标检测，获得第一检测序列和第二检测序列；分别对第一图像帧和第二图像帧进行特征提取，获得第一特征图和第二特征图；其中，特征图包括对应图像帧的全局特征和局部特征；将第一检测序列的中心坐标映射于第一特征图，获得第一特征向量，将第二检测序列的中心坐标映射于第二特征图，获得第二特征向量；对第一特征向量和第二特征向量进行特征匹配，获得匹配结果；根据匹配结果确定第二检测序列中与第一检测序列相匹配的目标；该目标追踪方法可以实现更为准确的目标追踪。本申请还公开了一种目标追踪装置、系统以及计算机可读存储介质，均具有上述有益效果。

Description

一种目标追踪方法、装置及相关设备

技术领域

本申请涉及图像处理技术领域，特别涉及一种目标追踪方法，还涉及一种目标追踪装置、系统以及计算机可读存储介质。

背景技术

多目标跟踪，即MOT(Multi-Object Tracking)，是一种在一段视频中同时跟踪多个目标的技术，广泛应用于安防、自动驾驶、人流量统计和车辆统计等任务中。由于多目标跟踪任务所应用的场景中，待跟踪的目标往往数量较多，例如地铁、机场的行人跟踪、十字路口的车流量统计等，人流、车流量密集且遮挡严重，因此，密集场景下的遮挡、多拍、跟踪错误问题是必须解决的重点问题。

DeepSort跟踪算法是MOT领域的一种常用算法，其在目标匹配过程中综合考虑了外观特征和运动特征的匹配程度，进而实现了目标追踪。然而，该种实现方式对外观特征的依赖性很强，难以训练相对准确的特征提取模型，而且，仅依赖外观特征和运动特征进行目标匹配，很容易发生跟踪错误，此外，DeepSort跟踪算法依赖于卡尔曼滤波算法，但卡尔曼滤波算法对于运动方向随机的目标，预测效果较差。由此可见，现有的DeepSort跟踪算法存在着严重的目标匹配不准确的问题，进而导致了目标追踪结果的不准确性。

因此，如何实现更为准确的目标追踪是本领域技术人员亟待解决的问题。

发明内容

本申请的目的是提供一种目标追踪方法，该目标追踪方法可以实现更为准确的目标追踪；本申请的另一目的是提供一种目标追踪装置、系统以及计算机可读存储介质，也具有上述有益效果。

第一方面，本申请提供了一种目标追踪方法，包括：

分别对第一图像帧和第二图像帧进行目标检测，获得第一检测序列和第二检测序列；

分别对所述第一图像帧和所述第二图像帧进行特征提取，获得第一特征图和第二特征图；其中，所述特征图包括对应图像帧的全局特征和局部特征；

将所述第一检测序列的中心坐标映射于所述第一特征图，获得第一特征向量，将所述第二检测序列的中心坐标映射于所述第二特征图，获得第二特征向量；

对所述第一特征向量和所述第二特征向量进行特征匹配，获得匹配结果；

根据所述匹配结果确定所述第二检测序列中与所述第一检测序列相匹配的目标。

优选的，所述分别对所述第一图像帧和所述第二图像帧进行特征提取，获得第一特征图和第二特征图，包括：

通过预设跟踪网络分别对所述第一图像帧和所述第二图像帧进行特征提取，获得所述第一特征图和所述第二特征图；其中，所述预设跟踪网络的损失函数包括平衡损失函数和对比损失函数，所述平衡损失函数和所述对比损失函数均基于对应图像帧的余弦距离矩阵和标签矩阵获得。

优选的，所述通过预设跟踪网络分别对所述第一图像帧和所述第二图像帧进行特征提取，获得所述第一特征图和所述第二特征图，包括：

根据所述第一图像帧和所述第一检测序列获得第一目标小图序列；

根据所述第二图像帧和所述第二检测序列获得第二目标小图序列；

分别对所述第一图像帧和所述第一目标小图序列进行特征提取，获得第一全局特征图和第一局部特征图；

分别对所述第二图像帧和所述第二目标小图序列进行特征提取，获得第二全局特征图和第二局部特征图；

将所述第一全局特征图和所述第一局部特征图相结合获得第一特征图；

将所述第二全局特征图和所述第二局部特征图相结合获得第二特征图。

优选的，所述对所述第一特征向量和所述第二特征向量进行特征匹配，获得匹配结果，包括：

计算所述第一特征向量和所述第二特征向量的余弦相似度；

判断所述余弦相似度是否超出预设阈值，若是，则匹配成功，若否，则匹配失败。

优选的，所述目标追踪方法还包括：

统计所述第一检测序列中的未匹配目标；

输出关于所述未匹配目标的追踪结束提示。

优选的，所述统计所述第一检测序列中的未匹配目标，包括：

统计所述第一检测序列中各目标的匹配失败次数；

若所述匹配失败次数超出预设次数，则将对应目标作为所述未匹配目标。

优选的，所述目标追踪方法还包括：

统计所述第一检测序列中的匹配目标；

获取所述匹配目标的ID信息；

将所述ID信息赋予所述匹配目标在所述第二检测序列中的配对目标。

优选的，所述目标追踪方法还包括：

统计所述第二检测序列中的未匹配目标；

为所述第二检测序列中的未匹配目标增设新的ID信息。

第二方面，本申请还公开了一种目标追踪装置，包括：

目标检测模块，用于分别对第一图像帧和第二图像帧进行目标检测，获得第一检测序列和第二检测序列；

特征提取模块，用于分别对所述第一图像帧和所述第二图像帧进行特征提取，获得第一特征图和第二特征图；其中，所述特征图包括对应图像帧的全局特征和局部特征；

坐标映射模块，用于将所述第一检测序列的中心坐标映射于所述第一特征图，获得第一特征向量，将所述第二检测序列的中心坐标映射于所述第二特征图，获得第二特征向量；

特征匹配模块，用于对所述第一特征向量和所述第二特征向量进行特征匹配，获得匹配结果；

目标追踪模块，用于根据所述匹配结果确定所述第二检测序列中与第一检测序列相匹配的目标。

第三方面，本申请还公开了一种目标追踪系统，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序以实现如上所述的任一种目标追踪方法的步骤。

第四方面，本申请还公开了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现如上所述的任一种目标追踪方法的步骤。

本申请所提供的一种目标追踪方法，包括分别对第一图像帧和第二图像帧进行目标检测，获得第一检测序列和第二检测序列；分别对所述第一图像帧和所述第二图像帧进行特征提取，获得第一特征图和第二特征图；其中，所述特征图包括对应图像帧的全局特征和局部特征；将所述第一检测序列的中心坐标映射于所述第一特征图，获得第一特征向量，将所述第二检测序列的中心坐标映射于所述第二特征图，获得第二特征向量；对所述第一特征向量和所述第二特征向量进行特征匹配，获得匹配结果；根据所述匹配结果确定所述第二检测序列中与所述第一检测序列相匹配的目标。

可见，本申请所提供的目标追踪方法，在目标匹配过程中，将全局特征和局部特征综合考虑在内，并基于这些特征信息直接进行目标匹配实现了目标追踪，该种实现方式充分利用了被检测目标的局部信息和图片的全局信息，使得跟踪准确性得到明显提升，此外，该种实现方式不依赖于卡尔曼滤波算法，有效避免了由于目标运动轨迹复杂、光照条件变化导致的跟踪错误，由此可见，本申请所提供的目标追踪方法大大提高了目标追踪的准确性。

本申请所提供的一种目标追踪装置、系统以及计算机可读存储介质，均具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明现有技术和本申请实施例中的技术方案，下面将对现有技术和本申请实施例描述中需要使用的附图作简要的介绍。当然，下面有关本申请实施例的附图描述的仅仅是本申请中的一部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图，所获得的其他附图也属于本申请的保护范围。

图1为本申请所提供的一种目标追踪方法的流程示意图；

图2为本申请所提供的一种跟踪网络结构图；

图3为本申请所提供的一种目标追踪装置的结构示意图；

图4为本申请所提供的一种目标追踪系统的结构示意图。

具体实施方式

本申请的核心是提供一种目标追踪方法，该目标追踪方法可以实现更为准确的目标追踪；本申请的另一核心是提供一种目标追踪装置、系统以及计算机可读存储介质，也具有上述有益效果。

为了对本申请实施例中的技术方案进行更加清楚、完整地描述，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行介绍。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参考图1，图1为本申请所提供的一种目标追踪方法的流程示意图，该目标追踪方法可包括：

S101：分别对第一图像帧和第二图像帧进行目标检测，获得第一检测序列和第二检测序列；

本步骤旨在对获取的图像帧进行目标检测，获得对应的检测序列。具体而言，视频是图像帧序列组成，目标追踪则是对图像帧序列中的各图像帧进行指定目标的追踪，该追踪目标的具体类型和数量并不唯一，例如可以为单目标追踪、多目标追踪，其中，追踪目标具体可以为人、车辆等。进一步，上述第一图像帧和第二图像帧则是图像帧序列中相邻的两张图像，第一图像帧为第二图像帧的上一图像帧，分别对两图像帧进行目标检测，即可获得对应的检测序列，即上述第一检测序列和第二检测序列，其中，检测序列则是对应图像帧中指定目标的集合，例如，指定目标为人，则可以通过人脸检测算法对两图像帧进行人脸检测，获得相应的人脸序列。

作为一种优选实施例，上述分别对第一图像帧和第二图像帧进行目标检测，获得第一检测序列和第二检测序列，可以包括：利用yolov3网络对第一图像帧进行目标检测，获得第一检测序列；利用yolov3网络对第二图像帧进行目标检测，获得第二检测序列。

本优选实施例提供了一种较为具体的目标检测方法，即基于yolov3网络实现。具体的，yolov3是YOLO(You Only Look Once，实时快速目标检测)系列目标检测算法中的第三版，是目标检测领域one-stage算法的代表作，在精度和速度上都有很好的表现，基于yolov3网络进行目标检测的具体实现过程参照已有技术即可，本申请在此不再赘述。

S102：分别对第一图像帧和第二图像帧进行特征提取，获得第一特征图和第二特征图；其中，特征图包括对应图像帧的全局特征和局部特征；

本步骤旨在对获取的图像帧进行特征提取，获得对应的特征图，即对第一图像帧进行特征提取，获得第一特征图，对第二图像帧进行特征提取，获得第二特征图，其中，特征图可以包括对应图像帧的全局特征和局部特征，该局部特征是指待检测目标(上述指定目标)周围区域的局部特征，由此，实现了将局部信息和全局信息同时考虑在内，可有效提高目标匹配的准确性，进一步提高目标追踪的准确性。

作为一种优选实施例，上述分别对第一图像帧和第二图像帧进行特征提取，获得第一特征图和第二特征图，可以包括：通过预设跟踪网络分别对第一图像帧和所述第二图像帧进行特征提取，获得第一特征图和第二特征图；其中，预设跟踪网络的损失函数包括平衡损失函数和对比损失函数，平衡损失函数和对比损失函数均基于对应图像帧的余弦距离矩阵和标签矩阵获得。

本优选实施例提供了一种较为具体的特征提取方法，可通过预先建立的跟踪网络实现。其中，该预设跟踪网络设计了双重损失函数，以有效解决多目标跟踪任务中可能出现的遮挡问题，更为具体的，该双重损失函数包括平衡损失函数和对比损失函数，二者均可基于对应图像帧的余弦距离矩阵和标签矩阵获得，其中，平衡损失函数用于衡量余弦距离矩阵和标签矩阵的差异，对比损失函数用于衡量非配对检测序列的类间距离，增加该损失函数分支对于减少匹配错误具有显著帮助。

作为一种优选实施例，上述通过预设跟踪网络分别对第一图像帧和第二图像帧进行特征提取，获得第一特征图和所述第二特征图，可以包括：根据第一图像帧和第一检测序列获得第一目标小图序列；根据第二图像帧和第二检测序列获得第二目标小图序列；分别对第一图像帧和第一目标小图序列进行特征提取，获得第一全局特征图和第一局部特征图；分别对第二图像帧和第二目标小图序列进行特征提取，获得第二全局特征图和第二局部特征图；将第一全局特征图和第一局部特征图相结合获得第一特征图；将第二全局特征图和第二局部特征图相结合获得第二特征图。

本优选实施例提供了一种更为具体的特征提取方法，首先，获取图像帧中的目标小图序列，可以根据相应的特征序列从图像帧中裁剪获得，由此，即可从图像帧中提取获得全局特征，从目标小图序列中提取获得局部特征；进一步，将局部特征和全局特征相结合，即可获得图像帧对应的特征图。

S103：将第一检测序列的中心坐标映射于第一特征图，获得第一特征向量，将第二检测序列的中心坐标映射于第二特征图，获得第二特征向量；

本步骤旨在通过坐标映射实现图像帧特征向量的获取，该特征向量用于实现目标匹配。具体而言，分别获取两个检测序列的中心坐标，并将其按照预设比例映射于对应的特征图上，即可获得对应的特征向量。其中，预设比例的具体取值并不影响本技术方案的实施，由技术人员根据实际需求进行设定即可，本申请对此不做限定。

S104：对第一特征向量和第二特征向量进行特征匹配，获得匹配结果；

本步骤旨在通过特征向量的匹配实现目标匹配，获得相应的匹配结果，由此，即可根据该匹配结果判断第二图像帧中的各目标域第一图像帧的各目标是否相匹配，进而完成目标追踪。其中，上述特征匹配过程可以采用现有技术中的任意一种特征匹配算法实现。

作为一种优选实施例，上述对第一特征向量和第二特征向量进行特征匹配，获得匹配结果，可以包括：计算第一特征向量和第二特征向量的余弦相似度；判断余弦相似度是否超出预设阈值，若是，则匹配成功，若否，则匹配失败。

本优选实施例提供了一种较为具体的特征匹配方法，可基于余弦相似度的取值实现匹配结果的获取，直接对第一特征向量和第二特征向量的余弦相似度进行计算，判断其取值是否超出预设阈值，若超出预设阈值，则说明对应目标相似度较高，匹配通过，反之则说明对应目标度较低，匹配失败。其中，预设阈值的具体取值由技术人员根据实际需求设定，并不唯一。

S105：根据匹配结果确定第二检测序列中与第一检测序列相匹配的目标。

本步骤旨在根据匹配结果实现目标追踪，即根据匹配结果确定第二检测序列中与第一检测序列相匹配的目标，例如，当目标匹配通过时，说明在第二图像帧中追踪到第一图像帧中的相应目标，实现目标追踪。

作为一种优选实施例，该目标追踪方法还可以包括：统计第一检测序列中的未匹配目标；输出关于未匹配目标的追踪结束提示。

具体的，在目标追踪过程中，由于目标的不定向移动，可能会出现在第二图像帧中无法追踪到第一图像帧中的某个目标的情况，说明该目标追踪结束，此时，可将该目标作为未匹配目标，并输出其对应的追踪结束提示。更为具体的，在多目标追踪过程中，为便于区别各个目标，可为各目标增设唯一的ID信息，由此，当统计到未匹配目标时，即可以输出对应ID信息的形式实现追踪结束提示的输出。

作为一种优选实施例，上述统计第一检测序列中的未匹配目标，可以包括：统计第一检测序列中各目标的匹配失败次数；若匹配失败次数超出预设次数，则将对应目标作为未匹配目标。

具体的，在目标追踪过程中，对于连续的两帧图像，即便出现在第二图像帧中无法追踪到第一图像帧中的某个目标的情况，也无法完全说明该目标追踪结束，因为可能出现了不明物体遮挡或光照条件变化的情况导致该目标消失，而在第三图像帧或后续某个图像帧中再次出现该目标，因此，为避免误判，可统计各个目标的匹配失败次数，只有当匹配失败次数超出预设次数时，才确定该目标属于未匹配目标，也就是在连续一定数量的图像帧中该目标均匹配失败时，才将该目标定为未匹配目标，反之，则为匹配目标。其中，预设次数的具体取值并不唯一，由技术人员根据实际情况进行设定即可，本申请对此不做限定。

作为一种优选实施例，该目标追踪方法还可以包括：统计第一检测序列中的匹配目标；获取匹配目标的ID信息；将ID信息赋予匹配目标在第二检测序列中的配对目标。

本优选实施例旨在实现第二检测序列的更新，具体而言，在多目标追踪过程中，为便于区分各个目标，可为各目标增设唯一的ID信息，对于第一检测序列中的匹配目标，可获取其ID信息，并更新至该匹配目标在第二检测序列中的配对目标，即为第二检测序列中的各个匹配目标增加相应的ID信息，实现第二检测序列中匹配目标的ID更新。

作为一种优选实施例，该目标追踪方法还可以包括：统计第二检测序列中的未匹配目标；为第二检测序列中的未匹配目标增设新的ID信息。

具体的，在目标追踪过程中，由于目标的不定向移动，也可能会出现在第二图像帧中出现新目标的情况，该新目标在第一检测序列中并不存在，此时，则可以为该新目标设置新的ID信息，实现第二检测序列中未匹配目标的ID更新，进而通过后续图像帧继续对其进行追踪即可。

在上述各实施例的基础上，本优选实施例以人脸追踪为例，提供了一种更为具体的目标追踪方法，其具体实现流程如下：

一、目标检测：

采用yolov3网络作为人脸检测模型进行人脸检测，获取第t帧图像I_t的检测序列

其中，x_i，y_i，w_i，h_i分别表示图像I_t中第i个目标检测框的中心坐标、宽度和高度，M表示图像I_t中目标检测框的数量；获取第k帧图像I_k的检测序列

其中，x_j，y_j，w_j，h_j分别表示图像I_k中第j个目标检测框的中心坐标、宽度和高度，N表示图像I_k中目标检测框的数量；同时获取图像I_t对应的ID序列

二、跟踪网络：

在训练阶段，还可以获得图像I_k对应的ID序列

通过检测序列D_t和图像I_t裁剪出人脸小图序列

通过检测序列D_k和图像I_k裁剪出人脸小图序列

由此，获得跟踪网络输入；进一步，采用函数T定义跟踪网络，则跟踪网络的输出为：

O_t＝T(I_t,F_t)；

O_k＝T(I_k,F_k)。

请参考图2，图2为本申请所提供的一种跟踪网络结构图，该跟踪网络包括局部特征提取模块和全局特征提取模块：

1、局部特征提取模块：

该模块主要关注待跟踪目标的特征。由于人脸像素一般较小，使用特征区分难度较大，因此，可以采用残差结构，以有效保证网络在层数加深时依旧容易收敛。具体而言，将人脸小图进行3次2倍的下采样，并在最后一个下采样之前采用SPP(spatial pyramidpooling，空间金字塔池化层)模块，分别使用1x1、3x3、5x5和7x7的maxpool层(最大池化层)，并将输出融合，以获得丰富的语义信息；同时，为了将人脸浅层的空间信息作为辅助信息，可以采用修改的FPN(Feature Pyramid Network，特征金字塔网络)结构，将maxpool层后的输出进行2倍的上采样，将获得的特征图和第2个下采样后的特征图concat起来，共同作为人脸小图的特征图。

2、全局特征提取模块：

该模块主要关注待跟踪目标周围环境的特征，例如，人脸周围的帽子、衣领、附近的局部环境等。该部分网络主要关注空间信息，并综合考虑网络性能，因此，无需层数太深的网络，可以使用修改的resnet18网络结构，网络更精简。

3、损失函数：

为有效区分两张图片中人脸小图序列的匹配关系，基于多目标跟踪任务可能出现的遮挡难题，可以采用双重损失函数。更为具体的，对于人脸检测框相距较远的目标，由于不同的人脸背景区分很明显，因此，使用人脸检测框周围的环境信息即可准确的完成匹配；对于检测框距离较近的目标，由于周围环境信息重复性高，因此，人脸特征成为主要的匹配依据。由此，可将以上两部分特征合并，并经过sigmoid层(一种激活函数)激活，使输入归一化到0-1之间，再经过处理生成cos matrix(余弦距离矩阵)，和labels matrix(标签矩阵)一起送入损失函数中进行训练，具体实现过程如下：

(1)提取特征：

(a)提取环境特征(全局特征)：

将输入图像的检测序列的中心坐标映射到特征图上，以便提取检测框周围的环境信息，即上述特征向量。以图像I_k为例，假设其检测序列的中心序列为

c_j＝(x_{j_centor},y_{j_centor})，其中，(x_{j_centor},y_{j_centor})表示图像I_k中第j个检测框的中心坐标，设定下采样倍数为scale，则特征图上的中心序列为：

假设全局特征提取网络为G，由此，提取C_Fk序列中每个目标的特征向量作为图像I_k的全局特征向量W_{g_k}:

W_{g_k}＝G(C_Fk)；

对应的，计算C_Ft序列，提取C_Ft序列中每个目标的特征向量作为图像I_t的全局特征向量。

(b)提取局部特征：

假设局部特征提取网络为L，将第k帧输入图像I_k与相应的检测序列F_k输入局部特征提取网络(即裁剪后的目标小图)，获取输出的128维向量作为目标的局部特征向量W_{l_k}：

W_{l_k}＝L(F_k,I_k)；

最后，将目标的全局特征和局部特征合并起来，作为目标特征向量：

O_k＝{W_{g_k},W_{l_k}}。

(2)labels matrix生成：

由于图像I_t总目标数为M，图像I_k总目标数为N，则labels matrix定义为：

其中，

为图像I_t中检测框

对应的ID号，

为图像I_k中检测框

对应的ID号。

(3)cos matrix生成：

为度量对应检测框的匹配程度，可以使用余弦相似度来计算O_t和O_k的差异性，则cos matrix的定义为：

由于余弦相似度计算出来的范围为(-1，1)，因此可以采用归一化的方法将数据区间映射到(0，1)，以便计算损失函数，因此，最终的cos matrix为：

cos_matrix_NxM(norm)＝Normalize(cos_matrix_NxM)。

(4)损失函数：

损失函数的结构主要包括两部分，Balance Loss(平衡损失)和Contrastive Loss(对比损失)：

其中，Balance loss用于衡量label matrix和cos matrix的差异，可以使用二分类交叉熵表示为：

Balance Loss＝CrossEntropy(cos_matrix,labels)；

其中，Contrastive Loss用于衡量非配对检测序列的类间距离，增加该loss分支对于减少匹配错误具有显著帮助，可预先定义margin参数(一种用于设置元素外边距的参数)，假定图像I_k中

的检测框与图像I中

是配对检测框，则

的contrastive序列CT可表示为：

若cos matrix中，c_i,j小于margin，则说明目标区分度不够高，则将c_i,j加入loss中训练，以增大类间距离；将图像I_k中所有目标的c_i,j求和，则Contrastive Loss可以表示为：

由此，Loss函数为：

Loss＝Balance Loss+Contrastive Loss。

三、特征匹配：

输入图像I_t和图像I_k，经过跟踪网络得到O_t和O_k，将对应检测序列的中心坐标映射在O_t和O_k中，即可获得人脸及其周围环境特征，根据人脸及其环境特征计算余弦相似度，若取值大于预设阈值即视为匹配成功。

四、序列更新：

匹配流程结束后，进行序列更新。在图像I_t中，若人脸的未匹配次数大于预设次数，则认为该目标跟踪结束，上报其ID；若人脸的未匹配次数小于预设次数，则将该目标的ID赋给图像I_k中相应的配对目标；若图像I_k中存在未匹配成功的目标，则认为出现了新目标，可赋予其新ID，再继续进行下一帧的跟踪。

可见，本申请实施例所提供的目标追踪方法，在目标匹配过程中，将全局特征和局部特征综合考虑在内，并基于这些特征信息直接进行目标匹配实现了目标追踪，该种实现方式充分利用了被检测目标的局部信息和图片的全局信息，使得跟踪准确性得到明显提升，此外，该种实现方式不依赖于卡尔曼滤波算法，有效避免了由于目标运动轨迹复杂、光照条件变化导致的跟踪错误，由此可见，本申请所提供的目标追踪方法大大提高了目标追踪的准确性。

为解决上述技术问题，本申请还提供了一种目标追踪装置，请参考图3，图3为本申请所提供的一种目标追踪装置的结构示意图，该目标追踪装置可包括：

目标检测模块1，用于分别对第一图像帧和第二图像帧进行目标检测，获得第一检测序列和第二检测序列；

特征提取模块2，用于分别对第一图像帧和第二图像帧进行特征提取，获得第一特征图和第二特征图；其中，特征图包括对应图像帧的全局特征和局部特征；

坐标映射模块3，用于将第一检测序列的中心坐标映射于第一特征图，获得第一特征向量，将第二检测序列的中心坐标映射于第二特征图，获得第二特征向量；

特征匹配模块4，用于对第一特征向量和第二特征向量进行特征匹配，获得匹配结果；

目标追踪模块5，用于根据匹配结果确定第二检测序列中与第一检测序列相匹配的目标。

可见，本申请实施例所提供的目标追踪装置，在目标匹配过程中，将全局特征和局部特征综合考虑在内，并基于这些特征信息直接进行目标匹配实现了目标追踪，该种实现方式充分利用了被检测目标的局部信息和图片的全局信息，使得跟踪准确性得到明显提升，此外，该种实现方式不依赖于卡尔曼滤波算法，有效避免了由于目标运动轨迹复杂、光照条件变化导致的跟踪错误，由此可见，本申请所提供的目标追踪方法大大提高了目标追踪的准确性。

作为一种优选实施例，上述特征提取模块2可具体用于通过预设跟踪网络分别对第一图像帧和第二图像帧进行特征提取，获得第一特征图和第二特征图；其中，预设跟踪网络的损失函数包括平衡损失函数和对比损失函数，平衡损失函数和对比损失函数均基于对应图像帧的余弦距离矩阵和标签矩阵获得。

作为一种优选实施例，上述特征提取模块2可包括：

第一小图获取单元，用于根据第一图像帧和第一检测序列获得第一目标小图序列；

第二小图获取单元，用于根据第二图像帧和第二检测序列获得第二目标小图序列；

第一特征提取单元，用于分别对第一图像帧和第一目标小图序列进行特征提取，获得第一全局特征图和第一局部特征图；

第二特征提取单元，用于分别对第二图像帧和第二目标小图序列进行特征提取，获得第二全局特征图和第二局部特征图；

第一特征结合单元，用于将第一全局特征图和第一局部特征图相结合获得第一特征图；

第二特征结合单元，用于将第二全局特征图和第二局部特征图相结合获得第二特征图。

作为一种优选实施例，上述特征匹配模块4可包括：

余弦相似度计算单元，用于计算第一特征向量和第二特征向量的余弦相似度；

余弦相似度判断单元，用于判断余弦相似度是否超出预设阈值，若是，则匹配成功，若否，则匹配失败。

作为一种优选实施例，该目标追踪装置还可包括追踪提示模块，用于统计第一检测序列中的未匹配目标；输出关于未匹配目标的追踪结束提示。

作为一种优选实施例，上述追踪提示模块可具体用于统计第一检测序列中各目标的匹配失败次数；若匹配失败次数超出预设次数，则将对应目标作为未匹配目标；输出关于未匹配目标的追踪结束提示。

作为一种优选实施例，该目标追踪装置还可包括ID更新模块，用于统计第一检测序列中的匹配目标；获取匹配目标的ID信息；将ID信息赋予匹配目标在第二检测序列中的配对目标。

作为一种优选实施例，该目标追踪装置还可包括ID添加模块，用于统计第二检测序列中的未匹配目标；为第二检测序列中的未匹配目标增设新的ID信息。

对于本申请提供的装置的介绍请参照上述方法实施例，本申请在此不做赘述。

为解决上述技术问题，本申请还提供了一种目标追踪系统，请参考图4，图4为本申请所提供的一种目标追踪系统的结构示意图，该目标追踪系统可包括：

存储器10，用于存储计算机程序；

处理器20，用于执行计算机程序时可实现如上述任意一种目标追踪方法的步骤。

对于本申请提供的系统的介绍请参照上述方法实施例，本申请在此不做赘述。

为解决上述问题，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如上述任意一种目标追踪方法的步骤。

该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

对于本申请提供的计算机可读存储介质的介绍请参照上述方法实施例，本申请在此不做赘述。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的技术方案进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请的保护范围内。

Claims

1.一种目标追踪方法，其特征在于，包括：

2.根据权利要求1所述的目标追踪方法，其特征在于，所述分别对所述第一图像帧和所述第二图像帧进行特征提取，获得第一特征图和第二特征图，包括：

3.根据权利要求2所述的目标追踪方法，其特征在于，所述通过预设跟踪网络分别对所述第一图像帧和所述第二图像帧进行特征提取，获得所述第一特征图和所述第二特征图，包括：

4.根据权利要求1所述的目标追踪方法，其特征在于，所述对所述第一特征向量和所述第二特征向量进行特征匹配，获得匹配结果，包括：

计算所述第一特征向量和所述第二特征向量的余弦相似度；

5.根据权利要求1至4任意一项所述的目标追踪方法，其特征在于，还包括：

统计所述第一检测序列中的未匹配目标；

输出关于所述未匹配目标的追踪结束提示。

6.根据权利要求5所述的目标追踪方法，其特征在于，所述统计所述第一检测序列中的未匹配目标，包括：

统计所述第一检测序列中各目标的匹配失败次数；

7.根据权利要求6所述的目标追踪方法，其特征在于，还包括：

统计所述第一检测序列中的匹配目标；

获取所述匹配目标的ID信息；

8.根据权利要求7所述的目标追踪方法，其特征在于，还包括：

统计所述第二检测序列中的未匹配目标；

为所述第二检测序列中的未匹配目标增设新的ID信息。

9.一种目标追踪装置，其特征在于，包括：

10.一种目标追踪系统，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序以实现如权利要求1至8任一项所述的目标追踪方法的步骤。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现如权利要求1至8任一项所述的目标追踪方法的步骤。