CN110910422A - 目标跟踪方法、装置、电子设备和可读存储介质 - Google Patents

Abstract

本申请涉及一种目标跟踪方法、装置、电子设备和计算机可读存储介质，方法包括：获取多帧图像，从多帧图像的初始帧图像中识别出初始目标，依次在初始帧图像的后续帧图像中对初始目标进行跟踪；若连续跟踪的图像帧数或所述初始目标的目标置信度符合预设条件，停止对当前帧图像中的初始目标的跟踪；基于预设的检测算法对当前帧图像进行检测，得到检测目标；从得到的检测目标中获取初始目标；将当前帧图像作为新的初始帧图像，并执行基于预设的目标跟踪算法依次在初始帧图像的后续帧图像中对初始目标进行跟踪。本申请提供的目标跟踪方法可以提高对目标跟踪的准确率。

Description

目标跟踪方法、装置、电子设备和可读存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种目标跟踪方法、 装置、电子设备和可读存储介质。

背景技术

目标跟踪是计算机视觉领域的重要研究方向之一，在视频监控、 视觉导航、人机交互、精确制导等领域有着广泛的应用前景。而目标 跟踪的基本问题是在一个视频或图像序列中选择感兴趣的目标，在接 下来的连续帧中找到该目标的准确位置并形成其运动轨迹。

现有技术中通常直接采用同一种跟踪算法对目标进行跟踪，由于 目标跟踪中存在目标形变、复杂的光照变化、环境背景干扰、目标与 场景间的遮挡等因素，从而导致跟踪目标容易发生漂移，使得长时间 对目标跟踪时准确度较低。

发明内容

本申请的目的旨在至少能解决上述的技术缺陷之一，特别是长时 间对目标跟踪时准确度较低的技术缺陷。

本申请的目的通过如下技术方案实现：

第一方面，提供了一种目标跟踪方法，该方法包括：

获取多帧图像，从多帧图像的初始帧图像中识别出初始目标，并 基于预设的目标跟踪算法依次在初始帧图像的后续帧图像中对初始目 标进行跟踪；

若连续跟踪的图像帧数或所述初始目标的目标置信度符合预设条 件，停止对当前帧图像中的初始目标的跟踪；基于预设的检测算法对 当前帧图像进行检测，得到检测目标；

基于预设的视觉目标匹配算法，从得到的检测目标中获取初始目 标；

将当前帧图像作为新的初始帧图像，并执行基于预设的目标跟踪 算法依次在初始帧图像的后续帧图像中对初始目标进行跟踪。

在第一方面的可选实施例中，从多帧图像的初始帧图像中识别出 初始目标，包括：

获取初始帧图像的像素矩阵，基于检测算法获取像素矩阵的检测 目标哈希表；

从检测目标哈希表中选取初始目标。

在第一方面的可选实施例中，基于预设的检测算法对所述当前帧 图像进行检测，得到检测目标之前，还包括：

从初始帧图像中提取初始目标的初始特征向量；

基于初始特征向量和预设的目标跟踪算法，依次在初始帧图像的 后续帧图像中对初始特征向量进行更新，得到跟踪特征向量。

在第一方面的可选实施例中，依次在初始帧图像的后续帧图像中 对初始特征向量进行更新，得到跟踪特征向量，包括：

针对初始帧图像的后续帧图像中的每一帧图像，获取初始目标在 该图像中的实时特征向量；

基于初始特征向量和实时特征向量，计算得到初始目标在初始帧 图像的后续帧图像中的每一帧图像中的跟踪特征向量。

在第一方面的可选实施例中，对当前帧图像进行检测，得到检测 目标，包括：

对所述当前帧图像进行检测，得到多个初始检测目标；

获取多个初始检测目标的检测位置坐标，并获取所述当前帧图像 的上一帧图像中初始目标的目标位置坐标；

根据各个检测位置坐标和所述目标位置坐标，从多个初始检测目 标中选取至少一个检测目标。

在第一方面的可选实施例中，从得到的检测目标中获取初始目标， 包括：

获取每一检测目标的检测向量；

计算每一检测向量与上一帧图像中的初始目标的跟踪特征向量之 间的匹配度；

获取最大匹配度，若匹配度不小于预设的匹配度阈值，将最大匹 配度对应的检测目标设为新的初始目标。

在第一方面的可选实施例中，视觉目标匹配算法包括3个卷积层、 1个池化层、8个残差网络和1个稠密层。

第二方面，提供了一种目标跟踪装置，该装置包括：

第一跟踪模块，用于获取多帧图像，从多帧图像的初始帧图像中 识别出初始目标，并基于预设的目标跟踪算法依次在初始帧图像的后 续帧图像中对初始目标进行跟踪；

检测模块，用于若连续跟踪的图像帧数或所述初始目标的目标置 信度符合预设条件，停止对当前帧图像中的初始目标的跟踪；基于预 设的检测算法对当前帧图像进行检测，得到检测目标；

匹配模块，用于基于预设的视觉目标匹配算法，从得到的检测目 标中获取初始目标；

第二跟踪模块，将当前帧图像作为新的初始帧图像，并执行基于 预设的目标跟踪算法依次在初始帧图像的后续帧图像中对初始目标进 行跟踪。

在第二方面的可选实施例中，第一跟踪模块在从多帧图像的初始 帧图像中识别出初始目标时，具体用于：

获取初始帧图像的像素矩阵，基于检测算法获取像素矩阵的检测 目标哈希表；

从检测目标哈希表中选取初始目标。

在第二方面的可选实施例中，还包括更新模块，所述更新模块用 于：

从初始帧图像中提取初始目标的初始特征向量；

基于初始特征向量和预设的目标跟踪算法，依次在初始帧图像的 后续帧图像中对初始特征向量进行更新，得到跟踪特征向量。

在第二方面的可选实施例中，第一跟踪模块在依次在初始帧图像 的后续帧图像中对初始特征向量进行更新，得到跟踪特征向量时，具 体用于：

针对初始帧图像的后续帧图像中的每一帧图像，获取初始目标在 该图像中的实时特征向量；

基于初始特征向量和实时特征向量，计算得到初始目标在初始帧 图像的后续帧图像中的每一帧图像中的跟踪特征向量。

在第二方面的可选实施例中，检测模块在对当前帧图像进行检测， 得到检测目标时，具体用于：

对所述当前帧图像进行检测，得到多个初始检测目标；

获取多个初始检测目标的检测位置坐标，并获取所述当前帧图像 的上一帧图像中初始目标的目标位置坐标；

根据各个检测位置坐标和所述目标位置坐标，从多个初始检测目 标中选取至少一个检测目标。

在第二方面的可选实施例中，匹配模块在从得到的检测目标中获 取初始目标时，具体用于：

获取每一检测目标的检测向量；

计算每一检测向量与上一帧图像中的初始目标的跟踪特征向量之 间的匹配度；

获取最大匹配度，若匹配度不小于预设的匹配度阈值，将最大匹 配度对应的检测目标设为新的初始目标。

在第二方面的可选实施例中，视觉目标匹配算法包括3个卷积层、 1个池化层、8个残差网络和1个稠密层。

第三方面，提供了一种电子设备，该电子设备包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中一个或多个应用程序被存储在存储器 中并被配置为由一个或多个处理器执行，一个或多个程序配置用于： 执行实现本申请第一方面所示的目标跟踪方法。

第四方面，提供了一种计算机可读存储介质，计算机可读存储介 质上存储有计算机程序，其特征在于，该程序被处理器执行时实现本 申请第一方面所示的目标跟踪方法。

本申请提供的技术方案带来的有益效果是：

在本公开实施例的方案中，通过从多帧图像的初始帧图像中识别 出初始目标，依次在初始帧图像的后续帧图像中对初始目标进行跟踪， 当连续跟踪的图像帧数或所述初始目标的目标置信度符合预设条件， 启用预设的检测算法对当前帧图像进行检测，得到检测目标，然后从 得到的检测目标中获取初始目标，然后将当前帧图像作为新的初始帧 图像，执行基于预设的目标跟踪算法依次在初始帧图像的后续帧图像 中对初始目标进行跟踪，交替对目标进行跟踪和检测，可以在长时间 对目标进行跟踪时保持初始目标不丢失，从而提高对目标跟踪的准确 率。

本申请附加的方面和优点将在下面的描述中部分给出，这些将从 下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对本申请 实施例描述中所需要使用的附图作简单地介绍。

图1为本申请实施例提供的一种目标跟踪方法的流程示意图；

图2为本申请实施一个示例中对图片检测的示意图；

图3为本申请实施例提供的一种目标跟踪方法的流程示意图；

图4为本申请实施例提供的一种目标跟踪方法的流程示意图；

图5为本申请实施例提供的一种目标跟踪装置的结构示意图；

图6为本申请实施例提供的一种目标跟踪的电子设备的结构示意 图。

具体实施方式

下面详细描述本申请的实施例，实施例的示例在附图中示出，其 中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类 似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于 解释本申请，而不能解释为对本申请的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数 形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解 的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、 步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其 他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解， 当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接 到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦 接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或 更多个相关联的列出项的全部或任一单元和全部组合。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图 对本申请实施方式作进一步地详细描述。

本申请提供的目标跟踪方法、装置、电子设备和计算机可读存储 介质，旨在解决现有技术的如上技术问题。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案 如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以 相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘 述。下面将结合附图，对本申请的实施例进行描述。

本申请实施例中提供了一种目标跟踪方法，如图1所示，该方法 包括：

步骤S101，获取多帧图像，从多帧图像的初始帧图像中识别出初 始目标，并基于预设的目标跟踪算法依次在初始帧图像的后续帧图像 中对初始目标进行跟踪。

具体的，多帧图像可以从待检测视频中提取，也可以是待检测的 按预设序列排布的多帧图像，初始帧图像可以是待检测视频中提取的 第一帧图像，也可以是图像序列中的第一帧图像。

后续帧图像可以是多帧图像中除初始帧图像外的其他帧图像，依 次在初始帧的后续帧图像对初始目标进行跟踪，可以是依次在第二帧 图像、第三帧图像、第四帧图像直至预设帧数中跟踪初始目标。

步骤S102，若连续跟踪的图像帧数或所述初始目标的目标置信度 符合预设条件，停止对当前帧图像中的初始目标的跟踪；基于预设的 检测算法对当前帧图像进行检测，得到检测目标。

具体的，预设条件包括如下情况中的至少一种：连续跟踪的图像 帧数不小于第一预设帧数，连续跟踪的图像帧数小于第一预设帧数且 连续第二预设帧数的后续图像帧中的初始目标置信度均不大于预设阈 值。

例如，第一预设帧数可以设为10帧，若从第一帧的初始图像中识 别出初始目标后，连续跟踪了10帧图像，则可以在跟踪到第11帧图 像时，停止跟踪，启用检测算法对第11帧图像进行检测；另一种情况 是，第一预设帧数为10帧，第二预设帧数为3帧，连续跟踪了7帧图 像，还未跟踪到10帧，但其中连续3帧图片中初始目标置信度均小于 预设阈值，则也会启用检测算法对第8帧图像进行检测。

步骤S103，基于预设的视觉目标匹配算法，从得到的检测目标中 获取初始目标。

具体的，对当前帧图像进行检测，可以得到至少一个检测目标； 若得到至少两个检测目标，则可以采用预设的视觉目标匹配算法，将 得到的各个检测目标分别和上一帧图像中的初始目标进行匹配，选取 匹配度最大的检测目标作为当前帧图像中的初始目标。

步骤S104，将当前帧图像作为新的初始帧图像，并执行基于预设 的目标跟踪算法依次在初始帧图像的后续帧图像中对初始目标进行跟 踪。

具体的，若获取到当前帧图像中的初始帧图像，则将当前帧图像 作为新的初始帧图像，并执行基于预设的目标跟踪算法依次在初始帧 图像的后续帧图像中对初始目标进行跟踪，即对当前帧图像中的初始 目标进行再次跟踪，若再次连续跟踪的图像帧数或所述初始目标的目 标置信度符合预设条件，则再次进行检测，然后获取新的当前帧图像 中的初始目标，重复循环跟踪和检测的过程，直到完成对多帧图像的 跟踪。

上述实施例中，通过从多帧图像的初始帧图像中识别出初始目标， 依次在初始帧图像的后续帧图像中对初始目标进行跟踪，若连续跟踪 的图像帧数或所述初始目标的目标置信度符合预设条件，启用预设的 检测算法对当前帧图像进行检测，得到检测目标，然后从得到的检测 目标中获取初始目标，然后将当前帧图像作为新的初始帧图像，执行 基于预设的目标跟踪算法依次在初始帧图像的后续帧图像中对初始目 标进行跟踪，交替对目标进行跟踪和检测，可以在长时间对目标进行 跟踪时保持初始目标不丢失，从而提高对目标跟踪的准确率。

本申请实施例中提供了一种可能的实现方式，步骤S101从多帧图 像的初始帧图像中识别出初始目标，可以包括：

(1)获取初始帧图像的像素矩阵，基于检测算法获取像素矩阵的 检测目标哈希表；

(2)从检测目标哈希表中选取初始目标。

其中，检测算法可以是YOLO是一款one-stage类型的目标检测算 法，其核心思想就是利用整张图作为网络的输入，直接在输出层回归 bounding box(边界框)的位置及其所属的类别。

YOLO的网络结构如下图2所示，参照了GoogLeNet网络思想， 其有24个级联的卷积层、2个全连接层，为了实现跨通道信息整合， 没有使用GoogLeNet的inception module，而是使用了1×1的卷积层 加3×3的卷积层做替代。网络的输入图像尺寸为448×448，其最后一 个全连接层的输出维度为：s×s×(B×5+c)，其中数字5代表的是边界框 的4个参数和1个置信度分数，B为每个格子预测的边界框的个数，c 为类别数量。

如图3所示，图3为一个示例中对图片进行检测的示意图，YOLO 的检测步骤为：

a)将输入图片分割成s×s的网格；

b)对于每个网格，要预测目标边框和置信度；

c)对步骤b)预测的目标窗口，设置阈值，去除掉得分低的边界 框，然后利用非极大值抑制进行处理，得到其最终检测的结果。

在具体实施过程中，读取图像的像素矩阵，通过目标检测算法 YOLO得到检测目标哈希表Map_deteobjs，其中关键词和键值分别是检测目 标类别及对应的标注框坐标信息，从检测目标哈希表中任意选择感兴 趣目标作为长时跟踪的初始目标object。

本申请实施例中提供了一种可能的实现方式，步骤S101的基于预 设的目标跟踪算法依次在初始帧图像的后续帧图像中对初始目标进行 跟踪，可以包括：

(1)从初始帧图像中提取初始目标的初始特征向量；

(2)基于初始特征向量和预设的目标跟踪算法，依次在初始帧图 像的后续帧图像中对初始特征向量进行更新，得到跟踪特征向量。

具体的，跟踪特征向量可以用于表示初始目标的目标位置坐标。

具体的，将初始特征向量信息送入预设的ECO算法(一种跟踪算 法)，开始目标跟踪，并运用VOM算法(一种视觉目标匹配算法)提 取初始跟踪目标的特征向量Feature_raw。

对于ECO算法和VOM算法，将在下文进行进一步的详细阐述。

本申请实施例中提供了一种可能的实现方式，依次在初始帧图像 的后续帧图像中对初始特征向量进行更新，得到跟踪特征向量，可以 包括：

a、针对初始帧图像的后续帧图像中的每一帧图像，获取初始目标 在该图像中的实时特征向量；

b、基于初始特征向量和实时特征向量，计算得到初始目标在初始 帧图像的后续帧图像中的每一帧图像中的跟踪特征向量。

在具体实施过程中，当不满足启动目标检测算法的预设条件时， 持续运行目标跟踪算法，不启用目标检测与视觉目标匹配算法，在随 后运行跟踪算法的过程中，运用VOM算法生成跟踪目标的特征向量 Feature_temp，然后，将Feature_raw与Feature_temp做一个加权和的操作得到新的 特征向量Feature_raw，用以更新初始跟踪目标的特征向量。

本申请实施例中提供了一种可能的实现方式，步骤S102的对当前 帧图像进行检测，得到检测目标，可以包括：

(1)对当前帧图像进行检测，得到多个初始检测目标；

(2)获取多个初始检测目标的检测位置坐标，并获取当前帧图像 的上一帧图像中初始目标的目标位置坐标；

(3)根据各个检测位置坐标和目标位置坐标，从多个初始检测目 标中选取至少一个检测目标。

具体的，可以分别获取各个检测位置坐标和上一帧图像中跟踪目 标位置坐标之间的距离，选取距离小于预设距离的初始检测目标作为 检测目标，例如，检测得到100个初始检测目标，计算100个检测位 置坐标和目标位置坐标的距离，从100个初始检测目标中选取出距离 小于预设距离检测目标。

也可以选取距离最近的预设个数的初始检测目标作为检测目标， 例如，预设个数设为10，检测得到100个初始检测目标，计算100个 检测位置坐标和目标位置坐标的距离，从100个初始检测目标中选取 出10个距离最近的检测目标。

本申请实施例中提供了一种可能的实现方式，步骤S103的从得到 的检测目标中获取初始目标，包括：

(1)获取每一检测目标的检测向量；

(2)计算每一检测向量与上一帧图像中的初始目标的跟踪特征向 量之间的匹配度；

(3)获取最大匹配度，若匹配度不小于预设的匹配度阈值，将最 大匹配度对应的检测目标设为新的初始目标。

具体的，通过VOM算法提取相应检测目标的特征向量形成特征向 量集合C_vector，再依次将C_vector中的特征向量与Feature_raw计算匹配度COS 形成集合C_COS,并判断C_COS中的最大值是否大于或等于匹配度阈值 TD_match，若大于或等于预设的匹配度阈值，则对新的初始目标进行跟踪， 执行步骤S102，若连续跟踪的图像帧数或所述初始目标的目标置信度 符合预设条件，停止对当前帧图像中的初始目标的跟踪；基于预设的 检测算法对当前帧图像进行检测，得到检测目标。

具体的，若C_COS中的最大值小于匹配度阈值TD_match，则对继续获取 下一帧图像的检测目标，并得到下一帧图像的C_COS中的最大值，再判断 下一帧图像中的C_COS中的最大值是否大于或等于匹配度阈值TD_match，重 复预设次数，若预设次数得到的结果都是C_COS中的最大值小于匹配度阈 值TD_match，则跟踪失败，说明初始目标丢失。

例如，从第一帧的初始图像中识别出初始目标后，连续跟踪了10 帧图像，则可以在跟踪到第11帧图像时，停止跟踪，启用检测算法对 第11帧图像进行检测，检测得到第11帧图像中的三个检测目标，但 三个检测目标中C_COS中的最大值小于匹配度阈值TD_match，那么重复对下 一帧图像进行检测，检测到第15帧图像，得到的结果都是检测目标中 C_COS中的最大值小于匹配度阈值TD_match，则对初始目标的跟踪失败。

本申请实施例中提供了一种可能的实现方式，视觉目标匹配算法 包括3个卷积层、1个池化层、8个残差网络和1个稠密层。

需要说明的是，视觉目标匹配算法包括3个卷积层、1个池化层、 8个残差网络和1个稠密层是经过多次试验得到的效果最好的结构，这 种结构组成可以得到128维向量表示的网络，可以快速高效提取目标 特征完成视觉目标的匹配度计算，若采用其他结构的视觉目标匹配算 法，并不能取得这种结构组成的算法网络的效果。

以下将对本申请的VOM算法和ECO算法进行进一步详细阐述。

对于本申请的VOM算法，特征提取网络结构如下表1所示，采用 IMAGENET子集作为网络的训练数据集，该算法具有目标匹配准确率 高且兼顾高实时性要求。假设目标A、B通过该网络提取的特征表示 分别为f_A、f_B,那么目标A、B的匹配度计算公式如下所示：

表1 VOM网络结构

Name	Patch Size/Stride	Output Size
			Conv1	3×3/1	32×128×64
Conv2	3×3/1	32×128×64
			Conv3	3×3/1	32×128×64
Max Pool3	3×3/2	32×64×32
			Residual4	3×3/1	32×64×32
Residual5	3×3/1	32×64×32
			Residual6	3×3/2	64×32×16
Residual7	3×3/1	64×32×16
			Residual8	3×3/1	64×32×16
Residual9	3×3/2	128×16×8
			Residual10	3×3/1	128×16×8
Residual11	3×3/1	128×16×8
			Dense11		128
Batch and l<sub>2</sub>Normalization		128

对于本申请的ECO算法，具体如下：

(1)通过因式分解卷积降低数据维数：

S_pf{x}＝Pf*J{x}＝∑_c,dp_d,cf^c*J_d{x^d}＝f*P^TJ{x} (3)

S_f{x}是目标的检测分数值，f＝(f¹,f²,...,f^D)是一个卷积滤波器 集合，P^T是C行D列的矩阵，J{x}是D行的列向量，因此S_Pf{x}的 维数是C，而C-C0T算法中是一个D维列向量，因此S_f{x}的维数是D， C<<D，因此实现了降维(*符号表示卷积，是元素级乘法)。

(2)样本产生模型

ECO用了高斯混合模型(GMM)来生成不同的component，每一个 component对应一组比较相似的样本，不同的component之间有较大的 差异从而就使得训练集具有了多样性。将样本x和目标输出y₀的联合 概率分布p(x，y₀)整合进目标函数并经过一些优化得到最终的损失函数 如下：

(3)模型更新策略

ECO算法中采用了一种稀疏更新策略，即一个适中的、低频率的 模型更新(N约等于5)方法，该方法降低了过拟合风险，通常能够带 来理想的跟踪结果。

上述的目标跟踪方法，通过从多帧图像的初始帧图像中识别出初 始目标，依次在初始帧图像的后续帧图像中对初始目标进行跟踪，当 连续跟踪的图像帧数不小于预设帧数，或连续跟踪的图像帧数小于预 设帧数且连续跟踪的后续图像帧中所述初始目标的目标置信度不大于 预设阈值时，启用预设的检测算法对当前帧图像进行检测，得到检测 目标，然后从得到的检测目标中获取初始目标，然后将当前帧图像作 为新的初始帧图像，执行基于预设的目标跟踪算法依次在初始帧图像 的后续帧图像中对初始目标进行跟踪，交替对目标进行跟踪和检测， 可以在长时间对目标进行跟踪时保持初始目标不丢失，从而提高对目 标跟踪的准确率。

为了更便于理解本申请的目标跟踪方法，如图以下将结合一个具 体示例对本申请的目标跟踪方法进行说明。

在一个示例中，如图4所示，本申请的目标跟踪方法的具体过程 如下：

获取目标视频，从目标视频中提取多帧图像，针对每一帧图像， 若该图像是首帧图像，则采用目标检测算法从首帧图像中获取检测目 标集合，并选择跟踪目标，即上文中的初始目标，并采用目标跟踪算 法对跟踪目标进行跟踪；若该图像不是首帧图像，则判断是否连续跟 踪的图像帧数或所述初始目标的目标置信度符合预设条件，若是，则 执行图中的虚线箭头所指示的流程，即采用目标检测算法检测该图像 中的检测目标集合(即上文的初始检测目标)，并采用距离度量(即上 文选取与上一帧图像中初始目标的跟踪特征向量之间的距离小于预设 距离的初始检测目标)对初始检测目标进行一次筛选，得到检测目标， 然后采用视觉目标匹配算法对检测目标进行进一步筛选，判断最大匹 配度是否大于预设的匹配度阈值，若是，则得到初始目标，进行跟踪； 若否，则检测T次(或者连续检测T帧图像)，判断是否有最大匹配度 大于预设的匹配度阈值的检测目标，若连续T次(或者连续检测T帧 图像)都没有最大匹配度大于预设的匹配度阈值的检测目标，则跟踪 失败，初始目标丢失；若T次中得到最大匹配度大于预设的匹配度阈 值的检测目标，则得到初始目标，继续跟踪。

本申请实施例提供了一种目标跟踪装置，如图5所示，该目标跟 踪装置50可以包括：第一跟踪模块501、检测模块502、匹配模块503 以及第二跟踪模块504，其中，

第一跟踪模块501，用于获取多帧图像，从多帧图像的初始帧图像 中识别出初始目标，并基于预设的目标跟踪算法依次在初始帧图像的 后续帧图像中对初始目标进行跟踪；

检测模块502，用于若连续跟踪的图像帧数或所述初始目标的目标 置信度符合预设条件，停止对当前帧图像中的初始目标的跟踪；基于 预设的检测算法对当前帧图像进行检测，得到检测目标；

匹配模块503，用于基于预设的视觉目标匹配算法，从得到的检测 目标中获取初始目标；

第二跟踪模块504，将当前帧图像作为新的初始帧图像，并执行基 于预设的目标跟踪算法依次在初始帧图像的后续帧图像中对初始目标 进行跟踪。

上述的目标跟踪装置，通过从多帧图像的初始帧图像中识别出初 始目标，依次在初始帧图像的后续帧图像中对初始目标进行跟踪，当 连续跟踪的图像帧数或所述初始目标的目标置信度符合预设条件，启 用预设的检测算法对当前帧图像进行检测，得到检测目标，然后从得 到的检测目标中获取初始目标，然后将当前帧图像作为新的初始帧图 像，执行基于预设的目标跟踪算法依次在初始帧图像的后续帧图像中 对初始目标进行跟踪，交替对目标进行跟踪和检测，可以在长时间对 目标进行跟踪时保持初始目标不丢失，从而提高对目标跟踪的准确率。

本申请实施例中提供了一种可能的实现方式，第一跟踪模块501 在从多帧图像的初始帧图像中识别出初始目标时，具体用于：

获取初始帧图像的像素矩阵，基于检测算法获取像素矩阵的检测 目标哈希表；

从检测目标哈希表中选取初始目标。

本申请实施例中提供了一种可能的实现方式，还包括更新模块， 所述更新模块用于：

从初始帧图像中提取初始目标的初始特征向量；

基于初始特征向量和预设的目标跟踪算法，依次在初始帧图像的 后续帧图像中对初始特征向量进行更新，得到跟踪特征向量。

本申请实施例中提供了一种可能的实现方式，第一跟踪模块501 在依次在初始帧图像的后续帧图像中对初始特征向量进行更新，得到 跟踪特征向量时，具体用于：

针对初始帧图像的后续帧图像中的每一帧图像，获取初始目标在 该图像中的实时特征向量；

基于初始特征向量和实时特征向量，计算得到初始目标在初始帧 图像的后续帧图像中的每一帧图像中的跟踪特征向量。

本申请实施例中提供了一种可能的实现方式，检测模块502在对 当前帧图像进行检测，得到检测目标时，具体用于：

对所述当前帧图像进行检测，得到多个初始检测目标；

获取多个初始检测目标的检测位置坐标，并获取所述当前帧图像 的上一帧图像中初始目标的目标位置坐标；

根据各个检测位置坐标和所述目标位置坐标，从多个初始检测目 标中选取至少一个检测目标。

本申请实施例中提供了一种可能的实现方式，匹配模块503在从 得到的检测目标中获取初始目标时，具体用于：

获取每一检测目标的检测向量；

计算每一检测向量与上一帧图像中的初始目标的跟踪特征向量之 间的匹配度；

获取最大匹配度，若匹配度不小于预设的匹配度阈值，将最大匹 配度对应的检测目标设为新的初始目标。

本申请实施例中提供了一种可能的实现方式，视觉目标匹配算法 包括3个卷积层、1个池化层、8个残差网络和1个稠密层。

本公开实施例的图片的目标跟踪装置可执行本公开的实施例所提 供的一种图片的目标跟踪方法，其实现原理相类似，本公开各实施例 中的图片的目标跟踪装置中的各模块所执行的动作是与本公开各实施 例中的图片的目标跟踪方法中的步骤相对应的，对于图片的目标跟踪 装置的各模块的详细功能描述具体可以参见前文中所示的对应的图片的目标跟踪方法中的描述，此处不再赘述。

基于与本公开的实施例中所示的方法相同的原理，本公开的实施 例中还提供了一种电子设备，该电子设备可以包括但不限于：处理器 和存储器；存储器，用于存储计算机操作指令；处理器，用于通过调 用计算机操作指令执行实施例所示的方法。与现有技术相比，本申请 中的电子设备可以在长时间对目标进行跟踪时保持初始目标不丢失， 从而提高对目标跟踪的准确率。

在一个可选实施例中提供了一种电子设备，如图6所示，图6所 示的电子设备4000包括：处理器4001和存储器4003。其中，处理器 4001和存储器4003相连，如通过总线4002相连。可选地，电子设备 4000还可以包括收发器4004。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本申请实施例的限定。

处理器4001可以是CPU(Central Processing Unit，中央处理器)， 通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC (Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器 件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行 结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。 处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处 理器组合，DSP和微处理器的组合等。

总线4002可包括一通路，在上述组件之间传送信息。总线4002 可以是PCI(Peripheral Component Interconnect，外设部件互连标准) 总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结 构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。 为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或 一种类型的总线。

存储器4003可以是ROM(Read Only Memory，只读存储器)或 可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型 的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、 CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘 存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝 光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取 的任何其他介质，但不限于此。

存储器4003用于存储执行本申请方案的应用程序代码，并由处理 器4001来控制执行。处理器4001用于执行存储器4003中存储的应用 程序代码，以实现前述方法实施例所示的内容。

其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播 接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒 体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如 数字TV、台式计算机等等的固定终端。电子设备仅仅是一个示例，不 应对本公开实施例的功能和使用范围带来任何限制。

本申请实施例提供了一种计算机可读存储介质，该计算机可读存 储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可 以执行前述方法实施例中相应内容。与现有技术相比，本申请提供的 计算机可读存储介质可以在长时间对目标进行跟踪时保持初始目标不 丢失，从而提高对目标跟踪的准确率。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示 依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。 除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制， 其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤 可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是 在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不 必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶 段的至少一部分轮流或者交替地执行。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读 信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算 机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红 外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机 可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导 线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只 读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光 纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器 件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质 可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、 装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信 号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中 承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形 式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算 机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读 介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执 行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介 质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电 线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是 单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者 多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示 的方法。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开 的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设 计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语 言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户 计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包 执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远 程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机 可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连 接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服 务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、 方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点 上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码 的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实 现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实 现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。 例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时 也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是， 框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现， 或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实 现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下 并不构成对该单元本身的限定，例如，检测模块还可以被描述为“用 于对图像进行检测的模块”。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说 明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限 于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离 上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合 而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于) 具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种目标跟踪方法，其特征在于，包括：

获取多帧图像，从多帧图像的初始帧图像中识别出初始目标，并基于预设的目标跟踪算法依次在所述初始帧图像的后续帧图像中对所述初始目标进行跟踪；

若连续跟踪的图像帧数或所述初始目标的目标置信度符合预设条件，停止对当前帧图像中的初始目标的跟踪；基于预设的检测算法对所述当前帧图像进行检测，得到检测目标；

基于预设的视觉目标匹配算法，从得到的所述检测目标中获取所述初始目标；

将当前帧图像作为新的初始帧图像，并执行所述基于预设的目标跟踪算法依次在所述初始帧图像的后续帧图像中对所述初始目标进行跟踪。

2.根据权利要求1所述的目标跟踪方法，其特征在于，所述从多帧图像的初始帧图像中识别出初始目标，包括：

获取所述初始帧图像的像素矩阵，基于所述检测算法获取所述像素矩阵的检测目标哈希表；

从所述检测目标哈希表中选取所述初始目标。

3.根据权利要求1所述的目标跟踪方法，其特征在于，所述基于预设的检测算法对所述当前帧图像进行检测，得到检测目标之前，还包括：

从所述初始帧图像中提取所述初始目标的初始特征向量；

基于所述初始特征向量和预设的目标跟踪算法，依次在所述初始帧图像的后续帧图像中对所述初始特征向量进行更新，得到跟踪特征向量。

4.根据权利要求3所述的目标跟踪方法，其特征在于，所述依次在所述初始帧图像的后续帧图像中对所述初始特征向量进行更新，得到跟踪特征向量，包括：

针对所述初始帧图像的后续帧图像中的每一帧图像，获取所述初始目标在该图像中的实时特征向量；

基于所述初始特征向量和所述实时特征向量，计算得到所述初始目标在所述初始帧图像的后续帧图像中的每一帧图像中的所述跟踪特征向量。

5.根据权利要求3所述的目标跟踪方法，其特征在于，所述对所述当前帧图像进行检测，得到检测目标，包括：

对所述当前帧图像进行检测，得到多个初始检测目标；

获取多个初始检测目标的检测位置坐标，并获取所述当前帧图像的上一帧图像中初始目标的目标位置坐标；

根据各个检测目标和上一帧图像中的初始目标的距离远近，从多个初始检测目标中选取至少一个检测目标。

6.根据权利要求3所述的目标跟踪方法，其特征在于，从得到的所述检测目标中获取所述初始目标，包括：

获取每一检测目标的检测向量；

计算每一检测向量与上一帧图像中的初始目标的跟踪特征向量之间的匹配度；

获取最大匹配度，若所述匹配度不小于预设的匹配度阈值，将最大匹配度对应的检测目标设为新的初始目标。

7.根据权利要求1所述的目标跟踪方法，其特征在于，所述视觉目标匹配算法包括3个卷积层、1个池化层、8个残差网络和1个稠密层。

8.一种目标跟踪装置，其特征在于，所述装置包括：

第一跟踪模块，用于获取多帧图像，从多帧图像的初始帧图像中识别出初始目标，并基于预设的目标跟踪算法依次在所述初始帧图像的后续帧图像中对所述初始目标进行跟踪；

检测模块，用于若连续跟踪的图像帧数或所述初始目标的目标置信度符合预设条件，停止对当前帧图像中的初始目标的跟踪；基于预设的检测算法对所述当前帧图像进行检测，得到检测目标；

匹配模块，用于基于预设的视觉目标匹配算法，从得到的所述检测目标中获取所述初始目标；

第二跟踪模块，将当前帧图像作为新的初始帧图像，并执行所述基于预设的目标跟踪算法依次在所述初始帧图像的后续帧图像中对所述初始目标进行跟踪。

9.一种电子设备，其特征在于，其包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行根据权利要求1～7任一项所述的目标跟踪方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7任一项所述的目标跟踪方法。

Images