CN109035304A - 目标跟踪方法、介质、计算设备和装置 - Google Patents

Abstract

本申请的实施方式提供了一种目标跟踪方法、介质、计算设备和装置。该方法包括：获取目标在当前帧图像中的位置信息；基于回归卷积网络根据所述目标在当前帧图像中的位置信息获取所述目标在下一帧图像中的第一预测位置信息；根据所述第一预测位置信息跟踪所述目标。本申请提供的目标跟踪方法、介质、计算设备和装置，能够对多个目标跟踪序列进行可区分的检测与跟踪，并通过检测与跟踪的配合和相互更正，使目标跟踪能够应对目标误捡、遮挡、丢失等复杂问题，能够有效提高目标跟踪的速度和精度，实现对目标的实时跟踪，在不同的场景下都能够有良好的表现。

Description

目标跟踪方法、介质、计算设备和装置

技术领域

本发明涉及目标跟踪技术领域，尤其涉及一种目标跟踪方法、介质、计算设备和装置。

背景技术

目标检测跟踪作为一个应用广泛且极具作用的领域已经被研究了许久。随着深度学习逐年来的新兴和发展以及高效能计算硬件计算能力的不断增加，目标跟踪领域从经典的人工提取特征以及人工制定策略逐渐过渡到端到端的深度学习框架中，这些框架取得了良好的效果。但是，不论是何种模型，必须要面对的都是目标跟踪的两大根本问题：速度和精度。

基于深度学习的跟踪算法主要是借鉴了深度网络对于图像特征提取的强大能力以及对于不同特征目标的适应能力和泛化能力，如MD网络 (Multi-Domain Network，多域网络)跟踪，孪生网络跟踪，GOTURN (Generic Object Tracking Using RegressionNetworks，基于回归网络的通用对象跟踪)算法等等。在微小目标检测方面，当下比较流行的基本大多是基于深度网络的方法，如快速RCNN(Regions with Convolutional NeuralNetworks features，区域卷积神经网络)算法，FPN(Feature Pyramid Networks，功能金字塔网络)网络，Mask-RCNN(Mask Regions with Convolutional Neural Networksfeatures，具有掩模区域的卷积神经网络)算法等等，这些算法能够通过对图像的多尺度分析以及海量候选区域的提取等方法来得到微小物体的特征并加以分析。

然而一方面，这些算法计算量过大，从而导致单帧的检测时间很长，无法达到真正实时检测，从而不能够应用到真正的跟踪场景中；另一方面，对于全局候选区域的搜索和检测很有可能引入一些错误的检测目标，也就是在保证高召回率的同时并不能确保较高的跟踪准确率，这也是目标跟踪中需要提升的方面。

发明内容

在下文中给出了关于本申请的简要概述，以便提供关于本申请的某些方面的基本理解。应当理解，这个概述并不是关于本申请的穷举性概述。它并不是意图确定本申请的关键或重要部分，也不是意图限定本申请的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

鉴于现有技术的上述缺陷，本申请的目的之一是提供一种目标跟踪方法、介质、计算设备和装置，以至少解决现有的目标跟踪的速度慢和精度低的问题。

根据本申请的第一个方面，提供一种目标跟踪方法，包括以下步骤：获取目标在当前帧图像中的位置信息；基于回归卷积网络根据所述目标在当前帧图像中的位置信息获取所述目标在下一帧图像中的第一预测位置信息；根据所述第一预测位置信息跟踪所述目标。

根据本申请的第二个方面，提供一种计算机可读存储介质，存储有程序代码，所述程序代码当被处理器执行时，实现如前所述的方法。

根据本申请的第三个方面，提供一种计算设备，包括处理器和存储有程序代码的存储介质，所述程序代码当被处理器执行时，实现如前所述的方法。

根据本申请的第四个方面，提供一种目标跟踪装置，包括：目标检测模块，用于获取目标在当前帧图像中的位置信息；位置预测模块，用于基于回归卷积网络根据所述目标在当前帧图像中的位置信息获取所述目标在下一帧图像中的第一预测位置信息；目标跟踪模块，用于根据所述第一预测位置信息跟踪所述目标。

本申请提供的目标跟踪方法、介质、计算设备和装置，能够对多个目标跟踪序列进行可区分的检测与跟踪，并通过检测与跟踪的配合和相互更正，使目标跟踪能够应对目标误捡、遮挡、丢失等复杂问题，能够有效提高目标跟踪的速度和精度，实现对目标的实时跟踪，在不同的场景下都能够有良好的表现。

附图说明

为了进一步阐述本发明的以上和其他优点和特征，下面结合附图对本发明的具体实施方式作进一步详细的说明。附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分。应当理解，这些附图仅描述本发明的典型示例，而不应看作是对本发明的范围的限定。在附图中：

图1为根据本发明的目标跟踪方法的一种实施方式的流程图；

图2为根据本发明的目标跟踪方法的另一种实施方式的流程图；

图3为根据本发明的目标跟踪方法的又一种实施方式的流程图；

图4为根据本发明的目标跟踪方法的一种实施方式的流程图；

图5为根据本发明的目标跟踪方法的又一种实施方式的流程图；

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

在下文中将结合实施例对本发明的示范性实施方式进行描述。为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的处理步骤，而省略了与本发明关系不大的其他细节。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。

在上下文中所称“计算设备”，也称为“电脑”，是指可以通过运行预定程序或指令来执行数值计算和/或逻辑计算等预定处理过程的智能电子设备，其可以包括处理器与存储器，由处理器执行在存储器中预存的存续指令来执行预定处理过程，或是由ASIC、FPGA、DSP等硬件执行预定处理过程，或是由上述二者组合来实现。计算设备包括但不限于服务器、个人电脑、笔记本电脑、平板电脑、智能手机等。

所述计算设备包括用户设备与网络设备。其中，所述用户设备包括但不限于电脑、智能手机、PDA等；所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing) 的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。其中，所述计算设备可单独运行来实现本发明，也可接入网络并通过与网络中的其他计算设备的交互操作来实现本发明。其中，所述计算设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。

需要说明的是，所述用户设备、网络设备和网络等仅为举例，其他现有的或今后可能出现的计算设备或网络如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

后面所讨论的方法(其中一些通过流程图示出)可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或者其任意组合来实施。当用软件、固件、中间件或微代码来实施时，用以实施必要任务的程序代码或代码段可以被存储在机器或计算机可读介质(比如存储介质)中。(一个或多个) 处理器可以实施必要的任务。

这里所公开的具体结构和功能细节仅仅是代表性的，并且是用于描述本发明的示例性实施例的目的。但是本发明可以通过许多替换形式来具体实现，并且不应当被解释成仅仅受限于这里所阐述的实施例。

应当理解的是，虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说，在不背离示例性实施例的范围的情况下，第一单元可以被称为第二单元，并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。

这里所使用的术语仅仅是为了描述具体实施例而不是意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。

为了使本领域技术人员更好的理解本发明技术方案，下面将结合附图说明和具体实施方式对本发明技术方案进行详细介绍。

根据本发明的第一个方面，介绍一种目标跟踪方法，包括以下步骤：获取目标在当前帧图像中的位置信息；基于回归卷积网络根据所述目标在当前帧图像中的位置信息获取所述目标在下一帧图像中的第一预测位置信息；根据所述第一预测位置信息跟踪所述目标。

如图1所示为根据本发明的目标跟踪方法的一种实施方式的流程图，其中，包括以下步骤：

S111：获取目标在当前帧图像中的位置信息；

S112：基于回归卷积网络根据所述目标在当前帧图像中的位置信息获取所述目标在下一帧图像中的第一预测位置信息；

S113：根据所述第一预测位置信息跟踪所述目标。

作为一种可选的实施方式，首先可以获取目标在当前帧图像中的位置信息。可选的，可以获取目标在当前帧图像中的目标位置信息，其中，该目标位置信息可以是视图平面上的位于目标图像上的固定相对位置上的点的坐标信息，例如，该固定相对位置上的点可以是目标图像的几何中心，也可以是目标图像上具有可辨认特征的某个位置的一个点或多个点的组合，例如可以是目标图像的每个角点坐标的组合，该目标位置信息也可以是闭合线条所围成的包含目标的闭合图形的位置信息，可选的，该闭合图形的大小可以是刚刚好能够将目标完全圈住，也可以是前述闭合图形大小的若干倍，例如可以是2倍、5倍、10倍等，在此不作限定，本领域技术人员可以根据需要进行选择，可选的，这里的大小可以是闭合图形的周长、面积、边长等，在此不作限定；可选的，该闭合图形可以是任意合适的图形，例如可以是圆形、正方形、矩形、三角形等，在此不作限定，本领域技术人员可以根据需要进行选择；例如，当该闭合图形是圆形时，目标位置信息可以是该圆形圆心的坐标信息，当该闭合图形是正方形、矩形或三角形时，目标位置信息可以是各自几何中心的坐标信息，也可以是各图形角点的坐标信息，也可以是几何中心和图形角点的坐标信息的组合；优选的，在本技术方案中，该闭合图形可以为矩形，大小可以为刚刚好能够将目标完全圈住的矩形边长的1.2倍，目标位置信息可以是该矩形的几何中心和两个对角顶点的坐标信息的组合。

作为一种可选的实施方式，在获取目标在当前帧图像中的目标位置信息之后，可以基于回归卷积网络根据目标在当前帧图像中的位置信息获取目标在下一帧图像中的第一预测位置信息。其中，根据目标在当前帧图像中的位置信息获取目标在下一帧图像中的第一预测位置信息可以不限于基于回归卷积网络，可选的，例如可以基于全卷积孪生网络、递归神经网络、多层卷积网络与相关滤波结合等方法根据目标在当前帧图像中的位置信息获取目标在下一帧图像中的第一预测位置信息，优选的，基于回归卷积网络根据目标在当前帧图像中的位置信息获取目标在下一帧图像中的第一预测位置信息。

作为一种可选的实施方式，基于回归卷积网络根据所述目标在当前帧图像中的目标位置信息获取目标在下一帧图像中的第一预测位置信息可以包括步骤：根据所述目标在当前帧图像中的目标位置信息获取目标在下一帧图像中的候选位置信息。其中，该候选位置信息与目标位置信息可以具有相同的属性信息，例如，当目标位置信息为目标图像上的固定相对位置上的点的坐标信息时，候选位置信息相应的为某个点的坐标信息，当目标位置信息为闭合线条所围成的包含目标的闭合图形的位置信息时，候选位置信息相应的为与前述闭合图形形状相同的闭合图形的位置信息，该候选位置信息与目标位置信息也可以具有不同的属性信息；优选的，该候选位置信息与目标位置信息具有相同的属性信息；可选的，候选位置信息可以相对于当前帧图像中的目标位置信息在某个方向偏移一定距离，例如当目标正在向正东方向快速运动时，候选位置信息可以相对于目标位置信息向x 轴正方向偏移3个单位，当目标正在向正南方向慢速运动时，候选位置信息可以相对于目标位置信息向y轴负方向偏移1个单位等等，候选位置信息相对于目标位置信息偏移的方向和距离可以根据目标的运动状况进行设定，在此不作限定，候选位置信息也可以与当前帧图像中的目标位置信息完全相同；可选的，候选位置信息的闭合图形大小可以是目标位置信息的闭合图形大小的若干倍，例如可以是2倍、5倍、10倍等，在此不作限定，本领域技术人员可以根据需要进行设定，可选的，这里的大小可以是闭合图形的周长、面积、边长等，在此不作限定；例如，当该闭合图形为矩形时，候选位置信息的矩形边长可以是目标位置信息的矩形边长的2倍、 5倍或10倍等等，作为一种可选的实施方式，当目标移动速度较大时，候选位置信息的闭合图形可以选的较大一些，当目标移动速度较小时，候选位置信息的闭合图形可以选的较小一些，倍数的选取以确保能够将下一帧图像中的目标完全圈入候选位置信息的闭合图形中，优选的，这里闭合图形为矩形。

可选的，在根据所述目标在当前帧图像中的目标位置信息获取目标在下一帧图像中的候选位置信息之后，还可以包括步骤：基于回归卷积网络提取目标位置信息的第一特征，基于回归卷积网络提取候选位置信息的第二特征。具体的，包括：基于回归卷积网络提取目标位置信息所确定的图像的第一特征，基于回归卷积网络提取候选位置信息所确定的图像的第二特征。其中，提取目标位置信息所确定的图像的第一特征不限于基于回归卷积网络，可选的，可以基于Alexnet的前五层卷积层作为提取特征的网络，可选的，在Alexnet前五层卷积层的基础上再对应加入反卷积，例如可以是双线性插值的升采样层，并将卷积层的特征与对应升采样后的特征输出进行元素级别相加，依此类推最终得到一个和原图大小一致的“特征图”，可选的，在前述卷积-反卷积网络的基础上，利用多个卷积-反卷积网络作为特征提取网络，提取目标位置信息所确定的图像的第一特征；其中，提取候选位置信息所确定的图像的第二特征不限于基于回归卷积网络，可选的，可以基于Alexnet的前五层卷积层作为提取特征的网络，可选的，在Alexnet前五层卷积层的基础上再对应加入反卷积，例如可以是双线性插值的升采样层，并将卷积层的特征与对应升采样后的特征输出进行元素级别相加，依此类推最终得到一个和原图大小一致的“特征图”，可选的，在前述卷积-反卷积网络的基础上，利用多个卷积-反卷积网络作为特征提取网络，提取目标位置信息所确定的图像的第二特征。

在Alexnet之后加入反卷积层能够使获取的“特征图”的大小与原图像大小相当，能够更加清晰地体现小目标的特征。

可选的，在基于回归卷积网络提取候选位置信息的第二特征之后还可以包括步骤：基于回归卷积网络将目标位置信息所确定的图像作为卷积核对候选位置信息所确定的图像进行卷积运算，获取第一预测位置信息。其中，卷积核就是图像处理时，给定输入图像，在输出图像中每一个像素是输入图像中一个小区域中像素的加权平均，其中权值由一个函数定义，这个函数称为卷积核。可选的，将目标位置信息所确定的图像的第一特征作为卷积核，通过平移的方式去扫候选位置信息所确定的图像的第二特征，进行卷积运算。目标位置信息所确定的图像的第一特征与候选位置信息所确定的图像的第二特征的背景部分做运算和与候选位置信息所确定的图像的第二特征的近似目标区域做运算的结果是有较大区别的。自卷积后的特征图再通过全连接网络回归输出目标的坐标信息，即第一预测位置信息。

在本实施例中，只将每帧图像中包含目标的部分做卷积运算能够提高运算速度，减少运算时间，有利于更加实时地跟踪，在自卷积之后加入全连接层能够综合目标的上述所有特征，提高获取的第一预测位置信息的准确度。

目前，有些跟踪算法是基于图像分类的方法，这类方法是对图像划分许多小的图像块，再对每个图像块进行分类来判断是否为目标，从而得到目标位置，而回归卷积网络是基于回归的方法，其由卷积层提取特征，并从特征中通过全连接层等方法回归出目标位置，而不是通过对图像块分类来得到目标位置。

如图2所示为根据本发明的目标跟踪方法的回归卷积网络的一种实施方式的示意图。

作为一种可选的实施方式，相比较传统的回归卷积网络的结构，可以在卷积层提取特征之后，将目标位置信息所确定的图像的第一特征与候选位置信息所确定的图像的第二特征做卷积操作。

传统的回归卷积网络直接通过特征串联的方式来进行特征匹配时，打乱了本身的二维坐标系，失去了特征之间的二维邻接关系，这样在跟踪结果中，预测结果大致是正确的，但是预测框变大，这是因为回归得到的预测有误差，而这个误差是会累计的，也就是随着误差出现，此后的误差会一直存在甚至跟丢。本实施例中的将目标位置信息所确定的图像的第一特征与候选位置信息所确定的图像的第二特征做卷积操作，将特征值直接在二维(不计特征通道)卷积操作中进行比对，一方面使特征保持了紧凑的形态，另一方面则使坐标更加清晰。并且，在进行了自相关卷积的操作之后，回归层需要学习的东西不再是比较判断位置，而是通过接受得到的特征匹配分布模式来预测坐标，从隐式的双输入变成了单输入的任务，对于网络来说，学习难度大大降低。

如图3所示为根据本发明的目标跟踪方法的另一种实施方式的流程图，其中，包括以下步骤：

S101：检测所述当前帧图像中的所述目标；

S102：基于所述目标的特征值与特征阈值的比较，判定所述目标是否为真实目标；

S111：获取目标在当前帧图像中的位置信息；

S112：基于回归卷积网络根据所述目标在当前帧图像中的位置信息获取所述目标在下一帧图像中的第一预测位置信息；

S113：根据所述第一预测位置信息跟踪所述目标。

作为一种可选的实施方式，可以先检测当前帧图像中的目标，可选的，可以基于现有技术中的Faster-RCNN或者YOLO等检测算法检测当前帧图像中的目标，在此不作限定。

作为一种可选的实施方式，在当前帧图像中检测到目标后，可以基于该目标的特征值与特征阈值的比较，判定目标是否为真实目标。其中，特征阈值可以根据训练时统计得到的目标的图像直方图，可选的，对于红外相机拍摄的黑白图片或视频，可以选用灰度直方图作为特征进行计算，对于普通白光的相机拍摄的彩色图片或视频，可以选用颜色直方图；可选的，可以根据确定特征阈值Thresh，其中，Dis可由下式计算：

Dis＝D_KL(Ia||Ib)

在训练数据集中取一段连续性比较好的目标跟踪成功视频，统计其帧间的相差程度Dis，然后取多个该相差程度Dis的平均值记做其中，Ia、 Ib分别表示相邻两帧中的闭合图形中图像的图像直方图，D_KL表示KL距离(Kullback-Leibler Divergence，简称KL距离，也称为相对熵，用于衡量的是相同事件空间里的两个概率分布的差异情况)，可选的，特征阈值可由下式计算：

其中，m为误差因子，表示考虑序列变换导致的分布误差，通常可以取1.2；可选的，目标的特征值Dis’的计算方法与Dis的计算方法相同，可以取当前帧图像与下一帧图像的目标跟踪视频进行计算；可选的，当目标的特征值Dis’<Thresh时，可以判定目标为真实目标，当目标的特征值Dis’≥ Thresh时，可以判定目标为虚假目标。

作为一种可选的实施方式，当判定目标为真实目标时，可以继续进行 S111：获取所述目标在当前帧图像中的位置信息，当判定目标为虚假目标或者没有在当前帧图像中检测到目标时，则不再继续获取目标在当前帧图像中的位置信息；可选的，当判定目标为虚假目标或者没有在当前帧图像中检测到目标时，可以等待第一预定时间长度后重新进行S101,。可选的，第一预定时间可以根据需要进行设定，例如可以是19秒、9帧等，在此不作限定，作为一个具体实施例，当判定目标为虚假目标或没有在当前帧图像中检测到目标，且第一预定时间为9帧时，则等待9帧图像的时间，在第10帧进行S101。

如图4所示为根据本发明的目标跟踪方法的又一种实施方式的流程图，其中，包括以下步骤：

S101：检测所述当前帧图像中的所述目标；

S102：基于所述目标的特征值与特征阈值的比较，判定所述目标是否为真实目标；

S111：获取目标在当前帧图像中的位置信息；

S112：基于回归卷积网络根据所述目标在当前帧图像中的位置信息获取所述目标在下一帧图像中的第一预测位置信息；

S121：基于运动轨迹预测根据所述目标在当前帧图像中的位置信息获取所述目标在所述下一帧图像中的第二预测位置信息；

S122：当所述下一帧不为关键帧时，根据通过相似度比较确定的所述目标在所述下一帧图像中的预测位置信息跟踪所述目标。

作为一种可选的实施方式，还可以基于运动轨迹预测根据目标在当前帧图像中的位置信息获取目标在下一帧图像中的第二预测位置信息。可选的，可以根据以下方法获取第二预测位置信息：

将前一帧和当前帧图像中闭合线条所围成的包含目标的闭合图形的几何中心分别记作C_t-1、C_t，其中，C_i＝(x_i,y_i)，(i表示帧数， i＝1,2,3…t-1,t,t+1…)，(x_i,y_i)表示闭合图形的几何中心C_i的坐标，一般地，将物体在第t帧的速度记为：

v_t-1＝C_t-C_t-1

为了平滑物体的运动轨迹以应对因标注产生的抖动，引入指数平滑因子λ，一般取λ＝0.9，则物体在第t帧的正则化速度v′_t-1记为：

v′_t-1＝λv′_t-2+v_t-1

根据前述获取的当前帧图像中目标位置信息的闭合线条所围成的包含目标的闭合图形的几何中心C_t的坐标，可以根据下式得到下一帧图像中第二预测位置信息的闭合线条所围成的包含目标的闭合图形的几何中心C_t+1的坐标，其中，下一帧图像中第二预测位置信息的闭合图形的大小可以根据前述候选位置信息的闭合图形的大小的确定方法进行确定，在此不再赘述；可选的，第二预测位置信息可以为下一帧图像中的闭合线条所围成的闭合图形的位置信息，例如可以包括几何中心C_t+1的坐标和闭合图形各角点的坐标信息中的至少一个，优选的，包括几何中心C_t+1的坐标和闭合图形各角点的坐标信息。

作为一种可选的实施方式，当下一帧不为关键帧时，可以根据通过相似度比较确定的目标在下一帧图像中的预测位置信息跟踪目标，具体的，将第一预测位置信息和第二预测位置信息分别与目标在当前帧图像中的目标位置信息进行相似度比较，取其中与目标在当前帧图像中的目标位置信息相似度较高者作为目标在下一帧图像中的预测位置信息，并根据该预测位置信息跟踪目标；其中，关键帧可以根据需要进行设定，例如可以设定第10的整数倍帧为关键帧，也可以设定第5的整数倍帧为关键帧，在此不作限定，本领域技术人员可以根据需要进行选择。

可选的，相似度S可由下式表示：

S＝∑_i(Ba_i-Bb_i)²+nD_KL(Ia||Ib)

其中，Ba_i表示当前帧图像中目标位置信息的闭合线条所围成的包含目标的闭合图形的位置信息，Bb_i表示第一预测位置信息或第二预测位置信息的闭合线条所围成的包含目标的闭合图形的位置信息，n表示归一化和加权系数，可以根据实际数据的特性来选择，这里n＝1，其余字母的含义与上述相同，S的值越小，相似度越高，S的值越大，相似度越低。

本实施例中的相似度比较能够综合位置信息、距离信息和图像直方图信息，对目标的多个信息进行匹配，使相似度比较的结果更加准确。

如图5所示为根据本发明的目标跟踪方法的又一种实施方式的流程图，其中，包括以下步骤：

S101：检测所述当前帧图像中的所述目标；

S102：基于所述目标的特征值与特征阈值的比较，判定所述目标是否为真实目标；

S111：获取目标在当前帧图像中的位置信息；

S112：基于回归卷积网络根据所述目标在当前帧图像中的位置信息获取所述目标在下一帧图像中的第一预测位置信息；

S121：基于运动轨迹预测根据所述目标在当前帧图像中的位置信息获取所述目标在所述下一帧图像中的第二预测位置信息；

S122：当所述下一帧不为关键帧时，根据通过相似度比较确定的所述目标在所述下一帧图像中的预测位置信息跟踪所述目标；

S131：当所述下一帧为关键帧时，检测所述下一帧图像中的所述目标；

S132：获取所述目标在所述下一帧图像中的位置信息；

S133：根据所述目标在所述下一帧图像中的位置信息与所述预测位置信息的匹配结果跟踪所述目标。

作为一种可选的实施方式，当下一帧为关键帧时，可以检测下一帧图像中的目标，并获取目标在下一帧图像中的位置信息，其中，检测下一帧图像中目标的方法与前述检测当前帧图像中目标的方法相同，获取目标在下一帧图像中位置信息的方法与获取目标在当前帧图像中位置信息的方法相同，在此不再赘述。

可选的，可以记检测到的当前帧图像中的目标个数为p个，检测到的下一帧图像中的目标个数为q个，基于带权匈牙利算法和相似度比较，将检测到的下一帧图像中的每个目标与检测到的当前帧图像中的每个目标进行匹配，可选的，可以将检测到的下一帧图像中的每个目标的位置信息与检测到的当前帧图像中的每个目标的位置信息进行匹配；其中，带权匈牙利算法与现有技术相同，在此不再赘述，相似度比较的方法即上述根据相似度S比较方法，在此不再赘述；可选的，将匹配结果中的相似度S进行从小到大排序，当q<p时，则确定匹配结果的相似度排序中的前q个S 所对应的下一帧图像中的目标与当前帧图像中的目标正确匹配，当前帧图像中的剩余目标均失配，当q>p时，则确定匹配结果中的相似度排序中前 p个S所对应的下一帧图像中的目标与当前帧图像中的目标正确匹配，下一帧图像中的剩余目标均失配；可选的，可以设定相似度阈值S’，将匹配结果中的相似度S小于S’的两个目标确定为正确匹配的目标，将匹配结果中S等于或大于S’的两个目标确定为失配的目标；可选的，可以跟踪匹配结果正确匹配的目标，停止跟踪失配的目标。

作为一种可选的实施方式，可以基于目标的特征值与特征阈值的比较跟踪该目标。可选的，对于正确匹配的下一帧图像中和当前帧图像中的每一个目标，可以基于阈值比较确定是否进行跟踪；可选的，当正确匹配的下一帧图像中与当前帧图像中的两个目标的特征值Dis’均小于Thresh时，确定跟踪该目标，当正确匹配的下一帧图像中与当前帧图像中的两个目标中任何一个目标的特征值Dis’等于或大于Thresh时，则确定该两个目标错误匹配，并停止跟踪该目标。

可选的，可以基于目标的特征值与特征阈值的比较跟踪目标。当检测到的下一帧图像中的目标中有与当前帧图像中的目标无法正确匹配目标时，对下一帧图像中无法正确匹配的每一个目标根据前述阈值比较的方法进行逐个判定，当下一帧图像中无法正确匹配的目标的特征值Dis’<Thresh 时，则确定该目标为新加入的目标，确定跟踪该目标，当下一帧图像中无法正确匹配的目标的特征值Dis’≥Thresh时，则确定该目标为虚假目标，停止跟踪该目标；可选的，当q>p时，检测到的下一帧图像中的目标中必然有无法与当前帧图像中的目标无法匹配的目标；当检测到的当前帧图像中的目标中有与下一帧图像中的目标无法正确匹配的目标时，对当前帧图像中无法正确匹配的每一个目标根据前述阈值比较的方法进行逐个判定，当当前帧图像中无法正确匹配的目标的特征值Dis’<Thresh时，则确定该目标为检测下一帧图像中的目标时遗漏的目标，并继续跟踪该目标，当当前帧图像中无法正确匹配的目标的特征值Dis’≥Thresh时，则确定该目标在下一帧图像中的显示已不完整，并停止跟踪该目标。

在本实施例中，在关键帧加入目标检测的环节，能够通过目标检测对跟踪的目标进行检查与更正，提高了目标跟踪的准确性，通过目标匹配的方法能够实现对多个目标进行区分跟踪，再通过阈值比较的方法对每个目标进行检查，既能够防止跟踪了错误的目标，又能够不放过每一个正确的目标，能够自如应对目标误检、遮挡和丢失的问题，在不同的场景下都能够有良好的表现。

现有的跟踪框架一般是通过逐帧预测或逐帧检测匹配进行的，本申请把这两者结合起来运作并进行相互纠正。在非关键帧时，通过神经网络和运动轨迹来直接预测目标位置；而在关键帧时，在上述预测体系上，加入了目标检测的模块，通过相似度比较和匹配，综合预测的结果和检测的结果，来提升目标跟踪的性能。

根据本发明的第二个方面，介绍一种计算机可读存储介质，存储有程序代码，所述程序代码当被处理器执行时，实现上述目标跟踪方法。

在一些可能的实施方式中，本发明的各个方面还可以实现为一种存储有程序产品的计算机可读存储介质，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述目标跟踪方法的步骤。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件或者上述的任意合适的组合。

在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言——例如Java、C++等，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网或广域网——连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

根据本发明的第三个方面，介绍一种计算设备，包括处理器和存储有程序代码的存储介质，所述程序代码当被处理器执行时，实现上述目标跟踪方法。

在一些可能的实施方式中，根据本发明的目标跟踪装置可以至少包括至少一个处理器、以及至少一个存储器。其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行本说明书上述目标跟踪方法的步骤。

根据本发明的第四个方面，介绍一种目标跟踪装置，包括：目标检测模块，用于获取目标在当前帧图像中的位置信息；位置预测模块，用于基于回归卷积网络根据目标在当前帧图像中的位置信息获取目标在下一帧图像中的第一预测位置信息；目标跟踪模块，用于根据第一预测位置信息跟踪目标。

作为一种可选的实施方式，目标检测模块还用于，获取目标在当前帧图像中的目标位置信息。

作为一种可选的实施方式，位置预测模块还用于，根据目标在当前帧图像中的目标位置信息获取目标在下一帧图像中的候选位置信息。

作为一种可选的实施方式，位置预测模块还用于，基于回归卷积网络提取目标位置信息的第一特征，基于回归卷积网络提取候选位置信息的第二特征。

作为一种可选的实施方式，位置预测模块还用于，基于回归卷积网络将目标位置信息作为卷积核对候选位置信息进行卷积运算，获取第一预测位置信息。

作为一种可选的实施方式，还包括，阈值比较模块，用于基于目标的特征值与特征阈值的比较，判定目标是否为真实目标。

作为一种可选的实施方式，阈值比较模块还用于，当特征值小于特征阈值时，判定目标为真实目标，当特征值等于或大于特征阈值时，判定目标为虚假目标。

作为一种可选的实施方式，目标检测模块还用于，当阈值比较模块判定目标为真实目标时，获取目标在当前帧图像中的位置信息；当阈值比较模块判定目标为虚假目标时，则不再继续获取目标在当前帧图像中的位置信息。

作为一种可选的实施方式，目标检测模块还用于，检测当前帧图像中的目标。

作为一种可选的实施方式，位置预测模块还用于，基于运动轨迹预测根据目标在当前帧图像中的位置信息获取目标在下一帧图像中的第二预测位置信息；

作为一种可选的实施方式，目标跟踪模块还用于，预测位置信息确定单元，用于当下一帧不为关键帧时，根据通过相似度比较确定的目标在下一帧图像中的预测位置信息跟踪目标。

作为一种可选的实施方式，相似度比较包括，将第一预测位置信息和第二预测位置信息分别与目标在当前帧图像中的位置信息进行相似度比较。

作为一种可选的实施方式，目标检测模块还用于，当下一帧为关键帧时，检测下一帧图像中的目标，获取目标在下一帧图像中的位置信息，目标跟踪模块还用于，根据目标在下一帧图像中的位置信息与预测位置信息的匹配结果跟踪目标。

作为一种可选的实施方式，目标跟踪模块还用于，基于阈值比较模块对目标的特征值与特征阈值的比较，根据匹配结果跟踪目标。

作为一种可选的实施方式，目标跟踪模块还用于，基于阈值比较模块对目标的特征值与特征阈值的比较跟踪目标。

作为一种可选的实施方式，目标跟踪模块还用于，当目标的特征值小于特征阈值时，确定跟踪目标；当目标的特征值等于或大于特征阈值时，停止跟踪目标。

本申请提供的目标跟踪方法、介质、计算设备和装置，能够对多个目标跟踪序列进行可区分的检测与跟踪，并通过检测与跟踪的配合和相互更正，使目标跟踪能够应对目标误捡、遮挡、丢失等复杂问题，能够有效提高目标跟踪的速度和精度，实现对目标的实时跟踪，在不同的场景下都能够有良好的表现。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

应当注意，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

根据以上实施方式的说明，本申请提供了如下技术方案。

方案1、一种目标跟踪方法，其中，包括以下步骤：

获取目标在当前帧图像中的位置信息；

基于回归卷积网络根据所述目标在当前帧图像中的位置信息获取所述目标在下一帧图像中的第一预测位置信息；

根据所述第一预测位置信息跟踪所述目标。

方案2、根据方案1所述的方法，其中，所述获取目标在当前帧图像中的位置信息包括：

获取所述目标在当前帧图像中的目标位置信息；

方案3、根据方案2所述的方法，其中，所述基于回归卷积网络根据所述目标在当前帧图像中的位置信息获取所述目标在下一帧图像中的第一预测位置信息还包括以下步骤：

根据所述目标在当前帧图像中的目标位置信息获取所述目标在下一帧图像中的候选位置信息。

方案4、根据方案3所述的方法，其中，在所述根据所述目标在当前帧图像中的目标位置信息获取所述目标在下一帧图像中的候选位置信息之后还包括以下步骤：

基于回归卷积网络提取所述目标位置信息的第一特征；

基于回归卷积网络提取所述候选位置信息的第二特征。

方案5、根据方案3或4所述的方法，其中，在所述基于回归卷积网络提取所述候选位置信息的第二特征之后还包括以下步骤：

基于回归卷积网络将所述目标位置信息作为卷积核对所述候选位置信息进行卷积运算，获取所述第一预测位置信息。

方案6、根据方案1或5中的任意一项所述的方法，其中，在所述获取目标在当前帧图像中的位置信息之前还包括步骤：

基于所述目标的特征值与特征阈值的比较，判定所述目标是否为真实目标。

方案7、根据方案6所述的方法，其中，所述基于所述目标的特征值与特征阈值的比较，判定所述目标是否为真实目标包括：

当所述特征值小于所述特征阈值时，判定所述目标为真实目标，当所述特征值等于或大于所述特征阈值时，判定所述目标为虚假目标。

方案8、根据方案7所述的方法，其中，所述获取目标在当前帧图像中的位置信息还包括步骤：

当判定所述目标为真实目标时，获取所述目标在当前帧图像中的位置信息；当判定所述目标为虚假目标时，则不再继续获取目标在当前帧图像中的位置信息。

方案9、根据方案6所述的方法，其中，在所述基于所述目标的特征值与特征阈值的比较，判定所述目标是否为真实目标之前还包括步骤：

检测所述当前帧图像中的所述目标。

方案10、根据方案1或9中的任意一项所述的方法，其中，在所述基于回归卷积网络根据所述目标在当前帧图像中的位置信息获取所述目标在下一帧图像中的第一预测位置信息之后还包括以下步骤：

基于运动轨迹预测根据所述目标在当前帧图像中的位置信息获取所述目标在所述下一帧图像中的第二预测位置信息；

方案11、根据方案10所述的方法，其中，所述根据所述第一预测位置信息跟踪所述目标包括：

当所述下一帧不为关键帧时，根据通过相似度比较确定的所述目标在所述下一帧图像中的预测位置信息跟踪所述目标。

方案12、根据方案11所述的方法，其中，所述相似度比较包括：

将所述第一预测位置信息和所述第二预测位置信息分别与所述目标在当前帧图像中的位置信息进行相似度比较。

方案13、根据方案11或12所述的方法，其中，在所述根据所述目标在所述下一帧图像中的位置信息跟踪所述目标之前还包括以下步骤：

当所述下一帧为关键帧时，检测所述下一帧图像中的所述目标；

获取所述目标在所述下一帧图像中的位置信息；

根据所述目标在所述下一帧图像中的位置信息与所述预测位置信息的匹配结果跟踪所述目标。

方案14、根据方案13所述的方法，其中，所述根据所述目标在所述下一帧图像中的位置信息与所述预测位置信息的匹配结果跟踪所述目标包括：

基于所述目标的特征值与特征阈值的比较，根据所述匹配结果跟踪所述目标。

方案15、根据方案14所述的方法，其中，在所述基于所述目标的特征值与特征阈值的比较，根据所述匹配结果跟踪所述目标之后还包括以下步骤：

基于所述目标的特征值与所述特征阈值的比较跟踪所述目标。

方案16、根据方案15所述的方法，其中，所述基于所述目标的特征值与特征阈值的比较跟踪所述目标包括：

当所述目标的特征值小于所述特征阈值时，确定跟踪所述目标；当所述目标的特征值等于或大于所述特征阈值时，停止跟踪所述目标。

方案17、一种计算机可读存储介质，存储有程序代码，所述程序代码当被处理器执行时，实现如方案1-16之一所述的方法。

方案18、一种计算设备，包括处理器和存储有程序代码的存储介质，所述程序代码当被处理器执行时，实现如方案1-16之一所述的方法。

方案19、一种目标跟踪装置，其中，包括：

目标检测模块，用于获取目标在当前帧图像中的位置信息；

位置预测模块，用于基于回归卷积网络根据所述目标在当前帧图像中的位置信息获取所述目标在下一帧图像中的第一预测位置信息；

目标跟踪模块，用于根据所述第一预测位置信息跟踪所述目标。

方案20、根据方案19所述的装置，其中，所述目标检测模块还用于：

获取所述目标在当前帧图像中的目标位置信息。

方案21、根据方案20所述的装置，其中，所述位置预测模块还用于：

根据所述目标在当前帧图像中的所述目标位置信息获取所述目标在下一帧图像中的候选位置信息。

方案22、根据方案21所述的装置，其中，所述位置预测模块还用于：

基于回归卷积网络提取所述目标位置信息的第一特征；

基于回归卷积网络提取所述候选位置信息的第二特征。

方案23、根据方案21或22所述的装置，其中，所述位置预测模块还用于：

基于回归卷积网络将所述目标位置信息作为卷积核对所述候选位置信息进行卷积运算，获取所述第一预测位置信息。

方案24、根据方案19或23中的任意一项所述的装置，其中，还包括：

阈值比较模块，用于基于所述目标的特征值与特征阈值的比较，判定所述目标是否为真实目标。

方案25、根据方案24所述的装置，其中，所述阈值比较模块还用于：

当所述特征值小于所述特征阈值时，判定所述目标为真实目标，当所述特征值等于或大于所述特征阈值时，判定所述目标为虚假目标。

方案26、根据方案25所述的装置，其中，所述目标检测模块还用于：

当所述阈值比较模块判定所述目标为真实目标时，获取所述目标在当前帧图像中的位置信息；当所述阈值比较模块判定所述目标为虚假目标时，则不再继续获取目标在当前帧图像中的位置信息。

方案27、根据方案26所述的装置，其中，所述目标检测模块还用于：

检测所述当前帧图像中的所述目标。

方案28、根据方案19或27中的任意一项所述的装置，其中，所述位置预测模块还用于：

基于运动轨迹预测根据所述目标在当前帧图像中的位置信息获取所述目标在所述下一帧图像中的第二预测位置信息；

方案29、根据方案28所述的装置，其中，所述目标跟踪模块还用于：

预测位置信息确定单元，用于当所述下一帧不为关键帧时，根据通过相似度比较确定的所述目标在所述下一帧图像中的预测位置信息跟踪所述目标。

方案30、根据方案29所述的方法，其中，所述相似度比较包括：

将所述第一预测位置信息和所述第二预测位置信息分别与所述目标在当前帧图像中的位置信息进行相似度比较。

方案31、根据方案29或30所述的装置，其中，

所述目标检测模块还用于：

当所述下一帧为关键帧时，检测所述下一帧图像中的所述目标；

获取所述目标在所述下一帧图像中的位置信息；

目标跟踪模块还用于：

根据所述目标在所述下一帧图像中的位置信息与所述预测位置信息的匹配结果跟踪所述目标。

方案32、根据方案31所述的装置，其中，所述目标跟踪模块还用于：

基于所述阈值比较模块对所述目标的特征值与特征阈值的比较，根据所述匹配结果跟踪所述目标。

方案33、根据方案32所述的装置，其中，所述目标跟踪模块还用于：

基于所述阈值比较模块对所述目标的特征值与所述特征阈值的比较跟踪所述目标。

方案34、根据方案33所述的装置，其中，所述目标跟踪模块还用于：

当所述目标的特征值小于所述特征阈值时，确定跟踪所述目标；当所述目标的特征值等于或大于所述特征阈值时，停止跟踪所述目标。

Claims (10)

1.一种目标跟踪方法，其中，包括以下步骤：

获取目标在当前帧图像中的位置信息；

基于回归卷积网络根据所述目标在当前帧图像中的位置信息获取所述目标在下一帧图像中的第一预测位置信息；

根据所述第一预测位置信息跟踪所述目标。

2.根据权利要求1所述的方法，其中，所述获取目标在当前帧图像中的位置信息包括：

获取所述目标在当前帧图像中的目标位置信息。

3.根据权利要求2所述的方法，其中，所述基于回归卷积网络根据所述目标在当前帧图像中的位置信息获取所述目标在下一帧图像中的第一预测位置信息还包括以下步骤：

根据所述目标在当前帧图像中的目标位置信息获取所述目标在下一帧图像中的候选位置信息。

4.根据权利要求3所述的方法，其中，在所述基于回归卷积网络提取所述候选位置信息的第二特征之后还包括以下步骤：

基于回归卷积网络将所述目标位置信息作为卷积核对所述候选位置信息进行卷积运算，获取所述第一预测位置信息。

5.根据权利要求1所述的方法，其中，在所述基于回归卷积网络根据所述目标在当前帧图像中的位置信息获取所述目标在下一帧图像中的第一预测位置信息之后还包括以下步骤：

基于运动轨迹预测根据所述目标在当前帧图像中的位置信息获取所述目标在所述下一帧图像中的第二预测位置信息。

6.根据权利要求5所述的方法，其中，所述根据所述第一预测位置信息跟踪所述目标包括：

当所述下一帧不为关键帧时，根据通过相似度比较确定的所述目标在所述下一帧图像中的预测位置信息跟踪所述目标。

7.根据权利要求6所述的方法，其中，在所述根据所述目标在所述下一帧图像中的位置信息跟踪所述目标之前还包括以下步骤：

当所述下一帧为关键帧时，检测所述下一帧图像中的所述目标；

获取所述目标在所述下一帧图像中的位置信息；

根据所述目标在所述下一帧图像中的位置信息与所述预测位置信息的匹配结果跟踪所述目标。

8.一种计算机可读存储介质，存储有程序代码，所述程序代码当被处理器执行时，实现如权利要求1-7之一所述的方法。

9.一种计算设备，包括处理器和存储有程序代码的存储介质，所述程序代码当被处理器执行时，实现如权利要求1-7之一所述的方法。

10.一种目标跟踪装置，其中，包括：

目标检测模块，用于获取目标在当前帧图像中的位置信息；

位置预测模块，用于基于回归卷积网络根据所述目标在当前帧图像中的位置信息获取所述目标在下一帧图像中的第一预测位置信息；

目标跟踪模块，用于根据所述第一预测位置信息跟踪所述目标。