CN108446585A - 目标跟踪方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种目标追踪方法、系统、计算机设备和存储介质。方法包括：通过视频采集装置采集目标视频，获取目标视频中的当前图像，并根据目标三维模型获取当前图像中的当前目标；根据训练相似方程计算当前目标与上一帧图像中的历史目标的相似度；当当前图像中存在与上一帧图像中的历史目标的相似度大于等于预设值的当前目标时，则建立相似度大于等于预设值的当前目标与历史目标之间的追踪关系；获取下一帧图像作为当前图像，并继续根据目标三维模型获取当前图像中的当前目标的步骤。采用本方法能够对每个跟踪目标实现更加准确的追踪，有效地排除噪声对目标跟踪的影响，提高了目标跟踪技术的准确性。

Description

目标跟踪方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种目标追踪方法、装置、计算机设备和存储介质。

背景技术

随着计算机技术的发展，计算机视觉作为一种通过计算机设备对生物视觉的模拟技术，取得了快速的发展，而目标跟踪技术在计算机视觉中有非常广泛的应用。

传统的目标跟踪通过检测视野中的运动目标，对其进行跟踪和学习；然而，在检测过程中，由于实际场景下伴随噪声较为复杂，如对马路上的行人目标进行跟踪时，行人的姿态、服饰各不相同、复杂的背景以及不同的光照环境都成为影响对行人进行跟踪的伴随噪声，无法对跟踪目标的运动进行合理的检测，易导致跟踪效果差。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高跟踪效果的多目标跟踪方法、装置、计算机设备和存储介质。

一种目标追踪方法，所述方法包括：

通过视频采集装置采集目标视频，获取所述目标视频中的当前图像，并根据目标三维模型获取所述当前图像中的当前目标；

根据训练相似方程计算所述当前目标与上一帧图像中的历史目标的相似度；

当所述当前图像中存在与所述上一帧图像中的历史目标的相似度大于等于预设值的当前目标时，则建立所述相似度大于等于预设值的当前目标与历史目标之间的追踪关系；获取下一帧图像作为当前图像，并继续所述根据目标三维模型获取所述当前图像中的当前目标的步骤。

在其中一个实施例中，所述方法还包括：

获取训练点云图像，对所述训练点云图像进行采样得到采样点云图像；

通过所述采样点云图像训练初始三维模型得到所述训练三维模型。

在其中一个实施例中，所述根据目标三维模型获取所述当前图像中的当前目标的步骤，包括：

获取所述当前图像中的特征信息；

根据所述特征信息将所述当前图像进行分割得到目标区域；

获取所述目标区域与所述目标三维模型对应的当前目标。

在其中一个实施例中，所述方法还包括：

当所述当前图像中不存在与所述上一帧图像中的历史目标的相似度大于等于预设值的当前目标时，则将所述历史目标标记为丢失状态。

在其中一个实施例中，所述将所述历史目标标记为丢失状态的步骤之后还包括：

当所述历史目标在预设连续数量帧中被标记为丢失时，则将所述历史目标标记为停止追踪。

在其中一个实施例中，所述方法还包括：

当所述当前图像中存在与所述上一帧图像中的历史目标的相似度小于预设值的新追踪目标时，则获取下一帧图像，并根据所述目标三维模型获取所述下一帧图像中的待追踪目标；

根据所述训练相似方程计算所述新追踪目标与所述待追踪目标的相似度；

当所述下一帧图像中不存在与所述新追踪目标的相似度大于等于预设值的待追踪目标时，则将所述新追踪目标标记为停止追踪。

在其中一个实施例中，所述根据所述训练相似方程计算所述新追踪目标与所述待追踪目标的相似度的步骤之后还包括：

当所述下一帧图像中存在与所述新追踪目标的相似度大于等于预设值的待追踪目标时，则建立所述相似度大于等于预设值的所述新追踪目标与所述待追踪目标之间的追踪关系；

获取所述下一帧图像的下一帧作为当前图像，并继续所述根据目标三维模型获取所述当前图像中的当前目标的步骤。

一种目标追踪装置，所述装置包括：

目标识别模块，用于通过视频采集装置采集目标视频，获取所述目标视频中的当前图像，并根据目标三维模型获取所述当前图像中的当前目标；

相似度计算模块，用于根据训练相似方程计算所述当前目标与上一帧图像中的历史目标的相似度；

追踪模块，当所述当前图像中存在与所述上一帧图像中的历史目标的相似度大于等于预设值的当前目标时，则建立所述相似度大于等于预设值的当前目标与历史目标之间的追踪关系；获取下一帧图像作为当前图像，并继续所述根据目标三维模型获取所述当前图像中的当前目标。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。

上述目标跟踪方法、装置、计算机设备和存储介质，当深度视频中存在多个跟踪目标时，通过训练好的目标三维模型分别识别当前图像中的所有跟踪目标，通过训练相似方程识别相邻两帧中跟踪目标的关联，逐帧监控跟踪目标的运动状态，能够对每个跟踪目标实现更加准确的追踪，有效地排除噪声对目标跟踪的影响，提高了目标跟踪技术的准确性。

附图说明

图1为一个实施例中目标跟踪方法的应用环境图；

图2为一个实施例中目标跟踪方法的流程示意图；

图3为一个实施例中新目标追踪步骤的流程示意图；

图4为一个实施例中追踪目标的MDP模型状态变化图；

图5为一个实施例中目标跟踪方法装置的结构框图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的目标跟踪方法，可以应用于如图1所示的应用环境的终端中。其中，视频采集装置可以集成于终端内，也可以与终端分离。终端通过视频采集装置对某一区域进行视频拍摄，然后对采集到的深度视频逐帧进行处理，先获取深度视频中的一帧图像，通过目标三维模型识别出这一帧图像中的追踪目标，然后根据训练好的训练相似方程，识别出相邻两帧之间的相同的追踪目标并建立识别出的相邻两帧中相同的追踪目标之间的联系，按照这一方法逐帧追踪某一追踪目标的运动状态或者位置关系，实现对目标的追踪。其中，终端可以但不限于是服务器、个人计算机等，视频采集装置可以但不限于是各种监控设备、视频拍摄终端如DV(Digital Video数码相机)等。

在一个实施例中，如图2所示，提供了一种目标追踪方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：

S202，通过视频采集装置采集目标视频，获取目标视频中的当前图像，并根据目标三维模型获取当前图像中的当前目标。

其中，目标视频是通过视频采集装置(如监控器或者DV)拍摄的视频。

当前图像是目标视频中的其中一帧图像。在目标跟踪方法的流程中需要逐帧调取目标视频中的每一帧图像，对其进行处理，此处用当前图像表示当前正在处理的图像帧。

当前目标用于表示当前图像中的追踪目标，是将当前图像输入至训练好的目标三维模型中所得到的当前图像中的追踪目标。

目标三维模型是训练好的用于识别出当前图像中的追踪目标的特征匹配模型；目标三维模型可以通过离线训练得到：将存在样本目标的训练样本输入初始模型中，通过定义训练样本中的特征信息和训练样本对应的样本目标，最终得到的一个可以获取输入的图像的特征信息，并根据获取到的特征信息在输入图像中识别出需要追踪的目标的特征模型；例如，当跟踪目标为人时，目标三维模型可以是包括人体关节点和头部等特征信息的人体特征模型，可以在图像中识别出单独的人体。当当前图像中存在多个追踪目标时，可以先根据输入的图像的特征信息将图像按照追踪目标的个数分割为多个图像区域，再在每个图像区域中识别出一个单独的追踪目标。

具体地，终端通过内置或者外接的视频采集装置对某一区域进行视频拍摄得到目标视频，然后调取目标视频中的一帧图像作为当前图像，将当前图像输入至训练好的目标三维模型中得到当前图像中的特征信息，再根据当前图像中的特征信息在目标三维模型的输出端输出的当前图像中的当前目标。

如果将当前图像输入至目标三维模型中，无法识别其中的追踪目标时，则不对当前图像做任何处理，继续获取下一帧的图像，将其输入至目标三维模型中直至在某一帧能够识别到需要追踪的目标，即当前目标，再对此目标进行接下来的追踪进程。

S204，根据训练相似方程计算当前目标与上一帧图像中的历史目标的相似度。

其中，相似度是两个追踪目标的图像为同一个实际追踪目标的可能性，可以使用归一化的5D特征向量，作为获取两个图像帧中追踪目标的相似度的参数依据，该5D特征向量可以包括追踪目标的坐标、追踪目标的宽度、高度和对目标的边缘或关节等特征点的检测分数，如将5D特征向量中的每个特征按照比例进行统计计算，最终得到两个图像帧中追踪目标的相似度。具体地，追踪目标的坐标作为一个计算两个图像帧中被识别出的追踪目标之间的相似度的特征向量时，可以是先根据当前图像中追踪目标的坐标和运动情况预测这一追踪目标在下一帧图像中可能出现的预测坐标范围，若在下一帧图像中预测坐标范围内检测到某一个追踪目标时，则该追踪目标与当前图像中的追踪目标为同一个实际目标的可能性较大。

训练相似方程是线下训练好的用于计算两个追踪目标的相似度的方程，将两个追踪目标的图像或者通过目标三维模型中识别出的两个追踪目标的特征信息输入训练相似方程可以获得两个图像中识别的追踪目标的相似度，若相似度大于等于预设值时，可以判断这两个图像中识别的追踪目标为同一个实际的目标；训练相似方程的相似度判断方法是通过线下训练得到的，在线上使用训练像素方程时，若通过训练相似方程得到的相似度超过经验范围或者对追踪目标是否相同的判断出现错误时，需要对此训练相似方程进行修改，以适应实际的目标追踪情况。训练相似方程可以是一个训练好的2分类的SVM(SupportVector Machine支持向量机)。例如，记两个追踪目标的图像分别为t和d，相似度为y，可以使用一个实数线性方程来实现该二分类：当y(t，d)＝1，则两个目标图像表示同一个追踪目标，y(t，d)＝-1，两个目标图像不表示同一个追踪目标。

历史目标是当前图像的上一帧图像经过步骤S202的处理识别出的需要追踪的目标。

具体地，通过步骤S202中获取当前图像中的当前目标后，将当前目标的图像块和当前图像的上一帧图像中的历史目标的图像块输入训练相似方程中，根据训练相似方程中相似度的计算方法，对当前目标和历史目标的5D特征向量进行计算，最终得到两个目标的相似度。

S206，当当前图像中存在与上一帧图像中的历史目标的相似度大于等于预设值的当前目标时，则建立相似度大于等于预设值的当前目标与历史目标之间的追踪关系。获取下一帧图像作为当前图像，并继续根据目标三维模型获取当前图像中的当前目标的步骤。

其中，预设值是用于判断两个追踪目标的图像是否反映的是同一个目标的标准值，此预设值可以根据经验权衡相似度的多个计算参数(5D特征向量)的比值得到。

具体地，在当前图像与上一帧图像中的追踪目标的图像进行相似度对比之后，如果存在相似度大于等于预设值，则表示两个追踪目标的图像反映的是同一个实际追踪目标，则将这两帧图像中的相似度大于等于预设值的追踪目标建立联系，然后继续分析目标视频中的下一帧图像，逐帧记录某一实际追踪目标在各帧图像中的位置和动作情况，形成针对一个实际追踪目标的跟踪轨迹。

通过目标三维模型在目标视频中的相邻两帧图像中识别出多个追踪目标时，需要分别计算两帧图像中的任意两个目标的相似度，在相似度大于预设值的两个追踪目标图之间建立对应关系，从而识别出某一实际追踪目标在每一帧图像中的运动轨迹，实现对此实际追踪目标的追踪过程，而对于多个追踪目标则分别建立每个追踪目标的追踪轨迹。

上述目标跟踪方法，通过目标三维模型识别出深度视频中每一帧的追踪目标，通过训练相似方程识别相邻两帧中跟踪目标的关联，逐帧监控跟踪目标的运动状态，对追踪目标的运动情况进行追踪；当深度视频中存在多个跟踪目标时，能够对每个跟踪目标实现更加准确的追踪，有效地排除噪声对目标跟踪的影响，提高了目标跟踪技术的准确性。

在其中一个实施例中，上述目标追踪方法还包括：获取训练点云图像，对训练点云图像进行采样得到采样点云图像；通过采样点云图像训练初始三维模型得到目标三维模型。

其中，训练点云图像是用于训练三维模型的点云图像样本，包括一个待训练目标的点云的集合，待训练目标根据目标三维模型要识别的对象的不同而变化；训练点云图像为三维深度点云图像，可通过三维扫描仪等点云采集设备直接获取，或者通过深度摄像机拍摄的深度图像处理得到。

在获取到训练点云图像后，首先对悬链点云图像中的点进行去噪、简化；如获取一个人的三维深度点云图像后，先通点云滤波算法(如基于法向量的双边滤波算法等)对点云图像进行降噪滤波处理，然后根据要建立的三维人体模型对点云图像进行精简，去掉建立模型不需要点，得到一个用于建立对于人体的目标三维模型的点云图像，即为采样点云图像。

具体地，训练目标三维模型的过程是，通过点云采集设备获取训练点云图像，训练点云图像中包括待训练目标的点云集合，对训练点云图像进行降噪和简化等处理得到采样点云图像，然后提取采样点云图像中的边缘或者关节、纹理等特征信息，训练出能够识别输入图像的特征信息从而识别出某一特定目标(如人)的目标三维模型。

上述实施例中描述了训练目标三维模型的过程，通过三维点云图像训练出的目标三维模型更加能够反映追踪目标在运动过程中的变化情况，得到的目标三维模型也能够更加准确地识别输入图像中的追踪目标；通过采样设备对点云图像进行采样，提高了训练点云图像表示训练目标的精确度，在进行特征提取等计算时，也能够有效地减少计算量，提高计算效率。

在其中一个实施例中，上述目标追踪方法中的步骤S202中根据目标三维模型获取当前图像中的当前目标的步骤，包括：获取当前图像中的特征信息；根据特征信息将当前图像进行分割得到目标区域；获取目标区域与目标三维模型对应的当前目标。

其中，特征信息是用于表示当前目标的特征；如当前目标为人时，特征信息可以为当前图像中人的边缘轮廓，或者关节、头部等特征信息；在实际判断中可以通过设置关键特征(如将头部作为识别人的关键特征)来提高目标三维模型的准确率。目标区域是目标三维模型根据识别出的当前目标的特征信息从当前图像分割出多个可能包括追踪目标的图像块；如果当前图像中存在5个当前目标，即从当前图像中分割出5个图像块，每个图像块都可能包括一个当前目标。

具体地，将当前图像输入至目标三维模型中后，目标三维模型根据训练好的规则，识别出当前图像中包含的特征信息，通过特征信息从当前图像分割出多个可能包括追踪目标的目标区域，然后通过对比每个图像块中的特征信息，分析每一个目标区域中是否存在与训练好的特征相匹配的追踪目标，若存在，此追踪目标即为当前目标。

例如，目标三维模型为人体三维识别模型，该模型可以是识别出人体的头部和关节的连接关系等特征信息的神经网络模型，将当前图像输入至人体三维识别模型后，模型通过在当前图像中识别出可能是人体的图像区域，将当前图像分割为几个目标区域，再依次提取每个目标区域的人体特征信息，计算此区域包含一个目标人的可能性，从而识别出当前区域是否存在目标人以及目标人的个数。由于在实际情况中，可能存在目标人之间、或者其他物体对目标人的遮挡情况，可以补充其他关键特征的判定，如头部识别，即在当前图像中识别出5个头部，但根据关节信息只可以识别出4个目标人，则判定此当前图像中存在5个目标人。

上述实施例中叙述了如何根据目标三维模型获取图像中的当前目标的详细步骤，根据特征信息将当前图像分割为多个目标区域，再依次对目标区域中的当前目标进行识别，提高了目标三维模型对当前图像中的追踪目标识别的准确率。

在其中一个实施例中，当前目标的状态包括多种，其可以以表格的形式存储，每一个目标后设置对应的追踪记录，包括追踪状态、丢失状态、停止追踪状态以及活动态等，其中追踪状态为当前目标可以被追踪到，丢失状态即当前目标丢失，停止追踪状态即当前目标在连续多帧中一直为丢失态，则认为当前目标为停止追踪状态，活动态为当前目标首次被识别到的状态。

在其中一个实施例中，上述目标追踪方法还包括：当当前图像中不存在与上一帧图像中的历史目标的相似度大于等于预设值的当前目标时，则将历史目标标记为丢失状态。

其中，丢失状态是用于表示某一追踪目标的状态的标记；当某一追踪目标在当前图像的前一帧图像中可以被识别出来，但是在当前图像中无法识别到的时候，将上一帧图像中的此目标标记为丢失。

具体地，在对目标进行追踪时，需要对追踪目标在每一帧图像中被识别的结果对每个追踪目标进行标记，最终形成针对于每一个跟踪目标的追踪记录。某一追踪目标在当前图像的前一帧图像中可以被识别出来，但是在当前图像中无法识别到的时候，将上一帧图像中的此目标标记为丢失，而目标丢失的情况可能是该目标已经离开视频采集的区域，或者该目标与其他目标相互遮挡等。

上述实施例，用将追踪目标的状态标记为丢失的方法表示追踪目标突然从视频采集区域消失的状态，使得此目标追踪方法更加完善。

在其中一个实施例中，上述目标追踪方法中将历史目标标记为丢失状态的步骤之后可以还包括：当历史目标在预设连续数量帧中被标记为丢失时，则将历史目标标记为停止追踪。

具体地，根据上述实施例中若某一目标在上一帧图像中仍能够被识别，但是在这一帧图像中无法被识别，则被标记为丢失，而若被标记为丢失的目标在多帧中都无法被识别出来的话，则可以认为此目标已经离开视频采集的区域，不需要对其继续进行追踪，可以将这一追踪目标标记为停止追踪，表示终端可以停止对此目标的追踪进程。

停止追踪为深度视频中所有追踪目标的最终状态，即在上述目标追踪方法中，当结束对某一深度视频中所有的图像帧的分析后，可以将所有未被标记为停止追踪的当前目标都标记为停止追踪。

上述实施例中，通过对连续多帧中标记为丢失的追踪目标标记为停止追踪的状态，判定此目标已经离开采集视野，不需继续对其运动状态进行跟踪记录，能够准确判断某目标是否离开采集视野，已结束对此目标的追踪进程；为每一个追踪目标的追踪状态定义了一个结束状态，使得本目标追踪方法更加完整。

请参见图3，在其中一个实施例中，上述的目标追踪方法还可以包括一个新目标追踪步骤，此步骤可以包括：

S302，当当前图像中存在与上一帧图像中的历史目标的相似度小于预设值的新追踪目标时，则获取下一帧图像，并根据目标三维模型获取下一帧图像中的待追踪目标。

其中，新追踪目标是在当前图像中出现的上一帧图像中不存在的目标；是在当前图像的前面多帧图像中都未出现的新的追踪目标，需要根据发现此追踪目标的第一帧及这一帧后面的图像记录此目标的追踪状态，新追踪目标存在两种情况，一种是所采集的目标视频的开始追踪帧中，其中的每一个目标均为第一次识别到，另外一种是在所采集的目标视频的追踪过程中，某一帧图像中所识别到的新的追踪目标。待追踪目标则是当前图像对应的下一帧图像中将被目标三维模型识别出的追踪目标，用于表示当前图像中新出现的追踪目标与下一帧图像中将被识别出的追踪目标的关系。

具体地，在通过目标三维模型对当前图像进行识别后，得到每一帧当前图像中的当前目标，并对相邻两帧中的当前目标进行相似度计算，若相似度大于等于预设值，则认为该两帧中的目标为同一个实际目标，并建立其对应的联系；而当在当前图像中识别出之前图像中没有的新目标时，需要继续获取下一帧图像的待追踪目标，检查新目标是否能够与下一帧图像中的待追踪目标建立联系。

S304，根据训练相似方程计算新追踪目标与待追踪目标的相似度。

具体地，通过步骤S302中获取当前图像中的新追踪目标后，将新追踪目标的图像和下一帧图像中的待追踪目标的图像输入训练相似方程中，根据训练相似方程中相似度的计算方法，对新追踪目标和待追踪目标的5D特征向量进行计算，最终得到两个目标的相似度。

S306，当下一帧图像中不存在与新追踪目标的相似度大于等于预设值的待追踪目标时，则将新追踪目标标记为停止追踪。

具体地，当下一帧图像中不存在与新追踪目标的相似度大于等于预设值的待追踪目标时，若新追踪目标仅在出现的第一帧中被识别出，而无法在下一帧中被识别出来，则表示此新追踪目标可能是一个错误目标，直接将此追踪目标标记为停止追踪，结束此追踪目标的追踪进程。

上述实施例中介绍了对于在当前帧中新出现的追踪目标的追踪过程，并通过至少连续两帧中都存在此新追踪目标时，才将其判断为一个有效的追踪目标的过程，能够防止对追踪目标的错误判断，提高目标追踪的准确性。

在其中一个实施例中，上述的目标追踪方法中根据训练相似方程计算新追踪目标与待追踪目标的相似度的步骤之后还可以包括：当下一帧图像中存在与新追踪目标的相似度大于等于预设值的待追踪目标时，则建立相似度大于等于预设值的新追踪目标与待追踪目标之间的追踪关系；获取下一帧图像的下一帧作为当前图像，并继续根据目标三维模型获取图像中的当前目标的步骤。

具体地，当下一帧图像中存在与新追踪目标的相似度大于等于预设值的待追踪目标时，则表示新的追踪目标可以在下一帧图像中被识别出来，此新追踪目标为有效的目标的可能性就较大，继续对此追踪目标进行追踪，获取下一帧图像，并根据目标三维模型识别其中的追踪目标的步骤，直至此追踪目标被标记为停止追踪，则终端结束对此追踪目标的追踪。

上述实施例中，在至少连续两帧中识别到新追踪目标，此将其判定为有效，才对其进行追踪；与上一个实施例一起保护了在某一视频帧中发现新追踪目标后，如何判定其有效与否的技术方案，以及对于判定结果的后续处理。通过此实施例能够将整个目标追踪方案更加完整地体现出来。

本申请中所提到的目标追踪方法在一次实际的目标追踪过程中，可以使用马尔科夫决策(Markov Decision Process或简称MDP)作为在线学习检测跟踪状态记录模型；一个追踪目标的确定有效的周期使用一个MDP建模，多个MDP组成了多目标跟踪。

此目标追踪过程包括训练阶段和学习阶段；训练阶段指的是即通过离线学习(offline-learning)训练好的目标三维模型和训练相似方程可以作为识别不同追踪目标和同一追踪目标在不同图像帧中的关系，当MDP可以用于跟踪目标时，训练结束。学习阶段发生在于训练阶段训练出的目标三维模型和训练相似方程进行跟踪物体时，这样MDP可以基于当前状态和历史状态来做决策，通过多个MDP模型通过在线学习(online-learning)记录每个追踪目标的状态变化(如有效、追踪、丢失等状态)，并将每个追踪目标的状态变化更新到MDP模型中，最终生成用于表示一个追踪目标的MDP模型，在给定真实轨迹和训练好的相似方程的条件下，MDP模型尝试跟踪目标，并从真实中收集反馈，根据反馈MDP更新相似方程来提升跟踪效果。

例如，请参见图4，图4为一实施例中MDP模型的状态变化情况。在终端对追踪目标进行追踪时，可以将每个追踪目标的MDP模型状态划分为4个状态，分别为生效、追踪、丢失、停止追踪；针对每一个状态建立一个子空间，每个子空间包括无穷大的状态，每个状态可以通过追踪目标的特征信息(如外观、位置、尺度、目标的历史等)进行表示。

其中，生效是一个目标的初始状态，若一个新追踪目标被识别出来即为生效状态；当这个新追踪目标只在一帧中被识别，而无法在下一帧中被识别，判定此追踪目标为错误的目标，将此追踪目标的状态从生效更新为停止追踪；若新追踪目标在连续两帧中都可以被识别，判定此追踪目标为有效的目标，将此追踪目标的状态从生效更新为追踪状态；若一个处于追踪状态的目标由于遮挡或从追踪区域中消失等原因而无法在下一帧中被识别出来，将此追踪目标从追踪状态更新为丢失状态；若一个追踪目标在连续多帧中都处于丢失状态，判定此追踪目标已经离开追踪区域，将此追踪目标从丢失状态更新为停止追踪状态，终端不继续对其进行追踪；若一个处于丢失状态的追踪目标在下一帧中重新被检测到，将此追踪目标从丢失状态更新为追踪状态；在结束追踪时，将所有未处于停止追踪状态的追踪目标都更新为停止追踪状态。综上，一个追踪目标的开始状态为生效状态，而最终的状态是停止追踪状态。而对于追踪状态变化的表述，可以使用TLD(Tracking-Learning-Detection一种目标跟踪算法)来实现。

上述实施例完整地叙述了通过MDP模型表述每个追踪目标的状态变化及每个状态变化的条件。

应该理解的是，虽然图2至4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2至4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图5所示，提供了一种目标追踪装置，包括：目标识别模块502、相似度计算模块504、追踪模块506；其中：

目标识别模块502，用于通过视频采集装置采集目标视频，获取目标视频中的当前图像，并根据目标三维模型获取当前图像中的当前目标。

相似度计算模块504，用于根据训练相似方程计算当前目标与上一帧图像中的历史目标的相似度。

追踪模块506，用于当当前图像中存在与上一帧图像中的历史目标的相似度大于等于预设值的当前目标时，则建立相似度大于等于预设值的当前目标与历史目标之间的追踪关系；获取下一帧图像作为当前图像，并继续根据目标三维模型获取当前图像中的当前目标。

在一个实施例中，上述目标追踪装置还包括：

点云采样模块，用于获取训练点云图像，对训练点云图像进行采样得到采样点云图像。

模型训练模块，用于通过采样点云图像训练初始三维模型得到训练三维模型。

在一个实施例中，目标识别模块502可以包括：

特征获取单元，用于获取当前图像中的特征信息。

区域分割单元，用于根据特征信息将当前图像进行分割得到目标区域。

目标获取单元，用于获取目标区域与目标三维模型对应的当前目标。

在一个实施例中，上述目标追踪装置还可以包括：

目标丢失模块，用于当当前图像中不存在与上一帧图像中的历史目标的相似度大于等于预设值的当前目标时，则将历史目标标记为丢失状态。

在一个实施例中，上述目标追踪装置还可以包括：

停止追踪模块，用于当历史目标在预设连续数量帧中被标记为丢失时，则将历史目标标记为停止追踪。

在一个实施例中，上述目标追踪装置还可以包括：

新目标获取模块，用于当当前图像中存在与上一帧图像中的历史目标的相似度小于预设值的新追踪目标时，则获取下一帧图像，并根据目标三维模型获取下一帧图像中的待追踪目标。

新目标相似度模块，用于根据训练相似方程计算新追踪目标与待追踪目标的相似度。

新目标停止追踪模块，用于当下一帧图像中不存在与新追踪目标的相似度大于等于预设值的待追踪目标时，则将新追踪目标标记为停止追踪。

在一个实施例中，上述目标追踪装置还可以包括：

新目标追踪模块，用于当下一帧图像中存在与新追踪目标的相似度大于等于预设值的待追踪目标时，则建立相似度大于等于预设值的新追踪目标与待追踪目标之间的追踪关系；用于获取下一帧图像的下一帧作为当前图像，并继续根据目标三维模型获取当前图像中的当前目标。

关于目标追踪装置的具体限定可以参见上文中对于目标追踪方法的限定，在此不再赘述。上述目标追踪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种目标追踪方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：通过视频采集装置采集目标视频，获取目标视频中的当前图像，并根据目标三维模型获取当前图像中的当前目标；根据训练相似方程计算当前目标与上一帧图像中的历史目标的相似度；当当前图像中存在与上一帧图像中的历史目标的相似度大于等于预设值的当前目标时，则建立相似度大于等于预设值的当前目标与历史目标之间的追踪关系；获取下一帧图像作为当前图像，并继续根据目标三维模型获取当前图像中的当前目标的步骤。

在一个实施例中，处理器执行计算机程序时还可以实现以下步骤：获取训练点云图像，对训练点云图像进行采样得到采样点云图像；通过采样点云图像训练初始三维模型得到训练三维模型。

在一个实施例中，处理器执行计算机程序时实现的根据目标三维模型获取当前图像中的当前目标的步骤可以包括：获取当前图像中的特征信息；根据特征信息将当前图像进行分割得到目标区域；获取目标区域与目标三维模型对应的当前目标。

在一个实施例中，处理器执行计算机程序时还可以实现以下步骤：当当前图像中不存在与上一帧图像中的历史目标的相似度大于等于预设值的当前目标时，则将历史目标标记为丢失状态。

在一个实施例中，处理器执行计算机程序时实现的将历史目标标记为丢失状态的步骤之后，还可以包括：当历史目标在预设连续数量帧中被标记为丢失时，则将历史目标标记为停止追踪。

在一个实施例中，处理器执行计算机程序时还可以实现以下步骤：当当前图像中存在与上一帧图像中的历史目标的相似度小于预设值的新追踪目标时，则获取下一帧图像，并根据目标三维模型获取下一帧图像中的待追踪目标；根据训练相似方程计算新追踪目标与待追踪目标的相似度；当下一帧图像中不存在与新追踪目标的相似度大于等于预设值的待追踪目标时，则将新追踪目标标记为停止追踪。

在一个实施例中，处理器执行计算机程序时实现的根据训练相似方程计算新追踪目标与待追踪目标的相似度的步骤之后，还可以包括：当下一帧图像中存在与新追踪目标的相似度大于等于预设值的待追踪目标时，则建立相似度大于等于预设值的新追踪目标与待追踪目标之间的追踪关系；获取下一帧图像的下一帧作为当前图像，并继续根据目标三维模型获取当前图像中的当前目标的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时可以实现以下步骤：通过视频采集装置采集目标视频，获取目标视频中的当前图像，并根据目标三维模型获取当前图像中的当前目标；根据训练相似方程计算当前目标与上一帧图像中的历史目标的相似度；当当前图像中存在与上一帧图像中的历史目标的相似度大于等于预设值的当前目标时，则建立相似度大于等于预设值的当前目标与历史目标之间的追踪关系；获取下一帧图像作为当前图像，并继续根据目标三维模型获取当前图像中的当前目标的步骤。

在一个实施例中，计算机程序被处理器执行时还可以实现以下步骤：获取训练点云图像，对训练点云图像进行采样得到采样点云图像；通过采样点云图像训练初始三维模型得到训练三维模型。

在一个实施例中，计算机程序被处理器执行时实现的根据目标三维模型获取当前图像中的当前目标的步骤可以包括：获取当前图像中的特征信息；根据特征信息将当前图像进行分割得到目标区域；获取目标区域与目标三维模型对应的当前目标。

在一个实施例中，计算机程序被处理器执行时还可以实现以下步骤：当当前图像中不存在与上一帧图像中的历史目标的相似度大于等于预设值的当前目标时，则将历史目标标记为丢失状态。

在一个实施例中，计算机程序被处理器执行时实现的将历史目标标记为丢失状态的步骤之后，还可以包括：当历史目标在预设连续数量帧中被标记为丢失时，则将历史目标标记为停止追踪。

在一个实施例中，计算机程序被处理器执行时还可以实现以下步骤：当当前图像中存在与上一帧图像中的历史目标的相似度小于预设值的新追踪目标时，则获取下一帧图像，并根据目标三维模型获取下一帧图像中的待追踪目标；根据训练相似方程计算新追踪目标与待追踪目标的相似度；当下一帧图像中不存在与新追踪目标的相似度大于等于预设值的待追踪目标时，则将新追踪目标标记为停止追踪。

在一个实施例中，计算机程序被处理器执行时实现的根据训练相似方程计算新追踪目标与待追踪目标的相似度的步骤之后，还可以包括：当下一帧图像中存在与新追踪目标的相似度大于等于预设值的待追踪目标时，则建立相似度大于等于预设值的新追踪目标与待追踪目标之间的追踪关系；获取下一帧图像的下一帧作为当前图像，并继续根据目标三维模型获取当前图像中的当前目标的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种目标追踪方法，所述方法包括：

通过视频采集装置采集目标视频，获取所述目标视频中的当前图像，并根据目标三维模型获取所述当前图像中的当前目标；

根据训练相似方程计算所述当前目标与上一帧图像中的历史目标的相似度；

当所述当前图像中存在与所述上一帧图像中的历史目标的相似度大于等于预设值的当前目标时，则建立所述相似度大于等于预设值的当前目标与历史目标之间的追踪关系；

获取下一帧图像作为当前图像，并继续所述根据目标三维模型获取所述当前图像中的当前目标的步骤。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取训练点云图像，对所述训练点云图像进行采样得到采样点云图像；

通过所述采样点云图像训练初始三维模型得到所述训练三维模型。

3.根据权利要求2所述的方法，其特征在于，所述根据目标三维模型获取所述当前图像中的当前目标的步骤，包括：

获取所述当前图像中的特征信息；

根据所述特征信息将所述当前图像进行分割得到目标区域；

获取所述目标区域与所述目标三维模型对应的当前目标。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：

当所述当前图像中不存在与所述上一帧图像中的历史目标的相似度大于等于预设值的当前目标时，则将所述历史目标标记为丢失状态。

5.根据权利要求4所述的方法，其特征在于，所述将所述历史目标标记为丢失状态的步骤之后，还包括：

当所述历史目标在预设连续数量帧中被标记为丢失时，则将所述历史目标标记为停止追踪。

6.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：

当所述当前图像中存在与所述上一帧图像中的历史目标的相似度小于预设值的新追踪目标时，则获取下一帧图像，并根据所述目标三维模型获取所述下一帧图像中的待追踪目标；

根据所述训练相似方程计算所述新追踪目标与所述待追踪目标的相似度；

当所述下一帧图像中不存在与所述新追踪目标的相似度大于等于预设值的待追踪目标时，则将所述新追踪目标标记为停止追踪。

7.根据权利要求6所述的方法，其特征在于，所述根据所述训练相似方程计算所述新追踪目标与所述待追踪目标的相似度的步骤之后，还包括：

当所述下一帧图像中存在与所述新追踪目标的相似度大于等于预设值的待追踪目标时，则建立所述相似度大于等于预设值的所述新追踪目标与所述待追踪目标之间的追踪关系；

获取所述下一帧图像的下一帧作为当前图像，并继续所述根据目标三维模型获取所述当前图像中的当前目标的步骤。

8.一种目标追踪装置，其特征在于，所述装置包括：

目标识别模块，用于通过视频采集装置采集目标视频，获取所述目标视频中的当前图像，并根据目标三维模型获取所述当前图像中的当前目标；

相似度计算模块，用于根据训练相似方程计算所述当前目标与上一帧图像中的历史目标的相似度；

追踪模块，当所述当前图像中存在与所述上一帧图像中的历史目标的相似度大于等于预设值的当前目标时，则建立所述相似度大于等于预设值的当前目标与历史目标之间的追踪关系；获取下一帧图像作为当前图像，并继续所述根据目标三维模型获取所述当前图像中的当前目标。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。