CN111899285A - 目标对象的跟踪轨迹的确定方法和装置、存储介质 - Google Patents

Abstract

本发明公开了一种目标对象的跟踪轨迹的确定方法和装置、存储介质。其中，该方法包括：通过基于背景去除的多目标检测和基于光流的位置预测两种方式产生目标候选区域，在经过目标检测的回归算法对当前帧的目标区域进行优化并生成分类得分，然后将所有的目标框通过非极大值抑制的方法进行筛选，最后生成目标运动轨迹。其中，算法中加入基于光流的位置预测模块，为后续的多目标跟踪提供候选区域，解决了目标移动速度较快时的跟丢现象。

Description

目标对象的跟踪轨迹的确定方法和装置、存储介质

技术领域

本发明涉及目标跟踪领域，具体而言，涉及一种目标对象的跟踪轨迹的确定方法和装置、存储介质。

背景技术

视觉目标跟踪是计算机视觉中的一个重要研究方向，该技术涉及到光学、计算机科学、认知科学和数学等多个领域。随着近年来计算机科学的飞速发展以及人类对于计算机视觉领域的不断探索，视觉目标跟踪广泛应用于视频监控、人机交互、智能驾驶以及机器人视觉导航等各个领域。同时，该技术在军事领域上也存在着极其重要的研究意义，包括成像制导导弹和无人机自主导航系统等。视觉目标跟踪连接着底层的目标检测识别和高层的图像信息分析，在计算机视觉领域发挥着不可或缺的作用，历年来备受广大学者的关注。

现有技术中，专利申请号201010221290.4中公开了视频监控中基于运动目标检测的多目标跟踪方法，该方法首先使用背景去除法检测前景运动目标；然后建立当前帧前景目标团块与前一帧已检测到的目标之间的关联矩阵，并以此来判断目标所处的各种状态(如目标消失、目标保持初始状态、目标重合、目标分离等)，对处于分离状态的目标进行二次跟踪；最后更新目标的位置、面积及核加权颜色直方图等特征，实现对多个目标的跟踪。该方案采用关联矩阵的方式进行前后帧目标的计算，在面临目标尺度、角度、形态发生较大变化时，算法性能会产生较大误差，容易产生目标身份ID的跳变。

专利申请号201910612233.X中公开了一种目标跟踪的尺度估计方法以及相关装置。其中，目标跟踪的尺度估计方法包括：分别对摄像器件拍摄得到的前后两帧图像进行光流检测，得到前后两帧图像的光流点的光流信息；通过前后两帧图像的光流信息确定目标在后帧图像中的初始预测区域；基于初始预测区域，将初始预测区域的预设倍数的区域确定为搜索区域，并将后帧图像划分为多个子区域；通过光流点的光流信息确定搜索区域内每一个光流点所属的子区域；通过统计搜索区域内每一个光流点所属的子区域，确定目标在后帧图像的目标尺度。该方案单一的使用了光流信息得到的尺度估计，并未充分利用光流信息预测出未来帧的目标位置信息，对于多目标跟踪的效果提升不够明显。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种目标对象的跟踪轨迹的确定方法和装置、存储介质，以至少解决现有技术中，目标移动速度较快时的跟丢的技术问题。

根据本发明实施例的一个方面，提供了一种目标对象的跟踪轨迹的确定方法，包括：对目标视频中包括的连续的第t-1帧图像和第t帧图像基于背景去除的多目标检测，得到所述第t帧图像中的第一目标候选区域以及所述第一目标候选区域的第一位置信息，其中，所述第一目标候选区域为第一目标对象所在的位置；对所述第t-1帧图像和所述第t帧图像基于光流的位置预测，得到所述第t帧图像中的第二目标候选区域以及所述第二目标候选区域的第二位置信息，其中，所述第二目标候选区域为第二目标对象所在的位置；根据所述第一位置信息和所述第二位置确定所述第一目标候选区域和所述第二目标候选区域中重叠区域大于或等于第一预定阈值的目标候选区域，并将所述目标候选区域确定为所述第t帧图像中的目标区域；根据所述目标区域的位置信息加入到所述目标视频中的目标对象的目标轨迹中，更新所述目标轨迹。

根据本发明实施例的另一方面，还提供了一种目标对象的跟踪轨迹的确定装置，包括：第一确定单元，用于对目标视频中包括的连续的第t-1帧图像和第t帧图像基于背景去除的多目标检测，得到所述第t帧图像中的第一目标候选区域以及所述第一目标候选区域的第一位置信息，其中，所述第一目标候选区域为第一目标对象所在的位置；第二确定单元，用于对所述第t-1帧图像和所述第t帧图像基于光流的位置预测，得到所述第t帧图像中的第二目标候选区域以及所述第二目标候选区域的第二位置信息，其中，所述第二目标候选区域为第二目标对象所在的位置；第三确定单元，用于根据所述第一位置信息和所述第二位置确定所述第一目标候选区域和所述第二目标候选区域中重叠区域大于或等于第一预定阈值的目标候选区域，并将所述目标候选区域确定为所述第t帧图像中的目标区域；更新单元，用于根据所述目标区域的位置信息加入到所述目标视频中的目标对象的目标轨迹中，更新所述目标轨迹。

根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述目标对象的跟踪轨迹的确定方法。

根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的目标对象的跟踪轨迹的确定方法。

在本发明实施例中，通过对目标视频中包括的连续的第t-1帧图像和第t帧图像基于背景去除的多目标检测，得到第t帧图像中的第一目标候选区域以及第一目标候选区域的第一位置信息，其中，第一目标候选区域为第一目标对象所在的位置；对第t-1帧图像和第t帧图像基于光流的位置预测，得到第t帧图像中的第二目标候选区域以及第二目标候选区域的第二位置信息，其中，第二目标候选区域为第二目标对象所在的位置；根据第一位置信息和第二位置确定第一目标候选区域和第二目标候选区域中重叠区域大于或等于第一预定阈值的目标候选区域，并将目标候选区域确定为第t帧图像中的目标区域；根据目标区域的位置信息加入到目标视频中的目标对象的目标轨迹中，更新目标轨迹。其中，背景去除的目标检测算法能够有效的去除背景区域的激活值，使检测网络更好的关注于有目标的区域，有效的提高了检测算法的效率，大大增强了算法的鲁棒性，为后续的多目标跟踪提供可靠的目标信息。另外，算法中加入基于光流的位置预测模块，为后续的多目标跟踪提供候选区域，进而解决了现有技术中，目标移动速度较快时的跟丢的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的目标对象的跟踪轨迹的确定方法的应用环境的示意图；

图2是根据本发明实施例的一种可选的目标对象的跟踪轨迹的确定方法的流程图；

图3是根据本发明实施例的一种可选的基于背景去除和光流预测的多目标跟踪方法流程图；

图4是根据本发明实施例的一种可选的基于背景去除的目标检测算法流程图；

图5是根据本发明实施例的一种可选的基于光流的位置预测流程图；

图6是根据本发明实施例的一种可选的目标对象的跟踪轨迹的确定装置的结构示意图；

图7是根据本发明实施例的一种可选的目标对象的跟踪轨迹的确定方法电子装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例的一个方面，提供了一种目标对象的跟踪轨迹的确定方法，可选地，作为一种可选的实施方式，上述目标对象的跟踪轨迹的确定方法可以但不限于应用于如图1所示的硬件环境中，其中，统可以包括但不限于终端设备102、网络110及服务器112。其中，该终端设备102中运行有视频客户端，用于播放目标视频。

其中，上述终端设备102中可以包括但不限于：人机交互屏幕104，处理器106及存储器108。人机交互屏幕104用于通过人机交互接口获取人机交互指令，还用于呈现目标视频画面；处理器106用于响应上述人机交互指令，获取目标视频中的图像。存储器108用于存储目标视频，及目标的轨迹属性信息。这里服务器可以包括但不限于：数据库114及处理引擎116，处理引擎116用于调用数据库114中存储目标视频中的图像，对目标视频中包括的连续的第t-1帧图像和第t帧图像基于背景去除的多目标检测，得到第t帧图像中的第一目标候选区域以及第一目标候选区域的第一位置信息，其中，第一目标候选区域为第一目标对象所在的位置；对第t-1帧图像和第t帧图像基于光流的位置预测，得到第t帧图像中的第二目标候选区域以及第二目标候选区域的第二位置信息，其中，第二目标候选区域为第二目标对象所在的位置；根据第一位置信息和第二位置确定第一目标候选区域和第二目标候选区域中重叠区域大于或等于第一预定阈值的目标候选区域，并将目标候选区域确定为第t帧图像中的目标区域；根据目标区域的位置信息加入到目标视频中的目标对象的目标轨迹中，更新目标轨迹。其中，背景去除的目标检测算法能够有效的去除背景区域的激活值，使检测网络更好的关注于有目标的区域，有效的提高了检测算法的效率，大大增强了算法的鲁棒性，为后续的多目标跟踪提供可靠的目标信息。另外，算法中加入基于光流的位置预测模块，为后续的多目标跟踪提供候选区域，进而解决了现有技术中，目标移动速度较快时的跟丢的技术问题。

具体过程如以下步骤：在终端设备102中的人机交互屏幕104显示游戏客户端运行一局游戏任务的交互界面(如图1所示为目标视频中的第t帧对应的图像)。如步骤S102-S112，获取该目标视频中连续的第t-1帧图像第t帧图像，并将该图像通过网络110发送服务器112。在服务器112对目标视频中包括的连续的第t-1帧图像和第t帧图像基于背景去除的多目标检测，得到第t帧图像中的第一目标候选区域以及第一目标候选区域的第一位置信息，其中，第一目标候选区域为第一目标对象所在的位置；对第t-1帧图像和第t帧图像基于光流的位置预测，得到第t帧图像中的第二目标候选区域以及第二目标候选区域的第二位置信息，其中，第二目标候选区域为第二目标对象所在的位置；根据第一位置信息和第二位置确定第一目标候选区域和第二目标候选区域中重叠区域大于或等于第一预定阈值的目标候选区域，并将目标候选区域确定为第t帧图像中的目标区域；根据目标区域的位置信息加入到目标视频中的目标对象的目标轨迹中，更新目标轨迹。然后将上述确定出的结果返回终端设备102。

然后，如步骤S102-S112，终端设备102播放目标视频，获取目标视频中的连续第t-1帧图像和第t帧图像。对目标视频中包括的连续的第t-1帧图像和第t帧图像基于背景去除的多目标检测，得到第t帧图像中的第一目标候选区域以及第一目标候选区域的第一位置信息，其中，第一目标候选区域为第一目标对象所在的位置；对第t-1帧图像和第t帧图像基于光流的位置预测，得到第t帧图像中的第二目标候选区域以及第二目标候选区域的第二位置信息，其中，第二目标候选区域为第二目标对象所在的位置；根据第一位置信息和第二位置确定第一目标候选区域和第二目标候选区域中重叠区域大于或等于第一预定阈值的目标候选区域，并将目标候选区域确定为第t帧图像中的目标区域；根据目标区域的位置信息加入到目标视频中的目标对象的目标轨迹中，更新目标轨迹。其中，背景去除的目标检测算法能够有效的去除背景区域的激活值，使检测网络更好的关注于有目标的区域，有效的提高了检测算法的效率，大大增强了算法的鲁棒性，为后续的多目标跟踪提供可靠的目标信息。另外，算法中加入基于光流的位置预测模块，为后续的多目标跟踪提供候选区域，进而解决了现有技术中，目标移动速度较快时的跟丢的技术问题。

可选地，在本实施例中，上述目标对象的跟踪轨迹的确定方法可以但不限于应用于服务器112中，用于协助视频客户端对所发布的视频判定处理。其中，上述视频客户端可以但不限于运行在终端设备102中，该终端设备102可以但不限于为手机、平板电脑、笔记本电脑、PC机等支持运行应用客户端的终端设备。上述服务器112和终端设备102可以但不限于通过网络实现数据交互，上述网络可以包括但不限于无线网络或有线网络。其中，该无线网络包括：蓝牙、WIFI及其他实现无线通信的网络。上述有线网络可以包括但不限于：广域网、城域网、局域网。上述仅是一种示例，本实施例中对此不作任何限定。

可选地，作为一种可选的实施方式，如图2所示，上述目标对象的跟踪轨迹的确定方法包括：

步骤S202，对目标视频中包括的连续的第t-1帧图像和第t帧图像基于背景去除的多目标检测，得到第t帧图像中的第一目标候选区域以及第一目标候选区域的第一位置信息，其中，第一目标候选区域为第一目标对象所在的位置。

步骤S204，对第t-1帧图像和第t帧图像基于光流的位置预测，得到第t帧图像中的第二目标候选区域以及第二目标候选区域的第二位置信息，其中，第二目标候选区域为第二目标对象所在的位置。

步骤S206，根据第一位置信息和第二位置确定第一目标候选区域和第二目标候选区域中重叠区域大于或等于第一预定阈值的目标候选区域，并将目标候选区域确定为第t帧图像中的目标区域。

步骤S208，根据目标区域的位置信息加入到目标视频中的目标对象的目标轨迹中，更新目标轨迹。

可选的，在本实施例中，目标跟踪可以包括但不限于应用于视频监控、人机交互、智能驾驶以及机器人视觉导航等各个领域。其中，上述目标视频可以包括但不限于目标视频包括：预设录制完成的目标视频、录制中的目标视频。

可选的，在本实施例中，对目标视频中包括的连续的第t-1帧图像和第t帧图像基于背景去除的多目标检测，得到第t帧图像中的第一目标候选区域以及第一目标候选区域的第一位置信息，可以包括：

S1，将第t-1帧图像输入到第一目标网络中，得到掩膜图像，其中，掩膜图像中前景区域的像素值取值为1，背景区域中的像素值取值为0；

S2，将掩膜图像中的像素值与第t-1帧图像中的像素值相乘，得到第一目标图像；

S3，将第一目标图像输入到目标检测网络中，得到第t-1帧图像中的第三目标候选区域以及第三目标候选区域的第三位置信息；

S4，通过目标回归算法基于第三目标候选区域以及第三目标候选区域的第三位置信息，得到第t帧图像中的第一目标候选区域以及第一目标候选区域的第一位置信息。

可选的，在本实施例中，对第t-1帧图像和第t帧图像基于光流的位置预测，得到第t帧图像中的第二目标候选区域以及第二目标候选区域的第二位置信息，可以包括：

S1，获取第t-1帧图像和第t帧图像对应的第一光流图像和第二光流图像；

S2，获取第一光流图像中的待跟踪目标对象的第四位置信息和第二光流图像中的待跟踪目标对象的第五位置信息；

S3，将第一光流图像和第二光流图像输入到位置预测网络中，位置预测网络根据第四位置信息和第五位置信息确定第t帧图像中的第二目标候选区域以及第二目标候选区域的第二位置信息。

可选的，在本实施例中，根据第一位置信息和第二位置确定第一目标候选区域和第二目标候选区域中重叠区域大于或等于预定阈值的目标候选区域，并将目标候选区域确定为第t帧图像中的目标区域，可以包括：

在检测第t帧图像得到的目标区域在第t-1帧图像中没有对应的情况下，根据目标区域对应的目标对象新增新的轨迹。

可选的，在本实施例中，根据目标区域的位置信息加入到目标视频中的目标对象的目标轨迹中，更新目标轨迹，可以包括：

将第t-1帧图像中检测的目标位置和基于光流预测出的第t帧图像中目标位置作为候选区域，获取第t帧图像中的目标位置和分类得分；

获取第t帧图像中的目标对象的标识信息，其中，第t帧图像中的标识信息与第t-1帧图像中的标识信息一致；

经过非极大值抑制，筛除掉分类得分小于或等于第二预定阈值和重复的目标区域，获取第t帧图像中的目标区域及对应的目标对象的标识信息；

将目标对象的位置信息加入到对应的目标轨迹中，更新目标轨迹。

通过本申请提供的实施例，对目标视频中包括的连续的第t-1帧图像和第t帧图像基于背景去除的多目标检测，得到第t帧图像中的第一目标候选区域以及第一目标候选区域的第一位置信息，其中，第一目标候选区域为第一目标对象所在的位置；对第t-1帧图像和第t帧图像基于光流的位置预测，得到第t帧图像中的第二目标候选区域以及第二目标候选区域的第二位置信息，其中，第二目标候选区域为第二目标对象所在的位置；根据第一位置信息和第二位置确定第一目标候选区域和第二目标候选区域中重叠区域大于或等于第一预定阈值的目标候选区域，并将目标候选区域确定为第t帧图像中的目标区域；根据目标区域的位置信息加入到目标视频中的目标对象的目标轨迹中，更新目标轨迹。其中，背景去除的目标检测算法能够有效的去除背景区域的激活值，使检测网络更好的关注于有目标的区域，有效的提高了检测算法的效率，大大增强了算法的鲁棒性，为后续的多目标跟踪提供可靠的目标信息。另外，算法中加入基于光流的位置预测模块，为后续的多目标跟踪提供候选区域，进而解决了现有技术中，目标移动速度较快时的跟丢的技术问题。

作为一种可选的实施例，本申请还提供了一种可选的一种基于背景去除和光流预测的多目标跟踪方法。如图3所示，一种基于背景去除和光流预测的多目标跟踪方法流程图。如图3所示该方法中包括基于背景去除的多目标检测、基于光流的位置预测、目标回归以及轨迹生成四个步骤。具体流程如下：

步骤S301，输入视频序列；

步骤S302，基于背景去除的多目标检测；

步骤S303，第t-1帧检测图像；

步骤S304，目标框回归到第t帧；

步骤S305，获取第t-1帧图像；

步骤S306，获取第t帧图像；

步骤S307，计算光流信息；

步骤S308，预测位置信息；

步骤S309，回归获取分类得分；

步骤S310，非极大值抑制；

步骤S311，输出目标轨迹。

1、基于背景去除的目标检测的内容如下：

基于背景去除的目标检测主要目的是将检测网络更多的关注在有目标的区域。对于一阶的目标检测算法，由于其设置了大量的默认框，其中大部分默认框对应的都是背景。本实施例中，将mask生成网络与目标检测网络结合在一起，通过消除背景区域的激活值，不仅可以加速目标检测，还能有效提高算法鲁棒性。如图4所示，基于背景去除的目标检测算法流程图。

步骤S401，输入图像；

即输入目标视频中的图像，例如输入第t-1帧图像或第t帧图像。

步骤S402，mask生成网络；

步骤S403，与原图像进行像素相乘；

步骤S404，送入检测网络；

步骤S405，输出检测结果。

在本实施中，将图像输入到mask网络中实现背景与前景的区分，此处采用的是Fast-SCNN快速卷积神经网络，得到一张前景区域值为1,，背景区域值为0的mask图像，再将mask图像与原图进行逐像素乘，使得原图中的背景部分变为0。另外，在检测网络的特征提取阶段，将mask图通过池化得到与各级特征图相同的尺度，然后与各级特征图进行像素乘，从而消除背景的激活值。最终输出视频序列第t帧的检测目标集合为：

其中n为第t帧的目标数量，

表示检测结果中第t帧的第k个目标的位置信息。

2、基于光流的位置预测内容如下：

基于光流的位置预测网络主要由卷积层和全连接层组成，如图5所示，基于光流的位置预测流程图。该网络的主要作用是预测出前一帧到当前帧的目标运动。在完成训练以后，只需要将两帧的图像输入到位置预测网络，就可以输出这两帧之间的多个目标运动估计。

步骤S501，读取相邻两帧图像；

步骤S502，计算光流；

步骤S503，裁剪；

步骤S504，池化层；

步骤S505，卷积层；

步骤S506，全连接层；

步骤S507，获取运动估计；

步骤S508，输出目标位置。

需要说明的是，视频序列中第t帧的图像表示为It,则前一帧的图像表示为It-1,数据维度为3*w*h。首先，我们将两帧图像送入到位置预测网络，就可以在输出层获取像素级的光流信息Ft,数据维度为2*w*h。然后利用通过真实值得到的运动矢量对上述获得的光流信息进行训练。在实际应用中，假设前一帧图像It-1中存在着N个待跟踪目标(k1，k2,…,kn),每个目标的坐标信息表示为(x，y，w，h)，图像It-1中的目标集合为

因此，通过计算Mt-1和Mt之间的差，即可了解到目标的运动信息，目标的运动损失函数设计如下：

其中，

表示第t-1帧图像It-1与第t帧图像It的目标真值之间的运动信息，ΔM_t是由基于光流的位置预测网络计算出的目标运动信息。在训练过程中，通过优化目标函数来更新位置预测网络的参数，从而使得网络能够预测出目标从It-1到It的目标运动信息

在训练过程中，网络经过丰富的运动目标数据集的训练，性能逐渐优化，可以做到跨相邻帧实现目标关联。最终，我们可以通过预测出的目标运动信息计算出当前帧的位置估计：

M_t＝M_t-1+ΔM_t

3、目标回归内容如下：

二阶目标检测算法最典型的代表是Faster RCNN算法，该算法首先通过区域推荐网络(RPN网络)为每个潜在的目标生成大量的候选区域。通过感兴趣区域池化(ROIPooling)提取出每个候选区域的特征图，并传递给分类头和回归头。分类头主要负责计算该区域的分类得分，回归头主要负责细化边界框的位置。最终，检测器通过非极大值抑制对所有的边界框进行筛除，得到最终的目标边界框。

在本实施例中，利用目标检测算法的回归能力将目标的活动轨迹从上一帧扩展到当前帧。首先用上述获取的第t-1帧的目标检测框Dt-1作为候选区域，替代RPN网络生成的候选区域进行回归，得到的新的位置信息作为该目标在第t帧的位置，目标的身份ID也自动从第t-1帧转移到第t帧的目标框，同时还能获得该目标在第t帧的分类得分。另外，将上述获取的基于光流预测的第t帧的目标位置信息也经过相同的回归操作，得到该目标在第t帧中的分类得分和优化的位置信息。

4、轨迹生成

多目标跟踪的任务是计算出给定视频序列中的目标轨迹，即获取每一帧对应的目标空间位置信息。可以用边界框的列表来定义轨迹集合，即

其中

表示视频序列的第t帧的第k个目标的位置信息。

当t＝1时，在本实施例中使用检测结果来初始化跟踪器，即

当t>1时，采用上述回归目标的方法，将上一帧检测的目标框和基于光流预测出的当前帧目标位置作为候选区域，获取当前帧的目标位置和分类得分，目标的身份信息也自动从上一帧延续至当前帧，经过非极大值抑制，筛除掉分类得分较低和重复的目标框，获得最终的目标框及对应的身份ID，目标框的集合表示为

最后将各目标的位置信息加入到对应的轨迹中去。

在边界框回归之后，当出现下述三种情况时，跟踪器会停用该轨迹：(i)目标移动至超出图像范围；(ii)目标被其他物体遮挡或其分类得分小于阈值；(iii)对于所有剩下的目标集合及其相应的得分进行非极大值抑制(NMS)，经过阈值筛除的无效目标框。另外，若当前帧检测得到的目标框没有一条轨迹与其对应，则将该目标列入新的轨迹中去，视为新目标的出现。

通过本申请提供的实施例，基于背景去除的多目标检测和基于光流的位置预测两种方式产生目标候选区域，在经过目标检测的回归算法对当前帧的目标区域进行优化并生成分类得分，然后将所有的目标框通过非极大值抑制的方法进行筛选，最后生成目标运动轨迹。基于背景去除的目标检测算法能够有效的去除背景区域的激活值，使检测网络更好的关注于有目标的区域，有效的提高了检测算法的效率，大大增强了算法的鲁棒性，为后续的多目标跟踪提供可靠的目标信息。另外，算法中加入基于光流的位置预测模块，为后续的多目标跟踪提供候选区域，解决了目标移动速度较快时的跟丢现象，有效的降低了多目标跟踪算法中的身份切换，提升了算法性能。该方案在面对目标运动较快，目标角度变化以及目标姿势改变时都能完成很好的跟踪任务，算法具有较好的鲁棒性。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

根据本发明实施例的另一个方面，还提供了一种用于实施上述目标对象的跟踪轨迹的确定方法的目标对象的跟踪轨迹的确定装置。如图6所示，该装置包括：第一确定单元61、第二确定单元63、第三确定单元65以及更新单元67。

第一确定单元61，用于对目标视频中包括的连续的第t-1帧图像和第t帧图像基于背景去除的多目标检测，得到第t帧图像中的第一目标候选区域以及第一目标候选区域的第一位置信息，其中，第一目标候选区域为第一目标对象所在的位置。

第二确定单元63，用于对第t-1帧图像和第t帧图像基于光流的位置预测，得到第t帧图像中的第二目标候选区域以及第二目标候选区域的第二位置信息，其中，第二目标候选区域为第二目标对象所在的位置。

第三确定单元65，用于根据第一位置信息和第二位置确定第一目标候选区域和第二目标候选区域中重叠区域大于或等于第一预定阈值的目标候选区域，并将目标候选区域确定为第t帧图像中的目标区域。

更新单元67，用于根据目标区域的位置信息加入到目标视频中的目标对象的目标轨迹中，更新目标轨迹。

其中，上述目标视频可以包括：预设录制完成的目标视频、录制中的目标视频。

可选的，在本实施例中，上述第一确定单元61，可以包括：

第一得到模块，用于将第t-1帧图像输入到第一目标网络中，得到掩膜图像，其中，掩膜图像中前景区域的像素值取值为1，背景区域中的像素值取值为0；

第二得到模块，用于将掩膜图像中的像素值与第t-1帧图像中的像素值相乘，得到第一目标图像；

第三得到模块，用于将第一目标图像输入到目标检测网络中，得到第t-1帧图像中的第三目标候选区域以及第三目标候选区域的第三位置信息；

第四得到模块，用于通过目标回归算法基于第三目标候选区域以及第三目标候选区域的第三位置信息，得到第t帧图像中的第一目标候选区域以及第一目标候选区域的第一位置信息。

可选的，在本实施例中，上述第二确定单元63，可以包括：

第一获取模块，用于获取第t-1帧图像和第t帧图像对应的第一光流图像和第二光流图像，

第二获取模块，用于获取第一光流图像中的待跟踪目标对象的第四位置信息和第二光流图像中的待跟踪目标对象的第五位置信息；

确定模块，用于将第一光流图像和第二光流图像输入到位置预测网络中，位置预测网络根据第四位置信息和第五位置信息确定第t帧图像中的第二目标候选区域以及第二目标候选区域的第二位置信息。

可选的，在本实施例中，上述第三确定单元65，可以包括：

新增模块，用于在检测第t帧图像得到的目标区域在第t-1帧图像中没有对应的情况下，根据目标区域对应的目标对象新增新的轨迹。

可选的，在本实施例中，上述更新单元67，可以包括：

第三获取模块，用于将第t-1帧图像中检测的目标位置和基于光流预测出的第t帧图像中目标位置作为候选区域，获取第t帧图像中的目标位置和分类得分；

第四获取模块，用于获取第t帧图像中的目标对象的标识信息，其中，第t帧图像中的标识信息与第t-1帧图像中的标识信息一致；

第五获取模块，用于经过非极大值抑制，筛除掉分类得分小于或等于第二预定阈值和重复的目标区域，获取第t帧图像中的目标区域及对应的目标对象的标识信息；

更新模块，用于将目标对象的位置信息加入到对应的目标轨迹中，更新目标轨迹。

通过本申请提供的实施例，第一确定单元61对目标视频中包括的连续的第t-1帧图像和第t帧图像基于背景去除的多目标检测，得到第t帧图像中的第一目标候选区域以及第一目标候选区域的第一位置信息，其中，第一目标候选区域为第一目标对象所在的位置；第二确定单元63对第t-1帧图像和第t帧图像基于光流的位置预测，得到第t帧图像中的第二目标候选区域以及第二目标候选区域的第二位置信息，其中，第二目标候选区域为第二目标对象所在的位置；第三确定单元65根据第一位置信息和第二位置确定第一目标候选区域和第二目标候选区域中重叠区域大于或等于第一预定阈值的目标候选区域，并将目标候选区域确定为第t帧图像中的目标区域；更新单元67根据目标区域的位置信息加入到目标视频中的目标对象的目标轨迹中，更新目标轨迹。其中，背景去除的目标检测算法能够有效的去除背景区域的激活值，使检测网络更好的关注于有目标的区域，有效的提高了检测算法的效率，大大增强了算法的鲁棒性，为后续的多目标跟踪提供可靠的目标信息。另外，算法中加入基于光流的位置预测模块，为后续的多目标跟踪提供候选区域，进而解决了现有技术中，目标移动速度较快时的跟丢的技术问题。

根据本发明实施例的又一个方面，还提供了一种用于实施上述目标对象的跟踪轨迹的确定方法的电子装置，如图7所示，该电子装置包括存储器702和处理器704，该存储器702中存储有计算机程序，该处理器704被设置为通过计算机程序执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，对目标视频中包括的连续的第t-1帧图像和第t帧图像基于背景去除的多目标检测，得到第t帧图像中的第一目标候选区域以及第一目标候选区域的第一位置信息，其中，第一目标候选区域为第一目标对象所在的位置；

S2，对第t-1帧图像和第t帧图像基于光流的位置预测，得到第t帧图像中的第二目标候选区域以及第二目标候选区域的第二位置信息，其中，第二目标候选区域为第二目标对象所在的位置；

S3，根据第一位置信息和第二位置确定第一目标候选区域和第二目标候选区域中重叠区域大于或等于第一预定阈值的目标候选区域，并将目标候选区域确定为第t帧图像中的目标区域；

S4，根据目标区域的位置信息加入到目标视频中的目标对象的目标轨迹中，更新目标轨迹。

可选地，本领域普通技术人员可以理解，图7所示的结构仅为示意，电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图7其并不对上述电子装置的结构造成限定。例如，电子装置还可包括比图7中所示更多或者更少的组件(如网络接口等)，或者具有与图7所示不同的配置。

其中，存储器702可用于存储软件程序以及模块，如本发明实施例中的目标对象的跟踪轨迹的确定方法和装置对应的程序指令/模块，处理器704通过运行存储在存储器702内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的目标对象的跟踪轨迹的确定方法。存储器702可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器702可进一步包括相对于处理器704远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器702具体可以但不限于用于目标视频以及目标视频中每一帧对应的图像等信息。作为一种示例，如图7所示，上述存储器702中可以但不限于包括上述目标对象的跟踪轨迹的确定装置中的第一确定单元61、第二确定单元63、第三确定单元65以及更新单元67。此外，还可以包括但不限于上述目标对象的跟踪轨迹的确定装置中的其他模块单元，本示例中不再赘述。

可选地，上述的传输装置706用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置706包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置706为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

此外，上述电子装置还包括：显示器708，用于显示目标轨迹；和连接总线710，用于连接上述电子装置中的各个模块部件。

根据本发明的实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，对目标视频中包括的连续的第t-1帧图像和第t帧图像基于背景去除的多目标检测，得到第t帧图像中的第一目标候选区域以及第一目标候选区域的第一位置信息，其中，第一目标候选区域为第一目标对象所在的位置；

S2，对第t-1帧图像和第t帧图像基于光流的位置预测，得到第t帧图像中的第二目标候选区域以及第二目标候选区域的第二位置信息，其中，第二目标候选区域为第二目标对象所在的位置；

S3，根据第一位置信息和第二位置确定第一目标候选区域和第二目标候选区域中重叠区域大于或等于第一预定阈值的目标候选区域，并将目标候选区域确定为第t帧图像中的目标区域；

S4，根据目标区域的位置信息加入到目标视频中的目标对象的目标轨迹中，更新目标轨迹。

可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (13)

1.一种目标对象的跟踪轨迹的确定方法，其特征在于，包括：

对目标视频中包括的连续的第t-1帧图像和第t帧图像基于背景去除的多目标检测，得到所述第t帧图像中的第一目标候选区域以及所述第一目标候选区域的第一位置信息，其中，所述第一目标候选区域为第一目标对象所在的位置；

对所述第t-1帧图像和所述第t帧图像基于光流的位置预测，得到所述第t帧图像中的第二目标候选区域以及所述第二目标候选区域的第二位置信息，其中，所述第二目标候选区域为第二目标对象所在的位置；

根据所述第一位置信息和所述第二位置确定所述第一目标候选区域和所述第二目标候选区域中重叠区域大于或等于第一预定阈值的目标候选区域，并将所述目标候选区域确定为所述第t帧图像中的目标区域；

根据所述目标区域的位置信息加入到所述目标视频中的目标对象的目标轨迹中，更新所述目标轨迹。

2.根据权利要求1所述的方法，其特征在于，对目标视频中包括的连续的第t-1帧图像和第t帧图像基于背景去除的多目标检测，得到所述第t帧图像中的第一目标候选区域以及所述第一目标候选区域的第一位置信息，包括：

将所述第t-1帧图像输入到第一目标网络中，得到掩膜图像，其中，所述掩膜图像中前景区域的像素值取值为1，背景区域中的像素值取值为0；

将所述掩膜图像中的像素值与所述第t-1帧图像中的像素值相乘，得到第一目标图像；

将所述第一目标图像输入到目标检测网络中，得到所述第t-1帧图像中的第三目标候选区域以及所述第三目标候选区域的第三位置信息；

通过目标回归算法基于所述第三目标候选区域以及所述第三目标候选区域的第三位置信息，得到所述第t帧图像中的第一目标候选区域以及所述第一目标候选区域的第一位置信息。

3.根据权利要求1所述的方法，其特征在于，对所述第t-1帧图像和所述第t帧图像基于光流的位置预测，得到所述第t帧图像中的第二目标候选区域以及所述第二目标候选区域的第二位置信息，包括：

获取所述第t-1帧图像和所述第t帧图像对应的第一光流图像和第二光流图像；

获取所述第一光流图像中的待跟踪目标对象的第四位置信息和所述第二光流图像中的待跟踪目标对象的第五位置信息；

将所述第一光流图像和所述第二光流图像输入到位置预测网络中，所述位置预测网络根据所述第四位置信息和所述第五位置信息确定所述第t帧图像中的第二目标候选区域以及所述第二目标候选区域的第二位置信息。

4.根据权利要求1所述的方法，其特征在于，根据所述第一位置信息和所述第二位置确定所述第一目标候选区域和所述第二目标候选区域中重叠区域大于或等于预定阈值的目标候选区域，并将所述目标候选区域确定为所述第t帧图像中的目标区域，包括：

在检测所述第t帧图像得到的目标区域在所述第t-1帧图像中没有对应的情况下，根据所述目标区域对应的目标对象新增新的轨迹。

5.根据权利要求1所述的方法，其特征在于，根据所述目标区域的位置信息加入到所述目标视频中的目标对象的目标轨迹中，更新所述目标轨迹，包括：

将所述第t-1帧图像中检测的目标位置和基于所述光流预测出的所述第t帧图像中目标位置作为候选区域，获取所述第t帧图像中的目标位置和分类得分；

获取所述第t帧图像中的目标对象的标识信息，其中，所述第t帧图像中的所述标识信息与所述第t-1帧图像中的标识信息一致；

经过非极大值抑制，筛除掉分类得分小于或等于第二预定阈值和重复的目标区域，获取所述第t帧图像中的目标区域及对应的所述目标对象的标识信息；

将目标对象的位置信息加入到对应的目标轨迹中，更新所述目标轨迹。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述目标视频包括：预设录制完成的目标视频、录制中的目标视频。

7.一种目标对象的跟踪轨迹的确定装置，其特征在于，包括：

第一确定单元，用于对目标视频中包括的连续的第t-1帧图像和第t帧图像基于背景去除的多目标检测，得到所述第t帧图像中的第一目标候选区域以及所述第一目标候选区域的第一位置信息，其中，所述第一目标候选区域为第一目标对象所在的位置；

第二确定单元，用于对所述第t-1帧图像和所述第t帧图像基于光流的位置预测，得到所述第t帧图像中的第二目标候选区域以及所述第二目标候选区域的第二位置信息，其中，所述第二目标候选区域为第二目标对象所在的位置；

第三确定单元，用于根据所述第一位置信息和所述第二位置确定所述第一目标候选区域和所述第二目标候选区域中重叠区域大于或等于第一预定阈值的目标候选区域，并将所述目标候选区域确定为所述第t帧图像中的目标区域；

更新单元，用于根据所述目标区域的位置信息加入到所述目标视频中的目标对象的目标轨迹中，更新所述目标轨迹。

8.根据权利要求7所述的装置，其特征在于，所述第一确定单元，包括：

第一得到模块，用于将所述第t-1帧图像输入到第一目标网络中，得到掩膜图像，其中，所述掩膜图像中前景区域的像素值取值为1，背景区域中的像素值取值为0；

第二得到模块，用于将所述掩膜图像中的像素值与所述第t-1帧图像中的像素值相乘，得到第一目标图像；

第三得到模块，用于将所述第一目标图像输入到目标检测网络中，得到所述第t-1帧图像中的第三目标候选区域以及所述第三目标候选区域的第三位置信息；

第四得到模块，用于通过目标回归算法基于所述第三目标候选区域以及所述第三目标候选区域的第三位置信息，得到所述第t帧图像中的第一目标候选区域以及所述第一目标候选区域的第一位置信息。

9.根据权利要求7所述的装置，其特征在于，所述第二确定单元，包括：

第一获取模块，用于获取所述第t-1帧图像和所述第t帧图像对应的第一光流图像和第二光流图像；

第二获取模块，用于获取所述第一光流图像中的待跟踪目标对象的第四位置信息和所述第二光流图像中的待跟踪目标对象的第五位置信息；

确定模块，用于将所述第一光流图像和所述第二光流图像输入到位置预测网络中，所述位置预测网络根据所述第四位置信息和所述第五位置信息确定所述第t帧图像中的第二目标候选区域以及所述第二目标候选区域的第二位置信息。

10.根据权利要求7所述的装置，其特征在于，所述第三确定单元，包括：

新增模块，用于在检测所述第t帧图像得到的目标区域在所述第t-1帧图像中没有对应的情况下，根据所述目标区域对应的目标对象新增新的轨迹。

11.根据权利要求7所述的装置，其特征在于，所述更新单元，包括：

第三获取模块，用于将所述第t-1帧图像中检测的目标位置和基于所述光流预测出的所述第t帧图像中目标位置作为候选区域，获取所述第t帧图像中的目标位置和分类得分；

第四获取模块，用于获取所述第t帧图像中的目标对象的标识信息，其中，所述第t帧图像中的所述标识信息与所述第t-1帧图像中的标识信息一致；

第五获取模块，用于经过非极大值抑制，筛除掉分类得分小于或等于第二预定阈值和重复的目标区域，获取所述第t帧图像中的目标区域及对应的所述目标对象的标识信息；

更新模块，用于将目标对象的位置信息加入到对应的目标轨迹中，更新所述目标轨迹。

12.根据权利要求7-11任一项所述的装置，其特征在于，所述目标视频包括：预设录制完成的目标视频、录制中的目标视频。

13.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至6任一项中所述的方法。

Images