CN110956649A - 多目标三维物体跟踪的方法和装置 - Google Patents

Abstract

本申请公开了一种多目标三维物体跟踪的方法和装置，属于检测跟踪领域。该方法包括：获取视频的多个帧；根据所述视频的第一帧建立三维物体的外观模型；将后续的每一帧作为当前帧进行预处理；在所述预处理后的当前帧中，使用所述外观模型检测到多个目标，并提取所述多个目标的特征；根据提取的所述多个目标的特征，采用三维卡尔曼滤波模式对所述多个目标进行跟踪，生成所述多个目标的运动轨迹。该装置包括：获取模块、建立模块、处理模块、检测模块、跟踪模块。本申请具有较强的鲁棒性，可以抵抗不同角度、不同姿态和不同视角对图像的影响。

Description

多目标三维物体跟踪的方法和装置

技术领域

本申请涉及检测跟踪领域，特别是涉及一种多目标三维物体跟踪的方法和装置。

背景技术

MOT(Multiple Object Tracking，多目标检测跟踪)的传统方法之一是对状态进行预测，即通过检测来实现多目标跟踪，并基于贝叶斯方法跟踪目标的位置和大小。最近的许多研究将MOT作为一个数据关联问题，Leal-Taixé提出通过分组行为来构建数据关联。将概率假设密度滤波器引入到多状态估计中，对数据关联进行线性决策。Chu等人对直方图表示进行了改进，为每个目标构建了多个具有绑定约束的空间直方图，以克服部分遮挡。同样，Yang和Nevatia利用人体部分模型从未被遮挡的物体区域中提取识别特征。最近，一些研究者将深度学习结构应用于数据关联中建立非线性建模，一些人还提出应用卷积神经网络产生的深度学习特性来提高跟踪性能。

基于贝叶斯方法跟踪目标的位置和大小可以在短期内达到可接受的性能，但是当目标物相互遮挡时，这些方法往往会失败。基于外观模型约束的方法都对所选框架的质量非常敏感，这可能会由于光照或其他条件而失败。基于神经网络的方法有一定的优越性，然而由于这些方法复杂度的增加和潜在的大量目标，计算需求成为一个主要的挑战。此外，这些方法需要大量的训练样本来实现鲁棒性能。

发明内容

本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。

根据本申请的一个方面，提供了一种多目标三维物体跟踪的方法，包括：

获取视频的多个帧；

根据所述视频的第一帧建立三维物体的外观模型；

将后续的每一帧作为当前帧进行预处理；

在所述预处理后的当前帧中，使用所述外观模型检测到多个目标，并提取所述多个目标的特征；

根据提取的所述多个目标的特征，采用三维卡尔曼滤波模式对所述多个目标进行跟踪，生成所述多个目标的运动轨迹。

可选地，根据所述视频的第一帧建立三维物体的外观模型，包括：

使用前景掩模在所述视频的第一帧中确定可见的对象区域，在所述对象区域内设置N个指定大小的子模型，每个子模型对应一个目标，且使用SoftMax函数动态控制每个子模型的更新速率，组合所述N个子模型得到三维物体的外观模型，其中，所述N为特征维数。

可选地，使用所述外观模型检测到多个目标之后，包括：

如果存在某个目标与其他目标重叠或二者足点的三维距离小于指定阈值时，则确定所述某个目标被所述其他目标遮挡，将所述其他目标视为所述某个目标。

可选地，所述方法还包括：

将所述当前帧内检测到的每个目标作为观察目标，与已丢失的目标进行比较，如果存在一个已丢失的目标成功地与所述观察目标相关联，则恢复该已丢失的目标对应的子模型，如果所述观察目标与所有已丢失的目标均无关，或者所述观察目标与所有已丢失目标之间的最大相似度得分小于指定阈值，则确定所述观察目标为新目标，为所述新目标建立对应的子模型。

可选地，所述方法还包括：

利用所述外观模型，对所述多个目标中的每一个目标都预测出下一帧内该目标的特征，并将该目标在所述当前帧内提取的特征与预测的下一帧内的特征进行匹配，根据匹配的结果计算所述当前帧与下一帧的相似度，如果所述相似度低于指定阈值，则确定出现新目标。

根据本申请的另一个方面，还提供了一种多目标三维物体跟踪的装置，包括：

获取模块，其配置成获取视频的多个帧；

建立模块，其配置成根据所述视频的第一帧建立三维物体的外观模型；

处理模块，其配置成将后续的每一帧作为当前帧进行预处理；

检测模块，其配置成在所述预处理后的当前帧中，使用所述外观模型检测到多个目标，并提取所述多个目标的特征；

跟踪模块，其配置成根据提取的所述多个目标的特征，采用三维卡尔曼滤波模式对所述多个目标进行跟踪，生成所述多个目标的运动轨迹。

可选地，所述建立模块具体配置成：

使用前景掩模在所述视频的第一帧中确定可见的对象区域，在所述对象区域内设置N个指定大小的子模型，每个子模型对应一个目标，且使用SoftMax函数动态控制每个子模型的更新速率，组合所述N个子模型得到三维物体的外观模型，其中，所述N为特征维数。

可选地，所述检测模块还配置成：

如果存在某个目标与其他目标重叠或二者足点的三维距离小于指定阈值时，则确定所述某个目标被所述其他目标遮挡，将所述其他目标视为所述某个目标。

可选地，所述跟踪模块还配置成：

将所述当前帧内检测到的每个目标作为观察目标，与已丢失的目标进行比较，如果存在一个已丢失的目标成功地与所述观察目标相关联，则恢复该已丢失的目标对应的子模型，如果所述观察目标与所有已丢失的目标均无关，或者所述观察目标与所有已丢失目标之间的最大相似度得分小于指定阈值，则确定所述观察目标为新目标，为所述新目标建立对应的子模型。

可选地，所述跟踪模块还配置成：

利用所述外观模型，对所述多个目标中的每一个目标都预测出下一帧内该目标的特征，并将该目标在所述当前帧内提取的特征与预测的下一帧内的特征进行匹配，根据匹配的结果计算所述当前帧与下一帧的相似度，如果所述相似度低于指定阈值，则确定出现新目标。

根据本申请的又一个方面，提供了一种计算设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上所述的方法。

根据本申请的又一个方面，提供了一种计算机可读存储介质，优选为非易失性可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现如上所述的方法。

根据本申请的又一个方面，提供了一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码由计算机设备执行时，导致所述计算机设备执行上述的方法。

本申请提供的技术方案，通过获取视频的多个帧，根据所述视频的第一帧建立三维物体的外观模型，将后续的每一帧作为当前帧进行预处理，在所述预处理后的当前帧中，使用所述外观模型检测到多个目标，并提取所述多个目标的特征，根据提取的所述多个目标的特征，采用三维卡尔曼滤波模式对所述多个目标进行跟踪，生成所述多个目标的运动轨迹，与以往的方法比较，具有较强的鲁棒性，可以抵抗不同角度、不同姿态和不同视角对图像的影响。

根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：

图1是根据本申请一个实施例的多目标三维物体跟踪的方法流程图；

图2是根据本申请另一个实施例的多目标三维物体跟踪的方法流程图；

图3是根据本申请另一个实施例的多目标三维物体跟踪的装置结构图；

图4是根据本申请另一个实施例的计算设备结构图；

图5是根据本申请另一个实施例的计算机可读存储介质结构图。

具体实施方式

图1是根据本申请一个实施例的多目标三维物体跟踪的方法流程图。参见图1，该方法包括：

101：获取视频的多个帧；

102：根据视频的第一帧建立三维物体的外观模型；

103：将后续的每一帧作为当前帧进行预处理；

104：在预处理后的当前帧中，使用外观模型检测到多个目标，并提取多个目标的特征；

105：根据提取的多个目标的特征，采用三维卡尔曼滤波模式对多个目标进行跟踪，生成多个目标的运动轨迹。

本实施例中，可选的，根据视频的第一帧建立三维物体的外观模型，包括：

使用前景掩模在视频的第一帧中确定可见的对象区域，在对象区域内设置N个指定大小的子模型，每个子模型对应一个目标，且使用SoftMax函数动态控制每个子模型的更新速率，组合N个子模型得到三维物体的外观模型，其中，N为特征维数。

本实施例中，可选的，使用外观模型检测到多个目标之后，包括：

如果存在某个目标与其他目标重叠或二者足点的三维距离小于指定阈值时，则确定某个目标被其他目标遮挡，将其他目标视为某个目标。

本实施例中，可选的，上述方法还包括：

将当前帧内检测到的每个目标作为观察目标，与已丢失的目标进行比较，如果存在一个已丢失的目标成功地与观察目标相关联，则恢复该已丢失的目标对应的子模型，如果观察目标与所有已丢失的目标均无关，或者观察目标与所有已丢失目标之间的最大相似度得分小于指定阈值，则确定观察目标为新目标，为新目标建立对应的子模型。

本实施例中，可选的，上述方法还包括：

利用外观模型，对多个目标中的每一个目标都预测出下一帧内该目标的特征，并将该目标在当前帧内提取的特征与预测的下一帧内的特征进行匹配，根据匹配的结果计算当前帧与下一帧的相似度，如果相似度低于指定阈值，则确定出现新目标。

本实施例提供的上述方法，通过获取视频的多个帧，根据所述视频的第一帧建立三维物体的外观模型，将后续的每一帧作为当前帧进行预处理，在所述预处理后的当前帧中，使用所述外观模型检测到多个目标，并提取所述多个目标的特征，根据提取的所述多个目标的特征，采用三维卡尔曼滤波模式对所述多个目标进行跟踪，生成所述多个目标的运动轨迹，与以往的方法比较，具有较强的鲁棒性，可以抵抗不同角度、不同姿态和不同视角对图像的影响。

图2是根据本申请另一个实施例的一种多目标三维物体跟踪的方法流程图。参见图2，该方法包括：

201：获取视频的多个帧；

202：使用前景掩模在视频的第一帧中确定可见的对象区域，在对象区域内设置N个指定大小的子模型，每个子模型对应一个目标，且使用SoftMax函数动态控制每个子模型的更新速率，组合N个子模型得到三维物体的外观模型，其中，N为特征维数；

其中，初始时可以将对象区域内的每个子模型都设置为规范化大小。

本实施例中，在建立三维物体的外观模型的过程中，还可以包括：将每个人体对象都建模为垂直于地面的杆，以相机自标定得到的估计三维地面，并根据前景斑点的方向来定位三维地面的端点，计算出摄像机自标定场景中的地平线和消失点。

203：将后续的每一帧作为当前帧进行预处理，在预处理后的当前帧中，使用外观模型检测到多个目标；

204：如果存在某个目标与其他目标重叠或二者足点的三维距离小于指定阈值时，则确定某个目标被其他目标遮挡，将其他目标视为某个目标；

205：提取检测到的多个目标的特征，根据提取的多个目标的特征，采用三维卡尔曼滤波模式对多个目标进行跟踪，生成多个目标的运动轨迹；

206：将当前帧内检测到的每个目标作为观察目标，与已丢失的目标进行比较，如果存在一个已丢失的目标成功地与观察目标相关联，则恢复该已丢失的目标对应的子模型，如果观察目标与所有已丢失的目标均无关，或者观察目标与所有已丢失目标之间的最大相似度得分小于指定阈值，则确定观察目标为新目标，为新目标建立对应的子模型；

207：利用外观模型，对多个目标中的每一个目标都预测出下一帧内该目标的特征，并将该目标在当前帧内提取的特征与预测的下一帧内的特征进行匹配，根据匹配的结果计算当前帧与下一帧的相似度，如果相似度低于指定阈值，则确定出现新目标。

这种通过相似度评分来确定新目标的方式，可以衡量外观模型的亲和力，使外观模型更加完善。

本实施例中，提取的多个目标的特征可以采用显式形式保存，并在线自适应更新，能够“记忆”一个相对较长时间的外观变化历史，包括不同的视角、物体的姿态和光照，从而克服了以往方法随机存储和更新的缺陷。

本实施例提供的上述方法，通过获取视频的多个帧，根据所述视频的第一帧建立三维物体的外观模型，将后续的每一帧作为当前帧进行预处理，在所述预处理后的当前帧中，使用所述外观模型检测到多个目标，并提取所述多个目标的特征，根据提取的所述多个目标的特征，采用三维卡尔曼滤波模式对所述多个目标进行跟踪，生成所述多个目标的运动轨迹，与以往的方法比较，具有较强的鲁棒性，可以抵抗不同角度、不同姿态和不同视角对图像的影响。

图3是根据本申请另一个实施例的多目标三维物体跟踪的装置结构图。参见图3，该装置包括：

获取模块301，其配置成获取视频的多个帧；

建立模块302，其配置成根据视频的第一帧建立三维物体的外观模型；

处理模块303，其配置成将后续的每一帧作为当前帧进行预处理；

检测模块304，其配置成在预处理后的当前帧中，使用外观模型检测到多个目标，并提取多个目标的特征；

跟踪模块305，其配置成根据提取的多个目标的特征，采用三维卡尔曼滤波模式对多个目标进行跟踪，生成多个目标的运动轨迹。

本实施例中，可选的，建立模块具体配置成：

使用前景掩模在视频的第一帧中确定可见的对象区域，在对象区域内设置N个指定大小的子模型，每个子模型对应一个目标，且使用SoftMax函数动态控制每个子模型的更新速率，组合N个子模型得到三维物体的外观模型，其中，N为特征维数。

本实施例中，可选的，检测模块还配置成：

如果存在某个目标与其他目标重叠或二者足点的三维距离小于指定阈值时，则确定某个目标被其他目标遮挡，将其他目标视为某个目标。

本实施例中，可选的，跟踪模块还配置成：

将当前帧内检测到的每个目标作为观察目标，与已丢失的目标进行比较，如果存在一个已丢失的目标成功地与观察目标相关联，则恢复该已丢失的目标对应的子模型，如果观察目标与所有已丢失的目标均无关，或者观察目标与所有已丢失目标之间的最大相似度得分小于指定阈值，则确定观察目标为新目标，为新目标建立对应的子模型。

本实施例中，可选的，跟踪模块还配置成：

利用外观模型，对多个目标中的每一个目标都预测出下一帧内该目标的特征，并将该目标在当前帧内提取的特征与预测的下一帧内的特征进行匹配，根据匹配的结果计算当前帧与下一帧的相似度，如果相似度低于指定阈值，则确定出现新目标。

本实施例提供的上述装置，可以执行上述任一方法实施例提供的方法，详细过程详见方法实施例中的描述，此处不赘述。

本实施例提供的上述装置，通过获取视频的多个帧，根据所述视频的第一帧建立三维物体的外观模型，将后续的每一帧作为当前帧进行预处理，在所述预处理后的当前帧中，使用所述外观模型检测到多个目标，并提取所述多个目标的特征，根据提取的所述多个目标的特征，采用三维卡尔曼滤波模式对所述多个目标进行跟踪，生成所述多个目标的运动轨迹，与以往的方法比较，具有较强的鲁棒性，可以抵抗不同角度、不同姿态和不同视角对图像的影响。

根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。

本申请实施例还提供了一种计算设备，参照图4，该计算设备包括存储器1120、处理器1110和存储在所述存储器1120内并能由所述处理器1110运行的计算机程序，该计算机程序存储于存储器1120中的用于程序代码的空间1130，该计算机程序在由处理器1110执行时实现用于执行任一项根据本发明的方法步骤1131。

本申请实施例还提供了一种计算机可读存储介质。参照图5，该计算机可读存储介质包括用于程序代码的存储单元，该存储单元设置有用于执行根据本发明的方法步骤的程序1131′，该程序被处理器执行。

本申请实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机上运行时，使得计算机执行根据本发明的方法步骤。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、获取其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令处理器完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质是非短暂性(英文：non-transitory)介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带(英文：magnetic tape)，软盘(英文：floppy disk)，光盘(英文：optical disc)及其任意组合。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种多目标三维物体跟踪的方法，包括：

获取视频的多个帧；

根据所述视频的第一帧建立三维物体的外观模型；

将后续的每一帧作为当前帧进行预处理；

在所述预处理后的当前帧中，使用所述外观模型检测到多个目标，并提取所述多个目标的特征；

根据提取的所述多个目标的特征，采用三维卡尔曼滤波模式对所述多个目标进行跟踪，生成所述多个目标的运动轨迹。

2.根据权利要求1所述的方法，其特征在于，根据所述视频的第一帧建立三维物体的外观模型，包括：

使用前景掩模在所述视频的第一帧中确定可见的对象区域，在所述对象区域内设置N个指定大小的子模型，每个子模型对应一个目标，且使用SoftMax函数动态控制每个子模型的更新速率，组合所述N个子模型得到三维物体的外观模型，其中，所述N为特征维数。

3.根据权利要求1所述的方法，其特征在于，使用所述外观模型检测到多个目标之后，包括：

如果存在某个目标与其他目标重叠或二者足点的三维距离小于指定阈值时，则确定所述某个目标被所述其他目标遮挡，将所述其他目标视为所述某个目标。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述当前帧内检测到的每个目标作为观察目标，与已丢失的目标进行比较，如果存在一个已丢失的目标成功地与所述观察目标相关联，则恢复该已丢失的目标对应的子模型，如果所述观察目标与所有已丢失的目标均无关，或者所述观察目标与所有已丢失目标之间的最大相似度得分小于指定阈值，则确定所述观察目标为新目标，为所述新目标建立对应的子模型。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括：

利用所述外观模型，对所述多个目标中的每一个目标都预测出下一帧内该目标的特征，并将该目标在所述当前帧内提取的特征与预测的下一帧内的特征进行匹配，根据匹配的结果计算所述当前帧与下一帧的相似度，如果所述相似度低于指定阈值，则确定出现新目标。

6.一种多目标三维物体跟踪的装置，包括：

获取模块，其配置成获取视频的多个帧；

建立模块，其配置成根据所述视频的第一帧建立三维物体的外观模型；

处理模块，其配置成将后续的每一帧作为当前帧进行预处理；

检测模块，其配置成在所述预处理后的当前帧中，使用所述外观模型检测到多个目标，并提取所述多个目标的特征；

跟踪模块，其配置成根据提取的所述多个目标的特征，采用三维卡尔曼滤波模式对所述多个目标进行跟踪，生成所述多个目标的运动轨迹。

7.根据权利要求6所述的装置，其特征在于，所述建立模块具体配置成：

使用前景掩模在所述视频的第一帧中确定可见的对象区域，在所述对象区域内设置N个指定大小的子模型，每个子模型对应一个目标，且使用SoftMax函数动态控制每个子模型的更新速率，组合所述N个子模型得到三维物体的外观模型，其中，所述N为特征维数。

8.根据权利要求6所述的装置，其特征在于，所述检测模块还配置成：

如果存在某个目标与其他目标重叠或二者足点的三维距离小于指定阈值时，则确定所述某个目标被所述其他目标遮挡，将所述其他目标视为所述某个目标。

9.根据权利要求6所述的装置，其特征在于，所述跟踪模块还配置成：

将所述当前帧内检测到的每个目标作为观察目标，与已丢失的目标进行比较，如果存在一个已丢失的目标成功地与所述观察目标相关联，则恢复该已丢失的目标对应的子模型，如果所述观察目标与所有已丢失的目标均无关，或者所述观察目标与所有已丢失目标之间的最大相似度得分小于指定阈值，则确定所述观察目标为新目标，为所述新目标建立对应的子模型。

10.根据权利要求6-9中任一项所述的装置，其特征在于，所述跟踪模块还配置成：

利用所述外观模型，对所述多个目标中的每一个目标都预测出下一帧内该目标的特征，并将该目标在所述当前帧内提取的特征与预测的下一帧内的特征进行匹配，根据匹配的结果计算所述当前帧与下一帧的相似度，如果所述相似度低于指定阈值，则确定出现新目标。

Images