CN115188081A - 一种面向复杂场景的检测跟踪一体化方法 - Google Patents

Abstract

本发明公开了一种面向复杂场景的检测跟踪一体化方法，首先构建检测跟踪深度模型，包括检测模块和身份特征提取模块，其次使用不同场景的数据进行训练，得到模型后，对输入图片进行目标检测并提取对应的目标身份特征；然后，利用背景建模算法提取图像运动信息；接着，设计检测跟踪后处理算法，融合图像运动信息，得到目标跟踪结果；最后，基于目标跟踪轨迹预测对下一帧的检测结果进行修正。本发明所提出的面向复杂场景的检测跟踪一体化方法解决了监控场景下行人目标动态变化造成的检测跟踪困难的问题，有效提高了行人检测跟踪精度。

Description

一种面向复杂场景的检测跟踪一体化方法

技术领域

本发明涉及计算机视觉中的行人检测和行人跟踪技术领域，特别是针对目标动态变化等复杂场景下的行人检测和跟踪领域，特别涉及一种面向复杂场景的检测跟踪一体化方法。

背景技术

随着深度学习技术的不断突破，各项人工智能技术最终落地并改善人们的生活。视频监控中行人检测与跟踪一直是公共安全领域的核心问题之一，其在案件侦破、治安态势预警、大规模群体事件感知和预防等方面发挥着不可替代的作用。然而由于视频监控数据量巨大、真实场景复杂，行人动态变化等，单纯依靠人力识别跟踪跨镜头下的行人效率低下，且会消耗大量的人力财力，而现有的深度学习算法鉴于以上不利因素，检测跟踪效果不理想，也不能较好地满足行人检测跟踪任务的需要。

行人检测就是检测出一个视频某一帧中目标人物的位置。行人跟踪是给定视频中第一帧目标人物以及它的位置，然后利用目标的特征信息跟踪这个目标，并预测他的轨迹，如果出现一些遮挡，也可以根据轨迹来跟踪这个目标。当前深度学习技术主要基于单阶段、两阶段的检测器提取目标的特征信息，通过相似度计算，对目标帧内的检测对象进行排序和匹配，从而得到行人在帧之间的连续变化。但当目标动态变化时，比如遮挡、光线变化、姿态变化、相似目标干扰等会导致跟踪轨迹预测不准和检测器精度不高，从而出现检测跟踪错误的情况。

行人检测跟踪最近几年虽然取得较大进步，但精度仍然无法达到令人满意程度，主要存在跟踪过程目标错误，行人动态变化导致外观特征差异，检测器精度弱，效果不理想等问题，严重阻碍了行人检测和行人跟踪再识别算法性能的提升。

因此，如何针对动态变化的行人目标提高检测精度和跟踪准度，是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明公开了一种面向复杂场景的检测跟踪一体化方法，解决了监控场景下行人目标动态变化造成的检测跟踪困难的问题，通过检测和跟踪相辅相成，来提高行人检测跟踪的精度，精准识别和描绘行人运动轨迹。

为了实现上述目的，本发明采用如下技术方案：

一种面向复杂场景的检测跟踪一体化方法，包括如下步骤：

步骤1：选取行人多目标检测跟踪数据集和通用检测模型，增加身份特征提取模块，构建检测跟踪模型并进行训练；采用训练后的检测跟踪模型对行人多目标检测跟踪数据集中的所有图片，提取行人检测结果和对应的行人身份特征；

步骤2：利用背景建模算法提取所有图片中图像的运动信息；

步骤3：利用步骤2中提取到的运动信息，对检测结果进行修正；设计检测跟踪后处理算法，利用步骤1中的行人检测结果和对应的行人身份特征得到跟踪结果；

步骤4：构建行人检测跟踪算法：利用步骤3得到的跟踪轨迹结果对下一帧的检测结果进行修正，改进目标检测结果，后续将继续用于目标跟踪；

步骤5：根据所述步骤4的行人检测跟踪算法，对需要检测的视频流中行人进行在线检测跟踪。

进一步地，所述步骤1，包括如下步骤：

步骤11：选取行人多目标检测跟踪数据集，选用主流单阶段检测模型；

步骤12：根据所述步骤11中的检测模型，增加身份特征提取模块，采用分类损失对身份特征模型进行监督，构建检测跟踪模型并进行训练；其中，将对象身份视为一项分类任务，如果训练中相同标识ID则认为是同一类别，其过程使用交叉熵损失；

步骤13：根据所述步骤12训练的检测跟踪模型，对所述行人多目标跟踪数据集中的所有图像同时进行检测框预测和身份特征预测；获得的所述行人多目标跟踪图像中的行人检测结果和对应的行人身份特征；选取行人检测结果中心点附近的行人身份特征作为对应的行人身份特征；得到行人目标框和对应行人身份特征。

进一步地，所述步骤2，具体包括如下步骤：

步骤21：对选取的输入图像，进行缩放，降低图像分辨率；

步骤22：根据步骤21中缩放的图像，利用GMM高斯混合模型，初始化参数，构建起模型，区分出前景和背景区域，从而判断运动目标；

步骤23：根据步骤22中检测出来运动目标的位置映射到原始图像中，获得运动目标在原始图像中的区域。

进一步地，所述步骤3，包括如下步骤：

步骤31：从所述步骤2中获得运动区域，利用运动区域对步骤1获得的行人多目标跟踪图像中的行人检测结果进行筛选；

步骤32：选择基于deepsort的多目标跟踪后处理算法，从所述步骤31获得的行人多目标跟踪图像中的行人检测结果，结合所述步骤1中对应的行人身份特征，构建多级后处理流程，进行检测跟踪后处理，得到跟踪轨迹结果；

进一步地，所述步骤4，包括如下步骤：：

步骤41：从所述步骤32获得跟踪历史轨迹，基于历史轨迹预测目标序列在当前帧出现的位置，利用该位置修正范围内目标检测结果，提升范围内检测结果置信度；

步骤42：根据步骤41修改后的置信度，重新确定当前帧检测结果，改进行人目标检测结果，后续结果将用于目标跟踪。

经由上述的技术方案可知，与现有技术相比：

本发明公开提供了一种面向复杂场景的检测跟踪一体化方法，本方法构建能同时获取检测结果和身份特征的检测跟踪模型，训练该深度模型并利用该深度模型对数据集中的图像提取目标检测结果和对应的目标身份特征；然后，利用背景建模算法提取图像运动信息，得到的运动信息将辅助后续检测结果的修正；接着，利用运动信息对检测结果进行修正，修正后的检测结果应用到检测跟踪后处理算法，得到目标跟踪结果；最后，利用得到的跟踪轨迹对下一帧的检测结果进行修正。本发明所提出的面向复杂场景的检测跟踪一体化方法解决了监控场景下行人目标动态变化造成的检测跟踪困难的问题，能够有效提高行人检测跟踪精度，在监控场景中能够高效检测跟踪运动变化的行人。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种面向复杂场景的检测跟踪一体化方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种面向复杂场景的检测跟踪一体化方法，针对目标动态变化等复杂场景下的行人检测和跟踪，可以获取视频中行人的精确位置坐标信息及其运动轨迹。在进行行人目标的检测跟踪过程中，利用背景建模算法得到的图像运动信息和目标本身轨迹运动信息来修正检测结果，在修正后的检测结果上进行目标跟踪，该方法能够有效提高行人检测跟踪精度。

首先构建检测跟踪模型，包括检测模块和身份特征提取模块，在不同场景下进行训练，利用得到的模型对输入图片提取目标检测结果和对应的目标身份特征；然后，利用背景建模算法提取图像运动信息；接着，设计检测跟踪后处理算法，融合图像运动信息，得到目标跟踪结果；最后，利用得到的跟踪轨迹对下一帧的检测结果进行修正。本发明所提出的面向复杂场景的检测跟踪一体化方法，具体实施步骤如下：

S1：选取行人多目标检测跟踪数据集和通用检测模型，增加身份特征提取模块，同时训练检测模块和身份特征提取模块，然后对行人多目标检测跟踪数据集中的所有图片提取行人检测结果和对应的行人身份特征；

S1具体包括：

S11：选取行人多目标检测跟踪数据集，选用主流单阶段检测模型；

S12：根据所述S11中的检测模型，增加身份特征提取模块，采用分类损失对身份特征模型进行监督，构建检测跟踪模型并进行训练；

S13：根据所述S12训练的检测跟踪模型，对所述行人多目标检测跟踪数据集中的所有行人图像同时进行检测框预测和身份特征预测；获得的行人多目标跟踪图像中的行人检测结果和行人身份特征，选取行人检测结果中心点附近的行人身份特征作为对应的行人身份特征；得到行人目标框和对应行人身份特征；

S2： 利用背景建模算法提取所有行人图像运动信息，用于辅助行人跟踪算法的检测；

S21：根据S1中选取的输入图像M，首先将输入图像进行缩放，降低图像分辨率，提高处理速度。

S22：根据S21中缩放的图像，利用GMM高斯混合模型，初始化参数，构建起模型，区分出前景和背景区域，从而判断运动目标；

S23：根据S22中检测出来运动目标的位置映射到原始图像M中，获得动目标在原始图像M中的区域；

S3： 利用S2中提取到的运动信息，对检测结果进行修正；设计检测跟踪后处理算法，利用步骤1中的行人检测结果和对应的行人身份特征得到跟踪轨迹结果；

S31：从所述S2中获得运动区域，利用运动区域对S1获得的行人多目标跟踪图像中的行人检测结果进行筛选；

S32：选择基于deepsort的多目标跟踪后处理算法，从所述s31获得的行人多目标跟踪图像中的行人检测结果，结合所述s1中对应的行人身份特征，构建多级后处理流程，进行检测跟踪后处理，得到跟踪结果；

S4：构建行人检测跟踪算法：利用S3得到的跟踪轨迹对下一帧的检测结果进行修正，改进目标检测结果，后续将继续用于目标跟踪；

S41：从所述S32获得跟踪历史轨迹，基于历史轨迹预测目标序列在当前帧出现的位置，利用该位置修正范围内目标检测结果，提升范围内检测结果置信度；

S42：根据41修改后的置信度，重新确定当前帧检测结果，改进行人目标检测结果，后续结果将用于目标跟踪。

S5：根据S4的行人检测跟踪算法，对需要检测的视频流中行人进行在线检测跟踪。

本发明所提出的面向复杂场景的检测跟踪一体化方法，解决了监控场景下行人目标动态变化造成的检测跟踪困难的问题，有效提高了行人检测跟踪精度。

实施例：

利用yolov5作为基础检测器，在骨干网络后面增加中心身份特征提取网络，对数据集中的图像提取，提取目标行人检测结果和对应的目标行人身份特征；然后，利用高斯混合模型算法提取图像运动信息，得到的运动信息将辅助后续检测结果的修正；接着，利用运动信息对检测结果进行修正，修正后的检测结果应用到检测跟踪后处理算法，得到目标跟踪结果；最后，利用得到的跟踪轨迹对下一帧的检测结果进行修正。

如图1所示，多视角生成模块具体过程如下：

选取MOT17数据集，选用yolov5检测模型，增加身份特征提取模块，同时训练检测模块（yolov5检测模型）和身份特征提取模块，然后对该数据集中的所有图片提取行人检测结果和对应的行人身份特征。

根据待检测的输入图像，首先将输入图像进行缩放，降低图像分辨率，提高处理速度。利用GMM高斯混合模型，初始化参数，构建起模型，区分出前景和背景区域，从而判断运动目标。最后，根据检测出来运动目标的位置映射到原始图像中，获得运动目标在原始图像中的区域；

利用先前获得运动信息，划分出当前帧出现在运动区域，对该运动区域内的目标检测结果提升其置信度，根据修改后的置信度，重新确定当前帧检测结果，改进行人目标检测结果。选择基于deepsort的多目标跟踪后处理算法，从之前获得的行人多目标跟踪图像中的行人检测结果和对应的行人身份特征。构建多级后处理流程。

根据得到的跟踪轨迹，预测序列在当前帧的位置，当前帧出现在预测位置中的检测结果修正置信度，获得新的检测结果。

最后，利用上述行人检测跟踪算法，对视频流中行人进行在线检测跟踪。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.一种面向复杂场景的检测跟踪一体化方法，其特征在于，具体步骤如下：

步骤1：选取行人多目标检测跟踪数据集和通用检测模型，增加身份特征提取模块，构建检测跟踪模型并进行训练；采用训练后的检测跟踪模型对行人多目标检测跟踪数据集中的所有图片，提取行人检测结果和对应的行人身份特征；

步骤2：利用背景建模算法提取所有图片中图像的运动信息；

步骤3：利用步骤2中提取到的运动信息，对检测结果进行修正；设计检测跟踪后处理算法，利用修正后的行人检测结果和步骤1中得到的对应的行人身份特征得到跟踪轨迹结果；

步骤4：构建行人检测跟踪算法：利用步骤3得到的跟踪轨迹结果对下一帧的检测结果进行修正，改进目标检测结果，后续将继续用于目标跟踪；

步骤5：根据所述步骤4的行人检测跟踪算法，对需要检测的视频流中行人进行在线检测跟踪。

2.根据权利要求1所述的一种面向复杂场景的检测跟踪一体化方法，其特征在于，所述步骤1，包括如下步骤：

步骤11：选取行人多目标检测跟踪数据集，选用主流单阶段检测模型；

步骤12：根据所述步骤11中的检测模型，增加身份特征提取模块，采用分类损失对身份特征模型进行监督，构建检测跟踪模型并进行训练；

步骤13：根据所述步骤12训练的检测跟踪模型，对所述行人多目标跟踪数据集中的所有图像同时进行检测框预测和身份特征预测；获得的所述行人多目标跟踪图像中的行人检测结果和对应的行人身份特征；选取行人检测结果中心点附近的行人身份特征作为对应的行人身份特征；得到行人目标框和对应行人身份特征。

3.根据权利要求1所述的一种面向复杂场景的检测跟踪一体化方法，其特征在于，所述步骤2，包括如下步骤：

步骤21：对选取的输入图像，进行缩放，降低图像分辨率；

步骤22：根据步骤21中缩放的图像，利用GMM高斯混合模型，初始化参数，构建起模型，区分出前景和背景区域，从而判断运动目标；

步骤23：根据步骤22中检测出来运动目标的位置映射到原始图像中，获得运动目标在原始图像中的区域。

4.根据权利要求3所述的一种面向复杂场景的检测跟踪一体化方法，其特征在于，所述步骤3，包括如下步骤：

步骤31：从所述步骤2中获得运动区域，利用运动区域对步骤1获得的行人多目标跟踪图像中的行人检测结果进行筛选；

步骤32：选择基于deepsort的多目标跟踪后处理算法，从所述步骤31获得的行人多目标跟踪图像中的行人检测结果，结合所述步骤1中对应的行人身份特征，构建多级后处理流程，进行检测跟踪后处理，得到跟踪轨迹结果。

5.根据权利要求4所述的一种面向复杂场景的检测跟踪一体化方法，其特征在于，所述步骤4，包括如下步骤：

步骤41：从所述步骤32获得跟踪历史轨迹，基于历史轨迹预测目标序列在当前帧出现的位置，利用该位置修正范围内目标检测结果，提升范围内检测结果置信度；

步骤42：根据步骤41修改后的置信度，重新确定当前帧检测结果，改进行人目标检测结果，后续结果将用于目标跟踪。

Images