CN112669349B - 一种客流统计方法、电子设备及存储介质 - Google Patents

Abstract

本发明涉及图像处理领域，公开了一种客流统计方法、电子设备及存储介质，包括对客流统计场景下的视频进行逐帧提取、并对提取出的含有行人的图像进行标注；对客流统计场景图像数据集进行数据增强；利用数据增强后的客流统计数据集训练YOLOv3模型；训练完成的YOLOv3模型输出含有行人的图像中的行人目标检测框；利用Deep‑SORT算法、并根据行人目标检测框确定跟踪目标，进行多目标行人跟踪，根据ID获得客流统计数量。本发明结合先进的目标检测算法和目标跟踪算法提出了实时检测跟踪的客流量统计方法，本发明检测部分采用YOLOv3模型，跟踪算法采用Deep‑SORT算法，能实时进行检测行人及跟踪,提高了客流量统计的准确性及鲁棒性。

Description

一种客流统计方法、电子设备及存储介质

技术领域

本发明涉及图像处理领域，具体地涉及一种客流统计方法、电子设备及存储介质。

背景技术

现有客流统计算法采用单目摄像机斜向下拍摄的背景下设计并实现了客流量统计的系统,能够完成客流的实时检测、跟踪及计数。

比如，国家专利公开文献CN110516602A，公开了“一种基于单目相机和深度学习技术的公交客流统计方法”，该发明包括：S1、视频采集，使用录像机采集公交车上前后门处的视频并得到原始视频；S2、样本标注，对原始视频进行筛选、截图和标注并得到训练样本；S3、拟合模型，对训练样本进行训练并拟合模型，并得到深度学习模型；S4、轻量化处理，将步骤S3中的深度学习模型进行轻量化处理，然后再进行步骤S5；S5、运行深度学习模型并计数，从而对公交客流进行统计。该发明虽然能够完成客流的实时检测、跟踪及计数，但是在实际的场景中，效果并不是很理想，精度低，准确度差。

发明内容

本发明提供一种客流统计方法、电子设备及存储介质，从而解决现有技术的上述问题。

第一方面，本发明提供了一种客流统计方法，包括以下步骤：

一种客流统计方法，包括以下步骤：

S1)采集客流统计场景下的视频，对客流统计场景下的视频进行逐帧提取、并对提取出的含有行人的图像进行标注，获得标注后的客流统计数据集；

S2)对客流统计场景图像数据集进行数据增强，获得数据增强后的客流统计数据集；构建目标检测模型，目标检测模型为YOLOv3模型，利用数据增强后的客流统计数据集训练YOLOv3模型，获得训练完成的YOLOv3模型；

S3)训练完成的YOLOv3模型输出含有行人的图像中的行人目标检测框；

S4)利用Deep-SORT算法、并根据行人目标检测框确定跟踪目标，进行多目标行人跟踪，输出各个跟踪目标的行动轨迹和ID，根据ID获得客流统计数量。

进一步的，在步骤S2)中，对客流统计场景图像数据集进行数据增强，数据增强包括图像裁剪、图像翻转和/或Mosaic数据增强方式。

进一步的，在步骤S3)中，训练完成的YOLOv3模型输出含有行人的图像的行人目标检测框,包括利用训练完成的YOLOv3模型检测出含有行人的图像中的所有行人目标检测框，提取行人目标检测框在含有行人的图像中所对应区域的特征，行人目标检测框包括行人目标的置信度和边界框信息；设定置信度阈值，当置信度大于置信度阈值时,认为是行人目标,保留确定为行人目标的行人目标检测框；利用非极大值抑制算法去除确定为行人目标的行人目标检测框中的冗余框,得到最终检测得到的行人目标以及与最终检测得到的行人目标相对应的行人目标检测框。

进一步的，在步骤S4)中，利用Deep-SORT算法、并根据行人目标检测框确定跟踪目标，进行多目标行人跟踪，输出各个跟踪目标的行动轨迹和ID，根据ID获得客流统计数量，包括以下步骤：

S41)将最终检测得到的行人目标作为跟踪目标，初始化各个跟踪目标的行动轨迹和ID，利用卡尔曼滤波算法计算卡尔曼预测的每个跟踪目标的行动轨迹的平均坐标位置和行人目标检测框之间的距离；距离越小的区域为跟踪目标的预测位置区域,得到各个跟踪目标的预测位置；

S42)使用匈牙利算法对含有行人的图像中的跟踪目标进行匹配，获得含有行人的图像中匹配到的若干目标检测框，利用含有行人的图像中匹配到的目标检测框更新卡尔曼跟踪器，将含有行人的图像中匹配到的若干目标检测框作为含有行人的图像中的若干跟踪框，将若干跟踪框分别加入与各个跟踪目标相对应的行动轨迹中；

S43)对于含有行人的图像中未匹配到的跟踪目标重新初始化卡尔曼跟踪器；更新各个跟踪目标的跟踪状态，输出各个跟踪目标的行动轨迹；统计各个跟踪目标的ID，获得客流统计数量。

进一步的，在步骤S4)中，还包括若在连续帧含有行人的图像中均未匹配到同一个ID的跟踪目标，则将未匹配到同一个ID的跟踪目标认为是消失目标，删除消失目标的卡尔曼跟踪器以及行动轨迹。

另一方面，本发明提供了一种电子设备，电子设备包括：

处理器；

存储介质，其上存储有计算机程序，计算机程序被处理器运行时执行客流统计方法。

又一方面，本发明提供了一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器运行时执行客流统计方法。

本发明的有益效果是：本发明结合了先进的目标检测算法和目标跟踪算法，提出了一种实时检测跟踪的客流量统计方法，本发明检测部分采用了YOLOv3模型，跟踪算法采用了Deep-SORT算法，能实时进行检测行人及跟踪,提高了客流量统计的准确性及鲁棒性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本实施例一提供的一种客流统计方法流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

实施例一，第一方面，本发明提供了一种客流统计方法，如图1所示，包括以下步骤：

一种客流统计方法，包括以下步骤：

S1)采集客流统计场景下的视频，对客流统计场景下的视频进行逐帧提取、并对提取出的含有行人的图像进行标注，获得标注后的客流统计数据集；

S2)对客流统计场景图像数据集进行数据增强，获得数据增强后的客流统计数据集；构建目标检测模型，目标检测模型为YOLOv3模型，利用数据增强后的客流统计数据集训练YOLOv3模型，获得训练完成的YOLOv3模型。

客流统计场景图像数据集进行数据增强，数据增强包括图像裁剪、图像翻转和/或Mosaic数据增强方式。本发明的目标检测模型采用更加准确更加快的YOLOv3模型，本发明收集了大量客流统计场景图像，使用label lmg标注软件对客流图像进行标注；接下来将数据集送入YOLOv3模型中Darknet53网络进行训练，在训练过程前加入了多种数据集增强的方式，能够提高算法的准确度同时未增加算法的复杂度。

S3)训练完成的YOLOv3模型输出含有行人的图像中的行人目标检测框。

在步骤S3)中，训练完成的YOLOv3模型输出含有行人的图像的行人目标检测框,包括利用训练完成的YOLOv3模型检测出含有行人的图像中的所有行人目标检测框，提取行人目标检测框在含有行人的图像中所对应区域的特征，行人目标检测框包括行人目标的置信度和边界框信息；设定置信度阈值，当置信度大于置信度阈值时,认为是行人目标,保留确定为行人目标的行人目标检测框；利用非极大值抑制算法去除确定为行人目标的行人目标检测框中的冗余框,得到最终检测得到的行人目标以及与最终检测得到的行人目标相对应的行人目标检测框。

S4)利用Deep-SORT算法、并根据行人目标检测框确定跟踪目标，进行多目标行人跟踪，输出各个跟踪目标的行动轨迹和ID，根据ID获得客流统计数量。

在步骤S4)中，利用Deep-SORT算法、并根据行人目标检测框确定跟踪目标，进行多目标行人跟踪，输出各个跟踪目标的行动轨迹和ID，根据ID获得客流统计数量，包括以下步骤：

S41)将最终检测得到的行人目标作为跟踪目标，初始化各个跟踪目标的行动轨迹和ID，利用卡尔曼滤波算法计算卡尔曼预测的每个跟踪目标的行动轨迹的平均坐标位置和行人目标检测框之间的距离；距离越小的区域为跟踪目标的预测位置区域,得到各个跟踪目标的预测位置；

S42)使用匈牙利算法对含有行人的图像中的跟踪目标进行匹配，获得含有行人的图像中匹配到的若干目标检测框，利用含有行人的图像中匹配到的目标检测框更新卡尔曼跟踪器，将含有行人的图像中匹配到的若干目标检测框作为含有行人的图像中的若干跟踪框，将若干跟踪框分别加入与各个跟踪目标相对应的行动轨迹中；

S43)对于含有行人的图像中未匹配到的跟踪目标重新初始化卡尔曼跟踪器；更新各个跟踪目标的跟踪状态，输出各个跟踪目标的行动轨迹；统计各个跟踪目标的ID，获得客流统计数量。

在步骤S4)中，还包括若在连续帧含有行人的图像中均未匹配到同一个ID的跟踪目标，则将未匹配到同一个ID的跟踪目标认为是消失目标，删除消失目标的卡尔曼跟踪器以及行动轨迹。

利用Deep-SORT算法、并根据行人目标检测框确定跟踪目标主要包括预测模块和更新模块。预测模块，会对每一个跟踪目标使用卡尔曼滤波器进行预测，预测过程采用卡尔曼滤波器的匀速运动和线性观测模型(即只有四个位置坐标且在初始化时会使用检测器进行恒值初始化)。更新模块包括特征匹配、行动轨迹更新与特征集更新，在更新模块中，使用IOU来进行匈牙利算法的匹配，有效地解决了跟踪部分出现ID切换的问题。

另一方面，本发明提供了一种电子设备，电子设备包括：

处理器；

存储介质，其上存储有计算机程序，计算机程序被处理器运行时执行客流统计方法。

又一方面，本发明提供了一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器运行时执行客流统计方法。

通过采用本发明公开的上述技术方案，得到了如下有益的效果：

本发明结合了先进的目标检测算法和目标跟踪算法，提出了一种实时检测跟踪的客流量统计方法，本发明检测部分采用了YOLOv3模型，跟踪算法采用了Deep-SORT算法，能实时进行检测行人及跟踪,提高了客流量统计的准确性及鲁棒性。

以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (5)

1.一种客流统计方法，其特征在于，包括以下步骤：

S1)采集客流统计场景下的视频，对所述客流统计场景下的视频进行逐帧提取、并对提取出的含有行人的图像进行标注，获得标注后的客流统计数据集；

S2)对所述客流统计场景图像数据集进行数据增强，获得数据增强后的客流统计数据集；构建目标检测模型，所述目标检测模型为YOLOv3模型，利用数据增强后的客流统计数据集训练所述YOLOv3模型，获得训练完成的YOLOv3模型；在步骤S2)中，对所述客流统计场景图像数据集进行数据增强，所述数据增强包括图像裁剪、图像翻转和/或Mosaic数据增强方式；

S3)所述训练完成的YOLOv3模型输出含有行人的图像中的行人目标检测框；

S4)利用Deep-SORT算法、并根据所述行人目标检测框确定跟踪目标，进行多目标行人跟踪，输出各个跟踪目标的行动轨迹和ID，根据所述ID获得客流统计数量；

在步骤S4)中，利用Deep-SORT算法、并根据所述行人目标检测框确定跟踪目标，进行多目标行人跟踪，输出各个跟踪目标的行动轨迹和ID，根据所述ID获得客流统计数量，包括以下步骤：

S41)将最终检测得到的行人目标作为跟踪目标，初始化各个跟踪目标的行动轨迹和ID，利用卡尔曼滤波算法计算卡尔曼预测的每个跟踪目标的行动轨迹的平均坐标位置和行人目标检测框之间的距离；距离越小的区域为跟踪目标的预测位置区域,得到各个跟踪目标的预测位置；

S42)使用匈牙利算法对含有行人的图像中的跟踪目标进行匹配，获得含有行人的图像中匹配到的若干目标检测框，利用所述含有行人的图像中匹配到的目标检测框更新卡尔曼跟踪器，将含有行人的图像中匹配到的若干目标检测框作为含有行人的图像中的若干跟踪框，将所述若干跟踪框分别加入与各个跟踪目标相对应的行动轨迹中；

S43)对于含有行人的图像中未匹配到的跟踪目标重新初始化卡尔曼跟踪器；更新各个跟踪目标的跟踪状态，输出各个跟踪目标的行动轨迹；统计各个跟踪目标的ID，获得客流统计数量。

2.根据权利要求1所述的客流统计方法，其特征在于，在步骤S3)中，所述训练完成的YOLOv3模型输出含有行人的图像的行人目标检测框,包括利用训练完成的YOLOv3模型检测出含有行人的图像中的所有行人目标检测框，提取行人目标检测框在含有行人的图像中所对应区域的特征，所述行人目标检测框包括行人目标的置信度和边界框信息；设定置信度阈值，当置信度大于所述置信度阈值时,认为是行人目标,保留确定为行人目标的行人目标检测框；利用非极大值抑制算法去除确定为行人目标的行人目标检测框中的冗余框,得到最终检测得到的行人目标以及与所述最终检测得到的行人目标相对应的行人目标检测框。

3.根据权利要求1所述的客流统计方法，其特征在于，在步骤S4)中，还包括若在连续帧含有行人的图像中均未匹配到同一个ID的跟踪目标，则将所述未匹配到同一个ID的跟踪目标认为是消失目标，删除所述消失目标的卡尔曼跟踪器以及行动轨迹。

4.一种电子设备，其特征在于，所述电子设备包括：

处理器；

存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如权利要求1至3任一项所述的客流统计方法。

5.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至3任一项所述的客流统计方法。