CN113723248A - 一种基于视觉的智能网联公交客流检测方法及系统 - Google Patents

Abstract

本发明涉及一种基于视觉的智能网联公交客流检测方法及系统，其中客流检测方法包括：步骤1：获取数据集，并对数据集进行标注及预处理；步骤2：构建基于视觉的客流检测模型；步骤3：对客流检测模型进行训练；步骤4：获取站台和车内的实时图像，输入客流检测模型，获取客流初步检测结果；步骤5：对步骤4获取的检测结果进行去重，获得最终检测结果。与现有技术相比，本发明具有精准度高、处理速度快等优点。

Description

一种基于视觉的智能网联公交客流检测方法及系统

技术领域

本发明涉及公交客流检测技术领域，尤其是涉及一种基于视觉的智能网联公交客流检测方法及系统。

背景技术

常见的客流量统计方法主要包括：①人工统计，②红外线统计，③感应装置统计，④视频统计⑤闸机门，⑥压力板等方式，其中视频统计基于其优越的性能、精确的统计结果、简单的安装方式以及廉价的成本等，正在逐步替代传统的统计手段，成为当下客流量统计的主要方式。

随着深度学习和计算机视觉技术的不断发展，目标检测领域受到了越来越多的关注。在公共交通领域，对象识别跟踪有着广泛的应用前景，通过对行人的识别，可以对车厢内、站台、站内等各种场景的客流进行实时统计，对一个区域内某个时间段内的整体运行状况有一个全面的了解，因此对整个公交系统的指挥调度有重要的指导意义。

由于目前大部分的开源行人检测或跟踪数据集大多都是商场、街道或户外等较大场景采集所得，不能完全适用于站台、车内等乘客之间存在密集分布及身体部位高度遮挡的场景下。在对站台及车辆内部客流检测的过程中，由于人群的身体相互遮挡导致的直接检测行人的方式受限，检测精度也收到极大的干扰，检测结果往往并不可信。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种精准度高、处理速度快的基于视觉的智能网联公交客流检测方法及系统。

本发明的目的可以通过以下技术方案来实现：

一种基于视觉的智能网联公交客流检测方法，所述的客流检测方法包括：

步骤1：获取数据集，并对数据集进行标注及预处理；

步骤2：构建基于视觉的客流检测模型；

步骤3：对客流检测模型进行训练；

步骤4：获取站台和车内的实时图像，输入客流检测模型，获取客流初步检测结果；

步骤5：对步骤4获取的检测结果进行去重，获得最终检测结果。

优选地，所述的数据集包括站台场景图像和车辆内部场景图像；所述的站台场景图像标注时对乘客头部进行标注；所述的车辆内部场景图像标注时对乘客头部和身体部分分别进行标注。

优选地，所述的步骤1中对数据集的标注方法具体为：

步骤1-1：对于新采集的数据集，进行部分标注；

步骤1-2：对标注后的图像进行数据增强，得到初始化数据集；

步骤1-3：使用初始化数据集训练客流检测模型，获得预训练模型；

步骤1-4：使用预训练模型对数据集剩余数据及其数据增强后的图像进行预测推理，将推理结果保存，并将标签文件与步骤1-1中进行部分标记的图像混合；

步骤1-5：对混合后的标签与图像进行人工标注；

步骤1-6：周而复始，使用先前训练的模型来对新数据集进行推理标注。

优选地，所述的客流检测模型包括：

主干特征提取网络，采用CSPDarknet53网络，网络的输入为图像，输出为三个特征层；

特征金字塔网络，包括SPPNet模块和PANet模块，其中SPPNet模块利用不同池化和最大池化对输入进来的特征层进行池化后再进行堆叠，PANet进行上采样、下采样和特征融合；

预测网络，使用Head网络对特征层进行预测，获得预测结果。

更加优选地，所述的步骤3具体为：

使用Pytorch对客流检测模型进行训练，将站台场景和车内场景图像分开训练，对于站台场景只进行乘客头部数据集的识别训练，对于车内场景同时进行头部和身体部分的识别训练。

更加优选地，所述的客流检测模型的激活函数为Mish函数。

优选地，所属的步骤5包括：

首先，针对站台场景及车内场景进行摄像区域去重，具体方法为：

检测所有摄像区域中的重复区域，然后判断目标检测结果的检测框是否位于重复区域内，若位于重复区域内，则不进行计数，若没有位于重复区域内，则进行计数；

其次，针对车辆内部场景，对头部检测框A和身体检测框B进行IOU判断，具体方法为：

当IOU大于预设阈值T时，则证明该头部检测框属于该身体检测框，两个检测框进行一次计数；反之，则判定其为两名乘客，进行两次计数。

优选地，所述的步骤5还包括：

利用图像拼接计数对摄像机拍摄的图片进行拼接，并对客流数量进行可视化展示，根据客流数量进行拥挤度判断，并以图标的不同颜色进行展示预警。

一种用于上述任一项所述客流检测方法的基于视觉的智能网联公交客流检测系统，所述的客流检测系统包括：

图像采集设备，分别安装在网联公交站台和车内，用于采集站台场景和车内场景的实时图像，并输入客流检测模块；

客流检测模块，内嵌客流检测模型和去重模块，用于分别对站台场景和车内场景进行客流检测；

可视化模块，用于对客流检测结果进行可视化处理。

优选地，所述的客流检测模型包括：

主干特征提取网络，采用CSPDarknet53网络，网络的输入为图像，输出为三个特征层；

特征金字塔网络，包括SPPNet模块和PANet模块，其中SPPNet模块利用不同池化和最大池化对输入进来的特征层进行池化后再进行堆叠，PANet进行上采样、下采样和特征融合；

预测网络，使用Head网络对特征层进行预测，获得预测结果；

所述的去重模块具体为：

首先，针对站台场景及车内场景进行摄像区域去重，具体方法为：

检测所有摄像区域中的重复区域，然后判断目标检测结果的检测框是否位于重复区域内，若位于重复区域内，则不进行计数，若没有位于重复区域内，则进行计数；

其次，针对车辆内部场景，对头部检测框A和身体检测框B进行IOU判断，具体方法为：

当IOU大于预设阈值T时，则证明该头部检测框属于该身体检测框，两个检测框进行一次计数；反之，则判定其为两名乘客，进行两次计数。

与现有技术相比，本发明具有以下有益效果：

一、精准度高：本发明中的客流检测方法及系统针对站台场景，直接使用头部检测进行计数，而针对车内场景则采用头部计数和身体部分检测进行计数，极大的提高了检测的准确度，增强了检测结果的可信度。

二、数据处理速度快：本发明中的客流检测方法及系统采用半自动标注方法对数据进行标注，缩减了人工数据处理量，加快了检测方法及系统的数据处理速度。

附图说明

图1为本发明中基于视觉的智能网联公交客流检测方法的流程示意图；

图2为本发明实施例中站台场景图；

图3为本发明实施例中车内场景图；

图4为本发明实施例中数据集标注方法的流程示意图；

图5为本发明实施例中车内客流量检测方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

一种基于视觉的智能网联公交客流检测方法，其流程如图1所示，包括：

步骤1：获取数据集，并对数据集进行标注及预处理；

步骤2：构建基于视觉的客流检测模型；

步骤3：对客流检测模型进行训练；

步骤4：获取站台和车内的实时图像，输入客流检测模型，获取客流初步检测结果；

步骤5：对步骤4获取的检测结果进行去重，获得最终检测结果。

下面分别对各个步骤进行详细描述：

1、数据集采集、标注与预处理

在公交场景中，由于高峰时期站台及车辆内部人群密度较大，人群之间身体部位遮挡较为严重，因此如果对这个时间段内客流量检测仅使用目标检测结果为“行人”方法，则不能有效准确的统计实际人数。

经过对大量车内及站台视频及图片的观察，为了更好的统计客流量的真实数量，减少遮挡所带来的影响，因此采用头部计数及身体部位计数相融合的方式进行数据集的制作与模型的训练。具体数据集的采集如下所示：

(1)如图2所示，站台场景中，由于人群密度过大身体部位大部分完全遮挡，且摄像头角度为自上而下的斜视角度，因此仅对乘客的头部进行图像的标注；

(2)如图3所示，车辆内部场景中，由于车厢内部存在多个摄像头，且位置、角度之间存在较大差异，因此并不能拍摄到整体的场景，导致有些区域可以拍摄到头部，而有些部位则只能拍摄到身体部位。鉴于上述情况，本实施例在车厢内部收集数据集时，将车厢内乘客的头部及身体部分统一进行标注，并在后续进行去重处理。

标注数据集对深度学习而言是很重要的一步，由上述数据集的采集及标注过程可以看出，但是标注数据是件很繁琐的工作，首先对标注者本身对与标注框位置的选取有一定要求，其次过于耗费人力物力及时间。鉴于人工标注存在的诸多问题，本算法设计了一种半自动标注的算法，可以大幅减轻工作量，提升标注工作者的工作效率及标注准确性；本实施例使用的半自动标注数据集的方法流程如图4所示，具体如下：

步骤1-1：对于新采集的数据集，先进行一部分标注，比如标注200张；

步骤1-2：然后对标注的200张图片进行数据增强，得到初始化数据集；

步骤1-3：使用初始化数据集进行模型的训练，得到一个预训练模型；

步骤1-4：使用预训练模型对剩余采集数据集及其数据增强后图片进行预测推理，将推理结果的格式保存为(bbox-cls，bbox-x，bbox-y，bbox-w，bbox-h)，并将这些标签文件与第一次训练时标记的200张图片混合；

步骤1-5：对混合后的标签与图片使用标注工具进行人工的删减与增加标注；

步骤1-6：周而复始，使用先前训练的模型来对新数据集进行推理标注。

2、构建基于视觉的客流检测模型；

本实施例通过数据增强操作来提高模型精度且不会明显增加模型复杂度和模型测试速度，所使用的主干神经网络主要包括：

主干特征提取网络，采用CSPDarknet53网络，网络的输入为图像，输出为三个特征层；

特征金字塔网络，包括SPPNet模块和PANet模块，其中SPPNet模块利用不同池化和最大池化对输入进来的特征层进行池化后再进行堆叠，PANet进行上采样、下采样和特征融合；

预测网络，使用Head网络对特征层进行预测，获得预测结果。

例如，当有一张图片(416*416*3)要输入到神经网络当中时，首先会传入到CSPDarknet53主干特征提取网络中，在CSPDarknet53中会利用卷积不断地对该图片进行特征提取，特征层的宽和高不断地得到压缩，而通道数不断地得到扩张，最终会获得三个有效的特征层，分别为52*52*256、26*26*512、13*13*1024的有效特征层，之后将会利用这三个有效的特征层进行操作；对于CSPDarknet53的网络结构，主要是由Resblock_body这个结构构成的，Resblock_body本质上是一系列残差网络构建成的大卷积块，但此处Resblock_body使用了CSPnet结构，将原来的残差块的堆叠进行了拆分，拆成了左右两部分：

(1)主干部分继续进行原来的残差块的堆叠；

(2)另一部分则像一个残差边一样，经过少量的处理直接连接到最后；

在特征金字塔部分，则是使用了SPP模块和PANet，其中，SPP模块是要利用不同池化和最大池化对输入进来的特征层进行池化后再进行堆叠；而PANet就是融合了上采样、下采样和特征融合的一个模块。

在完成了SPPNet与PANet之后，就提取到了非常有效的不同尺寸(52*52、26*26、13*13)特征了，接下来就可以利用Head去进行结果的预测。经过卷积层输出预测Head，这里最终输出的形式为：batchsize*(5+类别总数)*特征图宽*特征图高；其中，5为预测的xywh和confidence。

客流检测模型的整体处理流程为：

Step1：使用CSPDarknet53主干特征提取网络对输入图片(416*416*3)利用卷积进行特征提取，特征层的宽和高不断地得到压缩，而通道数不断扩张，得到3个有效的特征层(52*52*256、26*26*512、13*13*1024)；

Step2：对于CSPDarknet53获得的不同shape有效特征层，首先对13*13*1024的特征层进行三次卷积的操作(conv*3)，然后将卷积结果送入一个SPP的结构，进行池化、堆叠、卷积，得到特征层①；

Step3：对特征层①进行卷积和上采样，将①的宽和高变为原来的两倍(26*26)，然后与CSPDarknet53中得到的倒数第二层特征层(26*26*512)进行堆叠，实现特征融合后并进行卷积操作，得到特征层②；

Step4：对特征层②继续进行卷积和上采样，并与主干特征提取网络CSPDarknet53结构中得到的倒数第三层特征层(52*52*256)进行堆叠及卷积操作，得到特征层③；

Step5：为了进一步加深特征的提取，对特征层③进行下采样，得到26*26的特征层④，并将④与②处得到的特征层进行堆叠与卷积操作，得到特征层⑤；

Step6：对得到的特征层⑤进行下采样，并与特征层①进行堆叠与卷积操作，得到特征层⑥；

Step7：将特征层③、⑤、⑥分别输入Head结构中，得到最终的预测结果。

3、对客流检测模型进行训练

在深度学习框架Pytorch中训练自己的神经网络模型，需要进行如下操作：

Step1：首先要准备好自己的数据集，这里的数据集采用VOC的格式，并进行原始数据集的数据增强操作；

Step2：根据自身电脑的实际显存来进行图片输入尺寸shape的设定，显存比较小的可以使用416*416；现存比较大的可以使用608*608；

Step3：进行所使用的小改进tricks的设置，如是否使用余弦退火衰减、是否输入训练图片使用mosaic数据增强、是否使用Cuda进行训练、是否使用smooth label(标签平滑)等；

Step4：更改数据集地址、标签地址、预训练模型地址，即可开始训练。

本实施例中模型所使用的激活函数为Mish激活函数，其公式如下所示：

Mish＝x×tanh(ln(1+e^x))

由于站台场景与车辆内部场景存在较大差异，因此在训练过程中将两种场景的数据集分开训练：对于站台场景，只进行乘客头部数据集的训练，将视频中截取并标注头部数据集输入模型中进行训练；对于车内场景，由于车辆内部分摄像机机位无法拍摄落座乘客的头部，部分机位无法拍摄乘客的身体部分，因此在训练过程中同时进行头部及身体部分图像进行训练。

4、去重

对于客流检测结果进行二次处理，主要包括检测区域的拆分、检测结果的汇总、检测效果的展示以及检测结果的发送。

首先，由于站台及车辆内部多个摄像机的照射区域不同，虽然在整体上能够覆盖全部面积，但是其间存在重复区域，如不进行拆分，则会导致检测结果的误差较大。因此需要先在不同摄像机所拍摄的图像中将重复区域屏蔽，方法为进行像素点的判断，判断目标检测结果的检测框是否位于所划定的图像区域内，如位于拆分后的区域内，则进行计数；反之则不计数。使得最终汇总的多个摄像机的检测结果中不出现重复的计数。

其次，对于车辆内部场景，由于其同时对头部及身体部分进行检测，因此会出现部分检测结果中一位乘客即被检测出其头部，又被检测出整体(整体检测框中同时包括其人头)，此时若不进行筛选，该乘客将会被计数为两名乘客，造成计数误差。此时，需要对其头部检测框A和身体检测框B进行IOU判断，具体方法为：

当IOU大于预设阈值T时，则证明该头部检测框属于该身体检测框，两个检测框进行一次计数；反之，则判定其为两名乘客，进行两次计数，起流程如图5所示。

5、可视化处理

对于检测结果的展示，为了可以看到整个站台或车辆内部的客流情况，利用图像拼接技术来将多个摄像机拍摄的图片按照顺序进行拼接，主要包括以下几个步骤：对每幅图片进行特征点提取、对特征点进行匹配、进行图像配准、把图像拷贝到另一幅图像的特定位置、对重叠边界进行特殊处理。对于拼接完成的图片，可以在其特定位置放置拥挤度图标及人数标签，实时展示人数数量，并根据人数来进行当前拥挤度的判断，并以图标的不同颜色进行展示预警，方便运营中心进行车辆的调度与管理。

本实施例还涉及一种基于视觉的智能网联公交客流检测系统，包括：

图像采集设备，分别安装在网联公交站台和车内，用于采集站台场景和车内场景的实时图像，并输入客流检测模块；

客流检测模块，内嵌客流检测模型和去重模块，用于分别对站台场景和车内场景进行客流检测；

可视化模块，用于对客流检测结果进行可视化处理。

客流检测模型包括：

主干特征提取网络，采用CSPDarknet53网络，网络的输入为图像，输出为三个特征层；

特征金字塔网络，包括SPPNet模块和PANet模块，其中SPPNet模块利用不同池化和最大池化对输入进来的特征层进行池化后再进行堆叠，PANet进行上采样、下采样和特征融合；

预测网络，使用Head网络对特征层进行预测，获得预测结果；

去重模块具体为：

首先，针对站台场景及车内场景进行摄像区域去重，具体方法为：

检测所有摄像区域中的重复区域，然后判断目标检测结果的检测框是否位于重复区域内，若位于重复区域内，则不进行计数，若没有位于重复区域内，则进行计数；

其次，针对车辆内部场景，对头部检测框A和身体检测框B进行IOU判断，具体方法为：

当IOU大于预设阈值T时，则证明该头部检测框属于该身体检测框，两个检测框进行一次计数；反之，则判定其为两名乘客，进行两次计数。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于视觉的智能网联公交客流检测方法，其特征在于，所述的客流检测方法包括：

步骤1：获取数据集，并对数据集进行标注及预处理；

步骤2：构建基于视觉的客流检测模型；

步骤3：对客流检测模型进行训练；

步骤4：获取站台和车内的实时图像，输入客流检测模型，获取客流初步检测结果；

步骤5：对步骤4获取的检测结果进行去重，获得最终检测结果。

2.根据权利要求1所述的一种基于视觉的智能网联公交客流检测方法，其特征在于，所述的数据集包括站台场景图像和车辆内部场景图像；所述的站台场景图像标注时对乘客头部进行标注；所述的车辆内部场景图像标注时对乘客头部和身体部分分别进行标注。

3.根据权利要求1所述的一种基于视觉的智能网联公交客流检测方法，其特征在于，所述的步骤1中对数据集的标注方法具体为：

步骤1-1：对于新采集的数据集，进行部分标注；

步骤1-2：对标注后的图像进行数据增强，得到初始化数据集；

步骤1-3：使用初始化数据集训练客流检测模型，获得预训练模型；

步骤1-4：使用预训练模型对数据集剩余数据及其数据增强后的图像进行预测推理，将推理结果保存，并将标签文件与步骤1-1中进行部分标记的图像混合；

步骤1-5：对混合后的标签与图像进行人工标注；

步骤1-6：周而复始，使用先前训练的模型来对新数据集进行推理标注。

4.根据权利要求1所述的一种基于视觉的智能网联公交客流检测方法，其特征在于，所述的客流检测模型包括：

主干特征提取网络，采用CSPDarknet53网络，网络的输入为图像，输出为三个特征层；

特征金字塔网络，包括SPPNet模块和PANet模块，其中SPPNet模块利用不同池化和最大池化对输入进来的特征层进行池化后再进行堆叠，PANet进行上采样、下采样和特征融合；

预测网络，使用Head网络对特征层进行预测，获得预测结果。

5.根据权利要求4所述的一种基于视觉的智能网联公交客流检测方法，其特征在于，所述的步骤3具体为：

使用Pytorch对客流检测模型进行训练，将站台场景和车内场景图像分开训练，对于站台场景只进行乘客头部数据集的识别训练，对于车内场景同时进行头部和身体部分的识别训练。

6.根据权利要求4所述的一种基于视觉的智能网联公交客流检测方法，其特征在于，所述的客流检测模型的激活函数为Mish函数。

7.根据权利要求1所述的一种基于视觉的智能网联公交客流检测方法，其特征在于，所属的步骤5包括：

首先，针对站台场景及车内场景进行摄像区域去重，具体方法为：

检测所有摄像区域中的重复区域，然后判断目标检测结果的检测框是否位于重复区域内，若位于重复区域内，则不进行计数，若没有位于重复区域内，则进行计数；

其次，针对车辆内部场景，对头部检测框A和身体检测框B进行IOU判断，具体方法为：

当IOU大于预设阈值T时，则证明该头部检测框属于该身体检测框，两个检测框进行一次计数；反之，则判定其为两名乘客，进行两次计数。

8.根据权利要求1所述的一种基于视觉的智能网联公交客流检测方法，其特征在于，所述的步骤5还包括：

利用图像拼接计数对摄像机拍摄的图片进行拼接，并对客流数量进行可视化展示，根据客流数量进行拥挤度判断，并以图标的不同颜色进行展示预警。

9.一种用于如权利要求1～8中任一项所述客流检测方法的基于视觉的智能网联公交客流检测系统，其特征在于，所述的客流检测系统包括：

图像采集设备，分别安装在网联公交站台和车内，用于采集站台场景和车内场景的实时图像，并输入客流检测模块；

客流检测模块，内嵌客流检测模型和去重模块，用于分别对站台场景和车内场景进行客流检测；

可视化模块，用于对客流检测结果进行可视化处理。

10.根据权利要求9所述的一种基于视觉的智能网联公交客流检测系统，其特征在于，所述的客流检测模型包括：

主干特征提取网络，采用CSPDarknet53网络，网络的输入为图像，输出为三个特征层；

特征金字塔网络，包括SPPNet模块和PANet模块，其中SPPNet模块利用不同池化和最大池化对输入进来的特征层进行池化后再进行堆叠，PANet进行上采样、下采样和特征融合；

预测网络，使用Head网络对特征层进行预测，获得预测结果；

所述的去重模块具体为：

首先，针对站台场景及车内场景进行摄像区域去重，具体方法为：

检测所有摄像区域中的重复区域，然后判断目标检测结果的检测框是否位于重复区域内，若位于重复区域内，则不进行计数，若没有位于重复区域内，则进行计数；

其次，针对车辆内部场景，对头部检测框A和身体检测框B进行IOU判断，具体方法为：

当IOU大于预设阈值T时，则证明该头部检测框属于该身体检测框，两个检测框进行一次计数；反之，则判定其为两名乘客，进行两次计数。

Images