CN109285376A - 一种基于深度学习的公交车客流统计分析系统 - Google Patents

Abstract

本发明涉及公交智能管理领域，公开了一种基于深度学习的公交车客流统计分析系统，其特征在于，包括车载设备模块与远程服务器模块。其中，客流分析主要由乘客检测模块和目标跟踪模块组成。乘客检测模块设计有深度神经网络模型，用于检测上下车的乘客；目标跟踪模块根据公交车上下车乘客的轨迹特点，设计专用的行人跟踪算法，以乘客检测模块的结果为基础，统计上下车的人数。远程服务器模块完成实时接收客流数据以及神经网络的训练。本发明采用最新的深度神经网络方法，通过采集大量各种光照条件下的目标样本对网络进行训练，克服原有图像识别方法不能很好适应不断变化车辆运行环境的缺点，提高了识别和跟踪的准确度。

Description

一种基于深度学习的公交车客流统计分析系统

技术领域

本发明涉及公交智能管理领域。

背景技术

交通是人类社会生产、生活以及经济发展的必要环节，随着社会的发展和科技的进步，人们在对交通产生强烈依赖的同时，也对交通提出了更多的需求。近年来，越来越多的人倾向于选择公交车作为日常出行的代步工具。因此随之暴露出我国公共交通体系存在着的诸如公交线路设置问题，高峰时段交通拥堵问题等等。现代化智能交通系统ITS(Intelligent Transportation System)的及时提出不仅显示了先进技术的进步，更是满足了人们迫切的需要。

ITS的目的就是运用各种高新技术解决存在的交通问题，最直观简单的结果就是实时获取公交车辆的运行信息，其中最重要的组成部分就是客流信息。在这个过程中，如果能够快速，准确的获取每一个公交站点上车、下车的人流量，将这些上下车的人流量信息和相应的线路以及具体的车量信息如GPS数据等实时地传送给公交公司进行相应处理和分析，并将统计结果使用多种图标的方式进行显示，这将对公交线路和城市公共交通的规划都具有非常重要的意义。除此之外，使用这些数据还可以监督公共交通的运营情况，便于加强管理。

目前已经存在的客流统计方法在技术上可以分为以下三类：

1)基于压力检测的方法

基于压力检测的方法在公交车前后门台阶处设置压力传感器，通过检测重量来识别人的存在及其数量。该方法的优点是只需要很少的人工干预即可获得较高的可靠性，缺点在于装置的部件易损毁，不方便维护，对多人上下车无法进行有效识别。

2)基于红外传感器的方法

基于红外传感器的方法是将传感器安装在公交车前后门附近一定高度，由发射端发射一定波长的红外线，当前后门区别有乘客上下车时，接收端会接收反射乘客身上的红外线，以此来识别和统计上下车人数，该方法安装简易，成本低，但仍无法对多人上下车进行有效分析。

3)基于图像处理的方法

基于图像处理方法主要是采集公交车前后门乘客上下车的视频流，对视频流进行分析从而达到统计上下车人数的目的。该方法主要分为行人目标进行识别和跟踪两部分。现有的图像处理方法是基于双目视觉，该方法将视频流进行背景差分，并融合深度信息以提取行人目标，最后对行人的运动轨迹进行数学统计建模和跟踪并分析判断行人的轨迹，从而计算出行人数量。双目视觉系统的主要缺点是结构复杂、成本较高、计算量大，对计算单元的性能要求非常高，这使得基于双目系统的产品难以小型化。目前基于FPGA+ARM等方案的双目视觉的解决方案计算出的深度图存在许多躁点和空洞，造成行人的漏检和误检，导致精度难以达到实用化需求。

发明内容

本发明属于基于图像处理的方法，不同于基于结构复杂的双目视觉系统，本发明基于成本较低的单目视觉，通过设计精巧的基于深度神经网络的乘客检测算法，并基于海量的乘客上下车标注数据上训练，获得非常精确鲁棒的乘客目标检测算法，同时根据目标检测得到的结果和公交车上下车乘客的轨迹特点，设计了对应的行人跟踪算法，使得本发明克服了现有客流计在公交车运行时所面对的环境光照条件、天气条件以及客流量变化频繁恶劣环境下计数精度急剧下降的不足，在乘客上下车统计功能取得了98％以上的精度，远高于目前已有的方法。

技术方案

一种基于深度学习的公交车客流统计分析系统，其特征在于，包括车载设备模块与远程服务器模块，

所述车载设备模块包括摄像头、开关门信号检测器、GPS定位模块和通信模块、客流分析模块，

所述客流分析模块包括乘客检测模块、目标跟踪模块，

公交车进入站点之后，司机发出开门信号开启公交车的前后门让乘客上下车，由开关门信号检测器对车门状态进行检测，获得车门状态，当某个车门打开或关闭时相应的向客流分析系统发出开门与关门信号；所述车载设备模块收到开门信号后，打开安装在车门处的摄像头采集经过车门的乘客人流视频，直到车门关闭。

所述乘客检测模块设计有深度神经网络模型，用于检测上下车的乘客；目标跟踪模块根据公交车上下车乘客的轨迹特点，设计专用的行人跟踪算法，以乘客检测模块的结果为基础，统计上下车的人数。

所述车载设备模块将采集的视频段经乘客检测模块进行目标识别，得到乘客定位信息，对乘客定位信息再进行跟踪计数，得到站点上下客流的计数结果；

客流分析系统通过GPS定位模块实时从GPS卫星获取车辆位置信息并缓存，每隔一段时间向通信模块发送车辆当前GPS坐标。在接收到开门信号后，客流分析系统保存当前时间与车辆位置信息；

当客流分析系统接收到关门信号后，延迟一定的时间停止缓存图像，待乘客检测与跟踪模块处理完成后，将人数数据同时间和GPS坐标数据一起作为统计数据发送至通信模块，用于传回服务器；

所述服务器主要用于接收并处理从车载设备模块传回的客流数据(包括时间，上下车人数，GPS位置等)；同时接收车载设备传回的视频与图像数据，用于对所述乘客检测模块所使用的深度神经网络模型进行训练，从而不断进化、智能化客流分析模块。

进一步公开，本发明的深度神经网络模型，以YOLO Full模型为基础，包括14层卷积层及相应的池化层，最终将卷积层删减到14层，结构表征为：

进一步公开，所述目标跟踪模块的目标跟踪及计数算法，包括如下步骤：

1)由乘客检测模块获得被检测到的乘客的定位信息；

2)循环判断检测到的定位信息中是否有新出现的乘客，若有则创建该乘客的位置队列，更新乘客位置队列集合，进入步骤3)；若无则加入已有乘客位置的队列，再进入步骤3)；

3)更新乘客位置队列集合，对有更新新位置的队列计时清零，否则增加计时；

4)判断乘客位置队列集合中是否有乘客队列长时间没有更新过，若是则根据轨迹方向来判断上下车，进行计数并更新乘客列表集合，并删除已上下车乘客队列，否则继续保留该队列。

进一步公开，所述通信模块在接收到待发送数据后(包括GPS坐标数据和统计数据)，发送至远程服务器；远程服务器接收到统计数据或GPS坐标数据后，按照不同线路、时间先后等进行分组并存至数据库。

附图说明

图1本发明工作过程示意图

图2本发明神经网络的模型结构

图3为实施例1训练用部分标注出的数据

图4本发明目标跟踪及计数算法流程示意图

图5本发明通信系统框架示意图

具体实施方式

以下结合附图和实施例对本发明技术方案做进一步说明。

本发明采用基于深度学习的客流检测与统计方式，设计并实现一种专适用于公交车辆的嵌入式车载自动客流统计分析设备与系统，实时统计并发送精确的站点上下车乘客人数及车辆GPS位置信息，与智能公交调度系统对接，可以为公交调度管理提供科学的依据。

实施例1

硬件平台介绍：

本发明硬件平台包括车载设备模块与远程服务器模块。

其中，自主设计的车载设备模块，基于NVIDIA开发的嵌入式平台Jetson TX1模块，该模块包含多核ARM处理器以及GPU图像处理单元的嵌入式SOC，是目前计算性能最好的嵌入式开发平台。以jetson TX1模块为计算核心，本实施例自主设计电路并扩展集成了高性能摄像头、开关门控制信号、GPS定位模块和4G拨号上网模块，为客流统计分析系统提供硬件平台。

其中，远程服务器模块包括基于X86架构的服务器和运行linux系统的高性能计算平台。服务器主要用于接收并处理从车载设备传回的客流数据(包括时间，上下车人数，GPS位置等)，同时接收车载设备传回的视频与图像数据；高性能计算平台主要用于对客流分析中乘客检测模块所使用的深度神经网络模型进行训练。

系统功能：

主要功能流程如图1所示。

整个系统的工作流程过程：

公交车进入站点之后，司机发出开门信号开启公交车的前后门让乘客上下车，本系统收到开关门信号后，打开安装在车门处的摄像头采集经过车门的乘客人流视频，直到车门关闭。将采集的视频段经乘客检测模块进行目标识别，得到乘客定位信息，对乘客定位信息再进行跟踪计数，得到站点上下客流的计数结果，最后将统计的结果与当前车辆的位置信息通过本发明设计的通讯系统发送至远程服务器。

软件系统：

本发明的软件系统主要包括客流分析系统和通讯系统两个子系统。客流分析系统实现核心的统计计数功能；通信系统负责设备与服务器的交互，将客流分析系统的结果发送至服务器。

1.客流分析模块

客流分析系统采用基于单目视觉的图像识别方法，包括乘客检测模块与目标跟踪模块。其中乘客检测模块可快速精确地检测上下车的乘客，目标跟踪模块根据公交车上下车乘客的轨迹特点，设计专用的行人跟踪算法，以乘客检测模块的结果为基础，可以鲁棒高效地统计上下车的人数。

1)乘客检测模块

乘客检测模块所使用的网络模型借鉴了YOLO模型，但是YOLO模型中的两种设计都无法满足本发明所要解决的需求。其中

YOLO Full模型包含了22层卷积层，由于这些卷积层的运算需要占用的大量的计算资源而在本发明所使用硬件平台无法达到实时的检测需求。

YOLO Tiny模型虽然将卷积层的数量降低到了9层，检测速度达到了实时性要求，但是实验结果表明，对乘客的检测精度因此大幅下降，无法满足需求。

对此，本发明在YOLO模型的基础上设计了一种在检测速度和精度上达到平衡的乘客检测模型。同时在基于该深度神经网络的乘客算法设计上综合考虑了嵌入式硬件设备的计算能力以及客流分析系统对检测速率、精度的要求，神经网络的模型结构如图2所示.

本实施例在不同时间点采集客流视频，并从中挑选了三十三万张有代表性的乘客上下车图片进行人工标注，并将这些图片用于乘客检测网络模型的训练。部分标注出的数据如图3所示.

目前深度学习领域并没有相应的模型方法可以对深度卷积神经网络的拟合效果进行定量分析，所以我们在设计适合于选定的硬件平台条件下的客流检测模型时，采用的指导思想是在乘客的检测速度上找到合理的平衡点。我们采用的方法如下：

首先，考虑到我们所采集的乘客信息在图片中所占的空间，我们将采集的图像分辨率确定为320x 240像素，并且让神经网络模型的图片输入大小与采集图片的大小一致，该策略的目的是避免改变图片大小时所需的计算。

其次，我们认为我们采集的乘客上下车图像数据中，乘客信息在图像中的占比较大，并且本系统只需要检测出乘客，检测背景变化较小，而YOLO在模型设计时需要考虑到检测类型及大小的多样性，所以包含了22层卷积层用于提取特征信息。在本系统应用背景下，我们认为可以在不牺牲检测精度的条件下，进行精简网络模型，从而提高检测速度。本发明创造性地在已有YOLO Full模型的基础上，我们通过不断实验减少网络的卷积层及相应的池化层，最终将卷积层删减到14层，我们的删减策略是先确定适合本实施例项目需求的输出特征大小。我们以池化层为节点，将池化层及到上一个池化层之前的所有卷积层称为一个模块，通过实验从模型后端开始删除模块以确定该模块对检测精度及速度的影响，在确定适合并项目的模块数之后，我们再通过实验精确调整最后模块的卷积个数，最终确定出在充分发挥硬件平台性能的条件下，使客流统计结果尽可能精确的深度神经网络模型的设计方案，该模型的详细模型结构如下表所示，该方案在TX1平台上保证在20帧每秒的检测速率下其目标识别的精确度可达98％以上。

2)目标跟踪模块：

基于上述乘客检测模块的检测结果质量，并综合分析乘客上下车的轨迹，本发明提出了高效的目标跟踪及计数算法。该算法的流程如图4所示.

1)由乘客检测模块获得被检测到的乘客的定位信息；

2)循环判断检测到的定位信息中是否有新出现的乘客，若有则创建该乘客的位置队列，更新乘客位置队列集合，进入步骤3)；若无则加入已有乘客位置的队列，再进入步骤3)；

3)更新乘客位置队列集合，对有更新新位置的队列计时清零，否则增加计时；

4)判断乘客位置队列集合中是否有乘客队列长时间没有更新过，若是则根据轨迹方向来判断上下车，进行计数并更新乘客列表集合，并删除已上下车乘客队列，否则继续保留该队列。

本发明提出的客流分析系统在实际交通状况下全天候采集的乘客上下车视频测试集中测试的乘客上下车计数精度达到98.4％，远高于目前已有的交通客流统计方法。

2.通信系统

本发明中涉及的通讯系统设计了一套完整且稳定的通信系统，实时地将精确的人数信息传递到后台服务器供公交系统或专业研究人员使用。

本发明通信系统主要由LTE通信模块，路由模块以及GPS定位模块组成，将车载设备与远程服务器接入专用VPN网络，通过自定义的应用层传输协议，实现了实时将包含统计结果与位置信息的客流数据发送至远程服务器，同时可以定时将车载设备保存的视频与图像数据发送至服务器，对服务器接收到的数据进行标定后可在高性能服务器上进行训练，不断再优化网络模型，从而使得本发明系统可持续保持进化。

系统框架如图5所示。

工作流程：

1)由开关门信号检测器对车门状态进行检测，获得车门状态，当某个车门打开或关闭时相应的向客流分析系统发出开门与关门信号；

2)客流分析系统实时从GPS卫星获取车辆位置信息并缓存，每隔一段时间向通信系统发送车辆当前GPS坐标。在接收到开门信号后，客流分析系统保存当前时间与车辆位置信息；从所对应车门的摄像头分别获取并缓存图像(摄像头个数可扩展，硬件平台设计最多支持8路摄像头)，与此同时，将图像送至乘客检测与跟踪模块进行处理；

3)当客流分析系统接收到关门信号后，延迟一定的时间停止缓存图像，待乘客检测与跟踪模块处理完成后(通常不超过2分钟)，将人数数据同时间和GPS数据一起作为统计数据发送至通信系统；

4)通信系统在接收到待发送数据后(包括GPS坐标数据和统计数据)，与远程服务器进行连接发送请求，若请求失败，则等待一定时间间隔重新请求，直到数据发送成功；

5)远程服务器接收到统计数据或GPS坐标数据后，按照不同线路、时间先后等进行分组并存至数据库，供有关人员使用。

创新点：

(1)本发明采用最新的深度神经网络方法，通过采集大量各种光照条件下的目标样本对网络进行训练，克服原有图像识别方法不能很好适应不断变化车辆运行环境的缺点，提高了识别和跟踪的准确度；

(2)本发明自主设计并实现硬件电路，并按车规级规格进行封装，易于车载；

(3)本发明针对客流分析的速度进行优化，使分析结果可以相对实时地向后台服务器发送；

(4)本发明完全采用摄像头统计分析，且支持多路摄像头同时工作，安装简单，可针对不同车型进行配置，适用于各种车型；

(5)经测试，本发明客流统计分析结果的准确度在白天高达98.4％，在夜晚也可达91.4％，均远高于目前已有的客流统计分析系统。

实施案例推广及意义

(1)本发明适用于各种车型的公交车，尤其是新能源汽车；

(2)本发明适用于需对线路客流运载量进行监控的公交系统，可利用长期的客流数据对公交线路的规划做出合理的调整；

(3)本发明所提供的实时客流数据，有利于客流变化复杂的公交线路对线路运营动态调整；

(4)本发明采集到的客流图像数据可保存较长时间，可供公安等部门调用，协助他们工作。

Claims (4)

1.一种基于深度学习的公交车客流统计分析系统，其特征在于，包括车载设备模块与远程服务器模块；

所述车载设备模块包括摄像头、开关门信号检测器、GPS定位模块、通信模块和客流分析模块；

所述客流分析模块包括乘客检测模块和目标跟踪模块；

公交车进入站点之后，司机发出开门信号开启公交车的前后门让乘客上下车，由开关门信号检测器对车门状态进行检测，获得车门状态，当某个车门打开或关闭时相应的向客流分析系统发出开门与关门信号；所述车载设备模块收到开门信号后，打开安装在车门处的摄像头采集经过车门的乘客人流视频，直到车门关闭；

所述乘客检测模块设计有深度神经网络模型，用于检测上下车的乘客；

目标跟踪模块根据公交车上下车乘客的轨迹特点，设计专用的行人跟踪算法，以乘客检测模块的结果为基础，统计上下车的人数；

所述车载设备模块将采集的视频段经乘客检测模块进行目标识别，得到乘客定位信息，再经目标跟踪模块对乘客定位信息再进行跟踪计数，得到站点上下客流的计数结果；

客流分析系统通过GPS定位模块实时从GPS卫星获取车辆位置信息并缓存，每隔一段时间向通信模块发送车辆当前GPS坐标；在接收到开门信号后，客流分析系统保存当前时间与车辆位置信息；

当客流分析系统接收到关门信号后，延迟一定的时间停止缓存图像，待乘客检测与跟踪模块处理完成后，将人数数据同时间和GPS坐标数据一起作为统计数据发送至通信模块，用于传回服务器；

所述服务器主要用于接收并处理从车载设备模块传回的客流数据(包括时间，上下车人数，GPS位置等)，同时接收车载设备传回的视频与图像数据，用于对所述乘客检测模块所使用的深度神经网络模型进行训练，从而不断进化、智能化客流分析模块。

2.根据权利要求1所述的基于深度学习的公交车客流统计分析系统，其特征在于，所述深度神经网络模型，以YOLO Full模型为基础，包括14层卷积层及相应的池化层，最终将卷积层删减到14层，结构表征为：

。

3.根据权利要求1所述的基于深度学习的公交车客流统计分析系统，其特征在于，所述目标跟踪模块的目标跟踪及计数算法，包括如下步骤：

1)由乘客检测模块获得被检测到的乘客的定位信息；

2)循环判断检测到的定位信息中是否有新出现的乘客，若有则创建该乘客的位置队列，更新乘客位置队列集合，进入步骤3)；若无则加入已有乘客位置的队列，再进入步骤3)；

3)更新乘客位置队列集合，对有更新新位置的队列计时清零，否则增加计时；

4)判断乘客位置队列集合中是否有乘客队列长时间没有更新过，若是则根据轨迹方向来判断上下车，进行计数并更新乘客列表集合，并删除已上下车乘客队列，否则继续保留该队列。

4.根据权利要求1所述的基于深度学习的公交车客流统计分析系统，其特征在于，所述通信模块在接收到待发送数据后(包括GPS坐标数据和统计数据)，发送至远程服务器；远程服务器接收到统计数据或GPS坐标数据后，按照不同线路、时间先后等进行分组并存至数据库。