CN109815882A - 一种基于图像识别的地铁车厢客流密度监控系统及方法 - Google Patents

Abstract

本发明公开了一种基于图像识别的地铁车厢客流密度监控系统，包括车载摄像装置、第一服务器、显示装置和或语音播放装置，所述第一服务器与显示装置和或语音播放装置连接，还包括车载嵌入式终端，所述车载摄像装置通过视频线与所述车载嵌入式终端连接，所述车载嵌入式终端之间通过其内部的wifi无线模块实现相互之间的通信，所述车载嵌入式终端利用其内部的4G无线模块和第一服务器通信；本发明提高了车厢客流人数的精确度，为乘客提供实时车厢指引，引导乘客向客流较小的车厢疏散，提升了地铁交通的安全性，同时为乘客提供出行时间、出行线路选择的依据，进而在一定程度上缓和了地铁客流拥挤状况。

Description

一种基于图像识别的地铁车厢客流密度监控系统及方法

技术领域

本发明涉及智能轨道交通和信息技术领域，尤其是图像识别领域，具体涉及一种基于图像识别的地铁车厢客流密度监控系统及方法。

背景技术

地铁作为一种公共交通工具越来越受到大家的青睐，地铁交通具有准时高效便捷的优点，其客流成逐年上升的趋势。但是受客观因素的限制，地铁客流量在时空分布上极不均衡，同一列地铁也会呈现不同车厢客流密度差异较大的现象，站点等车缺乏实时车厢客流状态的指引，同时乘客公共出行时选择线路缺乏历史客流数据依据。因此对地铁车厢客流状态或密度进行实时监控，根据监测结果对客流进行合理引导具有极其重要的意义，引导乘客向客流较小的车厢疏散，提升了地铁交通的安全性；同时形成历史客流大数据，向公众提供查询服务，根据不同类型(比如工作日，周末，节假日)的客流情况，预测出行日的客流状况，从而选择出舒适度较高的出行时间和出行线路，对公共出行具有重要的指引作用。

目前能够对地铁车厢中客流密度进行监控的技术有：1)采用红外线探测和计数装置检测客流密度，然后将检测的客流信息在候车台的LED上显示，并进行语音播放提醒。2)将压力传感器呈阵列式布置在整个车厢站立区域，根据压力传感器的数值计算车厢内的拥挤程度。3)通过摄像头采集空车厢图像和车厢实时图像，根据乘客对摄像头采集图像光源的遮蔽程度计算车厢内的人流密度。现有方法都是定性的评估检测车厢内的客流密度，不能直接检测出车厢内的乘客人数，同时仅提供了某一时间点的客流密度，未能提供客流密度的历史统计值。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种基于图像识别的地铁车厢客流密度监控系统及方法，该方法提高了车厢客流人数的精确度，为乘客提供实时车厢指引，引导乘客向客流较小的车厢疏散，提升了地铁交通的安全性，同时为乘客提供出行时间、出行线路选择的依据，进而在一定程度上缓和了地铁客流拥挤状况。

为达到上述目的，本发明是通过以下的技术方案来实现的。

一种基于图像识别的地铁车厢客流密度监控系统，包括车载摄像装置、第一服务器、显示装置和或语音播放装置，所述第一服务器与显示装置和或语音播放装置连接，还包括车载嵌入式终端，所述车载摄像装置通过视频线与所述车载嵌入式终端连接，所述车载嵌入式终端之间通过其内部的wifi无线模块实现相互之间的通信，所述车载嵌入式终端利用其内部的4G无线模块和第一服务器通信。

进一步，所述监控系统还包括数据库、第二服务器和智能终端软件，所述数据库与所述第一服务器和第二服务器连接，所述第二服务器向智能终端软件发送数据。

本发明相对于现有技术而言，采用了嵌入式终端进行对乘客识别和数量统计，而不需要将图像信息上传服务器，同时系统之间的通信采用成熟的通用通信方式，无须占用地铁通信资源。

一种基于图像识别的地铁车厢客流密度监控方法，包括以下步骤：

步骤1，训练深度神经网络net1模型和深度神经网络net2模型；

步骤2，通过所述步骤1训练好的深度神经网络net1对待检测图像进行乘客计数，得到车厢实时客流数，具体步骤如下：

步骤21，通过地铁车厢顶部的摄像装置获取实时视频流，选取所述实时视频流中每隔12～250帧的图像作为待检测图像，输入嵌入式终端；

步骤22，对所述待检测图像进行归一化处理，将归一化处理后的待检测图像输入所述训练好的深度神经网络net1中，生成每个乘客唯一ID，进而根据ID数量得到各车厢的乘客数量，所述乘客唯一ID包括每个乘客所在的车厢编号、所属的摄像装置编号、所在图像的位置和所占图像区域大小。

步骤3，所述车载嵌入式终端将检测出的乘客数量通过4G无线模块上传第一服务器。

步骤4，第一服务器对数据处理，得到车厢的实时拥挤度状态，并在下一站的地铁显示屏上显示和或语音播放。

优选的，所述步骤1训练深度神经网络net1模型和深度神经网络net2模型，具体包含如下步骤：

步骤11，训练深度神经网络net1模型

步骤111，采集不同场景下地铁车厢内的图像，形成深度学习样本集；

步骤112，对所述步骤111的深度学习样本集中的图像进行归一化处理；

步骤113，对所述样本集中的图像标注所有乘客所在的区域；

步骤114，使用所述步骤13经过标注的样本集对深度神经网络模型进行训练，得到训练好的深度神经网络net1；

步骤12，训练深度神经网络net2模型

相邻两个摄像装置的拍摄区域会有重叠，所述待检测图像由重叠区域和非重叠区域组成；

所述深度神经网络net2为孪生网络，其训练过程如下：

步骤121，对所述步骤113获得的乘客区域进行进一步标注，分别取同一时刻两个相邻摄像装置拍摄的图像重叠部分的乘客，将位于两个图像重叠区域的同一个乘客标注为同一人，获得深度神经网络net2的训练样本集，

步骤122，对训练样本集进行归一化处理；

步骤123，将训练样本集中同一个乘客在两个不同摄像装置中的图像输入孪生网络中进行训练，获得训练好的深度神经网络net2。

进一步，为了提高系统的精确度，本发明考虑了摄像装置所拍摄区域的重叠情况。

所述步骤2对待检测图像进行乘客计数，具体为：

对所述待检测图像的非重叠区域直接进行乘客计数，得到非重叠区域的乘客数量。

对位于重叠区域的每个乘客通过训练好的深度神经网络net2提取特征向量，计算同一时刻同一个重叠区域所属的两个待检测图像的每个特征向量之间的欧氏距离，若欧氏距离小于阈值则判断乘客是同一人，否则为不同的人，从而得到重叠区域内乘客数量，其中阈值∈(0,1)。

所述车厢实时客流数为非重叠区域的乘客数量和重叠区域内乘客数量的加和。

进一步，当乘客同时位于非重叠区域和重叠区域，若位于非重叠区域的面积比例≥40％～60％，则该乘客属于非重叠区域，若位于非重叠区域的面积比例＜40％～60％，则该乘客属于重叠区域。

优选的，所述步骤4中得到车厢的实时拥挤度状态，具体方法为：根据实时客流数计算每车厢内单位面积站立人数d：d＝(t-t₀)/s，其中t为系统检测出的某节车厢内的乘客数，t₀为车厢内座位数，s为车厢内面积扣除坐席区及相关设施后的面积，单位m²；进而根据d的大小判断拥挤程度，具体为：

若d<3，则车厢内乘客密度较小，处于舒适状态；若3<d<5，则车厢内乘客密度适中，处于良好状态；若5<d<6，则车厢内乘客密度较大，处于临界状态；若d>6，则车厢内乘客密度过大，处于拥挤状态。

优选的，还包括步骤5，所述第一服务器将步骤2和步骤4中得到的所述车厢实时客流数和所述实时拥挤度状态存入数据库，形成地铁历史客流数据。

优选的，还包括步骤6，通过第二服务器为智能终端软件提供查询服务，具体流程如下：

步骤61，所述第二服务器从所述数据库中读取所述历史客流数据，以线路为单位，以日期为维度，通过聚类算法对每一天的客流密度进行分类，获得某一日期某一时间段内某一线路客流密度的历史客流数据；

步骤62，所述第二服务器接受智能终端软件(APP)发送的查询请求，查询出给定条件下的历史客流情况，并将结果以图表方式在智能终端软件显示；向公众提供查询服务。目的是根据不同类型比如工作日，周末，节假日的客流情况，预测出行日的客流状况，从而选择出舒适度较高的出行时间和出行线路。

与现有技术相比，本发明具有如下有益效果：

1、本发明采用了嵌入式终端进行对乘客识别和数量统计，而不需要将图像信息上传服务器，同时系统之间的通信采用成熟的通用通信方式，无须占用地铁通信资源，提高了运行速度。

2、本发明采用深度神经网络对乘客进行计数，可以准确获取地铁车厢内的乘客人数，同时考虑了摄像装置所拍摄区域的重叠情况，进一步提高系统的客流统计精确度，为乘客提供实时车厢指引，引导乘客向客流较小的车厢疏散，提升了地铁交通的安全性。

3、同时形成历史客流大数据，向公众提供查询服务，根据不同类型(工作日，周末，节假日)的客流情况，预测出行日的客流状况，为乘客提供出行时间、出行线路选择的依据，进而在一定程度上缓和了地铁客流拥挤状况。

附图说明

图1为本发明的基于图像识别的地铁车厢客流密度监控系统装置图。

图2为本发明的基于图像识别的地铁车厢客流密度监控方法流程图。

图3为本发明的摄像装置拍摄区域示意图。

具体实施方式

为了阐明本发明的技术方案和工作原理，下面结合附图与具体实施例对本发明做详细的介绍。

附图1为本发明的基于图像识别的地铁车厢客流密度监控系统装置图，结合该图，基于图像识别的地铁车厢客流密度监控系统，包括车载摄像装置、车载嵌入式终端、第一服务器、显示装置和语音播放装置、数据库、第二服务器和智能手机终端，每节车厢顶部安装若干车载摄像装置，同时每节车厢内安装一部车载嵌入式终端，同一车厢的车载摄像装置和车载嵌入式终端之间通过视频线连接，嵌入式终端的安装不一定一个车厢安装一个，也可以根据嵌入式终端的性能和其能接入摄像头的路数进行调整。相邻车厢的车载嵌入式终端利用其内部的wifi无线模块实现相互之间的通信；车载嵌入式终端利用其内部的4G无线模块和服务器通信。第一服务器接收车载嵌入式终端上传的乘客数据，并对其进行处理、存储以及向显示屏或语音播报器和智能手机APP应用提供服务，从而实现引导客流分散乘车。

本发明采用了嵌入式终端进行对乘客识别和数量统计，而不需要将图像信息上传服务器，同时系统之间的通信采用成熟的通用通信方式，无须占用地铁通信资源。

基于相同的技术构思，附图2为本发明的基于图像识别的地铁车厢客流密度监控方法流程图，包括如下步骤：

步骤1，训练深度神经网络net1模型和深度神经网络net2模型

步骤11，训练深度神经网络net1模型

步骤111，采集不同场景下地铁车厢内的图像，形成深度学习样本集；

步骤112，对所述步骤111的深度学习样本集中的图像进行归一化处理；

步骤113，对所述样本集中的图像标注所有乘客所在的区域；

步骤114，使用所述步骤13经过标注的样本集对深度神经网络模型进行训练，得到训练好的深度神经网络net1；

步骤12，训练深度神经网络net2模型

相邻两个摄像装置的拍摄区域会有重叠，所述待检测图像由重叠区域和非重叠区域组成；

所述深度神经网络net2为孪生网络，其训练过程如下：

步骤121，对所述步骤113获得的乘客区域进行进一步标注，分别取同一时刻两个相邻摄像装置拍摄的图像重叠部分的乘客，将位于两个图像重叠区域的同一个乘客标注为同一人，获得深度神经网络net2的训练样本集，

步骤122，对训练样本集进行归一化处理；

步骤123，将训练样本集中同一个乘客在两个不同摄像装置中的图像输入孪生网络中进行训练，获得训练好的深度神经网络net2。

步骤2，通过所述步骤1训练好的深度神经网络net1对车厢内的实时图像进行乘客计数，具体步骤如下：

通过地铁车厢顶部的摄像装置获取实时视频流，选取所述实时视频流的待检测图像输入嵌入式终端；因车厢内乘客数相对固定，选取视频流中每隔25帧的图像作为待检测图像。

对待检测图像进行归一化处理，将归一化处理后的待检测图像输入所述训练好的深度神经网络net1中，生成每个乘客唯一ID，进而根据ID数量得到各车厢的乘客数量，所述乘客唯一ID包括每个乘客所在的车厢编号、所属的摄像装置编号、所在图像的位置和所占图像区域大小。

实际情况中每个摄像装置拍摄车厢的某一区域，为了拍摄区域全面覆盖，相邻摄像装置拍摄的区域会有一定程度的重叠，如附图3本发明的摄像装置拍摄区域示意图所示，每个摄像区域的范围，L₁+L₂、L₂+L₃+L₄、…、L_n-3+L_n-2+L_n-1及L_n-1+L_n，其中L₂、L₄、…、L_n-3、L_n-1为车厢中部的摄像装置与相邻摄像装置拍摄区域的重叠部分，为了解决相邻摄像装置的拍摄重叠区域的乘客重复计数的问题，所述步骤2中对所述待检测图像的非重叠区域直接进行乘客计数，对位于重叠区域的乘客通过训练好的深度神经网络net2提取特征向量，根据同一时刻相邻两个待检测图像重叠区域每个乘客的特征向量之间的欧氏距离判断乘客是否为同一人，若欧氏距离小于0.02则判断乘客是同一人，否则为不同的人，从而得到重叠区域内乘客的数量；

根据乘客ID信息，当乘客完全位于非重叠区域，则直接对此乘客计数；当乘客同时位于非重叠区域和重叠区域，若位于非重叠区域的面积比例≥50％，则直接对此乘客计数，若位于非重叠区域的面积比例＜50％，通过训练好的深度神经网络net2获取乘客的特征向量，根据同一时刻相邻两个待检测图像重叠区域每个乘客的特征向量之间的欧氏距离判断乘客是否为同一人，从而得到重叠区域内乘客的数量；

定义两个相邻摄像装置的重叠区域为L，对相邻的摄像装置，计算一个摄像装置所拍摄图像中L区域内每个乘客的特征向量与另一个摄像装置所拍摄图像中L区域内每个乘客的特征向量之间的欧氏距离s。如果欧氏距离s≤0.02(可根据模型训练结果及场景进行调节)即认为乘客为同一个人，如果距离s＞0.02，认为乘客为两个不同的人，从而得到重叠区域内乘客的数量；

对不同车厢相邻摄像装置拍摄的重叠区域，通过相邻车载嵌入式终端的wifi无线模块实现连接。

本方法考虑了摄像装置所拍摄区域的重叠情况，提高的系统的精确度。

步骤3，所述车载嵌入式终端将检测出的乘客数量通过4G无线模块上传第一服务器。

步骤4，第一服务器端对数据的处理，得到车厢的拥挤度状态，该步骤具体如下：

步骤41，根据实时客流数计算每车厢内单位面积站立人数d：d＝(t-t₀)/s，其中t为系统检测出的某节车厢内的乘客数，t₀为车厢内座位数，s为车厢内面积扣除坐席区及相关设施后的面积，单位m²；进而根据单位面积的站立人数d的大小判断拥挤程度。

若d<3，则车厢内乘客密度较小，处于舒适状态；若3<d<5，则车厢内乘客密度适中，处于良好状态；若5<d<6，则车厢内乘客密度较大，处于临界状态；若d>6，则车厢内乘客密度过大，处于拥挤状态。

步骤42，所述第一服务器根据单位面积站立人数d及状态在地铁列车下一站站台的显示屏上显示客流密度状态及密度较小的车厢的位置，也可同时或单独在下一站进行自动语音播报，从而引导乘客去密度较小的车厢处候车。

步骤5，所述第一服务器将步骤2和步骤4中得到的车厢内客流人数和客流拥挤度状态存入数据库，作为历史客流数据来源；

步骤6，为智能手机终端提供查询服务，具体如下：

步骤61，第二服务器从数据库中读取所述历史客流数据，以线路为单位，以日期为维度，通过聚类算法对每一天的客流密度进行分类，获得某一日期某一时间段内某一线路客流密度的历史客流数据；

步骤62，所述第二服务器接受智能手机终端(APP)发送的查询请求，查询出各种条件下的历史客流情况，并将结果以图表方式在智能手机终端显示；向公众提供查询服务。目的是根据不同类型比如工作日，周末，节假日的客流情况，预测出行日的客流状况，从而选择出舒适度较高的出行时间和出行线路。

以上结合附图对本发明进行了示例性描述，显然，本发明具体实现并不受上述方式的限制，凡是采用了本发明的方法构思和技术方案进行的各种非实质性的改进；或者未经改进、等同替换，将本发明的上述构思和技术方案直接应用于其他场合的，均在本发明的保护范围之内。

Claims (10)

1.一种基于图像识别的地铁车厢客流密度监控系统，包括车载摄像装置、第一服务器、显示装置和或语音播放装置，所述第一服务器与显示装置和或语音播放装置连接，其特征在于，还包括车载嵌入式终端，所述车载摄像装置通过视频线与所述车载嵌入式终端连接，所述车载嵌入式终端之间通过其内部的wifi无线模块实现相互之间的通信，所述车载嵌入式终端利用其内部的4G无线模块和第一服务器通信。

2.根据权利要求1所述的一种基于图像识别的地铁车厢客流密度监控系统，其特征在于，还包括数据库、第二服务器和智能终端软件，所述数据库与所述第一服务器和第二服务器连接，所述第二服务器向智能终端软件发送数据。

3.一种基于图像识别的地铁车厢客流密度监控方法，其特征在于，包括以下步骤：

步骤1，训练深度神经网络net1模型和深度神经网络net2模型；

步骤2，通过所述步骤1训练好的深度神经网络net1对待检测图像进行乘客计数，得到车厢实时客流数，具体步骤如下：

步骤21，通过地铁车厢顶部的摄像装置获取实时视频流，选取所述实时视频流中每隔12～250帧的图像作为待检测图像，输入嵌入式终端；

步骤22，对所述待检测图像进行归一化处理，将归一化处理后的待检测图像输入所述训练好的深度神经网络net1中，生成每个乘客唯一ID，进而根据ID数量得到各车厢的乘客数量，所述乘客唯一ID包括每个乘客所在的车厢编号、所属的摄像装置编号、所在图像的位置和所占图像区域大小；

步骤3，所述车载嵌入式终端将检测出的乘客数量通过4G无线模块上传第一服务器；

步骤4，第一服务器对数据处理，得到车厢的实时拥挤度状态，并在下一站的地铁显示屏上显示和或语音播放。

4.根据权利要求3所述的一种基于图像识别的地铁车厢客流密度监控方法，其特征在于，所述步骤1训练深度神经网络net1模型和深度神经网络net2模型，具体包含如下步骤：

步骤11，训练深度神经网络net1模型

步骤111，采集不同场景下地铁车厢内的图像，形成深度学习样本集；

步骤112，对所述步骤111的深度学习样本集中的图像进行归一化处理；

步骤113，对所述样本集中的图像标注所有乘客所在的区域；

步骤114，使用所述步骤13经过标注的样本集对深度神经网络模型进行训练，得到训练好的深度神经网络net1；

步骤12，训练深度神经网络net2模型

相邻两个摄像装置的拍摄区域会有重叠，所述待检测图像由重叠区域和非重叠区域组成；

所述深度神经网络net2为孪生网络，其训练过程如下：

步骤121，对所述步骤113获得的乘客区域进行进一步标注，分别取同一时刻两个相邻摄像装置拍摄的图像重叠部分的乘客，将位于两个图像重叠区域的同一个乘客标注为同一人，获得深度神经网络net2的训练样本集，

步骤122，对训练样本集进行归一化处理；

步骤123，将训练样本集中同一个乘客在两个不同摄像装置中的图像输入孪生网络中进行训练，获得训练好的深度神经网络net2。

5.根据权利要求4所述的一种基于图像识别的地铁车厢客流密度监控方法，其特征在于，所述步骤2对待检测图像进行乘客计数，具体为：

对所述待检测图像的非重叠区域直接进行乘客计数，得到非重叠区域的乘客数量；

对位于重叠区域的每个乘客通过训练好的深度神经网络net2提取特征向量，计算同一时刻同一个重叠区域所属的两个待检测图像的每个特征向量之间的欧氏距离，若欧氏距离小于阈值则判断乘客是同一人，否则为不同的人，从而得到重叠区域内乘客数量，其中阈值∈(0,1)；

所述车厢实时客流数为非重叠区域的乘客数量和重叠区域内乘客数量的加和。

6.根据权利要求5所述的一种基于图像识别的地铁车厢客流密度监控方法，其特征在于，当乘客同时位于非重叠区域和重叠区域，若位于非重叠区域的面积比例≥40％～60％，则该乘客属于非重叠区域，若位于非重叠区域的面积比例＜40％～60％，则该乘客属于重叠区域。

7.根据权利要求3～6所述的任一种基于图像识别的地铁车厢客流密度监控方法，其特征在于，所述步骤4中得到车厢的实时拥挤度状态，具体方法为：根据实时客流数计算每车厢内单位面积站立人数d：d＝(t-t₀)/s，其中t为系统检测出的某节车厢内的乘客数，t₀为车厢内座位数，s为车厢内面积扣除坐席区及相关设施后的面积，单位m²；进而根据d的大小判断拥挤程度。

8.根据权利要求7所述的一种基于图像识别的地铁车厢客流密度监控方法，其特征在于，所述根据d的大小判断拥挤程度具体为：

若d<3，则车厢内乘客密度较小，处于舒适状态；若3<d<5，则车厢内乘客密度适中，处于良好状态；若5<d<6，则车厢内乘客密度较大，处于临界状态；若d>6，则车厢内乘客密度过大，处于拥挤状态。

9.根据权利要求8所述的一种基于图像识别的地铁车厢客流密度监控方法，其特征在于，还包括步骤5，所述第一服务器将步骤2和步骤4中得到的所述车厢实时客流数和所述实时拥挤度状态存入数据库，形成地铁历史客流数据。

10.根据权利要求9所述的一种基于图像识别的地铁车厢客流密度监控方法，其特征在于，还包括步骤6，通过第二服务器为智能终端软件提供查询服务，具体流程如下：

步骤61，所述第二服务器从所述数据库中读取所述历史客流数据，以线路为单位，以日期为维度，通过聚类算法对每一天的客流密度进行分类，获得某一日期某一时间段内某一线路客流密度的历史客流数据；

步骤62，所述第二服务器接受智能终端软件(APP)发送的查询请求，查询出给定条件下的历史客流情况，并将结果以图表方式在智能终端软件显示。