CN108268849A - 基于ai技术的公交车载视觉智能感知系统 - Google Patents

Abstract

本发明公开了一种公交车载视觉智能感知系统，步骤包括：1)分别采集客户上下车时图像、车内站立区域乘客拥挤的图像和司机的人脸图像；2)将步骤1)中采集到的图像信号转换成视频信号；3)将步骤2)中的视频信号进行基于深度学习分析方法的计算；4)通过基于深度学习分析方法的计算后得到的相关数据并按照协议要求进行数据整理；5)整理后的数据与智能管理平台建立无线数据通信。采用人工智能技术实现乘客统计，车内拥挤度和人脸识别，可将定位信息和相关信息同步上传至后端服务平台，实现对每个站点、每条线路的客流量统计，为动态公交客流分析与预测、公交调度的优化和决策、调控和引导等交通需求提供有力的数据支撑。

Description

基于AI技术的公交车载视觉智能感知系统

技术领域

本发明涉及视觉智能感知系统，尤其涉及一种基于AI技术的公交车载视觉智能感知系统。

背景技术

伴随着我国城镇化的不断发展，与日俱增的城市人口使大中城市的交通压力越来越大，发展智能公交既是民众出行的需要，也是建设低碳城市的需要。 GPS/GPRS/3G等技术在公交调度中已经普及应用，可以实时监控车辆的位置及车速等信息，对车辆调度、智能报站、运营安全管理已经发挥了很大的作用。但是公交客流信息的实时获取一直是困扰行业的疑难问题，准确采集公交车辆的实时载客信息及站点上下客信息，从而实现智能公交发展战略、优化公交线路、提高公交营运效率、提升百姓满意度，提高居民出行公交分担率，这将是下一步提升公交信息化的发展方向，也是最终实现智能交通的必由之路。

目前国内外公交车乘客计数系统的技术主要有三种：主动红外技术、车辆测重技术、基于机器视觉的图像分析技术。

(1)主动红外技术

红外光幕客流传感器安装在公交车前后门的上部，通过多个发射头发射定制波长的红外线覆盖一定的区域，并通过传感器检测从乘客身上反射回来的光线，从而自动识别乘客上下车方向及人数。由于采用自身光源，它不易受外界环境温度、光线状况的影响，可判别上下车方向，能够达到较高的精度，上下客准确率可达到92％以上。

(2)车辆测重技术：

目前的公交车悬架有空气悬架和钢板弹簧悬架两种，针对空气悬架车辆，通过在空气弹簧的气路上安装压力传感器，检测气囊的压力，再结合气囊支撑截面变化曲线及温度补偿、倾斜补偿等算法可以计算出气囊的承载重量。对于钢板弹簧车辆，通过在钢板弹簧旁边安装高度传感器，检测钢板弹簧受压后的变形量，再结合钢板弹簧的压力变形曲线图及倾斜补偿等算法可以计算出钢板弹簧的承载重量。应用车辆载重检测技术可以检测到载客的总重量，再根据乘客的平均体重计算出车厢载客人数，这种技术的优点是人数越多，检测准确率越高，但是由于乘客平均体重是一个非常主观的数据，无法适应每种特定情况下的问题，导致数据存在无法抗力性的变化。

(3)基于机器视觉的图像分析技术

将图像传感器安装在公交车出入口附近,通过对图像处理、识别、分析，进而实现人数统计。其包含单目图像识别跟踪技术、双目立体成像和图像视觉处理技术、3D图像技术。基于机器视觉的方法是目前比较先进的技术，在国内外的研究与应用中,基于视频图像分析的计数系统已经应用到了乘客计数监测与统计中。不过图像分析技术容易受不同光照条件的影响，进而无法满足极高精度的场景。市面上，基于图像分析技术的乘客计数系统实际测试精度大概均在92％左右。

因此，国内尚无一种方法能够极准确地对公交客流作出统计和分析。在此技术背景下，一种具有强适用性、高鲁棒性的公交车载视觉智能感知系统的研发是十分必要的。

发明内容

本发明要解决的技术问题是提供了一种基于AI技术的公交车载视觉智能感知系统，方便监控人员对公交车辆的历史和实时运营情况有更直观的了解，为公交的统一调度和规划提供有力的支撑。

为了解决上述技术问题，本发明的技术方案为：

一种公交车载视觉智能感知系统，步骤包括：

1)分别采集客户上下车时图像、车内站立区域乘客拥挤的图像和司机的人脸图像；

2)将步骤1)中采集到的图像信号转换成视频信号；

3)将步骤2)中的视频信号进行基于深度学习分析方法的计算；

4)通过基于深度学习分析方法的计算后得到的相关数据并按照协议要求进行数据整理；

5)整理后的数据与智能管理平台建立无线数据通信；

作为优选，所述步骤3)中的深度学习分析方法，包括：乘客计数算法、车内拥挤判断算法和人脸识别算法。

作为优选，所述乘客计数算法，包括：

1)2D图像采集；

2)图像预处理：将采集到的图像利用张正友标定进行校正，再利用滤波算法对校正后的图像进行滤波处理；

3)裁剪的深度学习神经网络：将处理后的图片样本通过在caffe框架的裁剪成9层深度学习神经网络进行训练，得到高检测率低误报率的分类器；

4)检测定位修正：利用分类器检测到初步目标的位置，重新利用相似性度量算法进行精定位，并将对应的初步目标位置保存新的目标链中；

5)人体目标跟踪：利用初步目标的运动参数预测下一帧中初步目标可能出现的区域；对相邻帧间初步目标的运动变化，利用特征值计算代价函数值，求出当前帧中初步目标在下一帧中的对应过后续目标，建立对应关系；更新已被跟踪初步目标的目标链、目标位置信息和目标特征量；

6)人体运动轨迹判断决策：记录每个目标在检测区域从进入到离开的所有运动轨迹，然后将存储的轨迹模型进行模板匹配。

作为优选，所述车内拥挤判断算法，包括：

1)将车内站立区域乘客拥挤的图像分成三类；

2)利用图像预处理算法将图像进行滤波处理；

3)将三类的样本利用裁剪的深度学习神经网络进行训练，得到乘客拥挤程度值；

4)将得到的乘客拥挤程度值通过按照车内拥挤三种状态分类模块进行分类。

作为优选，所述人脸识别算法模块，包括：

1)判断驾驶员区域是否存在人脸；

2)如果有，进行抓拍，利用无线网络将图片传送到智能管理平台进行人脸识别算法比对，如果没有，返回步骤1)；

3)智能管理平台通过大规模深度学习神经网络模型进行人脸与非人脸的样本进行训练，得到人脸检测的模型；

4)智能管理平台再通过大规模深度学习神经网络模型进行人脸和对应的标签的训练，得到人脸识别的模型；

5)智能管理平台将输入的图像通过两层模型得到最终的结果和数据库的人脸数据进行比对，判断司机是否存在中途换人。

本发明具有以下的特点和有益效果：采用人工智能技术实现乘客统计，车内拥挤度和人脸识别，可将定位信息和相关信息同步上传至后端服务平台，实现对每个站点、每条线路的客流量统计，为动态公交客流分析与预测、公交调度的优化和决策、调控和引导等交通需求提供有力的数据支撑。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的流程图。

图2为本发明乘客计数算法的流程图。

图3为本发明车内拥挤判断算法的流程图。

图4为本发明的人脸识别算法的流程图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。

如图所示，一种公交车载视觉智能感知系统，步骤包括：

1)分别采集客户上下车时图像、车内站立区域乘客拥挤的图像和司机的人脸图像；

2)将步骤1)中采集到的图像信号转换成视频信号；

3)将步骤2)中的视频信号进行基于深度学习分析方法的计算；

4)通过基于深度学习分析方法的计算后得到的相关数据并按照协议要求进行数据整理；

5)整理后的数据存储于数据库内，通过GPRS模块与智能管理平台建立无线数据通信；

其中，步骤3)中的深度学习分析方法，包括：乘客计数算法、车内拥挤判断算法和人脸识别算法模块。

于本发明中，乘客计数算法，包括：

1)2D图像采集；

2)图像预处理：将采集到的图像利用张正友标定进行校正，再利用滤波算法对校正后的图像进行滤波处理；

3)裁剪的深度学习神经网络：将处理后的图片样本通过在caffe框架的裁剪成9层深度学习神经网络进行训练，得到高检测率低误报率的分类器；

4)检测定位修正：利用分类器检测到初步目标的位置，重新利用相似性度量算法进行精定位，并将对应的初步目标位置保存新的目标链中；

5)人体目标跟踪：利用初步目标的运动参数预测下一帧中初步目标可能出现的区域；对相邻帧间初步目标的运动变化，利用特征值计算代价函数值，求出当前帧中初步目标在下一帧中的对应过后续目标，建立对应关系；更新已被跟踪初步目标的目标链、目标位置信息和目标特征量；

6)人体运动轨迹判断决策：记录每个目标在检测区域从进入到离开的所有运动轨迹，然后将存储的轨迹模型进行模板匹配。

于本发明中，车内拥挤判断算法，包括：

1)将车内站立区域乘客拥挤的图像分成三类，即图像样本整理；

2)利用图像预处理算法将图像进行滤波处理，即图像预处理；

3)将三类的样本利用裁剪的深度学习神经网络进行训练，得到乘客拥挤程度值，即裁剪的深度学习分析方法；

4)将得到的乘客拥挤程度值通过按照车内拥挤三种状态分类模块进行分类，即对车内拥挤状态分类。

于本发明中，人脸识别算法模块，包括：

1)判断驾驶员区域是否存在人脸，即人脸检测；

2)如果有，进行抓拍，利用无线网络将图片传送到智能管理平台进行人脸识别算法比对，如果没有，返回步骤1)，即人脸定位抓拍上传至平台；

3)智能管理平台通过大规模深度学习神经网络模型进行人脸与非人脸的样本进行训练，得到人脸检测的模型，即大规模深度学习人脸检测模块；

4)智能管理平台再通过大规模深度学习神经网络模型进行人脸和对应的标签的训练，得到人脸识别的模型，即大规模的深度学习人脸识别模块；

5)智能管理平台将输入的图像通过两层模型得到最终的结果和数据库的人脸数据进行比对，判断司机是否存在中途换人，即判断人脸与数据库的状态。

另外，车上还安装有GPS模块，用于实现对公交车的定位。

其中，智能管理平台分为服务端和客户端。服务端主要处理系统终端发送上来的数据，并按照所需的数据进行整理计算，然后存在数据库；客户端主要是供客户进行浏览器登录，将客户所需要的功能通过直观简单的设计展示出来。该管理平台主要实现对装有车载终端的公交车辆进行实时监控和管理，功能主要包括：系统管理、日志管理、车辆监控、安全分析、运力分析、远程运维和大数据分析。其中，系统管理分为线路管理、车辆管理、司机管理、组织管理、用户管理、角色管理、权限管理和数据字典9个子功能，可以对这些信息进行基础数据管理；日志管理主要分为客流明细日志、用户操作日志和车辆在线报表；车辆监控分为实时监控、轨迹回放、模拟线路图、多媒体监控；安全分析分为危险驾驶明细、人脸识别设置；运力分析为线路客流日报表、线路客流周报表、客流线路月报表、线路客流对比分析、线路站点客流分析、车辆客流日报表、客流高峰期分析、线路分析报告；远程运维分为指令下发、远程升级和FTP升级；大数据分析分为车次时序图、实时满载分析、客流流向分析、客流密度分布、线路客流预测和站点客流预测。

工作原理：

(1)将第一摄像头组分别装在前、后车门上方，第二摄像头安装在收款箱正上方的车顶，第三摄像头安装在司机的正前方，控制器放置在驾驶员后面的设备箱内。

(2)将所述的控制器分别与摄像头、GPS模块、GPRS模块、显示屏连接，通过电源与总线接口供电后即可正常工作，系统工作时，LED指示灯电源灯常亮；如果定位成功的话，定位灯会常亮；如果联网成功的话，联网灯会隔几秒进行闪烁。

(3)当车辆到达站点时，司机按开关门按钮，系统就会通过前后门摄像头通过镜头采集上、下车乘客的头部图像，然后通过数据接口将头部图像并发送控制器；当车门关闭1分钟后，启动第二摄像头进行车内站立区域乘客图像并发送控制器；还有，车辆在运行过程中，隔半个小时启动第三摄像头采集司机人脸图像并发送给控制器。

(4)控制器通过第一摄像头组、第二摄像头、第三摄像头输入获取来自所述摄像头的头部图像信息、车内乘客拥挤图像信息、司机人脸图像信息，并传给ARM处理器进行基于深度学习分析方法的计算，并将相关数据进行记录存储。同时，通过联网模块向所述的智能管理平台发送客流数据信息、车内拥挤状态信息和司机是否中途换人状态信息，其中的站点信息来自GPS接口连接的 GPS模块。车内显示器通过视频输出接口获得相关结果信息后，在屏幕上进行显示。

(5)智能管理平台接收到相关数据信息后，按照相关的协议要求进行数据整理并存入数据库，并可按业务需求进行多元化的展示，其中运力分析中的线路报告可以自动生成标准化的测试报告，供公交公司或者第三方管理者进行数据支撑；对于大数据分析模块，我们采用真实的历史数据，进行多方位不同角度的数据展示，也为后续客流大数据的应用起到很好的铺垫作用。

以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。

Claims (5)

1.一种公交车载视觉智能感知系统，其特征在于：步骤包括：

1)分别采集客户上下车时图像、车内站立区域乘客拥挤的图像和司机的人脸图像；

2)将步骤1)中采集到的图像信号转换成视频信号；

3)将步骤2)中的视频信号进行基于深度学习分析方法的计算；

4)通过基于深度学习分析方法的计算后得到的相关数据并按照协议要求进行数据整理；

5)整理后的数据与智能管理平台建立无线数据通信。

2.根据权利要求1所述的公交车载视觉智能感知系统，其特征在于：所述步骤3)中的深度学习分析方法，包括：乘客计数算法、车内拥挤判断算法和人脸识别算法。

3.根据权利要求2所述的公交车载视觉智能感知系统，其特征在于：所述乘客计数算法，包括：

1)2D图像采集；

2)图像预处理：将采集到的图像利用张正友标定进行校正，再利用滤波算法对校正后的图像进行滤波处理；

3)裁剪的深度学习神经网络：将处理后的图片样本通过在caffe框架的裁剪成9层深度学习神经网络进行训练，得到高检测率低误报率的分类器；

4)检测定位修正：利用分类器检测到初步目标的位置，重新利用相似性度量算法进行精定位，并将对应的初步目标位置保存新的目标链中；

5)人体目标跟踪：利用初步目标的运动参数预测下一帧中初步目标可能出现的区域；对相邻帧间初步目标的运动变化，利用特征值计算代价函数值，求出当前帧中初步目标在下一帧中的对应过后续目标，建立对应关系；更新已被跟踪初步目标的目标链、目标位置信息和目标特征量；

6)人体运动轨迹判断决策：记录每个目标在检测区域从进入到离开的所有运动轨迹，然后将存储的轨迹模型进行模板匹配。

4.根据权利要2所述的公交车载视觉智能感知系统，其特征在于：所述车内拥挤判断算法，包括：

1)将车内站立区域乘客拥挤的图像分成三类；

2)利用图像预处理算法将图像进行滤波处理；

3)将三类的样本利用裁剪的深度学习神经网络进行训练，得到乘客拥挤程度值；

4)将得到的乘客拥挤程度值通过按照车内拥挤三种状态分类模块进行分类。

5.根据权利要求2所述的公交车载视觉智能感知系统，其特征在于：所述人脸识别算法模块，包括：

1)判断驾驶员区域是否存在人脸；

2)如果有，进行抓拍，利用无线网络将图片传送到智能管理平台进行人脸识别算法比对，如果没有，返回步骤1)；

3)智能管理平台通过大规模深度学习神经网络模型进行人脸与非人脸的样本进行训练，得到人脸检测的模型；

4)智能管理平台再通过大规模深度学习神经网络模型进行人脸和对应的标签的训练，得到人脸识别的模型；

5)智能管理平台将输入的图像通过两层模型得到最终的结果和数据库的人脸数据进行比对，判断司机是否存在中途换人。