CN109993964A - 基于Hadoop技术的智能交通管理系统 - Google Patents

Abstract

本发明公开了一种基于Hadoop技术的智能交通管理系统，该系统包括：数据采集模块，数据处理模块以及系统功能模块；其中，所述数据采集模块主要负责对数据进行实时监控、采集、更新、处理功能；所述数据处理模块将所述数据采集模块所提供的数据，在基于Hadoop平台的基础上，运用分布式文件系统、分布式计算、Hbase数据库以及实时流处理技术进行处理；所述系统功能模块将所述数据处理模块进行数据分析挖掘后所提炼出的高价值信息综合运用到终端子系统中。本发明方案运用大数据平台对海量数据进行分析处理，引入现代化的数据采集、处理、传输等技术，对采集到的海量交通数据进行分析挖掘，提炼出高价值信息，实现公交系统调度、运营、管理的信息化和智能化。

Description

基于Hadoop技术的智能交通管理系统

技术领域

本发明属于大数据挖掘技术领域，涉及一种基于Hadoop技术的智能交通管理系统。

背景技术

随着中国城市化建设的迅猛发展，道路交通建设与日常出行需求之间的矛盾日趋尖锐，交通堵塞、环境污染成为人们不得不面对的问题。

为了改善公众出行体验，优先发展城市公共交通已成为国家首要的发展战略，而传统公交存在的到站不准点、乘车拥挤等问题严重制约了公共交通系统的发展。

目前，智能公交管理系统中存在的问题主要表现为车辆定位不准确、数据更新不及时、线路调度技术落后、实时管理性差等，究其原因是由于数据采集技术单一、处理技术落后，大多公交系统通信传输单一的采用GPRS定位，无法实现大量交通数据的实时传输，并且传统调度通常采用静态人工调度，调研采集周期过长，对路况、天气、车站乘客等实时因素无法考虑，经常造成乘客车站积压或车辆满载率过低等现象。

发明内容

本发明目的在于提供一种基于Hadoop技术的智能交通管理系统，针对传统公交存在的到站不准点、乘车拥挤等问题，运用大数据平台对海量数据进行分析处理，利用LTE网络实现实时传输，引入现代化的数据采集、处理、传输等技术，对采集到的海量交通数据进行分析挖掘，提炼出高价值信息，并以此制定更加合理的公交行车计划，实现公交系统调度、运营、管理的信息化和智能化，有效地缓解了当前交通压力以及城市污染对人类的影响。

为解决上述技术问题，本发明采用如下的技术方案：一种基于Hadoop技术的智能交通管理系统，该系统包括：数据采集模块，数据处理模块以及系统功能模块；其中，所述数据采集模块主要负责对数据进行实时监控、采集、更新、处理功能；所述数据处理模块将所述数据采集模块所提供的数据，在基于Hadoop平台的基础上，运用分布式文件系统、分布式计算、Hbase数据库以及实时流处理技术进行处理；所述系统功能模块将所述数据处理模块进行数据分析挖掘后所提炼出的高价值信息综合运用到终端子系统中。

进一步地，所述数据采集模块引入了GPS定位技术、IC卡、RFID标签、传感器技术以及视频摄像等多种方式，对智能交通管理系统中大量不同类型的数据进行综合采集。

进一步地，所述数据处理模块中的HDFS(分布式文件系统)提供高吞吐量的数据访问；Spark Streaming(实时流处理)进行实时流数据处理以及流数据与静态数据的整；MapReduce(分布式计算)是一种基于大数据量的分布式计算模型；Hbase数据库对最终数据进行存储以及与所述的HDFS、Spark Streaming和MapReduce进行一定的交互数据。

进一步地，所述系统功能模块由车载终端子系统、公交站台子系统以及管理中心子系统三部分构成；其中，所述车载终端子系统主要实现对车辆定位、车内安全、车辆满载、车外路况等信息的采集；所述公交站台子系统与管理中心相连，通过车站大屏幕实时向乘客发送车辆到站情况、车内满载情况、天气预报、环境污染指数、公益广告等信息；所述管理中心子系统是整个智能公交系统的核心，采用实时双向通信，通过对所述车载终端子系统以及所述公交站台子系统返回的数据进行处理分析。

本发明与现有技术相比具有以下的有益效果：

本发明方案针对传统公交存在的到站不准点、乘车拥挤等问题，运用大数据平台对海量数据进行分析处理，利用LTE网络实现实时传输，引入现代化的数据采集、处理、传输等技术，对采集到的海量交通数据进行分析挖掘，提炼出高价值信息，并以此制定更加合理的公交行车计划，实现公交系统调度、运营、管理的信息化和智能化。

附图说明

图1是基于Hadoop技术的智能交通管理系统的整体框架图。

图2是基于Hadoop技术的智能交通管理系统的功能模块设计图。

具体实施方式

下面结合附图及具体实施例对本发明进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。

参照图1，本发明的一种基于Hadoop技术的智能交通管理系统，该系统包括：数据采集模块，数据处理模块以及系统功能模块；其中，所述数据采集模块主要负责对数据进行实时监控、采集、更新、处理功能；所述数据处理模块将所述数据采集模块所提供的数据，在基于Hadoop平台的基础上，运用分布式文件系统、分布式计算、Hbase数据库以及实时流处理技术进行处理；所述系统功能模块将所述数据处理模块进行数据分析挖掘后所提炼出的高价值信息综合运用到终端子系统中。

本系统采用多元化的数据采集手段获取更加全面的交通数据，并运用大数据平台Hadoop对海量数据进行分析处理，利用LTE网络实现实时传输，主要分为三大模块：

首先是数据采集模块，考虑到传统数据采集的方式主要通过单一的采集技术，这些技术在采集局部信息时可能具有较好的效果，但无法支持智能公交系统中大量不同类型数据的综合采集。因此在系统数据采集的设计过程中引入了GPS定位技术、IC卡、RFID标签、传感器技术以及视频摄像等多种方式。智能公交系统中的数据通常分为两类：一类不会经常改变，不需要进行实时更新，如公交站台位置、公交线路等；另一类则需要对数据进行实时监控、更新、处理，如公交站点客流、车辆实时位置、道路当前路况以及车辆满载情况等。本系统设计中更多考虑的是第二类数据的采集。由于IC卡技术简单，成本低且使用便捷，目前在城市公交中应用非常广泛。利用IC卡内部的存储功能可以有效记录包括乘车时间、乘车线路、账户情况、车次在内的多种公交数据，这些数据都将作为原始信息被用来进行分析挖掘。通过这些原始数据找出更多个人出行信息，如个人通常出行时间段、上车频次、起始站点、单次耗时情况等，这些信息均可以作为智能公交调度的重要依据。由于乘车人群中还有部分使用投币方式，无法被统计，在进行上下车人流统计分析时，将结合视频监控、车门位置的红外传感器、压力传感器等多种手段提高采集数据的准确性。判断车辆能否准时到站以及线路运行情况需要获得公交车辆的实时位置信息，目前获取该信息的技术主要是GPS定位技术，相较于其他定位技术，它的定位精度较高且支持该技术的厂商最多。然而GPS定位存在定位盲区的问题，容易受到障碍物及天气的影响，在经过隧道时，甚至出现完全无法定位的情况，这对准确获得车辆实时信息极为不利，因此在该系统数据采集的过程中额外加入RFID电子标签，这种检测器设备安装简单，受环境影响较小，具有连续检测的能力，但使用过程中必须在车辆以及站台、路边等均放置RFID标签，成本较高，可以作为GPS定位的补充。最后基于物联网的传感器技术还可以及时有效监测车辆尾气排放、车辆设备状态、车内可燃气体、车门车窗安全状态等重要信息，为车辆安全行驶提供必要保障。

其次是数据处理模块，智能公交产生为人们出行带来许多便利，数据量也由TB级直接升至PB级，并且随着技术的更新，数据量还将持续增长。对于海量数据，传统的处理方法是使用SQL模糊查询，而这种方式难以实现对数据查询的实时响应，无法适用于智能公交系统，大数据平台的出现则可以很好地解决这方面问题。所谓大数据的特性，即海量(volume)、异构(variety)、快速(velocity)、价值(value)、真实(veracity)。交通数据也基本满足以上特征，其特性主要表现为：长时间的监控信息导致数据量巨大；不同的采集手段获取的数据格式通常也不相同；道路中突发情况较多，数据需实时更新；需在大量原始数据中挖掘出有用信息；必须依靠真实可靠的信息做出正确的决策方案。

目前主流的大数据处理平台是Hadoop平台，包括百度、阿里、Facebook在内的多家国内外知名互联网企业均采用该平台进行数据处理。Hadoop的核心组件是HDFS和MapReduce，HDFS作为Hadoop的分布式文件系统，被部署在大量价格较为低廉的底层硬件上，通过数据冗余的方式，避免因个别节点失效而导致数据的可靠性下降，并且简化数据模型，提高系统扩展性，加强了对于高吞吐量数据的处理。MapReduce是一种基于大数据量的分布式计算模型，该模型将计算过程抽象为Map和Reduce两个阶段，其中Map阶段主要将原始数据进行分块，并运算产生一对Key/Value键值对作为中间量传递给Reduce，Reduce分析这些键值，根据相同的Key值进行合并处理得到最终结果保存在Hbase数据库中。交通数据对实时性要求很高，这种计算模型将大量数据的计算分布在不同硬件上完成，极大节省了计算时间。交通数据中流数据量也非常大，相较于MapReduce提供的批量数据处理，SparkStreaming更适合实时流数据处理以及流数据与静态数据的整合，它的容错能力、负载均衡能力均强于传统流处理系统。因此在本方案数据处理过程中在原有Hadoop平台基础上引入Spark Streaming实时流处理系统，使其更加符合现代智能公交系统的需求。

最后是系统功能模块，参照图2，系统功能模块由车载终端子系统、公交站台子系统以及管理中心子系统三部分构成：

首先是车载终端子系统，车载终端子系统是公交车辆能否提供更加优质服务的关键。该系统通过GPS辅助RFID获取准确的车辆定位，当公交车辆超速或车内传感器检测出各类不安全因素时，系统将立即发出告警信息，最后IC卡系统结合车门红外传感器可以对上下车乘客人数进行统计。这些信息都将实时反馈至后台管理中心，作为车辆调度的重要依据。车载终端的数据传输主要依赖于当前完善的LTE网络，作为目前主流无线传输网络，LTE较传统GPRS可以提供更高带宽以及更低的延时。考虑到设备IP地址空间扩展问题，该系统中IP编址统一采用IPV6编制方案，同时IPV6支持的组播方式也可以保证不会将数据发送给不需要的主机终端，大大节省了网络带宽，减轻了系统负担。

其次是公交站台子系统，公交站台子系统与管理中心相连，通过车站大屏幕实时向乘客发送车辆到站情况、车内满载情况、天气预报、环境污染指数、公益广告等信息，乘客可以更加合理安排自己的出行。同时，系统采用触摸屏交互方式，乘客可以方便查询包括车次、线路以及转车情况等在内的公交信息，这些查询信息会实时传送至后台管理系统，经过分析挖掘增加车次调度的合理性。为了提升乘客出行体验，该系统还将与出租车系统相连，当公交无法及时满足当前出行需要时，可以立即更换出行方式。

最后，管理中心子系统是整个智能公交系统的核心，采用实时双向通信，通过对车载终端子系统以及公交站台子系统返回的数据进行处理分析，根据当前车辆情况、路段情况，事故情况等“车路”信息准确判断，动态的进行车辆调度(行车顺序、发车间隔等)、车辆维护等工作。系统还将这些真实数据通过大数据平台再次深度挖掘，对出行高峰、出行路径以及出行路况瓶颈等进行提炼分析，为今后制定更加合理的车辆调度安排提供参考依据。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.基于Hadoop技术的智能交通管理系统，其特征在于，所述系统包括：数据采集模块，数据处理模块以及系统功能模块；其中，所述数据采集模块主要负责对数据进行实时监控、采集、更新、处理功能；所述数据处理模块将所述数据采集模块所提供的数据，在基于Hadoop平台的基础上，运用分布式文件系统、分布式计算、Hbase数据库以及实时流处理技术进行处理；所述系统功能模块将所述数据处理模块进行数据分析挖掘后所提炼出的高价值信息综合运用到终端子系统中。

2.根据权利要求1所述的基于Hadoop技术的智能交通管理系统，其特征在于，所述数据采集模块引入了GPS定位技术、IC卡、RFID标签、传感器技术以及视频摄像等多种方式，对智能交通管理系统中大量不同类型的数据进行综合采集。

3.根据权利要求1所述的基于Hadoop技术的智能交通管理系统，其特征在于，所述数据处理模块中的HDFS(分布式文件系统)提供高吞吐量的数据访问；Spark Streaming(实时流处理)进行实时流数据处理以及流数据与静态数据的整；MapReduce(分布式计算)是一种基于大数据量的分布式计算模型；Hbase数据库对最终数据进行存储以及与所述的HDFS、Spark Streaming和MapReduce进行一定的交互数据。

4.根据权利要求1所述的基于Hadoop技术的智能交通管理系统，其特征在于，所述系统功能模块由车载终端子系统、公交站台子系统以及管理中心子系统三部分构成；其中，所述车载终端子系统主要实现对车辆定位、车内安全、车辆满载、车外路况等信息的采集；所述公交站台子系统与管理中心相连，通过车站大屏幕实时向乘客发送车辆到站情况、车内满载情况、天气预报、环境污染指数、公益广告等信息；所述管理中心子系统是整个智能公交系统的核心，采用实时双向通信，通过对所述车载终端子系统以及所述公交站台子系统返回的数据进行处理分析。