CN107729413A - 基于大数据的区域交通智能管理系统 - Google Patents

Abstract

本发明公开了一种基于大数据的区域交通智能管理系统，通过分布式数据库加关系型数据库，实现大数据存储、信息集成和信息共享，通过分布式消息队列和实时流计算技术，实现数据集中以及对过车数据的实时处理，通过分布式文件管理和查询索引技术，解决传统关系型数据库加FTP架构难以支撑海量机动车通行轨迹信息的存贮管理现状问题，利用大数据的优势，打破以前多个部门，多个系统之间的界限，实现一个信息融合和信息共享的平台，使现有的交通设施发挥更大的社会效益，进一步提高城市交通管理科学化、现代化水平，进一步改善城市道路交通环境，满足新时期交通管理的需求。

Description

基于大数据的区域交通智能管理系统

技术领域

本发明属于交通管理系统技术领域，涉及一种区域交通智能管理系统，具体是一种基于大数据的区域交通智能管理系统。

背景技术

智慧城市建设是人类社会继工业化、电子化和信息化后的第四次浪潮，体现为世界城市发展的前沿趋势。对于转变经济发展方式，提升城市功能品质，有效保障改善民生以及解决城市发展难题，加快创新社会治理，促进政府职能转变，加大科技创新力度和催生新型产业等，都具有重大的现实意义和深远的历史意义。

作为智慧城市建设的重要组成部分，智能交通建设是智慧城市建设的重要抓手和落脚点，是智慧城市建设的重要支撑，为智慧城市条件下解决“衣、食、住、行”中“行”方面遇到的问题，为社会、经济可持续发展奠定必要的基础。智能交通系统(IntelligentTransportationSystem，简称ITS)是未来交通系统的发展方向，它是将先进的信息技术、数据通讯传输技术、电子传感技术、控制技术及计算机技术等有效地集成运用于整个地面交通管理系统而建立的一种在大范围内、全方位发挥作用的，实时、准确、高效的综合交通运输管理系统。

近年来，随着社会经济的快速发展，城市规模不断扩大，城市人口和机动车保有量迅猛增长，交通量持续大幅度增加，交通需求与道路交通设施之间的矛盾日益突现，交通拥堵、交通事故、大气污染等问题已经逐步影响了人民的日常生活，同时也给道路交通实现现代化管理提出了新课题。传统的系统架构难以支撑海量交通数据及非结构化数据的存贮管理。

同时，目前现有各种交通管理系统，不同部门、不同系统之间存在明显界限，相互之间信息独立，无法实现融合和共享，交通管理效率低。

发明内容

本发明的目的在于提供一种基于大数据的区域交通智能管理系统，利用大数据的优势，实现了一个信息融合和信息共享的平台，使现有的交通设施发挥更大的社会效益，提高区域交通管理水平。

本发明的目的可以通过以下技术方案实现：

基于大数据的区域交通智能管理系统，包括数据接入单元、数据处理单元以及业务应用单元；

所述数据接入单元，集成应用多线程、多服务WEB技术、数据并发处理技术，建立统一接入和交换接口，实现各交通监测设备的监控信息实时、并发上传、处理以及设备安全接入控制、运行监测功能，及时、可靠地汇总各类交通技术监测资源；

所述数据处理单元，包含数据基础统计、实时数据的处理计算以及离线数据的分析挖掘功能，通过非关系型分布式数据库，对海量文本数据及图片数据进行存储管理，通过对数据读写操作的分布式处理，满足海量数据快速检索要求，通过流式计算集群，采用内存数据库技术，实现海量数据在线式的分析处理，通过批处理计算集群，实现海量数据离线式的挖掘分析处理；

所述业务应用单元，采用基于J2EE的总体开发框架，实现系统的Web端应用，直接面向包括公安、交警部门用户，提供各类数据综合挖掘研判的分析结果并提供辅助决策。

进一步地，所述数据处理单元包括分布式消息队列总线、实时流式计算模块、分布式数据库、关系型数据库、分布式文件管理模块、查询索引模块、离线数据挖掘模块、应用服务接口；

所述分布式消息队列总线，采用Kafka消息队列中间件，实时通过数据接入单元接收各交通监测设备上传的各类交通技术监测资源，并将监测的过车数据和交通流数据存储到分布式数据库中，过车数据同时放入kafka的消息队列中，通过实时流计算模块计算；将监测设备信息和违法数据存储到关系型数据库中；将监测设备的图像、视频数据上传到FTP服务器中。

所述实时流式计算模块，采用Spark Streaming流式计算平台，基于消息队列和流数据处理技术，实现车辆通行信息的实时处理，处理结果存储到分布式数据库中，并在前端进行展示；

所述分布式数据库，采用分布式数据库hbase，用于存储粗粒度的结构化数据，实现大数据存储、信息集成和信息共享；

所述关系型数据库，采用关系型数据库oracle，存储监测设备信息、违法数据等数据；

所述分布式文件管理模块，采用fastdfs，将FTP服务器上的视频、图片数据下载存储到fastdfs中，并将分布式文件的地址更新至数据字段中；

所述查询索引模块，利用elasticsearch建立查询索引，采用查询计算的方式，方便业务应用单元的查询；

所述离线数据挖掘模块，利用分布式数据库中的过车数据和交通流数据，采用定时计算方式，通过建立交通、数学模型，实现对交通现状的模拟、分析以及对道路规划、管理决策提供辅助；

所述应用服务接口，提供业务应用单元的接入接口，实现信息检索、研究分析和业务处理功能。

本发明的有益效果：本发明提供的区域交通智能管理系统，通过分布式数据库加关系型数据库，实现大数据存储、信息集成和信息共享，通过分布式消息队列和实时流计算技术，实现数据集中以及对过车数据的实时处理，通过分布式文件管理和查询索引技术，解决传统关系型数据库加FTP架构难以支撑海量机动车通行轨迹信息的存贮管理现状问题，构建了一个综合平台以支撑公安交通集成指挥平台、交通信号控制系统、交通违法行为监测记录系统、交通视频监视系统等应用平台和系统运行，利用大数据的优势，打破以前多个部门，多个系统之间的界限，实现一个信息融合和信息共享的平台，使现有的交通设施发挥更大的社会效益，进一步提高城市交通管理科学化、现代化水平，进一步改善城市道路交通环境，满足新时期交通管理的需求。

附图说明

下面结合附图和具体实施例对本发明作进一步详细描述。

图1是本发明的系统示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，本发明提供了一种基于大数据的区域交通智能管理系统，包括数据接入单元、数据处理单元以及业务应用单元。

数据接入单元，统一接入与交换功能是大数据支撑平台的基础服务单元。集成应用多线程、多服务WEB技术、数据并发处理技术，建立统一接入和交换接口，实现各交通监测设备的监控信息实时、并发上传、处理以及设备安全接入控制、运行监测功能，及时、可靠地汇总各类交通技术监测资源。

数据处理单元，包含数据基础统计、实时数据的处理计算以及离线数据的分析挖掘功能，是大数据支撑平台的核心单元，通过非关系型分布式数据库，对海量文本数据及图片数据进行存储管理，通过对数据读写操作的分布式处理，满足海量数据快速检索要求，通过流式计算集群，采用内存数据库技术，实现海量数据在线式的分析处理，通过批处理计算集群，实现海量数据离线式的挖掘分析处理要求；

数据处理单元包括分布式消息队列总线、实时流式计算模块、分布式数据库、关系型数据库、分布式文件管理模块、查询索引模块、离线数据挖掘模块、应用服务接口。

分布式消息队列总线，采用Kafka消息队列中间件，实时通过数据接入单元接收各交通监测设备上传的各类交通技术监测资源，实现数据集中。并将监测的过车数据和交通流数据存储到分布式数据库中，过车数据同时放入kafka的消息队列中，通过实时流计算模块计算；将监测设备信息和违法数据存储到关系型数据库中；将监测设备的图像、视频数据上传到FTP服务器中。

实时流式计算模块，采用Spark Streaming流式计算平台，基于消息队列和流数据处理技术，对过车数据进行布控信息比对、在途行驶重点车辆分析、在途行驶未年检和未报废车分析、套牌车、假牌车、无牌车行驶情况分析等实时计算，实现车辆通行信息的实时处理，处理结果存储到分布式数据库中，并在前端进行展示。

分布式数据库，采用分布式数据库hbase，用于存储粗粒度的结构化数据，适合构建高并发低延时的在线数据服务系统，实现大数据存储、信息集成和信息共享；hbase是一个分布式的、按列存储的、多维表结构的实时分布式数据库，负责海量数据存储，将数据分散存储在多台独立的设备上，系统采用可扩展的体系结构，利用多台存储服务器分担存储负荷，利用元数据服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

关系型数据库，采用关系型数据库oracle，存储监测设备信息、违法数据等数据。

分布式文件管理模块，采用fastdfs，将FTP服务器上的视频、图片数据下载存储到fastdfs中，并将分布式文件的地址更新至数据字段中，解决了传统关系型数据库oracle加FTP架构难以支撑海量机动车通行轨迹信息的存贮管理现状问题。

查询索引模块，利用elasticsearch建立查询索引，采用查询计算的方式，方便业务应用单元的查询，使得大量视频图片文件的存储和检索变得更加容易；其中，查询计算通过提供外部查询接口，外部应用调用接口时才开始计算，Elasticsearch是一个基于Lucene构建的开源、分布式、RESTful搜索引擎，设计用于云计算中，能够达到稳定、可靠、快速实时搜索。

离线数据挖掘模块，利用分布式数据库中的过车数据和交通流数据，采用定时计算方式，通过建立合理的交通、数学模型，实现对交通现状的模拟、分析以及对道路规划、管理决策提供辅助。其中，定时计算指每天按固定时间或者固定时间间隔进行计算，将计算结果存储在分布式数据库hbase中。

应用服务接口，提供业务应用单元的接入接口，实现信息检索、研究分析和业务处理功能。

业务应用单元，即浏览器端的云服务单元，采用基于J2EE的总体开发框架，实现系统的Web端应用，直接面向包括公安、交警等部门用户，提供各类数据综合挖掘研判的分析结果并提供辅助决策，方便用户与平台间的交互以及数据分析结果的展示。

本发明提供的区域交通智能管理系统，通过分布式数据库加关系型数据库，实现大数据存储、信息集成和信息共享，通过分布式消息队列和实时流计算技术，实现数据集中以及对过车数据的实时处理，通过分布式文件管理和查询索引技术，解决传统关系型数据库加FTP架构难以支撑海量机动车通行轨迹信息的存贮管理现状问题，构建了一个综合平台以支撑公安交通集成指挥平台、交通信号控制系统、交通违法行为监测记录系统、交通视频监视系统等应用平台和系统运行，利用大数据的优势，打破以前多个部门，多个系统之间的界限，实现一个信息融合和信息共享的平台，使现有的交通设施发挥更大的社会效益，进一步提高城市交通管理科学化、现代化水平，进一步改善城市道路交通环境，满足新时期交通管理的需求。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (2)

1.基于大数据的区域交通智能管理系统，其特征在于：包括数据接入单元、数据处理单元以及业务应用单元；

所述数据接入单元，集成应用多线程、多服务WEB技术、数据并发处理技术，建立统一接入和交换接口，实现各交通监测设备的监控信息实时、并发上传、处理以及设备安全接入控制、运行监测功能，及时、可靠地汇总各类交通技术监测资源；

所述数据处理单元，包含数据基础统计、实时数据的处理计算以及离线数据的分析挖掘功能，通过非关系型分布式数据库，对海量文本数据及图片数据进行存储管理，通过对数据读写操作的分布式处理，满足海量数据快速检索要求，通过流式计算集群，采用内存数据库技术，实现海量数据在线式的分析处理，通过批处理计算集群，实现海量数据离线式的挖掘分析处理；

所述业务应用单元，采用基于J2EE的总体开发框架，实现系统的Web端应用，直接面向包括公安、交警部门用户，提供各类数据综合挖掘研判的分析结果并提供辅助决策。

2.根据权利要求1所述的基于大数据的区域交通智能管理系统，其特征在于：所述数据处理单元包括分布式消息队列总线、实时流式计算模块、分布式数据库、关系型数据库、分布式文件管理模块、查询索引模块、离线数据挖掘模块、应用服务接口；

所述分布式消息队列总线，采用Kafka消息队列中间件，实时通过数据接入单元接收各交通监测设备上传的各类交通技术监测资源，并将监测的过车数据和交通流数据存储到分布式数据库中，过车数据同时放入kafka的消息队列中，通过实时流计算模块计算；将监测设备信息和违法数据存储到关系型数据库中；将监测设备的图像、视频数据上传到FTP服务器中。

所述实时流式计算模块，采用Spark Streaming流式计算平台，基于消息队列和流数据处理技术，实现车辆通行信息的实时处理，处理结果存储到分布式数据库中，并在前端进行展示；

所述分布式数据库，采用分布式数据库hbase，用于存储粗粒度的结构化数据，实现大数据存储、信息集成和信息共享；

所述关系型数据库，采用关系型数据库oracle，存储监测设备信息、违法数据等数据；

所述分布式文件管理模块，采用fastdfs，将FTP服务器上的视频、图片数据下载存储到fastdfs中，并将分布式文件的地址更新至数据字段中；

所述查询索引模块，利用elasticsearch建立查询索引，采用查询计算的方式，方便业务应用单元的查询；

所述离线数据挖掘模块，利用分布式数据库中的过车数据和交通流数据，采用定时计算方式，通过建立交通、数学模型，实现对交通现状的模拟、分析以及对道路规划、管理决策提供辅助；

所述应用服务接口，提供业务应用单元的接入接口，实现信息检索、研究分析和业务处理功能。