CN109345823B - 一种基于大数据的智能交通数据分析系统 - Google Patents
一种基于大数据的智能交通数据分析系统 Download PDFInfo
- Publication number
- CN109345823B CN109345823B CN201811095119.6A CN201811095119A CN109345823B CN 109345823 B CN109345823 B CN 109345823B CN 201811095119 A CN201811095119 A CN 201811095119A CN 109345823 B CN109345823 B CN 109345823B
- Authority
- CN
- China
- Prior art keywords
- data
- analysis
- travel time
- traffic
- flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007405 data analysis Methods 0.000 title claims abstract description 56
- 238000004458 analytical method Methods 0.000 claims abstract description 63
- 238000005206 flow analysis Methods 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000011156 evaluation Methods 0.000 claims abstract description 21
- 230000006870 function Effects 0.000 claims abstract description 18
- 238000004364 calculation method Methods 0.000 claims abstract description 14
- 238000007619 statistical method Methods 0.000 claims abstract description 4
- 238000010586 diagram Methods 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 10
- 238000007621 cluster analysis Methods 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 4
- 238000013461 design Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 abstract description 3
- 230000008878 coupling Effects 0.000 abstract description 2
- 238000010168 coupling process Methods 0.000 abstract description 2
- 238000005859 coupling reaction Methods 0.000 abstract description 2
- 230000004044 response Effects 0.000 description 6
- 238000013500 data storage Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- PHIQHXFUZVPYII-UHFFFAOYSA-N carnitine Chemical compound C[N+](C)(C)CC(O)CC([O-])=O PHIQHXFUZVPYII-UHFFFAOYSA-N 0.000 description 3
- 240000000797 Hibiscus cannabinus Species 0.000 description 2
- 235000002905 Rumex vesicarius Nutrition 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- ZLIBICFPKPWGIZ-UHFFFAOYSA-N pyrimethanil Chemical compound CC1=CC(C)=NC(NC=2C=CC=CC=2)=N1 ZLIBICFPKPWGIZ-UHFFFAOYSA-N 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
- G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Theoretical Computer Science (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明是一种基于大数据的智能交通数据分析系统，包括：数据加载模块，将交通基础设施产生的流量和卡口数据写入HBase；流量统计和分析模块，实现按车道流量分析、按相位流量分析、按方向流量分析三项功能；路段旅行时间分析模块，实现路段或路线所有旅行时间计算、旅行时间聚类分析、方案评价和拥堵状态发布四项功能，车辆轨迹分析模块，统计指定时间范围内的车辆轨迹，分析展示车辆的行驶轨迹；最优路径推荐模块，综合路段的拥堵状态和路径的平均旅行时间向用户推荐最优路径；OD分析模块，统计每个途径点的途径次数，对出行量进行统计分析。本发明具有海量数据处理能力，功能丰富，集成度高，耦合度低，可集成于实际道路交通控制系统中。
Description
技术领域
本发明属于智能交通控制系统领域，具体涉及一种基于大数据的数据分析系统。
背景技术
随着物联网、移动互联网和城市智能交通系统的快速发展，交通数据量大大提升，进入了大数据时代。交通数据中包含大量有价值的数据，这些数据对智能交通行业的发展起到了巨大的推动作用。传统数据分析系统受资源的限制，运算效率低下，已无法满足大数据处理的需求。
因此，根据智能交通数据分析系统发展的方向，研发基于大数据分布式计算架构、分布式数据库等技术建立处理各种海量数据的智能交通数据分析系统具有重要的意义。
发明内容
本发明所要解决的技术问题是针对传统数据分析方法的不足，提供一种基于大数据的智能交通数据分析系统，该系统具有海量数据存储、海量数据在线与离线分析等功能，以流量数据与卡口数据为基础，为城市智能交通提供运行状态、评价和配时推荐等重要信息。
本发明所要解决的技术问题是通过以下的技术方案来实现的。本发明是一种基于大数据的智能交通数据分析系统，其特点是，包括：
数据加载模块，将交通基础设施产生的流量和卡口数据写入HBase；
流量统计和分析模块，实现按车道流量分析、按相位流量分析、按方向流量分析三项功能，对流量数据进行处理，展示处理结果，为路口配时提供决策依据和推荐方案；
路段旅行时间分析模块，模块实现路段或路线所有旅行时间计算、旅行时间聚类分析、方案评价和拥堵状态发布四项功能，对卡口数据进行处理，展示处理结果，提供方案的评价依据，发布拥堵状态；
车辆轨迹分析模块，统计指定时间范围内的车辆轨迹，分析展示车辆的行驶轨迹；
最优路径推荐模块，利用卡口数据实时计算路段的拥堵状态和路径的平均旅行时间，综合路段的拥堵状态和路径的平均旅行时间向用户推荐最优路径；
OD分析模块，系统根据卡口数据分析在指定的时间范围内和指定车辆类型经过起点和终点的交通出行量，并统计每个途径点的途径次数，并以热力图的方式展示结果，对出行量进行统计分析。
本发明所述的基于大数据的智能交通数据分析系统，其进一步优选的技术方案或技术特征是：该系统采用B/S架构模式，采用三层架构，将数据层、服务层和应用层划分到不同的模块中，数据层分为集群数据层和非集群数据层，服务层对应分为集群服务层和非集群服务层，而由统一的应用层和集群服务层和非集群服务层，系统设计尽量解耦。
本发明所述的基于大数据的智能交通数据分析系统，其进一步优选的技术方案或技术特征是：系统采用Kafka作为消息服务器，SparkStreaming作为实时流式处理系统，前端设备将流量和卡口数据写入Kafka服务器，SparkStreaming作为消费者读取Kafka中的数据并将处理后的数据写入HBase。
本发明所述的基于大数据的智能交通数据分析系统，其进一步优选的技术方案或技术特征是：所述的数据加载模块为在线处理，数据加载模块独立于系统中的其他模块，作为系统的输入，负责将前端设备产生的数据写入HBase中；前端设备作为生产者将卡口数据和流量数据提交给消息系统Kafka；用Spark Streaming编写消费者，向Kafka broker读取消息，根据数据类别的不同，将数据分别存储到HBase的卡口数据表和流量数据表中；
在Kafka中分别为流量和卡口数据建立两个Topic，将Broker建立在所有主机的6667端口上，数据转发中间件通过生产者的方式向Broker转发数据；以Spark Streaming的方式向Broker订阅卡口数据和流量数据，并将主动获取的数据按Topic分类写入HBase对应的表中。
本发明所述的基于大数据的智能交通数据分析系统，其进一步优选的技术方案或技术特征是：所述的流量统计和分析模块中，流量统计模块为离线数据分析，分为按车道流量分析、按相位流量分析、按方向流量分析；流量分析模块为在线数据分析；
所述按车道流量分析是统计用户所选路口集合中所有路口在指定时间范围内，每隔指定时间段所有车道的流量数据，统计完毕后，将统计结果保存于HBase数据库；用户可以选择查看并对比单个路口某些车道流量，用户可以选择查看并对比某些路口所选车道流量；
所述按相位流量分析是统计用户所选路口集合中所有路口在指定时间范围内，每隔指定时间段所有相位的流量数据；统计完毕后，将统计结果保存于HBase数据库；用户可以选择查看并对比单个路口某些相位流量，用户可以选择查看并对比某些路口所选相位流量；
所述按方向流量分析是统计用户所选路口集合中所有路口在指定时间范围内，每隔指定时间段所有方向的流量数据；统计完毕后，将统计结果保存于HBase数据库；用户可以选择查看并对比单个路口某些方向流量，用户可以选择查看并对比某些路口所选方向流量；
流量分析模块中，用户可以在系统中配置路口集，利用Kafka结合SparkStreaming获取路口集中所有路口的实时流量信息，对每一个路口，根据相位流量和当前路口的放行方案，进行路口运行状态评估，并给出推荐放行方案，并将推荐放行方案保存于HBase数据库中。
本发明所述的基于大数据的智能交通数据分析系统，其进一步优选的技术方案或技术特征是：所述路段旅行时间分析模块包括路段或路线所有旅行时间计算、旅行时间聚类分析、方案评价和拥堵状态发布，前三个功能为离线数据分析，拥堵状态发布为在线数据分析；
路段或路线所有旅行时间计算：用户在系统中选择需要统计的路段或路线并指定时间范围；对每一条路段或路线，统计在指定时间范围内经过路段或路线的所有车辆的旅行时间，并将结果保存于数据库中，当用户选择查看指定时间范围某路段或路线的旅行时间时，使用ECharts散点图控件展现所有通过该路段或路线的车辆的旅行时间，其中x轴表示车辆起始时间，y轴表示车辆的旅行时间；
旅行时间聚类分析：散点图控件展现后，将每一辆车的旅行时间看作一个时间样本用户可以选择对旅行时间进行聚类，聚类结果为所有类别包含的样本时间、类中心点和时间样本个数，系统自动选择包含时间样本最多的类的中心点作为有效路段旅行时间；用户也可以自己标定有效旅行时间与最小旅行时间，并将结果保存于数据库中；
方案评价：用户可以查看并对比某路段或路线在不同时间段内所有车辆的旅行时间，以评价不同时间的方案的运行结果；在ECharts中用散点图控件展现，整体旅行时间趋势越靠近0，那么表示该时段运行的方案越优秀；
拥堵状态发布：用户选择所有需要发布拥堵状态的路段，使用Kafka结合SparkStreaming获取实时卡口数据，实时计算路段有效旅行时间，然后利用路段距离和有效旅行时间计算交通拥堵指数，根据交通拥堵指数发布路段的拥堵状态为：畅通、基本畅通、轻度拥堵、中度拥堵与严重拥堵。
本发明所述的基于大数据的智能交通数据分析系统，其进一步优选的技术方案或技术特征是：所述车辆轨迹分析模块属于离线数据分析；用户在系统中选择需要统计的车辆并指定时间范围；经大数据分析后，系统返回每辆车在指定时间范围内所到达的卡口坐标，根据已有卡口坐标在高德地图中进行路径规划，并将路径规划结果展示给用户。
本发明所述的基于大数据的智能交通数据分析系统，其进一步优选的技术方案或技术特征是：所述最优路径推荐模块属于在线数据分析；用户选择起始点和终止点，系统计算这两点间的可行路径，对每一条可行路径，使用Kafka结合Spark Streaming获取实时卡口数据，实时计算路段的拥堵状态和路径的平均旅行时间，综合路段的拥堵状态和路径的平均旅行时间进行路径推荐，最终将路径推荐的结果实时更新在高德地图上，用颜色表示每个路段的拥堵状态，并展示路径的平均旅行时间。
本发明所述的基于大数据的智能交通数据分析系统，其进一步优选的技术方案或技术特征是：所述OD分析模块为离线数据分析；用户选择起点A、终点B、时间范围和车辆类型，系统根据卡口数据分析在指定的时间范围内和指定车辆类型经过起点A和终点B的交通出行量，并统计每个途径点的途径次数；最终将分析结果展示在电子地图上，途径点按照途径次数划分等级，以热力图的形式展示。
与现有技术相比，本发明系统具有海量数据处理能力，功能丰富，集成度高，耦合度低，可集成于实际道路交通控制系统中。能实现海量数据存储、海量数据在线与离线分析等功能，以流量数据与卡口数据为基础，为城市智能交通提供运行状态、评价和配时推荐等重要信息。
附图说明
图1为本发明的数据入库流程图；
图2为本发明各模块间的调用关系图。
具体实施方式
下面结合附图对本发明的实施方式作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。
实施例1，一种基于大数据的智能交通数据分析系统，包括：
数据加载模块，将交通基础设施产生的流量和卡口数据写入HBase；
流量统计和分析模块，实现按车道流量分析、按相位流量分析、按方向流量分析三项功能，对流量数据进行处理，展示处理结果，为路口配时提供决策依据和推荐方案；
路段旅行时间分析模块，模块实现路段或路线所有旅行时间计算、旅行时间聚类分析、方案评价和拥堵状态发布四项功能，对卡口数据进行处理，展示处理结果，提供方案的评价依据，发布拥堵状态；
车辆轨迹分析模块，统计指定时间范围内的车辆轨迹，分析展示车辆的行驶轨迹；
最优路径推荐模块，利用卡口数据实时计算路段的拥堵状态和路径的平均旅行时间，综合路段的拥堵状态和路径的平均旅行时间向用户推荐最优路径；
OD分析模块，系统根据卡口数据分析在指定的时间范围内和指定车辆类型经过起点和终点的交通出行量，并统计每个途径点的途径次数，并以热力图的方式展示结果，对出行量进行统计分析。
实施例2，实施例1所述的基于大数据的智能交通数据分析系统中：该系统采用B/S架构模式，采用三层架构，将数据层、服务层和应用层划分到不同的模块中，数据层分为集群数据层和非集群数据层，服务层对应分为集群服务层和非集群服务层，而由统一的应用层和集群服务层和非集群服务层，系统设计尽量解耦。
系统架构分为数据层、服务层和应用层：数据层包括集群数据层和非集群数据层，非集群数据层可以采用传统Oracle数据库，集群数据层采用HBase数据库，非集群数据层存储结构化非海量数据，利用Java进行数据处理。集群数据层存储海量交通数据，Spark计算框架负责大数据的在线和离线分析，此外数据层还负责响应服务层的数据处理请求；服务层基于SpringMVC框架搭建，和数据层对应，分为集群服务层和非集群服务层，提供简洁高效的Restful接口来处理来自应用层的请求。集群服务层向集群数据层的大数据资源管理与调度器Yarn提交相应的Job请求进行大数据分析，非集群服务层通过Hibernate框架操作Oracle数据库进行数据处理。应用层根据用户的操作向服务层发起Restful请求，获取Http应答结果并用ECharts展示。
实施例3，实施例1或2所述的基于大数据的智能交通数据分析系统中：系统采用Kafka作为消息服务器，SparkStreaming作为实时流式处理系统，前端设备将流量和卡口数据写入Kafka服务器，SparkStreaming作为消费者读取Kafka中的数据并将处理后的数据写入HBase。
实施例4，实施例1－3任何一项所述的基于大数据的智能交通数据分析系统中：所述的数据加载模块为在线处理，数据加载模块独立于系统中的其他模块，作为系统的输入，负责将前端设备产生的数据写入HBase中；前端设备作为生产者将卡口数据和流量数据提交给消息系统Kafka；用Spark Streaming编写消费者，向Kafka broker读取消息，根据数据类别的不同，将数据分别存储到HBase的卡口数据表和流量数据表中；
在Kafka中分别为流量和卡口数据建立两个Topic，将Broker建立在所有主机的6667端口上，数据转发中间件通过生产者的方式向Broker转发数据；以Spark Streaming的方式向Broker订阅卡口数据和流量数据，并将主动获取的数据按Topic分类写入HBase对应的表中。
实施例5，实施例1－4任何一项所述的基于大数据的智能交通数据分析系统中：所述的流量统计和分析模块中，流量统计模块为离线数据分析，分为按车道流量分析、按相位流量分析、按方向流量分析；流量分析模块为在线数据分析；
所述按车道流量分析是统计用户所选路口集合中所有路口在指定时间范围内，每隔指定时间段所有车道的流量数据，统计完毕后，将统计结果保存于HBase数据库；用户可以选择查看并对比单个路口某些车道流量，用户可以选择查看并对比某些路口所选车道流量；
所述按相位流量分析是统计用户所选路口集合中所有路口在指定时间范围内，每隔指定时间段所有相位的流量数据；统计完毕后，将统计结果保存于HBase数据库；用户可以选择查看并对比单个路口某些相位流量，用户可以选择查看并对比某些路口所选相位流量；
所述按方向流量分析是统计用户所选路口集合中所有路口在指定时间范围内，每隔指定时间段所有方向的流量数据；统计完毕后，将统计结果保存于HBase数据库；用户可以选择查看并对比单个路口某些方向流量，用户可以选择查看并对比某些路口所选方向流量；
流量分析模块中，用户可以在系统中配置路口集，利用Kafka结合SparkStreaming获取路口集中所有路口的实时流量信息，对每一个路口，根据相位流量和当前路口的放行方案，进行路口运行状态评估，并给出推荐放行方案，并将推荐放行方案保存于HBase数据库中。
实施例6，实施例1－5任何一项所述的基于大数据的智能交通数据分析系统中：所述路段旅行时间分析模块包括路段或路线所有旅行时间计算、旅行时间聚类分析、方案评价和拥堵状态发布，前三个功能为离线数据分析，拥堵状态发布为在线数据分析；
路段或路线所有旅行时间计算：用户在系统中选择需要统计的路段或路线并指定时间范围；对每一条路段或路线，统计在指定时间范围内经过路段或路线的所有车辆的旅行时间，并将结果保存于数据库中，当用户选择查看指定时间范围某路段或路线的旅行时间时，使用ECharts散点图控件展现所有通过该路段或路线的车辆的旅行时间，其中x轴表示车辆起始时间，y轴表示车辆的旅行时间；
旅行时间聚类分析：散点图控件展现后，将每一辆车的旅行时间看作一个时间样本用户可以选择对旅行时间进行聚类，聚类结果为所有类别包含的样本时间、类中心点和时间样本个数，系统自动选择包含时间样本最多的类的中心点作为有效路段旅行时间；用户也可以自己标定有效旅行时间与最小旅行时间，并将结果保存于数据库中；
方案评价：用户可以查看并对比某路段或路线在不同时间段内所有车辆的旅行时间，以评价不同时间的方案的运行结果；在ECharts中用散点图控件展现，整体旅行时间趋势越靠近0，那么表示该时段运行的方案越优秀；
拥堵状态发布：用户选择所有需要发布拥堵状态的路段，使用Kafka结合SparkStreaming获取实时卡口数据，实时计算路段有效旅行时间，然后利用路段距离和有效旅行时间计算交通拥堵指数，根据交通拥堵指数发布路段的拥堵状态为：畅通、基本畅通、轻度拥堵、中度拥堵与严重拥堵。
实施例7，实施例1－6任何一项所述的基于大数据的智能交通数据分析系统中：所述车辆轨迹分析模块属于离线数据分析；用户在系统中选择需要统计的车辆并指定时间范围；经大数据分析后，系统返回每辆车在指定时间范围内所到达的卡口坐标，根据已有卡口坐标在高德地图中进行路径规划，并将路径规划结果展示给用户。
实施例8，实施例1－7任何一项所述的基于大数据的智能交通数据分析系统中：所述最优路径推荐模块属于在线数据分析；用户选择起始点和终止点，系统计算这两点间的可行路径，对每一条可行路径，使用Kafka结合Spark Streaming获取实时卡口数据，实时计算路段的拥堵状态和路径的平均旅行时间，综合路段的拥堵状态和路径的平均旅行时间进行路径推荐，最终将路径推荐的结果实时更新在高德地图上，用颜色表示每个路段的拥堵状态，并展示路径的平均旅行时间。
实施例9，实施例1－7任何一项所述的基于大数据的智能交通数据分析系统中：所述OD分析模块为离线数据分析；用户选择起点A、终点B、时间范围和车辆类型，系统根据卡口数据分析在指定的时间范围内和指定车辆类型经过起点A和终点B的交通出行量，并统计每个途径点的途径次数；最终将分析结果展示在电子地图上，途径点按照途径次数划分等级，以热力图的形式展示。
智能交通系统中设备产生的流量和卡口数据保存于大数据集群的HBase数据库中，而其它数据保存于Oracle数据库中，用户可以在系统中对海量流量和卡口数据进行数据分析，对有价值的数据结果进行保存，并在系统中展示。例如查找一辆车在指定时间段内的行车轨迹，数据层接收服务层提交的Job，在HBase数据库中查找记录并将结果返回给服务层，服务层接收轨迹数据并返回给应用层，应用层在地图上展示车辆轨迹。
大数据集群可以由4台x86架构的服务器组成，每台服务器的搭载10个2TB硬盘，2个2.5GHz的8核CPU，128GB内存，服务器通过千兆以太网连接。集群数据层中，大数据分析功能基于Hadoop 2.7.3，Spark 1.6.2，Scala 2.10.5，使用Scala语言进行开发；非集群数据层的数据处理基于jdk1.8，使用Java语言进行开发。非集群数据层的传统数据库基于Oracle 11g搭建，存储卡口映射表、路口映射表、路口当前放行方案表和路口车道映射表。集群数据层的海量数据存储基于HBase，存储路口各车道的流量数据和各卡口的过车数据。利用Spark计算框架和Scala语言处理HBase中的海量数据并打成jar包，以供服务层调用。非集群服务层基于SpringMVC框架整合Hibernate进行开发，通过SpringMVC实现请求与业务处理，对Oracle的访问通过Hibernate实现高效交互；集群服务层基于SpringMVC进行开发，与非集群服务层处于不同的域中，对HBase数据的访问通过jar包的调用以提交Job来实现。
应用层负责与服务层进行交互，采用AJAX JSONP对集群服务层进行跨域访问，采用AJAX JSON访问非集群服务层的Restful接口和服务器进行数据交互。
实施例10，一种基于大数据的智能交通数据分析系统，包括一个基于大数据的数据加载模块和5个基于大数据的智能交通数据分析模块：流量统计和分析模块、路段旅行时间分析模块、车辆轨迹分析模块、最优路径推荐模块和OD分析模块。
1.数据加载模块
数据加载模块：为在线处理。该模块独立于系统中的其他模块，作为系统的输入，负责将前端设备产生的数据写入HBase中。前端设备作为生产者将卡口数据和流量数据提交给消息系统Kafka。用Spark Streaming编写消费者，向Kafka broker读取消息，根据数据类别的不同，将数据分别存储到HBase的卡口数据表和流量数据表中。
卡口表在HBase中的表结构为：
其中卡口表的行健为carnum(车牌号)、passdate(过车时间)和addresscode(卡口编号)的组合，唯一的列族cf1包含carnum(车牌号)、passdate(过车时间)、addresscode(卡口编号)、dirid(车道方向)、cartype(车辆类型)、typecolor(车牌颜色)和lanenum(车道号)。
为了按照时间查询应用能够快速得到分析结果，以passdate+addresscode+carnum建立组合二级索引。
流量表在HBase中的表结构为：
其中流量表的行健为roadid(路口id)和datetime(1分钟开始时间)的组合，唯一的列族cf1包含roadid(路口id)、datetime (1分钟开始时间)、dirid(车道方向)、lanenum(车道号)和roadname(路口名)。
为了按照时间查询应用能够快速得到分析结果，以datetime+roadid建立组合二级索引。
在Kafka中分别为流量和卡口数据建立两个Topic，将Broker建立在所有主机的6667端口上，数据转发中间件通过生产者的方式向Broker转发数据；以SparkStreaming的方式向Broker订阅卡口数据和流量数据，并将主动获取的数据按Topic分类写入HBase对应的表中。
2.流量统计和分析模块
流量统计模块：为离线数据分析，分为按车道流量分析、按相位流量分析、按方向流量分析。
车道流量分析：统计用户所选路口集合中所有路口在指定时间范围内，每隔指定时间段所有车道的流量数据。统计完毕后，将统计结果保存于HBase数据库。用户可以选择查看并对比单个路口某些车道流量，例如，将路口1的车道1、车道2与车道3一天24小时流量数据按10分钟时间间隔用ECharts折线图控件展现；用户可以选择查看并对比某些路口所选车道流量，例如，将路口1车道1、路口2与路口3的车道11一天24小时流量数据按5分钟时间间隔用ECharts折线图控件展现。
相位流量分析：统计用户所选路口集合中所有路口在指定时间范围内，每隔指定时间段所有相位的流量数据。统计完毕后，将统计结果保存于HBase数据库。用户可以选择查看并对比单个路口某些相位流量，例如，将路口1的东直、西直与南直相位一天24小时流量数据按10分钟时间间隔用ECharts折线图控件展现；用户可以选择查看并对比某些路口所选相位流量，例如，将路口1东直相位、路口2与路口3的西直相位一天24小时流量数据按5分钟时间间隔用ECharts折线图控件展现。
方向流量分析：统计用户所选路口集合中所有路口在指定时间范围内，每隔指定时间段所有方向的流量数据。统计完毕后，将统计结果保存于HBase数据库。用户可以选择查看并对比单个路口某些方向流量，例如，将路口1的东方向、西方向一天24小时流量数据按10分钟时间间隔用ECharts折线图控件展现；用户可以选择查看并对比某些路口所选方向流量，例如，将路口1、路口2与路口3的东方向一天24小时流量数据按30分钟时间间隔用ECharts折线图控件展现。
流量分析模块：为在线数据分析。用户可以在系统中配置路口集，利用Kafka结合Spark Streaming获取路口集中所有路口的实时流量信息，对每一个路口，根据相位流量和当前路口的放行方案，进行路口运行状态评估，并给出推荐放行方案，并将推荐放行方案保存于HBase数据库中。
3.路段旅行时间分析模块
路段旅行时间分析模块包括路段或路线所有旅行时间计算、旅行时间聚类分析、方案评价和拥堵状态发布，前三个功能为离线数据分析，拥堵状态发布为在线数据分析。
路段或路线所有旅行时间计算：用户在系统中选择需要统计的路段或路线并指定时间范围。对每一条路段或路线（例如路口1至路口2的有向路段），统计在指定时间范围内经过路段或路线的所有车辆的旅行时间，并将结果保存于数据库中，当用户选择查看指定时间范围某路段或路线的旅行时间时，使用ECharts散点图控件展现所有通过该路段或路线的车辆的旅行时间，其中x轴表示车辆起始时间，y轴表示车辆的旅行时间。
旅行时间聚类分析：散点图控件展现后，将每一辆车的旅行时间看作一个时间样本用户可以选择对旅行时间进行聚类，聚类结果为所有类别包含的样本时间、类中心点和时间样本个数，系统自动选择包含时间样本最多的类的中心点作为有效路段旅行时间；用户也可以自己标定有效旅行时间与最小旅行时间，并将结果保存于数据库中。
方案评价：用户可以查看并对比某路段或路线在不同时间段内所有车辆的旅行时间，以评价不同时间的方案的运行结果。例如：将路口1至路口2之间的路段在2018.1.1 17:00:00-2018.1.1 18:00:00的所有车辆旅行时间用红色散点表示，2018.1.2 17:00:00-2018.1.2 18:00:00的所有车辆旅行时间用蓝色散点表示，在ECharts中用散点图控件展现，整体旅行时间趋势越靠近0，那么表示该时段运行的方案越优秀。
拥堵状态发布：用户选择所有需要发布拥堵状态的路段，使用Kafka结合SparkStreaming获取实时卡口数据，实时计算路段有效旅行时间，然后利用路段距离和有效旅行时间计算交通拥堵指数，根据交通拥堵指数发布路段的拥堵状态为：畅通、基本畅通、轻度拥堵、中度拥堵与严重拥堵。
4.车辆轨迹分析模块
车辆轨迹分析模块：属于离线数据分析。用户在系统中选择需要统计的车辆并指定时间范围。经大数据分析后，系统返回每辆车在指定时间范围内所到达的卡口坐标，根据已有卡口坐标在高德地图中进行路径规划，并将路径规划结果展示给用户。
5.最优路径推荐模块
最优路径推荐模块：属于在线数据分析。用户选择起始点和终止点，系统计算这两点间的可行路径，对每一条可行路径，使用Kafka结合Spark Streaming获取实时卡口数据，实时计算路段的拥堵状态和路径的平均旅行时间，综合路段的拥堵状态和路径的平均旅行时间进行路径推荐，最终将路径推荐的结果实时更新在高德地图上，用颜色表示每个路段的拥堵状态，并展示路径的平均旅行时间。
6.OD分析模块
OD分析模块：为离线数据分析。用户选择起点A、终点B、时间范围和车辆类型，系统根据卡口数据分析在指定的时间范围内和指定车辆类型经过起点A和终点B的交通出行量，并统计每个途径点的途径次数。最终将分析结果展示在高德地图上，途径点按照途径次数划分等级，以热力图的形式展示。
实施例11，一种基于大数据的智能交通数据分析系统，准备4台搭载10个2TB硬盘、2个2.5GHz 8核CPU、128GB内存的服务器，分别起名为：host-01、host-02、host-03和host-04，IP地址分配分别为172.16.23.2、172.16.23.3、172.16.23.4和172.16.23.5。服务器安装Centos7.2操作系统，安装Java编译环境jdk1.8，以本地源的方式安装Ambari，在Ambari集群监管平台中安装HDFS、Tez、Hive、Kafka、HBase、YARN+MapReduce2、Pig、Sqoop、Zookeeper、Spark组件。在host-01中安装Tomcat服务器。
将数据加载模块打包成Import.jar，并上传到HDFS中，通过spark-submit命令开启输入的流式处理过程，数据入库的过程如图1所示。
将流量统计与分析模块、路段旅行时间分析模块、车辆轨迹分析模块、最优路径推荐模块和OD分析模块下所有功能打包成Hadoop.jar，并上传到HDFS中，Hadoop.jar负责集群数据层的处理。
本系统包含两个web项目：web项目STDAS基于SpringMVC框架整合Hibernate开发，是本系统中的顶层应用，包含应用层、非集群应用层和非集群数据层。Web项目BDAPI基于SpringMVC框架开发，是本系统中的集群服务层。将STDAS部署到Tomcat服务器，占用8085端口；将API部署到Tomcat服务器，占用端口8086。
系统中各模块间的调用关系如图2所示。
本系统只有STDAS对用户可见，包含流量统计与分析模块、路段旅行时间分析模块、车辆轨迹分析模块、最优路径推荐模块和OD分析模块，STDAS将所有用户的处理请求转变为ajax请求，STDAS和BDAPI中的控制层采用@RequestMapping注解匹配ajax请求中的IP地址和方法，STDAS控制层的控制器处理匹配的http请求，并调用相应的服务，服务调用DAO和数据库进行交互，终将数据返回给控制层，控制层将数据封装到返回页面的Response中，浏览器获取Response中的对象，将对象中的数据以文本或者ECharts图表的形式展现。BDAPI控制层直接向集群提交Job，待Job执行完毕后，利用Hive读取HBase中保存的数据，最终将数据返回给控制层，控制层将数据封装到返回页面的Response中，浏览器获取Response中的对象，将对象中的数据以文本或者ECharts图表的形式展现。
Claims (3)
1.一种基于大数据的智能交通数据分析系统，其特征在于，包括：
数据加载模块，将交通基础设施产生的流量和卡口数据写入HBase；
流量统计和分析模块，实现按车道流量分析、按相位流量分析、按方向流量分析三项功能，对流量数据进行处理，展示处理结果，为路口配时提供决策依据和推荐方案；
路段旅行时间分析模块，模块实现路段或路线所有旅行时间计算、旅行时间聚类分析、方案评价和拥堵状态发布四项功能，对卡口数据进行处理，展示处理结果，提供方案的评价依据，发布拥堵状态；
车辆轨迹分析模块，统计指定时间范围内的车辆轨迹，分析展示车辆的行驶轨迹；
最优路径推荐模块，利用卡口数据实时计算路段的拥堵状态和路径的平均旅行时间，综合路段的拥堵状态和路径的平均旅行时间向用户推荐最优路径；
OD分析模块，系统根据卡口数据分析在指定的时间范围内和指定车辆类型经过起点和终点的交通出行量，并统计每个途径点的途径次数，并以热力图的方式展示结果，对出行量进行统计分析；
所述的数据加载模块为在线处理，数据加载模块独立于系统中的其他模块，作为系统的输入，负责将前端设备产生的数据写入HBase中；前端设备作为生产者将卡口数据和流量数据提交给消息系统Kafka；用Spark Streaming编写消费者，向Kafka broker读取消息，根据数据类别的不同，将数据分别存储到HBase的卡口数据表和流量数据表中；
在Kafka中分别为流量和卡口数据建立两个Topic，将Broker建立在所有主机的6667端口上，数据转发中间件通过生产者的方式向Broker转发数据；以Spark Streaming的方式向Broker订阅卡口数据和流量数据，并将主动获取的数据按Topic分类写入HBase对应的表中；
所述的流量统计和分析模块中，流量统计模块为离线数据分析，分为按车道流量分析、按相位流量分析、按方向流量分析；流量分析模块为在线数据分析；
所述按车道流量分析是统计用户所选路口集合中所有路口在指定时间范围内，每隔指定时间段所有车道的流量数据，统计完毕后，将统计结果保存于HBase数据库；用户可以选择查看并对比单个路口某些车道流量，用户可以选择查看并对比某些路口所选车道流量；
所述按相位流量分析是统计用户所选路口集合中所有路口在指定时间范围内，每隔指定时间段所有相位的流量数据；统计完毕后，将统计结果保存于HBase数据库；用户可以选择查看并对比单个路口某些相位流量，用户可以选择查看并对比某些路口所选相位流量；
所述按方向流量分析是统计用户所选路口集合中所有路口在指定时间范围内，每隔指定时间段所有方向的流量数据；统计完毕后，将统计结果保存于HBase数据库；用户可以选择查看并对比单个路口某些方向流量，用户可以选择查看并对比某些路口所选方向流量；
流量分析模块中，用户可以在系统中配置路口集，利用Kafka结合Spark Streaming获取路口集中所有路口的实时流量信息，对每一个路口，根据相位流量和当前路口的放行方案，进行路口运行状态评估，并给出推荐放行方案，并将推荐放行方案保存于HBase数据库中；
所述路段旅行时间分析模块包括路段或路线所有旅行时间计算、旅行时间聚类分析、方案评价和拥堵状态发布，前三个功能为离线数据分析，拥堵状态发布为在线数据分析；
路段或路线所有旅行时间计算：用户在系统中选择需要统计的路段或路线并指定时间范围；对每一条路段或路线，统计在指定时间范围内经过路段或路线的所有车辆的旅行时间，并将结果保存于数据库中，当用户选择查看指定时间范围某路段或路线的旅行时间时，使用ECharts散点图控件展现所有通过该路段或路线的车辆的旅行时间，其中x轴表示车辆起始时间，y轴表示车辆的旅行时间；
旅行时间聚类分析：散点图控件展现后，将每一辆车的旅行时间看作一个时间样本用户可以选择对旅行时间进行聚类，聚类结果为所有类别包含的样本时间、类中心点和时间样本个数，系统自动选择包含时间样本最多的类的中心点作为有效路段旅行时间；用户也可以自己标定有效旅行时间与最小旅行时间，并将结果保存于数据库中；
方案评价：用户可以查看并对比某路段或路线在不同时间段内所有车辆的旅行时间，以评价不同时间的方案的运行结果；在ECharts中用散点图控件展现，整体旅行时间趋势越靠近0，那么表示该时段运行的方案越优秀；
拥堵状态发布：用户选择所有需要发布拥堵状态的路段，使用Kafka结合SparkStreaming获取实时卡口数据，实时计算路段有效旅行时间，然后利用路段距离和有效旅行时间计算交通拥堵指数，根据交通拥堵指数发布路段的拥堵状态为：畅通、基本畅通、轻度拥堵、中度拥堵与严重拥堵；
所述车辆轨迹分析模块属于离线数据分析；用户在系统中选择需要统计的车辆并指定时间范围；经大数据分析后，系统返回每辆车在指定时间范围内所到达的卡口坐标，根据已有卡口坐标在高德地图中进行路径规划，并将路径规划结果展示给用户；
所述最优路径推荐模块属于在线数据分析；用户选择起始点和终止点，系统计算这两点间的可行路径，对每一条可行路径，使用Kafka结合Spark Streaming获取实时卡口数据，实时计算路段的拥堵状态和路径的平均旅行时间，综合路段的拥堵状态和路径的平均旅行时间进行路径推荐，最终将路径推荐的结果实时更新在高德地图上，用颜色表示每个路段的拥堵状态，并展示路径的平均旅行时间；
所述OD分析模块为离线数据分析；用户选择起点A、终点B、时间范围和车辆类型，系统根据卡口数据分析在指定的时间范围内和指定车辆类型经过起点A和终点B的交通出行量，并统计每个途径点的途径次数；最终将分析结果展示在电子地图上，途径点按照途径次数划分等级，以热力图的形式展示。
2.根据权利要求1所述的基于大数据的智能交通数据分析系统，其特征在于：该系统采用B/S架构模式，采用三层架构，将数据层、服务层和应用层划分到不同的模块中，数据层分为集群数据层和非集群数据层，服务层对应分为集群服务层和非集群服务层，而由统一的应用层管理集群服务层和非集群服务层，系统设计尽量解耦。
3.根据权利要求1所述的基于大数据的智能交通数据分析系统，其特征在于：系统采用Kafka作为消息服务器，SparkStreaming作为实时流式处理系统，前端设备将流量和卡口数据写入Kafka服务器，SparkStreaming作为消费者读取Kafka中的数据并将处理后的数据写入HBase。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811095119.6A CN109345823B (zh) | 2018-09-19 | 2018-09-19 | 一种基于大数据的智能交通数据分析系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811095119.6A CN109345823B (zh) | 2018-09-19 | 2018-09-19 | 一种基于大数据的智能交通数据分析系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109345823A CN109345823A (zh) | 2019-02-15 |
| CN109345823B true CN109345823B (zh) | 2021-11-05 |
Family
ID=65305566
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811095119.6A Active CN109345823B (zh) | 2018-09-19 | 2018-09-19 | 一种基于大数据的智能交通数据分析系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109345823B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109918422A (zh) * | 2019-03-04 | 2019-06-21 | 山东浪潮云信息技术有限公司 | 一种运用地图技术构建放学重点监控路线模型的方法 |
| CN109887288B (zh) * | 2019-03-27 | 2021-06-15 | 江苏智通交通科技有限公司 | 一种基于出行结构的城市路网诱导方案发布方法和系统 |
| CN110134564B (zh) * | 2019-03-29 | 2023-10-27 | 浪潮云信息技术股份公司 | 一种可视化的Kafka集群监控方法 |
| CN110689719B (zh) | 2019-05-31 | 2021-01-19 | 北京嘀嘀无限科技发展有限公司 | 用于识别封闭路段的系统和方法 |
| CN110363985B (zh) * | 2019-06-27 | 2020-12-29 | 北京易华录信息技术股份有限公司 | 一种交通数据分析方法、装置、存储介质及设备 |
| CN112561114B (zh) * | 2019-09-26 | 2023-03-14 | 杭州海康威视数字技术股份有限公司 | 卡口流量的预测方法、装置、电子设备及存储介质 |
| CN110838232A (zh) * | 2019-09-27 | 2020-02-25 | 浙江工业大学 | 基于过车电警数据的单一车辆od获取方法 |
| CN111884883A (zh) * | 2020-07-29 | 2020-11-03 | 北京宏达隆和科技有限公司 | 一种用于业务接口的快速审计处理方法 |
| CN112700072B (zh) * | 2021-03-24 | 2021-06-29 | 同盾控股有限公司 | 交通状况预测方法、电子设备和存储介质 |
| CN113627955B (zh) * | 2021-08-11 | 2023-06-20 | 中国城市规划设计研究院 | 一种铁路溯源分析系统及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105547315A (zh) * | 2015-12-25 | 2016-05-04 | 上海电机学院 | 一种车辆实时最优交通规划方法及系统 |
| CN108122069A (zh) * | 2017-12-08 | 2018-06-05 | 杭州电子科技大学 | 基于海量交通数据居民出行起点终点矩阵提取方法 |
| CN108171998A (zh) * | 2018-02-11 | 2018-06-15 | 深圳市智能交通技术有限公司 | 一种基于电警数据的交叉口自适应交通信号控制系统及其工作方法 |
| CN108171971A (zh) * | 2017-12-18 | 2018-06-15 | 武汉烽火众智数字技术有限责任公司 | 基于Spark Streaming的车辆实时监控方法及系统 |
| CN108198416A (zh) * | 2017-12-28 | 2018-06-22 | 金交恒通有限公司 | 一种手机信令与路网大数据的融合方法及其应用与系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101833359B1 (ko) * | 2016-03-22 | 2018-02-28 | 고려대학교 산학협력단 | 차량의 외부 영상 빅데이터를 이용한 교통 정보 수집 방법 및 장치 |
-
2018
- 2018-09-19 CN CN201811095119.6A patent/CN109345823B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105547315A (zh) * | 2015-12-25 | 2016-05-04 | 上海电机学院 | 一种车辆实时最优交通规划方法及系统 |
| CN108122069A (zh) * | 2017-12-08 | 2018-06-05 | 杭州电子科技大学 | 基于海量交通数据居民出行起点终点矩阵提取方法 |
| CN108171971A (zh) * | 2017-12-18 | 2018-06-15 | 武汉烽火众智数字技术有限责任公司 | 基于Spark Streaming的车辆实时监控方法及系统 |
| CN108198416A (zh) * | 2017-12-28 | 2018-06-22 | 金交恒通有限公司 | 一种手机信令与路网大数据的融合方法及其应用与系统 |
| CN108171998A (zh) * | 2018-02-11 | 2018-06-15 | 深圳市智能交通技术有限公司 | 一种基于电警数据的交叉口自适应交通信号控制系统及其工作方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109345823A (zh) | 2019-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109345823B (zh) | 一种基于大数据的智能交通数据分析系统 | |
| Du et al. | A distributed message delivery infrastructure for connected vehicle technology applications | |
| Zhu et al. | Parallel transportation management and control system and its applications in building smart cities | |
| US11085784B2 (en) | Journey planning | |
| Moreschini et al. | Cloud continuum: The definition | |
| CN105408881B (zh) | 大规模网络中的带宽计量 | |
| Alajali et al. | On-street car parking prediction in smart city: A multi-source data analysis in sensor-cloud environment | |
| JP2019075077A (ja) | ワークフローエンジンフレームワーク | |
| Zhao et al. | Increasing the capacity of the intersection downstream of the freeway off‐ramp using presignals | |
| US20220082405A1 (en) | System and method for vehicle event data processing for identifying parking areas | |
| US20230126317A1 (en) | System and method for processing vehicle event data for improved journey trace determination | |
| CN109165211A (zh) | 一种基于大数据的贫困生精准资助系统 | |
| Tran et al. | Designed features for improving openness, scalability and programmability in the fog computing-based IoT systems | |
| Teslya et al. | Smart city platform architecture for citizens’ mobility support | |
| Gillani et al. | Machine learning based data collection protocol for intelligent transport systems: a real-time implementation on Dublin M50, Ireland | |
| Mian et al. | A data platform for the highway traffic data | |
| Das et al. | LYRIC: Deadline and budget aware spatio-temporal query processing in cloud | |
| Colarusso et al. | PROMENADE: A big data platform for handling city complex networks with dynamic graphs | |
| Lantz et al. | Potentials of online media and location-based big data for urban transit networks in developing countries | |
| CN113048997B (zh) | 基于大数据的行车建议方法、系统、存储介质及服务器 | |
| Alajali et al. | Fog computing based traffic and car parking intelligent system | |
| Shen et al. | Urban activity mining framework for ride sharing systems based on vehicular social networks | |
| Dillen et al. | MOBI-AID: A Big Data Platform for Real-Time Analysis of On Board Unit Data. | |
| Moreira-Matias et al. | An online learning framework for predicting the taxi stand's profitability | |
| Jiang et al. | Urban traffic information service application grid |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |