CN111429729A - 一种基于flink架构的实时车速监测方法 - Google Patents

Abstract

一种基于flink架构的车速监测方法，通过雷达测速仪采集数据，使用Flink平台进行数据清洗，经过flink平台，分析车速大于限速阀值且车间距小于200米的数据，获取车辆行驶信息；利用flink平台进行消息消费，将行驶安全范围内的超速车辆信息反馈给车载系统，汽车的车载系统将超速的车辆情况通报给司机；同时进行数据存储，以便读取历史数据，为交警提供调查超速事故依据、仿真模拟超速事故之用途。

Description

一种基于flink架构的实时车速监测方法

技术领域

本发明涉及速度监测领域，特别涉及一种基于flink架构的车速监测方法。

背景技术

在现有的交通道路发展过程中，每年时常发生交通事故伤亡事件，数量不减反增，带来的不只是给家庭带来伤害、也间接影响社会发展。通过监控还原我们可以分析出很多原因导致。客观原因例如雨雾雪天气等等，主观原因中一条让人印象深刻就是超速引起，道路上部分司机并不是按照正常车速行驶，这就给同行其他司机造成一种安全隐患。

安全行驶的前提按照交通法规定不能超速，事实上并不是每个司机遵守交通法规。目前我国各个道路上检测超速大部分都是通过监控拍摄，电子摄像采集等反馈提取，静态监控采集车辆速度只能便于事后处理追究车祸事故责任。静态采集超速车辆并不能阻止车祸发生，只能常态化监控到车辆是否超速，也不能实时去反馈给正常行驶的司机周边超速行驶车辆信息，更不便于让司机提高安全戒备留意动态超速车辆是否在安全距离行驶。因为每辆车高速动态变化都是一直存在危险系数的，此时如果不及时提醒正常行驶司机周边异常超速车辆的变化，就极有可能引发车辆事故。

发明内容

为了弥补现有技术的不足，提供一种基于flink架构的实时车速监测方法。本发明结构清晰、计算快捷，可以有效避免车辆事故发生减少不必要的损害，帮助驾驶员进行安全行驶。

为实现上述发明目的，一种基于flink架构的实时车速监测方法，包括以下步骤：

步骤一：数据采集，根据雷达测速仪反馈的数据使用分布式收集海量数据flume组件实时采集高速路上每辆车行驶速度值、当前路段限速阈值、超速持续时间、超速里程、车间距、数据采集的时间、车牌号。

步骤二：数据清洗：

步骤2.1，使用Flink平台的map算子拆分功能，将步骤一中搜集到的数据，每条记录一行一行转换出来；

步骤2.2，使用Flink平台的flatmap算子拆分功能，将步骤2.1中每条记录由一行转换成多行；

步骤2.3，使用Flink平台的keyby算子分区功能，将步骤2.2中每条记录按照速度值字段进行数据分区，将相同的速度值放到同一个分区；

步骤2.4，使用Flink平台的filter算子过滤功能，将步骤2.3中的分区数据过滤掉正常行驶车辆速度值没超过限速阈值的数据，保留超过道路限速阈值且车间距小于200米的车辆数据；

步骤三：数据分析，基于前两步操作以后搜集到的数据经过flink平台，分析车速大于限速阀值且车间距小于200米的数据，获取每辆车当前行驶速度值 、当前路段限速阈值、超速持续时间、超速里程、车间距、数据采集的时间、车牌号，把这些数据信息反馈出去以供下游消息队列消费；

步骤四：数据消费，第三步产生我们期望的数据视其为消息；flink平台使用具备消费消息功能的kafka组件，按照精确消费原则进行数据消费，并将行驶安全范围内的超速车辆信息反馈给车载系统，汽车的车载系统将超速的车辆情况通报给司机；

步骤五：数据存储，步骤四中kafka组件消费完数据之后需要把数据写入到分布式文件系统HDFS中存储，用于维护人员读取历史数据，为交警提供调查超速事故依据、仿真模拟超速事故之用途。

其中步骤四中所谓的数据消费即数据被消费，源源不断的数据视为消息流，大量的消息流需要被合理引用即数据被消费。作为一种具备消费消息功能的组件，kafka有三种消费，其中最多一次（at most once）消费消息可能会消失也可能会被处理但是最多只处理一次，至少一次(at least once)消费消息不会丢失但是可能会重复被处理多次，这当然不是我们期望的，精确消费( exactly once)消息被处理一次不丢失不重复就一次，因此采用精确消费。

目前处理实时流数据基于Flink框架去实现。Flink作为下一代数据数据引擎，其核心是一个流式数据执行引擎，其典型的分布式框架，最大的特征是流处理、可靠性、可扩展、高吞吐、低延迟、支持水平扩展能力，提供了很多高级抽象的应用程序接口，方便用户根据实际场景编写分布式任务。例如：静态数据进行批处理的DataSet API,动态数据进行流处理的DataStream API,还有支持对数据进行查询操作的SQL。每种应用程序接口（API）有其相对应的算子例如map算子、flatmap算子、filter算子等。

本发明一种基于flink架构的车速监测方法，以数据采集、数据清洗、数据分析、数据消费、存储为运行体系。

本发明利用雷达实时测速采集行驶车辆数据指标，通过使用flink架构分析，实时获取超速车辆信息，及时通过车载系统语音播报给正常行驶的司机，播报与行驶车辆的车间距在200米以内的其他超速车辆，及时留意观察行车安全，这种方法可以有效避免车辆事故发生，减少不必要的损害。通过与传统的框架相比较，本发明使用flink框架相比较其他框架有如下优点：

1）数据实时性处理很强，不会产生数据的延迟，保证数据的一致性；

2）数据的吞吐量很强，即数据可以频繁的写入到flink当中且不会丢失。

附图说明

图1是本发明的实时处理引擎flink的架构示意图。

图2是本发明的用于采集日志flume体系架构示意图。

图3是本发明的用于消费kafka体系架构示意图。

图4是本发明的工作流程架构示意图。

图中标记为：10表示数据源，30表示通过flume进行数据抽取，50表示通过flink平台进行数据处理，70表示通过kafka进行数据消费。

具体实施方式

参照附图，以某段高速道路举例来说明本发明之应用。

步骤一，杭州某高速路段，通过雷达测速仪终端10，实时采集T时间内的车流量状况，包含每辆车行驶速度值 、当前路段限速阀值、超速持续时间、超速里程、车间距、数据采集的时间、车牌号。

步骤二，在步骤一中终端10作为数据源持续不断产生数据，使用flume的source组件将终端10的数据收集到flume的channel缓存组件中，此时channel提供一个队列功能，对source提供中的数据进行简单的缓存之后Flume的Sink组件取出缓存中的数据，把数据发送到flink平台，表1为部分数据信息所示。

其中source、channel、sink是flume的三个组成部分共同协作完成外部数据源的抽取。Source组件将外部数据源引进来，channel组件作为临时仓库缓存数据，sink组件负责把channel的数据传送到外部其他平台使用。

表1

步骤三，终端30的数据到达flink平台的终端50那里进行数据清洗，

步骤3.1，使用用Flink平台map算子的拆分功能，每条记录一行一行转换出来。如下部分数据所示：

[115,120,0,0,0.02,2019-12-28 10:42:0,浙A·0N462]，

[121,120,0.2,24.2,0.6,2019-12-28 10:42:1,浙A·9Q749],

[130,120,0.1,13,0.35,2019-12-28 10:42:2,浙C·3K795]

步骤3.2，接着使用Flink平台的flatmap算子拆分功能，将步骤3.1中每行数据展开成多行，如表2部分数据信息：

表 2

步骤3.3，之后使用Flink平台keyby算子的分区功能，按照速度值字段进行先分区，在使用Flink平台filter算子的过滤功能，过滤掉车间距大于200且正常行驶车辆速度值没超过限速阈值的数据，保留超过道路限速阈值的部分车辆数据。如表3部分数据信息：

表3

步骤四，数据清洗筛选完毕之后，终端为70 的kafka消息队列就需要依次按照步骤3.3产生的结果进行有序消费，同时传输给车载系统通过外接蓝牙播报给司机，提醒司机留意身边超速车辆避免不必要的伤害。

步骤五，在步骤四中终端为70的消息队列消费完数据之后，首先是反馈给车载系统，其次需要存储到HDFS上。

Claims (1)

1.一种基于flink架构的实时车速监测方法，包括以下步骤：

步骤一：数据采集，根据雷达测速仪反馈的数据使用分布式收集海量数据flume组件实时采集高速路上每辆车行驶速度值、当前路段限速阈值、超速持续时间、超速里程、车间距、数据采集的时间、车牌号；

步骤二：数据清洗：

步骤2.1，使用Flink平台的map算子拆分功能，将步骤一中搜集到的数据，每条记录一行一行转换出来；

步骤2.2，使用Flink平台的flatmap算子拆分功能，将步骤2.1中每条记录由一行转换成多行；

步骤2.3，使用Flink平台的keyby算子分区功能，将步骤2.2中每条记录按照速度值字段进行数据分区，将相同的速度值放到同一个分区；

步骤2.4，使用Flink平台的filter算子过滤功能，将步骤2.3中的分区数据过滤掉正常行驶车辆速度值没超过限速阈值的数据，保留超过道路限速阈值且车间距小于200米的车辆数据；

步骤三：数据分析，基于前两步操作以后搜集到的数据经过flink平台，分析车速大于限速阀值且车间距小于200米的数据，获取每辆车当前行驶速度值 、当前路段限速阈值、超速持续时间、超速里程、车间距、数据采集的时间、车牌号，把这些数据信息反馈出去以供下游消息队列消费；

步骤四：数据消费，第三步产生我们期望的数据视其为消息；flink平台使用具备消费消息功能的kafka组件，按照精确消费原则进行数据消费，并将行驶安全范围内的超速车辆信息反馈给车载系统，汽车的车载系统将超速的车辆情况通报给司机；

步骤五：数据存储，步骤四中kafka组件消费完数据之后需要把数据写入到分布式文件系统HDFS中存储，用于维护人员读取历史数据，为交警提供调查超速事故依据、仿真模拟超速事故之用途。

Images