CN110035096A - 一种基于Storm的车辆预警处理系统及预警系统 - Google Patents

Abstract

本发明公开了一种基于Storm的车辆预警处理系统，包括：消息队列，用于接收并存储各车辆的实时状态数据，向Storm集群发送实时状态数据，接收并向车辆对应的输出设备发送实时预警信息；Storm集群，用于通过分布式大数据实时处理框架Storm对实时状态数据进行处理，得到实时预警信息，向消息队列发送实时预警信息。该系统可以实现实时、稳定地对车辆进行预警。本发明还公开了一种基于Storm的车辆预警系统，具有上述有益效果。

Description

一种基于Storm的车辆预警处理系统及预警系统

技术领域

本发明涉及车辆领域，特别涉及一种基于Storm的车辆预警处理系统及预警系统。

背景技术

随着人们生活水平不断提高，车辆数量迅速增加，交通安全成为一个需要尽快解决的社会问题。作为物联网的一个重要分支，车联网是在汽车行业应用多种先进的传感器、智能控制、无线通信技术，有机的运用于整个交通运输管理体系而建立起的一种实时而又高效的交通运输综合管理和监控系统。

在车辆监控中，最基本最重要的功能便是实时监测车辆的动态状态变化，如车速，电动机温度，油箱剩余油量等，在达到预设的报警值时进行报警，通知到车辆和管理人员。

目前车辆安全预警系统大都基于传统单机框架，当管理的车辆数达到一定数量时，因处理能力不够，系统实时性低，负载能力不强，容易崩溃，可扩展性不高。

因此，如何实时、稳定地实现对车辆进行预警，是本领域技术人员需要解决的技术问题。

发明内容

本发明的目的是提供一种基于Storm的车辆预警处理系统，该系统能够实时、稳定地实现对车辆进行预警；本发明的另一目的是提供一种基于Storm的车辆预警系统，具有上述有益效果。

为解决上述技术问题，本发明提供一种基于Storm的车辆预警处理系统，包括：

消息队列，用于接收并存储各车辆的实时状态数据，向Storm集群发送所述实时状态数据，接收并向车辆对应的输出设备发送实时预警信息；

Storm集群，用于通过分布式大数据实时处理框架Storm对所述实时状态数据进行处理，得到实时预警信息，向所述消息队列发送所述实时预警信息。

优选地，所述Storm集群采用1个Nimbus节点和6个Supervisor节点的结构；各所述节点之间通过zookeeper进行通信。

优选地，所述Storm集群中的bolt组件包括：

信息解析bolt组件，用于根据预先设定的逻辑规则从所述实时状态数据中解析出第一信息；

预警判断bolt组件，用于判断所述第一信息是否超过对应的预警门限值；如果是，将对应的预警信息发送至预警提示bolt组件；

预警提示bolt组件，用于接收所述预警信息，将所述预警信息写入所述消息队列，以便于所述消息队列将所述预警信息发送至对应车辆进行提醒。

优选地，所述根据预先设定的逻辑规则从所述实时状态数据中解析出第一信息包括：

从所述实时状态数据中解析出预先设定的预警判断信息字段以及身份信息字段，得到第一信息。

优选地，所述判断所述第一信息是否超过对应的预警门限值；如果是，将对应的预警信息发送至预警提示bolt组件包括：

判断所述第一信息是否属于第一预警范围；

如果属于所述第一预警范围，将所述第一预警范围对应的预警信息发送至所述预警提示bolt组件；

如果不属于所述第一预警范围，判断所述第一信息是否属于第二预警范围；

如果是，将所述第二预警范围对应的预警信息发送至所述预警提示bolt组件；

优选地，所述消息队列具体为：kafka消息队列。

优选地，所述Storm集群中的Topology包括：超速预警Topology、高温预警Topology、车道偏离预警Topology、前向碰撞预警Topology、车距检测预警Topology、疲劳驾驶预警Topology中至少一种。

本发明提供一种基于Storm的车辆预警系统，包括：

车辆，用于采集实时状态数据；将所述实时状态数据发送至基于Storm的车辆预警处理系统；

基于Storm的车辆预警处理系统，用于接收并存储各车辆的实时状态数据，通过分布式大数据实时处理框架Storm对所述实时状态数据进行处理，得到实时预警信息，并向车辆对应的输出设备发送实时预警信息；

输出设备，设置于所述车辆中，用于将接收到的所述实时预警信息进行输出。

优选地，所述输出装置具体为：车载多媒体设备。

优选地，所述车载多媒体设备具体为：车载显示器。

本发明所提供的基于Storm的车辆预警处理系统主要包括消息队列以及Storm集群，通过消息队列来接收各车辆的实时状态数据，并向Storm集群发送实时状态数据，Storm集群接收到实时状态数据后通过分布式大数据实时处理框架Storm对实时状态数据进行处理，Storm分布式大数据实时处理框架相对单机处理来说，每秒能处理的数据量更多，更快速，数据处理能力有了很大的提升，也更稳定，提高了车辆预警处理系统的稳定性以及负载能力，通过Storm分布式大数据实时处理框架对实时状态数据处理后可以得到预警信息，预警信息通过消息队列传输至对应的车辆进行输出，可以实现实时、稳定地对车辆进行预警管理的目的。

本发明还公开了一种基于Storm的车辆预警系统，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的基于Storm的车辆预警处理系统的结构框图；

图2为本发明实施例提供的预警过程的实现流程图；

图3为本发明实施例提供的基于Storm的车辆预警系统的结构框图。

具体实施方式

本发明的核心是提供一种基于Storm的车辆预警处理系统，该系统可以实现实时、稳定地对车辆进行预警；本发明的另一核心是提供一种基于Storm的车辆预警系统，具有上述有益效果。

随着需要监控的车辆越来越多，预警处理系统需要处理的数据急速增加，目前的单机框架通过传统单机服务器对所有的数据进行处理，单机服务器计算资源和存储资源都有限，例如CPU，内存等，资源不容易扩展，无法同时处理大数据量级的数据，达到一定限值，就会造成卡顿，数据处理时延增加，也就是处理速度会变得很慢。

本发明采用分布式大数据实时处理框架Storm来处理数据，相对于传统的单机框架，极大的增加了数据处理的能力和实时性，同时通过扩展集群增加计算资源也是很容易的。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明实施例提供的基于Storm的车辆预警处理系统的结构框图；该系统可以包括：消息队列100以及Storm集群200。

消息队列100在将消息从它的源中继到它的目标时充当中间人。消息队列的主要目的是提供路由并保证消息的传递；如果发送消息时接收者不可用，消息队列会保留消息，直到可以成功地传递给它，消息队列100接收并存储各车辆的实时状态数据，同时推送给Storm系统进行实时处理，实时状态数据可以包括车辆ID、时间、实时速度、前后车距离等信息，在此对具体包括的数据类型不做限定，数据类型可以根据预警类型来确定，比如进行超速预警，实时状态数据可以包括速度信息、车辆身份信息等，当然，也可以不根据预警类型来确定，在此对数据类型不做限定。

消息队列100接收到实时状态数据后进行存储，并向与消息队列连接的Storm集群200发送实时状态数据，一般消息队列100接收到实时状态数据后会立即将数据发送至Storm集群，以保证数据处理的实时性。

消息队列100还用于接收Storm集群200处理后得到的预警信息，并将Storm处理后的实时预警结果信息推送给各个车辆以便于及时对驾驶人进行提醒。预警信息比如“您已超速”、“与前车距离过近，容易追尾”等，消息队列100接收到预警信息后将预警信息及时发送至对应的车辆的输出设备，每个车辆都有其对应的输出设备，预警信息的发送过程比如将预警信息“您已超速”对应车辆1，车辆1中的输出设备为车载显示器，则预警信息“您已超速”通过消息队列100发送至车辆1的车载显示器中。在此对输出设备不做限定，可以对用户进行预警提示的设备即可。

在此对消息队列100的具体型号不做限定，可以为折叠MSMQ、折叠ActiveMQ、RabbitMQ、ZeroMQ等，其中，优选地，消息队列具体可以为：kafka消息队列。Kafka是一款分布式消息发布和订阅的系统，具有高性能和高吞吐率，集群可扩展，实时性和负载能力明显高过基于单机的消息队列，在分布式消息队列中，也是稳定性和实时性较强的消息系统，广泛应用于各行业大数据系统架构中，选用kafka消息队列可以尽量保证在大量数据同时进行传输时预警处理系统的稳定性。在此以消息队列选用kafka消息队列为例进行介绍，其他类型的消息队列均可参照本实施例的介绍。

Storm集群200与消息队列100连接，主要用于通过分布式大数据实时处理框架Storm对实时状态数据进行处理，得到实时预警信息，向消息队列发送实时预警信息。分布式大数据实时处理框架Storm是一个分布式的，可靠的，容错的实时数据流处理系统。

Storm开发简单，大大降低了开发并行实时处理的任务的复杂性，支持灵活的水平扩展，容错性强，具有可靠性的消息保证，能够快速地处理消息，采取Storm实时分布式处理框架来处理需要及时处理的数据，相对单机处理这些数据来说，提高了每秒能处理的数据量，同时处理数据也更快速，提高了实时性。因此，应用Storm分布式实时处理系统到车辆预警领域中，数据处理能力相对传统单机框架有了很大提升，能够处理的并发访问量也就越大，实时性能也会更好。

在本发明中，Storm集群作为实时数据处理的引擎，对获取的实时状态数据进行处理得到实时预警信息的方法及具体实现过程在此不做限定，只要通过分布式大数据实时处理框架Storm对数据进行处理即可。Storm框架中的节点的种类主要有两种，一种是控制节点(Master Node)，另一种为工作节点(Worker Node)。在控制节点上运行一个Nimbus后台程序，在工作节点上运行一个Supervisor后台程序，二者通过ZooKeeper协同工作。Nimbus属于主动分配代码和任务给相应的工作节点，同时每个工作节点的状态都被实时监视，而每个工作节点也会由相应的监督程序，全程监视控制节点所分配的任务是否执行完毕。

在此对控制节点Nimbus以及工作节点Supervisor的具体数量不做限定，可以根据数据量以及成本自行进行设置，比如可以设置为1个Nimbus节点和3个supervisor节点，或者也可以设置为2个Nimbus节点和6个supervisor节点，一般来讲，节点越多性能越好，但节点运营需要成本支持以及定期维护。其中，考虑到数据量大小以及运营成本问题，优选地，Storm集群可以采用1个Nimbus节点和6个Supervisor节点的结构；各节点之间通过zookeeper进行通信。采用1个Nimbus节点和6个Supervisor节点基本可以满足现实情况中大量车辆同时输入实时状态信息的情况，而且尽量不会产生工作过程中的节点冗余现象。

在Storm中，运行的任务称为Topology，对数据的实时计算通过拓扑(topology)来实现。拓扑会被提交给Storm框架，由框架中的主控节点(master node)分发代码，将任务分配给工作节点(worker node)执行。Topology的类型可以根据实现目的来确定，可以为单种类型的Topology，也可以为多种类型的Topology，具体地，Storm集群中的Topology可以包括：超速预警Topology、高温预警Topology、车道偏离预警Topology、前向碰撞预警Topology、车距检测预警Topology、疲劳驾驶预警Topology中至少一种，可以根据需要自行确定。

拓扑Topology由Spout组件和多个Bolt组件组成，其中spout组件主要用于发送消息，将数据流发送至bolt组件，即读取消息队列Kafka上存储的各个车辆实时状态信息，将状态信息传输给各个Bolt组件；bolt组件负责转换这些数据流，完成计算、过滤等操作，即将实时状态数据转化为预警信息，写回消息列队。

其中，bolt组件具体包括的组件类型以及工作流程在此不做限定，可以实现从实时状态数据到预警信息的转换即可，比如可以将bolt组件分为5类，分别实现数据类别的区分、数据关键信息的提取、数据是否属于正常范围的判断、预警提示信息的生成、预警提示信息的发送等。为了实现数据分析过程中的简洁、快速。

优选地，Storm集群中的bolt组件可以包括：信息解析bolt组件、预警判断bolt组件以及预警提示bolt组件。其中，信息解析bolt组件主要用于根据预先设定的逻辑规则从实时状态数据中解析出第一信息；预警判断bolt组件主要用于判断第一信息是否超过对应的预警门限值；如果是，将对应的预警信息发送至预警提示bolt组件；预警提示bolt组件主要用于接收预警信息，将预警信息写入消息队列，以便于消息队列将预警信息发送至对应车辆进行提醒。

其中，对第一信息包括的数据类型不做限定，可以仅包括用于进行预警判断的信息，也可以还包括车辆基本信息，优选地，根据预先设定的逻辑规则从实时状态数据中解析出第一信息可以包括：从实时状态数据中解析出预先设定的预警判断信息字段以及身份信息字段，得到第一信息。

其中，对预警门限值的大小以及包括的预警范围不做限定，可以仅设定一重预警范围，当第一信息超过该范围时发送对应的预警信息，为了实现对不同预警范围的不同预警，实现根据不同情况对用户做出不同的提醒，判断第一信息是否超过对应的预警门限值；如果是，将对应的预警信息发送至预警提示bolt组件可以包括：判断第一信息是否属于第一预警范围；如果属于第一预警范围，将第一预警范围对应的预警信息发送至预警提示bolt组件；如果不属于第一预警范围，判断第一信息是否属于第二预警范围；如果是，将第二预警范围对应的预警信息发送至预警提示bolt组件；如果不属于第一预警范围，判断第一信息是否属于第二预警范围；如果是，将第二预警范围对应的预警信息发送至预警提示bolt组件。当然，还可以设定为两个、四个或者更多的预警范围，在此对划分标准以及划分数量不做限定。

例如，当设定的预警范围为：轻度预警(A到B)、中度预警(C到D)、重度预警(E到F)以及严重预警(G到H)时，判断预警判断信息c属于其中的哪个范围，如果预警判断信息c属于中度预警时，向预警提示bolt组件发送中度预警对应的预警信息。

具体地，当进行前向碰撞预警，获取的实时状态数据为“车辆编号001、实时速度20km/h、与前车距离5m、与后车距离大于100m、发动机温度为55摄氏度”时。信息解析bolt组件从实时状态数据中解析出“车辆编号001”、“与前车距离1m”为进行前向碰撞预警中的关键数据，提取到关键数据后将数据发送至预警判断bolt组件，预警判断bolt组件判断该车辆与前车距离是否大于5m，如果是，则暂时属于安全状态，可以不进行前向碰撞预警；目前该车辆与前车距离为1m，小于预警门限值5m，将对应的“与前车距离过近，可能出现前向碰撞”信息发送至预警提示bolt组件。预警提示bolt组件将预警提示信息写入消息队列中。另外，解析出的关键数据——第一信息中除了包含需要进行预警判断的数据外，还可以包含其他数据，比如车辆身份信息、关联设备信息等信息，在此不做限定。

另外，客户端Client向Nimbus提交Topology后，由Nimbus根据Topology计算分配相关的Task任务，另外，基于Storm的车辆预警处理系统还包括：Assignments节点，以及Task-beats节点。Assignments节点主要用于存放Worker和Task的映射关系。Task-beats节点主要用于监测Task的执行情况，以便确定Task的执行情况。

基于上述技术方案，本发明所提供的基于Storm的车辆预警处理系统通过消息队列来接收各车辆的实时状态数据，并向Storm集群发送实时状态数据，Storm集群接收到实时状态数据后通过分布式大数据实时处理框架Storm对实时状态数据进行处理，Storm分布式大数据实时处理框架相对单机处理来说，每秒能处理的数据量更多，更快速，数据处理能力有了很大的提升，也更稳定，提高了车辆预警处理系统的稳定性以及负载能力，通过Storm分布式大数据实时处理框架对实时状态数据处理后可以得到预警信息，预警信息通过消息队列传输至对应的车辆进行输出，可以实现实时、稳定地对车辆进行预警管理的目的。

为便于理解，在此以进行超速预警，消息队列为Kafka消息队列，Bolt组件为SpeedMsgParseBolt组件、OverSpeedAlarmJudgeBolt组件以及OverSpeedAlarmReportBolt组件为例具体介绍预警过程的实现流程，如图2所示，其他类型的预警、其他类型的消息队列以及Bolt组件均可参照本实施例的介绍，在此不再赘述。

首先配置并启动车辆预警处理系统，待稳定运行后，将预先编写好的超速预警Topology程序部署到Storm框架上。

超速预警Topology的获取消息源Spout组件SpeedJmsConsumerSpout通过监听Kafka消息队列获取到实时车辆状态信息，之后传送到SpeedMsgParseBolt组件。

SpeedMsgParseBolt组件从车辆状态信息中解析出第一信息，包括车辆id、时间、实时速度等信息字段，发送到超速预警判断Bolt组件OverSpeedAlarmJudgeBolt。

超速预警判断Bolt组件OverSpeedAlarmJudgeBolt根据预警策略，判断实时速度是否达到预警门限值，若是则将超速预警信息发送给超速预警报告Bolt组件OverSpeedAlarmReportBolt。

超速预警报告Bolt组件OverSpeedAlarmReportBolt将实时预警信息写回Kafka消息队列来推送给相应预警车辆。

整个框架运行过程可以为：客户端Client向Nimbus提交Topology，后由Nimbus根据Topology计算分配相关的Task任务，同时在ZooKeeper中创建Assignments节点用来存放Worker和Task的映射关系。另外在ZooKeeper上还需建立监视Task心跳的节点Task-beats，以便确定Task的执行情况。最后，ZooKeeper将Task任务分配至工作节点的Supervisor进程，启动多个Worker进程一起运行，生成许多Task线程。每个Task线程之间通过Socket进行通信。

下面对本发明提供的基于Storm的车辆预警系统进行介绍，请参考图3，图3为本发明实施例提供的基于Storm的车辆预警系统的结构框图；该系统可以包括：车辆300、基于Storm的车辆预警处理系统400以及输出设备500。

车辆300，用于采集实时状态数据；将实时状态数据发送至基于Storm的车辆预警处理系统；在此对接入的车辆数量不做限定，本发明提供的基于Storm的车辆预警系统相对于现有的车辆预警系统可以实现同时对大量车辆的实时状态数据的处理。

基于Storm的车辆预警处理系统400主要用于接收并存储各车辆的实时状态数据，通过分布式大数据实时处理框架Storm对实时状态数据进行处理，得到实时预警信息，并车辆对应的输出设备发送实时预警信息，具体对基于Storm的车辆预警处理系统400可参照上述图1对应的实施例的介绍，在此不再赘述。

输出设备500主要用于将接收到的实时预警信息进行输出。每台车辆都有对应的输出设备，每台车辆对应的输出设备至少为一台，但不仅限于一台，在此对每台车辆对应的输出设备的数量不做限定。另外，输出设备可以为移动终端、车载音响、车载显示器等设备，在此对输出设备的类型不做限定，为保证每次连接的稳定性，减少不兼容的情况，保障通讯质量，优选地，输出装置具体可以为设置于车辆自身的车载多媒体设备。

车载多媒体设备可以包括车载音响、车载显示器等多媒体设备，比如可以通过车载音响进行语音播报“与前车距离过近，容易追尾”等，为了实现信息可以更清楚、直观地传递给驾驶者，以便于驾驶者可以及时针对预警情况进行处理，优选地，车载多媒体设备具体可以为：车载显示器。通过车载显示器对预警信息进行显示可以尽量减少驾驶者重要预警信息的情况，使信息传递更直观、有效。

本发明提供的基于Storm的车辆预警系统可以实现实时、稳定地对车辆进行预警。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

以上对本发明所提供的基于Storm的车辆预警处理系统及基于Storm的车辆预警系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种基于Storm的车辆预警处理系统，其特征在于，包括：

消息队列，用于接收并存储各车辆的实时状态数据，向Storm集群发送所述实时状态数据，接收并向车辆对应的输出设备发送实时预警信息；

Storm集群，用于通过分布式大数据实时处理框架Storm对所述实时状态数据进行处理，得到实时预警信息，向所述消息队列发送所述实时预警信息。

2.如权利要求1所述的基于Storm的车辆预警处理系统，其特征在于，所述Storm集群采用1个Nimbus节点和6个Supervisor节点的结构；各所述节点之间通过zookeeper进行通信。

3.如权利要求1所述的基于Storm的车辆预警处理系统，其特征在于，所述Storm集群中的bolt组件包括：

信息解析bolt组件，用于从所述实时状态数据中解析出第一信息；

预警判断bolt组件，用于判断所述第一信息是否超过对应的预警门限值；如果是，将对应的预警信息发送至预警提示bolt组件；

预警提示bolt组件，用于接收所述预警信息，将所述预警信息写入所述消息队列，以便于所述消息队列将所述预警信息发送至对应车辆进行提醒。

4.如权利要求3所述的基于Storm的车辆预警处理系统，其特征在于，所述根据预先设定的逻辑规则从所述实时状态数据中解析出第一信息包括：

从所述实时状态数据中解析出预先设定的预警判断信息字段以及身份信息字段，得到第一信息。

5.如权利要求3所述的基于Storm的车辆预警处理系统，其特征在于，所述判断所述第一信息是否超过对应的预警门限值；如果是，将对应的预警信息发送至预警提示bolt组件包括：

判断所述第一信息是否属于第一预警范围；

如果属于所述第一预警范围，将所述第一预警范围对应的预警信息发送至所述预警提示bolt组件；

如果不属于所述第一预警范围，判断所述第一信息是否属于第二预警范围；

如果是，将所述第二预警范围对应的预警信息发送至所述预警提示bolt组件；

如果所述第一信息不属于所述第二预警范围，将所述第三预警范围对应的预警信息发送至所述预警提示bolt组件。

6.如权利要求1所述的基于Storm的车辆预警处理系统，其特征在于，所述消息队列具体为：kafka消息队列。

7.如权利要求1至6任一项所述的基于Storm的车辆预警处理系统，其特征在于，所述Storm集群中的Topology包括：超速预警Topology、高温预警Topology、车道偏离预警Topology、前向碰撞预警Topology、车距检测预警Topology、疲劳驾驶预警Topology中至少一种。

8.一种基于Storm的车辆预警系统，其特征在于，包括：

车辆，用于采集实时状态数据；将所述实时状态数据发送至基于Storm的车辆预警处理系统；

基于Storm的车辆预警处理系统，用于接收并存储各车辆的实时状态数据，通过分布式大数据实时处理框架Storm对所述实时状态数据进行处理，得到实时预警信息，并向车辆对应的输出设备发送实时预警信息；

输出设备，设置于所述车辆中，用于将接收到的所述实时预警信息进行输出。

9.如权利要求8所述的基于Storm的车辆预警系统，其特征在于，所述输出装置具体为：车载多媒体设备。

10.如权利要求8所述的基于Storm的车辆预警系统，其特征在于，所述车载多媒体设备具体为：车载显示器。