CN113988051B - 一种车辆数据的处理系统 - Google Patents

Abstract

本发明涉及一种车辆数据的处理系统，该系统包括：多个网关、多个解析模块和存储模块，对于每个网关，该网关用于获取车辆数据，将车辆数据转换为二进制数据，并将二进制数据写入消息对列中；对于每个解析模块，该解析模块用于将消息队列中的二进制数据转换为文本数据；存储模块用于存储各个解析模块处理后的文本数据。通过本发明的系统，在面对海量的车辆数据时，可在保证系统正常工作的情况下，即正在工作的网关和解析模块不需停止工作，对系统中的网关和解析模块的数量进行调整，以使得调整后的网关和解析模块满足海量的车辆数据的处理需求，缓解数据处理的压力。

Description

一种车辆数据的处理系统

技术领域

本发明涉及车辆数据处理技术领域，具体而言，本发明涉及一种车辆数据的处理系统。

背景技术

车联网（Internet of Vehicles）是指车与车、车与路、车与人、车与传感设备等交互，实现车辆与公众网络通信的动态移动通信系统。它可以通过车与车、车与人、车与路互联互通实现信息共享，收集车辆、道路和环境的信息，并在信息网络平台上对多源采集的信息进行加工、计算、共享和安全发布，根据不同的功能需求对车辆进行有效的引导与监管，以及提供专业的多媒体与移动互联网应用服务。车联网能够实现智能化交通管理、智能动态信息服务和车辆控制的一体化网络，是物联网技术在交通系统领域的典型应用，是移动互联网、物联网向业务实质和纵深发展的必经之路，是未来信息通信、环保、节能、安全等发展的融合性技术。

其中，车联网的重点就是如何将众多车辆的车辆数据接入车联网系统和如何对海量数据进行有效快速的处理，因此，目前亟需一种将海量车辆的车辆数据接入到车辆网系统，以及快速有效处理该海量车辆数据的车辆数据处理系统。

发明内容

本发明所要解决的技术问题是提供一种车辆数据的处理系统，旨在解决如何将将海量车辆的车辆数据接入到车辆网系统，以及快速有效处理该海量车辆数据的技术问题。

本发明解决上述技术问题的技术方案如下：一种车辆数据的处理系统，包括：

多个网关、多个解析模块和存储模块，各所述解析模块与所述存储模块连接；

对于每个所述网关，所述网关用于获取车辆数据，将所述车辆数据转换为二进制数据，并将所述二进制数据写入所述消息对列中；

对于每个所述解析模块，所述解析模块用于将所述消息队列中的二进制数据转换为文本数据；

上述存储模块，用于存储各个所述解析模块处理后的文本数据。

本发明的有益效果是：在本发明的方案中，通过消息队列将网关和解析模块两部分进行解耦，使得网关和解析模块分开，通过消息对列缓存通过网关获取的车辆数据，在面对海量的车辆数据时，可在保证系统正常工作的情况下（正在工作的网关和解析模块不需停止工作），对系统中的网关和解析模块的数量进行调整，以使得调整后的网关和解析模块满足海量的车辆数据的处理需求，缓解数据处理的压力。同时，由于正在工作的网关和解析模块不需停止工作，这样可避免数据丢失，提升用户体验。另外，先将车辆数据转换为二进制数据再存储至消息队列，可节省存储空间。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，上述消息队列为kafka消息队列。

采用上述进一步方案的有益效果是，Kafka 是一种高吞吐量的分布式发布订阅消息系统，适用于百万级别的数据处理场景，在本发明的方案中，通过kafka消息队列，可缓存百万级别的车辆数据。

进一步，对于每个网关，上述网关还用于在检测到车辆的数据发送请求时，建立与车辆之间的通信连接，并对车辆是否上线进行判断，以及对车辆的用户合法性进行验证。

采用上述进一步方案的有益效果是，在本发明的方案中，网关可基于数据发送请求主动建立与车辆之间的通信连接，从而可节省宽带消耗，同时网关还可对是否上线进行判断，以对车辆的用户合法性进行验证，以保证数据的安全性。

进一步，对于各网关，各网关采用异步处理方式将各二进制数据写入消息对列中。

采用上述进一步方案的有益效果是，采用异步处理方式将各二进制数据写入消息队列中，不用等一个网关将该网关对应的二进制数据写入到消息队列后，其他网关再进行将二进制数据写入消息队列的处理，可以同时使得多个网关一同进行将二进制数据写入消息队列的处理，从而可提高数据写入效率。

进一步，对于各解析模块，各解析模块采用流计算方式将消息队列中的二进制数据转换为文本数据。

采用上述进一步方案的有益效果是，采用流计算方式，可以提高分析模块的处理效率。

进一步，上述系统还包括指令下发模块，指令下发模块用于接收用户针对车辆的控制指令，并将控制指令发送至车辆。

采用上述进一步方案的有益效果是，通过指令下发模块，用户可以对车辆进行控制，便于对各个车辆进行管理。

进一步，上述系统还包括终端应答模块，终端应答模块与指令下发模块连接；

上述终端应答模块，用于接收车辆基于控制指令发送的应答信息，并根据应答信息确定控制指令是否发送至车辆。

采用上述进一步方案的有益效果是，在用户通过指令下发模块将控制指令发送至车辆时，可通过终端应答模块接收的应答信息，确定控制指令是否发送至车辆，以提高对车辆的有效控制，避免因为一些原因导致车辆没有接收到控制指令时，不知道这种情况的发生，影响系统正常工作。

进一步，上述系统还包括状态统计模块，状态统计模块与存储模块连接；

上述状态统计模块，用于对存储模块中存储的各解析模块处理后的数据进行统计分析，得到统计分析结果，统计分析结果包括各网关接收的数据量和各网关发送的数据量中的至少一项。

采用上述进一步方案的有益效果是，通过状态统计模块可以对个网关的发送的数据量和接收的数据量进行监控，以便于基于统计分析结果进行后续的处理。

进一步，上述系统还包括终端管理模块，终端管理模块与状态统计模块连接；

上述终端管理模块，用于基于统计分析结果，对各网关的数量和/或各解析模块的数量进行动态调整。

采用上述进一步方案的有益效果是，在通过状态统计模块对各网关发送和/或接收的数据量进行监控的过程中，还可通过终端管理模块，基于统计分析结果各网关的数量和/或各解析模块的数量进行动态调整，以使得在面对不同数据级别的数据处理需求时，可各网关的数量和/或各解析模块的数量进行动态调整，以满足不同数据级别的数据处理需求。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍。

图1为本发明一个实施例提供的一种车辆数据的处理系统的结构示意图；

图2为本发明一个实施例提供的又一种车辆数据的处理系统的结构示意图；

图3为本发明一个实施例提供的一种数据接入模块的结构示意图。

附图1中，各标号所代表的部件列表如下：

1、网关，2、消息队列，3、解析模块，4、存储模块。

具体实施方式

以下对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

下面以具体实施例对本发明的技术方案以及本发明的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

本发明实施例提供了一种可能的实现方式，如图1所示，提供了一种车辆数据的处理系统的结构示意图，如图1中所示的车辆数据的处理系统，该系统可以包括：

多个网关1、多个解析模块3和存储模块4，各解析模块3与存储模块4连接；

对于每个网关1，该网关1用于获取车辆数据，将车辆数据转换为二进制数据，并将二进制数据写入消息对列2中；

对于每个解析模块3，该解析模块3用于将消息队列2中的二进制数据转换为文本数据；

存储模块4，用于存储各个解析模块3处理后的文本数据。

通过本发明的系统，通过消息对列2将网关1和解析模块3两部分进行解耦，使得网关1和解析模块3分开，通过消息对列缓存通过网关1获取的车辆数据，在面对海量的车辆数据时，可在保证系统正常工作的情况下（正在工作的网关1和解析模块3不需停止工作），对系统中的网关1和解析模块3的数量进行调整，以使得调整后的网关1和解析模块3满足海量的车辆数据的处理需求，缓解数据处理的压力。同时，由于正在工作的网关1和解析模块3不需停止工作，这样可避免数据丢失，提升用户体验。另外，先将车辆数据转换为二进制数据再存储至消息对列2，可节省存储空间。

下面结合以下具体的实施例，对本发明的方案进行进一步的说明，在该实施例中，该实施例中的车辆数据的处理系统可以包括：

多个网关1、多个解析模块3和存储模块4，各解析模块3与存储模块4连接；

对于每个网关1，该网关1用于获取车辆数据，将车辆数据转换为二进制数据，并将二进制数据写入消息对列中；

对于每个解析模块3，该解析模块3用于将消息对列2中的二进制数据转换为文本数据；

存储模块4，用于存储各个解析模块3处理后的文本数据。

其中，上述车辆数据可以为反映车辆工作过程中的工况的数据，比如，车辆的位置信息、速度信息、路线信息等。其中，文本数据指的是可供用户直接阅读的数据。二进制数据指的是便于解析模块3或通过计算机程序处理的数据。

其中，上述一个网关1一次可以接收一个车辆的车辆数据，也可以一次接收至少两个车辆的车辆数据。同理，上述一个解析模块3可以一次处理一个车辆的车辆数据，也可以一次处理至少两个车辆的车辆数据。则上述解析模块3和网关1的数量可以相同也可以不同，比如，如果一个网关1负责接收一个车辆的车辆数据，一个解析模块3一次可负责对一个车辆的车辆数据进行处理，则解析模块3和网关1的数量相同。如果一个网关1负责接收一个车辆的车辆数据，一个解析模块3可处理至少两个车辆的车辆数据，则解析模块3和网关1的数量可以不相同。

可选的，上述存储模块4可采用hadoop体系的hdfs作为存储的基本技术体系，利用它的多副本机制保证数据的安全性。对于存储的车辆数据的后续处理，可采用MapReduce或SparkSQL对数据进行离线计算。

可选的，车辆数据可以以json格式进行存储，通过json格式，可以减少了很大一部分的冗余，使得同体量的数据减少30%的存储空间。这样就会减少计算时候的数据输入量，保证计算的效率。

在网关1获取车辆数据之前，需要建立网关1和车辆之间的通信联系，以使得网关1可以获取到车辆数据。在本发明的可选方案中，对于每个网关1，网关1还用于在检测到车辆的数据发送请求时，建立与车辆之间的通信连接，并对车辆是否上线进行判断，以及对车辆的用户合法性进行验证。

上述网关1与车辆之间建立通信连接的方式可采用心跳机制，即网关1可基于数据发送请求主动建立与车辆之间的通信连接，从而可节省宽带消耗，

在本发明的可选方案中，网关1还可对车辆是否上线进行判断，其中，对车辆是否上线进行判断的一种可实现方式为：基于农业行业业务标准，对车辆是否上线进行判断。

上述网关1还可以对车辆的用户合法性进行验证，其中，对车辆的用户合法性进行验证的一种可实现方式为：通过通讯协议，对车辆的用户合法性进行验证，以保证数据的安全性。

可选的，通过验证的车辆可以将车辆数据发送给网关1，未通过的车辆不可将车辆数据发送给网关1，以保证数据的安全性。

在本发明的可选方案中，上述消息对列2可以为kafka消息对列。Kafka 是一种高吞吐量的分布式发布订阅消息系统，适用于百万级别的数据处理场景，在本发明的方案中，通过kafka消息对列，可缓存百万级别的车辆数据。

可选的，除了上述kafka消息对列，本发明方案中的消息对列2还可以为RabbitMQ、RocketMQ、ActiveMQ、ZeroMQ或MetaMq中的任一项，也可以是可以实现消息对列2功能的数据库，比如Redis、Mysql以及phxsql数据库。

其中，上述网关1将车辆数据转换为二进制数据可通过现有技术中的方式实现，在此不再赘述。

在本发明的可选方案中，对于各网关1，各网关1采用异步处理方式将各二进制数据写入消息对列2中。

采用异步处理方式将各二进制数据写入消息对列2中，不用等一个网关1将该网关1对应的二进制数据写入到消息对列2后，其他网关1再进行将二进制数据写入消息对列2的处理，可以同时使得多个网关1一同进行将二进制数据写入消息对列2的处理，从而可提高数据写入效率。

其中，上述异步处理方式可以为基于Netty框架的异步处理方式，通过Netty框架能够较好的应对高并发的处理请求（车辆的数据发送请求）。

在本发明的可选方案中，对于各解析模块3，各解析模块3采用流计算方式将消息对列2中的二进制数据转换为文本数据。采用流计算方式，可以提高分析模块的处理效率。

其中，上述解析模块3将二进制数据转换为文本数据也可通过现有技术实现，比如，通过协议将二进制数据转换为文本数据，具体实现方式在此不再赘述。

可选的，上述流计算方式可以为storm技术或flink技术。

在本发明的可选方案中，上述系统还包括指令下发模块，指令下发模块用于接收用户针对车辆的控制指令，并将控制指令发送至车辆。

其中，控制指令通常为对车辆端的协议或数据采集频率进行修改的指令。通过指令下发模块，用户可以对车辆进行远程控制，便于对各个车辆进行管理。

可选的，上述指令下发模块还可以用于解析控制指令并对解析后的控制指令进行打包处理，指令下发模块还可以用于保存接收到的各个控制指令，各个控制指令可以以指令下发表格的形式存储。

在本发明的可选方案中，上述系统还包括终端应答模块，终端应答模块与指令下发模块连接；

终端应答模块，用于接收车辆基于控制指令发送的应答信息，并根据应答信息确定控制指令是否发送至车辆。

在用户通过指令下发模块将控制指令发送至车辆时，可通过终端应答模块接收的应答信息，确定控制指令是否发送至车辆，以提高对车辆的有效控制，避免因为一些原因导致车辆没有接收到控制指令。

其中，上述应答信息可以通过不同的标识表征控制指令是否发送至车辆，比如，标识0和1，0表示控制指令未发送至车辆，即控制指令发送失败，1则表示控制指令发送至车辆，即控制指令发送成功。本发明方案中不限定应答信息的具体表现形式，均在本发明方案的保护范围内。

另外，在同时向多个车辆发送控制指令时，应答信息中还可包括车辆标识信息，通过车辆标识信息以区分不同的车辆。

可选的，上述终端应答模块还可以用于保存指令下发结果（应答信息），以及更新指令下发表，指令下发表中可包括各个控制指令对应的结果标识，通过不同的结果标识表征不同的应答信息，则更新指令下发表指的是更新各个控制指令的应答信息对应的结果标识，比如，根据应答信息，更新结果标识，结果标识为1或0，0表示控制指令未发送至车辆，即控制指令发送失败，1则表示控制指令发送至车辆，即控制指令发送成功。

在本发明的可选方案中，上述系统还包括状态统计模块，状态统计模块与存储模块4连接；

上述状态统计模块，用于对存储模块4中存储的各解析模块3处理后的数据进行统计分析，得到统计分析结果，统计分析结果包括各网关1接收的数据量和各网关1发送的数据量中的至少一项。

通过状态统计模块可以对个网关1的发送的数据量和接收的数据量进行监控，以便于基于统计分析结果进行后续的处理。比如，可以从中了解到车辆发送的数据量及数据明细，便于追踪出问题的车辆。

其中，在实际应用中，可每隔设定时间间隔进行一次数据统计。

在本发明的可选方案中，上述系统还包括终端管理模块，终端管理模块与状态统计模块连接；

终端管理模块，用于基于统计分析结果，对各网关1的数量和/或各解析模块3的数量进行动态调整。

在通过状态统计模块对各网关1发送和/或接收的数据量进行监控的过程中，还可通过终端管理模块，基于统计分析结果各网关1的数量和/或各解析模块3的数量进行动态调整，以使得在面对不同数据级别的数据处理需求时，可各网关1的数量和/或各解析模块3的数量进行动态调整，以满足不同数据级别的数据处理需求。

其中，基于统计分析结果可以知道当前的网关1正在处理的数据量，以及未参与数据处理的网关1和解析模块3的数量，则基于即将需要处理的数据的数据量，当前的网关1正在处理的数据量以及未参与数据处理的网关1和解析模块3的数量，可以对当前的网关1的数量和当前的解析模块3的数量进行调整，比如，如果即将需要处理的数据量过多时，未参与数据处理的网关1和解析模块3处理不了这些即将需要处理的数据，则可适当增加网关1和解析模块3的数量。同理，在对于需要处理的数据的数据量较小的情况下，即通过未参与数据处理的网关1和解析模块3不但可以处理这些需要处理的数据，还有剩余的网关1和解析模块3不用参与数据处理，则可适当减少网关1和解析模块3的数量。

为了更好的说明及理解本发明所提供的方法的原理，下面结合一个可选的具体实施例对本发明的方案进行说明。需要说明的是，该具体实施例中的各步骤的具体实现方式并不应当理解为对于本发明方案的限定，在本发明所提供的方案的原理的基础上，本领域技术人员能够想到的其他实现方式也应视为本发明的保护范围之内。

参见图2至图3所示的示意图，在图2所示的一种车辆数据的处理系统的结构示意图中，在图2中，终端可以表示车辆，该系统（图2中的网关1解析）包括以下模块：

数据接入模块，终端应答模块、指令下发模块、终端管理模块、状态统计模块和存储模块4；

各解析模块3与存储模块4连接，指令下发模块与终端应答模块连接，状态统计模块与存储模块4连接，终端管理模块与状态统计模块连接（本方案中涉及的连接可以理解为通讯连接）；

其中，上述数据接入模块包括多个网关1、多个解析模块3和存储模块4；

上述各个网关1可用于进行以下几方面的处理：

1、通过心跳机制，建立各个网关1与车辆（图3中所示的设备）之间的通信连接，以获取各车辆的车辆数据；

2、根据农业行业业务标准对车辆是否上线进行判断（对应图2中所示的终端上下线判断）；

3、根据通讯协议对车辆的用户合法性进行验证（对应图2中所示的终端合法性判断）；

4、对获取的车辆数据进行进行初步解析（对应图2中所示的终端原始数据编解码）；

5、将车辆数据转换为二进制数据发送到kafka消息对列。

各网关1在完成上述几方面的处理过程中，可采用基于Netty架构的异步处理方式，以提高处理效率。

上述各个解析模块3（图3中所示的解析）可用于进行以下几方面的处理：

1、根据协议将kafka消息对列中的二进制数据转换为文本数据；

2、将上述文本数据存储至存储模块4（对应图2中所示的终端原始数据持久化，对应图3中所示的存储）。

各解析模块3可采用流计算的方式进行上述几方面的处理，以提高处理效率。

上述指令下发模块可用于进行以下几方面的处理：

1、用于接收用户通过车辆网对应的管理平台发送的针对车辆的控制指令（对应图2中所示的接收下发指令，其中，下发指令即为控制指令），其中，该控制指令可以是对车辆中的协议进行升级的控制指令，或者，也可以是修改车辆中的数据采集频率的控制指令；

2、用于解析控制指令并打包解析后的控制指令（对应图2中所示的解析指令并打包），并将控制指令发送至车辆（对应图2中所示的指令转发至终端）。

3、用于保存控制指令（对应与2中所示的保存下发指令）。

上述终端应答模块可用于进行以下几方面的处理：

1、接收车辆基于控制指令发送的应答信息，并根据应答信息确定控制指令是否发送至车辆；

2、将应答信息保存（对应图2中所示的保存指令下发结果，其中，指令下发结果即为应答信息）；

3、更新指令下发表。

上述终端管理模块用于对存储模块4中存储的各解析模块3处理后的数据进行统计分析，得到统计分析结果，统计分析结果包括各网关1接收的数据量（对应图2中所示的网关1接收数据量统计）和各网关1发送的数据量（对应图2中所示的网关1发送数据量统计）中的至少一项。

上述终端管理模块，用于基于统计分析结果，对各网关1的数量和/或各解析模块3的数量进行动态调整。

通过本发明的方案，由于网关1与解析模块3分开涉及，在当需要上传至系统的车辆数据增加的时候，能够实现不停机情况下的系统横向扩容，即在不影响当前系统的各模块工作的情况下，增加各网关1和各解析模块3的数量。尤其是在大量数据的情况下，进行统计分析计算操作是很耗费计算资源和时间的。本方案选择采用hadoop体系的hdfs作为存储的基本技术体系，利用它的多副本机制保证数据的安全性，采用MapReduce或SparkSQL对数据进行离线计算。然后对数据的存储格式进行合理化优化，采用json文本格式存储文本数据，可减少了很大一部分的冗余，使得同体量的数据减少30%的存储空间。这样就会减少计算时候的数据输入量，保证计算的效率。

以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (7)

1.一种车辆数据的处理系统，其特征在于，包括：

多个网关、多个解析模块和存储模块，各所述解析模块与所述存储模块连接；

对于每个所述网关，所述网关用于获取车辆数据，将所述车辆数据转换为二进制数据，并将所述二进制数据写入消息队列中；

对于每个所述解析模块，所述解析模块用于将所述消息队列中的二进制数据转换为文本数据；

所述存储模块，用于存储各个所述解析模块处理后的文本数据；

所述系统还包括状态统计模块，所述状态统计模块与所述存储模块连接；

所述状态统计模块，用于对所述存储模块中存储的各所述解析模块处理后的数据进行统计分析，得到统计分析结果，所述统计分析结果包括各所述网关接收的数据量和各所述网关发送的数据量中的至少一项；

所述系统还包括终端管理模块，所述终端管理模块与所述状态统计模块连接；

所述终端管理模块，用于基于所述统计分析结果，对各所述网关的数量和/或各所述解析模块的数量进行动态调整。

2.根据权利要求1所述的系统，其特征在于，所述消息队列为kafka消息队列。

3.根据权利要求1所述的系统，其特征在于，对于每个所述网关，所述网关还用于在检测到车辆的数据发送请求时，建立与所述车辆之间的通信连接，并对所述车辆是否上线进行判断，以及对所述车辆的用户合法性进行验证。

4.根据权利要求1至3中任一项所述的系统，其特征在于，对于各所述网关，各所述网关采用异步处理方式将各所述二进制数据写入所述消息队列中。

5.根据权利要求1至3中任一项所述的系统，其特征在于，对于各所述解析模块，各所述解析模块采用流计算方式将所述消息队列中的二进制数据转换为文本数据。

6.根据权利要求1至3中任一项所述的系统，其特征在于，所述系统还包括指令下发模块，所述指令下发模块用于接收用户针对车辆的控制指令，并将所述控制指令发送至所述车辆。

7.根据权利要求6所述的系统，其特征在于，所述系统还包括终端应答模块，所述终端应答模块与所述指令下发模块连接；

所述终端应答模块，用于接收车辆基于所述控制指令发送的应答信息，并根据所述应答信息确定所述控制指令是否发送至所述车辆。

Images