CN110390739A - 一种车辆数据处理方法及车辆数据处理系统 - Google Patents

Abstract

本发明提供了一种车辆数据处理方法及车辆数据处理系统，涉及车辆通信领域。车辆数据处理方法用于处理所述车辆自动驾驶产生的数据，包括将所述车辆处于自动驾驶模式时产生的实时数据发送至云数据分析平台；其中，所述云数据分析平台接收、分析所述实时数据，并存储实时数据分析结果，以在接收到用户端的查询请求时将与所述查询请求对应的实时数据分析结果发送至所述用户端。本发明还提供了相应的系统。本发明不仅能够提高车辆数据处理效率。而且能够有效提升用户的使用满意度。

Description

一种车辆数据处理方法及车辆数据处理系统

技术领域

本发明涉及车辆通信领域，特别是涉及一种车辆数据处理方法及车辆数据处理系统。

背景技术

众所周知，车辆CAN总线产生的消息、信号非常多，而车辆OEM主机厂每年生产的车辆类型和数量是巨大的。从智能驾驶车辆大数据分析的角度上看，如何对多个智能网联汽车产生的海量大数据进行统一的查询检索，既满足实时性数据变化展示要求、又满足对车辆历史大数据的统计分析展示要求，更重要的是保证快速的(秒级别请求应答)查询性能和良好的用户检索体验，是非常有技术挑战的。

同时，智能网联汽车，通常在不定的时间段、不同的路况场景下进行实际路测，很多时候测试人员需要在完成本次路测后，结合该车辆历史路测数据，马上进行统计分析报表的编写，工作量和人力成本都是巨大的；如何有效地将车辆历史数据和当前实际路测数据高效结合，自动地、快捷地完成车辆路测数据的统计分析过程也是一个挑战。

发明内容

本发明第一方面的一个目的是提供一种能够自动实时处理车辆自动驾驶产生的实时数据的车辆数据处理方法。

本发明第一方面的另一个目的是提供一种能够将车辆历史数据和实时数据有效结合并自动快捷的完成车辆数据的统计分析的车辆数据处理方法。

本发明第二方面的一个目的是提供一种能够自动实时处理车辆自动驾驶产生的实时数据的车辆数据处理系统。

根据本发明的第一方面，本发明提供了一种车辆数据处理方法，用于处理所述车辆自动驾驶产生的数据，包括：

将所述车辆处于自动驾驶模式时产生的实时数据发送至云数据分析平台；其中，所述云数据分析平台接收、分析所述实时数据，并存储实时数据分析结果，以在接收到用户端的查询请求时将与所述查询请求对应的实时数据分析结果发送至所述用户端。

根据本发明的第二方面，本发明提供了一种车辆数据处理系统，用于处理所述车辆自动驾驶产生的数据，包括车辆、云数据分析平台和用户端，其中，

所述车辆配置成将所述车辆自动驾驶产生的实时数据发送至所述云数据分析平台；

所述用户端用于向所述云数据分析平台发送查询请求；

所述云数据分析平台配置成接收、分析所述车辆自动驾驶产生的实时数据并存储实时数据分析结果，且配置成在接收到所述用户端的查询请求时将与所述查询请求对应的实时数据分析结果发送至所述用户端。

进一步地，所述云数据分析平台包括车联网核心服务模块、实时数据分析模块、实时业务视图模块、云-应用数据交互模块；

所述车联网核心服务模块，用于接收从车辆端发出的所述车辆自动驾驶产生的实时数据并将所述实时数据发送至所述实时数据分析模块；

所述实时数据分析模块，用于实时分析所述实时数据并将实时数据分析结果发送至所述实时业务视图模块；

所述实时业务视图模块，用于接收并存储所述实时数据分析模块发送的实时数据分析结果；

所述云-应用数据交互模块，用于获取所述用户端发送的用户请求并分析所述用户请求的类别，当所述类别为实时数据分析结果请求时，所述云-应用数据交互模块从所述实时业务视图模块获取与所述用户请求对应的所述实时数据分析结果的数据，同时将所述数据发送给所述用户端，以反馈所述用户请求。

进一步地，所述云数据分析平台还包括历史业务视图模块，用于接收并存储所述车辆自动驾驶产生的历史数据分析结果；

当所述云-应用数据交互模块分析出所述用户请求的类别为历史数据分析结果请求时，所述云-应用数据交互模块从所述历史业务视图模块获取与所述历史数据分析结果请求对应的所述历史数据分析结果的数据，同时将所述数据发送给所述用户端。

进一步地，所述云数据分析平台还包括汇聚处理服务模块和业务服务视图模块，所述汇聚处理服务模块用于提取并分析所述实时业务视图模块中的实时数据分析结果数据和所述历史业务视图模块中的历史数据分析结果数据，以产生准实时数据分析结果，所述业务服务视图模块用于接收并存储所述汇聚处理服务模块发送的准实时数据分析结果；

当所述云-应用数据交互模块分析出所述用户请求的类别为准实时数据分析结果请求时，所述云-应用数据交互模块从所述业务服务视图模块获取与所述准实时数据分析结果请求对应的所述准实时数据分析结果的数据，同时将所述数据发送给所述用户端。

进一步地，所述实时数据分析模块包括数据存储单元和数据分析单元，所述数据存储单元用于接收并存储所述实时数据，所述数据分析单元用于提取所述数据存储单元中的所述实时数据并分析所述实时数据，同时将所述实时数据的分析结果发送至所述实时业务视图模块。

进一步地，所述云-应用数据交互模块包括API网关，所述用户端通过所述API网关输入所述用户请求至所述云-应用数据交互模块。

进一步地，所述汇聚处理服务模块包括数据处理单元，所述数据处理单元用于将所述实时业务视图模块中的实时数据分析结果数据和所述历史业务视图模块中的历史数据分析结果数据进行汇总、分析和计算，以产生准实时数据分析结果。

本发明的车辆数据处理方法及车辆数据处理系统，通过将所述车辆处于自动驾驶模式时产生的实时数据发送至云数据分析平台；其中，所述云数据分析平台接收、分析所述实时数据，并存储实时数据分析结果，以在接收到用户端的查询请求时将与所述查询请求对应的实时数据分析结果发送至所述用户端。如此，车辆自动驾驶产生的实时数据就能够被自动实时处理，并可以供用户端随时查看，因此不仅极大提高了车辆数据的处理效率，节省了大量的人力物力成本，而且还因可供用户端随时查看而保证了快速地(秒级别请求答应)查询性能和良好的用户检索体验，因而有效提升了用户的使用满意度。

进一步地，通过分析所述用户请求的类别，所述类别包括实时数据分析结果请求、历史数据分析结果请求和准实时数据分析结果请求，所述车辆数据处理系统根据不同的类别为用户端提供不同的服务。如此，车辆的历史数据和实时数据均能够被自动有效分析处理或者有效结合处理，且可以供用户端随时查看，因此进一步极大提高了车辆数据的处理效率，进一步利于节省人力以及物力成本，也进一步有效提升了用户的使用满意度。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：

图1是根据本发明一个实施例的车辆数据处理方法的流程图；

图2是根据本发明一个实施例的车辆数据处理系统的原理框图；

图3是根据本发明另一个实施例的车辆数据处理系统的原理框图；

图4是根据本发明再一个实施例的车辆数据处理系统的原理框图。

具体实施方式

图1是根据本发明一个实施例的车辆数据处理方法的流程图。如图1所示，车辆数据处理方法用于处理所述车辆自动驾驶产生的数据，包括：

将所述车辆处于自动驾驶模式时产生的实时数据发送至云数据分析平台；其中，所述云数据分析平台接收、分析所述实时数据，并存储实时数据分析结果，以在接收到用户端的查询请求时将与所述查询请求对应的实时数据分析结果发送至所述用户端。

本发明的车辆数据处理方法，通过将所述车辆处于自动驾驶模式时产生的实时数据发送至云数据分析平台；其中，所述云数据分析平台接收、分析所述实时数据，并存储实时数据分析结果，以在接收到用户端的查询请求时将与所述查询请求对应的实时数据分析结果发送至所述用户端。如此，车辆自动驾驶产生的实时数据就能够被自动实时处理，并可以供用户端随时查看，因此不仅极大提高了车辆数据的处理效率，节省了大量的人力物力成本，而且还因可供用户端随时查看而保证了快速地(秒级别请求答应)查询性能和良好的用户检索体验，因而有效提升了用户的使用满意度。

同时，本发明还提供了一种车辆数据处理系统。图2是根据本发明一个实施例的车辆数据处理系统的原理框图。如图2所示，车辆数据处理系统用于处理所述车辆自动驾驶产生的数据，包括车辆100、云数据分析平台200和用户端300。其中，所述车辆100配置成将所述车辆自动驾驶产生的实时数据发送至所述云数据分析平台。所述用户端300用于向所述云数据分析平台200发送查询请求。所述云数据分析平台200配置成接收、分析所述车辆自动驾驶产生的实时数据并存储实时数据分析结果，且配置成在接收到所述用户端300的查询请求时将与所述查询请求对应的实时数据分析结果发送至所述用户端300。

本发明的车辆数据处理系统，通过设置车辆100、云数据分析平台200和用户端300。云数据分析平台200配置成接收、分析所述车辆自动驾驶产生的实时数据并存储实时数据分析结果，且配置成在接收到所述用户端300的查询请求时将与所述查询请求对应的实时数据分析结果发送至所述用户端300。如此，车辆自动驾驶产生的实时数据就能够被自动实时处理，并可以供用户端300随时查看，因此不仅极大提高了车辆数据的处理效率，节省了大量的人力物力成本，而且还因可供用户端随时查看而保证了快速地(秒级别请求答应)查询性能和良好的用户检索体验，因而有效提升了用户的使用满意度。

具体地，图3是根据本发明另一个实施例的车辆数据处理系统的原理框图。如图3所示，所述云数据分析平台200包括车联网核心服务模块1、实时数据分析模块2、实时业务视图模块3、云-应用数据交互模块4。所述车联网核心服务模块1用于接收从车辆发出的所述车辆自动驾驶产生的实时数据并将所述实时数据发送至所述实时数据分析模块2。所述实时数据分析模块2用于实时分析所述实时数据并将实时数据分析结果发送至所述实时业务视图模块3。所述实时业务视图模块3用于接收并存储所述实时数据分析模块2发送的实时数据分析结果。所述云-应用数据交互模块4用于获取所述用户端300发送的查询请求并分析所述查询请求的类别，当所述类别为实时数据分析结果请求时，所述云-应用数据交互模块4从所述实时业务视图模块3获取与所述查询请求对应的所述实时数据分析结果的数据，同时将所述数据发送给所述用户端300，以反馈所述查询请求。

本发明的云数据分析平台，通过设置车联网核心服务模块1、实时数据分析模块2、实时业务视图模块3、云-应用数据交互模块4。所述车联网核心服务模块1用于接收从车辆发出的所述车辆自动驾驶产生的实时数据并将所述实时数据发送至所述实时数据分析模块2。所述实时数据分析模块2用于实时分析所述实时数据并将实时数据分析结果发送至所述实时业务视图模块3。所述实时业务视图模块3用于接收并存储所述实时数据分析模块2发送的实时数据分析结果。所述云-应用数据交互模块4用于获取所述用户端300发送的查询请求并分析所述查询请求的类别，当所述类别为实时数据分析结果请求时，所述云-应用数据交互模块4从所述实时业务视图模块3获取与所述查询请求对应的所述实时数据分析结果的数据，同时将所述数据发送给所述用户端300，以反馈所述查询请求。如此，车辆自动驾驶产生的实时数据就能够被自动实时处理，并可以供用户端随时查看，因此不仅极大提高了车辆数据的处理效率，节省了大量的人力物力成本，而且还因可供用户端随时查看而保证了快速地(秒级别请求答应)查询性能和良好的用户检索体验，因而有效提升了用户的使用满意度。

进一步地，如图3所示，所述云数据分析平台200还包括历史业务视图模块5，用于接收并存储所述车辆自动驾驶产生的历史数据分析结果。所述云-应用数据交互模块4分析出所述查询请求的类别为历史数据分析结果请求时，所述云-应用数据交互模块4从所述历史业务视图模块5获取与所述历史数据分析结果请求对应的所述历史数据分析结果的数据，同时将所述数据发送给所述用户端。

同时，如图3所示，所述云数据分析平台200还包括汇聚处理服务模块6和业务服务视图模块7，所述汇聚处理服务模块6用于提取并分析所述实时业务视图模块3中的实时数据分析结果数据和所述历史业务视图模块5中的历史数据分析结果数据，以产生准实时数据分析结果。所述业务服务视图模块7用于接收并存储所述汇聚处理服务模块发送的准实时数据分析结果。当所述云-应用数据交互模块4分析出所述查询请求的类别为准实时数据分析结果请求时，所述云-应用数据交互模块4从所述业务服务视图模块7获取与所述准实时数据分析结果请求对应的所述准实时数据分析结果的数据，同时将所述数据发送给所述用户端。

如此，车辆的历史数据和实时数据能够被自动有效结合且被自动快捷的分析处理，因此进一步极大提高了车辆数据的处理效率，进一步利于节省人力以及物力成本。

进一步地，图4是根据本发明再一个实施例的车辆数据处理系统的原理框图。如图4所示，所述实时数据分析模块2包括数据存储单元21和数据分析单元22，所述数据存储单元21用于接收并存储所述实时数据，所述数据分析单元22用于提取所述数据存储单元21中的所述实时数据并分析所述实时数据，同时将所述实时数据的分析结果发送至所述实时业务视图模块3。

同时，如图4所示，所述云-应用数据交互模块4包括API网关41，所述用户端通过所述API网关41输入所述查询请求至所述云-应用数据交互模块4。

此外，所述用户端300包括智能手机、智能平板电脑和PC机中的一种或几种。

如此，车辆数据处理系统就为用户端提供了统一的服务接口，因此能够实现各种局域网、互联网高并发用户端的统一接入和访问。

同时，如图4所示，所述汇聚处理服务模块6包括数据处理单元61，所述数据处理单元61用于将所述实时业务视图模块3中的实时数据分析结果数据和所述历史业务视图模块5中的历史数据分析结果数据进行汇总、分析和计算，以产生准实时数据分析结果。

更具体地，本发明的云数据分析平台200的具体结构为如图4所示的一部分。云数据分析平台200可以为基于AWS的自动驾驶车辆大数据统计分析平台。如图4所示，基于AWS的自动驾驶车辆大数据统计分析平台由车联网核心服务模块1、原始数据源域、远程监控数据源域、数据加工域、数据仓库域、数仓元数据管理域、实时数据分析模块2、实时业务视图模块3、历史业务视图模块5、汇聚处理服务模块6、业务服务视图模块7、工作流调度编排监控域、云-应用数据交互模块4、系统管理员GUI/CLI客户端应用域、用户端300(即互联网高并发客户端应用域)共同组成。

其中，车联网核心服务模块1在实现具体功能时，具体为：车联网核心服务模块1的规则引擎，将所有采集到的车辆原始CAN数据路由给数据源域的Kinesis Stream，以及实时数据分析模块2的Kinesis Stream，以便后续历史数据统计分析和实时数据分析。

实时数据分析模块2在实现具体功能时，具体为：该模块由AWS云托管的Kinesis和EMR(使用内置的Spark Streaming)服务组成。Amazon Kinesis Streams的特性：

(1)易于管理：创建流、设置初始分片数量，之后动态扩展或缩减分片数量以匹配用户的数据吞吐量；

(2)构建实时应用程序：使用Kinesis Client Library(KCL)，Apache Spark/Storm，AWS Lambda等，构建数据使用者应用程序；

(3)费用低廉：任何规模的工作负载都具有成本效益。

本发明应用Amazon Kinesis Streams的主要内容：

流(Stream)：用于收集和存储数据；

分片(Shards)：流中数据记录的唯一标示组，一个或多个分片组成一个流；

每个分片的容量单位：Put：1MB/sec或者1000TPS；Get：2MB/sec或者5TPS；

所有数据默认存储24小时，最长可达7天；

使用Resharding扩展Kinesis Stream，以适应实际数据吞吐量的变化；

重播24小时内的数据。

Kinesis DataStream是一组分片。每个分片都有一系列数据记录。每个数据记录都具有一个由Kinesis Data Streams分配的序列号；同一分区键的序列号通常会随时间推移增加。写入请求之间的时间段越长，序列号越大。

分片和数据记录：数据记录是存储在Kinesis DataStream中的数据单位，要点包括序列号、分区键、数据记录、数据Blob等，后者是不可变的字节序列。Kinesis DataStreams不以任何方式检查、解释或更改Blob中的数据。数据Blob可以是最多1MB。

Kinesis Stream数据输入：实现简单的PUT API存储数据(流名称、数据payload、分区键)，根据分区键跨Shard分配数据，PUT返回唯一的顺序号。

Kinesis Stream数据读取：Kinesis Client Library(KCL)，分布到多个Shards、容错、根据Shard数量自动扩展、帮助实现分布式计算。

Spark Streaming流式处理：以一系列微型批处理构建的流式处理计算方式，Discretized Stream(DStream)代表一个数据流，以一系列RDD的形式存在。DStreams可以通过两种方式创建：通过流式输入源(Streaming Input)，通过其它DStream转换形成。

Spark有向无环图(DAG)和RDD：一组分区、它所依赖的上一级RDD、从上一级RDD计算得出当前RDD的方法、(可选)分区方法、(可选)每个分区的期望的位置。

Spark的RDD操作：转换(通过一个现有的数据集生成一个新的数据集：map,filter,distinct,union,sample,groupByKey,join,…)，操作(通过计算返回一个/多个值：collect,count,first,takeSample,foreach,…)。

Spark流式处理和Kinesis的集成架构：在Spark上下文环境中启动“Worker”，由“Worker”启动“Processor”线程对Kinesis Shard进行访问。

Kinesis DStream的协作：KCL应用(Kinesis DStream)通过DynamoDB进行协同。DStream通过KCL应用名称确定协同关系，一个DStream可以对应一个Kinesis Shard，DStream数量(m)大于Shard数量(n)会产生资源浪费。

Kinesis Client Library：将编译成应用程序，从而支持以容错方式使用流中的数据。KCL确保每个Shard有一个用于运行和处理它的记录处理器。库还可以简化流中的数据读取。KCL使用Amazon DynamoDB表存储控制数据，它会为每个正在处理数据的应用程序创建一个表。

应用程序名称：Amazon Kinesis Data Streams Application的名称标识应用程序。每个应用程序必须具有一个唯一名称。此名称的范围限定于应用程序使用的AWS账户和区域。此名称用作Amazon DynamoDB中的控制表名称和Amazon CloudWatch指标的命名空间。

在这里，数据存储单元21可以为Kinesis Stream，数据分析单元22可以为SparkStreaming。

实时业务视图模块3在实现具体功能时，具体为：该模块采用AWS的Redis作为弹性分布式存储服务。实时数据分析模块2的Spark Streaming将处理后的实时分析增量数据保存到Redis里面，供后续的查询或汇聚。当Redis缓存的实时数据被汇总到业务服务视图模块7的统计分析结果数据库后，即可被清除；客户端可以从该Redis缓存中查询获取实时的、小批量增量处理完成的数据。

Redis(REmote DIctionary Server)是一个开源的、使用ANSI C语言编写、遵守BSD许可、支持网络、可基于内存亦可持久化的日志型、Key-Value数据结构服务器，提供多种语言的API，可用作数据库、高速缓存和消息队列代理。它支持多种数据类型，内置复制、Lua脚本、LRU收回、事务以及不同级别磁盘持久化功能，同时通过Redis Sentinel提供高可用，通过Redis Cluster提供自动分区。

Redis的优势：

(1)性能极高：Redis的读的速度是110000次/s，写的速度是81000次/s；

(2)丰富的数据类型：Redis支持二进制案例的String，Lists，Hashs，Sets以及Ordered Sets，Bitmap，Hyperloglogs等数据类型操作；

(3)原子：Redis的所有操作都是原子性的，同时Redis还支持对几个操作全并后的原子性执行；

(4)丰富的特性：Redis还支持publish/subscribe，通知，过期等特性。

Redis的部署方式，只要支持单实例模式、Sentinel哨兵主从配置、集群模式。由下表1比较可知：如果需要完整的分片、复制和高可用特性，在集群节点不多且在使用Sentinel这种模式会带来性能瓶颈和资源消耗的情况下，可以选择使用Redis集群；如果只需要一部分特性(比如只需要分片，但不需要复制和高可用)，那么可以选择RedisSentinel。AWS的ElasticsCache的Redis部署，采用了集群方式进行部署。

表1

历史业务视图模块5在实现具体功能时，具体为：采用AWS托管的MySql作为数据集市BI业务数据库，该域是面向主题来组织数据的，通常是星形或雪花结构的数据。从数据粒度来说，该域的数据是轻度/高度汇总级的数据，已经不存在明细数据了。从数据的时间跨度来说，通常是数据仓库的一部分，其主要目的是为了满足用户分析的需求。从分析的角度来说，用户通常只需要分析近几年的即可。从数据的广度来说，可以覆盖所有业务数据。在极端情况下，可以为每一张报表构建一个模型来支持，达到以空间换时间的目的；客户端可以从该MySql中查询获取历史的、统计分析后的数据集市，或面向不同业务主题的应用级统计数据。

通过数据仓库域的Amazon EMR运行的Presto，对Hive数据仓库进行OLAP分析计算，然后将结果数据生成到本域的MySql中；Presto任务的定时执行由工作流调度编排监控域的AirFlow集群触发，触发周期为每天一次。

汇聚处理服务模块6在实现具体功能时，具体为：该模块主要采用Amazon的EMR提供的Presto服务。它将定期从实时业务视图模块3的Redis分布式缓存，以及历史业务视图模块5的MySql关系型BI业务数据库中进行数据提取，进行汇总、分析和计算，然后把数据结果集推送给业务服务视图模块7的MySql统计分析结果库中。该计算域的设计主要考虑对于准实时性数据的计算处理和可视化展示，比如每半小时统计一次截至目前为止，某个VIN车辆最大加速度分布情况。需要在实时业务视图模块3的Redis中计算和缓存实时最大值；而历史业务视图模块5的MySql已经保存了截至昨天为止的某个VIN车辆的最大加速度值，这样可由工作流调度编排监控域的AirFlow集群每半小时定时触发汇聚处理服务模块6中运行在Amazon EMR上的Presto计算集群，分别读取Redis和MySql，比较分析后将处理结果生成到业务服务视图模块7的MySql中，以供后续的查询展示。

Presto是Facebook推出的一个基于Java开发的、完全基于内存的并行计算、大数据分布式SQL交互式查询引擎。Presto是一种MPP(Massively Parallel Processing)架构，多个节点管道式执行，可对从GB到PB级的大数据进行交互式查询，大数据的所有计算处理都在内存中完成，因此查询的速度达到商业数据仓库的级别，该引擎的性能是Hive的10倍以上。Presto适合PB级别海量数据复杂分析，交互式Sql查询，支持跨数据源查询。在这里，数据处理单元61可以为该Presto。

Presto基于PipeLine进行设计，每一次的查询都会被分解为多个分布在各个Worker上的Task，每个Task都会与其上下游Stage中的Task在数据流上存在前后依赖关系，每个Task又会被进一步细分为多个Driver，每个Driver由一系列有前后关系的Operator组成，每种Operator代表作用于一个Split上的一种操作。每当查询启动的时候，就会在每个Worker上启动相应的Task，每个Task都会处理一个或者多个Split，并且每处理一个Buffer大小的数据量时，就会将结果传输到下游Stage的Task中，这样基本可以保证数据实时动态地传输。

Presto客户端提交查询语句至Coordinator，Coordinator将查询最终分解为Task，并交由各个Worker执行，Coordinator从Single Stage中的Task获得最终的查询结果，并将查询结果返回给客户端。

云-应用数据交互模块4在实现具体功能时，具体为：该解决方案将AmazonAPI网关配置为托管解决方案的Restful API，通过Cognito连接用户自建的认证用户池(用户信息存储在托管的MySql数据库中，并可以复制到用户的私有云平台)，使用该用户池可以添加用户注册并登录到现有连接的车辆应用程序中。现有的应用程序和第三方服务提供商可以通过Restful API安全地与所连接的车辆数据交互。APIS作为“前门”来访问车辆的AWS服务。AWS车载解决方案数据存储在Amazon DynamoDB中。另外可以使用API来访问构建到解决方案中的任何扩展功能。

移动或PC客户端用户注册通过Cognito触发Lambda，来将用户注册信息写入MySql数据库。另外用户登录认证时，通过Cognito触发Lambda，读取MySql数据进行验证检查。

移动或PC客户端通过访问API网关触发Lambda查询后端DynamoDB和MySql数据库，获取信息并呈现。

移动或PC客户端可以通过Http Restful连接API网关41并触发Lambda，访问实时业务视图模块3的Redis分布式缓存，历史业务视图模块5的BI业务数据库MySql，以及业务服务视图模块7的统计分析结果数据库MySql，最后将查询结果应答给客户端显示，在客户端采用大数据可视化技术实现各种图形、报表的展示；另外，移动或PC客户端也可以内置定时器，周期性的触发Http Restful的请求到服务端，从而实现客户端GUI界面各类统计数据的自动定期更新。

Web静态网页采用Vue.js开发，脚本文件存于该域的S3中，由客户端浏览器调用下载和渲染界面；后端的Lambda采用Node.js编码实现。

如图4所示，云-应用数据交互模块4包括Lambda、业务应用MySqlDB、Cognito、S3静态脚本和APIGateway(API网关41)等单元，其中，Lambda用于处理API网关41接收的不同HTTP请求，比如移动端APP登录认证鉴权，通过Amazon Cognito来实现，以作为使用IAM角色和策略Lambda授权方的替代方案。Amazon Cognito提供用户池和身份池，用户池为应用程序提供注册和登录选项的用户目录，身份池提供AWS凭证以向用户授予对其他AWS服务的访问权限。目前在中国用户池的功能没有开放，这里采用APIGateway+Lambda+自定义用户注册数据库MySql完成用户认证，联合Cognito作授权的方式实现对登录用户的登录认证鉴权。

首先在AWS上创建Cognito的身份池，并匹配对应的角色(每个角色有对不同AWS资源的访问权限)。移动端以HTTP方式发出登录请求→云端API Gateway接收请求，转到Lambda→Lambda解析登录请求中的用户名密码，并访问MySql业务应用数据库，进行用户名/密码匹配。用户认证成功以后，移动端APP调用Cognito的SDK，根据身份池ID和模块名创建Credential Provider，进而创建出AWSIoTClient对象，该对象根据移动端的证书文件和请求生成一个临时密钥，并进行密钥持久化存储。接着移动端本地创建策略请求，并根据该密钥获得对应的策略，进而得到对应的AWS资源访问权限。

Cognito是AWS提供的用户登录认证鉴权服务验证组件。API是ApplicationProgramming Interface,应用程序编程接口的意思，这里API网关41指的是，在网络中，集中提供一组程序调用接口的组件。

网页一般是由HTML文件、图片、js脚本组成。在本架构中，像图片，js脚本这类资源文件，被存放在S3静态网页脚本上面。像需要访问后台数据生成动态的HTML文本，是由Lambda访问后数据库动态生成的。

针对云-应用数据交互模块4中的MySql、Cognito、S3静态网页脚本和API网关41，用户通过浏览器访问页面时，首先访问Amazon S3这个URL，得到HTML文件、图片和js脚本后，由本地的浏览器引擎进行解析和渲染界面。而当用户在web浏览器界面上进行各种操作时，就要把HTTP请求发送给API网关41，API网关41收到并分发这些请求。如果是登录请求，交由Lambda和MySql处理，并返回登录成功或失败的提示；如果是历史查询类的请求，交由Lambda和各种DynamoDB业务库生成结果HTML页面返回。

本发明通过车辆大数据分析平台的建设，基于AWS公有云环境，充分考虑的灵活性和可扩展性，采用先进的Lambda架构原则，设计了一套集车辆大数据历史分析、实时分析、准实时分析于一体的建设方案，批处理层、速度层、服务层各司其职并集成联动，最后通过外部Http Restful接口，为各种客户端接入系统提供统一的查询检索服务。同时，通过引入分布式工作流引擎，为整个车辆大数据分析平台的数据处理(ETL、OLAP、汇聚统计等)提供统一的业务编排与任务监控，极大降低了人力成本。

其中，Lambda架构由Storm的作者Nathan Marz提出。旨在设计出一个能满足实时大数据系统关键特性的架构，具有高容错、低延时和可扩展等特性。Lambda架构整合离线计算和实时计算，融合不可变性，读写分离和复杂性隔离等一系列架构原则，可集成Hadoop、Kafka、Storm、Spark、HBase等各类大数据组件。本发明采用Lambda系统架构基本指导思想，将大数据系统架构为多个层次，分别为批处理层(batch layer)、速度层(speed layer)、服务层(serving layer)，来构建整个车辆大数据分析平台。

Lambda架构理论点来源于范畴学的Monoid，其一个重要特性是满足结合律。不满足Monoid特性的函数很多时候可以转化成多个满足Monoid特性的函数的运算。满足Monoid特性意味着可以将计算分解到多台机器并行运算，然后再结合各自的部分运算结果得到最终结果。同时也意味着部分运算结果可以存储下来，被别的运算共享利用(如果该运算也包含相同的部分子运算)，从而减少重复运算的工作量。

Lambda基于下列原则：

(1)人为容错性：系统易数据丢失或数据损坏，大规模时可能是不可挽回的；

(2)数据不可变性：数据存储在它的最原始的形式不变的、永久的；

(3)重新计算：因为上面两个原则，运行函数重新计算结果是可能的。

Batch Layer(批处理层)具体为：在Lambda架构中，在全体数据集上在线运行查询函数得到结果的代价太大，同时处理查询时间过长，导致用户体验不好。如果我们预先在数据集上计算并保存预计算的结果，查询的时候直接返回预计算的结果，而无需重新进行复制耗时的计算。batch view是一个批处理过程，采用Hadoop或Spark支持的map-reduce方式，计算得到的每个view都支持再次计算，且每次计算的结果都相同。View是一个和业务关联性比较大的概念，View的创建需要从业务自身的需求出发。一个通用的数据库查询系统，查询对应的函数千变万化，不可能穷举。但是如果从业务自身的需求出发，可以发现业务所需要的查询常常是有限的。Batch Layer需要做的一件重要的工作就是根据业务的需求，考察可能需要的各种查询，根据查询定义其在数据集上对应的Views。

Speed Layer(速度层)具体为：Batch Layer能够很好的处理离线数据，但是在很多场景中数据不断产生，并且业务场景需要实时查询。Speed Layer就是设计用来处理增量的实时数据，主要处理新数据和服务层更新造成的高延迟补偿，这些Realtime View的有效期，一直到它们已经能通过批处理和服务层获得时为止。Speed Layer和Batch Layer比较相似，对数据进行计算并生成Realtime View，Speed Layer是Batch Layer在实时性伤得一个补充，其主要的区别在于：

(1)Speed Layer处理的数据是最近的增量数据流，Batch Layer处理的是全体数据集；

(2)Speed Layer为了效率，接收到新数据及时更新Realtime View，而BatchLayer根据全体离线数据直接得到Batch View。Speed Layer是一种增量计算，而非重新计算；

(3)Speed Layer因为采用增量计算，所以延迟小，而Batch Layer是全数据集的计算，耗时比较长。

Lambda架构将数据处理分解为Batch Layer和Speed Layer有如下优点：

(1)容错性：Speed Layer中处理的数据不断写入Batch Layer，当Batch Layer中重新计算数据集包含Speed Layer处理的数据集后，当前的Realtime View就可以丢弃。这就意味着Speed Layer处理中引入的错误，在Batch Layer重新计算时都可以得到修正。这点也可以看成是CAP理论中的最终一致性的体现；

(2)复杂性隔离：Batch Layer处理的是离线数据，可以很好的掌控。Speed Layer采用增量算法处理实时数据，复杂性比Batch Layer要高很多。通过分开Batch Layer和Speed Layer，把复杂性隔离到Speed Layer，可以很好的提高整个系统的鲁棒性和可靠性。

Serving Layer(服务层)具体为：Batch Layer通过对Master Dataset执行查询获得Batch View，Speed Layer通过增量计算提供Realtime View。Lambda架构的ServingLayer用于响应用户的查询请求，合并Batch View和Realtime View中的结果数据集到最终的数据集，因此Serving Layer的职责包含：

(1)对Batch View和Realtime View的随机访问；

(2)更新Batch View和Realtime View，并负责结合两者的数据，对用户提供统一的接口。

至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (8)

1.一种车辆数据处理方法，用于处理所述车辆自动驾驶产生的数据，其特征在于，包括：

将所述车辆处于自动驾驶模式时产生的实时数据发送至云数据分析平台；其中，所述云数据分析平台接收、分析所述实时数据，并存储实时数据分析结果，以在接收到用户端的查询请求时将与所述查询请求对应的实时数据分析结果发送至所述用户端。

2.一种车辆数据处理系统，用于处理所述车辆自动驾驶产生的数据，其特征在于，包括车辆、云数据分析平台和用户端，其中，

所述车辆配置成将所述车辆自动驾驶产生的实时数据发送至所述云数据分析平台；

所述用户端用于向所述云数据分析平台发送查询请求；

所述云数据分析平台配置成接收、分析所述车辆自动驾驶产生的实时数据并存储实时数据分析结果，且配置成在接收到所述用户端的查询请求时将与所述查询请求对应的实时数据分析结果发送至所述用户端。

3.根据权利要求2所述的车辆数据处理系统，其特征在于，所述云数据分析平台包括车联网核心服务模块、实时数据分析模块、实时业务视图模块、云-应用数据交互模块；

所述车联网核心服务模块，用于接收从车辆发出的所述车辆自动驾驶产生的实时数据并将所述实时数据发送至所述实时数据分析模块；

所述实时数据分析模块，用于实时分析所述实时数据并将实时数据分析结果发送至所述实时业务视图模块；

所述实时业务视图模块，用于接收并存储所述实时数据分析模块发送的实时数据分析结果；

所述云-应用数据交互模块，用于获取所述用户端发送的查询请求并分析所述查询请求的类别，当所述类别为实时数据分析结果请求时，所述云-应用数据交互模块从所述实时业务视图模块获取与所述查询请求对应的所述实时数据分析结果的数据，同时将所述数据发送给所述用户端，以反馈所述查询请求。

4.根据权利要求3所述的车辆数据处理系统，其特征在于，所述云数据分析平台还包括历史业务视图模块，用于接收并存储所述车辆自动驾驶产生的历史数据分析结果；

当所述云-应用数据交互模块分析出所述查询请求的类别为历史数据分析结果请求时，所述云-应用数据交互模块从所述历史业务视图模块获取与所述历史数据分析结果请求对应的所述历史数据分析结果的数据，同时将所述数据发送给所述用户端。

5.根据权利要求4所述的车辆数据处理系统，其特征在于，所述云数据分析平台还包括汇聚处理服务模块和业务服务视图模块，所述汇聚处理服务模块用于提取并分析所述实时业务视图模块中的实时数据分析结果数据和所述历史业务视图模块中的历史数据分析结果数据，以产生准实时数据分析结果，所述业务服务视图模块用于接收并存储所述汇聚处理服务模块发送的准实时数据分析结果；

当所述云-应用数据交互模块分析出所述查询请求的类别为准实时数据分析结果请求时，所述云-应用数据交互模块从所述业务服务视图模块获取与所述准实时数据分析结果请求对应的所述准实时数据分析结果的数据，同时将所述数据发送给所述用户端。

6.根据权利要求3所述的车辆数据处理系统，其特征在于，所述实时数据分析模块包括数据存储单元和数据分析单元，所述数据存储单元用于接收并存储所述实时数据，所述数据分析单元用于提取所述数据存储单元中的所述实时数据并分析所述实时数据，同时将所述实时数据的分析结果发送至所述实时业务视图模块。

7.根据权利要求3所述的车辆数据处理系统，其特征在于，所述云-应用数据交互模块包括API网关，所述用户端通过所述API网关输入所述查询请求至所述云-应用数据交互模块。

8.根据权利要求5所述的车辆数据处理系统，其特征在于，所述汇聚处理服务模块包括数据处理单元，所述数据处理单元用于将所述实时业务视图模块中的实时数据分析结果数据和所述历史业务视图模块中的历史数据分析结果数据进行汇总、分析和计算，以产生准实时数据分析结果。