CN110196850A - 车辆数据处理平台 - Google Patents

Abstract

本发明涉及数据处理技术领域，具体提供了一种车辆数据处理平台，旨在解决如何存储与分析海量级别的车辆数据的技术问题。为此目的，本发明提供的车辆数据处理平台中第一分布式消息队列系统包括多个消息队列，分布式数据处理系统包括多个数据处理节点，消息队列可以接收第一外部系统发送的车辆数据，数据处理节点可以获取预先与其绑定的消息队列接收到的车辆数据，对车辆数据进行数据分析并将数据分析结果发送至分布式存储系统。基于上述结构，本发明能够根据实际需求对消息队列和数据处理节点的数量进行扩展，对分布式存储系统的存储空间进行扩展，不仅实现了对海量级别的车辆数据的存储与处理，还避免了车辆数据处理平台存在性能热点系统。

Description

车辆数据处理平台

技术领域

本发明涉及数据处理技术领域，具体涉及车辆数据处理平台。

背景技术

动力电池作为电动汽车的核心部件，需要及时监控其工作状态来保障电动汽车的安全运行，为此，需要向远端服务器定时发送动力电池的状态数据，以及车辆中动力电池相关设备(如电池管理系统、电力驱动系统和使用动力电池供电的车载设备等)的状态数据，从而根据这些数据准确分析出动力电池的工作状态。

但是，由于动力电池的数量较多，以及每个动力电池的状态数据来源也很多(如车辆、充电设备和电池存储站等)，同时这些数据源向远端服务器定时发送数据的周期往往也很小(如几秒)，因此，需要存储与分析海量级别的车辆数据。然而，目前通常是采用基于单机存储的关系型数据库来存储车辆数据，这无法满足对海量级别数据的快速读取与写入，进而无法实现实时地数据分析与处理。

发明内容

为了解决现有技术中的上述问题，即为了解决如何存储与分析海量级别的车辆数据的技术问题。为此目的，本发明提供了一种车辆数据处理平台，所述车辆数据处理平台包括第一分布式消息队列系统、分布式数据处理系统和分布式存储系统，所述第一分布式消息队列系统包括多个消息队列，所述分布式数据处理系统包括多个数据处理节点；所述消息队列配置为接收第一外部系统发送的车辆数据；所述数据处理节点配置为获取预先与其绑定的消息队列接收到的车辆数据，对所述车辆数据进行数据分析并将数据分析结果发送至所述分布式存储系统进行存储，通过该车辆数据处理平台能够存储与分析海量级别的车辆数据。

进一步地，本发明提供的一个可选技术方案是：

所述数据处理节点包括数据解析模块、数据缓存模块和数据聚合分析模块，所述数据聚合分析模块包括数据统计子模块和数据报警子模块；

所述数据解析模块配置为解析所述车辆数据并将解析结果发送至所述数据缓存模块；

所述数据统计子模块配置为获取所述数据缓存模块中的缓存数据，对所述缓存数据进行数据统计并将数据统计结果发送至所述分布式存储系统进行存储；

所述数据报警子模块配置为获取所述数据缓存模块中的缓存数据，对所述缓存数据进行报警分析并将报警分析结果发送至所述分布式存储系统进行存储。

进一步地，本发明提供的一个可选技术方案是：所述数据缓存模块包括多个数据池以及与每个数据池对应的缓存队列和读写线程，所述数据池配置为通过哈希表缓存所述车辆数据的解析结果。

进一步地，本发明提供的一个可选技术方案是：当所述车辆数据是动力电池相关数据时，所述数据缓存模块配置为通过以下方式为所述车辆数据的解析结果分配数据池：

Data_pool_ID＝Hash(Battery_ID)％M

其中，所述Data_pool_ID是数据池的编号，所述Battery_ID是动力电池的编号，所述M是所述数据缓存模块中数据池的总数，所述Hash表示散列函数，所述％表示取余运算。

进一步地，本发明提供的一个可选技术方案是：所述分布式存储系统包括分布式键值存储子系统，所述数据处理节点还包括第一数据异步发送模块；

所述第一数据异步发送模块配置为接收所述数据解析模块输出的解析结果、接收所述数据融合分析模块输出的数据统计结果和报警分析结果，并通过异步传输方式将所述解析结果、数据统计结果和报警分析结果发送至所述分布式键值存储子系统进行存储；

其中，所述分布式键值存储子系统是基于Key-Value键值对存储结构构建的存储子系统。

进一步地，本发明提供的一个可选技术方案是：所述分布式存储系统还包括分布式对象存储子系统，所述车辆数据处理平台还包括第二分布式消息队列系统和周期性持久化服务系统；

所述数据处理节点还包括第二数据异步发送模块，所述第二数据异步发送模块配置为接收所述数据解析模块输出的解析结果、接收所述数据融合分析模块输出的数据统计结果和报警分析结果，并通过异步传输方式将所述解析结果、数据统计结果和报警分析结果发送至所述第二分布式消息队列系统；

所述周期性持久化服务系统配置为将所述第二分布式消息队列系统接收到的解析结果、数据统计结果和报警分析结果定时发送至所述分布式对象存储子系统进行存储；

其中，所述分布式对象存储子系统是基于对象存储结构构建的存储子系统。

进一步地，本发明提供的一个可选技术方案是：所述车辆数据处理平台还包括数据仓库，所述分布式对象存储子系统还配置为对其存储的数据添加相应的元数据，并将添加元数据后的数据发送至所述数据仓库进行存储；

其中，所述元数据包括所述数据在所述分布式对象存储子系统中对应的数据表的名称、所述数据表所属数据库的名称、所述数据表的分区信息和所述数据的存储路径。

进一步地，本发明提供的一个可选技术方案是：所述第二分布式消息队列系统还配置为接收第二外部系统发送的数据获取指令，并将与所述数据获取指令对应的数据发送至所述第二外部系统；

其中，所述与数据获取指令对应的数据包括解析结果、和/或数据统计结果、和/或报警分析结果。

进一步地，本发明提供的一个可选技术方案是：所述车辆数据处理平台还包括元数据管理系统，所述元数据管理系统配置为存储所述车辆数据对应的元数据；

其中，当所述车辆数据是动力电池相关数据时，所述动力电池相关数据对应的元数据包括动力电池的编号、动力电池所在车辆/充电设施的编号、动力电池所在车辆/充电设施的位置以及所述动力电池相关数据的数据名称、数据格式和数据来源。

进一步地，本发明提供的一个可选技术方案是：所述数据处理节点还包括元数据读写模块，

所述元数据读写模块配置为获取所述元数据管理系统中存储的车辆数据的元数据并将所述元数据发送至所述数据解析模块，以及获取所述数据解析模块根据所述元数据对车辆数据进行解析后生成的新元数据并将所述新元数据发送至所述元数据管理系统进行存储。

进一步地，本发明提供的一个可选技术方案是：所述元数据读写模块包括数据缓存子模块和数据读取子模块，所述数据读取子模块配置为通过以下方式获取所述元数据管理系统中存储的元数据：

判断元数据的有效时长是否小于等于预设的第一时长阈值并且所述元数据的读取次数预测值是否小于等于预设的第一次数阈值，

若所述有效时长小于等于所述第一时长阈值并且所述读取次数预测值小于等于所述第一次数阈值，则实时获取所述元数据；否则，定时获取所述元数据并将所述元数据缓存至所述数据缓存子模块。

进一步地，本发明提供的一个可选技术方案是：所述元数据读写模块还包括数据写入子模块，所述数据写入子模块配置为通过以下方式将新元数据发送至所述元数据管理系统进行存储：

判断新元数据的有效时长是否小于等于预设的第二时长阈值并且所述新元数据的写入次数预测值是否小于等于预设的第二次数阈值，

若所述有效时长小于等于所述第二时长阈值并且所述写入次数预测值小于等于所述第二次数阈值，则将所述新元数据实时发送至所述元数据管理系统进行存储；否则，将所述新元数据发送至所述数据缓存子模块后再定时将所述数据缓存子模块中的新元数据发送至所述元数据管理系统进行存储。

进一步地，本发明提供的一个可选技术方案是：所述车辆数据处理平台还包括数据检索系统，

所述数据检索系统配置为根据接收到的第一检索指令获取并显示所述分布式键值存储子系统中与所述第一检索指令对应的存储数据，以及根据接收到的第二检索指令获取并显示所述元数据管理系统中与所述第二检索指令对应的元数据；

其中，当所述存储数据和所述元数据是动力电池相关数据时，所述第一检索指令包括动力电池的编号和/或数据存储时间，所述第二检索指令包括动力电池的编号和/或数据存储时间。

进一步地，本发明提供的一个可选技术方案是：所述第一分布式消息队列系统还配置为执行以下操作：

当检测到数据处理节点发生故障时，解除所述数据处理节点及其对应的消息队列的绑定关系，并对所述消息队列与一个未发生故障的数据处理节点建立绑定关系，以便所述未发生故障的数据处理节点能够获取所述消息队列接收到的车辆数据。

进一步地，本发明提供的一个可选技术方案是：所述数据处理节点还包括监控模块，所述监控模块配置为监控所述数据处理节点的工作状态并将监控结果发送至外部监控系统。

进一步地，本发明提供的一个可选技术方案是：所述数据处理节点还包括参数配置模块，所述参数配置模块配置为定时获取所述数据处理节点中待配置参数的参数值，并根据所述参数值对所述待配置参数进行参数配置。

方案1、一种车辆数据处理平台，其特征在于，所述车辆数据处理平台包括第一分布式消息队列系统、分布式数据处理系统和分布式存储系统，所述第一分布式消息队列系统包括多个消息队列，所述分布式数据处理系统包括多个数据处理节点；

所述消息队列配置为接收第一外部系统发送的车辆数据；

所述数据处理节点配置为获取预先与其绑定的消息队列接收到的车辆数据，对所述车辆数据进行数据分析并将数据分析结果发送至所述分布式存储系统进行存储。

方案2、根据方案1所述的车辆数据处理平台，其特征在于，所述数据处理节点包括数据解析模块、数据缓存模块和数据聚合分析模块，所述数据聚合分析模块包括数据统计子模块和数据报警子模块；

所述数据解析模块配置为解析所述车辆数据并将解析结果发送至所述数据缓存模块；

所述数据统计子模块配置为获取所述数据缓存模块中的缓存数据，对所述缓存数据进行数据统计并将数据统计结果发送至所述分布式存储系统进行存储；

所述数据报警子模块配置为获取所述数据缓存模块中的缓存数据，对所述缓存数据进行报警分析并将报警分析结果发送至所述分布式存储系统进行存储。

方案3、根据方案2所述的车辆数据处理平台，其特征在于，所述数据缓存模块包括多个数据池以及与每个数据池对应的缓存队列和读写线程，所述数据池配置为通过哈希表缓存所述车辆数据的解析结果。

方案4、根据方案3所述的车辆数据处理平台，其特征在于，当所述车辆数据是动力电池相关数据时，所述数据缓存模块配置为通过以下方式为所述车辆数据的解析结果分配数据池：

Data_pool_ID＝Hash(Battery_ID)％M

其中，所述Data_pool_ID是数据池的编号，所述Battery_ID是动力电池的编号，所述M是所述数据缓存模块中数据池的总数，所述Hash表示散列函数，所述％表示取余运算。

方案5、根据方案2所述的车辆数据处理平台，其特征在于，所述分布式存储系统包括分布式键值存储子系统，所述数据处理节点还包括第一数据异步发送模块；

所述第一数据异步发送模块配置为接收所述数据解析模块输出的解析结果、接收所述数据融合分析模块输出的数据统计结果和报警分析结果，并通过异步传输方式将所述解析结果、数据统计结果和报警分析结果发送至所述分布式键值存储子系统进行存储；

其中，所述分布式键值存储子系统是基于Key-Value键值对存储结构构建的存储子系统。

方案6、根据方案2所述的车辆数据处理平台，其特征在于，所述分布式存储系统还包括分布式对象存储子系统，所述车辆数据处理平台还包括第二分布式消息队列系统和周期性持久化服务系统；

所述数据处理节点还包括第二数据异步发送模块，所述第二数据异步发送模块配置为接收所述数据解析模块输出的解析结果、接收所述数据融合分析模块输出的数据统计结果和报警分析结果，并通过异步传输方式将所述解析结果、数据统计结果和报警分析结果发送至所述第二分布式消息队列系统；

所述周期性持久化服务系统配置为将所述第二分布式消息队列系统接收到的解析结果、数据统计结果和报警分析结果定时发送至所述分布式对象存储子系统进行存储；

其中，所述分布式对象存储子系统是基于对象存储结构构建的存储子系统。

方案7、根据方案6所述的车辆数据处理平台，其特征在于，所述车辆数据处理平台还包括数据仓库，所述分布式对象存储子系统还配置为对其存储的数据添加相应的元数据，并将添加元数据后的数据发送至所述数据仓库进行存储；

其中，所述元数据包括所述数据在所述分布式对象存储子系统中对应的数据表的名称、所述数据表所属数据库的名称、所述数据表的分区信息和所述数据的存储路径。

方案8、根据方案6所述的车辆数据处理平台，其特征在于，所述第二分布式消息队列系统还配置为接收第二外部系统发送的数据获取指令，并将与所述数据获取指令对应的数据发送至所述第二外部系统；

其中，所述与数据获取指令对应的数据包括解析结果、和/或数据统计结果、和/或报警分析结果。

方案9、根据方案5所述的车辆数据处理平台，其特征在于，所述车辆数据处理平台还包括元数据管理系统，所述元数据管理系统配置为存储所述车辆数据对应的元数据；

其中，当所述车辆数据是动力电池相关数据时，所述动力电池相关数据对应的元数据包括动力电池的编号、动力电池所在车辆/充电设施的编号、动力电池所在车辆/充电设施的位置以及所述动力电池相关数据的数据名称、数据格式和数据来源。

方案10、根据方案9所述的车辆数据处理平台，其特征在于，所述数据处理节点还包括元数据读写模块，

所述元数据读写模块配置为获取所述元数据管理系统中存储的车辆数据的元数据并将所述元数据发送至所述数据解析模块，以及获取所述数据解析模块根据所述元数据对车辆数据进行解析后生成的新元数据并将所述新元数据发送至所述元数据管理系统进行存储。

方案11、根据方案10所述的车辆数据处理平台，其特征在于，所述元数据读写模块包括数据缓存子模块和数据读取子模块，所述数据读取子模块配置为通过以下方式获取所述元数据管理系统中存储的元数据：

判断元数据的有效时长是否小于等于预设的第一时长阈值并且所述元数据的读取次数预测值是否小于等于预设的第一次数阈值，

若所述有效时长小于等于所述第一时长阈值并且所述读取次数预测值小于等于所述第一次数阈值，则实时获取所述元数据；否则，定时获取所述元数据并将所述元数据缓存至所述数据缓存子模块。

方案12、根据方案10所述的车辆数据处理平台，其特征在于，所述元数据读写模块还包括数据写入子模块，所述数据写入子模块配置为通过以下方式将新元数据发送至所述元数据管理系统进行存储：

判断新元数据的有效时长是否小于等于预设的第二时长阈值并且所述新元数据的写入次数预测值是否小于等于预设的第二次数阈值，

若所述有效时长小于等于所述第二时长阈值并且所述写入次数预测值小于等于所述第二次数阈值，则将所述新元数据实时发送至所述元数据管理系统进行存储；否则，将所述新元数据发送至所述数据缓存子模块后再定时将所述数据缓存子模块中的新元数据发送至所述元数据管理系统进行存储。

方案13、根据方案9所述的车辆数据处理平台，其特征在于，所述车辆数据处理平台还包括数据检索系统，

所述数据检索系统配置为根据接收到的第一检索指令获取并显示所述分布式键值存储子系统中与所述第一检索指令对应的存储数据，以及根据接收到的第二检索指令获取并显示所述元数据管理系统中与所述第二检索指令对应的元数据；

其中，当所述存储数据和所述元数据是动力电池相关数据时，所述第一检索指令包括动力电池的编号和/或数据存储时间，所述第二检索指令包括动力电池的编号和/或数据存储时间。

方案14、根据方案1至13中任一项所述的车辆数据处理平台，其特征在于，所述第一分布式消息队列系统还配置为执行以下操作：

当检测到数据处理节点发生故障时，解除所述数据处理节点及其对应的消息队列的绑定关系，并对所述消息队列与一个未发生故障的数据处理节点建立绑定关系，以便所述未发生故障的数据处理节点能够获取所述消息队列接收到的车辆数据。

方案15、根据方案1至13中任一项所述的车辆数据处理平台，其特征在于，所述数据处理节点还包括监控模块，所述监控模块配置为监控所述数据处理节点的工作状态并将监控结果发送至外部监控系统。

方案16、根据方案1至13中任一项所述的车辆数据处理平台，其特征在于，所述数据处理节点还包括参数配置模块，所述参数配置模块配置为定时获取所述数据处理节点中待配置参数的参数值，并根据所述参数值对所述待配置参数进行参数配置。

与最接近的现有技术相比，上述技术方案至少具有如下有益效果：

1、本发明提供的车辆数据处理平台主要包括第一分布式消息队列系统、分布式数据处理系统和分布式存储系统，第一分布式消息队列系统包括多个消息队列，分布式数据处理系统包括多个数据处理节点；消息队列可以配置为接收第一外部系统发送的车辆数据，数据处理节点可以配置为获取预先与其绑定的消息队列接收到的车辆数据，对车辆数据进行数据分析并将数据分析结果发送至分布式存储系统进行存储。基于上述结构，本发明能够根据实际需求对第一分布式消息队列系统中消息队列的数量进行扩展，也可以根据实际需求对分布式数据处理系统中的数据处理节点的数量进行扩展，还可以根据实际需求分别对分布式存储系统的存储空间进行扩展，不仅实现了对海量级别的车辆数据的存储与处理，还避免了车辆数据处理平台存在性能热点系统(即无法通过设备扩展提高处理能力的系统)。

2、本发明提供的车辆数据处理平台中数据处理节点可以通过第一分布式消息队列系统获取每个数据源生成的车辆数据，并且能够对一定时长内的车辆数据进行数据统计与报警分析，有利于相关车辆维护人员快速获取某个车辆的所有相关数据。当车辆数据是动力电池相关数据时，通过本发明提供的车辆数据处理平台能够快速获取每块动力电池在其整个全生命周期内的所有相关数据。例如，动力电池在车辆行驶、车辆停止、充电、换电和回收再利用等状态时的相关数据。

3、本发明提供的车辆数据处理平台中数据仓库存储有车辆数据的元数据，该元数据包括车辆数据在分布式对象存储子系统中对应的数据表的名称、数据表所属数据库的名称、数据表的分区信息和数据的存储路径，有利于相关车辆维护人员从数据仓库中获取车辆数据及对应的元数据，进而根据车辆数据的元数据快速获取到特定时间范围内、和/或特定电池、和/或特定数据格式的车辆数据。

4、本发明提供的车辆数据处理平台中数据检索系统能够根据检索指令从分布式键值存储子系统和元数据管理系统中快速获取得到相应的存储数据和元数据。

附图说明

图1是根据本发明一个实施例的车辆数据处理平台的主要结构示意图；

图2是根据本发明另一个实施例的车辆数据处理平台的主要结构示意图。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

下面结合附图对本发明提供的车辆数据处理平台进行说明。

参阅附图1，图1示例性示出了本实施例中车辆数据处理平台的主要结构。如图1所示，本实施例中车辆数据处理平台1主要包括第一分布式消息队列系统11、分布式数据处理系统12和分布式存储系统13，第一分布式消息队列系统11可以包括多个消息队列，分布式数据处理系统12可以包括多个数据处理节点。具体地，消息队列可以配置为接收第一外部系统2发送的车辆数据，数据处理节点可以配置为获取预先与其绑定的消息队列接收到的车辆数据，对车辆数据进行数据分析并将数据分析结果发送至分布式存储系统13进行存储。

在本实施例中第一外部系统2是能够获取车辆数据并能够与第一分布式消息队列系统11通信，并将获取到的车辆数据发送至第一分布式消息队列系统11的系统。可选的，当车辆数据是动力电池相关数据时，第一外部系统2可以是车辆上预设的车载系统、或者充换电设施上预设的智能通信系统、或者储能电站中预设的智能通信系统等。分布式存储系统13可以是基于分布式存储技术构建的存储系统，该存储系统能够存储上亿级别的数据。第一分布式消息队列系统11可以是基于Apache Kafka消息系统构建的分布式消息队列系统。

在本实施例中每个数据处理节点可以与一个或多个消息队列绑定，而每个消息队列分别与一个数据处理节点绑定，通过此方式，可以保证消息队列接收到的车辆数据都会发送至同一个数据处理节点进行数据分析。例如，当车辆数据是动力电池相关数据时，每个消息队列分别接收一块动力电池的相关数据，将每个消息队列分别与一个数据处理节点绑定后，可以保证每个数据处理节点都能够对一块动力电池的所有相关数据进行数据分析，避免了同一块动力电池的相关数据分散到不同的数据处理节点进行数据分析所造成的数据传输损耗和计算资源浪费，使得分布式数据处理系统12能够对同一块电池的相关数据进行快速分析。

在本实施例的一个可选实施方案中，第一分布式消息队列系统11还可以配置为通过以下方式切换发生故障的数据处理节点：

当检测到某个数据处理节点发生故障时，解除该数据处理节点及其对应的消息队列的绑定关系，并对该消息队列与一个未发生故障的数据处理节点建立绑定关系，以便该未发生故障的数据处理节点能够获取这个消息队列接收到的车辆数据，从而提高了车辆数据处理平台的稳定性和可靠性。

进一步地，在本实施例的另一个可选实施方案中，图1所示的分布式数据处理系统12中每个数据处理节点都可以包括数据解析模块、数据缓存模块、数据聚合分析模块、第一数据异步发送模块、第二数据异步发送模块、元数据读写模块和消息队列接收模块等，分布式存储系统13可以包括分布式键值存储子系统和分布式对象存储子系统；同时，本实施例中图1所示的车辆数据处理平台还可以包括第二分布式消息队列系统和周期性持久化服务系统等系统结构。下面结合附图，对该可选实施方案中的车辆数据处理平台进行具体说明。

参阅附图2，图2示例性示出了本实施方案中车辆数据处理平台的主要结构。如图2所示，本实施方案中车辆数据处理平台主要包括第一分布式消息队列系统(未示出)、分布式数据处理系统、分布式存储系统、第二分布式消息队列系统14、周期性持久化服务系统15、数据仓库16、元数据管理系统17、数据检索系统18、第一外部系统(未示出)和第二外部系统3，分布式数据处理系统包括多个数据处理节点，每个数据处理节点都可以包括数据解析模块121、数据缓存模块122、数据聚合分析模块123、第一数据异步发送模块124、第二数据异步发送模块125、元数据读写模块126和消息队列接收模块127，数据聚合分析模块123可以包括数据统计子模块1231和数据报警子模块1232，分布式存储系统可以包括分布式键值存储子系统131和分布式对象存储子系统132。

在本实施方案中消息队列接收模块127与第一分布式消息队列系统(未示出)中预先与数据处理节点绑定的消息队列通信，获取该消息队列接收到的车辆数据。

在本实施方案中数据解析模块121可以配置为解析车辆数据并将解析结果发送至数据缓存模块122。同时，在本实施方案中当车辆数据是压缩格式的数据时，数据解析模块121还可以解压车辆数据，对解压后的数据进行数据解析。可选的，本实施方案中数据解析模块121可以包括JSON数据格式解析器、Protobuf数据格式解析器和CAN+DBC数据格式解析器等多种可以对不同数据格式的数据进行解析的解析器。JSON数据格式解析器用于对JSON数据格式的字符串数据进行解析，Protobuf数据格式解析器用于对Protobuf数据格式的二进制数进行解析，CAN+DBC数据格式解析器中存储有DBC文件(Database CAN)，基于该DBC文件并根据CAN信号(Controller Area Network)的ID和二进制值对CAN信号进行解析，得到CAN信号中包含的各信号的名称和数值。

在本实施方案中数据统计子模块1231可以配置为获取数据缓存模块122中的缓存数据，对该缓存数据进行数据统计并将数据统计结果发送至分布式键值存储子系统131进行存储。例如，当车辆数据是动力电池相关数据时，数据统计子模块1231可以对一段时间内的动力电池总数以及每个电池数据的平均值/最小值/最大值等进行统计。数据报警子模块1232可以配置为获取数据缓存模块122中的缓存数据，对该缓存数据进行报警分析并将报警分析结果发送至分布式键值存储子系统131进行存储。例如，当车辆数据是动力电池相关数据时，数据报警子模块1232可以根据一段时间内的电池温度信号进行温度报警。可选的，本实施方案中分布式键值存储子系统131还可以根据实际需求设置数据的存储时长(如6个月)，有利于对历史车辆数据进行分析处理。

在本实施方案中数据缓存模块122对数据统计子模块1231和数据报警子模块1232等下游模块的读写属性是只读，即数据统计子模块1231和数据报警子模块1232只能从数据缓存模块122获取其存储的数据，而不能修改数据缓存模块122中存储的数据，通过此方式，数据统计子模块1231和数据报警子模块1232分别可以在不影响数据缓存模块122存储数据的情况下，根据实际需求灵活调整进行数据统计所使用的统计算法以及进行报警处理所使用的报警算法。同时，本实施方案中数据缓存模块122可以配置为存储一定时间(如5分钟)内的电池数据，该数据缓存模块122可以包括多个数据池以及与每个数据池对应的缓存队列和读写线程，数据池可以配置为通过哈希表缓存车辆数据的解析结果。通过为每个数据池分别配置单独的缓存队列和单独的读写线程，可以避免数据池之间产生交互，影响各自的存储数据。可选的，当车辆数据是动力电池相关数据时，哈希表是由哈希键及其键值组成的双向链表，该哈希表的哈希键是动力电池的编号，哈希键的键值是该动力电池的电池数据，一个哈希表可以存储一块动力电池在一个采样时刻中所有电池数据的集合，哈希表中各元素按照电池数据的先后到达时间排序，即哈希表的表尾元素最新，表头元素最老；同时，哈希表中存储的最大元素数量可以根据实际需求灵活调整，每当表尾存入一个电池数据，表头会删除一个电池数据。当车辆数据是动力电池相关数据时，数据缓存模块122可以配置为通过以下方式为车辆数据的解析结果分配数据池：

Data_pool_ID＝Hash(Battery_ID)％M (1)

公式(1)中各参数含义是：

Data_pool_ID是数据池的编号，Battery_ID是动力电池的编号，M是数据缓存模块122中数据池的总数，Hash表示散列函数，％表示取余运算。

在本实施方案中第一数据异步发送模块124可以配置为接收数据解析模块121输出的解析结果、接收数据融合分析模块123输出的数据统计结果和报警分析结果，并通过异步传输方式将解析结果、数据统计结果和报警分析结果定时发送(如按照100ms的时间间隔定时发送)至分布式键值存储子系统131进行存储。同时，第一数据异步发送模块124可以根据实际需求灵活调整定时发送的时间间隔以及数据发送线程的数量，当配置多个数据发送线程时可以提高第一数据异步发送模块124的数据发送速度。可选的，本实施方案中分布式键值存储子系统131可以是基于Key-Value键值对存储结构构建的存储子系统，例如，分布式键值存储子系统131是基于Apache Cassandra存储结构构建的存储子系统。

在本实施方案中第二数据异步发送模块125可以配置为接收数据解析模块121输出的解析结果、接收数据融合分析模块123输出的数据统计结果和报警分析结果，并通过异步传输方式将解析结果、数据统计结果和报警分析结果定时发送(如按照100ms的时间间隔定时发送)至第二分布式消息队列系统14。同时，第二数据异步发送模块125可以根据实际需求灵活调整定时发送的时间间隔以及数据发送线程的数量，当配置多个数据发送线程时可以提高第二数据异步发送模块125的数据发送速度。本实施方案中的周期性持久化服务系统15可以配置为将第二分布式消息队列系统14接收到的解析结果、数据统计结果和报警分析结果定时发送(如按照5min的时间间隔定时发送)至分布式对象存储子系统132进行存储。可选的，本实施方案中周期性持久化服务系统15可以是基于Apache Kafka消息系统构建的系统。在本实施方案中的第二分布式消息队列系统14还可以配置为接收第二外部系统3发送的数据获取指令，并将与数据获取指令对应的数据发送至第二外部系统3，其中，与数据获取指令对应的数据可以包括解析结果、和/或数据统计结果、和/或报警分析结果。例如，当第二外部系统3是预警系统时，数据获取指令可以是电池报警数据获取指令，第二分布式消息队列系统14可以将根据该电池报警数据获取指令将报警分析结果发送至预警系统。

在本实施方案中分布式对象存储子系统132还可以配置为对其存储的数据添加相应的元数据，并将添加元数据后的数据发送至数据仓库16进行存储，添加的元数据可以包括数据在分布式对象存储子系统132中对应的数据表的名称、数据表所属数据库的名称、数据表的分区信息(如按照时间信息分区的分区信息：小时、天、月和年等)和数据的存储路径等。可选的，本实施方案中分布式对象存储子系统132可以是基于对象存储结构构建的存储子系统，例如，分布式对象存储子系统132是基于Amazon S3存储技术构建的存储子系统。

在本实施方案中元数据读写模块126可以配置为获取元数据管理系统17中存储的车辆数据的元数据并将获取到的元数据发送至数据解析模块121，以及获取数据解析模块121根据该元数据对车辆数据进行解析后生成的新元数据并将生成的新元数据发送至元数据管理系统17进行存储。当车辆数据是动力电池相关数据时，元数据管理系统17中存储的车辆数据的元数据可以包括动力电池的编号、动力电池所在车辆/充电设施的编号、动力电池所在车辆/充电设施的位置以及该动力电池相关数据的数据名称、数据格式和数据来源等，数据来源指的是数据来自于车辆还是充电设施以及来自于车辆哪个系统/设备等，如数据来源是车辆上的电池系统和空调系统等。进一步地，本实施方案中元数据读写模块126包括数据缓存子模块、数据读取子模块和数据写入子模块。

具体而言，数据读取子模块可以配置为通过以下方式获取元数据管理系统17中存储的元数据：

判断元数据的有效时长是否小于等于预设的第一时长阈值并且元数据的读取次数预测值是否小于等于预设的第一次数阈值：若有效时长小于等于第一时长阈值并且读取次数预测值小于等于第一次数阈值，则实时获取元数据；否则，定时获取(如按照1min的时间间隔定时获取)元数据并将元数据缓存至数据缓存子模块。

数据写入子模块配置为通过以下方式将数据解析模块121生成的元数据发送至元数据管理系统17进行存储：

判断新元数据的有效时长是否小于等于预设的第二时长阈值并且新元数据的写入次数预测值是否小于等于预设的第二次数阈值：若有效时长小于等于第二时长阈值并且写入次数预测值小于等于第二次数阈值，则将新元数据实时发送至元数据管理系统17进行存储；否则，将新元数据发送至数据缓存子模块后再定时将数据缓存子模块中的新元数据发送至元数据管理系统17进行存储(如按照1min的时间间隔定时发送至元数据管理系统17进行存储)。

在本实施方案中数据检索系统18可以配置为根据接收到的第一检索指令获取并显示分布式键值存储子系统131中与第一检索指令对应的存储数据，以及根据接收到的第二检索指令获取并显示元数据管理系统中17与元数据第二检索指令对应的元数据；同时，本实施方案中数据检索系统18可以根据实际需求灵活调整每次搜索能够显示的最大数据量(例如每次搜索最多显示1000条数据)。可选的，当存储数据和元数据是动力电池相关数据时，第一检索指令可以包括动力电池的编号和/或数据存储时间，第二检索指令可以包括动力电池的编号和/或数据存储时间，数据检索系统18可以根据动力电池的编号搜索相应动力电池的数据，还可以根据数据存储时间搜索相应时间范围内所有动力电池的数据，还可以同时根据动力电池的编号和数据存储时间搜索相应时间范围内指定编号的动力电池的数据。

进一步地，在本实施方案中图2所示的车辆数据处理平台中每个数据处理节点还可以包括监控模块和参数配置模块。监控模块可以配置为监控数据处理节点的工作状态并将监控结果发送至外部监控系统，即监控模块可以监控数据处理节点中数据解析模块、数据缓存模块、数据聚合分析模块、第一数据异步发送模块、第二数据异步发送模块、元数据读写模块和消息队列接收模块等所有模块的工作状态。例如，本实施方案中监控模块可以监控上述每个模块在一定时长(如1s或1min)内的数据处理量，可以监控上述每个模块处理某个数据的耗时，可以监控上述每个模块在一定时长(如1s或1min)内的数据处理成功次数或失败次数等。

参数配置模块可以配置为定时获取(如按照1min的时间间隔获取)数据处理节点中待配置参数的参数值，并根据参数值对待配置参数进行参数配置。例如，参数配置模块还可以定时获取数据处理节点中所有配置参数的参数值，并根据获取到的参数值对所有配置参数进行参数配置，从而实现了在不停止数据处理节点中其他模块工作的条件下，对这些模块进行即时的参数配置。可选的，本实施方案中参数配置模块可以与外部系统通信来获取相应的参数值，也可以与车辆数据处理平台中预设的用于存储参数值的系统(如元数据管理系统)或模块通信来获取相应的参数值。

继续参阅附图1和2，在本实施例中可以根据实际需求对第一分布式消息队列系统11和第二分布式消息队列系统14中消息队列的数量进行扩展，也可以根据实际需求对分布式数据处理系统12中的数据处理节点的数量进行扩展，还可以根据实际需求分别对分布式键值存储子系统131和分布式对象存储子系统132的存储空间进行扩展，实现了对第一分布式消息队列系统11、第二分布式消息队列系统14、分布式数据处理系统12和分布式存储系统13的分布式扩展，使得车辆数据处理平台不会存在性能热点系统，即无法通过设备扩展提高处理能力的系统。例如，分布式数据处理系统12可以包括3个数据处理节点，每个数据处理节点包括具有8CPU和15GB内存的服务器；分布式键值存储子系统131可以包括3用于存储数据的服务器，每个服务器具备16CPU、64GB内存和3TB硬盘。

本领域技术人员可以理解，可以对实施例中的平台中的系统进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个平台中。可以把实施例中的系统或模块或子模块组合成一个系统或模块或子模块，以及此外可以把它们分成多个子系统或子模块。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在本发明的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，单词“包括”不排除存在未列在权利要求中的元件或步骤。单词第一和第二的使用不表示任何顺序，可将这些单词解释为名称。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种车辆数据处理平台，其特征在于，所述车辆数据处理平台包括第一分布式消息队列系统、分布式数据处理系统和分布式存储系统，所述第一分布式消息队列系统包括多个消息队列，所述分布式数据处理系统包括多个数据处理节点；

所述消息队列配置为接收第一外部系统发送的车辆数据；

所述数据处理节点配置为获取预先与其绑定的消息队列接收到的车辆数据，对所述车辆数据进行数据分析并将数据分析结果发送至所述分布式存储系统进行存储。

2.根据权利要求1所述的车辆数据处理平台，其特征在于，所述数据处理节点包括数据解析模块、数据缓存模块和数据聚合分析模块，所述数据聚合分析模块包括数据统计子模块和数据报警子模块；

所述数据解析模块配置为解析所述车辆数据并将解析结果发送至所述数据缓存模块；

所述数据统计子模块配置为获取所述数据缓存模块中的缓存数据，对所述缓存数据进行数据统计并将数据统计结果发送至所述分布式存储系统进行存储；

所述数据报警子模块配置为获取所述数据缓存模块中的缓存数据，对所述缓存数据进行报警分析并将报警分析结果发送至所述分布式存储系统进行存储。

3.根据权利要求2所述的车辆数据处理平台，其特征在于，所述数据缓存模块包括多个数据池以及与每个数据池对应的缓存队列和读写线程，所述数据池配置为通过哈希表缓存所述车辆数据的解析结果。

4.根据权利要求3所述的车辆数据处理平台，其特征在于，当所述车辆数据是动力电池相关数据时，所述数据缓存模块配置为通过以下方式为所述车辆数据的解析结果分配数据池：

Data_pool_ID＝Hash(Battery_ID)％M

其中，所述Data_pool_ID是数据池的编号，所述Battery_ID是动力电池的编号，所述M是所述数据缓存模块中数据池的总数，所述Hash表示散列函数，所述％表示取余运算。

5.根据权利要求2所述的车辆数据处理平台，其特征在于，所述分布式存储系统包括分布式键值存储子系统，所述数据处理节点还包括第一数据异步发送模块；

所述第一数据异步发送模块配置为接收所述数据解析模块输出的解析结果、接收所述数据融合分析模块输出的数据统计结果和报警分析结果，并通过异步传输方式将所述解析结果、数据统计结果和报警分析结果发送至所述分布式键值存储子系统进行存储；

其中，所述分布式键值存储子系统是基于Key-Value键值对存储结构构建的存储子系统。

6.根据权利要求2所述的车辆数据处理平台，其特征在于，所述分布式存储系统还包括分布式对象存储子系统，所述车辆数据处理平台还包括第二分布式消息队列系统和周期性持久化服务系统；

所述数据处理节点还包括第二数据异步发送模块，所述第二数据异步发送模块配置为接收所述数据解析模块输出的解析结果、接收所述数据融合分析模块输出的数据统计结果和报警分析结果，并通过异步传输方式将所述解析结果、数据统计结果和报警分析结果发送至所述第二分布式消息队列系统；

所述周期性持久化服务系统配置为将所述第二分布式消息队列系统接收到的解析结果、数据统计结果和报警分析结果定时发送至所述分布式对象存储子系统进行存储；

其中，所述分布式对象存储子系统是基于对象存储结构构建的存储子系统。

7.根据权利要求6所述的车辆数据处理平台，其特征在于，所述车辆数据处理平台还包括数据仓库，所述分布式对象存储子系统还配置为对其存储的数据添加相应的元数据，并将添加元数据后的数据发送至所述数据仓库进行存储；

其中，所述元数据包括所述数据在所述分布式对象存储子系统中对应的数据表的名称、所述数据表所属数据库的名称、所述数据表的分区信息和所述数据的存储路径。

8.根据权利要求6所述的车辆数据处理平台，其特征在于，所述第二分布式消息队列系统还配置为接收第二外部系统发送的数据获取指令，并将与所述数据获取指令对应的数据发送至所述第二外部系统；

其中，所述与数据获取指令对应的数据包括解析结果、和/或数据统计结果、和/或报警分析结果。

9.根据权利要求5所述的车辆数据处理平台，其特征在于，所述车辆数据处理平台还包括元数据管理系统，所述元数据管理系统配置为存储所述车辆数据对应的元数据；

其中，当所述车辆数据是动力电池相关数据时，所述动力电池相关数据对应的元数据包括动力电池的编号、动力电池所在车辆/充电设施的编号、动力电池所在车辆/充电设施的位置以及所述动力电池相关数据的数据名称、数据格式和数据来源。

10.根据权利要求9所述的车辆数据处理平台，其特征在于，所述数据处理节点还包括元数据读写模块，

所述元数据读写模块配置为获取所述元数据管理系统中存储的车辆数据的元数据并将所述元数据发送至所述数据解析模块，以及获取所述数据解析模块根据所述元数据对车辆数据进行解析后生成的新元数据并将所述新元数据发送至所述元数据管理系统进行存储。