CN116383211A - 车联网数据处理方法、装置及电子设备、存储介质 - Google Patents
车联网数据处理方法、装置及电子设备、存储介质 Download PDFInfo
- Publication number
- CN116383211A CN116383211A CN202310372248.XA CN202310372248A CN116383211A CN 116383211 A CN116383211 A CN 116383211A CN 202310372248 A CN202310372248 A CN 202310372248A CN 116383211 A CN116383211 A CN 116383211A
- Authority
- CN
- China
- Prior art keywords
- data
- internet
- tdengine
- vehicles
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 38
- 238000003672 processing method Methods 0.000 title description 8
- 238000000034 method Methods 0.000 claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000013480 data collection Methods 0.000 claims description 11
- 230000006855 networking Effects 0.000 claims description 7
- 230000001960 triggered effect Effects 0.000 claims description 7
- 238000005457 optimization Methods 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 238000004590 computer program Methods 0.000 description 11
- 238000013500 data storage Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种车联网数据处理方法、装置及电子设备、存储介质，所述方法包括接收通过消息队列传递的车联网数据，其中所述车联网数据包括车辆传感器采集的数据；将所述车联网数据按照TDengine数据库建模策略建立的数据表存入对应的TDengine时序数据库中，用以提供车联网业务的数据查询或应用，其中所述数据表包括不同数据采集点按照预设分组采集的数据。通过本申请实现了对海量车联网数据的优化处理，且支持车联网数据的接入、存储以及应用。
Description
技术领域
本申请涉及自动驾驶技术领域，尤其涉及一种车联网数据处理方法、装置及电子设备、存储介质。
背景技术
随着新型车辆的生产和车联网技术的逐年快速发展，车辆各系统产生并上传到云端的数据也逐渐增多，对这些数据的存储及价值发掘也愈发重要。
相关技术中，车辆数据的生产方式是通过搭载T-BOX(车载终端)，再将各传感器采集的信号处理并汇总，通过无线网络上报给云端系统。在云端系统通常采用Hadoop体系的技术如HDFS、HBase等将数据以文件的形式存储起来，再通过MapReduce，Spark等对数据进行计算后的结果应用于各业务。
然而，相关技术中的处理方法，在数据的存储上难以做到将海量的具有时序数据特征的车联网各传感器数据高效的实时写入，同时使数据及时可用以及满足多种类型的查询、计算。
发明内容
本申请实施例提供了一种车联网数据处理方法、装置及电子设备、存储介质，以降低车联网数据采集、存储的复杂度。
本申请实施例采用下述技术方案：
第一方面，本申请实施例提供一种车联网数据处理方法，其中，所述方法包括：
接收通过消息队列传递的车联网数据，其中所述车联网数据包括车辆传感器采集的数据；
将所述车联网数据按照TDengine数据库建模策略建立的数据表存入对应的TDengine时序数据库中，用以提供车联网业务的数据查询或应用，其中所述数据表包括不同数据采集点按照预设分组采集的数据。
在一些实施例中，所述方法还包括：
基于整车控制域，确定所述TDengine数据库建模策略，所述TDengine数据库建模策略包括按照所述车辆传感器中的数据采集点建表。
在一些实施例中，所述将所述车联网数据按照TDengine数据库建模策略建立的数据表存入对应的TDengine时序数据库中，包括：
将所述车联网数据按照TDengine数据库建模策略中的所述按照所述车辆传感器中的数据采集点建表，所述车辆传感器中的数据采集点包括车辆运行主数据、车辆子系统数据；
将每个车辆作为一个子表，同时将所有的子表组成一个超级表作为第一数据表；
将所述第一数据表存入对应的TDengine时序数据库中，将所述第一数据表作为每个车辆的一个主数据子表以及若干个子系统数据子表，且每个车辆包括主数据超级表以及各若干个子系统数据超级表。
在一些实施例中，所述车联网数据按照TDengine数据库建模策略建立的数据表存入对应的TDengine时序数据库中，还包括：
将所述车联网数据的实时数据按照TDengine数据库建模策略建立的数据表存储和写入对应的TDengine时序数据库中。
在一些实施例中，所述方法还包括：
接收通过所述消息队列传递的第三方数据，所述第三方数据至少包括如下之一：车辆型号、当前车主、车牌号所属省市、车辆载货的类型。
在一些实施例中，所述数据采集点包括按照预设时间周期或受事件触发采集物理量的硬件或软件预埋点；
根据一个所述数据采集点采集一个或多个采集量，且该些采集量在同一时刻采集具有相同的时间戳。
在一些实施例中，所述按照所述车辆传感器中的数据采集点建表，包括：
根据每一种类型的数据采集点建立一个超级表；
将同一车辆传感器下采集周期相同的指标参数作为一个采集点创建超级表，其中，每个采集点的数据对应一个子表。
第二方面，本申请实施例还提供一种车联网数据处理装置，应用于云服务器，其中，所述装置包括：
接收模块，用于接收通过消息队列传递的车联网数据，其中所述车联网数据包括车辆传感器采集的数据；
储存模块，用于将所述车联网数据按照TDengine数据库建模策略建立的数据表存入对应的TDengine时序数据库中，用以提供车联网业务的数据查询或应用，其中所述数据表包括不同数据采集点按照预设分组采集的数据。
第三方面，本申请实施例还提供一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述方法。
第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行上述方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：接收通过消息队列传递的车联网数据，将所述车联网数据按照TDengine数据库建模策略建立的数据表存入对应的TDengine时序数据库中，并且可以提供车联网业务的数据查询或应用。统一使用TDengine时序数据库，替代传统的Hadoop体系的存、算分离的多个组件，来完成对历史和实时数据的全部计算与应用。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例中车联网数据处理方法的硬件结构示意图；
图2为本申请实施例中车联网数据处理方法的流程示意图；
图3为本申请实施例中车联网数据处理装置的结构示意图；
图4为本申请实施例中一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
发明人研究时发现，针对实时数据和离线数据进行处理时，会分别使用两套存储和计算体系，这样容易造成数据存储的冗余，也增高了成本。此外，在采用Hadoop体系的技术时对数据的应用通常需要使用多种技术栈，对开发人员的技术能力要求较高。
针对上述不足，本申请实施例中的车联网数据处理方法，基于TDengine的原生能力实现，代码编写较少，存、算皆直接应用TDengine来实现，无需平台从TDengine加载数据做计算。
进一步地，基于车联网的各应用实现，都是对TDengine本身特性的充分利用，发成本低。最后通过对车辆自身运行产生的历史和实时数据，结合第三方数据，实现了对车辆更全面、多样、跨时间周期的数据价值挖掘和应用。
本申请实施例中涉及的技术术语如下：
智驾控制器，(Automated Driving Control Unit，简称ADCU)。
整车域控制单元(Vehicle Domain Control Unit，简称VDCU)。
TDengine，(Time Series Database)，是一款开源、云原生的时序数据库，专为物联网、工业互联网等场景设计并优化。
Kafka，是一种高吞吐量的分布式发布订阅消息系统，可以处理消费者在网站中的所有动作流数据。
TSP(Telematics Service Provider)汽车远程服务提供商。
以下结合附图，详细说明本申请各实施例提供的技术方案。
如图1所示，为本申请实施例中车联网数据处理方法的硬件结构示意图，其中包括车辆T-box、TSP云消息平台、Kafka数据通道、TDengine时序数据库的Kafka连接器以及TDengine集群。
所述车辆T-box、TSP云消息平台、Kafka数据通道作为数据源的部分，车辆通过公共网络发送到TSP云消息平台，再由TSP云消息平台将全部车辆的数据转发到消息中间件TDengine时序数据库的Kafka连接器。
所述TDengine时序数据库的Kafka连接器以及TDengine集群作为数据存储和服务的部分，基于TDengine时序数据库构建数据接入、存储、查询以及计算服务的全部系统，去除对Hadoop体系的依赖。在TDengine集群中采用分布式时序数据库，还可以根据数据量增长进行动态扩容，即包括Node1、Node2…NodeN…等不同的分布式节点。
通过上述方式能够将具有时序数据特征车联网数据按照顺序进行高效的实时写入，同时使车联网数据及时可用。
此外，在数据服务层通过微服务架构，全部利用TDengine自身的功能特性，提供车辆各种数据的多类型查询和计算能力。在所述数据服务层包括数据订阅服务、数据采样服务、行程规划服务、窗口切分服务、流式计算服务、变化率监控等。
在业务应用层，通过数据服务层中的能力，可以支撑车联网多样的业务应用。在所述业务应用层中的应用包括车辆最新位置、故障预警、自定义历史轨迹、历史数据分析、各系统数据监控、数据质量监控等。
本申请实施例提供了一种车联网数据处理方法，如图2所示，提供了本申请实施例中流程示意图，所述方法至少包括如下的步骤S210至步骤S220：
步骤S210，接收通过消息队列传递的车联网数据，其中所述车联网数据包括车辆传感器采集的数据。
在服务端接收通过消息队列传递的车联网数据，并且在这些车联网数据中包括了车辆的传感器采集的数据。
示例性地，通过车辆上安装的多种类型的传感器可以监测车辆动力域、底盘域、座舱域/智能信息域、自动驾驶域以及车身域在运行过程中在产生的车辆数据。
并且，每种类型的传感器的采集周期、采集数据类型可能都不相同，但是采集到的数据通常具有时间戳，从而是具有时序顺序的。
步骤S220，将所述车联网数据按照TDengine数据库建模策略建立的数据表存入对应的TDengine时序数据库中，用以提供车联网业务的数据查询或应用，其中所述数据表包括不同数据采集点按照预设分组采集的数据。
通过消息队列数据通道将车辆网数据存入TDengine集群中。消息队列数据通道可以使用Kafka Connect，可摄取整个数据库或从应用程序服务器收集指标到消息队列主题中，使数据可用于低延迟的流处理。
TDengine数据库建模策略，是指采用建表方式对数据进行存储。根据所述TDengine数据库建模策略建立得到数据表之后，可以存入对应的TDengine时序数据库中。不同的TDengine时序数据库用以存放不同类型的表。
在TDengine时序数据库中可以提供车联网业务的数据查询，包括历史或者实时存入的数据。
需要注意的是，所述数据表包括不同数据采集点按照预设分组采集的数据，可以理解数据采集点是指按照预设时间周期或受事件触发采集物理量的硬件或软件。将不同数据采集点按照预设分组采集之后得到不同的数据表。
区别于相关技术中，对于实时数据以及离线数据分别使用两套存储和计算体系，采用本申请中的方法存储和计算一体，不必额外使用其他的计算引擎，即可满足对数据的分析、查询需求。
区别于相关技术中，无法较好地处理海量时序数据，采用本申请中的方法对满足海量时序数据的实时写入，且实时可见。同时缩短整体数据链路，降低系统复杂度，减少大量的技术栈。通过本申请中的方法，TDengine时序数据库对数据高效压缩的同时不降低查询性能，降低存储成本。
在本申请的一个实施例中，所述方法还包括：基于整车控制域，确定所述TDengine数据库建模策略，所述TDengine数据库建模策略包括按照所述车辆传感器中的数据采集点建表。
基于整车控制域确定出TDengine数据库建模策略，TDengine采取一个数据采集点一张表的策略，要求对每个数据采集点单独建表(比如上千个传感器则，就需创建上千张表)，用来存储这个数据采集点所采集的时序数据。
示例性地，TDengine数据库建模策略采用按照所述车辆传感器中的数据采集点建表，数据采集点是指按照预设时间周期或受事件触发采集物理量的硬件或软件，也就是说与每个车辆传感器的数量对应。一个数据采集点可以采集一个或多个采集量，但这些采集量都是同一时刻采集的，具有相同的时间戳。按照数据采集点建表时，对每个车联网数据采集点需要独立建表。创建时，需要使用超级表做模板，同时指定标签的具体值。
在本申请的一个实施例中，所述将所述车联网数据按照TDengine数据库建模策略建立的数据表存入对应的TDengine时序数据库中，包括：将所述车联网数据按照TDengine数据库建模策略中的所述按照所述车辆传感器中的数据采集点建表，所述车辆传感器中的数据采集点包括车辆运行主数据、车辆子系统数据；将每个车辆作为一个子表，同时将所有的子表组成一个超级表作为第一数据表；将所述第一数据表存入对应的TDengine时序数据库中，将所述第一数据表作为每个车辆的一个主数据子表以及若干个子系统数据子表，且每个车辆包括主数据超级表以及各若干个子系统数据超级表。
对于车联网数据，包括车辆运行主数据：由来自于车辆各系统最常用的数百个车辆信号组成；每辆车一个子表，所有这些子表组成超级表。
此外，还包括车辆子系统数据：由车辆某单独子系统的全部信号组成，每辆车一个子表，所有这些子表组成超级表。也就是说，每辆车有一个主数据子表，和若干个子系统数据子表，同时有主数据超级表，各若干个子系统数据超级表。
可以理解，“第一数据表”仅为举例说明，并不用于限定具体的数据表。根据需要还可以采用“第二数据表”，同理可将其他每个车辆作为一个子表，同时将所有的子表组成一个超级表作为第二数据表。这里的每个车辆根据实际业务需要进行选择，比如高速运行干线上的重卡，对每辆重卡中，将每辆重卡作为一个子表，同时将所有的子表组成一个超级表作为第一数据表。当高速运行干线上的多辆重卡上的车辆数据进行处理时，按照上述方式每辆车一个子表，所有这些子表组成超级表。
进一步地，在车辆上的车辆运行数据包括车辆运行主系统数据和子系统数据，同理，对于子系统数据，每辆车一个子表，所有这些子表组成超级表。
可以理解，由于一个数据采集点一张表，导致表的数量巨增，而且应用经常需要做采集点之间的聚合操作，聚合的操作也变得复杂起来。为解决这个问题，TDengine引入超级表(Super Table，简称为STable)的概念。而且应用经常需要做采集点之间的聚合操作，聚合的操作也变得复杂起来。
具体而言，超级表是指某一特定类型的数据采集点的集合。同一类型的数据采集点，其表的结构是完全一样的，但每个表(数据采集点)的静态属性(标签)是不一样的。描述一个超级表(某一特定类型的数据采集点的集合)，除需要定义采集量的表结构之外，还需要定义其标签的Schem。如果整个系统有N个不同类型的数据采集点，就需要建立N个超级表。在TDengine的设计里，表用来代表一个具体的数据采集点，超级表用来代表一组相同类型的数据采集点集合。
子表，是指当为某个具体数据采集点创建表时，用户可以使用超级表的定义做模板，同时指定该具体采集点(表)的具体标签值来创建该表。通过超级表创建的表称之为子表。
由于查询既可以在表上进行，也可以在超级表上进行。针对超级表的查询，TDengine将把所有子表中的数据视为一个整体数据集进行处理，会先把满足标签过滤条件的表从超级表中找出来，然后再扫描这些表的时序数据，进行聚合操作，这样需要扫描的数据集会大幅减少，从而显著提高查询的性能。本质上，TDengine通过对超级表查询的支持，实现了多个同类数据采集点的高效聚合。从而使得在TDengine时序数据库中存储数据时具有海量数据的高效写入能力，同时具备行存储、列存储的优势，数据充分压缩，节省成本。
在本申请的一个实施例中，将所述车联网数据按照TDengine数据库建模策略建立的数据表存入对应的TDengine时序数据库中，还包括：将所述车联网数据的实时数据按照TDengine数据库建模策略建立的数据表存储和写入对应的TDengine时序数据库中。
具体实施时，使用TDengine可以存储从车辆上传数据的第一条数据，以及实时的写入最新一条数据，据此得到历史数据和实时数据，车联网数据具有时效性，比如车辆上一年的运行里程就是历史数据，车辆此刻实时传上来的车速就是实时数据。
在本申请的一个实施例中，所述方法还包括：接收通过所述消息队列传递的第三方数据，所述第三方数据至少包括如下之一：车辆型号、当前车主、车牌号所属省市、车辆载货的类型。
第三方数据包括但不限于车辆T-Box本身不会上传的数据，比如该车的型号，当前车主，车牌号所属的省市，车辆载货的类型等等，结合这些数据，作为数据查询、分类分析、挖掘的辅助。对于第三方数据可以便于提供车联网业务的数据查询或应用，从而使用TDengine可支撑车联网数据的接入、存储、应用。
通过TDengine集群中的TDengine时序数据库可以支撑历史数据的计算、窗口计算、数据实时订阅、采样、最新数据定位等特征语义，无需开发人员编写复杂的计算逻辑，降低开发成本。
在本申请的一个实施例中，所述数据采集点包括按照预设时间周期或受事件触发采集物理量的硬件或软件预埋点；根据一个所述数据采集点采集一个或多个采集量，且该些采集量在同一时刻采集具有相同的时间戳。
通过在车辆上部署的按照预设时间周期或受事件触发采集物理量的硬件或软件预埋点，可以根据一个所述数据采集点采集一个或多个采集量，同时对于这些采集量在同一时刻采集具有相同的时间戳。从而存储和计算一体，数据高效压缩的同时不降低查询性能，降低存储成本。
在本申请的一个实施例中，所述按照所述车辆传感器中的数据采集点建表，包括：根据每一种类型的数据采集点建立一个超级表；将同一车辆传感器下采集周期相同的指标参数作为一个采集点创建超级表，其中，每个采集点的数据对应一个子表。
本申请实施例还提供了车联网数据处理装置300，如图3所示，提供了本申请实施例中车联网数据处理装置的结构示意图，所述车联网数据处理装置300至少包括：接收模块310、储存模块320，其中：
在本申请的一个实施例中，所述获取模块310具体用于：接收通过消息队列传递的车联网数据，其中所述车联网数据包括车辆传感器采集的数据。
在服务端接收通过消息队列传递的车联网数据，并且在这些车联网数据中包括了车辆的传感器采集的数据。
示例性地，通过车辆上安装的多种类型的传感器可以监测车辆动力域、底盘域、座舱域/智能信息域、自动驾驶域以及车身域在运行过程中在产生的车辆数据。
并且，每种类型的传感器的采集周期、采集数据类型可能都不相同，但是采集到的数据通常具有时间戳，从而是具有时序顺序的。
在本申请的一个实施例中，所述储存模块320具体用于：将所述车联网数据按照TDengine数据库建模策略建立的数据表存入对应的TDengine时序数据库中，用以提供车联网业务的数据查询或应用，其中所述数据表包括不同数据采集点按照预设分组采集的数据。
通过消息队列数据通道将车辆网数据存入TDengine集群中。消息队列数据通道可以使用Kafka Connect，可摄取整个数据库或从应用程序服务器收集指标到消息队列主题中，使数据可用于低延迟的流处理。
TDengine数据库建模策略，是指采用建表方式对数据进行存储。根据所述TDengine数据库建模策略建立得到数据表之后，可以存入对应的TDengine时序数据库中。不同的TDengine时序数据库用以存放不同类型的表。
在TDengine时序数据库中可以提供车联网业务的数据查询，包括历史或者实时存入的数据。
需要注意的是，所述数据表包括不同数据采集点按照预设分组采集的数据，可以理解数据采集点是指按照预设时间周期或受事件触发采集物理量的硬件或软件。将不同数据采集点按照预设分组采集之后得到不同的数据表。
能够理解，上述车联网数据处理装置，能够实现前述实施例中提供的车联网数据处理方法的各个步骤，关于车联网数据处理方法的相关阐释均适用于车联网数据处理装置，此处不再赘述。
图4是本申请的一个实施例电子设备的结构示意图。请参考图4，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成车联网数据处理装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
接收通过消息队列传递的车联网数据，其中所述车联网数据包括车辆传感器采集的数据；
将所述车联网数据按照TDengine数据库建模策略建立的数据表存入对应的TDengine时序数据库中，用以提供车联网业务的数据查询或应用，其中所述数据表包括不同数据采集点按照预设分组采集的数据。
上述如本申请图2所示实施例揭示的车联网数据处理装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
该电子设备还可执行图2中车联网数据处理装置执行的方法，并实现车联网数据处理装置在图2所示实施例的功能，本申请实施例在此不再赘述。
本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图2所示实施例中车联网数据处理装置执行的方法，并具体用于执行：
接收通过消息队列传递的车联网数据，其中所述车联网数据包括车辆传感器采集的数据；
将所述车联网数据按照TDengine数据库建模策略建立的数据表存入对应的TDengine时序数据库中，用以提供车联网业务的数据查询或应用，其中所述数据表包括不同数据采集点按照预设分组采集的数据。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种车联网数据处理方法，其中，所述方法包括：
接收通过消息队列传递的车联网数据，其中所述车联网数据包括车辆传感器采集的数据；
将所述车联网数据按照TDengine数据库建模策略建立的数据表存入对应的TDengine时序数据库中，用以提供车联网业务的数据查询或应用，其中所述数据表包括不同数据采集点按照预设分组采集的数据。
2.如权利要求1所述方法，其中，所述方法还包括：
基于整车控制域，确定所述TDengine数据库建模策略，所述TDengine数据库建模策略包括按照所述车辆传感器中的数据采集点建表。
3.如权利要求2所述方法，其中，所述将所述车联网数据按照TDengine数据库建模策略建立的数据表存入对应的TDengine时序数据库中，包括：
将所述车联网数据按照TDengine数据库建模策略中的所述按照所述车辆传感器中的数据采集点建表，所述车辆传感器中的数据采集点包括车辆运行主数据、车辆子系统数据；
将每个车辆作为一个子表，同时将所有的子表组成一个超级表作为第一数据表；
将所述第一数据表存入对应的TDengine时序数据库中，将所述第一数据表作为每个车辆的一个主数据子表以及若干个子系统数据子表，且每个车辆包括主数据超级表以及各若干个子系统数据超级表。
4.如权利要求3所述方法，其中，将所述车联网数据按照TDengine数据库建模策略建立的数据表存入对应的TDengine时序数据库中，还包括：
将所述车联网数据的实时数据按照TDengine数据库建模策略建立的数据表存储和写入对应的TDengine时序数据库中。
5.如权利要求1所述方法，其中，所述方法还包括：
接收通过所述消息队列传递的第三方数据，所述第三方数据至少包括如下之一：车辆型号、当前车主、车牌号所属省市、车辆载货的类型。
6.如权利要求1所述方法，其中，所述数据采集点包括按照预设时间周期或受事件触发采集物理量的硬件或软件预埋点；
根据一个所述数据采集点采集一个或多个采集量，且该些采集量在同一时刻采集具有相同的时间戳。
7.如权利要求2所述方法，其中，所述按照所述车辆传感器中的数据采集点建表，包括：
根据每一种类型的数据采集点建立一个超级表；
将同一车辆传感器下采集周期相同的指标参数作为一个采集点创建超级表，其中，每个采集点的数据对应一个子表。
8.一种车联网数据处理装置，应用于云服务器，其中，所述装置包括：
接收模块，用于接收通过消息队列传递的车联网数据，其中所述车联网数据包括车辆传感器采集的数据；
储存模块，用于将所述车联网数据按照TDengine数据库建模策略建立的数据表存入对应的TDengine时序数据库中，用以提供车联网业务的数据查询或应用，其中所述数据表包括不同数据采集点按照预设分组采集的数据。
9.一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述权利要求1～7之任一所述方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行所述权利要求1～7之任一所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310372248.XA CN116383211A (zh) | 2023-04-10 | 2023-04-10 | 车联网数据处理方法、装置及电子设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310372248.XA CN116383211A (zh) | 2023-04-10 | 2023-04-10 | 车联网数据处理方法、装置及电子设备、存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116383211A true CN116383211A (zh) | 2023-07-04 |
Family
ID=86976474
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310372248.XA Pending CN116383211A (zh) | 2023-04-10 | 2023-04-10 | 车联网数据处理方法、装置及电子设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116383211A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117473125A (zh) * | 2023-11-07 | 2024-01-30 | 鱼快创领智能科技(南京)有限公司 | 一种数据分析可视化的方法 |
-
2023
- 2023-04-10 CN CN202310372248.XA patent/CN116383211A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117473125A (zh) * | 2023-11-07 | 2024-01-30 | 鱼快创领智能科技(南京)有限公司 | 一种数据分析可视化的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11616840B2 (en) | Method, apparatus and system for processing unmanned vehicle data, and storage medium | |
| CN111209352B (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
| CN109558450B (zh) | 一种基于分布式架构的汽车远程监控方法和装置 | |
| CN111209319A (zh) | 一种数据服务方法及装置 | |
| US20180365851A1 (en) | Self-learning spatial recognition system | |
| CN114679420B (zh) | 智能车联网、数据处理方法、电子设备及存储介质 | |
| CN113645287B (zh) | 汽车报文存储方法及装置、汽车报文存储系统 | |
| CN107016039B (zh) | 数据库写入的方法和数据库系统 | |
| CN116383211A (zh) | 车联网数据处理方法、装置及电子设备、存储介质 | |
| CN106528649A (zh) | 一种新能源汽车的海量数据存储检索系统和方法 | |
| CN111400288A (zh) | 数据质量检查方法及系统 | |
| DE102020132760A1 (de) | Persistenzdienst für Edge-Architekturen | |
| CN116842055A (zh) | 用于物联网数据批流一体处理的系统及方法 | |
| CN114466227A (zh) | 一种视频分析方法、装置、电子设备及存储介质 | |
| CN113127472A (zh) | 一种针对大上报量的司机数量实时去重统计的方法及系统 | |
| Haroun et al. | A big data architecture for automotive applications: PSA group deployment experience | |
| CN112506887A (zh) | 车辆终端can总线数据处理方法及装置 | |
| CN114677254B (zh) | 一种货车事故识别方法、装置、存储介质及程序产品 | |
| EP4442015A1 (en) | Fleet data collection using a unified model to collect data from heterogenous vehicles | |
| CN116017290A (zh) | 车辆运行状态实时监控方法、装置及电子设备、存储介质 | |
| CN115384532A (zh) | 自动驾驶域控制器故障诊断方法、装置及电子设备、存储介质 | |
| CN116186022A (zh) | 表单处理方法、装置、分布式表单系统和计算机存储介质 | |
| CN113709044B (zh) | 数据转发方法、装置、电子设备和存储介质 | |
| CN115718680B (zh) | 数据读取方法、系统、计算机及可读存储介质 | |
| CN117435367B (zh) | 用户行为处理方法、装置、设备、存储介质和程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |