CN114297154A - 一种车辆数据处理方法、终端及计算机存储介质 - Google Patents
一种车辆数据处理方法、终端及计算机存储介质 Download PDFInfo
- Publication number
- CN114297154A CN114297154A CN202111589628.6A CN202111589628A CN114297154A CN 114297154 A CN114297154 A CN 114297154A CN 202111589628 A CN202111589628 A CN 202111589628A CN 114297154 A CN114297154 A CN 114297154A
- Authority
- CN
- China
- Prior art keywords
- data
- message
- messages
- metadata
- data packet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
本申请涉及一种车辆数据处理方法、终端及计算机存储介质。本申请提供的处理方法，包括：获取车辆的原始数据包及所述原始数据包的元数据；根据所述元数据，从所述原始数据包中获取消息数据；根据所述消息数据，获取目标数据。本申请提供的车辆数据处理方法、终端及计算机存储介质，能够在数据服务读取数据时，减少数据传输量及传输时间，避免频繁的反序列化解析操作，提高车辆数据的存储、处理及使用效率。
Description
技术领域
本申请属于车辆通信技术领域，尤其涉及一种车辆数据处理方法、终端及计算机存储介质。
背景技术
数据仓库诞生自上个世纪90年代，主要解决的是传统关系型数据库技术无法满足业务数据量爆炸性增长的问题。数据仓库采用特有的分布式存储架构，结合分布式计算框架，能满足用户从海量数据中分析挖掘有价值的信息，做出正确的决策。随着自动驾驶技术的蓬勃发展，自动驾驶数据的积累量越来越多，自动驾驶模型和仿真对数据驱动的依赖越来越强，如何高效存储、处理和使用车辆数据成了一个非常重要的技术难题。从数据结构看，车辆数据既包括结构化数据，如传感器信息，又包括非结构化数据，如摄像头图像；从数据体量看，车辆数据的单个文件大小达GB级，数量可多达百万级别，总存储量在几十甚至几百PB级别。这些场景特征都对数据仓库技术提出了新的要求。
当前自动驾驶的数据仓库，主要是围绕采集的原始数据包展开。车辆在道路上行驶时，将多个传感器采集的原始信号数据以ROS bag文件格式记录和输出；原始数据包通过上盘进入数据仓库后，往往直接存储在对象存储中。数据服务通过直接读取和传输对象存储中的原始数据包，作为数据输入提供给自动驾驶算法模型训练环境和仿真验证环境。然而，单个原始数据包包含了所有的原始信号数据，文件大小往往在1-10GB，即使数据服务只需一小部分信号数据，仍需传输完整的原始数据包，导致数据传输量大、数据传输时间较长、网络带宽压力较重、传输成本较高；另外，原始数据包是二进制文件，每当数据服务获得原始数据包，要读取其中的信号数据时，往往需要对原始数据包做大量反序列化解析操作，这个操作往往比较耗费时间(分钟甚至小时级别)和计算资源，并且解析后的数据没有保存，下次读取同一段信号数据，需要再次对同一个原始数据包执行相同的反序列化操作，降低了车辆数据的处理效率。
发明内容
针对上述技术问题，本申请提供一种车辆数据处理方法、终端及计算机存储介质，以提高车辆数据的存储、处理及使用效率。
本申请提供了一种车辆数据处理方法，所述处理方法，包括：获取车辆的原始数据包及所述原始数据包的元数据；根据所述元数据，从所述原始数据包中获取消息数据；根据所述消息数据，获取目标数据。
在一实施方式中，获取所述原始数据包的元数据，包括：根据所述原始数据包的存储格式定义，读取所述原始数据包的所述元数据；其中，所述元数据包括版本信息、头文件、连接信息、块信息。
在一实施方式中，在所述获取所述原始数据包的元数据的步骤之后，包括：将所述元数据以第一预设格式存储在数据库的元数据存储区。
在一实施方式中，所述连接信息包括连接名称、连接类型、消息名称、消息定义；所述块信息包括块起止位置、所述连接名称、所述消息名称、消息起止位置。
在一实施方式中，所述根据所述元数据，从所述原始数据包中获取消息数据的步骤，包括：根据所述消息名称，对所述原始数据包中的消息进行分类；通过递归的方法动态解析各类型消息的消息定义的字符串，构建所述各类型消息的对象，其中，所述各类型消息的对象包括所述各类型消息的嵌套结构及所述各类型消息的解析方法；根据所述各类型消息的块起止位置及消息起止位置，获取所述各类型消息的消息片段；调用对应的解析方法，对所述各类型消息的消息片段进行反序列化得到所述各类型消息的消息数据。
在一实施方式中，所述原始数据包中的消息包括结构化消息、非结构化消息中的至少一项；在所述根据所述元数据，从所述原始数据包中获取消息数据的步骤之后，包括以下至少一项：将所述结构化消息中的各类型消息的嵌套结构及消息数据以第一存储方式、第二预设格式存储在数据库的结构化数据存储区；将所述非结构化消息的嵌套结构及消息数据以第三预设格式存储在所述数据库的非结构化数据存储区。
在一实施方式中，所述消息数据包括结构化数据、非结构化数据中的至少一项；所述根据所述消息数据，获取目标数据的步骤，包括以下至少一项：通过分布式查询引擎及查询语句，从所述结构化数据中获取数据切片；通过视频服务，从所述非结构化数据中获取图像序列，并以流媒体格式进行播放。
在一实施方式中，所述结构化数据包括传感器信号、车辆状态信息、车辆定位信息、感知结果数据中的至少一项。
本申请还提供了一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述处理方法的步骤。
本申请还提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述处理方法的步骤。
本申请提供的一种车辆数据处理方法、终端及计算机存储介质，能够提高车辆数据的存储、处理及使用效率。
附图说明
图1是本申请实施例一提供的处理方法的流程示意图；
图2是本申请实施例一提供的获取元数据的流程示意图；
图3是本申请实施例二提供的处理方法的具体流程示意图；
图4为本申请实施例三提供的终端的结构示意图。
具体实施方式
以下结合说明书附图及具体实施例对本申请技术方案做进一步的详细阐述。除非另有定义，本申请所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
图1是本申请实施例一提供的处理方法的流程示意图。如图1所示，本申请的处理方法可以包括如下步骤：
步骤S101：获取车辆的原始数据包及原始数据包的元数据；
在一实施方式中，获取原始数据包的元数据，包括：
根据原始数据包的存储格式定义，读取原始数据包的元数据；
可选地，原始数据包以ROS bag格式存储在数据仓库中，根据ROS bag格式的文件定义，读取原始数据包的元数据；其中，ROS bag为机器人操作系统(ROS)中用于存储消息数据的文件格式。
其中，元数据包括版本信息、头文件、连接信息、块信息。
如图2所示，获取原始数据包的元数据，可以包括如下步骤：
步骤S11：读取原始数据包的版本信息；
步骤S12：根据原始数据包的版本信息，读取原始数据包的头文件；
步骤S13：根据原始数据包的头文件，读取原始数据包的连接信息；
步骤S14：根据原始数据包的头文件及连接信息，读取原始数据包的块信息。
其中，连接信息包括连接名称、连接类型、消息名称、消息定义；块信息包括块起止位置、连接名称、消息名称、消息起止位置。
可选地，在获取原始数据包的元数据之后，包括：将元数据以第一预设格式存储在数据库的元数据存储区；可选地，元数据以protobuf文件格式记录和保存在对象存储中。
值得一提的是，元数据提供了对原始数据包中所有消息的丰富描述。针对单个原始数据包的元数据，其大小约为原始数据包的1/700-1/1000(因数据记录方式略有不同)，读取元数据文件的时间在毫秒级。这样的存储和读取效率，使得利用适当的计算资源，同时分析统计百PB级别数据仓库中所有原始数据包的消息结构成为了可能。
步骤S102：根据元数据，从原始数据包中获取消息数据；
在一实施方式中，步骤S102：根据元数据，从原始数据包中获取消息数据，包括：
根据消息名称，对原始数据包中的消息进行分类；
通过递归的方法动态解析各类型消息的消息定义的字符串，构建各类型消息的对象，其中，各类型消息的对象包括各类型消息的嵌套结构及各类型消息的解析方法；
根据各类型消息的块起止位置及消息起止位置，获取各类型消息的消息片段；
调用对应的解析方法，对各类型消息的消息片段进行反序列化得到各类型消息的消息数据。
其中，原始数据包中的消息包括结构化消息、非结构化消息中的至少一项；结构化消息包括传感器消息、车辆状态消息、车辆定位消息、感知结果消息中的至少一项；可选地，非结构化消息为图像消息。
可选地，在步骤S102：根据元数据，从原始数据包中获取消息数据之后，包括以下至少一项：
将结构化消息中各类型消息的嵌套结构及消息数据以第一存储方式、第二预设格式存储在数据库的结构化数据存储区；
将非结构化消息的嵌套结构及消息数据以第三预设格式存储在数据库的非结构化数据存储区。
可选地，将结构化消息中各类型消息的嵌套结构及消息数据按列存储，同一类型消息的嵌套结构及消息数据存储在同一列，并以parquet文件格式存储在文件系统中；将非结构化消息的嵌套结构及消息数据以mp4文件格式存储在文件系统中。
步骤S103：根据消息数据，获取目标数据。
其中，消息数据包括结构化数据、非结构化数据中的至少一项；结构化数据包括传感器信号、车辆状态信息、车辆定位信息、感知结果数据中的至少一项；可选地，非结构化数据为图像序列。
在一实施方式中，步骤S103：根据消息数据，获取目标数据的步骤，包括以下至少一项：
通过分布式查询引擎及查询语句，从结构化数据中获取数据切片；
通过视频服务，从非结构化数据中获取图像序列，并按流媒体格式进行播放。
示例性地，构建Presto查询引擎，通过SQL查询语句从结构化数据中获取数据切片。
值得一提的是，结构化数据提供了对原始数据包中各种消息数据的高压缩性存储，其大小约为原始数据包中相应字节片段的1/6。通过结构化操作转换后的数据，可以使用高性能查询引擎集群，以秒级别的性能在百PB级别数据仓库中按字段、按自定义过滤条件、按时间分区获得数据切片，避免了重复的反序列化操作和原始数据包的传输，极大地提升了数据使用效率。同时，这部分结构化存储也使得面向百PB级别数据仓库的数据挖掘成为了可能。非结构化数据的大小约为原始数据包中相应字节片段的1/2.5，通过提取和存储有代表性的图片序列并通过视频流播放，提升了场景理解的效率。
本申请实施例一提供的处理方法，根据元数据对原始数据包中的消息进行分类及切割，并对各类型消息的消息片段进行解析，还对各类型消息的嵌套结构及消息数据进行分区存储，在数据服务获取数据时，有效地提高了车辆数据的存储、处理及使用效率。
图3是本申请实施例二提供的处理方法的具体流程示意图。如图3所示，本申请的处理方法可以包括如下过程：
将采集的车辆数据以ROS bag格式存储在数据仓库的原始数据存储区；根据原始数据包的bag格式的文件定义，从原始数据包中读取元数据，并将元数据存储在数据仓库的元数据存储区；根据元数据，从原始数据包中获取结构化数据及非结构化数据，并将结构化数据、非结构化数据分别储存在数据仓库中的结构化数据存储区及非结构化数据存储区；通过数据服务，从结构化数据中获取数据切片；从非结构化数据中获取图像序列，并按视频流格式进行播放。其中，数据服务包括分布式查询引擎与查询语句、以及视频服务。
本申请实施例二提供的处理方法，在数据仓库中新增三种存储区：元数据存储区、结构化数据存储区和非结构化数据存储区，使得数据服务可以充分利用上述存储，提升数据获得的效率和性能。
图4是本申请实施例三提供终端的结构示意图。如图4所示，该实施例的终端包括：处理器110、存储器111以及存储在所述存储器111中并可在所述处理器110上运行的计算机程序112。所述处理器110执行所述计算机程序112时实现上述各个处理方法实施例中的步骤，例如图1所示的步骤S101至S103。
所述终端可包括，但不仅限于，处理器110、存储器111。本领域技术人员可以理解，图4仅仅是终端的示例，并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端还可以包括输入输出设备、网络接入设备、总线等。
所称处理器110可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器111可以是所述终端的内部存储单元，例如终端的硬盘或内存。所述存储器111也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器111还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器111用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述存储器111还可以用于暂时地存储已经输出或者将要输出的数据。
本申请还提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述处理方法的步骤。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，除了包含所列的那些要素，而且还可包含没有明确列出的其他要素。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种车辆数据处理方法，其特征在于，所述处理方法，包括：
获取车辆的原始数据包及所述原始数据包的元数据；
根据所述元数据，从所述原始数据包中获取消息数据；
根据所述消息数据，获取目标数据。
2.如权利要求1所述的处理方法，其特征在于，获取所述原始数据包的元数据，包括：
根据所述原始数据包的存储格式定义，读取所述原始数据包的所述元数据；
其中，所述元数据包括版本信息、头文件、连接信息、块信息。
3.如权利要求2所述的处理方法，其特征在于，在所述获取所述原始数据包的元数据的步骤之后，包括：将所述元数据以第一预设格式存储在数据仓库的元数据存储区。
4.如权利要求2所述的处理方法，其特征在于，所述连接信息包括连接名称、连接类型、消息名称、消息定义；
所述块信息包括块起止位置、所述连接名称、所述消息名称、消息起止位置。
5.如权利要求4所述的处理方法，其特征在于，所述根据所述元数据，从所述原始数据包中获取消息数据的步骤，包括：
根据所述消息名称，对所述原始数据包中的消息进行分类；
通过递归的方法动态解析各类型消息的消息定义的字符串，构建所述各类型消息的对象，其中，所述各类型消息的对象包括所述各类型消息的嵌套结构及所述各类型消息的解析方法；
根据所述各类型消息的块起止位置及消息起止位置，获取所述各类型消息的消息片段；
调用对应的解析方法，对所述各类型消息的消息片段进行反序列化得到所述各类型消息的消息数据。
6.如权利要求5所述的处理方法，其特征在于，所述原始数据包中的消息包括结构化消息、非结构化消息中的至少一项；
在所述根据所述元数据，从所述原始数据包中获取消息数据的步骤之后，包括以下至少一项：
将所述结构化消息中的各类型消息的嵌套结构及消息数据以第一存储方式、第二预设格式存储在数据仓库的结构化数据存储区；
将所述非结构化消息的嵌套结构及消息数据以第三预设格式存储在所述数据仓库的非结构化数据存储区。
7.如权利要求1所述的处理方法，其特征在于，所述消息数据包括结构化数据、非结构化数据中的至少一项；
所述根据所述消息数据，获取目标数据的步骤，包括以下至少一项：
通过分布式查询引擎及查询语句，从所述结构化数据中获取数据切片；
通过视频服务，从所述非结构化数据中获取图像序列，并以流媒体格式进行播放。
8.如权利要求7所述的处理方法，其特征在于，所述结构化数据包括传感器信号、车辆状态信息、车辆定位信息、感知结果数据中的至少一项。
9.一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述处理方法的步骤。
10.一种计算机存储介质，所述计算机存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111589628.6A CN114297154A (zh) | 2021-12-23 | 2021-12-23 | 一种车辆数据处理方法、终端及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111589628.6A CN114297154A (zh) | 2021-12-23 | 2021-12-23 | 一种车辆数据处理方法、终端及计算机存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114297154A true CN114297154A (zh) | 2022-04-08 |
Family
ID=80968645
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111589628.6A Pending CN114297154A (zh) | 2021-12-23 | 2021-12-23 | 一种车辆数据处理方法、终端及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114297154A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114745078A (zh) * | 2022-04-25 | 2022-07-12 | 北京兴竹同智信息技术股份有限公司 | 一种边缘识别系统、方法、设备及存储介质 |
-
2021
- 2021-12-23 CN CN202111589628.6A patent/CN114297154A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114745078A (zh) * | 2022-04-25 | 2022-07-12 | 北京兴竹同智信息技术股份有限公司 | 一种边缘识别系统、方法、设备及存储介质 |
| CN114745078B (zh) * | 2022-04-25 | 2023-07-14 | 北京兴竹同智信息技术股份有限公司 | 一种边缘识别系统、方法、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11887360B2 (en) | Ubiquitous witness for vehicle incidents | |
| US20230114468A1 (en) | Analytic image format for visual computing | |
| US10482122B2 (en) | System and method for multiresolution and multitemporal image search | |
| Johanson et al. | Big automotive data: Leveraging large volumes of data for knowledge-driven product development | |
| CN106982150B (zh) | 一种基于Hadoop的移动互联网用户行为分析方法 | |
| CN109271363B (zh) | 一种文件存储的方法及设备 | |
| JP5633647B2 (ja) | 映像処理システム、映像処理方法、映像処理用データベースの作成方法とそのデータベース、映像処理装置およびその制御方法と制御プログラム | |
| US11650989B2 (en) | Efficient aggregation of time series data | |
| US11360970B2 (en) | Efficient querying using overview layers of geospatial-temporal data in a data analytics platform | |
| CN110087144A (zh) | 视频文件处理方法、装置、电子设备和计算机存储介质 | |
| CN114297154A (zh) | 一种车辆数据处理方法、终端及计算机存储介质 | |
| CN111078651A (zh) | 统计对象存储的使用量的方法及装置 | |
| US10515092B2 (en) | Structured record compression and retrieval | |
| CN115729683A (zh) | 任务处理方法、装置、系统、计算机设备和存储介质 | |
| CN110442616B (zh) | 一种针对大数据量的页面访问路径分析方法与系统 | |
| CN111190896A (zh) | 数据处理方法、装置、存储介质和计算机设备 | |
| CN110297811A (zh) | 数据处理方法及装置、计算机系统和计算机可读存储介质 | |
| Hsieh | Machine learning systems for highly-distributed and rapidly-growing data | |
| CN112583899B (zh) | 物联网数据采集系统、方法及边缘计算设备 | |
| CN114997259A (zh) | 图像聚类方法、图像聚类模型训练方法和电子设备 | |
| CN113342748A (zh) | 日志数据处理方法和装置、分布式计算系统以及存储介质 | |
| CN113297454A (zh) | 检索方法、查询方法、装置、系统、电子设备和计算机存储介质 | |
| CN112306421A (zh) | 一种用于存储分析测量数据格式mdf文件的方法和系统 | |
| CN112714033B (zh) | 视频集的特征信息确定方法及装置 | |
| CN115361239B (zh) | 一种行车存储数据上传方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230909 Address after: Room A101, Building I, No. 7 Zhongchuang Second Road, Hangzhou Bay New Area, Ningbo City, Zhejiang Province, 315335 Applicant after: Ningbo Lutes Robotics Co.,Ltd. Address before: 430056 A404, building 3, 28 chuanjiangchi 2nd Road, Wuhan Economic and Technological Development Zone, Wuhan City, Hubei Province Applicant before: Wuhan lutes Automobile Co.,Ltd. |