CN112115173A - 自动驾驶数据处理跟踪方法、系统及车辆 - Google Patents

自动驾驶数据处理跟踪方法、系统及车辆 Download PDF

Info

Publication number
CN112115173A
CN112115173A CN202010912098.3A CN202010912098A CN112115173A CN 112115173 A CN112115173 A CN 112115173A CN 202010912098 A CN202010912098 A CN 202010912098A CN 112115173 A CN112115173 A CN 112115173A
Authority
CN
China
Prior art keywords
data
file
data processing
processing
relational database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010912098.3A
Other languages
English (en)
Inventor
张彦君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Geely Holding Group Co Ltd
Zhejiang Geely Automobile Research Institute Co Ltd
Original Assignee
Zhejiang Geely Holding Group Co Ltd
Zhejiang Geely Automobile Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Geely Holding Group Co Ltd, Zhejiang Geely Automobile Research Institute Co Ltd filed Critical Zhejiang Geely Holding Group Co Ltd
Priority to CN202010912098.3A priority Critical patent/CN112115173A/zh
Publication of CN112115173A publication Critical patent/CN112115173A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24573—Query processing with adaptation to user needs using data annotations, e.g. user-defined metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种自动驾驶数据处理跟踪方法、系统及车辆，其中，自动驾驶数据处理跟踪方法，通过关系型数据库在分布式存储上面的应用，能够对在数据处理过程中出现的每一个文件进行有效的定位、分类、跟踪和搜索，实现有效跟踪数据处理链中的每一个环节、直接定位出错的环节并且可以从出错的环节继续运行数据处理，解决在海量数据处理过程中时间和计算力浪费的问题。

Description

自动驾驶数据处理跟踪方法、系统及车辆
技术领域
本发明涉及大数据技术领域，更具体地，涉及一种自动驾驶数据处理跟踪方法、系统和具有该系统的车辆。
背景技术
在自动驾驶技术中，摄像头和激光雷达取代了人眼，机器学习和神经网络则取代了人的大脑。无论是做各种仿真场景的测试还是训练自动驾驶技术的大脑-神经网络都需要海量的数据，包括摄像头数据、激光雷达数据、地图数据、车辆总线数据等等。这些数据包括实际道路采集得到的数据，更多的则是基于场景模拟仿真系统产出的数据，可达上百PB级别。这些原始的场景数据文件往往经过多个步骤的处理，比如剪切、清洗、各种数据格式的转换，最终生成对研发过程有价值的数据格式文件。在整个数据处理链中，如果有一处数据处理出了错，研发人员需要在数据处理的错误日志中查找错误，解决此处数据处理程序的缺陷，然后重新运行整个数据处理流程，直到错误很少或者没有错误出现为止。这将是一个相当漫长的过程，并且会导致计算资源的大量浪费。
在目前的自动驾驶数据处理过程中存在以下几点问题：
自动驾驶研发需要对采集的或者仿真生成的数据文件进行一系列的处理，比如剪切、清洗和各种格式转换，在处理的过程中又会产生各种结果数据文件。因此如何跟踪这些原始数据文件、如何知道在某个原始数据文件上执行了哪些操作、生成了哪些结果文件是自动驾驶数据流程管理中必须解决的一个问题。
自动驾驶数据量往往巨大，数据量往往在几十甚至上百PB，完成大规模的数据处理需要花费很长的时间和很多的计算资源。因此如何避免因为中国数据处理链中的一个环节的错误导致重复的计算是海量数据处理需要解决的一个问题。
一个自动驾驶的数据处理链中包含很多环节，每个环节都可能出错。如何能够快速定位错误，修复错误也是自动驾驶数据处理流程中需要解决的问题。
发明内容
本发明第一方面的一个目的是要解决如何避免在海量数据的数据处理链中因某个环节的错误而导致需要重复计算，从而浪费了处理时间和计算资源的问题。
本发明第一方面的一个进一步的目的是要对自动驾驶的数据处理链中的每个环节进行状态跟踪和快速定位，达到最优化计算力和计算流程的目的。
特别地，本发明提供了一种自动驾驶数据处理跟踪方法，包括以下步骤：
S1、建立自动驾驶数据存储管理集群；
S2、将分布式存储系统添加到所述存储管理集群中；
S3、将关系型数据库添加到所述存储管理集群中；
S4、道路数据采集：记录试验车辆上的各种传感器、车顶盒和总线数据采集到的原始数据并打上数据标签和元数据标签写入到数据文件中，将数据文件存储在SSD闪存里；
S5、数据上传：将所述SSD闪存里的数据上传到所述分布式存储系统里；
S6、运行数据文本导入脚本：将原始数据在所述分布式存储系统中的文件路径、文件名以及相对应的标签数据写入关系型数据库；
S7、运行标签数据和元数据脚本：把标签数据和原始数据文件定位的映射关系以及元数据设备标签和原始数据文件定位的映射关系写入关系型数据库中；
S8、运行文件处理脚本：对场景文件进行处理，将原文件、操作名称和处理后的文件映射关系写入关系型数据，将出错节点的名称和输入文件写入关系型数据库进行入库存储；
S9、开发数据存储管理应用和前端UI。
进一步地，步骤S1中所述存储管理集群包括至少三个服务器，所述至少三个服务器包括：
关系型数据库服务器，其上部署有MysQL关系型数据库，用于保存数据文件的定位信息、元数据信息、标签数据信息以及各种映射关系信息；
数据管理服务器，其上部署有数据存储管理应用，用于对数据进行分类存储、精准定位和持续跟踪等工作；
数据应用服务器，其上部署有数据处理和格式转换等各种应用程序。
进一步地，所述映射关系信息至少包括标签数据和数据文件之间的映射关系信息和数据文件与数据文件处理操作之间的映射关系信息。
进一步地，步骤S2中所述分布式存储系统上存储有自动驾驶中采集的真实的场景文件数据、仿真场景数据以及各种数据格式转换得到的结果数据。
进一步地，步骤S4中使用Vigem数据记录仪采集设备对传感器、车顶盒和车辆总线产生的数据进行记录；
标签包括场景标签、地点标签和时间标签。
进一步地，步骤S4中所述数据文件以VPCAP格式保存在所述SSD闪存里。
进一步地，步骤S5中使用Copy Station将SSD闪存里的数据文件上传至所述分布式存储里。
进一步地，步骤S8中将采集到的原始数据依次经过处理后生成最终文件，每一步处理均生成有中间文件，生成的最终文件和经每一步处理生成的中间文件均采用所述关系型数据库进行记录和跟踪；
在所述关系型数据库中建立一个用于记录错误的表，在处理过程中运行的任务ID、出错步骤名称和出错步骤的输入文件写入错误的表中；
当任一节点发生错误时，系统报错且该步骤运行停止，在开发人员将报错步骤修复后，系统将从出错步骤开始继续运行。
本发明还提供一种自动驾驶数据处理跟踪系统，包括：
自动驾驶数据存储管理集群；包括至少三个服务器，所述至少三个服务器包括一个部署有关系型数据库的数据库服务器、一个部署有自动驾驶数据管理平台应用的数据管理服务器、一个部署有各种数据处理和格式转换的工具链脚本应用的数据处理服务器；
分布式存储系统，具有多个存储，任一存储均分配有一个所述自动驾驶数据存储管理集群内部的IP地址，所述存储适于通过对应的所述IP地址集成到所述自动驾驶数据存储管理集群；
关系型数据库，适于存储采集的数据文件的存储路径和文件名、数据文件相关的数据标签和元数据、数据文件和数据标签的映射关系、数据文件和元数据之间的映射关系、数据文件转换和具体操作之间的映射关系并添加至所述自动驾驶数据存储管理集群中；
数据记录仪，适于记录试验车辆上的各种传感器、车顶盒和总线数据采集到的原始数据；
数据管理应用，用于数据管理；及
前端UI。
本发明还提供一种车辆，包括上述所述的一种自动驾驶数据处理跟踪系统。
本发明的根据本发明实施例的自动驾驶数据处理跟踪方法，能够对在数据处理过程中出现的每一个文件进行有效的定位、分类、跟踪和搜索，实现有效跟踪数据处理链中的每一个环节、直接定位出错的环节并且可以从出错的环节继续运行数据处理，解决在海量数据处理过程中时间和计算力浪费的问题。
根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：
图1为根据本发明实施例的自动驾驶数据处理跟踪方法的结构示意图；
图2为根据本发明实施例的自动驾驶数据处理跟踪方法中的数据库业务表设计图；
图3为根据本发明实施例的自动驾驶数据处理跟踪方法的步骤S8的原始数据处理链流程示意图；
图4为根据本发明实施例的自动驾驶数据处理跟踪系统的自动驾驶存储管理集群架构图。
附图标记：
10-数据库服务器；
20-数据管理服务器；
30-数据处理服务器；
40-分布式存储系统。
具体实施方式
参见图1至图4所示，根据本发明实施例的自动驾驶数据处理跟踪方法，包括以下步骤：
S1、建立自动驾驶数据存储管理集群；
S2、将分布式存储系统添加到所述存储管理集群中；
S3、将关系型数据库添加到所述存储管理集群中；
S4、道路数据采集：记录试验车辆上的各种传感器、车顶盒和总线数据采集到的原始数据并打上数据标签和元数据标签写入到数据文件中，将数据文件存储在SSD闪存里；
S5、数据上传：将所述SSD闪存里的数据上传到所述分布式存储系统里；
S6、运行数据文本导入脚本：将原始数据在所述分布式存储系统中的文件路径、文件名以及相对应的标签数据写入关系型数据库；
S7、运行标签数据和元数据脚本：把标签数据和原始数据文件定位的映射关系以及元数据设备标签和原始数据文件定位的映射关系写入关系型数据库中；
S8、运行文件处理脚本：对场景文件进行处理，将原文件、操作名称和处理后的文件映射关系写入关系型数据，将出错节点的名称和输入文件写入关系型数据库进行入库存储；
S9、开发数据存储管理应用和前端UI。
步骤S1中，由于自动驾驶研发过程中的数据多为文件数据，因此自动驾驶数据存储管理集群的主要任务是管理和处理海量的数据文件。为达成此任务，该数据存储管理集群包括至少三个服务器，一个数据库服务器10，上面部署MySQL关系型数据库，储数据文件的定位信息、元数据信息、标签数据信息以及各种映射关系信息，其中映射信息至少包含标签数据和数据文件之间的映射以及数据文件和数据文件处理操作之间的映射。一个数据处理服务器30，上面部署有数据清洗、格式转换的工具链脚本应用等各种应用程序。一个数据管理服务器20，上面部署有数据存储管理平台应用，用于对数据进行分类存储、精准定位、持续跟踪等工作。
步骤S2中，由于存储上百PB的自动驾驶数据需要相应的存储硬件，该分布式存储系统具有多个存储，这里需要分配给每个存储一个集群内部的IP地址，存储需要通过对应的IP地址集成到存储管理集群当中。在集群的共享存储中存储着道路测试团队采集到的真实场景文件，基于真实场景生成的仿真场景文件，以及场景数据裁剪、清洗和格式转换后生成的各种结果数据文件。
步骤S3中，在关系型数据库中存储的不是采集到的数据文件的具体内容，而是数据文件在分布式存储上面的定位，具体包含存储路径和文件名、数据文件相关的数据标签和元数据、数据文件和数据标签的映射关系、数据文件和采集设备信息也即元数据之间的映射关系、数据文件转换和具体操作之间的映射关系等等。这样在分布式存储上面的每个数据文件，无论原始文件还是结果文件都能够被有效的分类、定位和跟踪。具体的关系型数据库业务表的设计如图2所示。
步骤S4中，采用Vigem数据记录仪来记录试验车辆上面的各种传感器、车顶盒和总线数据采集到的原始数据，其中传感器包含雷达、激光雷达、摄像头、GPS/IMU等等。具体的，Vigem数据记录仪将所有原始数据打包并生成时长约为1分钟、后缀为VPCAP的文件，按照每天路采8小时计算，每车每天产生约480个VPCAP文件。同时采集到的数据通过路测跟车人员和自动脚本打上数据标签和元数据标签。其中数据标签是为了方便数据文件的分类和存储而为这些数据贴上的标签，例如场景标签包含车道线状态、天气、路况、道路建设等等、地点标签包括城市、郊区、高速、农村等等和时间标签包含白天、夜晚、黄昏等等。元数据标签是为了将Vigem记录仪记录的数据和产生这些数据的硬件和软件信息联系起来，主要是车辆、传感器和ECU的软硬件信息。最终的原始数据和标签数据将被存储在SSD闪存里面。
步骤S5中，使用Copy Station将SSD闪存里面的数据文件上传到自动驾驶存储管理集群的分布式存储里面。
步骤S6中，文件导入脚本的主要任务是将原始数据VPCAP文件在分布式存储中的定位包含文件的路径和文件名写入关系型数据库，同时脚本将解析原始数据文件，提取原始数据文件中的元数据和标签数据写入数据库中。
步骤S7中，脚本的主要任务是把标签数据和原始数据文件定位的映射关系以及元数据设备标签和原始数据文件定位的映射关系写入关系型数据库中。数据文件经过标签数据和元数据脚本的处理之后，数据文件被有效的进行了分类，研发人员可以快速的搜索到特定类型的数据文件进行处理。
步骤S8中，存储在分布式存储系统里的原始数据文件需要经过各式各样操作，例如数据剪切、清洗、格式转化等等，来满足研发工作的需要。具体的，对于上面的操作，可以理解为一个抽象的处理链，参见图3所示。图中的F(0)代表采集到的原始的VPCAP文件，F(0)经过S(1)(代表步骤1)处理之后生成中间文件F(1)，F(1)作为下一步S(2)处理后生成中间文件F(2)，…，以此类推，直至生成最后的文件F(n)。关键是数据处理链中每一步和每一步生成的中间文件都采用关系型数据库进行记录和跟踪，由于在大数据处理链的运行中，最经常出现的问题是其中某个步骤出错，通常的办法是解决这个步骤的错误，然后从头开始进行再次运行，直到每个环节均不出错为止。这样一来，之前计算过的步骤又须重新计算一遍，从而造成时间和计算力的巨大浪费。本发明创造性的将处理链中的每个节点数据文件的输入路径、操作名称编号和处理后的中间结果数据文件的输出路径的映射关系都将写入数据库，这样能够实现对数据处理链中的每个处理节点的输入输出进行持续的跟踪。同时分布式存储系统保存每个处理节点的中间结果数据文件，数据处理链编号、处理节点编号和发生的错误之间的对应关系写入数据库。具体的，在关系型数据库中建立一个记录处理链中的错误的表，然后将处理链运行的任务ID、出错步骤名称和出错步骤的输入文件定位即数据处理链中前一步成功运行生成的文件在存储上面的路径和文件名称写入错误的表中，然后停止处理链的运行。这样，当开发人员将处理链中报错的步骤修复之后，可以直接使用保存在数据库中处理链错误表中的记录，从上次运行出错的步骤开始继续运行剩下的处理流程，直到整个处理链中没有错误发生。如此一来，数据处理链中出错之前运行的每一步所花费的时间和计算力便不会浪费，并且每一步运行的结果都保存在关系型数据库和分布式存储上面。
步骤S9中，在所有对自动驾驶数据文件存储管理有价值的数据存储在关系型数据库之后，还需要按照自动驾驶研发的业务开发相应的数据存储业务和UI界面也即用户界面，这样整个自动驾驶研发过程中需要的各种数据就会被有效的存储和管理起来，在数据处理链中的任何一环出错，用户可以直接从出错的环节继续处理数据。
经过上述的步骤S1-S8，存储在分布式存储上面的原始数据文件可以有效的定位，分类和存储。原始数据经过的各种处理操作和生成的各种结果文件也会通过存储在关系型数据库中进行有效的定位，分类和存储。在数据处理链中出错的步骤也存储在关系型数据库中用来跟踪数据处理中出错的情况。
总而言之，通过关系型数据库在分布式存储上面的应用，可以对在数据处理过程中出现的每一个文件进行有效的定位、分类、跟踪和搜索。能够实现有效跟踪数据处理链中的每一个环节、直接定位出错的环节并且可以从出错的环节继续运行数据处理，解决在海量数据处理过程中时间和计算力浪费的问题。
本发明的自动驾驶数据处理跟踪系统，包括自动驾驶数据存储管理集群、分布式存储系统、关系型数据库、数据记录仪、数据管理应用和前端UI。具体的，参见图4，自动驾驶数据存储管理集群包括至少三个服务器，至少三个服务器包括一个部署有关系型数据库的数据库服务器10、一个部署有自动驾驶数据管理平台应用的数据管理服务器20、一个部署有各种数据处理和格式转换的工具链脚本应用的数据处理服务器30。其中数据管理服务器20与数据管理客户端连接。
分布式存储系统40具有多个存储，任一存储均分配有一个自动驾驶数据存储管理集群内部的IP地址，存储适于通过IP地址集成到自动驾驶数据存储管理集群。
关系型数据库，适于存储采集的数据文件的存储路径和文件名、数据文件相关的数据标签和元数据、数据文件和数据标签的映射关系、数据文件和元数据之间的映射关系、数据文件转换和具体操作之间的映射关系并添加至自动驾驶数据存储管理集群中。
数据记录仪为Vigem数据记录仪，适于记录试验车辆上的各种传感器、车顶盒和总线数据采集到的原始数据。
总而言之，本发明的自动驾驶数据处理管理系统，通过关系型数据库在分布式存储上面的应用，可以对在数据处理过程中出现的每一个文件进行有效的定位、分类、跟踪和搜索。能够实现有效跟踪数据处理链中的每一个环节、直接定位出错的环节并且可以从出错的环节继续运行数据处理，解决在海量数据处理过程中时间和计算力浪费的问题。
本发明还提供一种车辆，包括上述实施例的系统。由于根据本发明实施例的自动驾驶数据处理跟踪系统具有上述技术效果，因此，根据本发明实施例的车辆也具有相应的技术效果，即本发明的车辆，通过设置该基于关系型数据库的自动驾驶数据处理跟踪系统，能够对在数据处理过程中出现的每一个文件进行有效的定位、分类、跟踪和搜索，实现有效跟踪数据处理链中的每一个环节、直接定位出错的环节并且可以从出错的环节继续运行数据处理，解决在海量数据处理过程中时间和计算力浪费的问题。
根据本发明实施例的车辆的其他结构和操作对于本领域技术人员而言都是可以理解并且容易实现的，因此不再详细描述。
至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (10)

1.一种自动驾驶数据处理跟踪方法，其特征在于，包括以下步骤：
S1、建立自动驾驶数据存储管理集群；
S2、将分布式存储系统添加到所述存储管理集群中；
S3、将关系型数据库添加到所述存储管理集群中；
S4、道路数据采集：记录试验车辆上的各种传感器、车顶盒和总线数据采集到的原始数据并打上数据标签和元数据标签写入到数据文件中，将数据文件存储在SSD闪存里；
S5、数据上传：将所述SSD闪存里的数据上传到所述分布式存储系统里；
S6、运行数据文本导入脚本：将原始数据在所述分布式存储系统中的文件路径、文件名以及相对应的标签数据写入关系型数据库；
S7、运行标签数据和元数据脚本：把标签数据和原始数据文件定位的映射关系以及元数据设备标签和原始数据文件定位的映射关系写入关系型数据库中；
S8、运行文件处理脚本：对场景文件进行处理，将原文件、操作名称和处理后的文件映射关系写入关系型数据，将出错节点的名称和输入文件写入关系型数据库进行入库存储；
S9、开发数据存储管理应用和前端UI。
2.根据权利要求1所述的自动驾驶数据处理跟踪方法，其特征在于，步骤S1中所述存储管理集群包括至少三个服务器，所述至少三个服务器包括：
关系型数据库服务器，其上部署有MysQL关系型数据库，用于保存数据文件的定位信息、元数据信息、标签数据信息以及各种映射关系信息；
数据管理服务器，其上部署有数据存储管理应用，用于对数据进行分类存储、精准定位和持续跟踪等工作；
数据应用服务器，其上部署有数据处理和格式转换等各种应用程序。
3.根据权利要求2所述的自动驾驶数据处理跟踪方法，其特征在于，所述映射关系信息至少包括标签数据和数据文件之间的映射关系信息和数据文件与数据文件处理操作之间的映射关系信息。
4.根据权利要求1所述的自动驾驶数据处理跟踪方法，其特征在于，步骤S2中所述分布式存储系统上存储有自动驾驶中采集的真实的场景文件数据、仿真场景数据以及各种数据格式转换得到的结果数据。
5.根据权利要求1所述的自动驾驶数据处理跟踪方法，其特征在于，步骤S4中使用Vigem数据记录仪采集设备对传感器、车顶盒和车辆总线产生的数据进行记录；
标签包括场景标签、地点标签和时间标签。
6.根据权利要求1或5所述的自动驾驶数据处理跟踪方法，其特征在于，步骤S4中所述数据文件以VPCAP格式保存在所述SSD闪存里。
7.根据权利要求1所述的自动驾驶数据处理跟踪方法，其特征在于，步骤S5中使用CopyStation将SSD闪存里的数据文件上传至所述分布式存储里。
8.根据权利要求1所述的自动驾驶数据处理跟踪方法，其特征在于，步骤S8中将采集到的原始数据依次经过处理后生成最终文件，每一步处理均生成有中间文件，生成的最终文件和经每一步处理生成的中间文件均采用所述关系型数据库进行记录和跟踪；
在所述关系型数据库中建立一个用于记录错误的表，在处理过程中运行的任务ID、出错步骤名称和出错步骤的输入文件写入错误的表中；
当任一节点发生错误时，系统报错且该步骤运行停止，在开发人员将报错步骤修复后，系统将从出错步骤开始继续运行。
9.一种自动驾驶数据处理跟踪系统，其特征在于，包括：
自动驾驶数据存储管理集群；包括至少三个服务器，所述至少三个服务器包括一个部署有关系型数据库的数据库服务器、一个部署有自动驾驶数据管理平台应用的数据管理服务器、一个部署有各种数据处理和格式转换的工具链脚本应用的数据处理服务器；
分布式存储系统，具有多个存储，任一存储均分配有一个所述自动驾驶数据存储管理集群内部的IP地址，所述存储适于通过对应的所述IP地址集成到所述自动驾驶数据存储管理集群；
关系型数据库，适于存储采集的数据文件的存储路径和文件名、数据文件相关的数据标签和元数据、数据文件和数据标签的映射关系、数据文件和元数据之间的映射关系、数据文件转换和具体操作之间的映射关系并添加至所述自动驾驶数据存储管理集群中；
数据记录仪，适于记录试验车辆上的各种传感器、车顶盒和总线数据采集到的原始数据；
数据管理应用，用于数据管理；及
前端UI。
10.一种车辆，其特征在于，包括权利要求9所述的一种自动驾驶数据处理跟踪系统。
CN202010912098.3A 2020-09-02 2020-09-02 自动驾驶数据处理跟踪方法、系统及车辆 Pending CN112115173A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010912098.3A CN112115173A (zh) 2020-09-02 2020-09-02 自动驾驶数据处理跟踪方法、系统及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010912098.3A CN112115173A (zh) 2020-09-02 2020-09-02 自动驾驶数据处理跟踪方法、系统及车辆

Publications (1)

Publication Number Publication Date
CN112115173A true CN112115173A (zh) 2020-12-22

Family

ID=73804864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010912098.3A Pending CN112115173A (zh) 2020-09-02 2020-09-02 自动驾驶数据处理跟踪方法、系统及车辆

Country Status (1)

Country Link
CN (1) CN112115173A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113276863A (zh) * 2021-07-01 2021-08-20 浙江吉利控股集团有限公司 车辆控制方法、装置、设备、介质及程序产品
CN113553304A (zh) * 2021-07-28 2021-10-26 北京亮道智能汽车技术有限公司 一种针对自动驾驶的数据存储系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140002341A (ko) * 2012-06-29 2014-01-08 주식회사 케이티 운행기록 데이터 관리 방법 및 차량 운행관리 시스템
CN103856516A (zh) * 2012-12-03 2014-06-11 腾讯科技（深圳）有限公司 数据存储、读取方法及数据存储、读取装置
CN110110985A (zh) * 2019-04-28 2019-08-09 浙江明度智控科技有限公司 一种生产记录方法和记录装置
CN110187829A (zh) * 2019-04-22 2019-08-30 上海蔚来汽车有限公司 一种数据处理方法、装置、系统及电子设备
CN111049884A (zh) * 2019-11-18 2020-04-21 武汉方始科技有限公司 一种分布式大文件存储系统及文件上传和下载方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140002341A (ko) * 2012-06-29 2014-01-08 주식회사 케이티 운행기록 데이터 관리 방법 및 차량 운행관리 시스템
CN103856516A (zh) * 2012-12-03 2014-06-11 腾讯科技（深圳）有限公司 数据存储、读取方法及数据存储、读取装置
CN110187829A (zh) * 2019-04-22 2019-08-30 上海蔚来汽车有限公司 一种数据处理方法、装置、系统及电子设备
CN110110985A (zh) * 2019-04-28 2019-08-09 浙江明度智控科技有限公司 一种生产记录方法和记录装置
CN111049884A (zh) * 2019-11-18 2020-04-21 武汉方始科技有限公司 一种分布式大文件存储系统及文件上传和下载方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113276863A (zh) * 2021-07-01 2021-08-20 浙江吉利控股集团有限公司 车辆控制方法、装置、设备、介质及程序产品
CN113553304A (zh) * 2021-07-28 2021-10-26 北京亮道智能汽车技术有限公司 一种针对自动驾驶的数据存储系统

Similar Documents

Publication Publication Date Title
CN107958057B (zh) 一种用于异构数据库中数据迁移的代码生成方法及装置
CN107729243B (zh) 应用编程接口自动化测试方法、系统、设备及存储介质
US8151248B1 (en) Method and system for software defect management
CN110659173A (zh) 一种运维系统及方法
CN113255614A (zh) 一种基于视频分析的rpa流程自动生成方法与系统
CN103617117B (zh) 一种基于航空嵌入式软件测试知识库系统
CN112115173A (zh) 自动驾驶数据处理跟踪方法、系统及车辆
US20090006493A1 (en) Method For Enabling Traceability And Recovery From Errors During Migration Of Software Applications
CN110781231A (zh) 基于数据库的批量导入方法、装置、设备及存储介质
CN112181854B (zh) 一种生成流程自动化脚本的方法、装置、设备及存储介质
CN111881105B (zh) 业务数据的标注模型及其模型训练方法
CN112507623A (zh) 一种算法中台构建方法及系统
CN114780370A (zh) 基于日志的数据修正方法、装置、电子设备及存储介质
CN111814443A (zh) 结合rpa和ai的表格生成方法及装置、计算设备、存储介质
CN116088469A (zh) 一种基于专家系统的通用化故障诊断平台系统
CN110716804A (zh) 无用资源的自动删除方法、装置、存储介质及电子设备
CN112068981A (zh) Linux操作系统中基于知识库的故障扫描恢复方法及系统
CN109508204B (zh) 一种前端代码质量检测方法及装置
US20220292053A1 (en) Method for generating a coherent representation for at least two log files
CN114936111A (zh) 前端变量异常检测及修复方法、装置、设备及存储介质
CN115169578A (zh) 一种基于元宇宙数据标记的ai模型生产方法及系统
CN115599621A (zh) 微服务异常诊断方法、装置、设备及存储介质
CN113435168A (zh) 胶图自动编辑方法、系统、终端及介质
CN116414587A (zh) 故障数据获取方法、故障处理方法、电子设备及存储介质
CN114064157B (zh) 基于页面元素识别的自动化流程实现方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination