CN109886541A - 自动驾驶车辆数据质量评估方法、装置及存储介质 - Google Patents

Abstract

本发明公开了自动驾驶车辆数据质量评估方法、装置及存储介质，其中方法包括：按照预先设定的数据组织格式，对自动驾驶车辆数据进行组织，得到数据记录；按照基于所述数据组织格式定义的数据质量分级标准，对每份数据记录进行分级。应用本发明所述方案，能够实现对于数据质量的有效评估等。

Description

自动驾驶车辆数据质量评估方法、装置及存储介质

【技术领域】

本发明涉及计算机应用技术，特别涉及自动驾驶车辆数据质量评估方法、装置及存储介质。

【背景技术】

数据是自动驾驶车辆研发的基础，每天都有大量数据通过落盘程序记录、并被传输、存储和使用。

自动驾驶车辆数据量规模庞大，不同质量的数据有不同的价值，价值不同，数据可用范围也不同。相应的，就需要对数据质量进行评估，但目前还没有一种有效的评估方式。

【发明内容】

有鉴于此，本发明提供了自动驾驶车辆数据质量评估方法、装置及存储介质。

具体技术方案如下：

一种自动驾驶车辆数据质量评估方法，包括：

按照预先设定的数据组织格式，对自动驾驶车辆数据进行组织，得到数据记录；

按照基于所述数据组织格式定义的数据质量分级标准，对每份数据记录进行分级。

根据本发明一优选实施例，所述数据组织格式包括：

分别用一个任务标识task_id对每份数据记录进行标识，每份数据记录分别对应一次数据采集任务；

每份数据记录中分别包括根目录和子目录；

所述根目录中包含全局meta文件，用于记录所述数据记录的全局信息；

所述子目录用于存储不同类型的数据文件。

根据本发明一优选实施例，所述task_id由车辆标识以及时间构成；

所述车辆标识为所述数据采集任务对应的自动驾驶车辆的车辆识别码；

所述时间为所述数据采集任务的任务开始时间。

根据本发明一优选实施例，所述全局信息包括：所述车辆识别码、所述任务开始时间、任务结束时间、数据采集任务类型。

根据本发明一优选实施例，所述不同类型的数据文件包括：消息记录文件、日志文件、核心转储文件、版本文件和参数文件。

根据本发明一优选实施例，所述对每份数据记录进行分级之前，进一步包括：

获取定义的至少两个级别；

获取针对每个级别，基于所述数据组织格式，分别定义的所述级别对应的数据质量分级标准。

根据本发明一优选实施例，所述对每份数据记录进行分级包括：

针对每份数据记录，分别根据不同级别的数据质量分级标准，通过决策树分类方法对所述数据记录进行分级。

根据本发明一优选实施例，该方法进一步包括：

根据分级结果确定出问题数据记录；

根据所述问题数据记录进行自动驾驶车辆的故障诊断。

一种自动驾驶车辆数据质量评估装置，包括：数据组织单元以及质量评估单元；

所述数据组织单元，用于按照预先设定的数据组织格式，对自动驾驶车辆数据进行组织，得到数据记录；

所述质量评估单元，用于按照基于所述数据组织格式定义的数据质量分级标准，对每份数据记录进行分级。

根据本发明一优选实施例，所述数据组织格式包括：

分别用一个任务标识task_id对每份数据记录进行标识，每份数据记录分别对应一次数据采集任务；

每份数据记录中分别包括根目录和子目录；

所述根目录中包含全局meta文件，用于记录所述数据记录的全局信息；

所述子目录用于存储不同类型的数据文件。

根据本发明一优选实施例，所述task_id由车辆标识以及时间构成；

所述车辆标识为所述数据采集任务对应的自动驾驶车辆的车辆识别码；

所述时间为所述数据采集任务的任务开始时间。

根据本发明一优选实施例，所述全局信息包括：所述车辆识别码、所述任务开始时间、任务结束时间、数据采集任务类型。

根据本发明一优选实施例，所述不同类型的数据文件包括：消息记录文件、日志文件、核心转储文件、版本文件和参数文件。

根据本发明一优选实施例，所述质量评估单元进一步用于，在对每份数据记录进行分级之前，获取定义的至少两个级别，并获取针对每个级别，基于所述数据组织格式，分别定义的所述级别对应的数据质量分级标准。

根据本发明一优选实施例，所述质量评估单元针对每份数据记录，分别根据不同级别的数据质量分级标准，通过决策树分类方法对所述数据记录进行分级。

根据本发明一优选实施例，所述装置中进一步包括：故障诊断单元；

所述故障诊断单元，用于根据分级结果确定出问题数据记录，根据所述问题数据记录进行自动驾驶车辆的故障诊断。

一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如以上所述的方法。

一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如以上所述的方法。

基于上述介绍可以看出，采用本发明所述方案，可按照预先设定的数据组织格式，对自动驾驶车辆数据进行组织，从而得到一份份的数据记录，并可按照基于该数据组织格式定义的数据质量分级标准，对每份数据记录进行分级，从而实现了对于数据质量的有效评估，进而有利于区分数据的价值，为数据管理提供了数据价值依据，并能够为用户更好的使用等。

【附图说明】

图1为本发明所述自动驾驶车辆数据质量评估方法实施例的流程图。

图2为本发明所述数据记录的示意图。

图3为本发明所述自动驾驶车辆数据质量评估装置实施例的组成结构示意图。

图4示出了适于用来实现本发明实施方式的示例性计算机系统/服务器12的框图。

【具体实施方式】

为了使本发明的技术方案更加清楚、明白，以下参照附图并举实施例，对本发明所述方案进行进一步说明。

显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

另外，应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

图1为本发明所述自动驾驶车辆数据质量评估方法实施例的流程图。如图1所示，包括以下具体实现方式。

在101中，按照预先设定的数据组织格式，对自动驾驶车辆数据进行组织，得到数据记录。

在102中，按照基于所述数据组织格式定义的数据质量分级标准，对每份数据记录进行分级。

自动驾驶车辆数据类型复杂，需要进行合理的组织。本实施例中提出，可按照预先设定的数据组织格式，对自动驾驶车辆数据进行组织，从而得到一份份的数据记录。

可分别用一个任务标识(task_id)来对每份数据记录进行标识，每份数据记录可分别对应一次数据采集任务。每份数据记录中可分别包括根目录和子目录。其中，根目录中可包含全局meta文件，用于记录数据记录的全局信息，子目录可用于存储不同类型的数据文件。

task_id可由车辆标识以及时间组成。车辆标识可为数据采集任务对应的自动驾驶车辆的车辆识别码(VIN，Vehicle Identification Number)，可通过控制器局域网络总线(CANBus，Controller Area Network Bus)从整车控制器(VCU，Vehicle Control Unit)中获取。时间可为数据采集任务的任务开始时间(任务启动时间)。

task_id的格式可为vehicleID_timestamp。其中，vehileID为车辆识别码，timestamp为任务开始时间，格式可为％Y％m％d％H％M％S，Y表示年，m表示月，d表示日，H表示小时，M表示分钟，S表示秒。比如，一个task_id为：LSVFA49J232037048_20171012152312。

根目录中包括一个全局meta文件，用于记录数据记录的全局信息，通常包括车辆识别码、任务开始时间、任务结束时间以及数据采集任务类型等，如果需要，还可进一步包括一些其它信息，如总数据量以及数据所属命令空间等。

子目录用于存储不同类型的数据文件，不同类型的数据文件可以包括：消息记录(message_record)文件、日志(log)文件、核心转储(coredump)文件、版本文件和参数文件等。

不同的文件可分别按照相应的命名规范进行命名。比如，全局meta文件的文件名可为meta.ini，消息记录文件的文件名可为message_file，日志文件的文件名可为log_file，核心转储文件的文件名可为core_file，版本文件的文件名可为version_file，参数文件的文件名可为prm_file。

基于上述介绍，图2为本发明所述数据记录的示意图。如图2所示，该数据记录的task_id为LSVFA49J232037048_20180906111525。

针对每个task_id对应的每份数据记录，可分别按照基于上述数据组织格式定义的数据质量分级标准，对该数据记录进行分级。

可预先定义至少两个级别，并可针对每个级别，基于上述数据组织格式，分别定义该级别对应的数据质量分级标准。这样，针对每份数据记录，可分别根据不同级别的数据质量分级标准，通过预定方法如决策树分类方法对该数据记录进行分级。

优选地，可定义8个级别，分别为A1级、A2级、B1级、B2级、C级、D级、E级和F级。不同级别对应的数据质量分级标准可分别如下所示。

1)A1级

目录、文件命名规范，结构完整，数据完全无丢失，数据在时间上基本对齐，数据能被正常传输、入库、解算以及平台展示，有效数据比例很高。

详细指标可包括：

1、目录、文件命名规范，目录结构、文件组织符合规范；

2、日志文件、消息记录文件、参数文件、版本文件、meta文件等均被记录；

3、日志文件和消息记录文件时间基本对齐；

时间基本对齐可以是指日志文件和消息记录文件的开始时间和结束时间基本与meta文件中记录的任务开始时间以及任务结束时间对齐等；基本对齐是指偏差在预定范围之内；

4、数据可被正常处理，如传输、入库、解算流程正常；

5、数据不存在丢帧问题，且帧率符合预期；

6、闭环数据时长(车辆处于自动驾驶状态的累计时间长度)占总体数据时长(任务中数据总体时长：end_time-start_time)比例大于50％，且连续停车时长超过10分钟以上比例占总体数据比例小于10％。

2)A2级

目录、文件命名规范，结构完整，数据完全无丢失，数据在时间上基本对齐，数据能被正常传输、入库、解算以及平台展示，有效数据比例较高。

详细指标可包括：

1、目录、文件命名规范，目录结构、文件组织符合规范；

2、日志文件、消息记录文件、参数文件、版本文件、meta文件等均被记录；

3、日志文件和消息记录文件时间基本对齐；

4、数据可被正常处理；

5、数据不存在丢帧问题，且帧率符合预期；

6、闭环数据时长占总体数据时长比例小于％10，且连续停车时长超过10分钟以上比例占总体数据比例大于10％。

3)B1级

目录、文件命名规范，结构完整，数据完全无丢失，数据在时间上基本对齐，数据能被正常传输、入库、解算以及平台展示，有效数据比例一般。

详细指标可包括:

1、目录、文件命名规范，目录结构、文件组织符合规范；

2、日志文件、消息记录文件、参数文件、版本文件、meta文件等均被记录；

3、日志文件和消息记录文件时间基本对齐；

4、数据可被正常处理；

5、消息记录文件不丢topic，不丢帧，即客观记录车上实际情况；

6、闭环数据时长占总体数据时长比例大于50％，且连续停车时长超过10分钟以上比例占总体数据比例小于10％。

4)B2级

目录、文件命名规范，结构完整，数据完全无丢失，数据在时间上基本对齐，数据能被正常传输、入库、解算以及平台展示，有效数据比例不高。

详细指标可包括：

1、目录、文件命名规范，目录结构、文件组织符合规范；

2、日志文件、消息记录文件、参数文件、版本文件、meta文件等均被记录；

3、日志文件和消息记录文件时间基本对齐；

4、数据可被正常处理；

5、消息记录文件不丢topic，不丢帧；

6、闭环数据时长占总体数据时长比例小于50％，且连续停车时长超过10分钟以上比例占总体数据比例大于10％。

5)C级

目录、文件命名规范，结构完整，数据完全无丢失，数据能被正常传输、入库、解算以及平台展示，但是数据在时间上存在不对齐的情况。

详细指标可包括:

1、目录、文件命名规范，目录结构、文件组织符合规范；

2、日志文件、消息记录文件、参数文件、版本文件、meta文件等均被记录；

3、日志文件或消息记录文件时间不对齐；

4、消息记录文件不丢topic，不丢帧；

5、数据可被正常处理。

6)D级

目录、文件命名规范，结构完整，数据能被正常传输、入库、解算以及平台展示，但是存在数据丢失。

详细指标可包括：

1、目录、文件命名规范，目录结构、文件组织符合规范；

2、日志文件、参数文件、版本文件或meta文件中有缺失，或者，消息记录文件有丢topic或有丢帧；

3、数据可被正常处理。

7)E级

目录、文件命名规范，结构完整，但是数据在传输、入库、解算以及平台展示中的一个或多个环节异常。

详细指标可包括：

1、目录、文件命名规范，目录结构、文件组织符合规范；

2、数据不能被正常处理。

8)F级

目录、文件命名不规范或者结构不完整，数据在传输、入库、解算以及平台展示中的一个或多个环节异常。

详细指标可包括：

1、目录、文件命名不规范，或者，目录结构、文件组织不符合规范；

2、数据不能被正常处理。

优选地，针对每份数据记录，可分别根据不同级别对应的上述数据质量分级标准，通过决策树分类方法对该数据记录进行分级。上述数据质量分级标准仅为举例说明，并不用于限制本发明的技术方案。

通过上述方式，实现了对于数据质量的有效评估，有利于区分数据的价值，为数据管理提供了数据价值依据，并能够为用户更好的使用等。

另外，可利用分级结果区分出数据记录的质量，对于优质数据记录，如A1级的数据记录，可利用这些数据进行真实场景的在线仿真，感知、决策等模型的训练和验证，或作为自动驾驶研究相关的公开数据集等。

对于问题数据记录，如D级、E级和F级的数据记录，可根据这些数据进行自动驾驶车辆的故障诊断等。

比如，可对问题数据记录进行自动化分析，并基于先验知识库，进行知识推理或关系映射等，从而实现自动驾驶车辆的故障诊断，即故障自动化诊断，推断出车端可能出现的故障，并可根据先验知识给出解决建议方案等。

在实际使用数据的过程中，会出现数据不符合要求的情况，原因可能是车端传感器设备故障、驱动异常、软件模块异常、消息格式错误、落盘丢消息等等，使用时发现数据有问题，再反馈给相关团队进行定位，在时间上做不到及时，车端的问题不能被及时发现并解决，更糟糕的是，该问题会导致很长一段时间积累的数据都是不可用的，而自动驾驶车辆数据采集的成本是很高的，花费大量人力、财力收集的数据，如果在使用时才发现因为质量问题不可用，那么损失会很严重。而采用上述处理方式后，可及时发现问题并解决，从而避免了人力、财力的浪费，并提升了数据质量等。

需要说明的是，对于前述的方法实施例，为了简单描述，将其表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

以上是关于方法实施例的介绍，以下通过装置实施例，对本发明所述方案进行进一步说明。

图3为本发明所述自动驾驶车辆数据质量评估装置实施例的组成结构示意图。如图3所示，包括：数据组织单元301以及质量评估单元302。

数据组织单元301，用于按照预先设定的数据组织格式，对自动驾驶车辆数据进行组织，得到数据记录。

质量评估单元302，用于按照基于上述数据组织格式定义的数据质量分级标准，对每份数据记录进行分级。

可分别用一个task_id来对每份数据记录进行标识，每份数据记录可分别对应一次数据采集任务。每份数据记录中可分别包括根目录和子目录。其中，根目录中可包含全局meta文件，用于记录数据记录的全局信息，子目录可用于存储不同类型的数据文件。

task_id可由车辆标识以及时间组成。车辆标识可为数据采集任务对应的自动驾驶车辆的车辆识别码，可通过CANBus从VCU中获取。时间可为数据采集任务的任务开始时间(任务启动时间)。

task_id的格式可为vehicleID_timestamp。其中，vehileID为车辆识别码，timestamp为任务开始时间，格式可为％Y％m％d％H％M％S，Y表示年，m表示月，d表示日，H表示小时，M表示分钟，S表示秒。比如，一个task_id为：LSVFA49J232037048_20171012152312。

根目录中包括一个全局meta文件，用于记录数据记录的全局信息，通常包括车辆识别码、任务开始时间、任务结束时间以及数据采集任务类型等，如果需要，还可进一步包括一些其它信息，如总数据量以及数据所属命令空间等。

子目录用于存储不同类型的数据文件，不同类型的数据文件可包括：消息记录文件、日志文件、核心转储文件、版本文件和参数文件等。不同的文件可分别按照相应的命名规范进行命名。

针对每个task_id对应的每份数据记录，可分别按照基于上述数据组织格式定义的数据质量分级标准，对该数据记录进行分级。

质量评估单元302在对每份数据记录进行分级之前，还可先获取定义的至少两个级别，并可获取针对每个级别，基于上述数据组织格式，分别定义的该级别对应的数据质量分级标准。这样，针对每份数据记录，质量评估单元302可分别根据不同级别的数据质量分级标准，通过预定方法如决策树分类方法对该数据记录进行分级。

优选地，可定义8个级别，分别为A1级、A2级、B1级、B2级、C级、D级、E级和F级。不同级别对应的数据质量分级标准可参照方法实施例中所述。

通过上述方式，实现了对于数据质量的有效评估，有利于区分数据的价值，为数据管理提供了数据价值依据，并能够为用户更好的使用等。

另外，图3所示装置中还可进一步包括：故障诊断单元303，用于根据分级结果确定出问题数据记录，根据问题数据记录进行自动驾驶车辆的故障诊断等。

可利用分级结果区分出数据记录的质量，对于优质数据记录，如A1级的数据记录，可利用这些数据进行真实场景的在线仿真，感知、决策等模型的训练和验证，或作为自动驾驶研究相关的公开数据集等。

对于问题数据记录，如D级、E级和F级的数据记录，可根据这些数据对对应的自动驾驶车辆进行故障诊断等。

比如，可对问题数据记录进行自动化分析，并基于先验知识库，进行知识推理或关系映射等，从而实现自动驾驶车辆的故障诊断，即故障自动化诊断，推断出车端可能出现的故障，并可根据先验知识给出解决建议方案等。

通过上述处理，可及时发现问题并解决，从而避免了人力、财力的浪费，并提升了数据质量等。

图3所示装置实施例的具体工作流程请参照前述方法实施例中的相关说明，不再赘述。

图4示出了适于用来实现本发明实施方式的示例性计算机系统/服务器12的框图。图4显示的计算机系统/服务器12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图4所示，计算机系统/服务器12以通用计算设备的形式表现。计算机系统/服务器12的组件可以包括但不限于：一个或者多个处理器(处理单元)16，存储器28，连接不同系统组件(包括存储器28和处理器16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机系统/服务器12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机系统/服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

计算机系统/服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机系统/服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图4所示，网络适配器20通过总线18与计算机系统/服务器12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机系统/服务器12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理器16通过运行存储在存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现图1所示实施例中的方法。

本发明同时公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时将实现如图1所示实施例中的方法。

可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法等，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (18)

1.一种自动驾驶车辆数据质量评估方法，其特征在于，包括：

按照预先设定的数据组织格式，对自动驾驶车辆数据进行组织，得到数据记录；

按照基于所述数据组织格式定义的数据质量分级标准，对每份数据记录进行分级。

2.根据权利要求1所述的方法，其特征在于，

所述数据组织格式包括：

分别用一个任务标识task_id对每份数据记录进行标识，每份数据记录分别对应一次数据采集任务；

每份数据记录中分别包括根目录和子目录；

所述根目录中包含全局meta文件，用于记录所述数据记录的全局信息；

所述子目录用于存储不同类型的数据文件。

3.根据权利要求2所述的方法，其特征在于，

所述task_id由车辆标识以及时间构成；

所述车辆标识为所述数据采集任务对应的自动驾驶车辆的车辆识别码；

所述时间为所述数据采集任务的任务开始时间。

4.根据权利要求3所述的方法，其特征在于，

所述全局信息包括：所述车辆识别码、所述任务开始时间、任务结束时间、数据采集任务类型。

5.根据权利要求2所述的方法，其特征在于，

所述不同类型的数据文件包括：消息记录文件、日志文件、核心转储文件、版本文件和参数文件。

6.根据权利要求1所述的方法，其特征在于，

所述对每份数据记录进行分级之前，进一步包括：

获取定义的至少两个级别；

获取针对每个级别，基于所述数据组织格式，分别定义的所述级别对应的数据质量分级标准。

7.根据权利要求6所述的方法，其特征在于，

所述对每份数据记录进行分级包括：

针对每份数据记录，分别根据不同级别的数据质量分级标准，通过决策树分类方法对所述数据记录进行分级。

8.根据权利要求1所述的方法，其特征在于，

该方法进一步包括：

根据分级结果确定出问题数据记录；

根据所述问题数据记录进行自动驾驶车辆的故障诊断。

9.一种自动驾驶车辆数据质量评估装置，其特征在于，包括：数据组织单元以及质量评估单元；

所述数据组织单元，用于按照预先设定的数据组织格式，对自动驾驶车辆数据进行组织，得到数据记录；

所述质量评估单元，用于按照基于所述数据组织格式定义的数据质量分级标准，对每份数据记录进行分级。

10.根据权利要求9所述的装置，其特征在于，

所述数据组织格式包括：

分别用一个任务标识task_id对每份数据记录进行标识，每份数据记录分别对应一次数据采集任务；

每份数据记录中分别包括根目录和子目录；

所述根目录中包含全局meta文件，用于记录所述数据记录的全局信息；

所述子目录用于存储不同类型的数据文件。

11.根据权利要求10所述的装置，其特征在于，

所述task_id由车辆标识以及时间构成；

所述车辆标识为所述数据采集任务对应的自动驾驶车辆的车辆识别码；

所述时间为所述数据采集任务的任务开始时间。

12.根据权利要求11所述的装置，其特征在于，

所述全局信息包括：所述车辆识别码、所述任务开始时间、任务结束时间、数据采集任务类型。

13.根据权利要求10所述的装置，其特征在于，

所述不同类型的数据文件包括：消息记录文件、日志文件、核心转储文件、版本文件和参数文件。

14.根据权利要求9所述的装置，其特征在于，

所述质量评估单元进一步用于，在对每份数据记录进行分级之前，获取定义的至少两个级别，并获取针对每个级别，基于所述数据组织格式，分别定义的所述级别对应的数据质量分级标准。

15.根据权利要求14所述的装置，其特征在于，

所述质量评估单元针对每份数据记录，分别根据不同级别的数据质量分级标准，通过决策树分类方法对所述数据记录进行分级。

16.根据权利要求9所述的装置，其特征在于，

所述装置中进一步包括：故障诊断单元；

所述故障诊断单元，用于根据分级结果确定出问题数据记录，根据所述问题数据记录进行自动驾驶车辆的故障诊断。

17.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～8中任一项所述的方法。

18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～8中任一项所述的方法。