CN115422178A - 一种车上数据清理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种车上数据清理方法、装置、电子设备及存储介质，用于解决现有的车上数据清理方法质量差的技术问题。本发明包括：读取车辆状态日志文件；采用所述自动驾驶状态过滤规则表和所述车辆状态日志文件生成过滤表；获取bag文件；采用所述过滤表过滤所述bag文件，得到目标bag文件，并删除所述bag文件。

Description

一种车上数据清理方法、装置、电子设备及存储介质

技术领域

本发明涉及数据清理技术领域，尤其涉及一种车上数据清理方法、装置、电子设备及存储介质。

背景技术

当前，自动驾驶和数据闭环结合在一起成为一大解决方案，原因是自动驾驶工程已经被认可是一个解决数据分布“长尾问题”的任务，时而出现的corner case(极端情况)是对数据驱动的算法模型进行升级的来源之一。

构成这个自动驾驶数据闭环的核心技术和模块都有哪些呢？首先是这个自动驾驶的算法和模块是数据驱动的，其次源源不断的数据需要有合理有效的方法去利用。

在数据侧，围绕海量和高质量两个要素进行样本收集。理想的数据收集包含实车数据和仿真数据，实车数据量＝实车数量*采集时间。

而自动驾驶的实车数据一般都是保存在bag文件中，其中收集了各个模块的topic数据，比如激光雷达和摄像头采集的数据帧，点云采集的数据帧，车辆底盘的状态等等。而bag文件的数据量是很大的，根据实测经验，bag文件一般都是每分钟几个GB，以每分钟2GB的数据量为例，以无人配送为例，每辆车每天大概运行10小时(包括泊车、上货、卸货时间)，大概的数据量就在1.2TB左右。

在现有技术中，一般都是先将全部数据保存下来，然后再裁剪某个时段数据，或者某些topic数据，从而减少数据量，但这种方式相对机械化，而且筛选出来的数据质量并不高，除了可能存在大量不关注的数据，还可能丢失重要数据，因此，需要人为干预，以提高数据清理后的质量。

发明内容

本发明提供了一种车上数据清理方法、装置、电子设备及存储介质，用于解决现有的车上数据清理方法质量差的技术问题。

本发明提供了一种车上数据清理方法，应用于自动驾驶系统；所述自动驾驶系统存储有自动驾驶状态过滤规则表；所述方法包括：

读取车辆状态日志文件；

采用所述自动驾驶状态过滤规则表和所述车辆状态日志文件生成过滤表；

获取bag文件；

采用所述过滤表过滤所述bag文件，得到目标bag文件，并删除所述bag文件。

可选地，所述采用所述自动驾驶状态过滤规则和所述车辆状态日志文件生成过滤表的步骤，包括：

从所述车辆状态日志文件中读取未处理的车辆状态日志；

在所述自动驾驶状态过滤规则表中匹配所述未处理的车辆状态日志对应的目标自动驾驶状态过滤规则；

若匹配成功，采用所述目标自动驾驶状态过滤规则和所述未处理的车辆状态日志生成过滤表记录；

判断所述车辆状态日志文件中是否存在未处理的车辆状态日志；

若是，返回从所述车辆状态日志文件中读取未处理的车辆状态日志的步骤；

若否，采用所有所述过滤表记录生成过滤表。

可选地，所述自动驾驶状态过滤规则表中记录有多条自动驾驶状态过滤规则；所述在所述自动驾驶状态过滤规则表中匹配所述未处理的车辆状态日志对应的目标自动驾驶状态过滤规则的步骤，包括：

从所述未处理的车辆状态日志中获取状态变化前的第一初始状态和状态变化后的第一目标状态；

从所述自动驾驶状态过滤规则中获取第二初始状态和第二目标状态；

将第二初始状态与所述第一初始状态相同、且第二目标状态与所述第二目标状态相同的自动驾驶状态过滤规则确定为所述未处理的车辆状态日志对应的目标自动驾驶状态过滤规则。

可选地，还包括：

若在所述自动驾驶状态过滤规则表中匹配不到所述未处理的车辆状态日志对应的目标自动驾驶状态过滤规则，则将所述未处理的车辆状态日志确定为已处理的车辆状态日志，并返回从所述车辆状态日志文件中读取未处理的车辆状态日志的步骤。

可选地，所述采用所述目标自动驾驶状态过滤规则和所述未处理的车辆状态日志生成过滤表记录的步骤，包括：

从所述未处理的车辆状态日志中获取切换时间；

从所述目标自动驾驶状态过滤规则中获取采集开始时间、采集结束时间和采集列表；

采用所述切换时间和所述采集开始时间计算开始时间；

采用所述切换时间和所述采集结束时间计算结束时间；

采用所述开始时间、所述结束时间和所述采集列表生成过滤表记录。

本发明还提供了一种车上数据清理装置，应用于自动驾驶系统；所述自动驾驶系统存储有自动驾驶状态过滤规则表；所述装置包括：

车辆状态日志文件读取模块，用于读取车辆状态日志文件；

过滤表生成模块，用于采用所述自动驾驶状态过滤规则表和所述车辆状态日志文件生成过滤表；

bag文件获取模块，用于获取bag文件；

过滤模块，用于采用所述过滤表过滤所述bag文件，得到目标bag文件，并删除所述bag文件。

可选地，所述过滤表生成模块，包括：

未处理的车辆状态日志读取子模块，用于从所述车辆状态日志文件中读取未处理的车辆状态日志；

匹配子模块，用于在所述自动驾驶状态过滤规则表中匹配所述未处理的车辆状态日志对应的目标自动驾驶状态过滤规则；

过滤表记录生成子模块，用于若匹配成功，采用所述目标自动驾驶状态过滤规则和所述未处理的车辆状态日志生成过滤表记录；

判断子模块，用于判断所述车辆状态日志文件中是否存在未处理的车辆状态日志；

第一返回子模块，用于若是，返回从所述车辆状态日志文件中读取未处理的车辆状态日志的步骤；

过滤表生成子模块，用于若否，采用所有所述过滤表记录生成过滤表。

可选地，所述自动驾驶状态过滤规则表中记录有多条自动驾驶状态过滤规则；所述匹配子模块，包括：

第一初始状态和第一目标状态获取单元，用于从所述未处理的车辆状态日志中获取状态变化前的第一初始状态和状态变化后的第一目标状态；

第二初始状态和第二目标状态获取单元，用于从所述自动驾驶状态过滤规则中获取第二初始状态和第二目标状态；

目标自动驾驶状态过滤规则确定单元，用于将第二初始状态与所述第一初始状态相同、且第二目标状态与所述第二目标状态相同的自动驾驶状态过滤规则确定为所述未处理的车辆状态日志对应的目标自动驾驶状态过滤规则。

本发明还提供了一种电子设备，所述设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行如上任一项所述的车上数据清理方法。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行如上任一项所述的车上数据清理方法。

从以上技术方案可以看出，本发明具有以下优点：本发明公开了一种车上数据清理方法，包括：读取车辆状态日志文件；采用自动驾驶状态过滤规则表和车辆状态日志文件生成过滤表；获取bag文件；采用过滤表过滤bag文件，得到目标bag文件，并删除bag文件。

本发明通过车辆状态日志文件和设置的自动驾驶状态过滤规则表来生成过滤表，从而根据过滤表来过滤bag文件，从而实现对bag文件的精细化过滤，且减少人工干预，降低了人力成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为现有的一种厂商数据闭环的流程图；

图2为现有的另一种厂商数据闭环的流程图；

图3为本发明实施例提供的一种车上数据清理方法的步骤流程图；

图4为一种无人车运行过程中的状态变换图；

图5为本发明另一实施例提供的一种车上数据清理方法的步骤流程图；

图6为本发明实施例提供的一种车上数据清理装置的结构框图。

具体实施方式

目前，自动驾驶和数据闭环结合在一起成为一大解决方案。构成这个自动驾驶数据闭环，首先需要数据驱动的自动驾驶算法和模块，其次需要合理有效的方法去利用源源不断的数据。

以厂商数据闭环为例：

如图1所示，图1为一种厂商数据闭环的流程图，厂商在获取数据来源后，通过单元测试确认模型误差，通过数据增强扩增技术获得大量有效数据并进行数据标注，再经过多轮数据清洗，完成模型训练，最终完成部署。

如图2所示，图2为另一种厂商数据闭环的流程图，厂商从实车获取数据来源后，以此完成智能数据筛选、数据标注、模型搜索、训练、评估、调试和部署。

然而，上述方式都需要先把实车采集的全部数据保存下来，然后再裁减某个时段的数据，或者某些topic数据，从而减少数据量，但是这种方式相对机械化，而且筛选出来的数据质量并不好，要么存在大量不关注的数据，要么就是丢失了重要数据。

有鉴于此，本发明实施例提供了一种车上数据清理方法、装置、电子设备及存储介质，用于解决现有的车上数据清理方法质量差的技术问题。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图3，图3为本发明实施例提供的一种车上数据清理方法的步骤流程图。

本发明提供的一种车上数据清理方法，应用于自动驾驶系统；自动驾驶系统存储有自动驾驶状态过滤规则表；具体可以包括以下步骤：

步骤301，读取车辆状态日志文件；

车辆状态日志文件，是指记录有不同时刻车辆状态的日志文件，根据不同的驾驶需求，可以设置不同的车辆状态，车辆在行驶过程中，自动驾驶系统会自动采集车辆状态形成车辆状态日志。

为便于理解，以下通过具体示例对车辆状态进行说明：

请参阅图4，图4为一种无人车运行过程中的状态变换图。如图4所示，无人车在运行过程中经历了不同的车辆状态，包括：

LOCATE_VEHICLE：无人车的初始状态，及在无人车出发之前确定其在地图中的位置。

FORWARD_DRIVE：该状态包含了执行、车道保持和障碍物规避，当无人车不在停车场(即无道路开放区域)时，无人车状态机首选该状态。

STOP_SIGN_WAIT：当无人车在停车标志处等待时，进入此状态。

CROSS_INTERSECTION：在这个状态下无人车处理十字路口通过这一场景，无人车会等待直到确认能够安全通过。

UTURN_DRIVE：在U型掉头时调用该状态。

UTURN_STOP:在U型掉头前的停车状态。

CROSS_DIVIDER:跨过黄线行驶的状态。

PARKING_NAVIGATE：停车场内的普通驾驶模式。

TRAFFIC_JAM和ESCAPE：处理交通阻塞时的两个状态。

BAD_RNDF:如果当前道路和预先做的路网图不同的时候，即进入该状态，在这个状态下，无人车会采用混合A*算法完成车辆的路径规划。

MISSION_COMPLETE:当挑战赛(DARPA)结束，无人车进入该状态，即整个状态机的结束状态。

在一个示例中，车辆状态日志文件的格式可以下表1所示：

表1

即无人车在每次发生状态切换时，可以记录一条日志，每条日志包括：车辆状态发生切换的时间戳(timestamps)，格式可以为YYYY-MM-DD HH:MM:SS，车辆状态切换的原状态(from state)，以及车辆状态切换的新状态(to state)。以表2中的数据为例，车辆在2022-01-01 10:23:14时，由LOCATE_VEHICLE状态切换到了FORWARD_DRIVE状态，然后在FORWARD_DRIVE状态保持到2022-01-01 10:32:14，然后在该时间点，又切换到CROSS_DIVIDER状态，然后在2022-01-01 10:32:24又切换回FORWARD_DRIVE状态。

步骤302，采用自动驾驶状态过滤规则表和车辆状态日志文件生成过滤表；

在本发明实施例中，自动驾驶状态过滤规则可以由技术人员根据实际需要进行设定。在一个示例中，自动驾驶状态过滤规则可以入下表2所示：

表2

其中，每条自动驾驶状态过滤规则包含5个字段，分别是：车辆状态切换的原状态(from state)，车辆状态切换的新状态(to state)，采集开始时间(sample begin)，采集结束时间(sample end)，关注的topic列表。如表2所示，各自动驾驶状态过滤规则解释如下：

第一条自动驾驶状态过滤规则：采集LOCATE_VEHICLE状态切换到FORWARD_DRIVE状态的前后5s(一共10s)的/camera_image数据。

第二条自动驾驶状态过滤规则：采集从任何状态(ANY_STATE)切换到CROSS_DIVIDER状态的前后10s(一共20s)的/camera_image，/ivhdmap，/path数据。

在本发明实施例中，在获取到车辆状态日志文件后，可以结合预设的自动驾驶状态过滤规则表来生成过滤表。

步骤303，获取bag文件；

步骤304，采用过滤表过滤bag文件，得到目标bag文件，并删除bag文件。

bag文件：bag文件是ROS(Robot Operating System，机器人操作系统)常用的数据存储格式，用于存储在ROS系统中录取系统中其他ROS节点发出来的topic的message数据。

topic是传递信息的名称；无论node(节点)是发布者还是订阅者，彼此之间相互并不了解，其在各取所需的时候，寻找的都是topic名称，多个node可以往同一个topic话题上发布信息。同样的，多个node也可以订阅同一个topic。

message是节点之间传递的信息的数据格式。ROS支持标准数据类型，同样也支持数据类型的嵌套以及自定义消息类型。ROS本身也定义了一整套用于表征机器人的数据格式，包括速度、位姿、轨迹、点云等等。

在生成过滤表后，可以通过bag file过滤器依次读取每个bag文件，并通过过滤表对bag文件进行过滤，得到目标bag文件，并清理原始的bag文件。

本发明通过车辆状态日志文件和设置的自动驾驶状态过滤规则表来生成过滤表，从而根据过滤表来过滤bag文件，从而实现对bag文件的精细化过滤，且减少人工干预，降低了人力成本。

请参阅图5，图5为本发明另一实施例提供的一种车上数据清理方法的步骤流程图。具体可以包括以下步骤：

步骤501，读取车辆状态日志文件；

步骤501与步骤301相同，具体可以参考步骤301的描述，此处不再赘述。

步骤502，从车辆状态日志文件中读取未处理的车辆状态日志；

步骤503，在自动驾驶状态过滤规则表中匹配未处理的车辆状态日志对应的目标自动驾驶状态过滤规则；

在本发明实施例中，可以依次获取车辆状态日志文件中的未处理的车辆状态日志，然后在自动驾驶状态过滤规则表中匹配该未处理的车辆状态日志对应的目标自动驾驶状态过滤规则。

在一个示例中，自动驾驶状态过滤规则表中记录有多条自动驾驶状态过滤规则；步骤503可以包括以下子步骤：

S31，从未处理的车辆状态日志中获取状态变化前的第一初始状态和状态变化后的第一目标状态；

S32，从自动驾驶状态过滤规则中获取第二初始状态和第二目标状态；

S33，将第二初始状态与第一初始状态相同、且第二目标状态与第二目标状态相同的自动驾驶状态过滤规则确定为未处理的车辆状态日志对应的目标自动驾驶状态过滤规则。

在本发明实施例中，可以从未处理的车辆状态日志中获取状态变化前的第一初始状态(即车辆状态日志中记载的车辆状态切换前的原状态from state)和变化后的第一目标状态(即车辆状态日志中记载的车辆状态切换后的新状态to state)。然后将未处理的车辆状态日志的第一初始状态和第一目标状态依次与自动驾驶状态过滤规则表中的各个自动驾驶状态过滤规则中的第二初始状态(即车辆状态切换的原状态from state)和第二目标状态(车辆状态切换的新状态to state)进行匹配，当匹配到第二初始状态与第一初始状态相同，且第二目标状态与第一目标状态相同的自动驾驶状态过滤规则时，将该自动驾驶状态过滤规则作为该未处理的车辆状态日志对应的目标自动驾驶状态过滤规则。

步骤504，若匹配成功，采用目标自动驾驶状态过滤规则和未处理的车辆状态日志生成过滤表记录；

在本发明实施例中，当匹配到对应的目标自动驾驶状态过滤规则后，可以采用目标自动驾驶状态过滤规则和未处理的车辆状态日志生成过滤表记录。

在一个示例中，步骤504可以包括以下子步骤：

S41，从未处理的车辆状态日志中获取切换时间；

S42，从目标自动驾驶状态过滤规则中获取采集开始时间、采集结束时间和采集列表；

S43，采用切换时间和采集开始时间计算开始时间；

S44，采用切换时间和采集结束时间计算结束时间；

S45，采用开始时间、结束时间和采集列表生成过滤表记录。

在本发明实施例中，未处理的车辆状态日志中记录有切换时间(即车辆状态发生切换的时间戳timestamps)，从自动驾驶状态过滤规则中获取采集开始时间(samplebegin)和采集结束时间(sample end)后，可以以切换时间为基础，结合采集开始时间来推算过滤表记录的开始时间，以及以切换时间为基础，结合采集结束时间来推算过滤表记录的结束时间。最后结合开始时间、结束时间和目标自动驾驶状态过滤规则中的采集列表(目标自动驾驶状态过滤规则中的topic列表)来构成完整的过滤表记录。

进一步地，在本发明实施例中，若在自动驾驶状态过滤规则表中匹配不到未处理的车辆状态日志对应的目标自动驾驶状态过滤规则，则将未处理的车辆状态日志确定为已处理的车辆状态日志，并返回从车辆状态日志文件中读取未处理的车辆状态日志的步骤。

步骤505，判断车辆状态日志文件中是否存在未处理的车辆状态日志；

步骤506，若是，返回从车辆状态日志文件中读取未处理的车辆状态日志的步骤；

步骤507，若否，采用所有过滤表记录生成过滤表；

当生成一个新的过滤表记录后，可以判断车辆状态日志文件中是否还存在未处理的车辆状态日志，若存在，则返回步骤502，重新读取一个未处理的车辆状态日志，生成新的过滤表记录。若车辆状态日志文件中的所有车辆状态日志均已完成处理，则采用所有的过滤表记录生成过滤表。

在一个示例中，结合表1和表2生成的过滤表如下表3所示：

表3

其中，过滤表的每一行代表一个过滤表记录，每个过滤表记录包括三个字段：开始时间(begin timestamps)、结束时间(end timestamps)和采集列表(topic list)。如表3所示，每一个过滤表记录表征的含义如下：

第一条过滤表记录：将2022-01-01 10:23:09到2022-01-01 10:23:19之间的/camera_image数据过滤过来。

第二条过滤表记录：将2022-01-01 10:32:04到2022-01-01 10:32:24之间的/camera_image，/ivhdmap，/path数据过滤出来。

为便于理解，以下通过具体示例对本发明实施例进行说明：

首先从表1的车辆状态日志文件中读取第一条车辆状态日志，即车辆在2022-01-01 10:23:14时，由LOCATE_VEHICLE状态切换到了FORWARD_DRIVE状态；然后查找表2的自动驾驶状态过滤规则表，找到匹配的自动驾驶状态过滤规则，即：采集LOCATE_VEHICLE状态切换到FORWARD_DRIVE状态的前后5s(一共10s)的/camera_image数据；匹配的条件是两个表记录的from state匹配且to state匹配(值得注意的是，ANY_STATE是一个虚拟状态，可以和任何车辆匹配)。于是可以生成一条过滤表记录，即：将2022-01-01 10:23:09到2022-01-01 10:23:19之间的/camera_image数据过滤出来；而begin timestamps和end timestamps则是由车辆状态日志记录的时间戳，加上自动驾驶状态过滤规则里的sample begin和sample end得来的。

步骤508，获取bag文件；

步骤509，采用过滤表过滤bag文件，得到目标bag文件，并删除bag文件。

在生成过滤表后，可以通过bag file过滤器依次读取每个bag文件，并通过过滤表对bag文件进行过滤，得到目标bag文件，并清理原始的bag文件。

本发明通过车辆状态日志文件和设置的自动驾驶状态过滤规则表来生成过滤表，从而根据过滤表来过滤bag文件，从而实现对bag文件的精细化过滤，且减少人工干预，降低了人力成本。

请参阅图6，图6为本发明实施例提供的一种车上数据清理装置的结构框图。

本发明实施例提供了一种车上数据清理装置，应用于自动驾驶系统；自动驾驶系统存储有自动驾驶状态过滤规则表；装置包括：

车辆状态日志文件读取模块601，用于读取车辆状态日志文件；

过滤表生成模块602，用于采用自动驾驶状态过滤规则表和车辆状态日志文件生成过滤表；

bag文件获取模块603，用于获取bag文件；

过滤模块604，用于采用过滤表过滤bag文件，得到目标bag文件，并删除bag文件。

在本发明实施例中，过滤表生成模块602，包括：

未处理的车辆状态日志读取子模块，用于从车辆状态日志文件中读取未处理的车辆状态日志；

匹配子模块，用于在自动驾驶状态过滤规则表中匹配未处理的车辆状态日志对应的目标自动驾驶状态过滤规则；

过滤表记录生成子模块，用于若匹配成功，采用目标自动驾驶状态过滤规则和未处理的车辆状态日志生成过滤表记录；

判断子模块，用于判断车辆状态日志文件中是否存在未处理的车辆状态日志；

第一返回子模块，用于若是，返回从车辆状态日志文件中读取未处理的车辆状态日志的步骤；

过滤表生成子模块，用于若否，采用所有过滤表记录生成过滤表。

在本发明实施例中，自动驾驶状态过滤规则表中记录有多条自动驾驶状态过滤规则；匹配子模块，包括：

第一初始状态和第一目标状态获取单元，用于从未处理的车辆状态日志中获取状态变化前的第一初始状态和状态变化后的第一目标状态；

第二初始状态和第二目标状态获取单元，用于从自动驾驶状态过滤规则中获取第二初始状态和第二目标状态；

目标自动驾驶状态过滤规则确定单元，用于将第二初始状态与第一初始状态相同、且第二目标状态与第二目标状态相同的自动驾驶状态过滤规则确定为未处理的车辆状态日志对应的目标自动驾驶状态过滤规则。

在本发明实施例中，过滤表生成模块602还包括：

若在自动驾驶状态过滤规则表中匹配不到未处理的车辆状态日志对应的目标自动驾驶状态过滤规则，则将未处理的车辆状态日志确定为已处理的车辆状态日志，并返回从车辆状态日志文件中读取未处理的车辆状态日志的步骤。

在本发明实施例中，过滤表记录生成子模块，包括：

切换时间获取单元，用于从未处理的车辆状态日志中获取切换时间；

采集开始时间、采集结束时间和采集列表获取单元，用于从目标自动驾驶状态过滤规则中获取采集开始时间、采集结束时间和采集列表；

开始时间计算单元，用于采用切换时间和采集开始时间计算开始时间；

结束时间计算单元，用于采用切换时间和采集结束时间计算结束时间；

过滤表记录生成单元，用于采用开始时间、结束时间和采集列表生成过滤表记录。

本发明实施例还提供了一种电子设备，设备包括处理器以及存储器：

存储器用于存储程序代码，并将程序代码传输给处理器；

处理器用于根据程序代码中的指令执行本发明实施例的车上数据清理方法。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行本发明实施例的车上数据清理方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种车上数据清理方法，其特征在于，应用于自动驾驶系统；所述自动驾驶系统存储有自动驾驶状态过滤规则表；所述方法包括：

读取车辆状态日志文件；

采用所述自动驾驶状态过滤规则表和所述车辆状态日志文件生成过滤表；

获取bag文件；

采用所述过滤表过滤所述bag文件，得到目标bag文件，并删除所述bag文件。

2.根据权利要求1所述的方法，其特征在于，所述采用所述自动驾驶状态过滤规则和所述车辆状态日志文件生成过滤表的步骤，包括：

从所述车辆状态日志文件中读取未处理的车辆状态日志；

在所述自动驾驶状态过滤规则表中匹配所述未处理的车辆状态日志对应的目标自动驾驶状态过滤规则；

若匹配成功，采用所述目标自动驾驶状态过滤规则和所述未处理的车辆状态日志生成过滤表记录；

判断所述车辆状态日志文件中是否存在未处理的车辆状态日志；

若是，返回从所述车辆状态日志文件中读取未处理的车辆状态日志的步骤；

若否，采用所有所述过滤表记录生成过滤表。

3.根据权利要求2所述的方法，其特征在于，所述自动驾驶状态过滤规则表中记录有多条自动驾驶状态过滤规则；所述在所述自动驾驶状态过滤规则表中匹配所述未处理的车辆状态日志对应的目标自动驾驶状态过滤规则的步骤，包括：

从所述未处理的车辆状态日志中获取状态变化前的第一初始状态和状态变化后的第一目标状态；

从所述自动驾驶状态过滤规则中获取第二初始状态和第二目标状态；

将第二初始状态与所述第一初始状态相同、且第二目标状态与所述第二目标状态相同的自动驾驶状态过滤规则确定为所述未处理的车辆状态日志对应的目标自动驾驶状态过滤规则。

4.根据权利要求2所述的方法，其特征在于，还包括：

若在所述自动驾驶状态过滤规则表中匹配不到所述未处理的车辆状态日志对应的目标自动驾驶状态过滤规则，则将所述未处理的车辆状态日志确定为已处理的车辆状态日志，并返回从所述车辆状态日志文件中读取未处理的车辆状态日志的步骤。

5.根据权利要求2所述的方法，其特征在于，所述采用所述目标自动驾驶状态过滤规则和所述未处理的车辆状态日志生成过滤表记录的步骤，包括：

从所述未处理的车辆状态日志中获取切换时间；

从所述目标自动驾驶状态过滤规则中获取采集开始时间、采集结束时间和采集列表；

采用所述切换时间和所述采集开始时间计算开始时间；

采用所述切换时间和所述采集结束时间计算结束时间；

采用所述开始时间、所述结束时间和所述采集列表生成过滤表记录。

6.一种车上数据清理装置，其特征在于，应用于自动驾驶系统；所述自动驾驶系统存储有自动驾驶状态过滤规则表；所述装置包括：

车辆状态日志文件读取模块，用于读取车辆状态日志文件；

过滤表生成模块，用于采用所述自动驾驶状态过滤规则表和所述车辆状态日志文件生成过滤表；

bag文件获取模块，用于获取bag文件；

过滤模块，用于采用所述过滤表过滤所述bag文件，得到目标bag文件，并删除所述bag文件。

7.根据权利要求6所述的装置，其特征在于，所述过滤表生成模块，包括：

未处理的车辆状态日志读取子模块，用于从所述车辆状态日志文件中读取未处理的车辆状态日志；

匹配子模块，用于在所述自动驾驶状态过滤规则表中匹配所述未处理的车辆状态日志对应的目标自动驾驶状态过滤规则；

过滤表记录生成子模块，用于若匹配成功，采用所述目标自动驾驶状态过滤规则和所述未处理的车辆状态日志生成过滤表记录；

判断子模块，用于判断所述车辆状态日志文件中是否存在未处理的车辆状态日志；

第一返回子模块，用于若是，返回从所述车辆状态日志文件中读取未处理的车辆状态日志的步骤；

过滤表生成子模块，用于若否，采用所有所述过滤表记录生成过滤表。

8.根据权利要求7所述的装置，其特征在于，所述自动驾驶状态过滤规则表中记录有多条自动驾驶状态过滤规则；所述匹配子模块，包括：

第一初始状态和第一目标状态获取单元，用于从所述未处理的车辆状态日志中获取状态变化前的第一初始状态和状态变化后的第一目标状态；

第二初始状态和第二目标状态获取单元，用于从所述自动驾驶状态过滤规则中获取第二初始状态和第二目标状态；

目标自动驾驶状态过滤规则确定单元，用于将第二初始状态与所述第一初始状态相同、且第二目标状态与所述第二目标状态相同的自动驾驶状态过滤规则确定为所述未处理的车辆状态日志对应的目标自动驾驶状态过滤规则。

9.一种电子设备，其特征在于，所述设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1-5任一项所述的车上数据清理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-5任一项所述的车上数据清理方法。

Images