CN111258974A - 一种车辆离线场景数据处理方法及系统 - Google Patents

Abstract

本发明涉及一种车辆离线场景数据处理方法和系统，方法包括：获取车辆离线场景数据的数据源标准格式和原始日志文件；根据所述数据源标准格式对所述原始日志文件进行解析，得到待处理的日志文件；对所述待处理的日志文件进行至少一种方式的过滤处理，得到目标场景数据日志文件；从目标场景数据日志文件中提取目标场景数据，并将目标场景数据进行存储。本发明对存储在私有云的车辆数据尤其对行驶中采集的场景数据进行过滤，得到高质量的有效数据。在满足应用需求的同时，降低数据的存储量和计算量，大幅度地缩减数据中心的建设、运维成本。

Description

一种车辆离线场景数据处理方法及系统

技术领域

本发明涉及车辆数据处理领域，尤其涉及一种车辆离线场景数据处理方法及系统。

背景技术

随着智能驾驶汽车逐步实现小规模量产化或预量产化，以设备为中心的传统数据中心在对采集到的智能驾驶汽车的原始数据进行存储、分析、机器学习或可视化展示上越显力不从心。L3等级的智能驾驶汽车，在日均使用时长为8小时的情况下，每车每天会产生25TB至30TB的数据量。巨大的数据量对数据的存储和计算提出了更高的要求。传统数据中心如要满足当前或未来数据存储和计算的高要求，投入的经济成本将会十分巨大，并且，系统复杂的传统数据中心在运维、升级方面面临巨大的困难。更关键的是，传统数据中心的模式无法响应当前快速发展的业务需求。

针对这种情况，一种应对思路是用云数据中心取代传统数据中心，云数据中心以面向服务的架构，将数据中心的设备、系统和功能输出视作服务，随时随时地按需交付。另一种应对思路则是对数据进行过滤或称筛选。与公有云不同的一点是，私有云还无需保存数据过滤处理后的无效数据或无用数据，只需存储满足应用需求的有效数据，其分布式存储和分布式计算的成本将大幅度下降。

发明内容

为对存储在私有云数据中心的智能驾驶汽车的车辆数据，尤其对车辆在行驶过程中采集的大量场景数据进行过滤，得到高质量的有效数据，本发明结合上述两种解决思路，公开了一种车辆离线场景数据处理方法及系统。所述技术方案如下：

第一方面，本发明公开了一种车辆离线场景数据处理方法，所述方法包括：

获取车辆离线场景数据的数据源标准格式和车辆离线场景数据的原始日志文件；

根据所述车辆离线场景数据的数据源标准格式对所述车辆离线场景数据的原始日志文件进行解析，得到待处理的车辆离线场景数据的日志文件；

对所述待处理的车辆离线场景数据的日志文件进行至少一种方式的过滤处理，得到目标场景数据日志文件；

从所述目标场景数据日志文件中提取目标场景数据，并将所述目标场景数据进行存储。

进一步地，所述获取车辆离线场景数据的数据源标准格式和车辆离线场景数据的原始日志文件包括：

建立车载传感设备与数据格式的的映射表，所述映射表包含数据源标准格式；

获取所述车载传感设备采集的场景数据；

通过车载终端数据记录设备对所述场景数据进行记录，并生成所述车辆离线场景数据的原始日志文件。

进一步地，所述根据所述车辆离线场景数据的数据源标准格式对所述车辆离线场景数据的原始日志文件进行解析，得到待处理的车辆离线场景数据的日志文件包括：

根据所述车辆离线场景数据的原始日志文件的数据源，从所述车辆离线场景数据的数据源标准格式中选取与所述原始日志文件中的每一个原始日志文件匹配的数据源标准格式；

根据所述与所述每一个原始日志文件匹配的数据源标准格式，对所述原始日志文件中的每一个原始日志文件进行数据内容的解析，得到符合预设格式的待处理的车辆离线场景数据的日志文件。

进一步地，所述根据所述车辆离线场景数据的数据源标准格式对所述车辆离线场景数据的原始日志文件进行解析，得到待处理的车辆离线场景数据的日志文件还包括：

在所述车辆离线场景数据的原始日志文件为按照时间生成的日志文件，和/或所述原始日志文件的数据源至少有两个时，

根据所述车辆离线场景数据的原始日志文件中数据内容的数据源，将所述车辆离线场景数据的原始日志文件拆分并归类为至少一个独立数据源的日志文件集；

从所述车辆离线场景数据的数据源标准格式中选取与所述至少一个独立数据源的日志文件集中每一个独立数据源的日志文件集匹配的数据源标准格式；

根据与所述每一个独立数据源的日志文件集匹配的数据源标准格式，对所述每一个日志文件集中的日志文件进行解析，得到符合预设格式的待处理的车辆离线场景数据的日志文件。

进一步地，所述对所述待处理的车辆离线场景数据的日志文件进行至少一种方式的过滤处理，得到目标场景数据日志文件包括：

通过时间选择器设定车辆离线场景数据的时间过滤条件，所述时间过滤条件包括第一时刻和第二时刻；

根据所述时间过滤条件，从所述待处理的车辆离线场景数据的日志文件中提取所述第一时刻和第二时刻之间的数据内容，得到第一目标场景数据日志文件。

进一步地，所述对所述待处理的车辆离线场景数据的日志文件进行至少一种方式的过滤处理，得到目标场景数据日志文件还包括：

获取车辆的标记列表文件；

根据所述车辆的标记列表文件设定车辆离线场景数据的标记过滤条件，所述标记过滤条件包括第一标记场景和第二标记场景；

根据所述标记过滤条件解析出对应的标记时刻，所述标记时刻包括标记所述第一标记场景时的第一标记时刻和标记所述第二标记场景时的第二标记时刻；

根据所述标记时刻，从所述待处理的车辆离线场景数据的日志文件中提取所述第一标记时刻和第二标记时刻之间的数据内容，得到第二目标场景数据日志文件。

进一步地，所述对所述待处理的车辆离线场景数据的日志文件进行至少一种方式的过滤处理，得到目标场景数据日志文件还包括：

获取车辆的高精度定位文件，所述高精度定位文件包括高精度实时定位信息、高精度地图和/或车辆行驶路线的规划航迹；

根据所述车辆的高精度定位文件设定车辆离线场景数据的定位过滤条件，所述定位过滤条件包括第一定位位置和第二定位位置；

根据所述定位过滤条件解析出对应的定位时刻，所述定位时刻包括确定第一定位位置时的第一定位时刻和确定第二定位位置时的第二定位时刻；

根据所述定位时刻，从所述待处理的车辆离线场景数据的日志文件中提取所述第一定位时刻和第二定位时刻之间的数据内容，得到第三目标场景数据日志文件。

进一步地，所述对所述待处理的车辆离线场景数据的日志文件进行至少一种方式的过滤处理，得到目标场景数据日志文件还包括：

根据车辆识别号码、所述时间过滤条件、所述标记过滤条件和/或所述定位过滤条件，对所述第一目标场景数据日志文件、所述第二目标场景数据日志文件和/或所述第三目标场景数据日志文件进行场景数据的搜索和查询，得到检索结果；

在所述检索结果表示所述第一目标场景数据日志文件、所述第二目标场景数据日志文件和/或所述第三目标场景数据日志文件未覆盖全部目标场景数据，和/或存在重复场景数据或无效场景数据时，

对所述第一目标场景数据日志文件、所述第二目标场景数据日志文件和/或所述第三目标场景数据日志文件进行数据基于时间的微过滤处理；

和/或对所述第一目标场景数据日志文件、所述第二目标场景数据日志文件和/或所述第三目标场景数据日志文件重复进行所述至少一种方式的过滤处理，得到最终的目标场景数据日志文件。

进一步地，所述从所述目标场景数据日志文件中提取目标场景数据，并将所述目标场景数据进行存储包括：

删除所述车辆离线场景数据的原始日志文件、所述第一目标场景数据日志文件、所述第二目标场景数据日志文件和/或所述第三目标场景数据日志文件；

将所述目标场景数据日志文件中的目标场景数据分布式存储在私有云数据中心。

第二方面，本发明公开了一种车辆离线场景数据处理系统，所述系统包括：

获取单元，用于获取车辆离线场景数据的数据源标准格式和车辆离线场景数据的原始日志文件；

解析单元，用于根据所述车辆离线场景数据的数据源标准格式对所述车辆离线场景数据的原始日志文件进行解析，得到待处理的车辆离线场景数据的日志文件；

过滤单元，包括基于时间戳的第一过滤子单元、基于主动标记的第二过滤子单元、基于高精度定位的第三过滤子单元和回溯单元，用于对所述待处理的车辆离线场景数据的日志文件进行至少一种方式的过滤处理，得到目标场景数据日志文件；

存储单元，用于从所述目标场景数据日志文件中提取目标场景数据，并将所述目标场景数据进行存储。

采用上述技术方案，本发明所述的一种车辆离线场景数据处理方法及系统具有如下有益效果：本发明对存储在私有云的车辆数据尤其对行驶中采集的场景数据进行过滤，得到高质量的有效数据。在满足应用需求的同时，降低数据的存储量和计算量，并能大幅度地缩减数据中心的建设、运维成本。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种车辆离线场景数据处理方法的流程示意图；

图2是本发明实施例提供的一种对车辆离线场景数据的原始日志文件进行解析的示意图；

图3是本发明实施例提供的对车辆离线场景数据的日志文件进行过滤处理的多种过滤方式的示意图；

图4是本发明实施例提供的另一种车辆离线场景数据处理方法的算法流程示意图；

图5是本发明实施例提供的一种车辆离线场景数据处理的应用场景示意图；

图6是本发明实施例提供的一种车辆离线场景数据处理系统的结构示意图；

图7是本发明实施例提供的一种车辆离线场景数据处理设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本发明的描述中，需要理解的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

图1是本发明实施例提供的一种车辆离线场景数据处理方法的流程示意图，本说明书提供了如实施例或流程示意图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图1所示，所述车辆离线场景数据处理方法可以包括：

S110：获取车辆离线场景数据的数据源标准格式和车辆离线场景数据的原始日志文件。

在一些可行的实施方式中，本发明实施例中步骤S110可以包括以下步骤：

S111：建立车载传感设备与数据格式的的映射表，所述映射表包含数据源标准格式。

可以理解的是，所述车载传感设备可以包括但不限于摄像头、激光雷达、毫米波雷达、高精度地图传感器、智能驾驶域控制器。考虑到应用的普遍适用性，所述车载传感设备可以来自不同的设备提供商，不同的设备提供商所设定的数据格式和/或标准不同，需要进行适配管理，也即建立各个车载传感设备与数据格式的映射关系，并生成映射表，在所述映射表中可以查询到各个数据源也即各个车载传感设备的数据标准格式。所述映射表还可以根据车载传感设备的增删或升级进行相应的修改。

S112：获取所述车载传感设备采集的场景数据。

S113：通过车载终端数据记录设备对所述场景数据进行记录，并生成所述车辆离线场景数据的原始日志文件。

S120：根据所述车辆离线场景数据的数据源标准格式对所述车辆离线场景数据的原始日志文件进行解析，得到待处理的车辆离线场景数据的日志文件。

优选地，各个数据源以预先定义好的数据文件标准格式生成各自的场景数据文件，车载终端数据记录设备存储的原始日志文件也会有不同的数据格式，可以根据所述数据源标准格式车载终端数据记录设备存储的日志文件按照从前到后的顺序依次进行解析。

在一些可行的实施方式中，本发明实施例中步骤S120可以包括：

根据所述车辆离线场景数据的原始日志文件的数据源，从所述车辆离线场景数据的数据源标准格式中选取与所述原始日志文件中的每一个原始日志文件匹配的数据源标准格式；

根据所述与所述每一个原始日志文件匹配的数据源标准格式，对所述原始日志文件中的每一个原始日志文件进行数据内容的解析，得到符合预设格式的待处理的车辆离线场景数据的日志文件。

优选地，车载终端数据记录设备是根据数据源分别生成不同类别的车辆离线场景数据的原始日志文件，则根据与各个类别的原始日志文件相匹配的数据源标准格式对原始日志文件进行解析，得到所述待处理的车辆离线场景数据的日志文件。

在一些可行的实施方式中，本发明实施例中步骤S120还可以包括：

在所述车辆离线场景数据的原始日志文件为按照时间生成的日志文件，和/或所述原始日志文件的数据源至少有两个时，

根据所述车辆离线场景数据的原始日志文件中数据内容的数据源，将所述车辆离线场景数据的原始日志文件拆分并归类为至少一个独立数据源的日志文件集；

从所述车辆离线场景数据的数据源标准格式中选取与所述至少一个独立数据源的日志文件集中每一个独立数据源的日志文件集匹配的数据源标准格式；

根据与所述每一个独立数据源的日志文件集匹配的数据源标准格式，对所述每一个日志文件集中的日志文件进行解析，得到符合预设格式的待处理的车辆离线场景数据的日志文件。

可以理解的是，车载终端数据记录设备是根据时间生成车辆离线场景数据的原始日志文件，一个日志文件中包含至少一个数据源设备采集的场景数据，则需要首先对所述原始日志文件进行文件的拆分，将各个数据源设备采集的数据分离出来，生成至少一个独立数据源的日志文件集。进而对所述至少一个独立数据源的日志文件集中每一个独立数据源的日志文件集进行格式的解析，得到待处理的车辆离线场景数据的日志文件。

图2是本发明实施例提供的一种对车辆离线场景数据的原始日志文件进行解析的示意图。在一种具体的实施方式中，可以将文件的拆分和解析并行处理。如图2所示，日志文件_0001中包含雷达、摄像头和智能驾驶域控制器等多个传感器采集到的场景数据。需要将原始的日志文件进行文件的拆分和解析，从而生成解析后的独立数据源的日志文件集。具体地，通过解析工具_1和标准格式_1将“日志文件_0001”中来自雷达的场景数据分离并解析，生成“日志文件_0001_雷达”。同样地，将从“日志文件_0002”中来自雷达的场景数据分离并解析，生成“日志文件_0002_雷达”，将“日志文件_0003”中来自雷达的场景数据分离并解析，生成“日志文件_0003_雷达”......“日志文件_0001_雷达”、“日志文件_0002_雷达”、“日志文件_0003_雷达”等构成了解析后的独立数据源为雷达的日志文件集。相应地，可以得到解析后的独立数据源为摄像头的日志文件集和解析后的独立数据源为智能驾驶域控制器的日志文件集等，也即得到了待处理的车辆离线场景数据的日志文件。

S130：对所述待处理的车辆离线场景数据的日志文件进行至少一种方式的过滤处理，得到目标场景数据日志文件。

图3是本发明实施例提供的对车辆离线场景数据的日志文件进行过滤处理的多种过滤方式的示意图。在一些可行的实施方式中，如图3所示，本发明实施例中步骤S130可以包括以下步骤：

S131：通过时间选择器设定车辆离线场景数据的时间过滤条件，所述时间过滤条件包括第一时刻和第二时刻。

可以理解的是，车载终端数据记录设备在对车载传感设备采集到的每一帧场景数据进行记录时，会对每一帧场景数据添加符合统一时间参照标准的时间戳信息。所述统一时间参照标准与所述车载终端数据记录设备的硬件技术相适应。优选地，所述时间戳信息的精度为1微妙。

可以理解的是，时间戳(Time Stamp)是一个能表示一份数据在某个特定时间之前已经存在的、完整的、可验证的数据，通常是一个字符序列，可以唯一地标识某一刻的时间。具体地，时间戳是指格林威治时间1970年01月01日00时00分00秒(北京时间1970年01月01日08时00分00秒)起至当前时刻的总秒数。它的提出主要是为用户提供一份电子证据，以证明用户的某些数据的产生时间。

S132：根据所述时间过滤条件，从所述待处理的车辆离线场景数据的日志文件中提取所述第一时刻和第二时刻之间的数据内容，得到第一目标场景数据日志文件。

在一些可行的实施方式中，本发明实施例中步骤S130还可以包括以下步骤：

S133：获取车辆的标记列表文件。

可以理解的是，预设的或者特定类型的场景和/或地点，可以触发车载终端数据记录设备的主动标记行为，对所述场景和/地点的场景数据增加标记点。所述场景可以包括但不限于晴天、雨天、一定能见度范围。

优选地，所述主动标记行为可以被触发多次，标记数据可以被单独保存在二进制文件中，作为车辆的标记列表文件，以使得能够提供标记点的查询从而根据标记点进行场景数据的过滤。

S134：根据所述车辆的标记列表文件设定车辆离线场景数据的标记过滤条件，所述标记过滤条件包括第一标记场景和第二标记场景。

在一些可行的实施方式中，车辆离线场景数据处理系统提供车辆的标记列表文件，以使得根据所述标记列表文件选择符合应用要求的两个标记点，作为所述第一标记场景和所述第二标记场景。

S135：根据所述标记过滤条件解析出对应的标记时刻，所述标记时刻包括标记所述第一标记场景时的第一标记时刻和标记所述第二标记场景时的第二标记时刻。

S136：根据所述标记时刻，从所述待处理的车辆离线场景数据的日志文件中提取所述第一标记时刻和第二标记时刻之间的数据内容，得到第二目标场景数据日志文件。

在一些可行的实施方式中，本发明实施例中步骤S130还可以包括以下步骤：

S137：获取车辆的高精度定位文件，所述高精度定位文件包括高精度实时定位信息、高精度地图和/或车辆行驶路线的规划航迹。

可以理解的是，车载终端数据记录设备在对车载传感设备采集到的每一帧场景数据进行记录时，会写入车辆的高精度实时定位信息，一般地，所述车辆的高精度实时定位信息的误差为厘米级。

在一些可行的实施方式中，可以根据多传感器数据融合定位的方式确定高精度实时定位信息。具体地，利用差分定位系统(Global Positioning System，GPS)和惯性导航系统中的惯性测量单元(Inertial MeasurementUnit，IMU)进行车辆的初步定位，还可以使用车载激光雷达或者双目视觉摄像头结合高精度地图数据进一步精确地局部定位。

S138：根据所述车辆的高精度定位文件设定车辆离线场景数据的定位过滤条件，所述定位过滤条件包括第一定位位置和第二定位位置。

在一些可行的实施方式中，车辆离线场景数据处理系统还可以提供高精度地图和车辆实际出行任务的路线规划航迹，用于在所述路线规划航迹中选择车辆行驶过程的两个位置点，包括所述第一定位位置和所述第二定位位置。

S139：根据所述定位过滤条件解析出对应的定位时刻，所述定位时刻包括确定第一定位位置时的第一定位时刻和确定第二定位位置时的第二定位时刻。

S1310：根据所述定位时刻，从所述待处理的车辆离线场景数据的日志文件中提取所述第一定位时刻和第二定位时刻之间的数据内容，得到第三目标场景数据日志文件。

在一些可行的实施方式中，本发明实施例中步骤S130还可以包括以下步骤：

S1311：根据车辆识别号码、所述时间过滤条件、所述标记过滤条件和/或所述定位过滤条件，对所述第一目标场景数据日志文件、所述第二目标场景数据日志文件和/或所述第三目标场景数据日志文件进行场景数据的搜索和查询，得到检索结果。

S1312：在所述检索结果表示所述第一目标场景数据日志文件、所述第二目标场景数据日志文件和/或所述第三目标场景数据日志文件未覆盖全部目标场景数据，和/或存在重复场景数据或无效场景数据时，

对所述第一目标场景数据日志文件、所述第二目标场景数据日志文件和/或所述第三目标场景数据日志文件进行数据基于时间的微过滤处理；

和/或对所述第一目标场景数据日志文件、所述第二目标场景数据日志文件和/或所述第三目标场景数据日志文件重复进行所述至少一种方式的过滤处理，得到最终的目标场景数据日志文件。

可以理解的是，如图3所示，三种场景数据过滤方式可以根据实际应用需求进行优先顺序的排列和组合，本发明实施例不作具体限定。

S140：从所述目标场景数据日志文件中提取目标场景数据，并将所述目标场景数据进行存储。

在一些可行的实施方式中，本发明实施例中步骤S140可以包括：

删除所述车辆离线场景数据的原始日志文件、所述第一目标场景数据日志文件、所述第二目标场景数据日志文件和/或所述第三目标场景数据日志文件；

将所述目标场景数据日志文件中的目标场景数据分布式存储在私有云数据中心。

可以理解的是，本发明实施例中将数据存储在私有云数据中心中，因为私有云数据中心存储的是满足实际应用需求的目标场景数据，无需保存过滤处理后无效、无用的大量数据，故可以将原始日志文件和中间过程中产生的临时日志文件删除，以使得分布式存储和分布式计算的成本大幅下降。

优选地，通过本发明实施例提供的一种车辆离线场景数据处理方法得到的目标场景数据可以用于大数据领域和/或人工智能领域模型的训练。目前，智能驾驶车辆采集的的数据中存在对于模型训练而言大量无效、无用的数据，这无疑提高了模型训练的成本，降低了模型训练的效率。通过本发明实施例提供的方法能够在保证获得有效场景数据的前提下，极大程度地减少了不必要的数据存储量和计算量，大大缩减了数据中心的建设成本。

图4是本发明实施例提供的另一种车辆离线场景数据处理方法的算法流程示意图，本说明书提供了如实施例或流程示意图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图4所示，所述车辆离线场景数据处理方法通过软件系统进行实施，实现算法可以包括以下步骤：

S410：流程开始时，加载数据源标准格式。

在一些可行的实施方式中，软件系统加载不同设备供应商、不同数据源的数据标准格式，包括但不限于车载高级驾驶辅助系统(Advanced Driving Assistant System，ADAS)传感器、智能驾驶域控制器、控制器局域网络(Controller Area Network,CAN)等的标准格式。

S420：读取原始日志文件。

S430：根据数据源标准格式对原始日志文件进行解析。

在一些可行的实施方式中，在进行解析之前，还需要对原始日志文件按照数据内容的来源进行拆分和归类。

S440：加载过滤条件。

具体地，所述过滤条件可以包括但不限于开始时间、结束时间、标记点、定位位置。

S450：判断场景数据过滤方式。

如图4所示，步骤S450可以包括以下步骤：

S451：针对标记的场景数据过滤方式，读取车辆的标记列表文件。选取标记列表文件中符合应用需要的两个标记点。根据两个标记点解析出对应的两个时间戳。进而基于时间戳的方式对场景数据进行过滤，并生成新的场景数据的日志文件。

S452：针对定位的场景数据过滤方式，读取车辆的高精度定位文件。选取高精度定位文件中符合应用需求的两个定位位置。根据两个定位位置解析出对应的两个时间戳。进而基于时间戳的方式对场景数据进行过滤，并生成新的场景数据的日志文件。

S453：针对时间戳的场景数据过滤方式，根据开始时间和结束时间的时间戳提取日志文件内的数据，并生成目标场景数据的日志文件。

在一些可行的实施方式中，本实施例中列举的步骤S451-S453的顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际应用中，还可以根据应用需求选取其中一种或者多种过滤方式。

S460：将过滤后新生成的目标场景数据的日志文件持久化保存。

S470：删除原始日志文件和中间步骤临时生成的日志文件，流程结束。

在一些可行的实施方式中，软件系统还具有回溯单元，可以对新生成的目标场景数据日志文件进行回放查看。如果回放查看的目标场景数据日志文件没有完全覆盖目标场景，则可以重复步骤S410-S460中的部分或者全部步骤，直至得到的目标场景数据日志文件满足实际应用的场景需求，最后再执行步骤S470。

可以理解的是，整个算法的实现流程在私有云数据中心上完成，可以充分利用分布式存储方式和分布式计算方式的优势。例如，车辆离线场景数据的原始日志文件的读取和解析可以基于MapReduce(一种编程模型，用于大规模数据集的并行运算)分布式计算的思路进行，而目标场景数据日志文件的存储可以利用分布式对象存储服务。

图5是本发明实施例提供的一种车辆离线场景数据处理的应用场景示意图。如图5所示，车辆从出发地点O启动点火，经过40分钟的行驶到达高速公路闸道入口A点，然后在该高速公路上行驶了15分钟，到达闸道出口B点，接着从B点下道驶出该高速公路，又行驶了50分钟到达目的地T，最后停车熄火，一次车辆出行任务结束。

在图5所示的应用场景中，目标场景数据库是要较精确地存储车辆在A点和B点之间行驶的场景数据，以作为后续在私有云数据中心上的智能驾驶模型的训练数据集。

在数据的采集和记录阶段，从车辆点火开始到停车熄火的过程中，车载终端数据记录设备会持续实时记录车内不同传感设备的行车原始日志，传感设备可以包括GPS、IMU、CAN总线控制器、摄像头、激光雷达、毫米波雷达、超声波雷达、高精度地图传感器、智能驾驶域控制器等，所有传感设备采集到的数据可以统称为场景数据，因车载终端数据记录设备会将场景数据在本地暂时存储，又可以称为车辆离线场景数据。在一些可行的实施方式中，在满足通信质量的情况下，对原始日志文件进行解析后可以将数据实时上传至服务器中。除此之外，当车辆到达A点和B点附近时，车辆的主动标记行为可以被适时地触发，生成A点和B点对应的标记点。

车辆出行任务结束后，需要要将车载终端数据记录设备记录的原始日志数据以离线文件的形式导入并上传到私有云数据中心，并利用分布式对象存储服务来保存这些大数据文件。

在一种具体的实施方式中，可以在回放、可视化本次车辆出行任务的数据后验证本次车辆出行的路线、数据是否正确，然后按照本发明实施例中提供的一种车辆离线场景数据方法中提到的步骤，进行场景数据的过滤。

首先，可以对原始日志文件进行拆分，然后通过多种场景数据过滤方式提取出有效的高速公路段的车辆场景数据。具体地，可以根据地点O-A-B-T之间的距离和车辆行驶速度等信息，估算出车辆到达A点和B点的大致时间，基于时间戳和车辆识别号码进行场景数据过滤和回放查看；或者先查询出该车辆本次出行任务的所有主动标记的标记点列表，从中选择出A点和B点对应的标记点，进行场景数据过滤和回放查看；又或者，根据高精度地图和该车辆本次出行任务的高精度实时定位信息，选择A点和B点，进行场景数据过滤和回放查看。

以上三种方式，都可能没有完全覆盖到A-B两点之间的所有高速公路场景数据，或者包含进来一些A-B两点之外的场景数据。这时可以根据目标场景数据过滤结果进一步基于时间戳进行调节，即通过微调两个结果点之前或者之后的时间戳，来收缩或者扩大场景过滤数据。通过以上各种场景过滤方式的组合，可以获得较精确的目标场景数据段。注意场景数据的查询与搜索，可考虑采用分布式全文搜索引擎技术实现。

最终只过滤出有效的高速公路场景数据，而删除车辆进入高速公路前、以及车辆离开高速公路后的无效数据。该步骤完成时，私有云存储中只保留了有效的场景数据。

本发明实施例还提供了一种车辆离线场景数据处理系统，如图6所示，所述车辆离线场景数据处理系统包括：

获取单元610，用于获取车辆离线场景数据的数据源标准格式和车辆离线场景数据的原始日志文件。

解析单元620，用于根据所述车辆离线场景数据的数据源标准格式对所述车辆离线场景数据的原始日志文件进行解析，得到待处理的车辆离线场景数据的日志文件。

过滤单元630，包括基于时间戳的第一过滤子单元631、基于主动标记的第二过滤子单元632、基于高精度定位的第三过滤子单元633和回溯单元634，用于对所述待处理的车辆离线场景数据的日志文件进行至少一种方式的过滤处理，得到目标场景数据日志文件。

存储单元640，用于从所述目标场景数据日志文件中提取目标场景数据，并将所述目标场景数据进行存储。

本发明实施例所述的一种车辆离线场景数据处理系统与方法实施例基于相同的发明构思，详情请参考方法实施例，在此不再赘述。

本发明实施例还提供了一种计算机设备，所述设备包括：处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如本发明实施例的一种车辆离线场景数据处理方法。

存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。

本发明实施例所提供的方法实施例可以在计算机终端、服务器或者类似的运算装置中执行，即上述计算机设备可以包括计算机终端、服务器或者类似的运算装置。图7是本发明实施例提供的运行一种车辆离线场景数据处理方法的计算机设备的硬件结构框图，如图7所示，该计算机设备的内部结构可包括但不限于：处理器、网络接口及存储器。其中，计算机设备内的处理器、网络接口及存储器可通过总线或其他方式连接，在本说明书实施例所示图7中以通过总线连接为例。所述的计算机设备可以是私有云数据中的虚拟化设备，内部架构不局限于图7所示。

其中，处理器(或称CPU(Central Processing Unit，中央处理器))是计算机设备的计算核心以及控制核心。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI、移动通信接口等)。存储器(Memory)是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的存储器可以是高速RAM存储设备，也可以是非不稳定的存储设备(non-volatile memory)，例如至少一个磁盘存储设备；可选的还可以是至少一个位于远离前述处理器的存储装置。存储器提供存储空间，该存储空间存储了电子设备的操作系统，可包括但不限于：Windows系统(一种操作系统)，Linux(一种操作系统)，Android(安卓，一种移动操作系统)系统、IOS(一种移动操作系统)系统等等，本发明对此并不作限定；并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。在本说明书实施例中，处理器加载并执行存储器中存放的一条或一条以上指令，以实现上述方法实施例提供的车辆离线场景数据处理方法。

本发明实施例还提供了一种计算机存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行如本发明实施例所述的一种车辆离线场景数据处理方法。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、系统和服务器实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种车辆离线场景数据处理方法，其特征在于，所述方法包括：

获取车辆离线场景数据的数据源标准格式和车辆离线场景数据的原始日志文件；

根据所述车辆离线场景数据的数据源标准格式对所述车辆离线场景数据的原始日志文件进行解析，得到待处理的车辆离线场景数据的日志文件；

对所述待处理的车辆离线场景数据的日志文件进行至少一种方式的过滤处理，得到目标场景数据日志文件；

从所述目标场景数据日志文件中提取目标场景数据，并将所述目标场景数据进行存储。

2.根据权利要求1所述的车辆离线场景数据处理方法，其特征在于，所述获取车辆离线场景数据的数据源标准格式和车辆离线场景数据的原始日志文件包括：

建立车载传感设备与数据格式的的映射表，所述映射表包含数据源标准格式；

获取所述车载传感设备采集的场景数据；

通过车载终端数据记录设备对所述场景数据进行记录，并生成所述车辆离线场景数据的原始日志文件。

3.根据权利要求1所述的车辆离线场景数据处理方法，其特征在于，所述根据所述车辆离线场景数据的数据源标准格式对所述车辆离线场景数据的原始日志文件进行解析，得到待处理的车辆离线场景数据的日志文件包括：

根据所述车辆离线场景数据的原始日志文件的数据源，从所述车辆离线场景数据的数据源标准格式中选取与所述原始日志文件中的每一个原始日志文件匹配的数据源标准格式；

根据所述与所述每一个原始日志文件匹配的数据源标准格式，对所述原始日志文件中的每一个原始日志文件进行数据内容的解析，得到符合预设格式的待处理的车辆离线场景数据的日志文件。

4.根据权利要求3所述的车辆离线场景数据处理方法，其特征在于，所述根据所述车辆离线场景数据的数据源标准格式对所述车辆离线场景数据的原始日志文件进行解析，得到待处理的车辆离线场景数据的日志文件还包括：

在所述车辆离线场景数据的原始日志文件为按照时间生成的日志文件，和/或所述原始日志文件的数据源至少有两个时，

根据所述车辆离线场景数据的原始日志文件中数据内容的数据源，将所述车辆离线场景数据的原始日志文件拆分并归类为至少一个独立数据源的日志文件集；

从所述车辆离线场景数据的数据源标准格式中选取与所述至少一个独立数据源的日志文件集中每一个独立数据源的日志文件集匹配的数据源标准格式；

根据与所述每一个独立数据源的日志文件集匹配的数据源标准格式，对所述每一个日志文件集中的日志文件进行解析，得到符合预设格式的待处理的车辆离线场景数据的日志文件。

5.根据权利要求1所述的车辆离线场景数据处理方法，其特征在于，所述对所述待处理的车辆离线场景数据的日志文件进行至少一种方式的过滤处理，得到目标场景数据日志文件包括：

通过时间选择器设定车辆离线场景数据的时间过滤条件，所述时间过滤条件包括第一时刻和第二时刻；

根据所述时间过滤条件，从所述待处理的车辆离线场景数据的日志文件中提取所述第一时刻和第二时刻之间的数据内容，得到第一目标场景数据日志文件。

6.根据权利要求1所述的车辆离线场景数据处理方法，其特征在于，所述对所述待处理的车辆离线场景数据的日志文件进行至少一种方式的过滤处理，得到目标场景数据日志文件还包括：

获取车辆的标记列表文件；

根据所述车辆的标记列表文件设定车辆离线场景数据的标记过滤条件，所述标记过滤条件包括第一标记场景和第二标记场景；

根据所述标记过滤条件解析出对应的标记时刻，所述标记时刻包括标记所述第一标记场景时的第一标记时刻和标记所述第二标记场景时的第二标记时刻；

根据所述标记时刻，从所述待处理的车辆离线场景数据的日志文件中提取所述第一标记时刻和第二标记时刻之间的数据内容，得到第二目标场景数据日志文件。

7.根据权利要求1所述的车辆离线场景数据处理方法，其特征在于，所述对所述待处理的车辆离线场景数据的日志文件进行至少一种方式的过滤处理，得到目标场景数据日志文件还包括：

获取车辆的高精度定位文件，所述高精度定位文件包括高精度实时定位信息、高精度地图和/或车辆行驶路线的规划航迹；

根据所述车辆的高精度定位文件设定车辆离线场景数据的定位过滤条件，所述定位过滤条件包括第一定位位置和第二定位位置；

根据所述定位过滤条件解析出对应的定位时刻，所述定位时刻包括确定第一定位位置时的第一定位时刻和确定第二定位位置时的第二定位时刻；

根据所述定位时刻，从所述待处理的车辆离线场景数据的日志文件中提取所述第一定位时刻和第二定位时刻之间的数据内容，得到第三目标场景数据日志文件。

8.根据权利要求5至7中任一项所述的车辆离线场景数据处理方法，其特征在于，所述对所述待处理的车辆离线场景数据的日志文件进行至少一种方式的过滤处理，得到目标场景数据日志文件还包括：

根据车辆识别号码、所述时间过滤条件、所述标记过滤条件和/或所述定位过滤条件，对所述第一目标场景数据日志文件、所述第二目标场景数据日志文件和/或所述第三目标场景数据日志文件进行场景数据的搜索和查询，得到检索结果；

在所述检索结果表示所述第一目标场景数据日志文件、所述第二目标场景数据日志文件和/或所述第三目标场景数据日志文件未覆盖全部目标场景数据，和/或存在重复场景数据或无效场景数据时，

对所述第一目标场景数据日志文件、所述第二目标场景数据日志文件和/或所述第三目标场景数据日志文件进行数据基于时间的微过滤处理；

和/或对所述第一目标场景数据日志文件、所述第二目标场景数据日志文件和/或所述第三目标场景数据日志文件重复进行所述至少一种方式的过滤处理，得到最终的目标场景数据日志文件。

9.根据权利要求8所述的车辆离线场景数据处理方法，其特征在于，所述从所述目标场景数据日志文件中提取目标场景数据，并将所述目标场景数据进行存储包括：

删除所述车辆离线场景数据的原始日志文件、所述第一目标场景数据日志文件、所述第二目标场景数据日志文件和/或所述第三目标场景数据日志文件；

将所述目标场景数据日志文件中的目标场景数据分布式存储在私有云数据中心。

10.一种车辆离线场景数据处理系统，其特征在于，所述系统包括：

获取单元，用于获取车辆离线场景数据的数据源标准格式和车辆离线场景数据的原始日志文件；

解析单元，用于根据所述车辆离线场景数据的数据源标准格式对所述车辆离线场景数据的原始日志文件进行解析，得到待处理的车辆离线场景数据的日志文件；

过滤单元，包括基于时间戳的第一过滤子单元、基于主动标记的第二过滤子单元、基于高精度定位的第三过滤子单元和回溯单元，用于对所述待处理的车辆离线场景数据的日志文件进行至少一种方式的过滤处理，得到目标场景数据日志文件；

存储单元，用于从所述目标场景数据日志文件中提取目标场景数据，并将所述目标场景数据进行存储。

Images