CN113435503A - 数据处理方法及装置、存储介质和服务器 - Google Patents

Abstract

本公开提供了一种数据处理方法及装置、存储介质和服务器，其中，所述方法包括：获取待处理的自动驾驶测试数据；根据测试数据的类型与数据处理方式的对应关系，确定所述待处理的自动驾驶测试数据中不同类型的测试数据对应的数据处理方式；基于确定的数据处理方式，对所述待处理的自动驾驶测试数据中的所述不同类型的测试数据进行处理，所述确定的数据处理方式至少包括数据质量检测处理。

Description

数据处理方法及装置、存储介质和服务器

技术领域

本公开涉及数据处理领域，尤其涉及一种数据处理方法及装置、存储介质和服务器。

背景技术

智能车辆或无人机等在自动驾驶过程中可以产生大量的测试数据。但目前，仍需要人工对测试数据进行数据处理，容易出现误操作，且处理效率低。

发明内容

本公开提供了一种数据处理方法及装置、存储介质和服务器。

根据本公开实施例的第一方面，提供一种数据处理方法，所述方法包括：获取待处理的自动驾驶测试数据；根据测试数据的类型与数据处理方式的对应关系，确定所述待处理的自动驾驶测试数据中不同类型的测试数据对应的数据处理方式；基于确定的数据处理方式，对所述待处理的自动驾驶测试数据中的所述不同类型的测试数据进行处理，所述确定的数据处理方式至少包括数据质量检测处理。

在一些可选实施例中，所述待处理的自动驾驶测试数据包括第一类测试数据，所述第一类测试数据是与指定的自动驾驶事件相关的测试数据；所述根据测试数据的类型与数据处理方式的对应关系，确定所述待处理的自动驾驶测试数据中不同类型的测试数据对应的数据处理方式，包括：根据测试数据的类型与数据处理方式的对应关系，确定所述第一类测试数据对应的数据处理方式为顺序执行所述数据质量检测处理、自动驾驶评测处理和数据切分处理。

在一些可选实施例中，所述数据质量检测处理包括以下至少一项：测试数据时长检测处理、测试数据量检测处理、丢失数据检测处理；对所述第一类测试数据执行所述丢失数据检测处理，包括：响应于确定所述第一类测试数据中缺少至少一个传感器对应的测试数据，确定存在丢失数据；响应于确定所述第一类测试数据中包括每个传感器对应的测试数据，确定不存在丢失数据。

在一些可选实施例中，对所述第一类测试数据执行所述自动驾驶评测处理，包括以下至少一项：基于所述第一类测试数据与自动驾驶预期值之间的差值，对自动驾驶过程的可靠性进行评测；基于所述第一类测试数据，对自动驾驶设备的硬件系统进行评测；基于所述第一类测试数据，对自动驾驶过程预判他车行为的准确度进行评测；基于所述第一类测试数据，对所述自动驾驶设备的控制操作的准确度进行评测。

在一些可选实施例中，所述方法还包括：基于所述自动驾驶评测处理的结果，确定所述第一类测试数据中的异常的自动驾驶事件。

在一些可选实施例中，对所述第一类测试数据执行所述数据切分处理，包括：从所述第一类测试数据中，切分出与所述异常的自动驾驶事件和/或所述指定的自动驾驶事件相关联的测试数据。

在一些可选实施例中，所述从所述第一类测试数据中，切分出与所述异常的自动驾驶事件和/或所述指定的自动驾驶事件相关联的测试数据，包括：确定所述异常的自动驾驶事件和/或所述指定的自动驾驶事件的起止时间点；从所述第一类测试数据中，切分出所述起止时间点之间的测试数据。

在一些可选实施例中，所述方法还包括：对从所述第一类测试数据中切分出的测试数据再次执行所述数据质量检测处理。

在一些可选实施例中，所述方法还包括：在每个所述第一类测试数据中，标注与自动驾驶相关的事件标签；其中，所述事件标签包括以下至少一项：自动驾驶设备所在位置的事件标签、自动驾驶设备行驶速度的事件标签、他车所在位置的事件标签、他车行驶速度的事件标签。

在一些可选实施例中，所述待处理的自动驾驶测试数据包括第二类测试数据，所述第二类测试数据是与自动驾驶性能分析相关的测试数据；所述根据测试数据的类型与数据处理方式的对应关系，确定所述待处理的自动驾驶测试数据中不同类型的测试数据对应的数据处理方式，包括：根据测试数据的类型与数据处理方式的对应关系，确定所述第二类测试数据对应的数据处理方式为顺序执行所述数据质量检测处理和自动驾驶评测处理。

在一些可选实施例中，所述待处理的自动驾驶测试数据包括第三类测试数据，所述第三类测试数据是与自动驾驶数据采集相关的测试数据；所述根据测试数据的类型与数据处理方式的对应关系，确定所述待处理的自动驾驶测试数据中不同类型的测试数据对应的数据处理方式，包括：根据测试数据的类型与数据处理方式的对应关系，确定所述第三类测试数据对应的数据处理方式为执行所述数据质量检测处理。

在一些可选实施例中，在所述对所述待处理的自动驾驶测试数据中的所述不同类型的测试数据进行处理之后，所述方法还包括：将处理后的自动驾驶测试数据，上传到自动驾驶测试平台。

在一些可选实施例中，在所述对所述待处理的自动驾驶测试数据中的所述不同类型的测试数据进行处理之后，所述方法还包括：基于已处理的自动驾驶测试数据，生成数据分析报告；其中，所述数据分析报告中包括以下至少一项：所述已处理的自动驾驶测试数据时长、所述已处理的自动驾驶测试数据量、所述已处理的自动驾驶测试数据对应的测试日期、数据质量检测处理结果、处理后的自动驾驶测试数据的上传路径、异常的自动驾驶事件原因。

在一些可选实施例中，所述方法还包括：显示目标硬件设备的状态信息，所述目标硬件设备是存储所述待处理的自动驾驶测试数据的硬件设备；其中，所述状态信息包括以下至少一项：所述目标硬件设备的设备数目、所述目标硬件设备的设备标识信息、所述待处理的自动驾驶测试数据的处理状态信息、所述待处理的自动驾驶测试数据的数据处理进度信息、处理后的自动驾驶测试数据的数据上传进度信息。

根据本公开实施例的第二方面，提供一种数据处理装置，包括：获取模块，用于获取待处理的自动驾驶测试数据；数据处理方式确定模块，用于根据测试数据的类型与数据处理方式的对应关系，确定所述待处理的自动驾驶测试数据中不同类型的测试数据对应的数据处理方式；数据处理模块，用于基于确定的数据处理方式，对所述待处理的自动驾驶测试数据中的所述不同类型的测试数据进行处理，所述确定的数据处理方式至少包括数据质量检测处理。

根据本公开实施例的第三方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述第一方面任一所述的数据处理方法。

根据本公开实施例的第四方面，提供一种数据处理服务器，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现第一方面中任一项所述的数据处理方法。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开实施例中，数据处理服务器可以根据测试数据的类型与数据处理方式的对应关系，为不同类型的自动驾驶测试数据确定对应的不同的数据处理方式，基于确定的数据处理方式，对待处理的自动驾驶测试数据中不同类型的测试数据进行处理，该确定的数据处理方式至少包括数据质量检测处理。避免人工执行数据处理时出现的误操作，提高了数据处理的效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是本公开根据一示例性实施例示出的一种数据处理方法流程图；

图2是本公开根据一示例性实施例示出的另一种数据处理方法流程图；

图3是本公开根据一示例性实施例示出的另一种数据处理方法流程图；

图4是本公开根据一示例性实施例示出的另一种数据处理方法流程图；

图5是本公开根据一示例性实施例示出的另一种数据处理方法流程图；

图6是本公开根据一示例性实施例示出的一种数据处理场景示意图；

图7是本公开根据一示例性实施例示出的一种数据处理装置框图；

图8是本公开根据一示例性实施例示出的一种数据处理服务器的一结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开运行的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所运行的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中运行的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所运行的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本公开提供了一种数据处理方案，能够自动对待处理的自动驾驶测试数据执行数据处理，避免了误操作，且提高了数据处理的效率。

例如图1所示，图1是根据一示例性实施例示出的一种数据处理方法，该方法可以用于数据处理服务器，或者其他数据处理设备，本公开对此不作限定。

该方法包括以下步骤101至103：

在步骤101中，获取待处理的自动驾驶测试数据。

在本公开实施例中，自动驾驶测试数据是指自动驾驶设备在自动驾驶过程中所产生的、用于进行自动驾驶分析处理的测试数据。其中，自动驾驶设备包括但不限于支持自动驾驶的智能车辆、无人机等。该自动驾驶测试数据可以存储在自动驾驶设备所连接的目标硬件设备中，目标硬件设备包括但不限于移动硬盘、固态硬盘等。

在一个可能的实现方式中，可以将目标硬件设备接入该数据处理服务器，数据服务器从该目标硬件设备的指定文件目录下，读取待处理的自动驾驶测试数据。

在另一个可能的实现方式中，目标硬件设备自动对已处理的自动驾驶测试数据添加了已处理标签，数据处理服务器可以从目标硬件设备的指定文件目录中读取不包括已处理标签的测试数据，从而得到待处理的自动驾驶测试数据。

在步骤102中，根据测试数据的类型与数据处理方式的对应关系，确定所述待处理的自动驾驶测试数据中不同类型的测试数据对应的数据处理方式。

在本公开实施例中，可以根据测试数据的类型与数据处理方式的对应关系，为不同类型的自动驾驶测试数据，确定不同的数据处理方式。

在一个可能的实现方式中，自动驾驶测试数据包括以下三类测试数据：与指定的自动驾驶事件相关的第一类测试数据，与自动驾驶性能分析相关的第二类测试数据，以及与自动驾驶数据采集相关的第三类测试数据。

其中，指定的自动驾驶事件可以是预先定义的自动驾驶事件，包括但不限于急刹事件、切换到手动驾驶的切换事件等。

相应地，根据上述对应关系，第一类测试数据对应的数据处理方式可以为顺序执行数据质量检测处理、自动驾驶评测处理和数据切分处理。其中，数据切分处理用于从第一类测试数据中切分出所需要的重要性较高的测试数据，包括但不限于切分出与出现异常的自动驾驶事件和指定的驾驶事件相关的测试数据。

根据上述对应关系，第二类测试数据对应的数据处理方式可以为顺序执行所述数据质量检测处理和自动驾驶评测处理。在本公开实施例中，可以基于第二类测试数据对自动驾驶的整体性能进行分析，因此无需对第二类测试数据进行数据切分。

根据上述对应关系，第三类测试数据对应的数据处理方式可以为执行所述数据质量检测处理，在本公开实施例中，第三类测试数据与数据采集相关联，可以用于作为经验值评测新的自动驾驶测试数据。因此，无需对第三类测试数据执行自动驾驶评测处理和数据切分。

在步骤103中，基于确定的的数据处理方式，对所述待处理的自动驾驶测试数据中的所述不同类型的测试数据进行处理，所述确定的数据处理方式至少包括数据质量检测处理。

在本公开实施例中，数据质量检测数据包括以下至少一项：测试数据时长检测处理、测试数据量检测处理、丢失数据检测处理。

在一个可能的实现方式中，可以根据待处理的自动驾驶测试数据中不同类型的测试数据是否缺少至少一个传感器对应的测试数据，来确定是否存在丢失数据。

在一个可能的实现方式中，数据处理服务器可以基于测试数据时长检测处理和测试数据量检测处理，对传感器的帧率进行检测，帧率是指传感器采集图像的速率。

上述实施例中，数据处理服务器可以根据测试数据的类型与数据处理方式的对应关系，为不同类型的自动驾驶测试数据对应的不同的数据处理方式，基于确定的数据处理方式，对待处理的自动驾驶测试数据中不同类型的测试数据进行处理，该确定的数据处理方式至少包括执行数据质量检测处理。避免人工执行数据处理时出现的误操作，提高了数据处理的效率。

下面针对不同类型的测试数据，分别介绍一下相应的数据处理方式。

首先，根据测试数据的类型与数据处理方式的对应关系，为第一类测试数据确定的对应的数据处理方式可以为顺序执行所述数据质量检测处理、自动驾驶评测处理和数据切分处理。

在本公开实施例中，数据质量检测处理包括测试数据时长检测处理、测试数据量检测处理、丢失数据检测处理。

对第一类测试数据执行数据质量检测处理包括确定第一类测试数据的测试数据时长，确定第一类测试数据的数据量，以及确定第一类测试数据中是否存在丢失数据。

在一个可能的实现方式中，如果第一类测试数据中缺少至少一个传感器对应的测试数据，则确定存在丢失数据，否则可以确定不存在丢失数据。其中，传感器包括但不限于自动驾驶设备上的雷达传感器、相机传感器、激光雷达传感器等。

如果对第一类测试数据执行数据质量检测处理，所得到的数据质量检测处理结果中包括第一类测试数据的测试数据时长、测试数据量以及不存在丢失数据，则数据处理服务器可以继续对第一类测试数据执行自动驾驶评测处理。

否则数据处理服务器可以再次确定第一类测试数据的测试数据时长、确定第一类测试数据的测试数据量，和/或获取丢失的测试数据。直到所得到的数据质量检测处理结果中包括第一类测试数据的测试数据时长、测试数据量以及不存在丢失数据。

进一步地，数据处理服务器对第一类测试数据执行自动驾驶评测处理包括以下至少一项：基于所述第一类测试数据与自动驾驶预期值之间的差值，对自动驾驶过程的可靠性进行评测；基于所述第一类测试数据，对自动驾驶设备的硬件系统进行评测；基于所述第一类测试数据，对自动驾驶过程预判他车行为的准确度进行评测；基于所述第一类测试数据，对所述自动驾驶设备的控制操作进行评测。

在一个可能的实现方式中，对自动驾驶过程的可靠性进行评测的情况下，自动驾驶预期值可以是自动驾驶设备按照指定路线行驶时，驾驶行为的预期值，包括但不限于对该自动驾驶设备自身驾驶行为的预期值和对他车驾驶行为的预期值。

例如，自动驾驶预期值为在某个时间点需要执行变道操作，但第一类测试数据指示该自动驾驶设备未执行变道操作，可以确定自动驾驶可靠性较低。再例如，自动驾驶预期值为在某个时间点预判他车出现急刹，第一类测试数据指示自动驾驶设备预判他车行为同样为急刹，可以确定自动驾驶可靠性较高。

在一个可能的实现方式中，对自动驾驶设备的硬件系统进行评测的情况下，硬件系统包括但不限于自动驾驶设备的中央处理器、图像处理器、芯片、内存等。数据处理服务器可以基于第一类测试数据对自动驾驶设备的上述硬件系统的使用情况进行评测处理。

例如，基于第一类测试数据，确定自动驾驶设备在自动驾驶过程中，中央处理器占用百分比超过预设百分比的情况出现的频率、显卡处理速度是否满足预设要求等。

在一个可能的实现方式中，对自动驾驶过程预判他车行为的准确度进行评测的情况下，。他车行为包括但不限于其他车辆可能出现的刹车、变道、减速、加速等行为。数据处理服务器可以基于第一类测试数据，确定预判的他车行为是否符合实际结果，从而对预判他车行为的准确度进行评测。

在另一个可能的实现方式中，对自动驾驶设备的控制操作的准确度进行评测的情况下，控制操作包括但不限于对方向盘、刹车、档位等的控制操作，例如顺时针或逆时针打方向盘、急刹、档位切换等。数据处理服务器基于第一类测试数据，确定自动驾驶设备在自动驾驶过程中，进行急刹是否符合实际交通情况，从而对自动驾驶设备的控制操作的准确度进行评测。

上述实施例中，数据处理服务器可以根据测试数据的类型与数据处理方式的对应关系，为第一类测试数据确定对应的数据处理方式，从而基于确定的数据处理方式，对待处理的第一类测试数据进行处理，节省了自动驾驶测试数据分析处理所耗费的时间，提高了数据处理效率。

在一些可选实施例中，数据处理服务器可以基于上述自动驾驶评测处理的结果，确定第一类测试数据中的异常的自动驾驶事件。异常的自动驾驶事件是指不符合实际驾驶情况的事件，包括但不限于自动驾驶设备应该刹车却未及时刹车，自动驾驶设备预判他车变道，但实际他车未进行变道等。

在本公开实施例中，确定异常的自动驾驶事件后，可以对第一类测试数据执行数据切分处理。

在一个可能的实现方式中，数据处理服务器可以从所述第一类测试数据中，切分出与所述异常的自动驾驶事件和/或所述指定的自动驾驶事件相关联的测试数据。

例如图2所示，从所述第一类测试数据中，切分出与所述异常的自动驾驶事件和/或所述指定的自动驾驶事件相关联的测试数据的过程，可以包括以下步骤201至步骤203：

在步骤201中，确定所述异常的自动驾驶事件和/或所述指定的自动驾驶事件的起止时间点。

在本公开实施例中，起止时间点包括但不限于以下至少一项：异常的自动驾驶事件的起始时间点、异常的自动驾驶事件的截止时间点、指定的自动驾驶事件的起始时间点、指定的自动驾驶事件的截止时间点。其中，异常的自动驾驶事件是基于对第一类测试数据执行自动驾驶评测处理的结果来确定的，指定的自动驾驶事件是预先指定的自动驾驶事件，包括但不限于急刹事件、切换到手动驾驶的切换事件等。

在一个可能的实现方式中，可以将出现异常的自动驾驶事件的时间点t之前的第n秒作为异常的自动驾驶事件的起始时间点，将出现异常的自动驾驶事件的时间点之后的第m秒作为异常的自动驾驶事件的截止时间点。其中，n和m均大于或等于0。同样的方式，可以确定指定的自动驾驶事件的起始时间点和截止时间点。

在步骤202中，从所述第一类测试数据中，切分出所述起止时间点之间的测试数据。

在本公开实施例中，数据处理服务器可以从第一类测试数据中，切分出起止时间点之间的测试数据。例如切分出的测试数据对应的时间段为(t-n，t+m)。

在本公开实施例中，切分出的测试数据包括但不限于以下至少一项：日志(log)，传感器数据(包括每个传感器对应的数据)，录屏数据，对应指定格式，例如dmppcl.bag格式的测试数据等。

上述实施例中，数据处理服务器可以对第一类测试数据顺序执行数据质量检测、自动驾驶性能评测和数据切分处理，后续可以基于切分出的测试数据执行自动驾驶测试分析，提高了数据处理效率，同时也提高了自动驾驶测试分析的效率。

在一些可选实施例中，数据处理服务器可以对从所述第一类测试数据中切分出的测试数据再次执行所述数据质量检测。再次执行数据质量检测的过程与之前执行数据质量检测处理的过程类似，在此不再赘述。

上述实施例中，可以对从对从所述第一类测试数据中切分出的测试数据再次执行所述数据质量检测，确保切分出的测试数据的数据质量，提高了后续执行自动驾驶测试分析的准确性，可用性高。

在一些可选实施例中，针对每个第一类测试数据，还可以由数据处理服务器自动标注与自动驾驶相关的事件标签，标注事件标签的过程可以执行数据切分之后执行，本公开对此不作限定。

其中，事件标签包括以下至少一项：自动驾驶设备所在位置的事件标签、自动驾驶设备行驶速度的事件标签、他车所在位置的事件标签、他车行驶速度的事件标签。

在一个可能的实现方式中，数据处理服务器可以提供手动添加事件标签的接口，获取数据处理人员通过数据处理服务器对应的网页端手动添加的与自动驾驶相关的事件标签，手动添加的事件标签包括但不限于急刹原因、切换到手动驾驶的原因等。

上述实施例中，数据处理服务器可以自动在每个第一类测试数据中，标注与自动驾驶相关的事件标签，提高后续自动驾驶测试分析的效率，可用性高。

上述实施例介绍了针对第一类测试数据对应执行的数据处理方案，下面再针对第二类测试数据，介绍对应的数据处理方案。

在本公开实施例中，待处理的自动驾驶测试数据可以包括第二类测试数据，所述第二类测试数据是与自动驾驶性能分析相关的测试数据。

数据处理服务器根据测试数据的类型与数据处理方式的对应关系，针对第二类测试数据，可以确定对应的数据处理方式为顺序执行数据质量检测处理和自动驾驶评测处理。

其中，数据处理服务器对第二类测试数据执行数据质量检测处理的过程中，可以确定第二类测试数据的测试数据时长、确定第二类测试数据的测试数据量、确定第二类测试数据中是否存在丢失数据。

数据处理服务器对第二类测试数据执行自动驾驶评测数量的过程中，可以包括以下至少一项：基于所述第二类测试数据与自动驾驶预期值之间的差值，对自动驾驶过程的可靠性进行评测；基于所述第二类测试数据，对自动驾驶设备的硬件系统进行评测；基于所述第二类测试数据，对自动驾驶过程预判他车行为的准确度进行评测；基于所述第二类测试数据，对所述自动驾驶设备的控制操作的准确度进行评测。

在本公开实施例中，数据处理服务器可以基于第二类测试数据，对自动驾驶过程的整体性能进行评测，具体的评测处理过程与针对第一类测试数据执行自动驾驶评测处理的过程类似，在此不再赘述。

上述实施例中，数据处理服务器可以针对第二类测试数据，自动执行数据质量检测处理和自动驾驶评测处理，避免人工执行数据处理时出现的误操作，提高了数据处理的效率。

下面再针对第三类测试数据，介绍对应的数据处理方案。

在本公开实施例中，待处理的自动驾驶测试数据可以包括第三类测试数据，所述第三类测试数据是与自动驾驶数据采集相关的测试数据。

相应地，数据处理服务器根据测试数据的类型与数据处理方式的对应关系，确定第三类测试数据对应的数据处理方式为执行数据质量检测处理。

其中，数据处理服务器对第三类测试数据执行数据质量检测处理的过程中，可以确定第三类测试数据的测试数据时长、确定第三类测试数据的测试数据量、确定第三类测试数据中是否存在丢失数据。

上述实施例中，数据处理服务器可以针对第三类测试数据，自动执行数据质量检测处理，避免人工执行数据处理时出现的误操作，提高了数据处理的效率。

在一些可选实施例中，例如图3所示，在步骤103之后，上述方法还可以包括以下步骤104：

在步骤104中，将处理后的自动驾驶测试数据，上传到自动驾驶测试平台。

在本公开实施例中，处理后的自动驾驶测试数据包括以下至少一项：针对第一类测试数据顺序执行数据质量检测处理、自动驾驶评测处理和数据切分处理后所得到的自动驾驶测试数据；针对第二类测试数据，顺序执行数据质量检测处理和自动驾驶评测处理后所得到的自动驾驶测试数据；针对第三类测试数据，执行数据质量检测处理后所得到的自动驾驶测试数据。

数据处理服务器可以将上述处理后的自动驾驶测试数据，上传到自动驾驶测试平台，由自动驾驶测试平台基于处理后的自动驾驶测试数据执行自动驾驶测试分析。

上述实施例中，数据处理服务器在对待处理的自动驾驶测试数据汇总不同类型的测试数据执行对应的数据处理后，将处理后的自动驾驶测试数据自动上传到自动驾驶测试平台，以便进行自动驾驶测试分析，实现简便，可用性高。

在一些可选实施例中，例如图4所示，在步骤103之后，上述方法还可以包括以下步骤105：

在步骤105中，基于已处理的自动驾驶测试数据，生成数据分析报告。

其中，数据分析报告中包括以下至少一项：已处理的自动驾驶测试数据时长、已处理的自动驾驶测试数据量、已处理的自动驾驶测试数据对应的测试日期、数据质量检测处理结果、处理后的自动驾驶测试数据的上传路径、异常的自动驾驶事件原因。

在一个可能的实现方式中，数据处理服务器可以周期性生产数据分析报告，例如每天自动基于已处理的自动驾驶测试数据，生成数据分析报告。上述实施例中，可以由数据处理服务器在对待处理的自动驾驶测试数据中不同类型的测试数据进行处理后，基于已处理的自动驾驶测试数据，周期性自动生成数据分析报告，以便数据处理工作人员根据数据分析报告对数据处理过程进行监督，可用性高。

在一些可选实施例中，例如图5所示，上述方法还可以包括以下步骤106：

在步骤106中，显示目标硬件设备的状态信息。

在本公开实施例中，目标硬件设备是存储所述待处理的自动驾驶测试数据的硬件设备。其中，所述状态信息包括以下至少一项：所述目标硬件设备的设备数目、所述目标硬件设备的设备标识信息、待处理的自动驾驶测试数据的处理状态信息、待处理的自动驾驶测试数据的数据处理进度信息、处理后的自动驾驶测试数据的数据上传进度信息。

数据处理服务器可以在前端界面上显示上述状态信息，其中前端界面可以通过但不限于由PYQT5语言编写。

在一个可能的实现方式中，目标硬件设备的设备数目可以是目前接入数据处理服务器的、用于存储待处理的自动驾驶测试数据的目标硬件设备的数目。

在一个可能的实现方式中，设备标识信息可以是目标硬件设备的物理地址、设备编号等。

在一个可能的实现方式中，待处理的自动驾驶测试数据处理状态信息包括但不限于数据处理服务器对不同类型的待处理的自动驾驶测试数据目前所处的数据处理阶段，例如针对第一类测试数据正在执行数据切分处理。

在另一个可能的实现方式中，数据处理服务器可以显示待处理的自动驾驶测试数据的数据处理进度信息，例如数据处理进度50％。或者，数据处理服务器还可以显示处理后的自动驾驶测试数据上传到自动驾驶测试平台的数据上传进度信息，例如上传进度为10％。

上述实施例中，数据处理服务器可以在前端界面上显示目标硬件设备的状态信息，便于提高数据处理效率，可用性高。

在一些可选实施例中，本公开提供的数据处理方式例如图6所示。

其中，数据处理服务器可以根据测试数据的类型与数据处理方式的对应关系，通过数据处理方式确定模块确定不同类型的待处理的自动驾驶测试数据对应的数据处理方式。

对不同类型的待处理的自动驾驶测试数据都可以先通过数据质量检测处理模块执行数据质量检测处理，其中，数据质量检测处理包括以下至少一项：测试数据时长检测处理、测试数据量检测处理、丢失数据检测处理。

如果通过数据质量检测处理确定出异常的测试数据，可以通过异常数据核验模块对异常数据再次进行数据质量检测，例如从待处理的自动驾驶数据中获取丢失数据。

对于数据质量检测合格的第一类测试数据，可以通过自动驾驶评测处理模块、数据切分处理模块顺序执行自动驾驶评测处理、数据切分处理，对数据切分处理得到的测试数据可以再次通过数据质量检测处理模块执行数据质量检测处理，得到相应的处理后的自动驾驶测试数据。

对于数据质量检测合格的第二类测试数据，可以通过自动驾驶评测处理模块执行自动驾驶评测处理，得到相应的处理后的自动驾驶测试数据。

将数据质量检测合格的第三类测试数据作为相应的处理后的自动驾驶测试数据。

数据处理服务器后续可以将处理后的自动驾驶测试数据上传到自动驾驶检测平台。

另外，数据处理服务器可以基于已处理的自动驾驶测试数据，生成数据分析报告。

另外，数据处理服务器可以针对切分后的每个第一类测试数据，通过事件标注模块进行自动化标注，标注出与自动驾驶相关的事件标签，在一个可能的实现方式中，数据处理服务器可以提供手动输入事件标签的接口。

上述实施例中，数据处理服务器可以根据测试数据的类型与数据处理方式的对应关系，确定待处理的自动驾驶测试数据中不同类型的测试数据对应的数据处理方式，基于确定的数据处理方式，对待处理的自动驾驶测试数据中的所述不同类型的测试数据进行处理，确定的数据处理方式至少包括数据质量检测处理。避免人工执行数据处理时出现的误操作，提高了数据处理的效率。

与前述方法实施例相对应，本公开还提供了装置的实施例。

如图7所示，图7是本公开根据一示例性实施例示出的一种数据处理装置框图，装置包括：获取模块301，用于获取待处理的自动驾驶测试数据；数据处理方式确定模块302，用于根据测试数据的类型与数据处理方式的对应关系，确定所述待处理的自动驾驶测试数据中不同类型的测试数据对应的数据处理方式；数据处理模块303，用于基于确定的数据处理方式，对所述待处理的自动驾驶测试数据中的所述不同类型的测试数据进行处理，所述确定的数据处理方式至少包括数据质量检测处理。

在一些可选实施例中，所述待处理的自动驾驶测试数据包括第一类测试数据，所述第一类测试数据是与指定的自动驾驶事件相关的测试数据；所述数据处理方式确定模块包括：根据测试数据的类型与数据处理方式的对应关系，确定所述第一类测试数据对应的数据处理方式为顺序执行所述数据质量检测处理、自动驾驶评测处理和数据切分处理。

在一些可选实施例中，所述数据质量检测处理包括以下至少一项：测试数据时长检测处理、测试数据量检测处理、丢失数据检测处理；所述数据处理模块包括：响应于确定所述第一类测试数据中缺少至少一个传感器对应的测试数据，确定存在丢失数据；响应于确定所述第一类测试数据中包括每个传感器对应的测试数据，确定不存在丢失数据。

在一些可选实施例中，所述数据处理模块包括以下至少一项：基于所述第一类测试数据与自动驾驶预期值之间的差值，对自动驾驶过程的可靠性进行评测；基于所述第一类测试数据，对自动驾驶设备的硬件系统进行评测；基于所述第一类测试数据，对自动驾驶过程预判他车行为的准确度进行评测；基于所述第一类测试数据，对所述自动驾驶设备的控制操作的准确度进行评测。

在一些可选实施例中，所述装置还包括：异常事件确定模块，用于基于所述自动驾驶评测处理的结果，确定所述第一类测试数据中的异常的自动驾驶事件。

在一些可选实施例中，所述数据处理模块包括：从所述第一类测试数据中，切分出与所述异常的自动驾驶事件和/或所述指定的自动驾驶事件相关联的测试数据。

在一些可选实施例中，所述数据处理模块包括：确定所述异常的自动驾驶事件和/或所述指定的自动驾驶事件的起止时间点；从所述第一类测试数据中，切分出所述起止时间点之间的测试数据。

在一些可选实施例中，所述装置还包括：重复检测模块，用于对从所述第一类测试数据中切分出的测试数据再次执行所述数据质量检测处理。

在一些可选实施例中，所述装置还包括：事件标注模块，用于在每个所述第一类测试数据中，标注与自动驾驶相关的事件标签；其中，所述事件标签包括以下至少一项：自动驾驶设备所在位置的事件标签、自动驾驶设备行驶速度的事件标签、他车所在位置的事件标签、他车行驶速度的事件标签。

在一些可选实施例中，所述待处理的自动驾驶测试数据包括第二类测试数据，所述第二类测试数据是与自动驾驶性能分析相关的测试数据；所述数据处理方式确定模块包括：根据测试数据的类型与数据处理方式的对应关系，确定所述第二类测试数据对应的数据处理方式为顺序执行所述数据质量检测处理和自动驾驶评测处理。

在一些可选实施例中，所述待处理的自动驾驶测试数据包括第三类测试数据，所述第三类测试数据是与自动驾驶数据采集相关的测试数据；所述数据处理方式确定模块包括：根据测试数据的类型与数据处理方式的对应关系，确定所述第三类测试数据对应的数据处理方式为执行所述数据质量检测处理。

在一些可选实施例中，所述装置还包括：上传模块，用于将处理后的自动驾驶测试数据，上传到自动驾驶测试平台。

在一些可选实施例中，所述装置还包括：报告生成模块，用于基于已处理的自动驾驶测试数据，生成数据分析报告；其中，所述数据分析报告中包括以下至少一项：所述已处理的自动驾驶测试数据时长、所述已处理的自动驾驶测试数据量、所述已处理的自动驾驶测试数据对应的测试日期、数据质量检测处理结果、处理后的自动驾驶测试数据的上传路径、异常的自动驾驶事件原因。

在一些可选实施例中，所述装置还包括：显示模块，用于显示目标硬件设备的状态信息，所述目标硬件设备是存储所述待处理的自动驾驶测试数据的硬件设备；其中，所述状态信息包括以下至少一项：所述目标硬件设备的设备数目、所述目标硬件设备的设备标识信息、所述待处理的自动驾驶测试数据的处理状态信息、所述待处理的自动驾驶测试数据的数据处理进度信息、处理后的自动驾驶测试数据的数据上传进度信息。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本公开实施例还提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序用于执行上述任一所述的数据处理方法。

在一些可选实施例中，本公开实施例提供了一种计算机程序产品，包括计算机可读代码，当计算机可读代码在设备上运行时，设备中的处理器执行用于实现如上任一实施例提供的数据处理方法的指令。

在一些可选实施例中，本公开实施例还提供了另一种计算机程序产品，用于存储计算机可读指令，指令被执行时使得计算机执行上述任一实施例提供的数据处理方法。

该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

本公开实施例还提供了一种数据处理服务器，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为调用所述存储器中存储的可执行指令，实现上述任一项所述的数据处理方法。

图8为本公开实施例提供的一种数据处理服务器的硬件结构示意图。该数据处理服务器410包括处理器411，还可以包括输入装置412、输出装置413和存储器414。该输入装置412、输出装置413、存储器414和处理器411之间通过总线相互连接。

存储器包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasable programmable readonly memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)，该存储器用于相关指令及数据。

输入装置用于输入数据和/或信号，以及输出装置用于输出数据和/或信号。输出装置和输入装置可以是独立的器件，也可以是一个整体的器件。

处理器可以包括是一个或多个处理器，例如包括一个或多个中央处理器(centralprocessing unit，CPU)，在处理器是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。

存储器用于存储网络设备的程序代码和数据。

处理器用于调用该存储器中的程序代码和数据，执行上述方法实施例中的步骤。具体可参见方法实施例中的描述，在此不再赘述。

可以理解的是，图8仅仅示出了一种数据处理服务器的简化设计。在实际应用中，数据处理服务器还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、控制器、存储器等，而所有可以实现本公开实施例的数据处理服务器都在本公开的保护范围之内。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或者惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

Claims (17)

1.一种数据处理方法，其特征在于，包括：

获取待处理的自动驾驶测试数据；

根据测试数据的类型与数据处理方式的对应关系，确定所述待处理的自动驾驶测试数据中不同类型的测试数据对应的数据处理方式；

基于确定的数据处理方式，对所述待处理的自动驾驶测试数据中的所述不同类型的测试数据进行处理，所述确定的数据处理方式至少包括数据质量检测处理。

2.根据权利要求1所述的方法，其特征在于，所述待处理的自动驾驶测试数据包括第一类测试数据，所述第一类测试数据是与指定的自动驾驶事件相关的测试数据；

所述根据测试数据的类型与数据处理方式的对应关系，确定所述待处理的自动驾驶测试数据中不同类型的测试数据对应的数据处理方式，包括：

根据测试数据的类型与数据处理方式的对应关系，确定所述第一类测试数据对应的数据处理方式为顺序执行所述数据质量检测处理、自动驾驶评测处理和数据切分处理。

3.根据权利要求2所述的方法，其特征在于，所述数据质量检测处理包括以下至少一项：测试数据时长检测处理、测试数据量检测处理、丢失数据检测处理；

对所述第一类测试数据执行所述丢失数据检测处理，包括：

响应于确定所述第一类测试数据中缺少至少一个传感器对应的测试数据，确定存在丢失数据；

响应于确定所述第一类测试数据中包括每个传感器对应的测试数据，确定不存在丢失数据。

4.根据权利要求2或3所述的方法，其特征在于，对所述第一类测试数据执行所述自动驾驶评测处理，包括以下至少一项：

基于所述第一类测试数据与自动驾驶预期值之间的差值，对自动驾驶过程的可靠性进行评测；

基于所述第一类测试数据，对自动驾驶设备的硬件系统进行评测；

基于所述第一类测试数据，对自动驾驶过程预判他车行为的准确度进行评测；

基于所述第一类测试数据，对所述自动驾驶设备的控制操作的准确度进行评测。

5.根据权利要求2-4任一所述的方法，其特征在于，所述方法还包括：

基于所述自动驾驶评测处理的结果，确定所述第一类测试数据中的异常的自动驾驶事件。

6.根据权利要求5所述的方法，其特征在于，对所述第一类测试数据执行所述数据切分处理，包括：

从所述第一类测试数据中，切分出与所述异常的自动驾驶事件和/或所述指定的自动驾驶事件相关联的测试数据。

7.根据权利要求6所述的方法，其特征在于，所述从所述第一类测试数据中，切分出与所述异常的自动驾驶事件和/或所述指定的自动驾驶事件相关联的测试数据，包括：

确定所述异常的自动驾驶事件和/或所述指定的自动驾驶事件的起止时间点；

从所述第一类测试数据中，切分出所述起止时间点之间的测试数据。

8.根据权利要求6或7所述的方法，其特征在于，所述方法还包括：

对从所述第一类测试数据中切分出的测试数据再次执行所述数据质量检测处理。

9.根据权利要求2-8任一项所述的方法，其特征在于，所述方法还包括：

在每个所述第一类测试数据中，标注与自动驾驶相关的事件标签；

其中，所述事件标签包括以下至少一项：

自动驾驶设备所在位置的事件标签、自动驾驶设备行驶速度的事件标签、他车所在位置的事件标签、他车行驶速度的事件标签。

10.根据权利要求1-9任一项所述的方法，其特征在于，所述待处理的自动驾驶测试数据包括第二类测试数据，所述第二类测试数据是与自动驾驶性能分析相关的测试数据；

所述根据测试数据的类型与数据处理方式的对应关系，确定所述待处理的自动驾驶测试数据中不同类型的测试数据对应的数据处理方式，包括：

根据测试数据的类型与数据处理方式的对应关系，确定所述第二类测试数据对应的数据处理方式为顺序执行所述数据质量检测处理和自动驾驶评测处理。

11.根据权利要求1-10任一项所述的方法，其特征在于，所述待处理的自动驾驶测试数据包括第三类测试数据，所述第三类测试数据是与自动驾驶数据采集相关的测试数据；

所述根据测试数据的类型与数据处理方式的对应关系，确定所述待处理的自动驾驶测试数据中不同类型的测试数据对应的数据处理方式，包括：

根据测试数据的类型与数据处理方式的对应关系，确定所述第三类测试数据对应的数据处理方式为执行所述数据质量检测处理。

12.根据权利要求1-11任一所述的方法，其特征在于，在所述对所述待处理的自动驾驶测试数据中的所述不同类型的测试数据进行处理之后，所述方法还包括：

将处理后的自动驾驶测试数据，上传到自动驾驶测试平台。

13.根据权利要求1-12任一项所述的方法，其特征在于，在所述对所述待处理的自动驾驶测试数据中的所述不同类型的测试数据进行处理之后，所述方法还包括：

基于已处理的自动驾驶测试数据，生成数据分析报告；

其中，所述数据分析报告中包括以下至少一项：所述已处理的自动驾驶测试数据时长、所述已处理的自动驾驶测试数据量、所述已处理的自动驾驶测试数据对应的测试日期、数据质量检测处理结果、处理后的自动驾驶测试数据的上传路径、异常的自动驾驶事件原因。

14.根据权利要求1-13任一项所述的方法，其特征在于，所述方法还包括：

显示目标硬件设备的状态信息，所述目标硬件设备是存储所述待处理的自动驾驶测试数据的硬件设备；

其中，所述状态信息包括以下至少一项：

所述目标硬件设备的设备数目、所述目标硬件设备的设备标识信息、所述待处理的自动驾驶测试数据的处理状态信息、所述待处理的自动驾驶测试数据的数据处理进度信息、处理后的自动驾驶测试数据的数据上传进度信息。

15.一种数据处理装置，其特征在于，包括：

获取模块，用于获取待处理的自动驾驶测试数据；

数据处理方式确定模块，用于根据测试数据的类型与数据处理方式的对应关系，确定所述待处理的自动驾驶测试数据中不同类型的测试数据对应的数据处理方式；

数据处理模块，用于基于确定的数据处理方式，对所述待处理的自动驾驶测试数据中的所述不同类型的测试数据进行处理，所述确定的数据处理方式至少包括数据质量检测处理。

16.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-14任一所述的数据处理方法。

17.一种数据处理服务器，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现权利要求1-14中任一项所述的数据处理方法。

Images