CN116185867A - 自动驾驶感知回归测试方法、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种自动驾驶感知回归测试方法、计算机设备、存储介质和计算机程序产品。所述方法通过获取针对目标测试项目的测试数据，并根据结构化感知数据确定针对目标测试项目的虚拟场景，进而根据虚拟场景、结构化感知数据和目标响应数据，对目标版本的自动驾驶系统进行回归测试，以得到针对目标版本的回归测试结果，由于本实施例基于测试数据，通过计算机设备模拟与目标测试项目对应的虚拟场景，从而再现历史版本的问题场景，并在该场景下对目标版本的自动驾驶系统进行回归测试，从而得到针对目标版本的回归测试结果，不仅提高了测试效率，且能够降低测试成本。

Description

自动驾驶感知回归测试方法、计算机设备和存储介质

技术领域

本申请涉及回归测试技术领域，特别是涉及一种自动驾驶感知回归测试方法、计算机设备、存储介质和计算机程序产品。

背景技术

随着自动驾驶技术的发展，对自动驾驶系统进行回归测试对于自动驾驶的安全性至关重要。

传统技术中，当自动驾驶感知模块的功能集成到车辆上后，会基于路测人员和实际用户返回的问题，定位到属于感知相关的问题，由感知研发人员针对这些问题进行离线解决(如修改源代码)，然后进行问题验证和修复(即回归测试)。通常，传统技术中对于回归测试的过程在实车上进行。

然而，在实车上进行回归测试，由于历史版本的问题复现困难，导致迭代周期长、成本高且具有一定的安全风险。又由于不同的数据源存在格式不一样的问题，导致在回归测试过程中不同业务需要对不同格式的数据源分别适配一遍。为了得到各个环节的结果，还需要部署各个业务节点环境运行输出，并解析结果，导致下游链路方进行联合调试的环境要求高。因此，传统的基于自动驾驶感知的在线回归测试存在成本高、效率低的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高测试效率的自动驾驶感知回归测试方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种自动驾驶感知回归测试方法。所述方法包括：

获取针对目标测试项目的测试数据，所述测试数据包括车辆行驶过程中的结构化感知数据和标注的目标响应数据；

根据所述结构化感知数据确定针对所述目标测试项目的虚拟场景，所述虚拟场景表征所述车辆行驶过程中的环境信息；

根据所述虚拟场景、所述结构化感知数据和所述目标响应数据，对目标版本的自动驾驶系统进行回归测试，得到针对所述目标版本的回归测试结果。

在其中一个实施例中，所述根据所述虚拟场景、所述结构化感知数据和所述目标响应数据，对目标版本的自动驾驶系统进行回归测试，得到针对所述目标版本的回归测试结果，包括：根据所述虚拟场景和所述结构化感知数据，对目标版本的自动驾驶系统进行回归测试，得到测试响应数据；根据所述测试响应数据和所述目标响应数据，生成针对所述目标版本的回归测试结果。

在其中一个实施例中，所述得到针对所述目标版本的回归测试结果之后，所述方法还包括：生成针对所述目标版本的回归测试结果的标识；根据所述标识，将针对所述目标版本的回归测试结果存储在预设的结构化回归测试结果数据库中。

在其中一个实施例中，所述方法还包括：根据所述结构化回归测试结果数据库，获取所述目标版本的回归测试结果与其他版本的回归测试结果之间的比较结果，所述其他版本为除所述目标版本之外的任意版本；展示所述比较结果。

在其中一个实施例中，所述根据所述结构化感知数据确定针对所述目标测试项目的虚拟场景，包括：针对所述目标测试项目，生成对应的障碍物信息；根据所述障碍物信息和所述结构化感知数据，生成所述虚拟场景。

在其中一个实施例中，所述目标测试项目具有对应的项目标识，所述障碍物信息具有对应的障碍物标识；所述方法还包括：根据所述项目标识和所述障碍物标识，将与所述项目标识对应的目标测试项目的障碍物信息存储在预设的结构化障碍物数据库中。

在其中一个实施例中，所述获取针对目标测试项目的测试数据，包括：从预设的结构化感知数据库中，获取与所述目标测试项目匹配的结构化感知数据；从预设的结构化响应数据库中，获取与所述目标测试项目匹配的目标响应数据。

在其中一个实施例中，所述方法还包括：获取车辆行驶过程中采集的原始感知数据；根据测试项目的项目需求，对所述原始感知数据进行结构化处理，得到与所述测试项目对应的结构化感知数据；根据每个所述测试项目和分别对应的结构化感知数据，生成结构化感知数据库。

在其中一个实施例中，所述方法还包括：获取与每个所述测试项目分别对应的响应数据；对所述响应数据进行结构化处理，得到对应的结构化响应数据；根据每个所述测试项目和分别对应的结构化响应数据，生成结构化响应数据库。

第二方面，本申请还提供了一种自动驾驶感知回归测试装置。所述装置包括：

数据获取模块，用于获取针对目标测试项目的测试数据，所述测试数据包括车辆行驶过程中的结构化感知数据和标注的目标响应数据；

场景确定模块，用于根据所述结构化感知数据确定针对所述目标测试项目的虚拟场景，所述虚拟场景表征车辆行驶过程中的环境信息；

测试模块，用于根据所述虚拟场景、所述结构化感知数据和所述目标响应数据，对目标版本的自动驾驶系统进行回归测试，得到针对所述目标版本的回归测试结果。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上第一方面所述方法的步骤。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上第一方面所述方法的步骤。

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上第一方面所述方法的步骤。

上述自动驾驶感知回归测试方法、装置、计算机设备、存储介质和计算机程序产品，通过获取针对目标测试项目的测试数据，并根据结构化感知数据确定针对目标测试项目的虚拟场景，进而根据虚拟场景、结构化感知数据和目标响应数据，对目标版本的自动驾驶系统进行回归测试，以得到针对目标版本的回归测试结果，由于本实施例基于测试数据，通过计算机设备模拟与目标测试项目对应的虚拟场景，从而再现历史版本的问题场景，并在该场景下对目标版本的自动驾驶系统进行回归测试，从而得到针对目标版本的回归测试结果，不仅提高了测试效率，且能够降低测试成本。

附图说明

图1为一个实施例中自动驾驶感知回归测试方法的流程示意图；

图2为一个实施例中回归测试步骤的流程示意图；

图3为一个实施例中存储回归测试结果步骤的流程示意图；

图4为一个实施例中确定虚拟场景步骤的流程示意图；

图5为一个实施例中获取测试数据步骤的流程示意图；

图6为另一个实施例中自动驾驶感知回归测试方法的流程示意图；

图7为一个实施例中自动驾驶感知回归测试装置的结构框图；

图8为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在自动驾驶领域，回归测试是指基于返回问题修改自动驾驶系统的源代码后，重新测试以验证问题是否被修复，以及验证修改有没有引入新的错误或导致其他代码产生错误的过程。又由于自动驾驶过程中历史版本的问题复现困难，导致传统的在实车上进行回归测试存在迭代周期长、成本高且具有一定的安全风险的问题。基于此，本实施例提供了一种自动驾驶感知回归测试方法，本实施例以该方法应用于计算机设备，并通过计算机设备在历史版本问题的虚拟场景下对自动驾驶系统进行离线回归测试，从而解决上述问题。

在一个实施例中，如图1所示，提供了一种自动驾驶感知回归测试方法，该方法可以包括以下步骤：

步骤102，获取针对目标测试项目的测试数据。

其中，目标测试项目可以是当前需要进行测试的测试项目，测试项目可以是基于自动驾驶系统历史版本的问题而确定的与问题相对应的测试项目，例如，可以是针对障碍物漏检问题的测试项目，或者，也可以是针对障碍物误检问题的测试项目等。测试数据可以是基于目标测试项目而确定的对自动驾驶系统进行回归测试所使用的数据。具体地，测试数据可以包括车辆行驶过程中的结构化感知数据和标注的目标响应数据。其中，感知数据可以是历史版本问题下车辆采集的行驶过程中的相关感知数据，例如，可以截取出现问题时间点前后一段时长内的感知数据，包括但不限于车辆的传感器数据、采集图像数据等。结构化感知数据则可以是对截取的感知数据进行结构化处理后得到的相应数据。标注的目标响应数据则可以是基于该历史版本的问题进行人工干预或修复所确定的车辆应该做出的正确的响应数据，即目标响应。

在本实施例中，当需要对自动驾驶系统进行回归测试时，则计算机设备首先需要获取针对目标测试项目的测试数据，即获取当前需要验证的问题所对应的车辆的感知数据和标注的目标响应数据。

步骤104，根据结构化感知数据确定针对目标测试项目的虚拟场景。

其中，虚拟场景可以是基于结构化感知数据而构建的与历史版本的问题所对应的场景，也即通过模拟的方式再现历史版本的问题所对应的场景，也就是在历史版本的问题下车辆行驶过程中的环境。具体地，虚拟场景表征车辆行驶过程中所在的环境信息，例如，可以是历史版本下漏检的障碍物信息或误检的障碍物信息。在本实施例中，计算机设备可以根据结构化感知数据而模拟针对目标测试项目的虚拟场景，即模拟问题发生时车辆行驶过程中的环境。

步骤106，根据虚拟场景、结构化感知数据和目标响应数据，对目标版本的自动驾驶系统进行回归测试，得到针对目标版本的回归测试结果。

其中，目标版本的自动驾驶系统可以是相对于历史版本的自动驾驶系统升级后得到的升级版本的自动驾驶系统，例如，可以是对出现问题的自动驾驶系统的源代码修改后得到的新版本的自动驾驶系统。回归测试结果是对目标版本的自动驾驶系统进行回归测试后得到的相应结果，该结果可以用于衡量修改后的目标版本的自动驾驶系统的正确性。

具体地，计算机设备可以根据虚拟场景、结构化感知数据和目标响应数据，对目标版本的自动驾驶系统进行回归测试，从而得到针对目标版本的回归测试结果。

上述自动驾驶感知回归测试方法中，计算机设备通过获取针对目标测试项目的测试数据，并根据结构化感知数据确定针对目标测试项目的虚拟场景，进而根据虚拟场景、结构化感知数据和目标响应数据，对目标版本的自动驾驶系统进行回归测试，以得到针对目标版本的回归测试结果，由于本实施例基于测试数据，通过计算机设备模拟与目标测试项目对应的虚拟场景，从而再现历史版本的问题场景，并在该场景下对目标版本的自动驾驶系统进行回归测试，从而得到针对目标版本的回归测试结果，不仅提高了测试效率，且能够降低测试成本。

在一个实施例中，如图2所示，在步骤106中，根据虚拟场景、结构化感知数据和目标响应数据，对目标版本的自动驾驶系统进行回归测试，得到针对目标版本的回归测试结果，具体可以包括：

步骤202，根据虚拟场景和结构化感知数据，对目标版本的自动驾驶系统进行回归测试，得到测试响应数据。

其中，测试响应数据可以是在对应的虚拟场景和结构化感知数据下，目标版本的自动驾驶系统所做出的相关响应的数据，即实际响应数据。例如，若目标测试项目为针对障碍物误检问题的测试项目，则虚拟场景中至少包括历史版本的自动驾驶系统所漏检的障碍物信息，测试响应数据则可以包括目标版本的自动驾驶系统对虚拟场景中的障碍物的检测结果。

在本实施例中，计算机设备可以根据虚拟场景和结构化感知数据，对目标版本的自动驾驶系统进行回归测试，从而可以得到对应的测试响应数据。

步骤204，根据测试响应数据和目标响应数据，生成针对目标版本的回归测试结果。

由于目标响应数据是基于历史版本的问题进行人工干预或修复时所确定的车辆应该做出的正确的响应数据，而测试响应数据是在虚拟场景和结构化感知数据下，目标版本的自动驾驶系统所做出的实际响应数据，因此，计算机设备可以通过比较测试响应数据和目标响应数据，而生成针对目标版本的回归测试结果，以衡量修改后的目标版本的自动驾驶系统的正确性。

在一种场景下，计算机设备还可以对目标版本的回归测试结果进行显示，从而使得测试人员可以直观地了解当前回归测试的结果。

上述实施例中，计算机设备可以根据虚拟场景和结构化感知数据，对目标版本的自动驾驶系统进行回归测试，得到测试响应数据，并根据测试响应数据和目标响应数据，生成针对目标版本的回归测试结果，以衡量修改后的目标版本的自动驾驶系统的正确性。本实施例通过在计算机设备对目标版本的自动驾驶系统进行离线测试，从而避免了传统技术中通过在实车进行回归测试导致迭代周期长、成本高以及安全风险的问题，能够提高测试效率，提高自动驾驶系统应用的安全性。

在一个实施例中，如图3所示，在步骤106中，得到针对目标版本的回归测试结果之后，上述方法还可以包括如下步骤：

步骤302，生成针对目标版本的回归测试结果的标识。

其中，标识可以是与自动驾驶系统的版本以及目标测试项目相对应，用于表示不同测试项目下不同版本的回归测试结果的唯一标记。具体地，计算机设备可以根据回归测试结果所对应的目标测试项目和目标版本而生成对应的标识，以用于区分不同的回归测试结果。

步骤304，根据标识，将针对目标版本的回归测试结果存储在预设的结构化回归测试结果数据库中。

其中，结构化回归测试结果数据库可以是预先设置的用于存放由二维表结构来逻辑表达和实现的回归测试结果的数据存储空间。具体地，计算机设备可以根据上述生成的标识，将针对目标版本的回归测试结果进行存储，从而得到由不同测试项目不同版本的回归测试结果组成的结构化回归测试结果数据库。

上述实施例中，计算机设备可以生成针对目标版本的回归测试结果的标识，并根据标识，将针对目标版本的回归测试结果存储在预设的结构化回归测试结果数据库中，从而实现对不同测试项目不同版本的回归测试结果的结构化存储，有利于其他应用在需要的时候可以直接对回归测试结果的调用。

在一个实施例中，上述方法还可以包括：根据结构化回归测试结果数据库，获取目标版本的回归测试结果与其他版本的回归测试结果之间的比较结果。其中，比较结果可以是不同版本的回归测试结果之间进行比较后得到的结果。其他版本可以是除目标版本之外的任意版本。例如，若目标版本为An，则其他版本可以是除版本An外的任意版本，如可以是版本A(n-1)。由于结构化回归测试结果数据库中存储有不同测试项目不同版本的回归测试结果，因此，可以根据数据库中存储的各版本的回归测试结果，而获取目标版本的回归测试结果与其他版本的回归测试结果之间的比较结果，从而得到对不同版本进行回归测试的准确性差异。在本实施例中，结构化回归测试结果数据库中至少可以包括回归测试结果的唯一标识、测试项目信息、进行测试的自动驾驶系统的版本信息以及对应的回归测试结果。

在一种场景下，计算机设备还可以显示不同版本的回归测试结果之间的比较结果，从而使得测试人员可以直观地了解不同版本的回归测试的差异性。

在一个实施例中，如图4所示，在步骤104中，根据结构化感知数据确定针对目标测试项目的虚拟场景，具体可以包括：

步骤402，针对目标测试项目，生成对应的障碍物信息。

其中，障碍物信息可以包括障碍物的唯一标识、障碍物名称等。在本实施例中，针对目标测试项目，计算机设备可以生成对应的障碍物信息，具体地，计算机设备可以基于生成障碍物的管道(即Pipeline)生成对应的障碍物信息。

步骤404，根据障碍物信息和结构化感知数据，生成虚拟场景。

其中，虚拟场景可以是通过计算机设备模拟的历史版本的问题场景，即通过计算机设备对历史版本问题的场景的再现。在本实施例中，计算机设备可以根据障碍物信息和结构化感知数据，而生成对应的虚拟场景，例如，该虚拟场景中可以包括根据结构化感知数据确定的障碍物的路径信息等。具体地，计算机设备也可以根据生成虚拟场景的管道(即Pipeline)生成对应的虚拟场景。

在本实施例中，计算机设备可以针对目标测试项目，生成对应的障碍物信息，并根据障碍物信息和结构化感知数据，生成虚拟场景，从而实现对历史版本问题的场景再现，便于对自动驾驶系统进行回归测试。

在一个实施例中，目标测试项目可以具有对应的项目标识，障碍物信息则可以具有对应的障碍物标识。则上述方法还可以包括：根据项目标识和障碍物标识，将与项目标识对应的目标测试项目的障碍物信息存储在预设的结构化障碍物数据库中。

其中，结构化障碍物数据库可以是预先设置的用于存放由二维表结构来逻辑表达和实现的障碍物数据的数据存储空间。在本实施例中，为了使得生成的障碍物信息可以在后续或者被其他应用直接调用，计算机设备可以基于各个测试项目所对应的结构化感知数据而生成相应的障碍物信息，从而得到不同测试项目下不同障碍物信息组成的结构化障碍物数据库。具体地，结构化障碍物数据库中至少包括障碍物的唯一标识、测试项目信息等。

在一个实施例中，如图5所示，在步骤102中，获取针对目标测试项目的测试数据，具体还可以包括：

步骤502，从预设的结构化感知数据库中，获取与目标测试项目匹配的结构化感知数据。

其中，结构化感知数据库可以是预先设置的用于存放由二维表结构来逻辑表达和实现的感知数据的数据存储空间。具体地，感知数据可以是历史版本问题下车辆采集的行驶过程中的相关原始感知数据，例如，可以是出现问题时间点前后一段时长内车辆采集的原始感知数据。

在一种场景下，对于每一个历史版本问题所对应的原始感知数据，可以基于对应的测试项目的项目需求，而对原始感知数据进行结构化处理，以得到与测试项目对应的结构化感知数据。进而还可以根据每个测试项目和分别对应的结构化感知数据，而生成结构化感知数据库。从而便于后续对各种历史版本问题进行回归测试时可以直接进行数据的调用，也方便了其他应用对测试数据的调用。

因此，在本实施例中，当需要进行回归测试时，计算机设备可以从预设的结构化感知数据库中，查找并获取与目标测试项目匹配的结构化感知数据。

步骤504，从预设的结构化响应数据库中，获取与目标测试项目匹配的目标响应数据。

其中，结构化响应数据库可以是预先设置的用于存放由二维表结构来逻辑表达和实现的标注的响应数据的数据存储空间。具体地，标注的目标响应数据可以是基于该历史版本的问题进行人工干预或修复所确定的车辆应该做出的正确的响应数据，即目标响应。

在一种场景下，对于每一个历史版本问题所对应的测试项目，可以分别获取对应的标注的响应数据，并对标注的响应数据进行结构化处理，以得到与测试项目对应的结构化响应数据。进而还可以根据每个测试项目和分别对应的结构化响应数据，而生成结构化响应数据库。从而便于后续对各种历史版本问题进行回归测试时可以直接进行数据的调用，也方便了其他应用对标注的响应数据的调用。

因此，在本实施例中，计算机设备可以从预设的结构化响应数据库中，查找并获取与目标测试项目匹配的目标响应数据。

上述实施例中，计算机设备可以直接从预设的结构化感知数据库中，获取与目标测试项目匹配的结构化感知数据，并从预设的结构化响应数据库中，获取与目标测试项目匹配的目标响应数据，从而方便了回归测试时对测试数据的获取。

在一个实施例中，如图6所示，以下进一步说明上述自动驾驶感知回归测试方法，其具体可以包括：

步骤601，获取车辆的原始感知数据。

步骤602，对原始感知数据进行解析及结构化处理，得到处理后的结构化感知数据。

具体地，当计算机设备确定车辆存在感知问题时，确定并截取与问题对应的相关原始感知数据，并对相关原始感知数据进行结构化处理，以得到处理后的结构化感知数据。

步骤603，采用算法Pipeline对结构化感知数据进行处理，构建虚拟场景。

具体地，计算机设备根据上述得到的结构化感知数据，采用构建虚拟场景的算法Pipeline生成对应的虚拟场景。

步骤604，获取针对目标测试项目的目标响应数据。

步骤605，基于目标测试项目以及目标响应数据，在虚拟场景下对目标版本的自动驾驶系统进行回归测试。

步骤606，得到回归测试结果。

在一种场景下，在步骤602之后，还包括：

步骤607，对结构化感知数据进行存储，得到结构化感知数据库。

可以理解的是，结构化感知数据库中存储有车辆的感知数据，以及该感知数据的采集车辆当前加载的自动驾驶系统的版本和对应的感知问题之间的对应关系。因此，在后续需要使用对应的结构化感知数据时，可以直接从结构化感知数据库中进行调用。

在一种场景下，在步骤603之后，还可以包括：

步骤608，对虚拟场景的计算结果进行存储，得到该场景下的结构化障碍物数据库。

该结构化障碍物数据库中存储有具体的障碍物信息与结构化感知数据之间的对应关系，从而便于后续使用时可以直接从数据库中进行调用。

在一种场景下，在步骤604之后，还可以包括：

步骤609，对各测试项目下的响应数据进行存储，得到结构化响应数据库。

在一种场景下，在步骤606之后，还可以包括：

步骤610，对回归测试结果进行存储，得到610。

在一种场景下，在步骤606之后，还可以包括：

步骤611，显示数据。

具体地，可以显示与当前的回归测试相关的结构化感知数据、虚拟场景、标注的目标响应数据以及回归测试结果等。

本实施例基于测试数据，通过计算机设备模拟与目标测试项目对应的虚拟场景，从而再现历史版本的问题场景，并在该场景下对目标版本的自动驾驶系统进行回归测试，从而得到针对目标版本的回归测试结果，不仅提高了测试效率，且能够降低测试成本，而且在整个测试过程中都可视化，还提高了测试过程的可交互性。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的自动驾驶感知回归测试方法的自动驾驶感知回归测试装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个自动驾驶感知回归测试装置实施例中的具体限定可以参见上文中对于自动驾驶感知回归测试方法的限定，在此不再赘述。

在一个实施例中，如图7所示，提供了一种自动驾驶感知回归测试装置，包括：数据获取模块702、场景确定模块704和测试模块706，其中：

数据获取模块702，用于获取针对目标测试项目的测试数据，所述测试数据包括车辆行驶过程中的结构化感知数据和标注的目标响应数据；

场景确定模块704，用于根据所述结构化感知数据确定针对所述目标测试项目的虚拟场景，所述虚拟场景表征车辆行驶过程中的环境信息；

测试模块706，用于根据所述虚拟场景、所述结构化感知数据和所述目标响应数据，对目标版本的自动驾驶系统进行回归测试，得到针对所述目标版本的回归测试结果。

在一个实施例中，测试模块还用于：根据所述虚拟场景和所述结构化感知数据，对目标版本的自动驾驶系统进行回归测试，得到测试响应数据；根据所述测试响应数据和所述目标响应数据，生成针对所述目标版本的回归测试结果。

在一个实施例中，上述装置还包括存储模块，用于生成针对所述目标版本的回归测试结果的标识；根据所述标识，将针对所述目标版本的回归测试结果存储在预设的结构化回归测试结果数据库中。

在一个实施例中，上述装置还包括展示模块，用于根据所述结构化回归测试结果数据库，获取所述目标版本的回归测试结果与其他版本的回归测试结果之间的比较结果，所述其他版本为除所述目标版本之外的任意版本；展示所述比较结果。

在一个实施例中，场景确定模块还用于：针对所述目标测试项目，生成对应的障碍物信息；根据所述障碍物信息和所述结构化感知数据，生成所述虚拟场景。

在一个实施例中，所述目标测试项目具有对应的项目标识，所述障碍物信息具有对应的障碍物标识；存储模块还用于：根据所述项目标识和所述障碍物标识，将与所述项目标识对应的目标测试项目的障碍物信息存储在预设的结构化障碍物数据库中。

在一个实施例中，数据获取模块还用于：从预设的结构化感知数据库中，获取与所述目标测试项目匹配的结构化感知数据；从预设的结构化响应数据库中，获取与所述目标测试项目匹配的目标响应数据。

在一个实施例中，存储模块还用于：获取车辆行驶过程中采集的原始感知数据；根据测试项目的项目需求，对所述原始感知数据进行结构化处理，得到与所述测试项目对应的结构化感知数据；根据每个所述测试项目和分别对应的结构化感知数据，生成结构化感知数据库。

在一个实施例中，存储模块还用于：获取与每个所述测试项目分别对应的响应数据；对所述响应数据进行结构化处理，得到对应的结构化响应数据；根据每个所述测试项目和分别对应的结构化响应数据，生成结构化响应数据库。

上述自动驾驶感知回归测试装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储测试数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种自动驾驶感知回归测试方法。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取针对目标测试项目的测试数据，所述测试数据包括车辆行驶过程中的结构化感知数据和标注的目标响应数据；

根据所述结构化感知数据确定针对所述目标测试项目的虚拟场景，所述虚拟场景表征车辆行驶过程中的环境信息；

根据所述虚拟场景、所述结构化感知数据和所述目标响应数据，对目标版本的自动驾驶系统进行回归测试，得到针对所述目标版本的回归测试结果。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据所述虚拟场景和所述结构化感知数据，对目标版本的自动驾驶系统进行回归测试，得到测试响应数据；根据所述测试响应数据和所述目标响应数据，生成针对所述目标版本的回归测试结果。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：生成针对所述目标版本的回归测试结果的标识；根据所述标识，将针对所述目标版本的回归测试结果存储在预设的结构化回归测试结果数据库中。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据所述结构化回归测试结果数据库，获取所述目标版本的回归测试结果与其他版本的回归测试结果之间的比较结果，所述其他版本为除所述目标版本之外的任意版本；展示所述比较结果。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：针对所述目标测试项目，生成对应的障碍物信息；根据所述障碍物信息和所述结构化感知数据，生成所述虚拟场景。

在一个实施例中，所述目标测试项目具有对应的项目标识，所述障碍物信息具有对应的障碍物标识；处理器执行计算机程序时还实现以下步骤：根据所述项目标识和所述障碍物标识，将与所述项目标识对应的目标测试项目的障碍物信息存储在预设的结构化障碍物数据库中。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：从预设的结构化感知数据库中，获取与所述目标测试项目匹配的结构化感知数据；从预设的结构化响应数据库中，获取与所述目标测试项目匹配的目标响应数据。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取车辆行驶过程中采集的原始感知数据；根据测试项目的项目需求，对所述原始感知数据进行结构化处理，得到与所述测试项目对应的结构化感知数据；根据每个所述测试项目和分别对应的结构化感知数据，生成结构化感知数据库。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取与每个所述测试项目分别对应的响应数据；对所述响应数据进行结构化处理，得到对应的结构化响应数据；根据每个所述测试项目和分别对应的结构化响应数据，生成结构化响应数据库。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取针对目标测试项目的测试数据，所述测试数据包括车辆行驶过程中的结构化感知数据和标注的目标响应数据；

根据所述结构化感知数据确定针对所述目标测试项目的虚拟场景，所述虚拟场景表征车辆行驶过程中的环境信息；

根据所述虚拟场景、所述结构化感知数据和所述目标响应数据，对目标版本的自动驾驶系统进行回归测试，得到针对所述目标版本的回归测试结果。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据所述虚拟场景和所述结构化感知数据，对目标版本的自动驾驶系统进行回归测试，得到测试响应数据；根据所述测试响应数据和所述目标响应数据，生成针对所述目标版本的回归测试结果。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：生成针对所述目标版本的回归测试结果的标识；根据所述标识，将针对所述目标版本的回归测试结果存储在预设的结构化回归测试结果数据库中。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据所述结构化回归测试结果数据库，获取所述目标版本的回归测试结果与其他版本的回归测试结果之间的比较结果，所述其他版本为除所述目标版本之外的任意版本；展示所述比较结果。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：针对所述目标测试项目，生成对应的障碍物信息；根据所述障碍物信息和所述结构化感知数据，生成所述虚拟场景。

在一个实施例中，所述目标测试项目具有对应的项目标识，所述障碍物信息具有对应的障碍物标识；计算机程序被处理器执行时还实现以下步骤：根据所述项目标识和所述障碍物标识，将与所述项目标识对应的目标测试项目的障碍物信息存储在预设的结构化障碍物数据库中。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：从预设的结构化感知数据库中，获取与所述目标测试项目匹配的结构化感知数据；从预设的结构化响应数据库中，获取与所述目标测试项目匹配的目标响应数据。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取车辆行驶过程中采集的原始感知数据；根据测试项目的项目需求，对所述原始感知数据进行结构化处理，得到与所述测试项目对应的结构化感知数据；根据每个所述测试项目和分别对应的结构化感知数据，生成结构化感知数据库。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取与每个所述测试项目分别对应的响应数据；对所述响应数据进行结构化处理，得到对应的结构化响应数据；根据每个所述测试项目和分别对应的结构化响应数据，生成结构化响应数据库。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取针对目标测试项目的测试数据，所述测试数据包括车辆行驶过程中的结构化感知数据和标注的目标响应数据；

根据所述结构化感知数据确定针对所述目标测试项目的虚拟场景，所述虚拟场景表征车辆行驶过程中的环境信息；

根据所述虚拟场景、所述结构化感知数据和所述目标响应数据，对目标版本的自动驾驶系统进行回归测试，得到针对所述目标版本的回归测试结果。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据所述虚拟场景和所述结构化感知数据，对目标版本的自动驾驶系统进行回归测试，得到测试响应数据；根据所述测试响应数据和所述目标响应数据，生成针对所述目标版本的回归测试结果。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：生成针对所述目标版本的回归测试结果的标识；根据所述标识，将针对所述目标版本的回归测试结果存储在预设的结构化回归测试结果数据库中。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据所述结构化回归测试结果数据库，获取所述目标版本的回归测试结果与其他版本的回归测试结果之间的比较结果，所述其他版本为除所述目标版本之外的任意版本；展示所述比较结果。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：针对所述目标测试项目，生成对应的障碍物信息；根据所述障碍物信息和所述结构化感知数据，生成所述虚拟场景。

在一个实施例中，所述目标测试项目具有对应的项目标识，所述障碍物信息具有对应的障碍物标识；计算机程序被处理器执行时还实现以下步骤：根据所述项目标识和所述障碍物标识，将与所述项目标识对应的目标测试项目的障碍物信息存储在预设的结构化障碍物数据库中。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：从预设的结构化感知数据库中，获取与所述目标测试项目匹配的结构化感知数据；从预设的结构化响应数据库中，获取与所述目标测试项目匹配的目标响应数据。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取车辆行驶过程中采集的原始感知数据；根据测试项目的项目需求，对所述原始感知数据进行结构化处理，得到与所述测试项目对应的结构化感知数据；根据每个所述测试项目和分别对应的结构化感知数据，生成结构化感知数据库。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取与每个所述测试项目分别对应的响应数据；对所述响应数据进行结构化处理，得到对应的结构化响应数据；根据每个所述测试项目和分别对应的结构化响应数据，生成结构化响应数据库。

需要说明的是，本申请所涉及的相关数据(包括但不限于用于车辆行驶过程中的结构化感知数据、标注的目标响应的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种自动驾驶感知回归测试方法，其特征在于，所述方法包括：

获取针对目标测试项目的测试数据，所述测试数据包括车辆行驶过程中的结构化感知数据和标注的目标响应数据；

根据所述结构化感知数据确定针对所述目标测试项目的虚拟场景，所述虚拟场景表征所述车辆行驶过程中的环境信息；

根据所述虚拟场景、所述结构化感知数据和所述目标响应数据，对目标版本的自动驾驶系统进行回归测试，得到针对所述目标版本的回归测试结果。

2.根据权利要求1所述的方法，其特征在于，所述根据所述虚拟场景、所述结构化感知数据和所述目标响应数据，对目标版本的自动驾驶系统进行回归测试，得到针对所述目标版本的回归测试结果，包括：

根据所述虚拟场景和所述结构化感知数据，对目标版本的自动驾驶系统进行回归测试，得到测试响应数据；

根据所述测试响应数据和所述目标响应数据，生成针对所述目标版本的回归测试结果。

3.根据权利要求1所述的方法，其特征在于，所述得到针对所述目标版本的回归测试结果之后，所述方法还包括：

生成针对所述目标版本的回归测试结果的标识；

根据所述标识，将针对所述目标版本的回归测试结果存储在预设的结构化回归测试结果数据库中。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

根据所述结构化回归测试结果数据库，获取所述目标版本的回归测试结果与其他版本的回归测试结果之间的比较结果，所述其他版本为除所述目标版本之外的任意版本；

展示所述比较结果。

5.根据权利要求1所述的方法，其特征在于，所述根据所述结构化感知数据确定针对所述目标测试项目的虚拟场景，包括：

针对所述目标测试项目，生成对应的障碍物信息；

根据所述障碍物信息和所述结构化感知数据，生成所述虚拟场景。

6.根据权利要求5所述的方法，其特征在于，所述目标测试项目具有对应的项目标识，所述障碍物信息具有对应的障碍物标识；所述方法还包括：

根据所述项目标识和所述障碍物标识，将与所述项目标识对应的目标测试项目的障碍物信息存储在预设的结构化障碍物数据库中。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述获取针对目标测试项目的测试数据，包括：

从预设的结构化感知数据库中，获取与所述目标测试项目匹配的结构化感知数据；

从预设的结构化响应数据库中，获取与所述目标测试项目匹配的目标响应数据。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

获取车辆行驶过程中采集的原始感知数据；

根据测试项目的项目需求，对所述原始感知数据进行结构化处理，得到与所述测试项目对应的结构化感知数据；

根据每个所述测试项目和分别对应的结构化感知数据，生成结构化感知数据库。

9.根据权利要求7所述的方法，其特征在于，所述方法还包括：

获取与每个所述测试项目分别对应的响应数据；

对所述响应数据进行结构化处理，得到对应的结构化响应数据；

根据每个所述测试项目和分别对应的结构化响应数据，生成结构化响应数据库。

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的方法的步骤。

Images