CN115470118A - 基于环境仿真场景的测试分析方法、装置、介质及设备 - Google Patents

Abstract

本申请公开了基于环境仿真场景的测试分析方法、装置、介质及设备，涉及自动驾驶技术领域，其中方法包括：获取至少一个环境元素集，所述环境元素集包括至少一个目标环境元素；所述目标环境元素指示虚拟交通环境特征；根据所述至少一个环境元素集，生成至少一个环境仿真场景；基于所述至少一个环境仿真场景，对自动驾驶算法执行测试，得到测试结果；根据所述测试结果，确定所述自动驾驶算法的分析结果；所述分析结果指示与各所述目标环境元素对应的分析信息。本申请可以提升仿真测试的全面性和分析的准确性，更好地满足高级别自动驾驶的测试需求。

Description

基于环境仿真场景的测试分析方法、装置、介质及设备

技术领域

本申请涉及自动驾驶技术领域，具体涉及基于环境仿真场景的测试分析方法、装置、介质及设备。

背景技术

自动驾驶的开发流程遵循V字形的开发模式，强调软件开发的协作和速度，将软件开发实现和测试验证有机地结合起来，在保证开发质量的情况下缩短开发周期。其中测试验证包括仿真测试和实车测试，仿真测试囊括了模型在环测试、软件在环测试、处理器在环测试、硬件在环测试、车辆在环测试，实车测试包括了封闭道路测试和开放道路的测试。

在现有技术中，仿真测试主要针对单一的功能场景，譬如对自动紧急刹车(Autonomous Emergency Braking，AEB)、自适应巡航(Adaptive Cruise Control，ACC)等。对这些单一功能场景的评价方式也较单一，主要以通过性为指标，通过性的判定准则也基本以法规为准，在没有法规的情况下通常按照企业标准或以开发测试人员的经验为准。随着自动驾驶级别的不断提升，对自动驾驶的感知、决策和控制的性能要求也逐渐提高，这种单一的功能测试和评价方法无法从自动驾驶的全过程出发进行全面测试和准确评价，也无法满足对高级别感知、决策和控制性能的测试需求。

发明内容

为了提升仿真测试的全面性和分析的准确性，更好地满足高级别自动驾驶的测试需求，本申请提供了基于环境仿真场景的测试分析方法、装置、介质及设备。所述技术方案如下：

第一方面，本申请提供了一种基于环境仿真场景的测试分析方法，所述方法包括：

获取至少一个环境元素集，所述环境元素集包括至少一个目标环境元素；所述目标环境元素指示虚拟交通环境特征；

根据所述至少一个环境元素集，生成至少一个环境仿真场景；

基于所述至少一个环境仿真场景，对自动驾驶算法执行测试，得到测试结果；

根据所述测试结果，确定所述自动驾驶算法的分析结果；所述分析结果指示与各所述目标环境元素对应的分析信息。

可选的，所述获取至少一个环境元素集包括：

获取环境元素库，所述环境元素库包括至少一个环境元素；

从所述环境元素库中选取至少一个环境元素，作为至少一个目标环境元素，并由所述至少一个目标环境元素得到所述环境元素集。

可选的，所述方法还包括：

获取至少一个目标动态对象；所述目标动态对象表征虚拟交通动态对象；

将所述至少一个目标动态对象添加至所述环境仿真场景中，得到目标仿真场景，以对所述自动驾驶算法执行测试。

可选的，所述方法还包括：

基于所述虚拟交通环境特征对应的真实分布信息，配置所述环境元素集中所述至少一个目标环境元素的元素属性信息。

可选的，所述基于所述至少一个环境仿真场景，对自动驾驶算法执行测试，得到测试结果，包括：

获取车辆动力模型、车载传感器模型和自动驾驶算法；

对所述至少一个环境仿真场景、所述车辆动力模型、所述车载传感器模型和所述自动驾驶算法进行集成，得到至少一个测试用例；所述测试用例与所述环境仿真场景一一对应；

执行所述至少一个测试用例，得到测试结果；所述测试结果指示在所述至少一个测试用例中所述自动驾驶算法的测试通过信息。

可选的，所述根据所述测试结果，确定所述自动驾驶算法的分析结果，包括：

确定所述目标环境元素的至少一个元素属性值；

确定至少一个环境仿真场景集，所述环境仿真场景集与所述元素属性值一一对应；

根据所述测试结果，确定所述自动驾驶算法在所述至少一个环境仿真场景集中的测试通过比例信息；

确定所述至少一个元素属性值对应的属性权重；

根据所述自动驾驶算法在所述至少一个环境仿真场景集中的测试通过比例信息和所述至少一个元素属性值对应的属性权重，得到与所述至少一个属性值对应的分析信息；

根据与所述至少一个属性值对应的分析信息，得到与所述目标环境元素对应的分析信息。

可选的，所述方法还包括：

将与各所述目标环境元素对应的分析信息进行相加，得到所述自动驾驶算法的目标分析信息，所述目标分析信息指示所述自动驾驶算法的综合性能。

第二方面，本申请提供了一种基于环境仿真场景的测试分析装置，所述装置包括：

环境元素获取模块，用于获取至少一个环境元素集，所述环境元素集包括至少一个目标环境元素，所述目标环境元素指示虚拟交通环境特征；

环境仿真场景生成模块，用于根据所述至少一个环境元素集，生成至少一个环境仿真场景；

测试模块，用于基于所述至少一个环境仿真场景，对自动驾驶算法执行测试，得到测试结果；

分析模块，用于根据所述测试结果，确定所述自动驾驶算法的分析结果；所述分析结果指示与各所述目标环境元素对应的分析信息。

第三方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如第一方面所述的一种基于环境仿真场景的测试分析方法。

第四方面，本申请提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由所述处理器加载并执行以实现如第一方面所述的一种基于环境仿真场景的测试分析方法。

第五方面，本申请提供了一种计算机程序产品，所述计算机程序产品包括计算机指令，所述计算机指令被处理器执行时实现如第一方面所述的一种基于环境仿真场景的测试分析方法。

本申请提供的基于环境仿真场景的测试分析方法、装置、介质及设备，具有如下技术效果：

本申请提供的方案根据所获取的至少一个环境元素集对应生成至少一个环境仿真场景，环境元素集中所包括的目标环境元素用于指示虚拟交通环境特征；进而基于至少一个环境仿真场景对自动驾驶算法执行测试，得到测试结果；在测试结果的基础上得到自动驾驶算法的分析结果，分析结果指示与各目标环境元素对应的分析信息。本申请提供的方案通过目标环境元素组成环境元素集，进而根据环境元素集生成环境仿真环境，可以实现对多种交通环境的模拟，除了贴近现实的常见环境，还可以模拟现实中极小可能出现的极端环境或复杂环境，提高仿真测试的场景覆盖度，满足各种场景测试需求，从而可以实现对自动驾驶过程全面完备的测试，此外极端环境或复杂环境下的仿真测试还可以帮助自动驾驶算法提升稳定性和鲁棒性；在本申请提供的方案中不是仅针对单一的自动驾驶功能进行测试，而是在环境仿真场景下对自动驾驶全过程进行测试，也可以提升仿真测试的全面性和准确性，满足高级别自动驾驶的测试需求；在本申请提供的方案中在测试结果的基础上，进一步从目标环境元素的角度进行分析，能够得到更为细致准确的分析信息，了解不同环境元素对自动驾驶算法的性能影响程度，以更好地促进算法的迭代优化，满足高级别自动驾驶对性能的高要求。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本申请实施例提供的一种基于环境仿真场景的测试分析方法的流程示意图；

图2是本申请实施例提供的一种环境元素集的组成示意图；

图3是本申请实施例提供的一种基于环境仿真场景对自动驾驶算法执行测试的流程示意图；

图4是本申请实施例提供的一种从目标环境元素的维度分析测试结果的流程示意图；

图5是本申请实施例提供的另一种整体分析测试结果的流程示意图；

图6是本申请实施例提供的一种基于环境仿真场景的测试分析装置的示意图；

图7是本申请实施例提供的用于实现一种基于环境仿真场景的测试分析方法的设备的硬件结构示意图。

具体实施方式

为了提升仿真测试的全面性和分析的准确性，更好地满足高级别自动驾驶的测试需求，本申请实施例提供了基于环境仿真场景的测试分析方法、装置、介质及设备。下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

以下介绍本申请提供的一种基于环境仿真场景的测试分析方法。图1是本申请实施例提供的一种基于环境仿真场景的测试分析方法的流程图，本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。请参照图1，本申请实施例提供的一种基于环境仿真场景的测试分析方法可以包括如下步骤：

S100：获取至少一个环境元素集，环境元素集包括至少一个目标环境元素；目标环境元素指示虚拟交通环境特征。

在本申请实施例中，环境元素集是一个或多个目标环境元素的集合，目标环境元素用于表征虚拟的交通环境特征。在一种可行的实施方式中，目标环境元素可以表征天气环境特征、光照环境特征、道路环境特征和景观环境特征等大类类别，进一步地天气环境特征可以具体表现为晴天、雨天、雪天、雾霾、风速、温度、湿度等，光照环境特征可以具体表现为白天、黑夜等，道路环境特征可以具体表现为道路拓扑结构、车道线类型、道路坡度、道路材质等，景观环境特征可以具体表现为树木、高楼等。在另一种可行的实施方式中，根据环境物体的类别细分目标环境元素，如目标环境元素可以直接表征晴天、白天、树木、交通标志牌等。以上是本申请提供的对交通环境特征的类别划分示例。

目标环境元素配置有元素属性信息，可以包括但不限于元素类别信息、时间信息、位置信息、元素特征信息等，如元素类别信息可以为天气类、道路类、景观类等，元素特征信息可以是对应类别的影响因子，如天气类中的温度、湿度、风速、雨量等信息。在获取多个环境元素集的情况下，不同动态对象集可以包括表征不同类型的环境元素集，或者相同类型的目标环境元素所具有的元素属性信息不相同，目标环境元素的元素属性信息可以根据测试需求具体设计，本申请不作限定。

可行的，步骤S100可以包括以下步骤：

S110：获取环境元素库，环境元素库包括至少一个环境元素。

在一种可行的实施方式中，预先建立环境元素库，环境元素库中的各环境元素表征不同类别的虚拟交通环境要素。在构建环境元素库时，将会对自动驾驶车辆的行为产生影响的环境要素按类别表示成不同的环境元素，并为环境元素配置该类型的环境元素所共有的元素属性变量，例如表征天气环境特征的环境元素的元素属性变量可以包括但不限于温度、风速、湿度、雨量、雪量等，表征景观环境特征的环境元素的元素属性变量可以包括但不限于形状、高度、位置等；表征道路环境特征的环境元素的元素属性变量可以包括但不限于曲率、坡度、摩擦系数等，也即在环境元素库中，环境元素是对同一类型的环境要素的抽象表达和封装。

S120：从环境元素库中选取至少一个环境元素，作为至少一个目标环境元素，并由至少一个目标环境元素得到环境元素集。

在一种可行的实施方式中，如图2所示，从环境元素库中的m个环境元素中多次随机抽取有限个数的环境元素，将抽中的环境元素作为目标环境元素，从而构成不同的环境元素集，例如环境元素集1中可以包括环境元素1、环境元素3......；环境元素集2中可以包括环境元素2......环境元素m；环境元素集n中可以包括环境元素1、环境元素3.....环境元素m，其中某一个环境元素还可以被多次抽取，图2仅是一种示例，并不是对环境元素集的个数和其组成成分的限定。也即，在本申请实施例中，抽取后所得到的各个环境元素集中环境元素(也可用目标环境元素指代)的类别和各元素属性信息可以是不相同的。

在上述实施例中，通过预先构建环境元素库，将会对自动驾驶车辆的行为产生影响的环境元素按类别进行抽象表达和封装，既可以快速得到不同组合情况的环境元素集从而生成覆盖度更高的静态仿真场景，包括可以模拟现实场景中极小可能出现的极端环境或复杂环境，满足各种场景测试需求，从而可以实现对自动驾驶过程全面完备的测试。此外所构建的环境元素库可重复使用，降低在仿真测试环节的开发量，避免对相同类别的环境元素进行重复开发配置，有效提高了测试效率。

在一种可行的实施方式中，若环境元素库中的环境元素是对同一类型的环境要素的抽象表达和封装，则还需要对环境元素进行实例化操作。在本申请实施例中，所述方法还可以包括：基于虚拟交通环境特征对应的真实分布信息，配置环境元素集中至少一个目标环境元素的元素属性信息。

其中，虚拟交通环境特征对应的真实分布信息表征虚拟交通环境特征在现实场景中分布情况。示例性的，以天气环境特征为例，可以根据一年之中晴天与雨天的比例，配置环境元素集中表征天气环境特征的目标环境元素的雨量信息、温度信息等。

在上述实施例中，根据真实分布情况对目标环境元素的元素属性信息进行泛化配置，从而可以更加贴近现实场景，能够满足各种仿真测试的需求，使得仿真测试的结果更有效且具现实参考价值。

在另一种可行的实施方式中，在对环境元素进行实例化操作过程中人为地将元素属性信息设置为极端环境或复杂环境对应的元素属性信息，从而可以利用模拟极端环境或复杂环境的环境仿真场景测试自动驾驶算法的有效性、稳定性和鲁棒性。

S200：根据至少一个环境元素集，生成至少一个环境仿真场景。

在本申请实施例中，将一个环境元素集所包含的一个或多个目标环境元素集成到一个环境仿真场景中，在有多个环境元素集的情况下，分别对应生成多个环境仿真场景，也即一个环境元素集对应一个环境仿真场景，环境仿真场景构成一个模拟现实的具体环境，体现该具体环境下环境元素的属性表现。

在本申请的一个实施例中，基于环境元素集生成对应的环境仿真场景，环境仿真场景可以是逻辑场景、极端气候下的驾驶场景、以及危险驾驶场景等，利用环境仿真场景实现自动驾驶算法对环境元素的感知、对自动驾驶的决策和控制，根据自动驾驶算法在环境仿真场景中的性能表现衡量其在各种环境场景下的真实性能表现。

在本申请的另一个实施例中，基于环境元素集生成的环境仿真场景中还包括了动态对象，利用结合性的仿真场景实现自动驾驶算法对动态对象和环境元素的感知、对自动驾驶的决策和控制。具体地，所述步骤S200可以包括以下步骤：

S210：获取至少一个目标动态对象；目标动态对象表征虚拟交通动态对象。

目标动态对象表征虚拟交通动态对象，例如行人、机动车、动物、路面动态障碍物、空中动态障碍物、变化的交通指示灯等。目标动态对象配置有对象属性信息，可以包括但不限于对象特征信息、数量信息、位置信息、行为信息等。

S220：将至少一个目标动态对象添加至环境仿真场景中，得到目标仿真场景，以对自动驾驶算法执行测试。

利用结合性的目标仿真场景实现自动驾驶算法对动态对象和环境元素的感知、对自动驾驶的决策和控制。进一步地，目标环境要素和目标动态对象之间还可以存在约束关系，例如道路拓扑结构限制了目标动态对象的行驶路径，车道线限制了目标动态对象的的转向、换道等行为。

在上述实施例中，环境元素与动态对象的结合使得仿真场景更加贴近现实场景，增强仿真测试的场景真实性，同时提高仿真测试的场景覆盖范围。

S300：基于至少一个环境仿真场景，对自动驾驶算法执行测试，得到测试结果。

在本申请实施例中，利用仿真测试平台构建环境仿真场景，并运行自动驾驶算法，从而得到在自动驾驶算法指导下的模拟自动驾驶车辆在环境仿真场景中的全过程的自动驾驶情况，并将其作为测试结果。在本申请实施例中，所构建的环境仿真场景并不是用于测试单一的自动驾驶功能，而是用于对从起点到终点的自动驾驶全过程进行测试，从而可以满足高级别自动驾驶测试的需求。

在本申请的一个实施例中，如图3所示，所述步骤S300可以包括以下步骤：

S310：获取车辆动力模型、车载传感器模型和自动驾驶算法。

在一种可行的实施方式中，根据车型、功能等预先构建自动驾驶车辆动力模型，基于动力学对自动驾驶车辆进行建模，包括整车、车身、发动机、转向、制动、前后悬架、轮胎、、空气动力影响等。

在一种可行的实施方式中，对所要测试的自动驾驶车辆搭载的传感器进行建模，包括相机、激光雷达、毫米波雷达、超声波雷达、全球定位系统、惯性测量单元等。

在本申请的一个实施例中，自动驾驶算法包括感知算法、决策算法和控制算法。

S320：对至少一个环境仿真场景、车辆动力模型、车载传感器模型和自动驾驶算法进行集成，得到至少一个测试用例。

可行的，利用仿真测试平台将环境仿真场景、车辆动力模型、车载传感器模型和自动驾驶算法集成为测试用例，测试用例与环境仿真场景一一对应，也相当于测试用例与环境元素集一一对应。

对环境仿真场景、车辆动力模型、车载传感器模型和自动驾驶算法的集成，形成一个闭环的仿真测试系统，以便进行联合仿真测试，在测试自动驾驶算法的同时还可以对车辆动力模型、车载传感器模型也进行测试。

S330：执行至少一个测试用例，得到测试结果；测试结果指示在至少一个测试用例中自动驾驶算法的测试通过信息。

具体地，在仿真测试平台执行测试用例的过程中，车载传感器模型对将当前测试用例中的环境仿真场景的感知信息发送给自动驾驶算法中的感知算法，感知算法经过检测、融合处理后得到目标信息，例如由图像传感器采集的图像信息中检测出天气环境特征；后由决策算法根据目标信息得到相应的决策信息，例如根据天气环境特征指示的可见度重新调整传感器的优先级；控制算法根据决策信息确定控制信息，以控制车辆执行相应的指令。

可行的，根据在执行测试用例的过程中是否符合标准法规或是否出现异常，确定自动驾驶算法的测试通过信息，测试通过信息可以表示为通过或未通过。

进一步地，在环境仿真场景中对自动驾驶车辆车辆的状态进行实时更新。

在上述实施例中，利用对环境仿真场景、车辆动力模型、车载传感器模型和自动驾驶算法的集成，从而形成一个闭环的环境仿真测试系统，从而进行联合仿真测试，提升自动驾驶仿真测试的完备性、可信性和准确性。

S400：根据测试结果，确定自动驾驶算法的分析结果；分析结果指示与各目标环境元素对应的分析信息。

在本申请实施例中，从目标环境元素的角度对测试结果作进一步地分析，进而可以了解各个目标环境元素对自动驾驶算法的影响程度，从而可以更细致地评价自动驾驶算法的性能表现，以便对自动驾驶算法更有针对性地进行迭代优化，满足高级别自动驾驶对性能的高要求，也可以降低道路测试的风险和成本。

可选的，在进行分析评价之前，对所得到的测试结果进行筛选滤波，得到有效的测试结果。

在本申请的一个实施例中，如图4所示，所述步骤S400可以包括以下步骤：

S410：确定目标环境元素的至少一个元素属性值。

示例性的，如表1所示，对于表征天气类别的目标环境要素，其元素属性值可以表现为晴天、雨天、雪天、雾霾天等；对于表征道路类别的目标环境要素，其元素属性值可以表现为曲率、坡度、摩擦系数等，在曲率这一维度的属性值下又可以分为大中小三类。属性值的可能情况需要根据所获取的环境元素集确定，可以对所使用的至少一个环境元素集进行统计，确定各目标环境元素的元素属性值的分布情况。

表1环境元素及元素属性值

S420：确定至少一个环境仿真场景集，环境仿真场景集与元素属性值一一对应。

具体地，根据各元素属性值从所使用的至少一个环境仿真场景中抽取符合元素属性值的环境仿真场景组成与该元素属性值对应的环境仿真场景集。示例性的，对于元素属性值-晴天，将所有模拟晴天环境的环境仿真场景作为一个集合。

在另一种可行的实施方式中，根据元素属性值抽取组成对应的测试用例集，测试用例与环境仿真场景也是一一对应的。

S430：根据测试结果，确定自动驾驶算法在至少一个环境仿真场景集中的测试通过比例信息。

在前述实施例中，测试结果指示在每一个测试用例中自动驾驶算法的测试通过信息，可以表示为通过或未通过。环境仿真场景与测试用例一一对应，也即测试结果也可以指示在每一个环境仿真场景下自动驾驶算法的测试通过信息。示例性的，对于元素属性值-晴天对应的环境仿真场景集，将环境仿真场景集中测试结果为通过的环境仿真场景的个数除以元素属性值-晴天对应的环境仿真场景的总个数，则可以得到测试通过比例信息。

S440：确定至少一个元素属性值对应的属性权重。

可行的，可以根据环境仿真场景集中与元素属性值对应的环境仿真场景的个数之比，确定元素属性值对应的属性权重之比。

可行的，对于同一类目标环境元素，其所涉及的所有元素属性值对应的属性权重之和为1，例如晴天、雨天、雪天等天气类环境元素的元素属性值对应的属性权重之和为1。

S450：根据自动驾驶算法在至少一个环境仿真场景集中的测试通过比例信息和至少一个元素属性值对应的属性权重，得到与至少一个属性值对应的分析信息。

可行的，将元素属性值对应的属性权重与该元素属性值对应的环境仿真场景的测试通过比例信息相乘，得到自动驾驶算法在该元素属性值情况下的分析信息，也即可以描述自动驾驶算法在该元素属性值情况下的性能表现，或可以了解该元素属性值对自动驾驶算法的影响程度。

S460：根据与至少一个属性值对应的分析信息，得到与目标环境元素对应的分析信息。

可行的，可以将在同一类目标环境元素的至少一个元素属性值对应的分析信息相加，得到自动驾驶算法与目标环境元素对应的分析信息。分析信息可以表现为数值。如对于表征天气环境特征的目标环境元素，其对应的分析信息可以表征自动驾驶算法对天气环境的感知能力、决策能力等。

示例性的，对于表征天气环境特征的目标环境元素，以元素属性值-晴天为例，与元素属性值对应的分析信息Score(晴天)＝(模拟晴天环境且测试通过的环境仿真场景的个数/模拟晴天环境的环境仿真场景个数)*晴天对应的属性权重；不同的元素属性值有不同的得分，计算过程可参照晴天对应的分析信息。同时根据一年中不同天气属性值的统计结果，得到不同天气属性值所占的权重，权重累加的结果为1。将各类天气属性值对应的得分和对应权重进行加权求和，则可以得到天气环境特征对应的得分，可以看做是自动驾驶算法对天气环境的性能表现。

示例性的，对于表征光照环境特征的目标环境元素，元素属性值可以表现为白天和黑夜，属性权重各占0.5。以白天为例，对应的分析信息Score(白天)＝(模拟白天环境且测试通过的环境仿真场景的个数/模拟白天环境的环境仿真场景个数)*白天对应属性的权重。

示例性的，对于表征道路环境特征的目标环境元素，元素属性值可以表现为两级的层级，一级元素属性值为曲率、坡度、摩擦系数等维度，以曲率为例，二级元素属性值可以表现为曲率的大、中、小，通过本申请实施例提供的方法，可以基于公路设计规范和非设计规范实现对曲率的完备配置，如公路设计规范规定平原丘陵高速公路弯道最小曲率半径为650m，山区高速公路弯道最小曲率半径为250m，非设计规范则考虑标准之外的道路曲率半径，可以模拟一些边缘道路对应危险测试场景。在另一种可行的实施方式中，不同程度的曲率对应的权重可以根据现实道路曲率的正态分布而设计。以曲率为例，对应的分析信息Score(道路曲率)＝(模拟道路大曲率环境且测试通过的环境仿真场景的个数/模拟道路大曲率环境的环境仿真场景个数)*道路大曲率对应的权重+(模拟道路中曲率环境且测试通过的环境仿真场景的个数/模拟道路中曲率环境的环境仿真场景个数)*道路中曲率对应的权重+(模拟道路小曲率环境且测试通过的环境仿真场景的个数/模拟道路小曲率环境的环境仿真场景个数)*道路小曲率对应的权重。

在其他可行的实施方式中，还可以针对表征静态障碍物的目标环境元素、表征景观环境特征的目标环境元素等，确定对应的分析信息。

在上述实施例中，从目标环境元素及其属性值的角度进一步分析自动驾驶算法的测试结果，可以根据得分的高低了解自动驾驶算法在仿真测试中对目标环境元素的角度的处理表现，例如Score(晴天)高于Score(雨天)则可以说明雨天情况下自动驾驶性能表现变差，Score(天气)低于于Score(景观)则可以说明自动驾驶性能对天气环境特征的识别决策控制等性能较差，也可以说明天气环境特征对对自动驾驶算法的影响程度更大，通过这种对自动驾驶算法的性能表现的更为细致地评价，可以方便对自动驾驶算法更有针对性地进行迭代优化，不断提高自动驾驶算法的性能，降低道路测试的风险和成本，也满足高级别自动驾驶的需求。

进一步地，如图5所示，本申请实施例还可以包括：

S500：将与各目标环境元素对应的分析信息进行相加，得到自动驾驶算法的目标分析信息，目标分析信息指示自动驾驶算法的综合性能。

示例性的，自动驾驶的目标分析信息为得分＝Score(天气)+Score(光照)+Score(道路)+Score(其他)。

进一步地，还可以按照功能需求或测试需求设计不同目标环境元素对应的权重，权重体现目标环境元素的重要性。根据目标环境元素对应的权重和目标环境元素的分析信息进行加权求和，也能够得到可以衡量自动驾驶算法综合性能的目标分析信息。

在上述实施例中，除了从不同目标环境元素的角度细致地分析评价自动驾驶算法的优劣，还可以进行整体的衡量，同时也可以作为算法迭代优化前后的比较依据。

由上述实施例可知，本申请提供的一种基于环境仿真场景的测试分析方法，通过目标环境元素组成环境元素集，进而根据环境元素集生成环境仿真环境，可以实现对多种交通环境的模拟，除了贴近现实的常见环境，还可以模拟现实中极小可能出现的极端环境或复杂环境，提高仿真测试的场景覆盖度，满足各种场景测试需求，从而可以实现对自动驾驶过程全面完备的测试，此外极端环境或复杂环境下的仿真测试还可以帮助自动驾驶算法提升稳定性和鲁棒性；在本申请提供的方案中不是仅针对单一的自动驾驶功能进行测试，而是在环境仿真场景下对自动驾驶全过程进行测试，也可以提升仿真测试的全面性和准确性，满足高级别自动驾驶的测试需求；在本申请提供的方案中在测试结果的基础上，进一步从目标环境元素的角度进行分析，能够得到更为细致准确的分析信息，了解不同环境元素对自动驾驶算法的性能影响程度，以更好地促进算法的迭代优化，满足高级别自动驾驶对性能的高要求。

本申请实施例还提供了一种基于环境仿真场景的测试分析装置600，如图6所示，所述装置600可以包括：

环境元素获取模块610，用于获取至少一个环境元素集，所述环境元素集包括至少一个目标环境元素，所述目标环境元素指示虚拟交通环境特征；

环境仿真场景生成模块620，用于根据所述至少一个环境元素集，生成至少一个环境仿真场景；

测试模块630，用于基于所述至少一个环境仿真场景，对自动驾驶算法执行测试，得到测试结果；

分析模块640，用于根据所述测试结果，确定所述自动驾驶算法的分析结果；所述分析结果指示与各所述目标环境元素对应的分析信息。

在本申请的一个实施例中，所述环境元素获取模块610可以包括：

第一获取单元，用于获取环境元素库，所述环境元素库包括至少一个环境元素；

第二获取单元，用于从所述环境元素库中选取至少一个环境元素，作为至少一个目标环境元素，并由所述至少一个目标环境元素得到所述环境元素集。

在本申请的一个实施例中，所述装置600还可以包括：

第三获取单元，用于获取至少一个目标动态对象；所述目标动态对象表征虚拟交通动态对象；

目标仿真场景生成单元，用于将所述至少一个目标动态对象添加至所述环境仿真场景中，得到目标仿真场景，以对所述自动驾驶算法执行测试。

在本申请的一个实施例中，所述装置600还可以包括：

属性配置模块，用于基于所述虚拟交通环境特征对应的真实分布信息，配置所述环境元素集中所述至少一个目标环境元素的元素属性信息。

在本申请的一个实施例中，所述测试模块630可以包括：

第四获取单元，用于获取车辆动力模型、车载传感器模型和自动驾驶算法；

集成单元，用于对所述至少一个环境仿真场景、所述车辆动力模型、所述车载传感器模型和所述自动驾驶算法进行集成，得到至少一个测试用例；所述测试用例与所述环境仿真场景一一对应；

测试执行单元，用于执行所述至少一个测试用例，得到测试结果；所述测试结果指示在所述至少一个测试用例中所述自动驾驶算法的测试通过信息。

在本申请的一个实施例中，所述分析模块640可以包括：

元素属性值确定单元，用于确定所述目标环境元素的至少一个元素属性值；

环境仿真场景集确定单元，用于至少一个环境仿真场景集，所述环境仿真场景集与所述元素属性值一一对应；

测试通过比例确定单元，用于根据所述测试结果，确定所述自动驾驶算法在所述至少一个环境仿真场景集中的测试通过比例信息；

属性权重确定单元，用于确定所述至少一个元素属性值对应的属性权重；

第一分析单元，用于根据所述自动驾驶算法在所述至少一个环境仿真场景集中的测试通过比例信息和所述至少一个元素属性值对应的属性权重，得到与所述至少一个属性值对应的分析信息；

第二分析单元，用于根据与所述至少一个属性值对应的分析信息，得到与所述目标环境元素对应的分析信息。

需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本申请实施例提供了一种计算机设备，该计算机设备包括处理器和存储器，该存储器中存储有至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的一种基于环境仿真场景的测试分析方法。

图7示出了一种用于实现本申请实施例所提供的一种基于环境仿真场景的测试分析方法的设备的硬件结构示意图，所述设备可以参与构成或包含本申请实施例所提供的装置或系统。如图7所示，设备10可以包括一个或多个(图中采用1002a、1002b，……，1002n来示出)处理器1002(处理器1002可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1004、以及用于通信功能的传输装置1006。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图7所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，设备10还可包括比图7中所示更多或者更少的组件，或者具有与图7所示不同的配置。

应当注意到的是上述一个或多个处理器1002和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到设备10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器1004可用于存储应用软件的软件程序以及模块，如本申请实施例中所述的方法对应的程序指令/数据存储装置，处理器1002通过运行存储在存储器1004内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的一种基于环境仿真场景的测试分析方法。存储器1004可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1004可进一步包括相对于处理器1002远程设置的存储器，这些远程存储器可以通过网络连接至设备10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括设备10的通信供应商提供的无线网络。在一个实例中，传输装置1006包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置1006可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与设备10(或移动设备)的用户界面进行交互。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质可设置于服务器之中以保存用于实现方法实施例中一种基于环境仿真场景的测试分析方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的一种基于环境仿真场景的测试分析方法。

可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实施方式中提供的一种基于环境仿真场景的测试分析方法。

需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备和存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于环境仿真场景的测试分析方法，其特征在于，所述方法包括：

获取至少一个环境元素集，所述环境元素集包括至少一个目标环境元素；所述目标环境元素指示虚拟交通环境特征；

根据所述至少一个环境元素集，生成至少一个环境仿真场景；

基于所述至少一个环境仿真场景，对自动驾驶算法执行测试，得到测试结果；

根据所述测试结果，确定所述自动驾驶算法的分析结果；所述分析结果指示与各所述目标环境元素对应的分析信息。

2.根据权利要求1所述的方法，其特征在于，所述获取至少一个环境元素集包括：

获取环境元素库，所述环境元素库包括至少一个环境元素；

从所述环境元素库中选取至少一个环境元素，作为至少一个目标环境元素，并由所述至少一个目标环境元素得到所述环境元素集。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取至少一个目标动态对象；所述目标动态对象表征虚拟交通动态对象；

将所述至少一个目标动态对象添加至所述环境仿真场景中，得到目标仿真场景，以对所述自动驾驶算法执行测试。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

基于所述虚拟交通环境特征对应的真实分布信息，配置所述环境元素集中所述至少一个目标环境元素的元素属性信息。

5.根据权利要求1所述的方法，其特征在于，所述基于所述至少一个环境仿真场景，对自动驾驶算法执行测试，得到测试结果，包括：

获取车辆动力模型、车载传感器模型和自动驾驶算法；

对所述至少一个环境仿真场景、所述车辆动力模型、所述车载传感器模型和所述自动驾驶算法进行集成，得到至少一个测试用例；所述测试用例与所述环境仿真场景一一对应；

执行所述至少一个测试用例，得到测试结果；所述测试结果指示在所述至少一个测试用例中所述自动驾驶算法的测试通过信息。

6.根据权利要求1所述的方法，其特征在于，所述根据所述测试结果，确定所述自动驾驶算法的分析结果，包括：

确定所述目标环境元素的至少一个元素属性值；

确定至少一个环境仿真场景集，所述环境仿真场景集与所述元素属性值一一对应；

根据所述测试结果，确定所述自动驾驶算法在所述至少一个环境仿真场景集中的测试通过比例信息；

确定所述至少一个元素属性值对应的属性权重；

根据所述自动驾驶算法在所述至少一个环境仿真场景集中的测试通过比例信息和所述至少一个元素属性值对应的属性权重，得到与所述至少一个属性值对应的分析信息；

根据与所述至少一个属性值对应的分析信息，得到与所述目标环境元素对应的分析信息。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将与各所述目标环境元素对应的分析信息进行相加，得到所述自动驾驶算法的目标分析信息，所述目标分析信息指示所述自动驾驶算法的综合性能。

8.一种基于环境仿真场景的测试分析装置，其特征在于，所述装置包括：

环境元素获取模块，用于获取至少一个环境元素集，所述环境元素集包括至少一个目标环境元素，所述目标环境元素指示虚拟交通环境特征；

环境仿真场景生成模块，用于根据所述至少一个环境元素集，生成至少一个环境仿真场景；

测试模块，用于基于所述至少一个环境仿真场景，对自动驾驶算法执行测试，得到测试结果；

分析模块，用于根据所述测试结果，确定所述自动驾驶算法的分析结果；所述分析结果指示与各所述目标环境元素对应的分析信息。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1至7中任一项所述的一种基于环境仿真场景的测试分析方法。

10.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由所述处理器加载并执行以实现如权利要求1至7中任一项所述的一种基于环境仿真场景的测试分析方法。

Images