CN114428717A

CN114428717A - 基于真实数据的自动驾驶测试场景集更新方法和系统

Info

Publication number: CN114428717A
Application number: CN202111553114.5A
Authority: CN
Inventors: 张泰培; 叶晨桦; 程伟; 胡洁义; 申思琪
Original assignee: International Network Technology Shanghai Co Ltd
Current assignee: Inceptio Star Intelligent Technology Shanghai Co Ltd
Priority date: 2021-12-17
Filing date: 2021-12-17
Publication date: 2022-05-03

Abstract

本发明涉及自动驾驶技术领域，提供一种基于真实数据的自动驾驶测试场景集更新方法和系统。方法包括：根据第一条件，将自动驾驶的真实道路运行数据分为复杂场景数据片段和非复杂场景数据片段；提取所述复杂场景数据片段中的设计运行域ODD元素和动态参数组，并根据所述复杂场景数据片段中的设计运行域ODD元素和动态参数组生成迭代测试场景；基于所述非复杂场景数据片段更新已有测试场景集中逻辑场景的参数空间；本发明通过第一条件引入场景准入规则，自真实道路运行数据中提取复杂场景数据片段，能够快速定位自动驾驶模型处理效果不佳的数据片段，并在此基础上更新测试场景集，为自动驾驶模型的迭代更新提供了更为高效的测试场景基础。

Description

基于真实数据的自动驾驶测试场景集更新方法和系统

技术领域

本发明涉及自动驾驶技术领域，尤其涉及一种基于真实数据的自动驾驶测试场景集更新方法和系统。

背景技术

自动驾驶，又称无人驾驶、电脑驾驶或轮式移动机器人，是依靠计算机与人工智能技术在没有人为操纵的情况下，完成完整、安全、有效的驾驶的一项前沿科技。

然而无人驾驶也面临着许多挑战，比如恶劣的天气、复杂的交通环境等等，因此在某些场景下的表现可能无法匹敌人类驾驶员。为了解决这一问题，需要对自动驾驶模型进行更多的测试和迭代更新，以提高复杂场景下的处理能力。

上述复杂场景存在一个被普遍认同的长尾分布假设，即80％的情况是常见的，而20％情况是罕见的。即使自动驾驶掌握了常见情况，罕见的情况也会不断出现，使得自动驾驶模型很难通过学习和迭代提升自己的能力。

同时，自动驾驶场景具有无限丰富，及其复杂，难以预测，不可穷尽的特点。数量庞大的场景测试集对自动驾驶测试周期，效率，成本要求很高，不利于自动驾驶软件快速迭代升级。

因此，如何提供一种更为有效的自动驾驶测试场景集更新方法和系统，以解决现有技术的自动驾驶模型对长尾分布的复杂场景学习迭代能力不足、测试场景的更新效率低的问题，成为了业内亟需解决的技术问题。

发明内容

本发明提供一种基于真实数据的自动驾驶测试场景集更新方法和系统，用以解决现有技术中自动驾驶模型对长尾分布的复杂场景学习迭代能力不足、测试场景的更新效率低的缺陷，实现更为高效的自动驾驶测试场景更新。

本发明提供一种基于真实数据的自动驾驶测试场景集更新方法，包括：

根据第一条件，将自动驾驶的真实道路运行数据分为复杂场景数据片段和非复杂场景数据片段；所述第一条件是根据自动驾驶能力边界和/或自动驾驶安全边界确定的复杂判据；

提取所述复杂场景数据片段中的设计运行域ODD元素和动态参数组，并根据所述复杂场景数据片段中的设计运行域ODD元素和动态参数组生成迭代测试场景；

基于所述非复杂场景数据片段更新已有测试场景集中逻辑场景的参数空间；所述逻辑场景包括静态路网和动态目标；所述参数空间是指逻辑场景中的物理参数范围和/或物理参数取值集合。

根据本发明提供的一种基于真实数据的自动驾驶测试场景集更新方法，在所述根据第一条件，将自动驾驶的真实道路运行数据分为复杂场景数据片段和非复杂场景数据片段的步骤后，还包括：

标注一一对应有数据ID的所述复杂场景数据片段，得到一个或多个第一标签；

所述第一标签包括所述复杂场景数据片段中的驾驶动作、设计运行域ODD元素或者动态参数。

根据本发明提供的一种基于真实数据的自动驾驶测试场景集更新方法，所述第一标签还包括如下任一者或任多者组合：

所述复杂场景数据片段中的驾驶动作、设计运行域ODD元素或者动态参数在自动驾驶系统中对应的功能单元；

标准标签，所述标准标签是指满足ISO 34504标准的标签；

自定义标签。

根据本发明提供的一种基于真实数据的自动驾驶测试场景集更新方法，所述提取所述复杂场景数据片段中的设计运行域ODD元素和动态参数组的步骤包括：

根据数据ID在所述真实道路运行数据中定位并分割所述复杂场景数据片段；

解析分割得到的所述复杂场景数据片段，提取设计运行域ODD元素和动态参数组。

根据本发明提供的一种基于真实数据的自动驾驶测试场景集更新方法，在所述提取所述复杂场景数据片段中的设计运行域ODD元素和动态参数组，并根据所述复杂场景数据片段中的设计运行域ODD元素和动态参数组生成迭代测试场景的步骤后，还包括：

标注所述迭代测试场景，得到一个或多个第二标签；

所述第二标签包括根据所述第一标签确定的、所述迭代测试场景中的驾驶动作、设计运行域ODD元素或者动态参数。

根据本发明提供的一种基于真实数据的自动驾驶测试场景集更新方法，所述第二标签还包括如下任一者或任多者组合：

所述迭代测试场景中的驾驶动作、设计运行域ODD元素或者动态参数在自动驾驶系统中对应的功能单元；

标准标签，所述标准标签是指满足ISO 34504标准的标签；

自定义标签；

自动驾驶系统和/或测试场景生成软件的版本号；

测试场景类型，所述测试场景类型包括实车测试、仿真测试、问题场景、法规场景、危险场景、事故场景以及感知场景。

根据本发明提供的一种基于真实数据的自动驾驶测试场景集更新方法，所述基于所述非复杂场景数据片段更新已有测试场景集中逻辑场景的参数空间的步骤包括：

标注一一对应有数据ID的所述非复杂场景数据片段，得到一个或多个第三标签；所述第三标签包括所述非复杂场景数据片段中的驾驶动作、设计运行域ODD元素或者动态参数；

根据所述第三标签聚类所述非复杂场景数据片段，得到一个或多个聚类结果；

基于所述聚类结果计算场景分布概率、设计运行域ODD元素分布以及动态参数空间，得到统计结果；

根据所述统计结果更新已有测试场景集中逻辑场景的参数空间，并通过场景生成工具筛选所述参数空间，生成具体场景；所述具体场景是指包括具体参数取值的逻辑场景。

根据本发明提供的一种基于真实数据的自动驾驶测试场景集更新方法，所述第三标签还包括如下任一者或任多者组合：

所述非复杂场景数据片段中的驾驶动作、设计运行域ODD元素或者动态参数在自动驾驶系统中对应的功能单元；

标准标签，所述标准标签是指满足ISO 34504标准的标签；

自定义标签。

根据第二条件，筛选所述复杂场景数据片段，得到未覆盖片段和覆盖片段，并将所述未覆盖片段作为修正后的复杂场景数据片段；

所述第二条件是根据已有测试场景集确定的、所述复杂场景数据片段是否被已有测试场景集覆盖的判据；所述未覆盖片段是未被已有测试场景集覆盖的复杂场景数据片段；所述覆盖片段是被已有测试场景集覆盖的复杂场景数据片段。

根据本发明提供的一种基于真实数据的自动驾驶测试场景集更新方法，所述根据第二条件，筛选所述复杂场景数据片段，得到未覆盖片段和覆盖片段的步骤包括：

获取已有测试场景集中已有测试场景的已有信息集合；

根据所述第一标签，对所述复杂场景数据片段执行判断：

若所述复杂场景数据片段的第一标签不属于已有信息集合，则确定所述复杂场景数据片段为未覆盖片段；

若所述复杂场景数据片段的第一标签属于已有信息集合，则确定所述复杂场景数据片段为覆盖片段。

根据本发明提供的一种基于真实数据的自动驾驶测试场景集更新方法，还包括：

基于所述迭代测试场景，对自动驾驶模型执行软件在环测试和/或硬件在环测试，并根据软件在环测试和/或硬件在环测试结果更新所述自动驾驶模型。

根据本发明提供的一种基于真实数据的自动驾驶测试场景集更新方法，在所述基于所述迭代测试场景，对自动驾驶模型执行软件在环测试和/或硬件在环测试，并根据软件在环测试和/或硬件在环测试结果更新所述自动驾驶模型的步骤后，还包括：

基于所述迭代测试场景，对自动驾驶模型执行封闭场景实车测试，并根据封闭场景实车测试结果更新所述自动驾驶模型。

根据本发明提供的一种基于真实数据的自动驾驶测试场景集更新方法，在所述基于所述迭代测试场景，对自动驾驶模型执行封闭场景实车测试，并根据封闭场景实车测试结果更新所述自动驾驶模型的步骤后，还包括：

基于所述迭代测试场景，对自动驾驶模型执行开放场景可靠性测试和/或驾驶员在环测试，并根据开放场景可靠性测试和/或驾驶员在环测试结果更新所述自动驾驶模型。

根据所述软件在环测试和/或硬件在环测试结果，调整所述第一条件和/或第二条件。

根据所述封闭场景实车测试结果，调整所述第一条件和/或第二条件。

根据本发明提供的一种基于真实数据的自动驾驶测试场景集更新方法，在所述基于所述迭代测试场景，对自动驾驶模型执行开放场景可靠性测试和/或驾驶员在环测试，并根据开放场景可靠性测试和/或驾驶员在环测试结果更新所述自动驾驶模型的步骤后，还包括：

根据所述开放场景可靠性测试和/或驾驶员在环测试结果，调整所述第一条件和/或第二条件。

本发明还提供一种基于真实数据的自动驾驶测试场景集更新系统，包括：

复杂判断模块，用于根据第一条件，将自动驾驶的真实道路运行数据分为复杂场景数据片段和非复杂场景数据片段；所述第一条件是根据自动驾驶能力边界和/或自动驾驶安全边界确定的复杂判据；

迭代测试场景模块，用于提取所述复杂场景数据片段中的设计运行域ODD元素和动态参数组，并根据所述复杂场景数据片段中的设计运行域ODD元素和动态参数组生成迭代测试场景；

参数空间更新模块，用于基于所述非复杂场景数据片段更新已有测试场景集中逻辑场景的参数空间；所述逻辑场景包括静态路网和动态目标；所述参数空间是指逻辑场景中的物理参数范围和/或物理参数取值集合。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于真实数据的自动驾驶测试场景集更新方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于真实数据的自动驾驶测试场景集更新方法的步骤。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于真实数据的自动驾驶测试场景集更新方法的步骤。

本发明提供的基于真实数据的自动驾驶测试场景集更新方法和系统，通过第一条件引入场景准入规则，自真实道路运行数据中提取复杂场景数据片段，能够快速定位自动驾驶模型处理效果不佳的数据片段，并在此基础上更新测试场景集，为自动驾驶模型的迭代更新提供了更为高效的测试场景基础。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的基于真实数据的自动驾驶测试场景集更新方法的流程示意图；

图2是本发明实施例提供的场景准入规则的示意图；

图3是本发明提供的基于真实数据的自动驾驶测试场景集更新系统的结构示意图；

图4是本发明提供的电子设备的结构示意图；

图5是本发明实施例提供的链路流程示意图。

附图标记：

1：复杂判断模块； 2：迭代测试场景模块； 3：参数空间更新模块；

410：处理器； 420：通信接口； 430：存储器；

440：通信总线。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1、图2、图5描述本发明的基于真实数据的自动驾驶测试场景集更新方法。

如图1所示，本发明实施例提供一种基于真实数据的自动驾驶测试场景集更新方法，包括：

步骤102，根据第一条件，将自动驾驶的真实道路运行数据分为复杂场景数据片段和非复杂场景数据片段；所述第一条件是根据自动驾驶能力边界和/或自动驾驶安全边界确定的复杂判据；

步骤104，提取所述复杂场景数据片段中的设计运行域ODD元素和动态参数组，并根据所述复杂场景数据片段中的设计运行域ODD元素和动态参数组生成迭代测试场景；

步骤106，基于所述非复杂场景数据片段更新已有测试场景集中逻辑场景的参数空间；所述逻辑场景包括静态路网和动态目标；所述参数空间是指逻辑场景中的物理参数范围和/或物理参数取值集合。

下面将对本实施例及后续实施例中可能出现的关键词进行解释和说明。

1)ODD：operating design domain，设计运行域；

2)AD：autonomous driving，自动驾驶；

3)MPD XX：Miles Per Disengage XX，平均自动驾驶每XX km需要接管一次；

本实施例中，所述复杂场景数据片段是根据所述第一条件，即场景准入规则确定的，如自动驾驶(L0-L5各级别的自动驾驶)运行过程中，驾驶员主动或被动介入的场景；又如自动驾驶运行过程中，车辆运动状态(速度矢量、加速度矢量、车头朝向、车辆位置等)异常的场景。

在一个优选的实施方式中，所述场景准入规则可以基于驾驶员接管动作设定，即驾驶员接管场景均视为复杂场景。

在一个优选的实施方式中，如图2所示，所述场景准入规则包括AD能力边界规则和安全规则，分别根据自动驾驶能力边界和自动驾驶安全边界确定。

所述AD能力边界规则包括：

N类和/或NA类ODD元素(即预设的特殊ODD元素)场景，例如风、雨、雾、雪、小动物、碎片、摩托车、自行车等。其中，所述N类ODD元素场景是AD系统能够识别并fallback(退出)，即AD系统退出、驾驶员接管的元素场景；所述NA类ODD元素场景是AD系统不能识别的元素场景。(接管等级MPD 3/5)

AD系统故障场景，例如AD系统模块故障、线控系统故障等导致的fallback(退出)。(接管等级MPD 2)

AD功能缺陷场景，例如未规划正确路径等。

所述安全规则包括：

危险场景，例如车辆动态参数超调：CC(定速巡航)横向acc(加速度)大于0.5mpss(m/s²)、ILC(拨杆变道)横向acc大于1mpss，AD纵向acc小于-5mpss、TTC(碰撞时间)小于5s等。(接管等级MPD 0/1)

事故场景，例如并行超车刮蹭、后车追尾等。

目标车特殊行为场景，例如倒车、逆行、匝道低速汇入、超车道停车、超车道低速行驶等。

驾驶员违规行为场景，例如驾驶员不在驾驶位置等。(接管等级MPD 6)

场景准入规则中接管等级MPD定义如下：

MPD 0：预期外，有碰撞风险；

MPD 1：预期外，无碰撞风险；

MPD 2：软硬件问题导致的Fallback；

MPD 3：无法处理的ODD导致的Fallback接管；

MPD 4：驾驶员出现违规行为导致的fallback接管；

MPD 5：超出ODD范围，ODD＝NA，系统无法识别；

MPD 6：由于司机自身原因导致的接管。

本实施例中的设计运行域ODD元素，如直路、坡路、弯道、白天、夜晚、风、雨、雾、高速路等，同样对应有物理参数空间，如坡路的坡度、弯道的曲率、白天的光照强度、雾的能见度等。

本实施例的有益效果在于：

通过第一条件引入场景准入规则，自真实道路运行数据中提取复杂场景数据片段，能够快速定位自动驾驶模型处理效果不佳的数据片段，并在此基础上更新测试场景集，为自动驾驶模型的迭代更新提供了更为高效的测试场景基础。

根据上述实施例，在本实施例中：

所述提取所述复杂场景数据片段中的设计运行域ODD元素和动态参数组的步骤包括：

在所述根据第一条件，将自动驾驶的真实道路运行数据分为复杂场景数据片段和非复杂场景数据片段的步骤后，还包括：

第一标签的目的在于给出所述复杂场景数据片段超出自动驾驶能力边界和/或自动驾驶安全边界的原因标注，例如急刹导致纵向负加速度超调(即纵向负加速度超出给定的范围，该给定的范围可以是基于自动驾驶能力边界和/或自动驾驶安全边界确定的)，则存在两个第一标签，分别为急刹(驾驶动作)、纵向负加速度及其取值(动态参数)。

所述第一标签还包括如下任一者或任多者组合：

标准标签，所述标准标签是指满足ISO 34504标准的标签；

自定义标签。

值得说明的是，所述第一标签的标注时机，既可以在步骤102执行后，又可以为步骤102执行时；所述第一标签的标注主体，可以为步骤102的执行主体和/或步骤104的执行主体。

在所述提取所述复杂场景数据片段中的设计运行域ODD元素和动态参数组，并根据所述复杂场景数据片段中的设计运行域ODD元素和动态参数组生成迭代测试场景的步骤后，还包括：

标注所述迭代测试场景，得到一个或多个第二标签；

所述第二标签还包括如下任一者或任多者组合：

标准标签，所述标准标签是指满足ISO 34504标准的标签；

自定义标签；

自动驾驶系统和/或测试场景生成软件的版本号；

值得说明的是，所述第二标签的标注时机既可以为生成所述迭代测试场景之后，又可以为生成所述迭代测试场景之时，还可以为生成所述迭代测试场景前(即确定所述静态设计运行域ODD元素、动态参数组后)。

所述基于所述非复杂场景数据片段更新已有测试场景集中逻辑场景的参数空间的步骤包括：

所述第三标签还包括如下任一者或任多者组合：

标准标签，所述标准标签是指满足ISO 34504标准的标签；

自定义标签。

类似于第一标签，第二标签、第三标签的目的之一在于给出所述迭代测试场景、所述非复杂场景数据片段超出自动驾驶能力边界和/或自动驾驶安全边界的原因标注。

此外，第二标签还能够作为测试过程中对测试场景进行检索的关键词；第三标签还能够用于聚类。

在一个优选的实施方式中，所述第一标签、第二标签以及第三标签均满足ISO34504标准，这一优选实施方式能够提升本实施例得到的测试场景集的通用性。

本实施例引入了针对复杂场景数据片段的第一标签和针对迭代测试场景的第二标签；第一标签的引入，一方面能够有效提升步骤104的执行效率(即通过第一标签进行覆盖/未覆盖的筛选)，另一方面能够为后续生成的迭代测试场景的第二标签提供标注基础；进一步地，通过引入第二标签，能够提高自动驾驶模型的测试过程中，测试场景的搜索效率，从而提高自动驾驶测试的效率和针对性。

根据上述任一实施例，在本实施例中：

所述根据第二条件，筛选所述复杂场景数据片段，得到未覆盖片段和覆盖片段的步骤包括：

获取已有测试场景集中已有测试场景的已有信息集合；

根据所述第一标签，对所述复杂场景数据片段执行判断：

本实施例在上述实施例的基础上，针对不同于生成迭代测试场景(记为第一执行链路)的第二执行链路进行了限定。下面将对第一执行链路和第二执行链路做具体说明。

对于自动驾驶的真实道路运行数据，基于第一条件将其分为复杂场景数据片段和非复杂场景数据片段，并将所述非复杂场景数据片段作为第二执行链路的输入；

对于复杂场景数据片段，基于第二条件将其进一步筛选为未覆盖片段和覆盖片段，并将所述未覆盖片段(即更新后的复杂场景数据片段)作为第一执行链路的输入、所述覆盖片段作为第二执行链路的输入；

则本实施例中，自动驾驶的真实道路运行数据的每一个片段均能得到有效的利用。

在一个优选的实施方式中，如图5所示，自动驾驶的真实道路运行数据经处理后得到运营moment数据作为基础输入量，随后通过场景准入定义(即第一条件)进行场景识别：

对于满足复杂场景定义的数据片段，即复杂场景数据片段进行复杂场景标注，随后基于评价规则，通过工具链数据分析工具进行二次判断，以筛选出场景识别中漏掉的非复杂场景，二次判断后，通过场景生成工具执行场景提取(即步骤104)，生成迭代测试场景并添加至场景库，以供测试平台测试；

对于不满足复杂场景定义的数据片段和二次判断中排除(pass)的数据片段，即非复杂数据片段，依次基于标签(tag)聚类、场景统计、场景筛选后，结合测试平台的测试结果，通过场景生成工具对场景库中逻辑场景的参数空间进行更新。

在一个优选的实施方式中，已有测试场景集包括三个层级的测试场景，即功能场景、逻辑场景、具体场景；所述功能场景，如静态路网为高速、双车道、弯道等，动态目标包括主车(左车道)、目标车、跟车等，包括至少一个逻辑场景；所述逻辑场景，如左车道宽度为2.5-3.75m、右车道宽度为2.5-3.75m、弯道曲率为300-900m、主车位置坐标为0-100m、前车位置坐标为0-110m、前车位置坐标大于主车位置坐标，包括至少一个具体场景(如左车道宽度为3m、右车道宽度为3m、弯道曲率为500m、主车位置坐标为80m、前车位置坐标为100m、前车位置坐标大于主车位置坐标)。

所述第一执行链路的目的在于，通过所述未覆盖片段的输入，生成不同于已有测试场景集中存在的逻辑场景的、新的逻辑场景(即迭代测试场景)，从而引入自动驾驶的真实道路运行数据中发现的、新的测试场景。

所述第二执行链路的目的在于，通过所述非复杂场景数据片段和/或所述覆盖片段的输入，更新已有测试场景集中存在的逻辑场景，从而得到新的具体场景，进而丰富已有逻辑场景的参数取值。

也就是说，第一执行链路、第二执行链路能够分别对已有测试场景集进行更新、完善，从而使得后续的自动驾驶模型测试更具针对性、获得更好的自动驾驶模型迭代效率。

根据上述任一实施例，本实施例方法还包括：

在所述基于所述迭代测试场景，对自动驾驶模型执行软件在环测试和/或硬件在环测试，并根据软件在环测试和/或硬件在环测试结果更新所述自动驾驶模型的步骤后，还包括：

在所述基于所述迭代测试场景，对自动驾驶模型执行封闭场景实车测试，并根据封闭场景实车测试结果更新所述自动驾驶模型的步骤后，还包括：

在所述基于所述迭代测试场景，对自动驾驶模型执行开放场景可靠性测试和/或驾驶员在环测试，并根据开放场景可靠性测试和/或驾驶员在环测试结果更新所述自动驾驶模型的步骤后，还包括：

本实施例通过设置测试流程，逐步迭代自动驾驶模型，能够使得缺陷场景测试过程中的人员、设备、软件风险更为可控，从而实现更为安全的测试-迭代-更新流程。

进一步地，本实施例通过自动驾驶模型版本迭代过程中的测试结果(如测试通过率)对所述第一条件和/或第二条件进行修订调整，形成反馈调节机制，随着自动驾驶模型版本的迭代和更新，这一机制能够带来更高的场景集更新效率。

在一个优选的实施方式中，对于某一特定第二标签的迭代测试场景，应持续关注自动驾驶模型迭代更新后的数个版本中，在该场景下的测试通过率(在一个优选方案中，还可以酌情增加该场景的测试数量和比例)，以确保更新迭代后的自动驾驶模型能够保持解决这类缺陷的能力。

根据上述任一实施例，在本实施例中：

本实施例在基于真实数据进行场景生成的方案(如将真实数据进行特征提取、数据标注，场景聚类及统计分析等操作后生成逻辑场景，通过静态元素关联关系及动态参数分布进行不同排列组合及遍历取值，大规模生成具体场景；又如，基于海量路采数据，统计构建逻辑场景参数空间，分析场景参数相关性，再对场景KPI评价，通过随机取样生成具体场景)的基础上，进一步解决了如下问题：

1、场景覆盖度：目前场景库开发主要有两个输入：自动驾驶系统功能定义文档(FD)以及自动驾驶系统运行区域(ODD)定义。通过对功能设计文档梳理分析，对静态场景，动态场景复杂度分析，将ODD元素组合及设计参数范围做出合理展开，生成较高覆盖度的实车、仿真场景测试集。但是基于理论展开后的具体场景无法安完全映射/覆盖真实道路遇到的复杂场景。因此通过真实数据输入，将数据中的极端场景，危险场景，AD能力边界场景，AD系统故障，AD功能逻辑缺陷等复杂场景挖掘出来，通过测试管理平台对场景进行统计和聚类，再通过合理的参数及ODD元素组合，重构出更多合理的复杂场景，提高场景的覆盖度。

2、场景合理高效：定义合理的场景筛选规则，通过场景生成工具能够自动筛选出组合有效，数量可控，且面向不同测试需求的场景测试集。例如模块算法迭代场景测试集，感知系统功性能场景测试集，阶段性整车功性能验证场景测试集集，重点问题场景测试集等等。因此通过真实数据分析计算，可以得到典型场景的概率分布，参数概率分布，ODD元素组合概率分布，用以修正场景筛选规则。同时对复杂场景加上标签，用于场景聚类及方便筛选不同测试场景集。

具体地，本实施例提供的方法包括5个阶段：

第一阶段：定义场景准入规则即哪些路测场景我们需要重点关注，需要从AD能力边界，安全，用户体验的角度考虑。

第二阶段：将需要关注的场景类型整理成需求文档，在开放道路测试时打标，标记信息需要简洁描述具体场景，并将场景打上适用的标签，同时在测试报告对复杂场景归类并注明复杂场景数据ID号。

第三阶段：通过测试报告场景数据ID在测试数据回放平台进行数据分析，首先判断打标场景是否与场景准入定义相符，场景标签是否正确，场景数据是否正确link到复杂场景数据库中。如上述操作不正确需进行修正。其次需判断复杂场景数据是否被目前场景库和实车仿真测试集所覆盖。

第四阶段：将被场景库或场景测试集未覆盖的复杂场景的静态元素/动态参数进行提取，输入到场景生成工具中，基于场景筛选规则以及场景生成工具中定义的tag生成不同测试需求的具体场景集。

第五阶段：将生成的场景测试集进行实车和仿真测试，通过测试结果反馈进一步修正场景准入规则及场景筛选规则，使场景库构建形成良性循环。

更具体地，下面将结合上海至济南往返1700km自动驾驶的数据提取复杂场景进行举例说明。

阶段一：场景准入定义。

首先对开放道路中重点关注的场景进行定义，可以准入场景库的场景类型定义可以参考图2示出的内容。

阶段二：获取复杂场景数据片段。

基于上述场景准入定义以及打标说明，在上海济南AD路测过程中在测试平台进行数据打标，整个测试过程中复杂场景打标156个，通过归类形成31个场景类别。

阶段三：分析场景数据。

对路测31类复杂场景与目前场景库以及实车，仿真场景测试集进行mapping，梳理出其中29类复杂场景已经覆盖测试了，剩余的12类目前的场景集并未覆盖，需要进行场景提取。

阶段四：场景提取生成。

通过数据回放平台，提取出场景属于哪个功能，场景的静态ODD元素，场景中主车，目标车的初始位置，速度参数，动作类型，动作持续时间等参数，按格式将场景生成的所有要素填入场景生成工具中。另外，为便于场景分类以及筛选不同测试集，需要在场景生成工具中将场景的标签打上。

阶段五：场景应用。

生成的具体场景可以转化为不同的格式在不同的测试平台上测试，例如可以应用于SIL(软件在环)测试，HIL(硬件在环)测试，封闭场景实车测试，DIL(驾驶员在环)测试。通过场景筛选规则筛选出测试集可以满足不同的测试需求，例如当前版本存在的问题场景首先可应用于下一个软件版本的SIL/HIL仿真测试，通过后将问题场景加到封闭场景测试集中进行封闭场景实车测试，通过后再释放到开放道路进行可靠性测试。通常这个测试流程在1-2天内完成，大大加速了自动驾驶软件的迭代升级，同时也极大程度确保开放道路的测试安全。

测试结果通过率，测试平台计算的场景分布概率，将应用于修正场景准入规则以及场景筛选规则，在此不再赘述。

本实施例的有益效果在于：

基于自动驾驶开发道路真实数据输入，通过定义一套场景准入规则，结合测试平台数据记录，自动打标，数据可视化回放功能，可以在海量的自动驾驶数据中快速定位到复杂场景数据片段。通过分析复核后提取出场景元素，填到场景生成工具中，快速生成可用于实车/仿真测试的场景集。另外，通过测试平台可自动计算典型场景分布，用于修正基于理论的场景筛选规则。本实施例得到的场景库，能有效覆盖真实道路的复杂场景，生成的具体场景经过一套场景筛选规则筛选出组合合理，数量可控的并且能支持自动驾驶不同测试需求的场景测试集。进一步支持软件开发快速迭代的需求，同时场景库的构建和应用形成正向循环。

也就是说，本实施例：

1、提高了基于理论生成的场景库的覆盖度，使场景库的构建和应用形成正向循环；

2、可快速转化实际道路上遇到的复杂场景，生成满足不同测试平台，不同测试需求的场景测试集，加速软件快速迭代。

下面对本发明提供的基于真实数据的自动驾驶测试场景集更新装置进行描述，下文描述的基于真实数据的自动驾驶测试场景集更新装置与上文描述的基于真实数据的自动驾驶测试场景集更新方法可相互对应参照。

如图3所示，本发明实施例还提供一种基于真实数据的自动驾驶测试场景集更新系统，包括：

复杂判断模块1，用于根据第一条件，将自动驾驶的真实道路运行数据分为复杂场景数据片段和非复杂场景数据片段；所述第一条件是根据自动驾驶能力边界和/或自动驾驶安全边界确定的复杂判据；

迭代测试场景模块2，用于提取所述复杂场景数据片段中的设计运行域ODD元素和动态参数组，并根据所述复杂场景数据片段中的设计运行域ODD元素和动态参数组生成迭代测试场景；

参数空间更新模块3，用于基于所述非复杂场景数据片段更新已有测试场景集中逻辑场景的参数空间；所述逻辑场景包括静态路网和动态目标；所述参数空间是指逻辑场景中的物理参数范围和/或物理参数取值集合。

进一步地，所述基于真实数据的自动驾驶测试场景集更新系统还包括：

第一标签模块，用于标注一一对应有数据ID的所述复杂场景数据片段，得到一个或多个第一标签；

所述第一标签还包括如下任一者或任多者组合：

标准标签，所述标准标签是指满足ISO 34504标准的标签；

自定义标签。

第二标签模块，用于标注所述迭代测试场景，得到一个或多个第二标签；

所述第二标签还包括如下任一者或任多者组合：

标准标签，所述标准标签是指满足ISO 34504标准的标签；

自定义标签；

自动驾驶系统和/或测试场景生成软件的版本号；

第二条件筛选模块，用于根据第二条件，筛选所述复杂场景数据片段，得到未覆盖片段和覆盖片段，并将所述未覆盖片段作为修正后的复杂场景数据片段；

第一测试模块，用于基于所述迭代测试场景，对自动驾驶模型执行软件在环测试和/或硬件在环测试，并根据软件在环测试和/或硬件在环测试结果更新所述自动驾驶模型。

第二测试模块，用于基于所述迭代测试场景，对自动驾驶模型执行封闭场景实车测试，并根据封闭场景实车测试结果更新所述自动驾驶模型。

第三测试模块，用于基于所述迭代测试场景，对自动驾驶模型执行开放场景可靠性测试和/或驾驶员在环测试，并根据开放场景可靠性测试和/或驾驶员在环测试结果更新所述自动驾驶模型。

第一调整模块，用于根据所述软件在环测试和/或硬件在环测试结果，调整所述第一条件和/或第二条件。

第二调整模块，用于根据所述封闭场景实车测试结果，调整所述第一条件和/或第二条件。

第三调整模块，用于根据所述开放场景可靠性测试和/或驾驶员在环测试结果，调整所述第一条件和/或第二条件。

所述第二条件筛选模块包括：

已有信息子模块，用于获取已有测试场景集中已有测试场景的已有信息集合；

第一标签判断子模块，用于根据所述第一标签，对所述复杂场景数据片段执行判断：

所述迭代测试场景模块2包括：

定位分割子模块，用于根据数据ID在所述真实道路运行数据中定位并分割所述复杂场景数据片段；

解析提取子模块，用于解析分割得到的所述复杂场景数据片段，提取设计运行域ODD元素和动态参数组。

所述参数空间更新模块3包括：

第三标签子模块，用于标注一一对应有数据ID的所述非复杂场景数据片段，得到一个或多个第三标签；所述第三标签包括所述非复杂场景数据片段中的驾驶动作、设计运行域ODD元素或者动态参数；

聚类子模块，用于根据所述第三标签聚类所述非复杂场景数据片段，得到一个或多个聚类结果；

统计筛选对应子模块，用于基于所述聚类结果计算场景分布概率、设计运行域ODD元素分布以及动态参数空间，得到统计结果；

参数更新子模块，用于根据所述统计结果更新已有测试场景集中逻辑场景的参数空间，并通过场景生成工具筛选所述参数空间，生成具体场景；所述具体场景是指包括具体参数取值的逻辑场景。

所述第三标签还包括如下任一者或任多者组合：

标准标签，所述标准标签是指满足ISO 34504标准的标签；

自定义标签。

图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行基于真实数据的自动驾驶测试场景集更新方法，该方法包括：根据第一条件，将自动驾驶的真实道路运行数据分为复杂场景数据片段和非复杂场景数据片段；所述第一条件是根据自动驾驶能力边界和/或自动驾驶安全边界确定的复杂判据；提取所述复杂场景数据片段中的设计运行域ODD元素和动态参数组，并根据所述复杂场景数据片段中的设计运行域ODD元素和动态参数组生成迭代测试场景；基于所述非复杂场景数据片段更新已有测试场景集中逻辑场景的参数空间；所述逻辑场景包括静态路网和动态目标；所述参数空间是指逻辑场景中的物理参数范围和/或物理参数取值集合。

此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于真实数据的自动驾驶测试场景集更新方法，该方法包括：根据第一条件，将自动驾驶的真实道路运行数据分为复杂场景数据片段和非复杂场景数据片段；所述第一条件是根据自动驾驶能力边界和/或自动驾驶安全边界确定的复杂判据；提取所述复杂场景数据片段中的设计运行域ODD元素和动态参数组，并根据所述复杂场景数据片段中的设计运行域ODD元素和动态参数组生成迭代测试场景；基于所述非复杂场景数据片段更新已有测试场景集中逻辑场景的参数空间；所述逻辑场景包括静态路网和动态目标；所述参数空间是指逻辑场景中的物理参数范围和/或物理参数取值集合。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于真实数据的自动驾驶测试场景集更新方法，该方法包括：根据第一条件，将自动驾驶的真实道路运行数据分为复杂场景数据片段和非复杂场景数据片段；所述第一条件是根据自动驾驶能力边界和/或自动驾驶安全边界确定的复杂判据；提取所述复杂场景数据片段中的设计运行域ODD元素和动态参数组，并根据所述复杂场景数据片段中的设计运行域ODD元素和动态参数组生成迭代测试场景；基于所述非复杂场景数据片段更新已有测试场景集中逻辑场景的参数空间；所述逻辑场景包括静态路网和动态目标；所述参数空间是指逻辑场景中的物理参数范围和/或物理参数取值集合。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种基于真实数据的自动驾驶测试场景集更新方法，其特征在于，包括：

2.根据权利要求1所述的基于真实数据的自动驾驶测试场景集更新方法，其特征在于，在所述根据第一条件，将自动驾驶的真实道路运行数据分为复杂场景数据片段和非复杂场景数据片段的步骤后，还包括：

3.根据权利要求2所述的基于真实数据的自动驾驶测试场景集更新方法，其特征在于，所述第一标签还包括如下任一者或任多者组合：

标准标签，所述标准标签是指满足ISO 34504标准的标签；

自定义标签。

4.根据权利要求2或3所述的基于真实数据的自动驾驶测试场景集更新方法，其特征在于，所述提取所述复杂场景数据片段中的设计运行域ODD元素和动态参数组的步骤包括：

5.根据权利要求2或3所述的基于真实数据的自动驾驶测试场景集更新方法，其特征在于，在所述提取所述复杂场景数据片段中的设计运行域ODD元素和动态参数组，并根据所述复杂场景数据片段中的设计运行域ODD元素和动态参数组生成迭代测试场景的步骤后，还包括：

标注所述迭代测试场景，得到一个或多个第二标签；

6.根据权利要求5所述的基于真实数据的自动驾驶测试场景集更新方法，其特征在于，所述第二标签还包括如下任一者或任多者组合：

标准标签，所述标准标签是指满足ISO 34504标准的标签；

自定义标签；

自动驾驶系统和/或测试场景生成软件的版本号；

7.根据权利要求1所述的基于真实数据的自动驾驶测试场景集更新方法，其特征在于，所述基于所述非复杂场景数据片段更新已有测试场景集中逻辑场景的参数空间的步骤包括：

8.根据权利要求7所述的基于真实数据的自动驾驶测试场景集更新方法，其特征在于，所述第三标签还包括如下任一者或任多者组合：

标准标签，所述标准标签是指满足ISO 34504标准的标签；

自定义标签。

9.根据权利要求1或2所述的基于真实数据的自动驾驶测试场景集更新方法，其特征在于，在所述根据第一条件，将自动驾驶的真实道路运行数据分为复杂场景数据片段和非复杂场景数据片段的步骤后，还包括：

10.根据权利要求9所述的基于真实数据的自动驾驶测试场景集更新方法，其特征在于，所述根据第二条件，筛选所述复杂场景数据片段，得到未覆盖片段和覆盖片段的步骤包括：

获取已有测试场景集中已有测试场景的已有信息集合；

根据所述第一标签，对所述复杂场景数据片段执行判断：

11.根据权利要求1或10所述的基于真实数据的自动驾驶测试场景集更新方法，其特征在于，还包括：

12.根据权利要求11所述的基于真实数据的自动驾驶测试场景集更新方法，其特征在于，在所述基于所述迭代测试场景，对自动驾驶模型执行软件在环测试和/或硬件在环测试，并根据软件在环测试和/或硬件在环测试结果更新所述自动驾驶模型的步骤后，还包括：

13.根据权利要求12所述的基于真实数据的自动驾驶测试场景集更新方法，其特征在于，在所述基于所述迭代测试场景，对自动驾驶模型执行封闭场景实车测试，并根据封闭场景实车测试结果更新所述自动驾驶模型的步骤后，还包括：

14.根据权利要求11所述的基于真实数据的自动驾驶测试场景集更新方法，其特征在于，在所述基于所述迭代测试场景，对自动驾驶模型执行软件在环测试和/或硬件在环测试，并根据软件在环测试和/或硬件在环测试结果更新所述自动驾驶模型的步骤后，还包括：

15.根据权利要求12所述的基于真实数据的自动驾驶测试场景集更新方法，其特征在于，在所述基于所述迭代测试场景，对自动驾驶模型执行封闭场景实车测试，并根据封闭场景实车测试结果更新所述自动驾驶模型的步骤后，还包括：

16.根据权利要求13所述的基于真实数据的自动驾驶测试场景集更新方法，其特征在于，在所述基于所述迭代测试场景，对自动驾驶模型执行开放场景可靠性测试和/或驾驶员在环测试，并根据开放场景可靠性测试和/或驾驶员在环测试结果更新所述自动驾驶模型的步骤后，还包括：

17.一种基于真实数据的自动驾驶测试场景集更新系统，其特征在于，包括：

18.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至16任一项所述基于真实数据的自动驾驶测试场景集更新方法的步骤。

19.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至16任一项所述基于真实数据的自动驾驶测试场景集更新方法的步骤。

20.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至16任一项所述基于真实数据的自动驾驶测试场景集更新方法的步骤。