CN113610166B - 一种用于建立针对智能车辆的测试场景库的方法 - Google Patents

Abstract

本发明提供一种用于建立针对智能车辆的测试场景库的方法，包括：基于自然驾驶数据(NDD)提取真实测试场景的关键特征集合，根据部分关键特征对NDD分类以形成若干类逻辑场景，进而建立逻辑场景与部分关键特征之间的第一关联映射；确定部分关键特征与智能车辆的各个智能特性之间的联系，形成智能化程度评价体系，以建立部分关键特征与智能化程度分级之间的第二关联映射；基于第一和第二关联映射建立逻辑场景与智能化程度分级之间的第三关联映射，并通过自动标记并提取真实测试场景来获取包含待测特征分级信息的测试场景；基于第三关联映射进行场景重构，以得到模拟测试场景，并将其与真实测试场景进行组合以形成包含待测特征分级信息的测试场景库。

Description

一种用于建立针对智能车辆的测试场景库的方法

技术领域

本发明涉及计算机数据处理，具体涉及智能汽车测试和评价领域，更具体地涉及一种用于建立针对智能车辆的测试场景库的方法。

背景技术

通常而言，智能汽车在正式落地之前必须要经过智能化程度的评价。就当前的科技发展水平来看，基于场景的测试与评价是最具发展前景的一种方式。测试场景的生成/提取过程是基于场景的测评方法中的核心环节之一，测试场景的设置会直接影响到智能汽车的智能化程度测评结果的信度及效度。

测试场景库(Testing scenario library，TSL)被定义为场景的一个关键子集，其用于评估安全性、功能性等智能指标。测试场景具有无限丰富、极其复杂、不可穷尽的特点，通常来说，既可以从自然驾驶数据(Naturalistic driving data，NDD)中提取真实场景；也可以根据标准、指南或专家知识生成模拟场景。

然而，由于当前测试场景库与智能化程度之间缺乏明确的对应关系，因此在测评智能汽车时只能针对某一智能特性独立设置测评指标，然后再根据测评指标从测试场景中提取对应的参数信息。也就是说，现有技术中，测试场景的生成/提取方法与智能汽车的评价方法存在一定程度的脱节。这两个方面在研究过程中的脱节给某一智能特性对应的测评场景的识别、选择以及测评指标的设置和量化造成了困难。此外，现有技术也无法给出统一的测评方案，因此难以实现测评过程的高度自动化。

基于上述现有技术中存在的缺点，需要一种能够联结后续评价过程的测试场景库建立方法。

发明内容

为解决上述问题，本发明提供了一种针对智能车辆的测试场景的标记、提取、生成与评价方法，通过该方法可以实现场景重构与测试场景的分级，最终建立包含待测特征分级信息的测试场景库，应用于智能汽车智能化程度的测试评价。该方法包括以下步骤：

步骤一，基于自然驾驶数据提取真实测试场景的关键特征集合，根据所述关键特征集合中的部分关键特征对所述自然驾驶数据进行分类以形成若干类逻辑场景，进而建立所述若干类逻辑场景与所述关键特征集合中的所述部分关键特征之间的第一关联映射；

步骤二，通过试验确定所述关键特征集合中的所述部分关键特征与智能车辆的各个智能特性之间的联系，进而建立所述部分关键特征与智能化程度分级之间的第二关联映射，以形成有关于智能车辆的智能化程度的评价体系；

步骤三，基于所述第一关联映射和所述第二关联映射建立所述若干类逻辑场景与所述智能化程度分级之间的第三关联映射，并通过自动标记、然后提取真实测试场景来获取包含待测特征分级信息的真实测试场景，所述待测特征分级信息与所述智能化程度分级相关；

步骤四，基于所述第三关联映射进行场景重构，以得到针对所述各个智能特性的模拟测试场景，并将所述模拟测试场景与所述自然驾驶数据中提取的真实测试场景进行组合以形成包含待测特征分级信息的测试场景库。

根据本发明的用于建立针对智能车辆的测试场景库的方法的一个实施例，优选的是，在所述步骤一中，基于自然驾驶数据提取真实测试场景的关键特征集合的步骤还包括：

对所述自然驾驶数据进行数据预处理，探索所述数据的基本统计学特征；基于无先验知识干预的方式在所述数据中提取出基本特征集合(C1)；将所述基本特征集合中无法指示车辆的智能特性的特征子集剔除以得到第一关键特征子集(C2)，其中，所述第一关键特征子集包括所述部分关键特征。

根据本发明的用于建立针对智能车辆的测试场景库的方法的一个实施例，优选的是，在所述步骤二中，包括：通过试验根据所述第一关键特征子集(C2)中的各个部分关键特征对应的物理意义确定出所述部分关键特征与智能特性之间的联系；根据标准、指南、专家经验得到能够指示各个智能特性的场景特征子集(C3)，并将所述场景特征子集与所述部分关键特征进行合并，以形成完整关键特征子集(C4)。

根据本发明的用于建立针对智能车辆的测试场景库的方法的一个实施例，优选的是，在所述步骤二中，还包括：

基于驾乘人员的生理和心理感知阈值与所述第二关键特征子集(C4)中的各个关键特征的联系以及所述联系对应的统计特征来对数据进行分析；根据分析的结果对所述部分关键特征指示的智能特性进行量化分级。

根据本发明的用于建立针对智能车辆的测试场景库的方法的一个实施例，优选的是，在所述步骤三中，还包括：

验证所述场景特征子集(C3)与智能化程度之间的关联是否符合所述标准、指南、专家经验中已经存在的结论；

如果符合，则获得完整的所述第二关键特征子集与智能化程度之间的关联，以将所述场景转化为具有待测特征分级信息的测试场景，如果不符合，则对所述智能化程度与所述场景特征子集(C3)相关的关联映射进行修正或者剔除；

根据关键特征、逻辑场景、智能化程度三者间的关联映射，对所述逻辑场景能够反映的智能化程度进行自动标记，从而自动提取包含待测特征分级信息的测试场景。

本发明的有益技术效果：

(1)本发明在场景特征提取时排除了先验知识，避免了研究者主观因素的干扰，保证特征提取的全面性；

(2)本发明通过提取关键场景特征实现了对场景特征的约简，从而在保证测试场景覆盖率的前提下降低数据处理的复杂度；

(3)本发明建立的关键特征、逻辑场景、智能化程度三者间的关联映射可以实现场景的自动标记与测试场景的自动提取，在实际应用中能够根据智能特性测评需求提取对应的测试场景；

(4)本发明建立的测试场景库引入了待测特征分级信息，为智能车辆智能化程度的量化评级提供了一种新的解决思路。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1显示了根据本发明的用于建立针对智能车辆的测试场景库的方法的总体流程图；

图2显示了根据本发明的一个实施例如何在NDD中获取真实场景的关键特征集合的方法步骤流程图；

图3显示了根据本发明的一个实施例如何获取完整的关键特征的方法以及将智能特性进行量化分级以建立智能化程度评级体系的方法步骤流程图。

图4显示了根据本发明的一个实施例如何实现自动标记并提取出真实测试场景的方法步骤流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合附图对本发明实施例作进一步地详细说明。

如图1所示，其中显示了用于建立针对智能车辆的测试场景库的方法的总体流程图。

本发明方法开始于步骤S101。在步骤S101中，提取真实场景的关键特征，建立场景与关键特征间的关联映射。具体地，基于NDD提取能够代表真实测试场景的特征集合C1，根据特征集合中的关键特征C2对NDD进行分类以形成若干类逻辑场景，进而建立逻辑场景与关键特征集合中的部分关键特征之间的第一关联映射。

接下来，在步骤S102中，建立关键特征与智能化程度间的关联映射，形成智能化程度评级体系。具体地，通过试验确定关键特征集合中的部分关键特征C2与智能车辆的各个智能特性之间的联系，进而建立部分关键特征C2与智能化程度分级之间的第二关联映射，以形成有关于智能车辆的智能化程度的评价体系。

接下来，在步骤S103中，建立场景与智能化程度间的关联映射，自动标记并提取测试场景。基于上述得到的第一关联映射和第二关联映射建立逻辑场景与智能化程度分级之间的第三关联映射，并通过自动标记、然后提取真实测试场景来获取包含待测特征分级信息的真实测试场景，其中，待测特征分级信息与智能化程度分级相关。

最后，在步骤S104中，进行场景重构，建立包含待测特征分级信息的测试场景库。本发明这里所说的“场景重构”是指，根据得到的关键特征C4，参考上述关联映射对参数进行调整与修改，在规定的取值范围内生成更丰富的模拟测试场景。将该模拟测试场景与NDD中提取的真实测试场景共同组成包含待测特征分级信息的测试场景库。

在本发明的一个具体实施方式中，基于第三关联映射进行场景重构，以得到针对各个智能特性的模拟测试场景，并将模拟测试场景与NDD中提取的真实测试场景进行组合以形成包含待测特征分级信息的测试场景库。

本发明使用很多不同的名词来描述场景，他们的含义各不相同，部分词语之间甚至有一定的递进关系(比如“场景”与“测试场景”)。以下是对与场景有关的术语进行的详细解释。

本发明中的“场景”(Scenario)在标准ISO PAS 21448-2019中有明确的定义，属于智能车测试评价领域的专有名词，与日常生活中所说的场景有所区分。本发明中“场景”可以分为“真实场景”和“模拟场景”两类。“真实场景”是指从NDD中提取出的场景；“模拟场景”是指通过仿真、在环模拟等手段“人为”制造出的场景。“测试”作为定语加在“场景”之前，表示具有测试价值或者说测试意义的场景，“真实测试场景”是指从NDD中提取的具有测试意义的场景。

而本发明的“目标测试场景”是指“由于建立了关键特征与场景间的关联映射，提取出的场景是可以预见的，即与预期的场景提取目标相符”。

另外，PEGASUS将场景分为三个层次：“功能场景、逻辑场景、具体场景”。这三个层次由抽象到具体，本发明中使用“逻辑场景”是因为这是测评领域内的专有名词，方便专业人员理解。而“功能场景”是语义层面上的，相当于对场景的自然语言描述。“逻辑场景”是指状态空间层面的场景，通俗来讲就是用几个参数定义场景，给出了参数的取值范围，而没有给出具体的参数取值。“具体场景”就是在“逻辑场景”给出的允许的参数取值范围内取特定值，就可以获得具体场景。

如图2所示，其中显示了根据本发明的一个实施例如何在NDD中获取真实场景的关键特征集合的方法步骤流程图。在前述的步骤S101中，实现的是真实场景的关键特征提取。其主要通过在高维NDD中以排除先验知识的方式进行特征提取来实现。而真实场景的关键特征的提取方法具体可以按照如下几个方面进行。然而，本发明并不意欲限制于此，以下仅仅为说明举例，以便于普通技术人员理解本发明的目的。

首先，在步骤S201中，对高维NDD进行数据预处理。这些预处理操作包括但不限于：清洗重复值、非法值、检测异常值并对异常值剔除或者作为缺失值处理。然后，探索基本统计学特征。统计学特征例如这些数据的概率分布、方差、极值等特征。

接下来，在步骤S202中，对处理后的高维NDD参数进行无先验知识干预的特征提取，以得到基本特征C1(包括场景中车辆的加速度、相对速度、相对距离等参数)。在本发明的具体实施过程中，无监督机器学习算法仅为可选方案，在不影响实现本发明的目的的情况下还可以选择本领域普通技术人员可以想到的其他算法。

在步骤S203中，进一步剔除基本特征C1中的无效特征从而得到部分关键特征C2。上述的无效特征是指：由于参数存在依赖关系等原因不可指示车辆智能特性的特征。

最后，根据部分关键特征C2将高维NDD分为有限类别数量的逻辑场景，以便于构建部分关键特征C2与逻辑场景间的关联映射。

如图3所示，其中显示了根据本发明的一个实施例如何将智能特性进行量化分级以建立智能化程度评级体系的方法步骤的流程图。

图1中所示的步骤S102主要是为了建立智能化程度评级体系从而建立第二关联映射。在该步骤中结合步骤S101所获取的部分关键特征C2和补充特征，明确其对应的智能特性与智能化程度量化分级以建立第二关联映射。具体的，本步骤中所指的智能化程度评级体系的建立方法包括以下子步骤：

S301：根据部分关键特征C2对应的物理意义即加速度、速度等，通过设计正交试验进行模拟测试来确定部分关键特征C2与智能特性间的关联映射；确定不同关键特征以及不同取值范围对智能特性(如：安全性、功能性)的影响，从而建立二者间的关联映射。

S302：根据标准、指南及专家经验补充能够指示智能特性的场景特征C3(例如真实驾驶数据难以采集到的扬雪等环境因素)，结合前述获取的部分关键特征C2获得完整关键特征子集C4；

S303：考虑驾乘人员的生理和心理感知阈值与其统计特征对完整的关键特征C4进行数据分析；

S304：根据分析结果对其指示的智能特性进行分级，形成智能化程度的评级体系。结合已知的指示智能特性的场景特征C3与智能特性间的联系，建立完整关键特征子集C4的取值范围与智能化程度分级间的关联映射。

这里，希望对智能化程度进行量化分级。在一个实施例中，可以根据部分关键特征C2(加速度、相对速度等参数)与驾乘人员生理和心理感知阈值间的关系，以及这种联系对应的统计学特征(例如统计研究表明：驾驶员及乘客对小于2米/秒²的减速度均感觉舒适，对于大于4米/秒²的减速度会感到极度不适)进行量化分级。但也可以采用其他方式，只要能够达到本发明步骤S102所要实现的目的即可。

如图4所示，其中显示了根据本发明的一个实施例如何实现自动标记并提取真实测试场景的方法步骤流程图。

在本发明的步骤S103中，其主要基于步骤S101与步骤S102构建的关联映射来建立场景与智能化程度间的关联映射，通过自动标记、提取测试场景从而获取大量具体测试场景。

如图4所示，获取NDD中大量具体场景的方法包括以下子步骤：

S401：根据部分关键特征C2分别与逻辑场景、智能化程度间构建的关联映射，建立逻辑场景与智能化程度间的关联映射；

S402：验证指示智能特性的场景特征C3与智能化程度间的关联映射是否符合预期，预期是指：标准、指南、专家经验中已有的结论；

S403：若指示智能特性的场景特征C3与智能化程度间的关联映射符合预期，即可获得完整的场景与智能化程度间的关联映射。此时，场景转化为具有待测特征分级信息的测试场景；

S404：若不符合预期，则对与指示智能特性的场景特征C3相关的关联映射进行修正或剔除；

S405：根据关键特征、逻辑场景、智能化程度三者间的关联映射，可以对逻辑场景能够反映的智能化程度进行自动标记，从而自动提取包含待测特征分级信息的目标测试场景。

由此得到的测试场景与关键特征间的关联映射可以形成一个“配对库”，使得测试场景的标记和提取能够真正地自动化实现。

本发明提出的包含待测特征分级信息的智能车辆测试场景库建立方法，通过辨识场景的关键特征、分析数据属性，形成关键特征、逻辑场景、车辆智能化程度三者之间的关联映射，从而联结测试场景库生成与智能车辆评价两个过程，实现以关键特征提取/生成大量包含待测特征分级信息的真实/模拟测试场景，为智能车辆的智能化程度的量化评级以及测评过程的自动化实现提供解决方案。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (5)

1.一种用于建立针对智能车辆的测试场景库的方法，其特征在于，所述方法包括：

步骤一，基于自然驾驶数据提取真实测试场景的关键特征集合，根据所述关键特征集合中的部分关键特征对所述自然驾驶数据进行分类以形成若干类逻辑场景，进而建立所述若干类逻辑场景与所述关键特征集合中的所述部分关键特征之间的第一关联映射；

步骤二，通过试验确定所述关键特征集合中的所述部分关键特征与智能车辆的各个智能特性之间的联系，进而建立所述部分关键特征与智能化程度分级之间的第二关联映射，以形成有关于智能车辆的智能化程度的评价体系；

步骤三，基于所述第一关联映射和所述第二关联映射建立所述若干类逻辑场景与所述智能化程度分级之间的第三关联映射，并通过自动标记、然后提取真实测试场景来获取包含待测特征分级信息的真实测试场景，所述待测特征分级信息与所述智能化程度分级相关；

步骤四，基于所述第三关联映射进行场景重构，以得到针对所述各个智能特性的模拟测试场景，并将所述模拟测试场景与所述自然驾驶数据中提取的真实测试场景进行组合以形成包含待测特征分级信息的测试场景库。

2.如权利要求1所述的用于建立针对智能车辆的测试场景库的方法，其特征在于，在所述步骤一中，基于自然驾驶数据提取真实测试场景的关键特征集合的步骤还包括：

对所述自然驾驶数据进行数据预处理，探索所述数据的基本统计学特征；

基于无先验知识干预的方式在所述数据中提取出基本特征集合；

将所述基本特征集合中无法指示车辆的智能特性的特征子集剔除以得到第一关键特征子集，其中，所述第一关键特征子集包括所述部分关键特征。

3.如权利要求1所述的用于建立针对智能车辆的测试场景库的方法，其特征在于，在所述步骤二中，包括：

通过试验根据所述第一关键特征子集中的各个部分关键特征对应的物理意义确定出所述部分关键特征与智能特性之间的联系；

根据标准、指南、专家经验得到能够指示各个智能特性的场景特征子集，并将所述场景特征子集与所述部分关键特征进行合并，以形成完整关键特征子集。

4.如权利要求3所述的用于建立针对智能车辆的测试场景库的方法，其特征在于，在所述步骤二中，还包括：

基于驾乘人员的生理和心理感知阈值与所述完整关键特征子集中的各个关键特征的联系以及所述联系对应的统计特征来对数据进行分析；

根据分析的结果对所述部分关键特征指示的智能特性进行量化分级。

5.如权利要求1所述的用于建立针对智能车辆的测试场景库的方法，其特征在于，在所述步骤三中，还包括：

验证所述场景特征子集与智能化程度之间的关联是否符合所述标准、指南、专家经验中已经存在的结论；

如果符合，则获得完整的所述第二关键特征子集与智能化程度之间的关联，以将所述场景转化为具有待测特征分级信息的测试场景，如果不符合，则对所述智能化程度与所述场景特征子集相关的关联映射进行修正或者剔除；

根据关键特征、逻辑场景、智能化程度三者间的关联映射，对所述逻辑场景能够反映的智能化程度进行自动标记，从而自动提取包含待测特征分级信息的目标测试场景。