CN114091264A - 一种关键测试场景确定方法、装置及电子设备 - Google Patents

一种关键测试场景确定方法、装置及电子设备 Download PDF

Info

Publication number
CN114091264A
CN114091264A CN202111399983.7A CN202111399983A CN114091264A CN 114091264 A CN114091264 A CN 114091264A CN 202111399983 A CN202111399983 A CN 202111399983A CN 114091264 A CN114091264 A CN 114091264A
Authority
CN
China
Prior art keywords
scene
parameter
test
determining
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111399983.7A
Other languages
English (en)
Inventor
胡大林
彭思阳
胡艳玲
杨强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Saimu Technology Co ltd
Original Assignee
Beijing Saimu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Saimu Technology Co ltd filed Critical Beijing Saimu Technology Co ltd
Priority to CN202111399983.7A priority Critical patent/CN114091264A/zh
Publication of CN114091264A publication Critical patent/CN114091264A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/04—Constraint-based CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/10—Numerical modelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Computation (AREA)
  • Algebra (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请公开了一种关键测试场景确定方法、装置及电子设备，该方法包括：针对每个测试场景，将自动驾驶算法与测试场景结合进行仿真模拟，确定测试场景的评估指标值，多个测试场景对应的场景参数值构成第一参数空间；基于评估指标值，对每个测试场景进行分类，以确定分类场景参数均值；基于分类场景参数均值、测试场景对应的场景参数值确定目标投影向量；利用目标投影向量，对第一参数空间进行投影得到第二参数空间；通过对第二参数空间中的变量进行采样，确定关键测试场景。通过采用上述关键测试场景确定方法、装置及电子设备，解决了在自动驾驶算法的仿真验证过程中，无法快速选出能够反应自动驾驶算法敏感薄弱环节的测试场景的问题。

Description

一种关键测试场景确定方法、装置及电子设备
技术领域
本申请涉及自动驾驶技术领域，尤其是涉及一种关键测试场景确定方法、装置及电子设备。
背景技术
随着城市汽车保有量的不断增加，城市交通问题日益凸显，例如交通拥堵、空气污染等。自动驾驶技术通过车联网获取周围车辆和云端信息，实现高效的车辆调度，不但缓解由于车辆数目过多带来的交通拥堵问题，同时，还能够提高道路通行效率以及驾驶和乘坐的舒适性。目前，自动驾驶技术已得到越来越广泛的应用，而影响自动驾驶技术得到进一步推广的主要阻力在于对其安全性的考虑。为确保自动驾驶车辆的安全性，需要在自动驾驶仿真平台上，针对自动驾驶算法在不同测试场景下进行大量的仿真验证，以考察自动驾驶算法在不同测试场景下的表现。因此，如何选取测试场景，以及考察自动驾驶算法在不同测试场景中的表现，对于自动驾驶算法的仿真验证来说至关重要。
现有技术中，通常将自动驾驶算法与预先设定的测试场景结合进行仿真测试，以确定自动驾驶算法在该测试场景中的表现。
然而，上述所选取的测试场景均是预先设定的，无法针对自动驾驶算法的敏感薄弱环节进行测试。
发明内容
有鉴于此，本申请提供一种关键测试场景确定方法、装置及电子设备，其目的是选取出能够针对自动驾驶算法的敏感薄弱环节进行仿真测试的测试场景，以考察该自动驾驶算法的敏感薄弱环节的测试表现。
第一方面，本申请实施例提供了一种关键测试场景确定方法，包括：
针对每个测试场景，将自动驾驶算法与测试场景结合进行仿真模拟，确定测试场景的评估指标值，多个测试场景对应的场景参数值构成第一参数空间；
基于评估指标值，对每个测试场景进行分类，以确定分类场景参数均值，分类场景参数均值为每个分类下场景参数的均值；
基于分类场景参数均值、无分类场景参数均值、测试场景对应的场景参数值、同类约束数目及分类约束数目，确定目标投影向量，同类约束数目是指能够将测试场景归为一类的约束条件的数目，分类约束数目是指不能够将测试场景归为一类的约束条件的数目；
利用目标投影向量，对第一参数空间进行投影得到第二参数空间；
通过对第二参数空间中的变量进行采样，确定关键测试场景。
可选的，基于评估指标值，对每个测试场景进行分类，可包括：通过评估指标值的分布情况，确定测试场景对应的标签；基于测试场景对应的标签，对测试场景进行分类。
可选的，基于分类场景参数均值、无分类场景参数均值、测试场景对应的场景参数值、同类约束数目及分类约束数目，确定目标投影向量，可包括：基于分类场景参数均值及无分类场景参数均值，确定类间方差；基于分类场景参数均值及测试场景对应的场景参数值，确定类内方差；基于同类约束数目、分类约束数目、测试场景对应的场景参数值及投影向量，确定目标约束方程，投影向量是能够将第一参数空间按照约束条件投影至第二参数空间的向量；基于类间方差、类内方差及目标约束方程，构造目标函数；将目标函数的函数值的最大取值所对应的投影向量的取值，确定为目标投影向量。
可选的，基于分类场景参数均值及无分类场景参数均值，确定类间方差，可包括：针对每个分类，将分类对应的分类场景参数均值与无分类场景参数均值之差，确定为第一类间均差；针对每个分类，将分类对应的分类场景参数均值与无分类场景参数均值之差的转置，确定为第二类间均差；针对每个分类，将分类对应的场景个数、分类对应的第一类间均差及第二类间均差三者的乘积，确定为目标类间方差；将所有分类对应的目标类间方差的和，确定为类间方差。
可选的，基于分类场景参数均值及测试场景对应的场景参数值，确定类内方差，可包括：针对每个分类下的每个测试场景，将分类下测试场景对应的场景参数值与分类对应的分类场景参数均值之差，确定为第一场景均差；针对每个分类下的每个测试场景，将分类下测试场景对应的场景参数值与分类对应的分类场景参数均值之差的转置，确定为第二场景均差；针对每个分类下的每个测试场景，将分类下测试场景对应的第一场景均差与第二场景均差的乘积，确定为目标场景方差；将同一分类下所有测试场景对应的目标场景方差的和，确定为类内场景方差；将所有分类对应的类内场景方差的和，确定为类内方差。
可选的，基于类间方差、类内方差及目标约束方程，构造目标函数，可包括：将类间方差、投影向量及投影向量的转置三者的乘积，确定为分子；将类内方差、投影向量及投影向量的转置三者的乘积与目标约束方程的差值，确定为分母；利用分子与分母的比值，构造目标函数。
可选的，利用目标投影向量，对第一参数空间进行投影得到第二参数空间，可包括：针对第一参数空间中的每个场景参数，获取与场景参数对应的多个取值；将所有场景参数对应的多个取值进行随机组合，确定多个场景参数组合，每个场景参数组合中均包括全部场景参数以及全部场景参数中每个场景参数的第一参数值；针对每个场景参数组合，将场景参数组合中每个场景参数对应的取值代入投影表达式，确定第二参数空间中变量的多个取值，投影表达式是基于目标投影向量中的每个参数与参数对应的场景参数取值的乘积之和确定的；基于第二参数空间中变量的多个取值，确定第二参数空间中变量的取值范围；将所有第二参数空间中变量的取值范围组合在一起所构成的空间，确定为第二参数空间。
可选的，通过对第二参数空间中的变量进行采样，确定关键测试场景，可包括：针对第二参数空间中的每个变量，对变量进行采样，确定变量的具体取值；针对每个变量，将变量的具体取值代入投影表达式，确定与变量的具体取值对应的全部场景参数中每个场景参数的第二参数值；基于第二参数值，确定关键测试场景。
第二方面，本申请实施例提供了一种测试场景选取装置，包括：
评估模块，用于针对每个测试场景，将自动驾驶算法与测试场景结合进行仿真模拟，确定测试场景的评估指标值，多个测试场景对应的场景参数值构成第一参数空间；
分类模块，用于基于评估指标值，对每个测试场景进行分类，以确定分类场景参数均值，分类场景参数均值为每个分类下场景参数的均值；
计算模块，用于基于分类场景参数均值、无分类场景参数均值、测试场景对应的场景参数值、同类约束数目及分类约束数目，确定目标投影向量，同类约束数目是指能够将测试场景归为一类的约束条件的数目，分类约束数目是指不能够将测试场景归为一类的约束条件的数目；
投影模块，用于利用目标投影向量，对第一参数空间进行投影得到第二参数空间；
确定模块，用于通过对第二参数空间中的变量进行采样，确定关键测试场景。
第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述的关键测试场景确定方法的步骤。
本申请实施例带来了以下有益效果：
本申请实施例提供了一种关键测试场景确定方法、装置及电子设备，包括：针对每个测试场景，将自动驾驶算法与测试场景结合进行仿真模拟，确定测试场景的评估指标值，多个测试场景对应的场景参数构成第一参数空间；基于评估指标值，对每个测试场景进行分类，以确定分类场景参数均值，分类场景参数均值为每个分类下场景参数的均值；基于分类场景参数均值、无分类场景参数均值、测试场景对应的场景参数值、同类约束数目及分类约束数目，确定目标投影向量，同类约束数目是指能够将测试场景归为一类的约束条件的数目，分类约束数目是指不能够将测试场景归为一类的约束条件的数目；利用目标投影向量，对第一参数空间进行投影得到第二参数空间；通过对第二参数空间中的变量进行采样，确定关键测试场景。本申请通过降维投影的方式，能够根据评估指标值选取出反应自动驾驶算法敏感薄弱环节的变量，然后通过所选取的变量确定关键测试场景，解决了现有技术中无法快速选取出能够针对自动驾驶算法的敏感薄弱环节进行仿真测试的测试场景的问题。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，以下附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的关键测试场景确定方法的流程示意图；
图2为本申请实施例提供的关键测试场景确定装置的结构示意图；
图3为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
目前，在对自动驾驶算法进行仿真测试时，理论上应该将自动驾驶算法置于场景参数组合构成的高维场景空间中进行遍历测试，以验证自动驾驶算法在各个方面是否达到要求，但是由于场景参数组合过多以及仿真验证的效率问题，针对每个场景参数组合进行仿真验证不具备可操作性，因此，通常是从全部测试场景中选取部分测试场景作为预先设定的测试场景，然后将自动驾驶算法与预先设定的测试场景结合进行仿真测试，以确定自动驾驶算法在预先设定的测试场景中的表现。然而，上述所选取的测试场景均是预先设定的，无法针对自动驾驶算法的敏感薄弱环节进行测试。
基于此，本申请实施例提供一种关键测试场景确定方法、装置及电子设备，通过降维投影的方式，能够根据评估指标值选取出反应自动驾驶算法敏感薄弱环节的变量，然后通过所选取的变量确定关键测试场景，解决了现有技术中无法快速选取出能够针对自动驾驶算法的敏感薄弱环节进行仿真测试的测试场景的问题。
为便于对本实施例进行理解，首先对本申请实施例所公开的一种关键测试场景确定方法进行详细介绍，图1为本申请实施例提供的关键测试场景确定方法的流程示意图，如图1所示，该方法包括如下步骤：
步骤S101，针对每个测试场景，将自动驾驶算法与测试场景结合进行仿真模拟，确定测试场景的评估指标值，多个测试场景对应的场景参数值构成第一参数空间；
步骤S102，基于评估指标值，对每个测试场景进行分类，以确定分类场景参数均值；
步骤S103，基于分类场景参数均值、无分类场景参数均值、测试场景对应的场景参数值、同类约束数目及分类约束数目，确定目标投影向量；
步骤S104，利用目标投影向量，对第一参数空间进行投影得到第二参数空间；
步骤S105，通过对第二参数空间中的变量进行采样，确定关键测试场景。
在步骤S101中，测试场景是指从全部测试场景中随机选取的测试场景，该测试场景能够对自动驾驶算法在某方面的表现进行考察，例如：测试场景能够对自动驾驶算法在汽车行驶的前方出现障碍物时的制动效果进行考察，自动驾驶算法是指能够模拟驾驶员对汽车进行控制的算法，它能够持续感知周围环境，预测可能出现的变化，可实现的功能包括：物体检测、物体识别、物体定位与运动预测。
评估指标值是指自动驾驶算法在某一测试场景中进行仿真模拟后，所确定的评估指标的具体数值，例如：碰撞时间为2.5秒，这个2.5秒就是评估指标值，碰撞时间是评估指标。
场景参数值是指测试场景对应的场景参数的取值，示例性的，场景参数可以是车流量、前车速度、前车加速度。一个测试场景由多个场景参数及每个场景参数的具体取值构成。
第一参数空间是指以所选取的测试场景对应的每个场景参数作为一个维度，以每个场景参数的多个取值作为对应维度的取值范围，由多个维度和每个维度对应的取值范围所构成的多维空间。
在具体实现时，全部测试场景中的每个测试场景对应一个测试文件，该测试文件中包括测试场景的场景参数、测试方法及评估指标，测试场景的数量是非常庞大的，不能对每一个测试场景进行仿真模拟，因此，可从全部测试场景中选取部分测试场景，并分别将自动驾驶算法与每个选取的测试场景结合，按照该测试场景对应的测试文件中的测试方法，对自动驾驶算法进行仿真模拟，仿真模拟的结果包括评估指标值，通过该评估指标值来衡量自动驾驶算法在该测试场景中的表现是否满足要求。
例如：评估指标为碰撞时间，且碰撞时间大于3秒时满足要求，如果经过仿真模拟后评估指标值大于3秒，则表示自动驾驶算法在该测试场景中的表现满足要求。
在步骤S102中，分类场景参数均值是指每个分类下所有测试场景对应的场景参数的取值的均值，记作μ(k)。假设：共有10个测试场景，每个测试场景对应5个场景参数，则该分类场景参数均值是一个5×1维的向量。
在一可选示例中，基于评估指标值，对每个测试场景进行分类，包括：通过评估指标值的分布情况，确定测试场景对应的标签；基于测试场景对应的标签，对测试场景进行分类。
这里，标签是指能够对评估指标值进行分类的标识，以评估指标为碰撞时间为例，标签可以是碰撞时间长、碰撞时间中、碰撞时间短，也可以是碰撞时间优秀、碰撞时间达标、碰撞时间不合格。
在具体实现时，假设所选取的全部测试场景中有5个测试场景的评估指标为碰撞时间，这5个测试场景分别为测试场景1、测试场景2、测试场景3、测试场景4和测试场景5，经过仿真模拟后这5个测试场景的碰撞时间分别为2.5秒、2.52秒、2.45秒、2.98秒、3.3秒，则根据这5个评估指标值的分布情况，为评估指标值相近的测试场景配置相同的标签，则可将测试场景1、测试场景2和测试场景3的标签确定为碰撞时间短，将测试场景4的标签确定为碰撞时间中，将测试场景5的标签确定为碰撞时间长，标签相同的测试场景即归属为同一类。
在步骤S103中，无分类场景参数均值是与分类场景参数均值相对应的概念，无分类场景参数均值是指在不考虑测试场景分类的情况下，选取的所有测试场景对应的场景参数的取值的均值，记作μ。
在一可选实施例中，基于分类场景参数均值、无分类场景参数均值、测试场景对应的场景参数值、同类约束数目及分类约束数目，确定目标投影向量，包括：基于分类场景参数均值及无分类场景参数均值，确定类间方差；基于分类场景参数均值及测试场景对应的场景参数值，确定类内方差；基于同类约束数目、分类约束数目、测试场景对应的场景参数值及投影向量，确定目标约束方程，投影向量是能够将第一参数空间按照约束条件投影至第二参数空间的向量；基于类间方差、类内方差及目标约束方程，构造目标函数；将目标函数的函数值的最大取值所对应的投影向量的取值，确定为目标投影向量。
这里，类间方差用以表示不同分类之间测试场景间的离散程度，类内方差用以表示同一分类下不同测试场景之间的离散程度。
在一可选实施例中，基于分类场景参数均值及无分类场景参数均值，确定类间方差，包括：针对每个分类，将分类对应的分类场景参数均值与无分类场景参数均值之差，确定为第一类间均差；针对每个分类，将分类对应的分类场景参数均值与无分类场景参数均值之差的转置，确定为第二类间均差；针对每个分类，将分类对应的场景个数、分类对应的第一类间均差及第二类间均差三者的乘积，确定为目标类间方差；将所有分类对应的目标类间方差的和，确定为类间方差。
在具体实现时，类间方差Sb可通过如下计算公式确定：
Figure BDA0003371257480000101
其中，c表示分类个数，k表示第几个分类，lk表示第k个分类下测试场景的个数，μ(k)表示第k个分类下的分类场景参数均值，μ表示无分类场景参数均值，T表示转置，μ(k)-μ表示第一类间均差，(μ(k)-μ)T表示第二类间均差，lk(μ(k)-μ)(μ(k)-μ)T表示目标类间方差。
在一可选实施例中，基于分类场景参数均值及测试场景对应的场景参数值，确定类内方差，包括：针对每个分类下的每个测试场景，将分类下测试场景对应的场景参数值与分类对应的分类场景参数均值之差，确定为第一场景均差；针对每个分类下的每个测试场景，将分类下所述测试场景对应的场景参数值与分类对应的分类场景参数均值之差的转置，确定为第二场景均差；针对每个分类下的每个测试场景，将分类下测试场景对应的第一场景均差与第二场景均差的乘积，确定为目标场景方差；将同一分类下所有测试场景对应的目标场景方差的和，确定为类内场景方差；将所有分类对应的类内场景方差的和，确定为类内方差。
类内方差Sω可通过如下计算公式确定：
Figure BDA0003371257480000102
其中，c表示分类个数，k表示第几个分类，lk表示第k个分类下测试场景的个数，μ(k)表示第k个分类下的分类场景参数均值，μ表示无分类场景参数均值，T表示转置，Xi (k)表示第k个分类下第i个测试场景的场景参数值，Xi (k)-μ(k)表示第一场景均差，(Xi (k)-μ(k))T表示第二场景均差，(Xi (k)-μ(k))(Xi (k)-μ(k))T表示目标场景方差。
可通过以下公式确定目标约束方程：
Figure BDA0003371257480000111
其中，ω表示投影向量，ωT表示投影向量的转置，n表示选取的全部测试场景的个数，xi和xi表示第一参数空间中任意选取的场景参数的具体取值，C表示分类约束关系，M表示同类约束关系，nc表示分类约束条件的数量，可根据设定的分类约束条件的数量确定，nM表示同类约束条件的数量，可根据设定的同类约束条件的数量确定，α是用来调整同类约束条件下的测试场景之间的相似度的贡献值，这里可设为1，β是用来调整分类约束条件下的测试场景之间的分离度的贡献值，这里可设为20。本领域技术人员可以根据实际情况确定α和β的具体取值，本申请在此不作限定。
需要说明的是，约束条件分为同类约束和分类约束，这里，当多个测试文件侧重检测自动驾驶算法在同一方面的表现且评估指标相近时，这些测试文件对应的测试场景在投影后的低维空间中应该将他们分在同一类中，于是，将这些测试场景划分为同一类的约束即为同类约束，即MustLink约束。当多个测试文件侧重检测自动驾驶算法在不同方面的表现或者评估指标不相近时，这些测试文件对应的测试场景在投影后的低维空间中不应将他们分在同一类中，于是，将这些测试场景区分为不同类的约束即为分类约束，即CannotLink约束。这里，多个测试文件侧重检测自动驾驶算法在同一方面的表现可指侧重检测自动驾驶算法在同一功能上的表现，评估指标相近可指评估指标之间的差值小于设定阈值。需要说明的是，针对同一个测试文件，可能存在多个子类别场景，基于其他依据可将多个子类别场景划分到不同类约束中，例如：多个子类别场景包括弯道、直道、丁字路口和十字路口，则可将这些子类别场景划分为不同类约束。
可见，通过最大化J(ω)能够使得投影后的分类约束关系对应的测试场景之间距离尽可能远，同类约束关系对应的测试场景之间的距离尽可能近，这样，投影后的第二参数空间中的变量的不同取值就能够对应不同标签的测试场景，也就是说，所选取的测试场景对于第二参数空间中变量来说是敏感的。
在另一可选实施例中，基于类间方差、类内方差及目标约束方程，构造目标函数，包括：将类间方差、投影向量及投影向量的转置三者的乘积，确定为分子；将类内方差、投影向量及投影向量的转置三者的乘积与目标约束方程的差值，确定为分母；利用分子与分母的比值，构造目标函数。
可通过以下公式确定目标函数：
Figure BDA0003371257480000121
其中，ω*表示目标函数的函数值，ω表示投影向量，ωT表示投影向量的转置，Sb表示类间方差，Sω表示类内方差，J(ω)表示目标约束方程。
在具体实现时，将目标函数的函数值ω*取最大值时，投影向量ω的取值确定为目标投影向量。这里，可以通过迭代的方式来确定目标投影向量，例如：先确定100个投影向量的取值，然后确定每个投影向量取值对应的函数值的取值，从中选取最大的函数值作为第一函数值，然后依据上述100个投影向量的取值与函数值的变化趋势，再确定另外100个投影向量的取值，并确定这100个投影向量取值对应的函数值的取值，从中选取最大的函数值作为第二函数值，将第二函数值与第一函数值中较大的函数值作为目标函数值，同理，可确定第三函数值，并将第三函数值与目标函数值比较，如果第三函数值大于目标函数值，则将第三函数值作为目标函数值，依此类推，重复进行多次上述迭代过程，并将最终的选取出的目标函数值作为函数值的最大取值，将该目标函数值对应的投影向量确定为目标投影向量。这里，本领域技术人员可以根据实际情况确定具体的迭代次数，本申请在此不作限定。
在步骤S104中，第二参数空间是指由第一参数空间投影得到的低维空间，其中，第一参数空间是高维空间。
在一可选实施例中，利用目标投影向量，对第一参数空间进行投影得到第二参数空间，包括：针对第一参数空间中的每个场景参数，获取与场景参数对应的多个取值；将所有场景参数对应的多个取值进行随机组合，确定多个场景参数组合，每个场景参数组合中均包括全部场景参数以及全部场景参数中每个场景参数的第一参数值；针对每个场景参数组合，将场景参数组合中每个场景参数对应的取值代入投影表达式，确定第二参数空间中变量的多个取值，投影表达式是基于目标投影向量中的每个参数与参数对应的场景参数取值的乘积之和确定的；基于第二参数空间中变量的多个取值，确定第二参数空间中变量的取值范围；将所有第二参数空间中变量的取值范围组合在一起所构成的空间，确定为第二参数空间。
这里，场景参数组合包括第一参数空间中的全部场景参数以及全部场景参数中每个场景参数均对应一个取值。第一参数值是指第一参数空间中场景参数对应的取值，该取值是由测试文件直接得到的。投影表达式是指能够根据第一参数空间中每个场景参数的取值计算得到第二参数空间中变量取值的计算公式。
假设，目标投影向量是2×5维的向量，第一参数空间中共有5个场景参数，这5个场景参数分别是a、b、c、d、e，每个场景参数均有100个参数值，则从每个场景参数的100个参数值中随机选取一个参数值，所选取的5个参数值即是第一参数值，将这5个场景参数及5个第一参数值组合到一起，构成场景参数组合，依照上述方法能够确定多个场景参数组合。然后，将每个场景参数组合代入投影表达式，即可确定第二参数空间中变量的多个取值。投影表达式如下所示：
x＝ω11×a+ω12×b+ω13×c+ω14×d+ω15×e；
y＝ω21×a+ω22×b+ω23×c+ω24×d+ω25×e；
其中，x和y分别表示第二参数空间中的不同变量，ω11至ω15表示目标投影向量中第一行的参数值，ω21至ω25表示目标投影向量中第二行的参数值。
这里，由于每个第一参数空间中的场景参数组合均能够得到对应的变量的具体取值，因此，多个第一参数空间中的场景参数组合能够确定每个变量的多个取值，其中，第二参数空间中的变量可包括多个变量，每个变量都对应多个取值，由这些变量及每个变量对应的多个取值共同构成第二参数空间。
在步骤S105中，关键测试场景是指能够针对自动驾驶算法中的敏感薄弱环节进行测试的测试场景，关键测试场景可包括多个。
在一可选实施例中，通过对第二参数空间中的变量进行采样，确定关键测试场景，包括：针对第二参数空间中的每个变量，对变量进行采样，确定变量的具体取值；针对每个变量，将变量的具体取值代入投影表达式，确定与变量的具体取值对应的全部场景参数中每个场景参数的第二参数值；基于第二参数值，确定关键测试场景。
这里，第二参数值是指将变量的具体取值代入投影表达式后，计算得到的场景参数的具体取值，第二参数值不受第一参数空间取值范围的约束，也就是说，第二参数值可能落在第一参数空间外。可以理解的，第二参数值对应的测试场景不一定是从全部测试场景中选取的测试场景，这样就扩大了测试场景的选取范围。
在具体实现时，在确定第二参数空间后，可对第二参数空间中的变量进行高覆盖采样，这样能够得到变量的具体取值，然后通过变量的具体取值(投影表达式中x和y的具体取值)，能够反推出场景参数组合的多组取值，可从反推出的场景参数组合的多组取值中任意选择一组作为关键测试场景对应的场景参数组合。这里，在选取第二参数空间中变量的具体取值时，可依据该取值所对应的测试场景的标签来进行选择，例如：第二参数空间中x变量大于300且y大于100时，所选取的测试场景的碰撞时间均小于3秒，说明测试场景的评估指标不合格，这样，在x变量的取值大于300的范围内对x进行采样，在y变量的取值大于100的范围内对y进行采样，采样后的x变量和y变量的取值所对应的测试场景的标签必然为碰撞时间短。然后，将所确定的x和y的具体取值代入到投影表达式中，可以计算出多个与x和y的具体取值对应的场景参数组合，从计算出的多个场景参数组合中任意选择其中一个作为关键测试场景对应的场景参数组合，根据该选择的场景参数组合构建关键测试场景。
可见，将第一参数空间投影至第二参数空间后，得到的第二参数空间内的变量数目较少，且所选取的测试场景的不同标签对于第二参数空间中变量的取值变化是敏感的，这样，在第二参数空间中更容易确定出自动驾驶算法中敏感薄弱环节所对应的关键测试场景，且反推出的测试场景已不限于预先设定的测试场景范围，增加了关键测试场景的选取范围。
图2为本申请实施例提供的关键测试场景确定装置的结构示意图，如图2所示，该装置包括以下模块：
评估模块201，用于针对每个测试场景，将自动驾驶算法与测试场景结合进行仿真模拟，确定测试场景的评估指标值，多个测试场景对应的场景参数构成第一参数空间；
分类模块202，用于基于评估指标值，对每个测试场景进行分类，以确定分类场景参数均值，分类场景参数均值为每个分类下场景参数的均值；
计算模块203，用于基于分类场景参数均值、无分类场景参数均值、测试场景对应的场景参数值、同类约束数目及分类约束数目，确定目标投影向量，同类约束数目是指能够将测试场景归为一类的约束条件的数目，分类约束数目是指不能够将测试场景归为一类的约束条件的数目；
投影模块204，用于利用目标投影向量，对第一参数空间进行投影得到第二参数空间；
确定模块205，用于通过对第二参数空间中的变量进行采样，确定关键测试场景。
对应于图1中的关键测试场景确定方法，本申请实施例还提供了一种电子设备300的结构示意图，如图3所示，所述电子设备300包括处理器310、存储器320和总线330。所述存储器320存储有所述处理器310可执行的机器可读指令，当电子设备300运行时，所述处理器310与所述存储器320之间通过总线330通信，所述机器可读指令被所述处理器310执行时，能够执行上述关键测试场景确定方法，通过降维投影的方式，能够根据评估指标值选取出反应自动驾驶算法敏感薄弱环节的变量，然后通过所选取的变量确定关键测试场景，解决了现有技术中无法快速选取出能够针对自动驾驶算法的敏感薄弱环节进行仿真测试的测试场景的问题。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，可以参考上述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种关键测试场景确定方法，其特征在于，所述方法包括：
针对每个测试场景，将自动驾驶算法与所述测试场景结合进行仿真模拟，确定所述测试场景的评估指标值，多个测试场景对应的场景参数值构成第一参数空间；
基于所述评估指标值，对每个测试场景进行分类，以确定分类场景参数均值，所述分类场景参数均值为每个分类下场景参数的均值；
基于所述分类场景参数均值、无分类场景参数均值、测试场景对应的场景参数值、同类约束数目及分类约束数目，确定目标投影向量，所述同类约束数目是指能够将测试场景归为一类的约束条件的数目，所述分类约束数目是指不能够将测试场景归为一类的约束条件的数目；
利用所述目标投影向量，对第一参数空间进行投影得到第二参数空间；
通过对所述第二参数空间中的变量进行采样，确定关键测试场景。
2.如权利要求1所述的关键测试场景确定方法，其特征在于，所述基于所述评估指标值，对每个测试场景进行分类，包括：
通过所述评估指标值的分布情况，确定所述测试场景对应的标签；
基于所述测试场景对应的标签，对所述测试场景进行分类。
3.如权利要求1所述的关键测试场景确定方法，其特征在于，所述基于所述分类场景参数均值、无分类场景参数均值、测试场景对应的场景参数值、同类约束数目及分类约束数目，确定目标投影向量，包括：
基于所述分类场景参数均值及无分类场景参数均值，确定类间方差；
基于所述分类场景参数均值及测试场景对应的场景参数值，确定类内方差；
基于所述同类约束数目、分类约束数目、测试场景对应的场景参数值及投影向量，确定目标约束方程，所述投影向量是能够将第一参数空间按照约束条件投影至第二参数空间的向量；
基于所述类间方差、类内方差及目标约束方程，构造目标函数；
将所述目标函数的函数值的最大取值所对应的投影向量的取值，确定为目标投影向量。
4.如权利要求3所述的关键测试场景确定方法，其特征在于，所述基于所述分类场景参数均值及无分类场景参数均值，确定类间方差，包括：
针对每个分类，将所述分类对应的分类场景参数均值与无分类场景参数均值之差，确定为第一类间均差；
针对每个分类，将所述分类对应的分类场景参数均值与无分类场景参数均值之差的转置，确定为第二类间均差；
针对每个分类，将所述分类对应的场景个数、所述分类对应的第一类间均差及第二类间均差三者的乘积，确定为目标类间方差；
将所有分类对应的目标类间方差的和，确定为类间方差。
5.如权利要求3所述的关键测试场景确定方法，其特征在于，所述基于所述分类场景参数均值及测试场景对应的场景参数值，确定类内方差，包括：
针对每个分类下的每个测试场景，将所述分类下所述测试场景对应的场景参数值与所述分类对应的分类场景参数均值之差，确定为第一场景均差；
针对每个分类下的每个测试场景，将所述分类下所述测试场景对应的场景参数值与所述分类对应的分类场景参数均值之差的转置，确定为第二场景均差；
针对每个分类下的每个测试场景，将所述分类下所述测试场景对应的第一场景均差与第二场景均差的乘积，确定为目标场景方差；
将同一分类下所有测试场景对应的目标场景方差的和，确定为类内场景方差；
将所有分类对应的类内场景方差的和，确定为类内方差。
6.如权利要求3-5中任一项所述的关键测试场景确定方法，其特征在于，所述基于所述类间方差、类内方差及目标约束方程，构造目标函数，包括：
将所述类间方差、投影向量及所述投影向量的转置三者的乘积，确定为分子；
将所述类内方差、投影向量及所述投影向量的转置三者的乘积与所述目标约束方程的差值，确定为分母；
利用所述分子与所述分母的比值，构造目标函数。
7.如权利要求1所述的关键测试场景确定方法，其特征在于，所述利用所述目标投影向量，对第一参数空间进行投影得到第二参数空间，包括：
针对第一参数空间中的每个场景参数，获取与所述场景参数对应的多个取值；
将所有场景参数对应的多个取值进行随机组合，确定多个场景参数组合，所述每个场景参数组合中均包括全部场景参数以及全部场景参数中每个场景参数的一个取值；
针对每个场景参数组合，将所述场景参数组合中每个场景参数对应的取值代入投影表达式，确定第二参数空间中变量的多个取值，所述投影表达式是基于所述目标投影向量中的每个参数与所述参数对应的场景参数取值的乘积之和确定的；
基于所述第二参数空间中变量的多个取值，确定所述第二参数空间中变量的取值范围；
将所有第二参数空间中变量的取值范围组合在一起所构成的空间，确定为第二参数空间。
8.如权利要求7所述的关键测试场景确定方法，其特征在于，所述通过对所述第二参数空间中的变量进行采样，确定关键测试场景，包括：
针对第二参数空间中的每个变量，对所述变量进行采样，确定所述变量的具体取值；
针对每个变量，将所述变量的具体取值代入所述投影表达式，确定与所述变量的具体取值对应的全部场景参数中每个场景参数的第二参数值；
基于所述第二参数值，确定关键测试场景。
9.一种关键测试场景确定装置，其特征在于，包括：
评估模块，用于针对每个测试场景，将自动驾驶算法与所述测试场景结合进行仿真模拟，确定所述测试场景的评估指标值，多个测试场景对应的场景参数值构成第一参数空间；
分类模块，用于基于所述评估指标值，对每个测试场景进行分类，以确定分类场景参数均值，所述分类场景参数均值为每个分类下场景参数的均值；
计算模块，用于基于所述分类场景参数均值、无分类场景参数均值、测试场景对应的场景参数值、同类约束数目及分类约束数目，确定目标投影向量，所述同类约束数目是指能够将测试场景归为一类的约束条件的数目，所述分类约束数目是指不能够将测试场景归为一类的约束条件的数目；
投影模块，用于利用所述目标投影向量，对第一参数空间进行投影得到第二参数空间；
确定模块，用于通过对所述第二参数空间中的变量进行采样，确定关键测试场景。
10.一种电子设备，其特征在于，包括处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线进行通信，所述机器可读指令被所述处理器运行时执行如权利要求1-8中任一项所述的关键测试场景确定方法的步骤。
CN202111399983.7A 2021-11-24 2021-11-24 一种关键测试场景确定方法、装置及电子设备 Pending CN114091264A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111399983.7A CN114091264A (zh) 2021-11-24 2021-11-24 一种关键测试场景确定方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111399983.7A CN114091264A (zh) 2021-11-24 2021-11-24 一种关键测试场景确定方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN114091264A true CN114091264A (zh) 2022-02-25

Family

ID=80303880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111399983.7A Pending CN114091264A (zh) 2021-11-24 2021-11-24 一种关键测试场景确定方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN114091264A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200082573A1 (en) * 2018-09-10 2020-03-12 Baidu Online Network Technology (Beijing) Co., Ltd. Method and Apparatus for Generating Simulation Scene
CN113326210A (zh) * 2021-08-03 2021-08-31 北京赛目科技有限公司 一种自动驾驶测试场景的确定方法及装置
CN113326639A (zh) * 2021-08-03 2021-08-31 北京赛目科技有限公司 一种自动驾驶测试场景的确定方法、装置及电子设备
CN113360412A (zh) * 2021-07-20 2021-09-07 北京赛目科技有限公司 一种测试场景选取方法、装置、电子设备及存储介质
US20210354727A1 (en) * 2020-05-14 2021-11-18 Beijing Baidu Netcom Science And Technology Co., Ltd. Method for simulating obstacle in unmanned simulation scene
CN113688042A (zh) * 2021-08-25 2021-11-23 北京赛目科技有限公司 测试场景的确定方法、装置、电子设备及可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200082573A1 (en) * 2018-09-10 2020-03-12 Baidu Online Network Technology (Beijing) Co., Ltd. Method and Apparatus for Generating Simulation Scene
US20210354727A1 (en) * 2020-05-14 2021-11-18 Beijing Baidu Netcom Science And Technology Co., Ltd. Method for simulating obstacle in unmanned simulation scene
CN113360412A (zh) * 2021-07-20 2021-09-07 北京赛目科技有限公司 一种测试场景选取方法、装置、电子设备及存储介质
CN113326210A (zh) * 2021-08-03 2021-08-31 北京赛目科技有限公司 一种自动驾驶测试场景的确定方法及装置
CN113326639A (zh) * 2021-08-03 2021-08-31 北京赛目科技有限公司 一种自动驾驶测试场景的确定方法、装置及电子设备
CN113688042A (zh) * 2021-08-25 2021-11-23 北京赛目科技有限公司 测试场景的确定方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN112487617B (zh) 基于碰撞模型的风险预防方法、装置、设备及存储介质
CN110955159B (zh) 自动驾驶仿真例编制方法、装置、电子设备及存储介质
CN111426486B (zh) 辅助驾驶系统的测试方法、装置、设备及存储介质
CN114815605A (zh) 自动驾驶测试用例生成方法、装置、电子设备及存储介质
CN113360412B (zh) 一种测试场景选取方法、装置、电子设备及存储介质
CN113688042A (zh) 测试场景的确定方法、装置、电子设备及可读存储介质
US11302122B2 (en) Apparatus and method for predicting injury level
CN106585635A (zh) 驾驶行为评分方法和装置
Sun et al. Modeling car-following behavior on freeways considering driving style
Ponn et al. Identification of challenging highway-scenarios for the safety validation of automated vehicles based on real driving data
Cho et al. CPS approach to checking norm operation of a brake-by-wire system
CN111079800A (zh) 一种智能驾驶虚拟测试的加速方法及加速系统
CN115735107A (zh) 用于提供要测试的交通场景的测试过程的计算机实现的方法
US20180017402A1 (en) Method and system for vehicle speed profile generation
CN113935143A (zh) 通过自主车辆的增加的严重性等级估计碰撞概率
Laurent et al. Achieving weight coverage for an autonomous driving system with search-based test generation
CN114091264A (zh) 一种关键测试场景确定方法、装置及电子设备
Huang et al. Pre-crash scenarios for safety testing of autonomous vehicles: a clustering method for in-depth crash data
Zhao et al. Analysis of Driver Behavior and Intervehicular Collision: A Data‐Based Traffic Modeling and Simulation Approach
He et al. Research on safety evaluation of commercial vehicle driving behavior based on data mining technology
Khatun et al. An approach for deriving reduced collision scenarios for highly automated driving systems
CN115470122A (zh) 基于仿真场景的自动驾驶测试方法、装置、介质及设备
Rabus et al. Development of a model for the prediction of occupant loads in vehicle crashes: introduction of the Real Occupant Load Criterion for Prediction (ROLC p)
Chien et al. Method of selecting test scenarios for pedestrian forward looking pre-collision system evaluation
Ponn How to Define System-Specific Corner Cases for the Type-Approval of Automated Vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination