CN113360412A - 一种测试场景选取方法、装置、电子设备及存储介质 - Google Patents
一种测试场景选取方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113360412A CN113360412A CN202110816895.6A CN202110816895A CN113360412A CN 113360412 A CN113360412 A CN 113360412A CN 202110816895 A CN202110816895 A CN 202110816895A CN 113360412 A CN113360412 A CN 113360412A
- Authority
- CN
- China
- Prior art keywords
- scene
- fitting
- scene parameter
- fitting model
- test
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
Abstract
本申请公开了一种测试场景选取方法、装置、电子设备及存储介质,该方法包括:基于第一测试场景,确定多个第一场景参数组合;针对每个第一场景参数组合,通过仿真模拟确定与第一场景参数组合对应的评估指标;利用多种拟合算法,对第一场景参数组合与评估指标之间的关系进行拟合,以确定多个第一拟合模型;针对每个第一拟合模型,计算每个第一场景参数组合中每个第一场景参数在拟合模型中的重要性系数,并基于重要性系数,确定满足要求的拟合模型;基于满足要求的拟合模型,确定劣势场景。通过采用上述测试场景选取方法、装置、电子设备及存储介质,解决了在自动驾驶算法的仿真验证过程中,测试场景数量少以及无法有效选取出劣势场景的问题。
Description
技术领域
本申请涉及自动驾驶技术领域,尤其是涉及一种测试场景选取方法、装置、电子设备及存储介质。
背景技术
自动驾驶技术不仅能够提高交通出行安全,缓解交通拥堵,还能够提高道路通行效率以及驾驶和乘坐的舒适性。目前,自动驾驶技术在感知、决策和控制技术方面已趋于成熟,而影响自动驾驶技术进一步推广的主要阻力在于对其安全性的考虑。为确保自动驾驶车辆的安全性,需要在自动驾驶仿真平台上,针对自动驾驶算法在不同测试场景下进行大量的仿真验证,以考察自动驾驶算法在不同测试场景下的表现。因此,如何选取测试场景,以及考察自动驾驶算法在不同测试场景中的表现,对于自动驾驶算法的仿真验证来说至关重要。
现有技术中,通常是从一系列由标准场景构成的标准场景库中选取测试场景的,然后,在所选取的测试场景中进行仿真验证,以考察自动驾驶算法能否达到测试要求。
然而,现有的标准场景库所包含的测试场景数目较少,无法满足对测试场景数量的要求。同时,由于对所有自动驾驶算法都采用了同一套标准场景库进行仿真验证,因此,也不能选取出各自动驾驶算法所对应的劣势场景,无法有效验证其在劣势场景中的表现。
发明内容
有鉴于此,本申请提供一种测试场景选取方法、装置、电子设备及存储介质,其目的是选取出大量符合要求的测试场景,并从其中发掘出自动驾驶算法所对应的劣势场景,为自动驾驶算法的仿真验证提供个性化测试场景,以考察其在劣势场景中的表现。
第一方面,本申请实施例提供了一种测试场景选取方法,包括:
基于第一测试场景,确定多个第一场景参数组合;
针对每个第一场景参数组合,通过仿真模拟确定与第一场景参数组合对应的评估指标;
利用多种拟合算法,对第一场景参数组合与评估指标之间的关系进行拟合,以确定多个第一拟合模型;
针对每个第一拟合模型,计算每个第一场景参数组合中每个第一场景参数在拟合模型中的重要性系数,并基于重要性系数,确定满足要求的拟合模型;
基于满足要求的拟合模型,确定劣势场景。
可选地,基于第一测试场景,确定多个第一场景参数组合可包括:基于第一测试场景,确定与第一测试场景对应的多个场景参数中每个第一场景参数的累计分布函数;基于每个第一场景参数的累计分布函数,确定每个第一场景参数对应的多个取值;将所有第一场景参数对应的多个取值进行随机组合,确定多个第一场景参数组合;其中,每个第一场景参数组合中均包括多个第一场景参数以及每个第一场景参数的至少一个取值。
可选地,针对每个第一场景参数组合,通过仿真模拟确定与第一场景参数组合对应的评估指标可包括:针对每个第一场景参数组合,构建与第一场景参数组合对应的第二测试场景;利用所构建的第二测试场景与自动驾驶算法结合进行仿真模拟;基于仿真模拟结果,确定与第一场景参数组合对应的评估指标。
可选地,利用多种拟合算法,对第一场景参数组合以及评估指标之间的关系进行拟合,以确定多个第一拟合模型可包括:每种拟合算法对应一个第一拟合模型。
可选地,针对每个第一拟合模型,计算每个第一场景参数组合中每个第一场景参数在拟合模型中的重要性系数,并基于重要性系数,确定满足要求的拟合模型可包括:针对每个第一拟合模型,计算每个第一场景参数组合中每个第一场景参数在第一拟合模型中的重要性系数;选取重要性系数大于预设值的第一场景参数组合中的第一场景参数作为第二拟合模型的输入参数,第二拟合模型为重新选取输入参数的第一拟合模型;从第二拟合模型中,选取符合条件的第二拟合模型作为满足要求的拟合模型。
可选地,从第二拟合模型中,选取符合条件的第二拟合模型作为满足要求的拟合模型可包括:计算每个第二拟合模型对应的决定系数;选取决定系数最高的第二拟合模型作为满足要求的拟合模型。
可选地,基于满足要求的拟合模型,确定满足要求的测试场景可包括:基于满足要求的拟合模型对应的每个第二场景参数的累计分布函数,确定每个第二场景参数对应的多个取值,第二场景参数是满足要求的拟合模型对应的第一场景参数;将所有第二场景参数对应的多个取值进行随机组合,确定第二场景参数组合,第二场景参数组合中包括多个第二场景参数以及每个第二场景参数的至少一个取值;基于所确定的第二场景参数组合,确定与第二场景参数组合对应的劣势场景。
第二方面,本申请实施例提供了一种测试场景选取装置,包括:
采样模块,用于基于第一测试场景,确定多个第一场景参数组合;
评估模块,用于针对每个第一场景参数组合,通过仿真模拟确定与第一场景参数组合对应的评估指标;
拟合模块,用于利用多种拟合算法,对第一场景参数组合与评估指标之间的关系进行拟合,以确定多个第一拟合模型;
计算模块,用于针对每个第一拟合模型,计算每个第一场景参数组合中每个第一场景参数在拟合模型中的重要性系数,并基于重要性系数,确定满足要求的拟合模型;
确定模块,用于基于满足要求的拟合模型,确定劣势场景。
第三方面,本申请实施例提供了一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如上述的测试场景选取方法的步骤。
第四方面,本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,计算机程序被处理器运行时执行上述的测试场景选取方法的步骤。
本申请实施例带来了以下有益效果:
本申请实施例提供了一种测试场景选取方法、装置、电子设备及存储介质,包括:基于第一测试场景,确定多个第一场景参数组合;针对每个第一场景参数组合,通过仿真模拟确定与第一场景参数组合对应的评估指标;利用多种拟合算法,对第一场景参数组合与评估指标之间的关系进行拟合,以确定多个第一拟合模型;针对每个第一拟合模型,计算每个第一场景参数组合中每个第一场景参数在拟合模型中的重要性系数,并基于重要性系数,确定满足要求的拟合模型;基于满足要求的拟合模型,确定劣势场景。本申请通过对场景参数的处理,不但能够选取出大量符合要求的测试场景,同时还能够从其中发掘出自动驾驶算法所对应的劣势场景,解决了在自动驾驶算法的仿真验证过程中,测试场景数量少以及无法有效选取出劣势场景的问题。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,以下附图是本申请的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的测试场景选取方法的流程示意图;
图2为本申请实施例提供的确定满足要求的测试场景方法的流程示意图;
图3为本申请实施例提供的测试场景选取装置的结构示意图;
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
现有技术中,在对自动驾驶算法进行仿真验证时,通常是从一系列的标准场景构成的标准场景库中选取测试场景,并在所选取的测试场景中考察自动驾驶算法的表现。标准场景库是一些符合国际、国家或行业标准的测试场景库,例如:阴雨天场景、视野障碍场景、交通事故场景等。然而,标准场景库所包含的场景数量较小,无法满足测试场景的需求,即使对测试场景的场景参数进行泛化处理,也仅仅是在场景参数的取值附近增加扰动而已,仍然无法满足对于测试场景数量的需求。同时,由于所有自动驾驶算法的仿真验证都是在同一套标准场景库中进行,没有对测试场景进行有针对性的筛选,容易导致车厂在测试自动驾驶算法时,不能够对其进行有效的测试。
基于此,本申请实施例提供一种测试场景选取方法、装置、电子设备及存储介质,通过对场景参数的采样重组以及重组后场景参数的重要性评估,不但能够选取出大量符合要求的测试场景,同时还能够从其中发掘出自动驾驶算法所对应的劣势场景,解决了在自动驾驶算法的仿真验证过程中,测试场景数量少以及无法有效选取出劣势场景的问题。
为便于对本实施例进行理解,首先对本申请实施例所公开的一种测试场景选取方法进行详细介绍,图1为本申请实施例提供的测试场景选取方法的流程示意图,如图1所示,该方法包括如下步骤:
步骤101,基于第一测试场景,确定多个第一场景参数组合。
具体的,在对自动驾驶算法进行仿真验证时,首先要根据测试目的确定第一测试场景。这里,第一测试场景是在仿真模拟平台中构建的虚拟场景,用来评估自动驾驶算法在对应测试场景下的表现,并根据评估结果对自动驾驶算法进行有针对性的优化。在确定了第一测试场景后,即可确定与该第一测试场景对应的多个第一场景参数,确定多个第一场景参数包括确定每个第一场景参数的分布类型和若干参数值,这些第一场景参数共同决定了该测试场景能否满足测试内容所要求达到的条件。工作人员可以通过路面采集的方式确定多个第一场景参数以及每个第一场景参数的若干参数值,也可以从场景数据库中选取测试场景,然后从所选取的测试场景中获取多个场景参数以及每个第一场景参数的若干参数值。其中,每个第一场景参数的分布类型指的是该第一场景参数的分布曲线,分布类型包括但不限于正态分布、卡方分布、泊松分布。该分布曲线可根据该第一场景参数的若干参数值确定,也可由经验数据直接获取。
在一示例中,以考察自动驾驶算法在前车刹停情况下的表现为测试目的,则可选择前车刹停测试场景为第一测试场景。选择好第一测试场景后,即可确定多个第一场景参数。这里,前车刹停场景中可包括以下第一场景参数:车流量、前车速度、前车加速度、前车与后车的距离、临车速度,本实施例不做具体限定。
为了确定更多可用于仿真验证的测试场景,需要获取每个第一场景参数的多个取值。这里,在确定了多个第一场景参数后,可通过以下步骤确定每个第一场景参数对应的多个取值:基于第一测试场景,确定与第一测试场景对应的多个第一场景参数中每个第一场景参数的累计分布函数,基于每个第一场景参数的累计分布函数,确定每个第一场景参数对应的多个取值。
具体的,以某一个第一场景参数为例,由于已确定了该第一场景参数的若干参数值以及分布类型,因此,通过计算能够确定该第一场景参数的累计分布函数以及概率密度函数,然后在该累计分布函数【0,1】区间上进行均匀采样,以获取多个采样点,并基于分布类型通过逆分布函数确定该第一场景参数的多个样本点,通过这些样本点就可以确定该第一场景参数的多个取值。
以上述示例为例,针对前车车速这一第一场景参数进行采样。假设,前车车速服从正态分布,则首先根据前车车速的分布曲线,确定对应的累计分布函数,然后在这条累积分布函数对应的曲线上在【0,1】区间上进行均匀采样得到1000个采样点,然后通过逆正态分布函数(正态分布函数的反函数)即可得到这1000个采样点对应的正态分布的样本点,每个样本点对应该第一场景参数的一个取值。
在另一示例中,可先将上述前车车速的累计分布函数对应的曲线在【0,1】区间上进行均匀等分,划分为1000个等分区间,然后在每个等分区间内进行均匀采样,最后同样通过逆正态分布函数得到正态分布的样本点。
在一示例中,在确定了每个第一场景参数对应的多个取值后,将所有第一场景参数对应的多个取值进行随机组合,确定多个第一场景参数组合,每个第一场景参数组合中均包括多个第一场景参数以及每个第一场景参数的至少一个取值。
假设,每个第一场景参数均对应1000个取值,这里,为满足测试场景对于场景参数的需求,需要从每个第一场景参数中选取1个值。以前车刹停测试场景为例,可从前车车速对应的1000个取值中随机选取1个数值,从前车加速度对应的1000个取值中随机选取1个数值,依此类推,选取其余第一场景参数中每个第一场景参数的1个取值。将上述多个第一场景参数以及每个第一参数的1个取值进行组合,即可确定一个第一场景参数组合。依照上述方法,可以确定多个第一场景参数组合。
步骤102,针对每个第一场景参数组合,通过仿真模拟确定与第一场景参数组合对应的评估指标。
具体的,在对自动驾驶算法进行仿真验证前,可根据测试目的制定相应的测试标准,并通过相应的评估指标来衡量自动驾驶算法在测试场景中的表现是否达到该测试标准。
可通过如下步骤确定与第一场景参数组合对应的评估指标:针对每个第一场景参数组合,构建与第一场景参数组合对应的第二测试场景,利用所构建的第二测试场景与自动驾驶算法结合进行仿真模拟,基于仿真模拟结果,确定与第一场景参数组合对应的评估指标。可以理解的,如果第一场景参数包括:前车速度、前车加速度、前车与后车距离、邻车速度,那么,随机组合后的第一场景参数组合中必然要包括上述每个第一场景参数的至少一个取值,否则基于第一场景参数组合构建的第二测试场景将缺少必要的场景参数。
以上述示例为例,针对每个第一场景参数组合,可将该第一场景参数组合导入到仿真测试平台中,即可构建与该第一场景参数组合对应的第二测试场景。在第二测试场景构建完成后,将第二测试场景与自动驾驶算法结合,并在测试平台上进行仿真模拟,通过仿真模拟结果可以获得与该第一场景参数组合对应的评估指标。在前车刹停仿真验证示例中,评估指标可以是碰撞时间(TTC)小于3秒。
在一示例中,可将所确定的多个第一场景参数组合划分成两个数据集合,分别为训练数据集和测试数据集,并使用训练数据集中的多个第一场景参数组合确定与第一场景参数组合对应的第二测试场景,使用测试数据集对后续内容中的第二拟合模型进行测试。
步骤103,利用多种拟合算法,对第一场景参数组合与评估指标之间的关系进行拟合,以确定多个第一拟合模型。
具体的,在确定与每个第二测试场景对应的评估指标后,可通过多种拟合算法,对第一场景参数组合与评估指标之间的关系进行拟合,以获得相应的拟合模型。可以理解的,拟合模型的自变量为第一场景参数组合中的第一场景参数,拟合模型的响应变量是评估指标。这里,多种拟合算法包括:基于梯度的优化方法、基于启发式的优化方法、神经网络深度学习方法,本领域技术人员可以根据实际需要选择合适的拟合算法,本申请对此不做限定。需要指出的,每个第一场景参数组合对应的评估指标可以是单个,也可以是多个,本领域技术人员可以根据实际情况确定,本申请在此不做限定。
在一示例中,可通过以下步骤确定第一拟合模型:利用多种拟合算法,对第一场景参数组合以及评估指标之间的关系进行拟合,以获得多个第一拟合模型,每种拟合算法对应一个第一拟合模型。这里,可以先通过多种拟合算法中基于神经网络深度学习算法的拟合模型,对多个第一场景参数组合与多个评估指标之间的关系进行拟合,以获取与神经网络深度学习算法对应的第一拟合模型。然后分别利用其余每个拟合算法,对多个第一场景参数组合与多个评估指标之间的关系进行拟合,以获得与其余每个拟合算法对应的第一拟合模型。
步骤104,针对每个第一拟合模型,计算每个第一场景参数组合中每个第一场景参数在拟合模型中的重要性系数,并基于重要性系数,确定满足要求的拟合模型。
具体的,针对每个第一拟合模型,计算每个第一场景参数组合中每个场景参数在第一拟合模型中的重要性系数,选取重要性系数大于预设值的第一场景参数组合中的场景参数作为第二拟合模型的输入参数,第二拟合模型为重新选取输入参数的第一拟合模型,计算每个第二拟合模型对应的决定系数,选取决定系数最高的第二拟合模型作为满足要求的拟合模型。
以上述示例为例,可针对每个第一拟合模型,计算每个第一场景参数组合中每个第一场景参数的重要性系数,并根据重要性系数的计算结果,剔除不满足要求的第一场景组合中的第一场景参数,将满足要求的第一场景参数组合中的第一场景参数保留下来,作为第二拟合模型的输入参数,第二拟合模型为重新选取输入参数的第一拟合模型。其中,满足要求的具体条件是:第一场景参数组合中的第一场景参数对应的重要性系数大于给定的阈值,本领域技术人员可以根据实际情况确定该阈值的具体数值,本申请在此不做限定。
这里,计算重要性系数之前,还需要计算该第一拟合模型的决定系数(Coefficient of Determination,CoD),决定系数是借鉴线性回归中的拟合优度指标,使用选定的第一拟合模型对响应变量进行拟合,得到该第一拟合模型的决定系数,用来表示线性回归模型中由自变量解释的响应变量的变化比例,越大,线性回归模型解释的变异越大。其计算公式如下所示:
其中,SSR表示回归平方和,SST表示平方和的总和,N表示第一拟合模型对应的第一场景参数组合的数量,() 表示第一拟合模型在第一场景参数组合i上对评估指标的拟合值,y()表示在第一场景参数组合i上评估指标的实际值,表示评估指标的实际值的平均值。这里,在第一场景参数组合i上评估指标的实际值是指第一场景参数组合i在经过模拟仿真后,通过模拟仿真结果所确定的评估指标的数值,评估指标的实际值的平均值是指多个通过模拟仿真结果所确定的评估指标的数值的平均值。
重要性系数是考虑各个自变量对决定系数的影响,计算每个自变量的重要性系数(Coefficient of Importance,CoI)的计算公式如下所示:
其中,是指第一拟合模型以向量x为自变量时的决定系数,当且仅当变量的重要性系数大于某个给定的阈值(1%~9%)时才认为是重要的。这里,以计算前车速度的重要性系数为例:首先计算将第一场景参数组合中所有场景参数作为输入参数时,第一拟合模型的决定系数,即,然后计算将除前车速度外其余场景参数作为输入参数时,第一拟合模型的决定系数,即,将上述计算得到的两个决定系数相减,则可得到前车速度的重要性系数。依此类推,可确定每个第一场景参数组合中每个场景参数的重要性系数。
以上述示例为例,在确定了第二拟合模型之后,可考察第二拟合模型在测试数据集中的表现。这里,可通过计算每个第二拟合模型在测试数据集中的决定系数来考察其在测试数据集中的表现,具体步骤如下:计算每个第二拟合模型对应的决定系数;选取决定系数最高的第二拟合模型作为满足要求的拟合模型。决定系数的具体计算方式已经在上述步骤中进行了详细说明,这里,只是第二拟合模型的输入参数的取值变为测试数据集中对应的取值,例如:与神经网络深度学习算法对应的第二拟合模型的输入参数为前车速度、前车加速度,则从测试数据集中选取前车速度、前车加速度的多组取值,通过计算确定该第二拟合模型的评估指标的多个拟合值,即可利用上述评估指标的多个拟合值计算该第二拟合模型的决定系数,依此类推,计算每个第二拟合模型对应的决定系数,选取决定系数最高的第二拟合模型作为满足要求的拟合模型。
可以理解的,满足要求的拟合模型所对应的场景参数即为最敏感的场景参数,该最敏感的场景参数是通过使用敏感性分析考察自动驾驶算法对各场景参数的敏感性,从而挖掘出自动驾驶算法的劣势场景。
步骤105,基于满足要求的拟合模型,确定劣势场景。
具体的,参照确定第二测试场景的步骤,可基于第二场景参数确定满足要求的测试场景。
图2为本申请实施例提供的确定满足要求的测试场景方法的流程示意图,如图2所示,确定满足要求的测试场景方法包括如下步骤:
步骤201,基于满足要求的拟合模型对应的每个第二场景参数的累计分布函数,确定每个第二场景参数对应的多个取值。第二场景参数是满足要求的拟合模型对应的场景参数。
具体的,第二场景参数是基于重要性系数从第一场景参数组合中筛选出来的第一场景参数,也就是说,第二场景参数与第一场景参数的累计分布函数是相同的,所以,可通过对与第二场景参数对应的第一场景参数的累计分布函数进行均匀采样的方式,获取多个采样点,并基于分布类型通过逆分布函数确定该第二场景参数的多个样本点,通过这些样本点即可确定该第二场景参数的多个取值。这里,相较于对第一场景参数的累计分布函数采样,在对第二场景参数的累计分布函数进行均匀采样时,采样点的数量可以适当减少,因为,对第一场景参数的累计分布函数采样时,主要为的是满足对于场景参数数量的需求。
步骤202,将所有第二场景参数对应的多个取值进行随机组合,确定第二场景参数组合。第二场景参数组合中包括每个第二场景参数的至少一个取值。
具体的,以上述示例为例,每个第二场景参数均对应1000个取值,且为满足测试场景的构建需求,需要从每个第二场景参数中依次抽取1个值。以前车刹停测试场景为例,可从前车车速对应的1000个取值中选取1个数值,从前车加速度对应的1000个取值中选取1个数值,依此类推,选取其余第二场景参数中每个第二场景参数的1个取值。将上述多个第二场景参数以及每个第二参数的1个取值进行组合,可确定1个第二场景参数组合。这里,本领域技术人员可以根据实际需要,确定多个第二场景参数组合,本申请对此不做限定。
步骤203,基于所确定的第二场景参数组合,构建与第二场景参数组合对应的劣势场景。
具体的,将所确定的第二场景参数组合导入到仿真测试平台中,即可构建与该第二场景参数组合对应的测试场景。
在一示例中,上述基于第二场景参数组合所构建的测试场景即是劣势场景。可以理解的,该劣势场景是根据最敏感的场景参数确定的,劣势场景是较为敏感的测试场景。
在另一示例中,对上述基于第二场景参数组合所构建的测试场景进行仿真模拟,并基于仿真模拟结果得到每个测试场景所对应的评估指标。将未达到测试要求的评估指标所对应的测试场景,确定为劣势场景,例如:以碰撞时间小于3秒为评估指标,如果某个测试场景对应的评估指标大于等于3秒,则将该测试场景确定为劣势场景。
基于同一发明构思,本申请实施例中还提供了与测试场景选取方法对应的测试场景选取装置,由于本申请实施例中的装置解决问题的原理与本申请实施例上述测试场景选取方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
图3为本申请实施例提供的测试场景选取装置的结构示意图,如图3所示,该装置包括以下模块:
采样模块301,用于基于第一测试场景,确定多个第一场景参数组合;
评估模块302,用于针对每个第一场景参数组合,通过仿真模拟确定与第一场景参数组合对应的评估指标;
拟合模块303,用于利用多种拟合算法,对第一场景参数组合与评估指标之间的关系进行拟合,以确定多个第一拟合模型;
计算模块304,用于针对每个第一拟合模型,计算每个第一场景参数组合中每个第一场景参数在拟合模型中的重要性系数,并基于重要性系数,确定满足要求的拟合模型;
确定模块305,基于满足要求的拟合模型,确定满足要求的测试场景。
对应于图1中的测试场景选取方法,本申请实施例还提供了一种电子设备400的结构示意图,如图4所示,所述电子设备400包括处理器410、存储器420和总线430。所述存储器420存储有所述处理器410可执行的机器可读指令,当电子设备400运行时,所述处理器410与所述存储器420之间通过总线430通信,所述机器可读指令被所述处理器410执行时,能够执行上述测试场景选取方法,从场景参数的分布出发,通过对场景参数的采样重组能够选取出大量符合要求的测试场景,同时,基于敏感性分析考察自动驾驶算法对各场景参数的敏感性,能够从大量测试场景中发掘出自动驾驶算法所对应的劣势场景,解决了在自动驾驶算法的仿真验证过程中,测试场景数量少以及无法有效选取出劣势场景的问题。
对应于图1中的测试场景选取方法,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述测试场景选取方法的步骤。
具体地,该存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该存储介质上的计算机程序被运行时,能够执行上述测试场景选取方法,从场景参数的分布出发,通过对场景参数的采样重组能够选取出大量符合要求的测试场景,同时,基于敏感性分析考察自动驾驶算法对各场景参数的敏感性,能够从大量测试场景中发掘出自动驾驶算法所对应的劣势场景,解决了在自动驾驶算法的仿真验证过程中,测试场景数量少以及无法有效选取出劣势场景的问题。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,前述描述的系统、装置和单元的具体工作过程,可以参考上述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台电子设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种测试场景选取方法,其特征在于,测试场景选取方法包括:
基于第一测试场景,确定多个第一场景参数组合;
针对每个第一场景参数组合,通过仿真模拟确定与所述第一场景参数组合对应的评估指标;
利用多种拟合算法,对第一场景参数组合与评估指标之间的关系进行拟合,以确定多个第一拟合模型;
针对每个第一拟合模型,计算所述每个第一场景参数组合中每个第一场景参数在拟合模型中的重要性系数,并基于所述重要性系数,确定满足要求的拟合模型;
基于所述满足要求的拟合模型,确定劣势场景。
2.如权利要求1所述的测试场景选取方法,其特征在于,所述基于第一测试场景,确定多个第一场景参数组合包括:
基于第一测试场景,确定与第一测试场景对应的多个第一场景参数中每个第一场景参数的累计分布函数;
基于每个第一场景参数的累计分布函数,确定每个第一场景参数对应的多个取值;
将所有第一场景参数对应的多个取值进行随机组合,确定多个第一场景参数组合;
其中,所述每个第一场景参数组合中均包括多个第一场景参数以及每个第一场景参数的至少一个取值。
3.如权利要求1所述的测试场景选取方法,其特征在于,所述针对每个第一场景参数组合,通过仿真模拟确定与所述第一场景参数组合对应的评估指标包括:
针对每个第一场景参数组合,构建与所述第一场景参数组合对应的第二测试场景;
利用所构建的第二测试场景与自动驾驶算法结合进行仿真模拟;
基于仿真模拟结果,确定与第一场景参数组合对应的评估指标。
4.如权利要求1所述的测试场景选取方法,其特征在于,所述利用多种拟合算法,对第一场景参数组合以及评估指标之间的关系进行拟合,以确定多个第一拟合模型包括:
每种拟合算法对应一个第一拟合模型。
5.如权利要求2所述的测试场景选取方法,其特征在于,所述针对每个第一拟合模型,计算所述每个第一场景参数组合中每个第一场景参数在拟合模型中的重要性系数,并基于所述重要性系数,确定满足要求的拟合模型包括:
针对每个第一拟合模型,计算所述每个第一场景参数组合中每个第一场景参数在第一拟合模型中的重要性系数;
选取重要性系数大于预设值的第一场景参数组合中的第一场景参数作为第二拟合模型的输入参数,第二拟合模型为重新选取输入参数的第一拟合模型;
从第二拟合模型中,选取符合条件的第二拟合模型作为满足要求的拟合模型。
6.如权利要求5所述的测试场景选取方法,其特征在于,从第二拟合模型中,选取符合条件的第二拟合模型作为满足要求的拟合模型包括:
计算每个第二拟合模型对应的决定系数;
选取决定系数最高的第二拟合模型作为满足要求的拟合模型。
7.如权利要求6所述的测试场景选取方法,其特征在于,基于满足要求的拟合模型,确定劣势场景包括:
基于满足要求的拟合模型对应的每个第二场景参数的累计分布函数,确定每个第二场景参数对应的多个取值,第二场景参数是满足要求的拟合模型对应的第一场景参数;
将所有第二场景参数对应的多个取值进行随机组合,确定第二场景参数组合,第二场景参数组合中包括多个第二场景参数以及每个第二场景参数的至少一个取值;
基于所确定的第二场景参数组合,确定与第二场景参数组合对应的劣势场景。
8.一种测试场景选取装置,其特征在于,包括:
采样模块,用于基于第一测试场景,确定多个第一场景参数组合;
评估模块,用于针对每个第一场景参数组合,通过仿真模拟确定与所述第一场景参数组合对应的评估指标;
拟合模块,用于利用多种拟合算法,对第一场景参数组合与评估指标之间的关系进行拟合,以确定多个第一拟合模型;
计算模块,用于针对每个第一拟合模型,计算所述每个第一场景参数组合中每个第一场景参数在拟合模型中的重要性系数,并基于所述重要性系数,确定满足要求的拟合模型;
确定模块,用于基于所述满足要求的拟合模型,确定劣势场景。
9.一种电子设备,其特征在于,包括处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线进行通信,所述机器可读指令被所述处理器运行时执行如权利要求1-7中任一项所述的测试场景选取方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1-7中任一项所述的测试场景选取方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110816895.6A CN113360412B (zh) | 2021-07-20 | 2021-07-20 | 一种测试场景选取方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110816895.6A CN113360412B (zh) | 2021-07-20 | 2021-07-20 | 一种测试场景选取方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113360412A true CN113360412A (zh) | 2021-09-07 |
CN113360412B CN113360412B (zh) | 2021-11-02 |
Family
ID=77539895
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110816895.6A Active CN113360412B (zh) | 2021-07-20 | 2021-07-20 | 一种测试场景选取方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113360412B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113918475A (zh) * | 2021-12-15 | 2022-01-11 | 腾讯科技(深圳)有限公司 | 测试处理方法、装置、计算机设备及存储介质 |
CN114544191A (zh) * | 2021-12-28 | 2022-05-27 | 文远苏行(江苏)科技有限公司 | 自动驾驶测试场景量化评估方法及相关设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107421752A (zh) * | 2017-07-13 | 2017-12-01 | 同济大学 | 一种智能汽车测试场景加速重构方法 |
US20180011964A1 (en) * | 2016-07-07 | 2018-01-11 | Baidu Online Network Technology (Beijing) Co., Ltd | Method and system for testing vehicle |
CN111176253A (zh) * | 2019-12-18 | 2020-05-19 | 中国航空工业集团公司成都飞机设计研究所 | 一种基于蒙特卡洛的飞行控制律自动评估方法 |
CN111814308A (zh) * | 2020-06-08 | 2020-10-23 | 同济大学 | 一种面向自动驾驶系统的加速测试系统 |
CN112036001A (zh) * | 2020-07-01 | 2020-12-04 | 长安大学 | 自动驾驶测试场景构建方法、装置、设备及可读存储介质 |
CN112345272A (zh) * | 2021-01-11 | 2021-02-09 | 北京赛目科技有限公司 | 一种场景库的自动驾驶仿真测试方法及装置 |
CN112947080A (zh) * | 2021-02-04 | 2021-06-11 | 中国运载火箭技术研究院 | 一种基于场景参数变换的智能决策模型性能评估系统 |
-
2021
- 2021-07-20 CN CN202110816895.6A patent/CN113360412B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180011964A1 (en) * | 2016-07-07 | 2018-01-11 | Baidu Online Network Technology (Beijing) Co., Ltd | Method and system for testing vehicle |
CN107421752A (zh) * | 2017-07-13 | 2017-12-01 | 同济大学 | 一种智能汽车测试场景加速重构方法 |
CN111176253A (zh) * | 2019-12-18 | 2020-05-19 | 中国航空工业集团公司成都飞机设计研究所 | 一种基于蒙特卡洛的飞行控制律自动评估方法 |
CN111814308A (zh) * | 2020-06-08 | 2020-10-23 | 同济大学 | 一种面向自动驾驶系统的加速测试系统 |
CN112036001A (zh) * | 2020-07-01 | 2020-12-04 | 长安大学 | 自动驾驶测试场景构建方法、装置、设备及可读存储介质 |
CN112345272A (zh) * | 2021-01-11 | 2021-02-09 | 北京赛目科技有限公司 | 一种场景库的自动驾驶仿真测试方法及装置 |
CN112947080A (zh) * | 2021-02-04 | 2021-06-11 | 中国运载火箭技术研究院 | 一种基于场景参数变换的智能决策模型性能评估系统 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113918475A (zh) * | 2021-12-15 | 2022-01-11 | 腾讯科技(深圳)有限公司 | 测试处理方法、装置、计算机设备及存储介质 |
CN114544191A (zh) * | 2021-12-28 | 2022-05-27 | 文远苏行(江苏)科技有限公司 | 自动驾驶测试场景量化评估方法及相关设备 |
CN114544191B (zh) * | 2021-12-28 | 2024-05-03 | 文远苏行(江苏)科技有限公司 | 自动驾驶测试场景量化评估方法及相关设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113360412B (zh) | 2021-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113360412B (zh) | 一种测试场景选取方法、装置、电子设备及存储介质 | |
CN112487617B (zh) | 基于碰撞模型的风险预防方法、装置、设备及存储介质 | |
CN110300686A (zh) | 数据分析装置及程序 | |
CN109572706B (zh) | 一种驾驶安全评价方法及装置 | |
CN108801387B (zh) | 一种基于学习模型的飞机油箱剩余油量测量系统和方法 | |
CN111723470B (zh) | 一种基于标定优化rss模型的自动驾驶控制方法 | |
CN113688042A (zh) | 测试场景的确定方法、装置、电子设备及可读存储介质 | |
CN111688713B (zh) | 驾驶行为分析方法和装置 | |
CN111582586B (zh) | 用于减少抖动的多车队驾驶危险预测系统与方法 | |
CN110411729A (zh) | 刹车片使用寿命预测方法及装置 | |
WO2020108219A1 (zh) | 基于交通安全风险的群体划分与差异性分析方法及系统 | |
CN114815605A (zh) | 自动驾驶测试用例生成方法、装置、电子设备及存储介质 | |
CN114879613A (zh) | 一种工业控制系统信息安全攻击风险评估方法及系统 | |
CN109784586B (zh) | 车险的出险情况的预测方法及系统 | |
CN113592221A (zh) | 基于安全替代评价指标的道路路段风险动态评估方法 | |
CN116092296A (zh) | 交通状态评估方法、装置、电子设备及存储介质 | |
CN113095584A (zh) | 一种基于交通流特征的交叉口安全水平短时预测方法、系统、终端及可读存储介质 | |
CN113011748A (zh) | 推荐效果的评估方法、装置、电子设备及可读存储介质 | |
CN114091264A (zh) | 一种关键测试场景确定方法、装置及电子设备 | |
Roody | Modeling Drivers' Behavior During Panic Braking for Brake Assist Application, Using Neural Networks and Logistic Regression and a Comparison | |
Bock et al. | Analytical test effort estimation for multisensor driver assistance systems | |
CN117556874B (zh) | 基于多源数据的车辆控制方法及系统 | |
Piroutek et al. | Space–time prospective surveillance based on Knox local statistics | |
CN117436290B (zh) | 一种数字孪生模型响应优化方法及系统 | |
CN117932921A (zh) | 一种智能驾驶仿真系统的评价方法、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address | ||
CP03 | Change of name, title or address |
Address after: Room 401, 4th Floor, No. 66 Zizhuyuan Road, Haidian District, Beijing, 100048 Patentee after: Beijing Saimu Technology Co.,Ltd. Address before: 100082 1501 ZhongGuanCun international innovation building, Haidian District, Beijing Patentee before: Beijing saimu Technology Co.,Ltd. |