CN114815605A - 自动驾驶测试用例生成方法、装置、电子设备及存储介质 - Google Patents

自动驾驶测试用例生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114815605A
CN114815605A CN202210361086.5A CN202210361086A CN114815605A CN 114815605 A CN114815605 A CN 114815605A CN 202210361086 A CN202210361086 A CN 202210361086A CN 114815605 A CN114815605 A CN 114815605A
Authority
CN
China
Prior art keywords
driving
test case
driving behavior
test
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210361086.5A
Other languages
English (en)
Inventor
蒋拯民
李慧云
党少博
陈贝章
杨志恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202210361086.5A priority Critical patent/CN114815605A/zh
Publication of CN114815605A publication Critical patent/CN114815605A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请适用于自动驾驶智能测试领域，提供了测试用例生成方法、装置、电子设备及存储介质，包括：根据自然驾驶数据集，获取待测自动驾驶功能对应的逻辑场景参数集合；根据预先构建的目标代理模型和所述逻辑场景参数集合，确定高风险驾驶场景对应的重要性采样分布参数；所述目标代理模型为待测自动驾驶系统的代理模型；根据所述高风险驾驶场景对应的重要性采样分布参数，生成目标测试用例。本申请实施例能够高效准确地生成能够表示高风险驾驶场景的测试用例，以便提高自动驾驶汽车的测试效率。

Description

自动驾驶测试用例生成方法、装置、电子设备及存储介质
技术领域
本申请属于自动驾驶智能测试技术领域，尤其涉及一种自动驾驶测试用例生成方法、装置、电子设备及存储介质。
背景技术
自动驾驶汽车也称为无人驾驶汽车，是一种通过电脑系统实现无人驾驶的智能汽车。自动驾驶汽车的出现，对于提升交通安全、改善交通效率，实现低碳出行等具有重大意义。
在实现自动驾驶汽车大规模商业化的过程中，针对自动驾驶汽车的仿真测试为一项关键技术。然而，由于汽车发生碰撞或者其它冲突的概率较低，因此，在目前的自动驾驶仿真测试方法中，往往需要执行海量的测试用例才能够完成一次有效的高风险驾驶场景测试，导致目前的自动驾驶仿真测试方法的效率较低。
发明内容
有鉴于此，本申请实施例提供了自动驾驶测试用例生成方法、装置、电子设备及存储介质，以解决现有技术中如何高效准确地生成能够表示高风险驾驶场景的测试用例，以便提高自动驾驶汽车的测试效率的问题。
本申请实施例的第一方面提供了一种自动驾驶测试用例生成方法，包括：
根据自然驾驶数据集，获取待测自动驾驶功能对应的逻辑场景参数集合；
根据预先构建的目标代理模型和所述逻辑场景参数集合，确定高风险驾驶场景对应的重要性采样分布参数；所述目标代理模型为待测自动驾驶系统的代理模型；
根据所述高风险驾驶场景对应的重要性采样分布参数，生成目标测试用例。
可选地，所述根据自然驾驶数据集，获取待测自动驾驶功能对应的逻辑场景参数集合，包括：
从所述自然驾驶数据集中筛选出与所述待测自动驾驶功能相关的第一驾驶行为数据集；
根据预设的危险驾驶行为指标，从所述第一驾驶行为数据集中确定危险驾驶行为数据集；其中，所述危险驾驶行为指标包括碰撞时间、跟车时距、距离安全系数、避免碰撞减速度中的任意一项或者多项；
从所述危险驾驶行为数据集中获取逻辑场景参数，得到逻辑场景参数集合。
可选地，所述根据预设的危险驾驶行为指标，从所述第一驾驶行为数据集中确定危险驾驶行为数据集，包括：
对于所述第一驾驶行为数据集中的每个驾驶行为数据，根据所述危险驾驶行为指标，将所述第一驾驶行为数据集中的每个驾驶行为数据映射为表征行车风险的危险驾驶行为谱；其中，所述危险驾驶行为谱是n×m的矩阵，n表示所述驾驶行为数据的时间序列采样数量；m表示所述危险驾驶行为指标的个数；
对各个所述驾驶行为数据对应的危险驾驶行为谱进行降维处理，得到各个所述驾驶行为数据的危险特征信息；
根据所述危险特征信息，对所述第一驾驶行为数据集中的所述驾驶行为数据进行聚类，并将安全性评分最低的聚类簇确定为危险驾驶行为数据集。
可选地，在所述根据预先构建的目标代理模型和所述逻辑场景参数集合，确定高风险驾驶场景对应的重要性采样分布参数之前，还包括：
根据所述逻辑场景参数集合，构建所述目标代理模型。
可选地，所述根据所述逻辑场景参数集合，构建所述目标代理模型，包括：
从所述逻辑场景参数集合中获取第一测试用例；
根据所述第一测试用例和所述待测自动驾驶系统，确定所述第一测试用例对应的第一测试结果；
根据所述第一测试用例及其对应的所述第一测试结果，构建所述目标代理模型。
可选地，所述根据所述第一测试用例及其对应的所述第一测试结果，构建所述目标代理模型，包括：
根据所述第一测试用例及其对应的所述第一测试结果，构建初始的代理模型；
根据基于所述初始的代理模型的期望最大化算法，从所述逻辑场景参数集合中获取第二测试用例；
根据所述第二测试用例和所述待测自动驾驶系统，确定所述第二测试用例对应的第二测试结果；
根据所述第二测试用例及其对应的所述第二测试结果，更新所述代理模型；
若更新后的所述代理模型的精度收敛，则将更新后的所述代理模型作为所述目标代理模型；否则，返回执行所述根据基于所述初始的代理模型的期望最大化算法，从所述逻辑场景参数集合中获取第二测试用例的步骤。
可选地，所述根据预先构建的目标代理模型和所述逻辑场景参数集合，确定高风险驾驶场景对应的重要性采样分布参数，包括：
根据所述逻辑场景参数集合，确定参数搜索范围；
在所述参数搜索范围内，通过所述目标代理模型求取目标函数的最小值；其中，所述目标函数用于计算所述待测自动驾驶系统的危险事件发生概率的估计误差；
将使得所述目标函数取得最小值时对应的分布参数作为所述高风险驾驶场景对应的重要性采样分布参数。
本申请实施例的第二方面提供了一种自动驾驶测试用例生成装置，包括：
逻辑场景参数集合获取单元，用于根据自然驾驶数据集，获取待测自动驾驶功能对应的逻辑场景参数集合；
重要性采样分布参数确定单元，用于根据预先构建的目标代理模型和所述逻辑场景参数集合，确定高风险驾驶场景对应的重要性采样分布参数；所述目标代理模型为待测自动驾驶系统的代理模型；
测试用例生成单元，用于根据所述高风险驾驶场景对应的重要性采样分布参数，生成目标测试用例。
本申请实施例的第三方面提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，使得电子设备实现如所述自动驾驶测试用例生成方法的步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，使得电子设备实现如所述自动驾驶测试用例生成方法的步骤。
本申请实施例的第五方面提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面中任一项所述的自动驾驶测试用例生成方法。
本申请实施例与现有技术相比存在的有益效果是：本申请实施例中，由于从自然驾驶数据集中获取逻辑场景参数集合，实际上确定了与待测自动驾驶功能对应的实际的逻辑场景参数分布，因此，根据该逻辑场景参数集合以及待测自动驾驶系统的代理模型，确定高风险驾驶场景对应的重要性采样分布参数，能够以实际的逻辑场景参数分布为参考，通过代理模型高效准确地确定合理的重要性采样分布参数。之后，通过该重要性采样分布参数，能够快速地泛化生成有效模拟高风险驾驶场景的目标测试用例。即，通过本申请实施例的自动驾驶测试用例生成方法，能够高效准确地生成高风险驾驶场景下的测试用例，使得在自动驾驶仿真测试过程中，无需执行海量的测试用例即能够完成有效的高风险驾驶场景测试，从而能够提高自动驾驶测试的效率。
在一些实施例中，本申请实施例的自动驾驶测试用例生成方法还能够基于较少的自动驾驶测试结果，定量地实现对待测自动驾驶系统的危险事件发生概率的无偏估计。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是本申请实施例提供的一种自动驾驶测试用例生成方法的实现流程示意图；
图2是本申请实施例提供的一种自动驾驶汽车的跟驰行为场景的示意图；
图3是本申请实施例提供的一种表示驾驶行为数据集的综合安全性评分的箱线图；
图4是本申请实施例提供的一种自动驾驶测试用例生成装置的示意图；
图5是本申请实施例提供的电子设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
近年来，频发的自动驾驶汽车事故已经成为自动驾驶技术商业化普及的重大阻碍。与此同时，自动驾驶汽车的第三方监管认证、保险等产业化需要迫使业界在自动驾驶汽车大规模部署之前便快速、准确地给出安全效能的定量评估结果。因此，加速自动驾驶测试成为了应对该挑战、并提高自动驾驶汽车安全性和设计水平的关键方法。
现阶段，自动驾驶测试可以分为实车测试以及仿真测试两大类。其中，实车测试主要包括封闭场地测试以及开放道路测试，这两种方式均具有测试周期长、“无风险”测试场景占比高、经济成本高昂等弊端。而仿真测试则利用数字化建模方式，对真实物理世界进行部分或全部的数学建模，无须实车测试便可以对算法策略进行验证，具有效率高、成本低廉，自由度较高等优点。
通常，自动驾驶的仿真测试方法大致可以分为“基于规则”、“基于学习”、“优化搜索”等方法。其中，“基于规则”的仿真测试方法存在场景同质化、组合不合理等问题，只能适用于低等级、功能边界定义较为简单的辅助驾驶功能验证。“基于学习”的仿真测试方法能够从已有时序交通轨迹数据中演化推断生成未覆盖的新颖场景，极大地丰富了仿真测试用例的多样性，然而衍生场景的特性是否与真实交通数据一致尚缺乏详细研究。而“优化搜索”的仿真测试方法难以在高维参数空间中找到关键的逻辑场景参数集合，且当目标函数发生更改时，必须重新执行搜索算法，效率较低。
为了准确评估自动驾驶汽车在真实连续交通环境下的安全性，有文献提出在已知的自然驾驶场景参数分布，使用蒙特卡罗方法生成自动驾驶测试的测试用例。然而，蒙特卡罗方法生成的测试用例与场景参数概率分布密度成正相关关系，概率密度较大的测试场景对应的测试用例越充分，概率密度较小的测试场景对应的测试用例越稀少。然而，真正对自动驾驶系统的安全性构成挑战的高风险驾驶场景往往出现的概率较低，属于稀有事件。这种特性使得需要进行海量的直接蒙特卡罗测试，才可能生成一次用于评估自动驾驶系统安全性的危险场景，极大地增加了测试成本。即，目前的自动驾驶仿真测试方法中，往往需要执行海量的测试用例才能够完成一次有效的高风险驾驶场景测试，导致目前的自动驾驶仿真测试方法的效率较低。
为了解决上述的技术问题，本申请实施例提供了一种自动驾驶测试用例生成方法、装置、电子设备及存储介质。其中，该自动驾驶测试用例方法能够根据自然驾驶数据集准确地获取逻辑场景参数集合，并根据该逻辑场景参数集合以及待测自动驾驶系统的代理模型，确定高风险驾驶场景对应的重要性采样分布参数；之后，根据确定的高风险驾驶场景对应的重要性采样分布参数，批量泛化生成目标测试用例。
该自动驾驶测试用例方法实际是基于重要性采样(Importance Sampling，IS)方法，在生成测试用例时对自然驾驶场景参数的原始概率密度进行偏斜，增加稀有的危险驾驶事件的暴露率，从而使得生成的目标测试用例能够加速自动驾驶测试的完成。需要说明的是，并非所有的重要性采样分布都会产生理想的加速测试效果，特别是重要性采样分布与原始概率分布方差相差较大时，有可能发生估计不准的情况，即重要性采样方法的关键在于找到合理的重要性采样分布参数；而本申请实施例中，一方面能够通过从自然驾驶数据获得的实际的逻辑场景参数集合，约束重要性采样分布参数，使之落在合理的参数区间内，另一方面，代理模型无须执行费时的仿真计算便可以得到测试结果的高精度最优无偏估计。基于目标代理模型搜索合适的重要性采样分布参数，可以在兼顾参数搜索精度的同时极大提高搜索效率，因此，相对于人为选择重要性采样分布参数或者基于交叉熵方法迭代寻找重要性采样分布参数的方法，能够更加高效准确地确定重要性采样分布参数。随后，基于该重要性采样分布参数，能够泛化生成有效模拟高风险驾驶场景的目标测试用例。
即，本申请实施例的自动驾驶测试用例生成方法，能够基于从自然驾驶数据获得的实际的逻辑场景参数集合和简单的目标代理模型，高效准确地实现重要性采样分布参数搜索，进而能够批量泛化地生成能够属于高风险驾驶场景的目标测试用例。通过这些目标测试用例，能够在无需执行海量测试的情况下，以少量的测试成本实现自动驾驶系统危险事件发生概率的无偏估计，极大提高了自动驾驶测试效率。
实施例一：
图1示出了本申请实施例提供的第一种自动驾驶测试用例生成方法的流程示意图，详述如下：
在S101中，根据自然驾驶数据集，获取待测自动驾驶功能对应的逻辑场景参数集合。
本申请实施例中，自然驾驶数据集为在真实交通环境下采集得到的真实自然驾驶数据组成的集合。该自然驾驶数据集可以包含自由驾驶场景、换道场景、跟驰行为场景等不同场景下的驾驶数据。
待测自动驾驶功能为当前需要测试的自动驾驶功能。逻辑场景参数集合为根据当前的待测自动驾驶功能，从自然驾驶数据集中获取的与该待测自动驾驶功能相关的驾驶事件对应的逻辑场景参数的集合。逻辑场景参数指的是在自动驾驶汽车开发和测试中，用于描述逻辑场景(Logical scenarios)的变量；逻辑场景是基于状态空间变量对功能场景进行详细描述的一种测试场景。本申请实施例的逻辑场景参数集合也可以称为逻辑场景参数空间。
在一个实施例中，设当前的待测自动驾驶功能为自动驾驶汽车跟随控制功能，其对应的场景为自动驾驶汽车的跟驰行为场景，该场景的示意图如图2所示。在该实施例中，可以从自然驾驶数据集中筛选出与自动驾驶汽车的跟驰行为场景相关的跟驰行为驾驶数据(例如可以包括图2中的自车位置、自车速度、自车加速度、前车位置、前车速度、前车加速度、前车变速时间以及两车的相对距离)；之后，再从该跟驰行为驾驶数据中获取能够用于测试自动驾驶汽车的跟随控制功能的逻辑场景参数集合。其中，该逻辑场景参数可以包括前车速度vf、前车加速度af、前车变速时间tf等。
在S102中，根据预先构建的目标代理模型和所述逻辑场景参数集合，确定高风险驾驶场景对应的重要性采样分布参数；所述目标代理模型为待测自动驾驶系统的代理模型。
本申请实施例中，待测自动驾驶系统为当前需要使用测试用例进行自动驾驶测试的系统。在一个实施例中，该待测自动驾驶系统可以为实际的自动驾驶汽车。在另一个实施例中，该待测自动驾驶系统可以为用于准确地模拟自动驾驶功能的虚拟仿真模型，称为自动驾驶仿真测试模型，该自动驾驶仿真测试模型可以包含复杂的仿真测试代码和数学模型。而目标代理模型为自动驾驶汽车或者自动驾驶仿真测试模型的代理模型。代理模型是通过建模测试输入和输出之间的高维近似关系得到的简单的数值模型，它能够近似替代复杂耗时的原始测试过程，通过该代理模型能够高效、低成本地获取到测试结果。即，本申请实施例的目标代理模型为能够近似替代自动驾驶仿真测试模型的简单模型。示例性地，本申请实施例的代理模型可以为径向基函数(Radial Basis Functions)、支持向量机(Support Vector Machine)、神经网络(Neural Network)以及Kriging模型等。其中，Kriging也称为克里金算法，是一种依据协方差函数对随机过程进行空间建模和预测的回归算法。
本步骤中，在获取到逻辑场景参数集合后，可以确定其中场景参数的原始概率分布g(x)，以该原始概率分布为参考，确定重要性采样分布参数的搜索范围。之后，通过预先构建的目标代理模型进行重要性采样分布参数搜索，确定高风险驾驶场景对应的重要性采样分布参数，该重要性采样分布参数用于生成能够表示高风险驾驶场景的目标测试用例。该重要性采样分布参数记为分布h(x)的参数，该重要性采样分布h(x)即为能够使测试参数在原始概率分布g(x)基础上进行偏斜，以增加高风险驾驶场景的出现概率。
在S103中，根据所述高风险驾驶场景对应的重要性采样分布参数，生成目标测试用例。
在一个实施例中，根据搜索到的高风险驾驶场景对应的重要性采样分布h(x)的参数μ，σ，可以泛化一个高风险驾驶场景，该高风险驾驶场景的参数为：前车速度vf、前车加速度af、前车变速时间tf；根据前车速度vf,，确定当前待测试的自动驾驶汽车的初始速度vh＝vf；之后，根据该待测试的自动驾驶汽车的初始速度vh，计算该自动驾驶汽车与前车的期望初始相对距离：
RL＝τADS·vh+d0
式中：τADS为跟车时距；d0为两车静止相对距离，一般取常数。
通过上述的方法生成的前车速度vf、前车加速度af、前车变速时间tf、待测试自动驾驶汽车的初始速度vh、与前车的期望初始相对距离RL这些场景参数，即可构成高风险驾驶场景下的一个目标测试用例。
在生成目标测试用例之后，即可根据该目标测试用例，模拟高风险驾驶场景，对待测自动驾驶系统进行测试。
通过本申请实施例的自动驾驶测试用例生成方法，能够高效准确地生成高风险驾驶场景下的测试用例，使得在自动驾驶仿真测试过程中，无需执行海量的测试用例即能够完成有效的高风险驾驶场景测试，从而能够提高自动驾驶测试的效率，高效准确地实现自动驾驶汽车的安全性评估。
可选地，所述根据自然驾驶数据集，获取待测自动驾驶功能对应的逻辑场景参数集合，包括：
从所述自然驾驶数据集中筛选出与所述待测自动驾驶功能相关的第一驾驶行为数据集；
根据预设的危险驾驶行为指标，从所述第一驾驶行为数据集中确定危险驾驶行为数据集；其中，所述危险驾驶行为指标包括碰撞时间、跟车时距、距离安全系数、避免碰撞减速度中的任意一项或者多项；
从所述危险驾驶行为数据集中获取逻辑场景参数，得到逻辑场景参数集合。
本申请实施例中，在确定待测自动驾驶功能后，可以根据该待测自动驾驶功能对应的预设筛选条件，从自然驾驶数据集中筛选出与该待测自动驾驶功能相关的第一驾驶行为数据集。示例性地，设待测自动驾驶功能为自动驾驶汽车跟随控制功能，则该预设筛选条件包括：筛选有效跟车距离(即待测试的自动驾驶汽车与前车的相对距离)RL在0～150米(m)范围内的驾驶行为数据，并且剔除不存在前车、碰撞时间(Time to collision，TTC)小于0(即说明自车速度小于前车速度)，或者跟随行驶中有旁车道车辆切入等工况。该预设筛选条件的表达式可以如下：
RL∈(0.1m,150m)
numLaneChange＝＝0
TTC∈(0.1s,10s)
numFollowing≥10
其中：RL是自车与前车的相对距离，单位为米(m)；numLaneChange为换道次数；TTC为碰撞时间，单位为秒(s)；numFollowing为连续记录的跟驰数据数量。
在一些实施例中，依据上述的预设筛选条件，从自然驾驶数据集中筛选出与该待测自动驾驶功能相关的初筛驾驶行为数据后，进一步进行异常值剔除处理和缺失值预测填充处理，从而能够准确地得到数据质量较高的第一驾驶行为数据集，该第一驾驶行为数据集中的每个单元为一个有效数据片段，其包含了预设长度的连续记录值。
其中，异常值剔除处理是考虑到自动驾驶仿真测试需要连续变化的多个测试参数，突变的异常参数值不能够有效反应车辆的交通环境信息，为了提高数据质量而执行的数据处理方法。异常值剔除处理方法包括：基于孤立森林(Isolation Forest，IForest)算法对初步筛选的数据进行异常点检测，只保留连续变化的数据片段，从而剔除孤立的异常值。其中，IForest利用随机超平面切割连续值构成的数据空间，直到每个空间只留下1个数据点时结束。而缺失值预测填充是考虑到基于上述预设筛选条件的初筛和异常值剔除处理后，分别选取连续记录值而形成的各个有效数据片段中，存在部分数据片段的序列长度不足预设长度的情况，为了方便数据的统一处理而执行的数据处理方法。示例性地，缺失值预测填充可以通过适于多维时间序列数据预测的贝叶斯向量回归方法(Bayesian VectorAuto Regression Model,BVAR)实现。
在经过上述的处理，得到与待测驾驶功能相关的第一驾驶行为数据集中包含了大量低风险驾驶事件(即危险驾驶事件以外的驾驶事件)，基于低风险驾驶事件进行的自动驾驶仿真测试无法高效地评价自动驾驶系统的安全效能，因此，本申请实施例中，在确定第一驾驶行为数据集后，进一步从该第一驾驶行为数据集中挖掘与危险驾驶事件相关的数据，得到危险驾驶行为数据集。具体地，本申请实施例根据预设的危险驾驶行为指标，从该第一驾驶行为数据集中获取危险度量较高的驾驶行为数据，得到危险驾驶行为数据集。其中，该危险驾驶行为指标可以包括碰撞时间TTC、跟车时距THW、距离安全系数ξ和避免碰撞减速度DRAC-1等指标中的任意一项或者多项。其中，各指标的定义式如下：
Figure BDA0003585303050000121
上式中，RL为跟车距离，单位为米(m)；vh,vf分别为自车速度和前车速度，单位为米每秒(m/s)；Rbrake为制动距离。ξ表征的物理意义是：实际车间距相对于“安全裕度”的比值，ξ越大，意味着留给制动的避撞距离就越充裕，安全性越高。RRSS,safe为期望安全距离：
Figure BDA0003585303050000122
其中，ρ为预设的常数值，amax,accel表示最大加速度，amin,brake表示最小制动加速度，amax,brake表示最大制动加速度。在一个实施例中，根据实际车辆标定结果，根据实车标定结果，上式中参数分别取ρ＝0.496，amax,accel＝3.084，amin,brake＝3.482，amax,brake＝5.688。
在上述的各项危险驾驶行为指标中，其指标值越小，则相应时刻的驾驶风险越高，危险度越高。
在确定危险驾驶行为数据集后，可以从危险驾驶行为数据集的每个驾驶行为数据中获取与待测自动驾驶功能相关的逻辑场景参数，得到逻辑场景参数集合。示例性地，设本申请实施例的待测自动驾驶功能为自动驾驶汽车的跟随控制功能，则从危险驾驶行为数据集中的每个驾驶行为数据获取前车速度、加速度、变速时间等变量作为逻辑场景参数，得到逻辑场景参数集合。在一个实施例中，可以使用非参数化的核密度估计方法(KernelDensity Estimation,KDE)分别求取该逻辑场景参数集合中各单项测试参数的概率密度分布函数，通过概率密度分布函数表示该逻辑场景参数集合。
本申请实施例中，由于能够从自然驾驶数据集中筛选出与待测自动驾驶功能相关的第一驾驶行为数据，并从该第一驾驶行为数据集中确定危险驾驶行为数据集，因此能够有效地从原始驾驶数据集中筛选出与自动驾驶安全性评估较为相关的危险驾驶事件，使得根据危险驾驶行为数据集获取到的逻辑场景参数集合中包含了危险驾驶事件对应的场景参数，进而提高后续根据该逻辑场景参数集合进行重要性采样分布参数搜索的效率和准确性，提高自动驾驶测试用例生成效率。
可选地，所述根据预设的危险驾驶行为指标，从所述第一驾驶行为数据集中确定危险驾驶行为数据集，包括：
对于所述第一驾驶行为数据集中的每个驾驶行为数据，根据所述危险驾驶行为指标，将所述第一驾驶行为数据集中的每个驾驶行为数据映射为表征行车风险的危险驾驶行为谱；其中，所述危险驾驶行为谱是n×m的矩阵，n表示所述驾驶行为数据的时间序列采样数量；m表示所述危险驾驶行为指标的个数；
对各个所述驾驶行为数据对应的危险驾驶行为谱进行降维处理，得到各个所述驾驶行为数据的危险特征信息；
根据所述危险特征信息，对所述第一驾驶行为数据集中的所述驾驶行为数据进行聚类，并将安全性评分最低的聚类簇确定为危险驾驶行为数据集。
本申请实施例中，危险驾驶行为指标同时包括了碰撞时间TTC、跟车时距THW、距离安全系数ξ和避免碰撞减速度DRAC-1这几个指标。对于第一驾驶行为数据集中的每个驾驶行为数据，计算该驾驶行为数据的各个危险驾驶行为指标，并将这四个维度的危险驾驶行为指标组合得到驾驶风险多维信息矩阵，将该驾驶风险多维信息矩阵称为该驾驶行为数据的危险驾驶行为谱。该危险驾驶行为谱即为一个能够表征行车风险的n×m的矩阵，n、m均为正整数，n表示驾驶行为数据的时间序列采样数量；m表示所述危险驾驶行为指标的个数。该危险驾驶行为谱的求取是一种从基本行车动力学理论出发，提出的基于风险度量(Measurement of Risk,MOR)的危险驾驶行为量化方法，将原始驾驶数据处理为多维的危险驾驶行为谱，能够反映行驶过程中的连续风险变化，相对于传统的单独从时间、距离、加速度等维度定义均值、标准层、最值和比值等统计量以表征驾驶风险的方式，能够更加全面地捕捉时序变化中的动态驾驶行为，准确地预估各个驾驶行为数据的风险。
为了从空间尺度上压缩自动驾驶仿真测试的测试参数的范围，提高测试效率，需要对特征相似的危险驾驶行为谱进行聚类，从中确定出风险较高的驾驶行为集合作为危险驾驶行为数据集。为了便于聚类运算，对于每个驾驶行为数据，在确定驾驶行为数据的危险驾驶行为谱后，可以先对该危险驾驶行为谱进行降维处理，得到该驾驶行为数据对应的危险特征信息。
在一个实施例中，考虑到危险驾驶行为谱为高维时间序列数据，而传统的线性判别降维算法LDA、主成分分析降维算法PCA不太适用于非高斯样本数据，因此，本申请实施例可以采用变分自编码器VAE实现对危险驾驶行为谱的高维时间序列数据降维，该变分自编码器为包含对称的编码层和解码层的神经网络。在一个实施例中，可以将变分自编码器的解码层的第一层输出的特征向量作为维度压缩后的危险特征信息，作为后续聚类处理的输入。示例性地，该变分自编码器的编码层可以的包含4层网络结构，每层网络结构的神经元数目可以依次为100、64、32、16，即原始尺寸大小为100的危险驾驶行为谱经过编码层的处理最终输出的尺寸大小为16，极大地降低了数据维度；该变分自编码网络的学习率可以为0.0001，优化函数可以Adam函数(一种梯度优化函数)，激活函数可以为反正切函数Tanh，损失函数可以为均方误差损失MSE。在一个实施例中，该变分自编码器在经过100个epoch的训练后，学习误差收敛到0.11；其中，一个epoch表示所有训练样本在变分自编码器中都进行了一次正向传播和一次反向传播的一次训练过程。
在通过降维处理得到各个第一驾驶行为数据集中各个驾驶行为数据的危险特征信息后，对这些危险特征信息进行聚类处理，将危险特征相近的各个驾驶行为数据聚集成一个聚类簇，最终得到若干个聚类簇。在一个实施例中，可以通过K均值(K-means)聚类算法实现危险特征信息的聚类处理。
在获得若干个聚类簇之后，可以使用预设的安全性评分公式，计算每个聚类簇对应的安全性评分。之后，将安全性评分最低的聚类簇确定为危险驾驶行为数据集。
示例性对，安全性评分公式如下所示：
Figure BDA0003585303050000151
其中，sTTC、sTHW、sξ、
Figure BDA0003585303050000152
分别为碰撞时间TTC、跟车时距THW、距离安全系数ξ、避免碰撞减速度DRAC-1这四项单项危险驾驶行为指标的单项指标得分；w1、w2、w3、w4为根据熵权法确定的各单项指标分别对应的得分权重。
示例性地，设一个自然驾驶数据经过上述的筛选、降维、聚类处理后，可以得到Cluster1、Cluster2、Cluster3、Cluster4这四个聚类簇，这四个聚类簇的综合安全性评分Overall score如图3所示，则由图可知，Cluser2的安全性评分最低，因此将Cluster2确定为危险驾驶行为数据集。
本申请实施例中，由于通过确定多维的危险驾驶行为谱、降维处理、聚类处理以及安全性评分计算，准确地从空间中找出安全性评分最低的危险驾驶行为数据，因此能够从空间上压缩数据范围，准确地定位于危险驾驶事件较为相关的数据集，从而提高后续的重要性采样参数确定效率和自动驾驶测试效率。
可选地，在所述根据预先构建的目标代理模型和所述逻辑场景参数集合，确定高风险驾驶场景对应的重要性采样分布参数之前，还包括：
根据所述逻辑场景参数集合，构建目标代理模型。
本申请实施例中，可以在进行重要性采样分布参数的确定之前，先构建目标代理模型。首先，可以先确定该目标代理模型的类型。示例性地，考虑到自动驾驶汽车的安全效能评价需要大规模的复杂计算机仿真测试，特别是测试数量会随着测试空间维度的增加而呈几何级数增长，使得相应的仿真和分析十分困难，而Kriging模型的上述优点非常适用于构建自动驾驶仿真测试的全局近似替代模型，因此，将该目标代理模型的类型确定为Kriging模型。在确定该目标代理模型的类型后，可以根据步骤S101中已确定的针对当前待测自动驾驶功能的逻辑场景参数集合，随机组合生成若干个具体测试场景作为测试用例样本，将其称为第一测试用例。之后，根据该第一测试用例完成目标代理模型的训练，完成目标代理模型的构建。
本申请实施例中，由于能够使基于当前的逻辑场景参数集合进行目标代理模型的构建，因此能够保证构建出的目标代理模型能够更准确地适用于当前待测自动驾驶测试功能的重要性采样分布参数的搜索，提高生成的测试用例的准确性，进而提高后续自动驾驶测试的准确性。
可选地，所述根据所述逻辑场景参数集合，构建目标代理模型，包括：
从所述逻辑场景参数集合中获取第一测试用例；
根据所述第一测试用例和所述待测自动驾驶系统，确定所述第一测试用例对应的第一测试结果；
根据所述第一测试用例及其对应的所述第一测试结果，构建目标代理模型。
在构建目标代理模型时，可以从逻辑场景参数集合中获取预设数量的逻辑场景参数，随机组合生成一定数量的第一测试用例。在一个实施例中，可以通过拉丁超立方采样(Latin Hypercube Sampling)从该逻辑场景参数集合中获取初始的逻辑场景参数。之后，调用待测自动驾驶系统，得到每个第一测试用例对应的响应值，该响应值即为第一测试用例对应的第一测试结果。
之后，可以将已知的第一测试用例及其对应的第一测试结果的值代入预设的代理模型表达式，得到对应的代理模型：
Figure BDA0003585303050000161
其中，x为逻辑场景参数，
Figure BDA0003585303050000162
为目标代理模型针对输入的逻辑场景参数x的预测响应值，在一个实施例中，该预测响应值可以包括最大碰撞时间倒数ITTCmax以及最小车间距离RL，min。f(x)＝(f1(x),...fm(x))T为基向量，fi(x),i＝1,2,...m是预先设计的低阶基函数。F＝(fT(x1),...,fT(xn))T为已知测试数据基函数矩阵，R(θ)为已知测试数据的相关系数矩阵；r(x*)＝[r(x*,x1),...r(x*,xn)]T为未知测试用例与已知测试数据的相关向量；
Figure BDA0003585303050000171
u＝FTR-1r-f。s2(x)为目标代理模型的预测响应值方差，式中的超参数σ2过求解以下公式1的最大似然估计得到：
公式1：
Figure BDA0003585303050000172
其中，超参数σ2的估计值最大似然估计公式为：
Figure BDA0003585303050000173
将超参数σ2的估计值最大似然估计公式代入公式1，求得使得该对数似然函数最大的解：
Figure BDA0003585303050000174
其中，θ为目标代理模型的超参数。
将已知的第一测试用例及其对应的第一测试结果代入以上的代理模型表达式以对代理模型进行训练，从而完成目标代理模型的构建。
为了更好地说明本申请实施例，以下对Kriging模型的代理模型表达式的推导过程描述如下：
已知给定的自动驾驶仿真测试模型的输入：X＝[x1,x2,...,xn]T，测试结果输出Y＝[y1,y2,...,yn]T，yi＝sim(xi)是对第i个测试用例xi的测试结果；sim()表示自动驾驶仿真测试的代码和模型；任意一个测试用例xi(1≤i≤n)均为m维测试参数组合，n为测试用例个数。Kriging模型将逻辑场景参数集合中的任意测试用例仿真结果建模为：
Figure BDA0003585303050000175
式中：fi(x),i＝1,2,...m是预先设计的低阶基函数；f(x)＝(f1(x),...fm(x))T为基向量；β＝(β1，...βm)T是待定回归系数向量；z(x)是数学期望为0的随机过程偏差，z(x)的协方差矩阵为：
cov(z(xi),z(xj))＝σ2r(θ；xi,xj),i,j＝1,2,...n
式中：r(θ)为已知测试用例的相关系数：
Figure BDA0003585303050000181
定义F＝(fT(x1),...,fT(xn))T为已知测试数据基函数矩阵，R(θ)为已知测试数据的相关系数矩阵；r(x*)＝[r(x*,x1),...r(x*,xn)]T为未知测试用例与已知测试数据的相关向量。Kriging的基本思路是利用已知测试结果的加权求和来表示未知测试用例的结果(设c为加权系数向量)，即：
Figure BDA0003585303050000182
为了满足Kriging模型估计值的无偏性约束，令：
FTc＝f(x)
此时，Kriging估计值与真实值的误差与均方误差MSE为：
Figure BDA0003585303050000183
式中：Z＝[z1,z2,...zn]T是已知测试数据的偏差；FTc是对已知测试数据加权求和得到的基函数。为了在满足无偏约束的条件下使得Kriging的估计均方误差最小，综合Kriging模型估计值的无偏性约束公式以及以上的估计值计算公式、均方误差MSE公式，构造拉格朗日方程：
L(c,λ)＝σ2(1+cTRc-2cTr)-λT(FTc-f)
从最优性的一阶必要条件出发，并联立拉格朗日方程关于系数c的梯度，得到如下方程：
Figure BDA0003585303050000184
求解上述方程并代入Kriging模型估计值的无偏性约束对应的公式，得到Kriging对于测试空间中任意测试用例的结果最优无偏估计为：
Figure BDA0003585303050000185
该公式即为Kriging代理模型的代理模型表达式。
本申请实施例中，由于能够从逻辑场景参数集合中获取到的第一测试用例，通过待测自动驾驶系统确定对应的第一测试结果，从而能够根据已知的逻辑场景参数及其对应的已知真实测试结果，准确地实现目标代理模型的构建，使得后续能够根据该简单准确的目标代理模型快速地实现重要性采样分布参数的搜索。
可选地，所述根据所述第一测试用例及其对应的所述第一测试结果，构建目标代理模型，包括：
A1：根据所述第一测试用例及其对应的所述第一测试结果，构建初始的代理模型；
A2：根据基于所述初始的代理模型的期望最大化算法，从所述逻辑场景参数集合中获取第二测试用例；
A3：根据所述第二测试用例和所述待测自动驾驶系统，确定所述第二测试用例对应的第二测试结果；
A4：根据所述第二测试用例及其对应的所述第二测试结果，更新所述代理模型；
A5：若更新后的所述代理模型的精度收敛，则将更新后的所述代理模型作为所述目标代理模型；否则，返回执行所述根据基于所述初始的代理模型的期望最大化算法，从所述逻辑场景参数集合中获取第二测试用例的步骤。
本申请实施例中，根据初始获取的第一测试用例及其对应的第一测试结果构建得到的代理模型为初始的代理模型。
之后，基于该初始的代理模型进行代理模型的迭代优化。在迭代构建代理模型的过程中，根据期望最大化(Expected Improvement,EI)原理，求取逻辑场景参数集合中剩余的各个逻辑场景参数对应的具体测试场景的误差值，并将对应的误差值最大的具体测试场景确定为新增的第二测试用例。其中期望最大化算法的表达式为：
Figure BDA0003585303050000201
式中，ymin为训练数据中的最小响应值；Φ、φ分别为标准正态累积分布函数以及概率密度函数。从上式可以看出，无论是局部的估计误差较大或者是模型全局的预测精度较低，均会导致增加。从逻辑场景参数集合中剩余的各个逻辑参数中，选取使得EI(x)的值最大的逻辑场景参数x作为新获取的逻辑场景参数，根据该新获取的逻辑场景参数，生成新增的第二测试用例，从而能够通过获取局部的估计误差较大或者是模型全局的预测精度较低的测试参数，对代理模型进行进一步迭代更新，从而实现预测值和预测精度的优化。
在确定新增的第二测试用例之后，将该第二测试用例输入待测自动驾驶系统，得到该第二测试用例对应的第二测试结果。
之后，将该第二测用例及其对应的第二测试结果，代入上述的代理模型表达式进行迭代更新，得到更新后的代理模型。
如果更新后的代理模型的精度收敛，则直接将更新后的代理模型作为目标代理模型。示例性地，根据更新后的代理模型进行期望最大化算法运算得到的EI(x)的值与上一次计算得到的EI(x)的值一致，不再增大，则说明当前代理模型已经能够得到最优的预测值和预测精度，该代理模型的精度已收敛。如果更新后的代理模型的精度尚未收敛，即更新后计算的EI(x)最大值与上一次计算得到的EI(x)的最大值不同，则返回执行步骤步骤A2，继续获取新的逻辑场景参数，生成新的第二测试用例对代理模型进行优化。在一个实施例中，通过1288次采样计算，能够构建得到自动驾驶仿真测试模型对应的全局Kriging模型最为最终的目标代理模型，该目标代理模型的输出响应为最大碰撞时间倒数ITTCmax以及最小车间距离RL，min。
本申请实施例中，由于能够通过具有全局收敛性和高搜索效率的期望最大化算法，实现代理模型构建过程中的加点策略(增加测试参数采样点的策略)，以尽可能少的逻辑场景参数获得高精度自动驾驶仿真测试模型的近似替代模型，实现代理模型的优化，因此能够保证后续基于目标代理模型进行重要性采样分布参数搜索的准确性，进而提高生成的自动驾驶测试用例的质量，提高自动驾驶测试效率。
可选地，所述根据预先构建的目标代理模型和所述逻辑场景参数集合，确定高风险驾驶场景对应的重要性采样分布参数，包括：
根据所述逻辑场景参数集合，确定参数搜索范围；
在所述参数搜索范围内，通过所述目标代理模型求取目标函数的最小值；其中，所述目标函数所述待测自动驾驶系统的危险事件发生概率的估计误差。
将使得所述目标函数取得最小值时对应的分布参数作为所述高风险驾驶场景对应的重要性采样分布参数。
本申请实施例中，设Ω为步骤S101中确定的自动驾驶测试场景的逻辑场景参数集合，x是Ω中的一个测试用例，则可以通过如下的示性函数(indicator function)表示以x为输入的仿真测试是否出现危险驾驶事件(可以包括碰撞、冲突等稀有事件)：
Figure BDA0003585303050000211
式中：ε为表征碰撞、冲突等危险驾驶事件的集合。
在一个实施例中，采用测试过程中的最小车间距离RL，min与最大碰撞时间ITTCmax倒数联合判定测试结果是否危险。示例性地，将0.33作为ITTC的冲突事件阈值，综合得到ε的具体定义为：
Figure BDA0003585303050000212
其中，crash表示碰撞，conflict表示冲突。
本申请实施例通过设计目标重要性采样分布h(x)代替原来的逻辑场景参数集合的原始概率密度g(x)，以放大危险驾驶事件的出现概率，大幅度减少仿真测试次数，进而提高测试效率。
示例性地，重要性采样技术可以定量计算自动驾驶系统的危险事件发生概率：
Figure BDA0003585303050000221
式中，L(x)＝f(x)/h(x)为似然比，目标重要性采样分布函数对自动驾驶系统危险事件发生概率的估计误差为：
Figure BDA0003585303050000222
在一个实施例中，为了获得重要性采样分布的最佳参数，本申请选择容易采样和计算概率密度的多元高斯分布作为目标重要性采样分布函数：
x～N(μ,∑)
式中，μ,∑分别为多元高斯分布的均值向量和协方差矩阵，这两个参数为所要搜索的重要性采样分布参数。在前文所述构建的目标代理模型基础上，寻找使得估计误差eIS最小的参数μ,∑。该搜索问题可以表示为：
Figure BDA0003585303050000223
该式即为用于准确搜索重要性采样分布参的目标函数，其中，x表示前车速度vf、加速度af以及变速时间tf组成的3维测试参数，Ns为采样次数，G×H为根据逻辑场景参数集合确定的测试参数搜索范围，argmin函数表示取在满足搜索范围下，
Figure BDA0003585303050000224
取得最小值时的参数
Figure BDA0003585303050000225
示例性地，该搜索范围可以表示如下：
Figure BDA0003585303050000226
式中：vfmax,vfmin分别为前车速度的最大值、最小值，单位为米/秒(m/s)；afmax,afmin分别为前车加速度的最大值、最小值，单位为m/s2；tfmax,tfmin分别为前车变速时间的最大值、最小值，单位为秒(s)。在该搜索范围内，通过目标代理模型针对危险驾驶事件I(x)的测试结果，并代入上述的目标函数，通过智能优化算法求解该优化问题，求解该目标函数的最小值。
之后，将该目标函数取得最小值时，该目标重要性采样分布函数h(x)的参数
Figure BDA0003585303050000231
作为搜索到的最优的重要性采样分布参数。
在一个实施例中，经过60次迭代之后，目标函数取得最小值，此时取得生成高风险测试场景的重要性采样分布参数为：μ*＝[29-6.5759 5.5246]以及∑*＝diag(5.99780.6446 1.4494)。
本申请实施例中，基于目标代理模型搜索IS最优参数时无须执行费时的计算机仿真试验，因此可以极快的速度在逻辑场景参数空间中搜索IS分布最优参数，同时允许大规模增加每一次迭代所需的测试规模，一定程度上弥补了基于目标代理模型迭代造成的搜索精度损失。
采用本申请实施例的自动驾驶测试用例生成方法，能够批量泛化生成能够表征高风险驾驶场景的目标测试用例，极大地提高高风险驾驶场景下的测试用例生成效率。基于批量泛化生成的目标测试用例，能够通过较少的目标测试用例实现对待测自动驾驶系统的危险事件发生概率的定量估计。因此，通过本申请实施例的方法，能够在明显地减少所需的测试用例数量，减少测试次数的情况下，提高测试结果的准确性。以自动驾驶汽车的跟随控制功能为例，经过大量实验验证，本申请方法比现有测试加速方法提升了26.8％～51％的测试效率，相较于现有蒙特卡罗方法实现了约3000倍的加速效果。
实施例二：
图4示出了本申请实施例提供的一种自动驾驶测试用例生成装置的结构示意图，为了便于说明，仅示出了与本申请实施例相关的部分：
该自动驾驶测试用例生成装置包括：逻辑场景参数集合获取单元41、重要性采样分布参数确定单元42和测试用例生成单元43。其中：
逻辑场景参数集合获取单元41，用于根据自然驾驶数据集，获取待测自动驾驶功能对应的逻辑场景参数集合。
重要性采样分布参数确定单元42，用于根据预先构建的目标代理模型和所述逻辑场景参数集合，确定高风险驾驶场景对应的重要性采样分布参数；所述目标代理模型为待测自动驾驶系统的代理模型。
测试用例生成单元43，用于根据所述高风险驾驶场景对应的重要性采样分布参数，生成目标测试用例。
可选地，所述逻辑场景参数集合获取单元41，包括：
筛选模块，用于从所述自然驾驶数据集中筛选出与所述待测自动驾驶功能相关的第一驾驶行为数据集；
危险驾驶行为数据集确定模块，用于根据预设的危险驾驶行为指标，从所述第一驾驶行为数据集中确定危险驾驶行为数据集；其中，所述危险驾驶行为指标包括碰撞时间、跟车时距、距离安全系数、避免碰撞减速度中的任意一项或者多项；
参数获取模块，用于从所述危险驾驶行为数据集中获取逻辑场景参数，得到逻辑场景参数集合。
可选地，所述危险驾驶行为数据集确定模块，具体用于对于所述第一驾驶行为数据集中的每个驾驶行为数据，根据所述危险驾驶行为指标，将所述第一驾驶行为数据集中的每个驾驶行为数据映射为表征行车风险的危险驾驶行为谱；其中，所述危险驾驶行为谱是n×m的矩阵，n表示所述驾驶行为数据的时间序列采样数量；m表示所述危险驾驶行为指标的个数；对各个所述驾驶行为数据对应的危险驾驶行为谱进行降维处理，得到各个所述驾驶行为数据的危险特征信息；根据所述危险特征信息，对所述第一驾驶行为数据集中的所述驾驶行为数据进行聚类，并将安全性评分最低的聚类簇确定为危险驾驶行为数据集。
可选地，所述自动驾驶测试用例生成装置还包括：
构建单元，用于根据所述逻辑场景参数集合，构建目标代理模型。
可选地，所述构建单元，包括：
第一测试用例获取模块，用于从所述逻辑场景参数集合中获取第一测试用例；
第一测试结果确定模块，用于根据所述第一测试用例和所述待测自动驾驶系统，确定所述第一测试用例对应的第一测试结果；
构建模块，用于根据所述第一测试用例及其对应的所述第一测试结果，构建所述目标代理模型。
可选地，所述构建模块，具体用于根据所述第一测试用例及其对应的所述第一测试结果，构建初始的代理模型；
根据基于所述初始的代理模型的期望最大化算法，从所述逻辑场景参数集合中获取第二测试用例；
根据所述第二测试用例和所述待测自动驾驶系统，确定所述第二测试用例对应的第二测试结果；
根据所述第二测试用例及其对应的所述第二测试结果，更新所述代理模型；
若更新后的所述代理模型的精度收敛，则将更新后的所述代理模型作为所述目标代理模型；否则，返回执行所述根据基于所述初始的代理模型的期望最大化算法，从所述逻辑场景参数集合中获取第二测试用例的步骤。
可选地，重要性采样分布参数确定单元，具体用于根据所述逻辑场景参数集合，确定参数搜索范围；在所述参数搜索范围内，通过所述目标代理模型求取目标函数的最小值；其中，所述目标函数用于计算所述待测自动驾驶系统的危险事件发生概率的估计误差；将使得所述目标函数取得最小值时对应的分布参数作为所述高风险驾驶场景对应的重要性采样分布参数。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
实施例三：
图5是本申请一实施例提供的电子设备的示意图。如图5所示，该实施例的电子设备5包括：处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机程序52，例如自动驾驶测试用例生成程序。所述处理器50执行所述计算机程序52时实现上述各个自动驾驶测试用例生成方法实施例中的步骤，例如图1所示的步骤S101至S103。或者，所述处理器50执行所述计算机程序52时实现上述各装置实施例中各模块/单元的功能，例如图4所示逻辑场景参数集合获取单元41至测试用例生成单元43的功能。
示例性的，所述计算机程序52可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器51中，并由所述处理器50执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序52在所述电子设备5中的执行过程。
所述电子设备5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述电子设备可包括，但不仅限于，处理器50、存储器51。本领域技术人员可以理解，图5仅仅是电子设备5的示例，并不构成对电子设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备还可以包括输入输出设备、网络接入设备、总线等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种自动驾驶测试用例生成方法，其特征在于，包括：
根据自然驾驶数据集，获取待测自动驾驶功能对应的逻辑场景参数集合；
根据预先构建的目标代理模型和所述逻辑场景参数集合，确定高风险驾驶场景对应的重要性采样分布参数；所述目标代理模型为待测自动驾驶系统的代理模型；
根据所述高风险驾驶场景对应的重要性采样分布参数，生成目标测试用例。
2.如权利要求1所述的自动驾驶测试用例生成方法，其特征在于，所述根据自然驾驶数据集，获取待测自动驾驶功能对应的逻辑场景参数集合，包括：
从所述自然驾驶数据集中筛选出与所述待测自动驾驶功能相关的第一驾驶行为数据集；
根据预设的危险驾驶行为指标，从所述第一驾驶行为数据集中确定危险驾驶行为数据集；其中，所述危险驾驶行为指标包括碰撞时间、跟车时距、距离安全系数、避免碰撞减速度中的任意一项或者多项；
从所述危险驾驶行为数据集中获取逻辑场景参数，得到逻辑场景参数集合。
3.如权利要求2所述的自动驾驶测试用例生成方法，其特征在于，所述根据预设的危险驾驶行为指标，从所述第一驾驶行为数据集中确定危险驾驶行为数据集，包括：
对于所述第一驾驶行为数据集中的每个驾驶行为数据，根据所述危险驾驶行为指标，将所述第一驾驶行为数据集中的每个驾驶行为数据映射为表征行车风险的危险驾驶行为谱；其中，所述危险驾驶行为谱是n×m的矩阵，n表示所述驾驶行为数据的时间序列采样数量；m表示所述危险驾驶行为指标的个数；
对各个所述驾驶行为数据对应的危险驾驶行为谱进行降维处理，得到各个所述驾驶行为数据的危险特征信息；
根据所述危险特征信息，对所述第一驾驶行为数据集中的所述驾驶行为数据进行聚类，并将安全性评分最低的聚类簇确定为危险驾驶行为数据集。
4.如权利要求1所述的自动驾驶测试用例生成方法，其特征在于，在所述根据预先构建的目标代理模型和所述逻辑场景参数集合，确定高风险驾驶场景对应的重要性采样分布参数之前，还包括：
根据所述逻辑场景参数集合，构建所述目标代理模型。
5.如权利要求4所述的自动驾驶测试用例生成方法，其特征在于，所述根据所述逻辑场景参数集合，构建所述目标代理模型，包括：
从所述逻辑场景参数集合中获取第一测试用例；
根据所述第一测试用例和所述待测自动驾驶系统，确定所述第一测试用例对应的第一测试结果；
根据所述第一测试用例及其对应的所述第一测试结果，构建所述目标代理模型。
6.如权利要求5所述的自动驾驶测试用例生成方法，其特征在于，所述根据所述第一测试用例及其对应的所述第一测试结果，构建所述目标代理模型，包括：
根据所述第一测试用例及其对应的所述第一测试结果，构建初始的代理模型；
根据基于所述初始的代理模型的期望最大化算法，从所述逻辑场景参数集合中获取第二测试用例；
根据所述第二测试用例和所述待测自动驾驶系统，确定所述第二测试用例对应的第二测试结果；
根据所述第二测试用例及其对应的所述第二测试结果，更新所述代理模型；
若更新后的所述代理模型的精度收敛，则将更新后的所述代理模型作为所述目标代理模型；否则，返回执行所述根据基于所述初始的代理模型的期望最大化算法，从所述逻辑场景参数集合中获取第二测试用例的步骤。
7.如权利要求1至6任意一项所述的自动驾驶测试用例生成方法，其特征在于，所述根据预先构建的目标代理模型和所述逻辑场景参数集合，确定高风险驾驶场景对应的重要性采样分布参数，包括：
根据所述逻辑场景参数集合，确定参数搜索范围；
在所述参数搜索范围内，通过所述目标代理模型求取目标函数的最小值；其中，所述目标函数用于计算所述待测自动驾驶系统的危险事件发生概率的估计误差；
将使得所述目标函数取得最小值时对应的分布参数作为所述高风险驾驶场景对应的重要性采样分布参数。
8.一种自动驾驶测试用例生成装置，其特征在于，包括：
逻辑场景参数集合获取单元，用于根据自然驾驶数据集，获取待测自动驾驶功能对应的逻辑场景参数集合；
重要性采样分布参数确定单元，用于根据预先构建的目标代理模型和所述逻辑场景参数集合，确定高风险驾驶场景对应的重要性采样分布参数；所述目标代理模型为自动驾驶仿真测试模型的代理模型；
测试用例生成单元，用于根据所述高风险驾驶场景对应的重要性采样分布参数，生成目标测试用例。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，当所述处理器执行所述计算机程序时，使得电子设备实现如权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，当所述计算机程序被处理器执行时，使得电子设备实现如权利要求1至7任一项所述方法的步骤。
CN202210361086.5A 2022-04-07 2022-04-07 自动驾驶测试用例生成方法、装置、电子设备及存储介质 Pending CN114815605A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210361086.5A CN114815605A (zh) 2022-04-07 2022-04-07 自动驾驶测试用例生成方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210361086.5A CN114815605A (zh) 2022-04-07 2022-04-07 自动驾驶测试用例生成方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114815605A true CN114815605A (zh) 2022-07-29

Family

ID=82534156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210361086.5A Pending CN114815605A (zh) 2022-04-07 2022-04-07 自动驾驶测试用例生成方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114815605A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115146491A (zh) * 2022-09-06 2022-10-04 福思(杭州)智能科技有限公司 自动驾驶系统的测试方法和装置、存储介质及电子装置
CN115941359A (zh) * 2023-02-06 2023-04-07 中汽研软件测评(天津)有限公司 一种汽车网络安全检测的测试用例生成方法、系统和设备
CN116385185A (zh) * 2023-06-06 2023-07-04 中国平安财产保险股份有限公司 一种车险评估辅助方法、装置、计算机设备及存储介质
CN116631221A (zh) * 2023-05-05 2023-08-22 同济大学 一种基于蒙特卡洛模拟的在途车辆运行风险量化计算方法
CN117369407A (zh) * 2023-10-30 2024-01-09 载合汽车科技(苏州)有限公司 一种汽车电气性能测试系统、方法、装置及存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115146491A (zh) * 2022-09-06 2022-10-04 福思(杭州)智能科技有限公司 自动驾驶系统的测试方法和装置、存储介质及电子装置
CN115941359A (zh) * 2023-02-06 2023-04-07 中汽研软件测评(天津)有限公司 一种汽车网络安全检测的测试用例生成方法、系统和设备
CN116631221A (zh) * 2023-05-05 2023-08-22 同济大学 一种基于蒙特卡洛模拟的在途车辆运行风险量化计算方法
CN116631221B (zh) * 2023-05-05 2024-01-23 同济大学 一种基于蒙特卡洛模拟的在途车辆运行风险量化计算方法
CN116385185A (zh) * 2023-06-06 2023-07-04 中国平安财产保险股份有限公司 一种车险评估辅助方法、装置、计算机设备及存储介质
CN117369407A (zh) * 2023-10-30 2024-01-09 载合汽车科技(苏州)有限公司 一种汽车电气性能测试系统、方法、装置及存储介质
CN117369407B (zh) * 2023-10-30 2024-05-10 载合汽车科技(苏州)有限公司 一种汽车电气性能测试系统、方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN114815605A (zh) 自动驾驶测试用例生成方法、装置、电子设备及存储介质
EP2437034B1 (en) System and method for conditional multi-output regression for machine condition monitoring
US20180046902A1 (en) Enhanced restricted boltzmann machine with prognosibility regularization for prognostics and health assessment
Byttner et al. Consensus self-organized models for fault detection (COSMO)
Zhang et al. Accelerated evaluation of autonomous vehicles in the lane change scenario based on subset simulation technique
US20220405682A1 (en) Inverse reinforcement learning-based delivery means detection apparatus and method
US11954923B2 (en) Method for rating a state of a three-dimensional test object, and corresponding rating system
Baumann et al. Modeling of aircraft fuel consumption using machine learning algorithms
Huang et al. A versatile approach to evaluating and testing automated vehicles based on kernel methods
Jiang et al. Efficient and unbiased safety test for autonomous driving systems
Hamed et al. Fuel consumption prediction model using machine learning
WO2023193196A1 (zh) 自动驾驶测试用例生成方法、装置、电子设备及存储介质
Hatherall et al. Remaining discharge energy estimation for lithium-ion batteries using pattern recognition and power prediction
Wang et al. Changing lane probability estimating model based on neural network
Thomaser et al. One-shot optimization for vehicle dynamics control systems: towards benchmarking and exploratory landscape analysis
CN114663074B (zh) 一种基于数字孪生的产品数据分析方法及系统
Zeng et al. Machine learning enabled fusion of CAE data and test data for vehicle crashworthiness performance evaluation by analysis
CN114544191B (zh) 自动驾驶测试场景量化评估方法及相关设备
Derse et al. An anomaly detection study on automotive sensor data time series for vehicle applications
CN114818381A (zh) 自动驾驶汽车测试场景库的构建方法
Xie et al. Deepcf: A deep feature learning-based car-following model using online ride-hailing trajectory data
Khosravinia et al. Enhancing Road Safety through Accurate Detection of Hazardous Driving Behaviors with Graph Convolutional Recurrent Networks
CN111915184A (zh) 汽车行业零件质量早期预警方法及存储介质
CN105389406A (zh) 基于故障的单位加权累计数的整车设计可靠性评估方法
CN114861516B (zh) 一种车辆动力性能确定方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination