CN110597711B

CN110597711B - 一种基于场景和任务的自动驾驶测试用例生成方法

Info

Publication number: CN110597711B
Application number: CN201910791977.2A
Authority: CN
Inventors: 李军义; 阮家炜
Original assignee: Hunan University
Current assignee: Hunan University
Priority date: 2019-08-26
Filing date: 2019-08-26
Publication date: 2023-02-10
Anticipated expiration: 2039-08-26
Also published as: CN110597711A

Abstract

本发明提供了一种基于场景和任务的汽车自动驾驶测试用例生成方法，包括以下步骤：1)在复杂多元的道路交通场景中，选取典型的交通行为，构建测试任务库；2)定义交通场景及其相关元素的术语，描述场景元素的概念、属性、层次关系，构建道路交通场景的本体模型；3)基于交通场景模型与交通行为任务库生成交通场景，交通场景一般是由若干交通参与者、特定时空中的道路环境和交通情景共同构成，并且通常包含多个驾驶任务；4)通过定义状态空间内变量的参数范围和相关性，进一步详细描述交通场景，应用软件测试中的边界值分析、等价类划分等方法选取具有代表性的离散值进行组合，生成多个测试用例。

Description

一种基于场景和任务的自动驾驶测试用例生成方法

技术领域

本发明所属技术领域为自动驾驶技术领域，涉及软件工程领域，具体是一种基于场景和任务的自动驾驶测试用例生成方法。

背景技术

自动驾驶是提高交通吞吐量和安全性的重要途径，依靠人工智能、视觉计算、雷达、全球定位系统等协同合作实现自动、安全、平稳地控制车辆的运动，并且这一技术正在成为现实。自动驾驶系统通常可以描述为一个高度自主的、环境交互的、复杂的系统集合，保证其道路行驶的可靠性和安全性尤为重要，而关于自动驾驶的测试和验证方面的工作却少之又少。目前，在国内外针对自动驾驶功能的安全性测试都在处于研究探索阶段，关于该领域的标准和测评体系仍在进行中。虽然虚拟仿真技术的快速发展解决了基于场景的测试方法中周期长、成本大的问题，但是仍然面临着场景测试用例数量较少和覆盖率有限的问题。

现有技术中，对于自动驾驶的功能测试更加侧重单一功能的实现，将驾驶智能分为信息感知、分析决策、动作执行三类能力，分别对单项智能进行测试，而对综合能力的测试涉及较少，无法检验多项功能之间的协同配合能力，也不能与具体的交通场景以及无人驾驶测试任务联系起来。

现有另一种测试验证和评估自动驾驶车辆的方法是使用真实的碰撞前场景数据来进行实验，结合重大道路交通事故的调查数据，以及对我国典型道路交通违法行为的深入分析，从事故与违法行为诱因、交通参与类型、交通法律规定等角度构建测试场景，并且基于现实事故进行评估。但是在该方法中，极端条件下的交通事故场景数量很有限，难以重现。即使自动驾驶遍历了所有人类驾驶历史的交通事故场景，也不能保证自动驾驶的安全性和可靠性，因为自动驾驶不存在醉酒、分心、疲劳驾驶等问题，这些情况对自动驾驶是没有意义的。

在交通场景的建模领域，现有技术中提到一种基于局部动态地图技术的智能汽车世界建模方法，其目的是让自动驾驶系统对周围的环境有一个形式化的“理解”，以实现正确的行为。局部动态地图技术是该方法的关键元素，负责表示和维护世界模型，包含了属性、不确定性、对象以及对象之间的相关性，该模型需要高精地图数据来保证可靠性。该方法侧重智能系统的应用程序方面的建模，局部动态地图的实现也依赖于数据库管理系统，实现数据解释与高级行为函数之间的抽象层。此外，该模型包含的数据信息较为复杂，不易于转化为测试用例。

发明内容

本发明目的在于提供一种基于场景和任务的自动驾驶测试用例生成方法，以克服现有技术中存在的问题，为自动驾驶的测试评价研究打开新思路。本发明包括以下步骤：

S1：分析典型交通行为与道路交通环境的内在关联，构建的自动驾驶测试任务库；

S2：定义交通场景及其相关元素的术语，描述各场景元素的概念、属性、层次关系，在自动驾驶系统中明确表示上下文实体，构建道路交通场景的本体模型；

S3：在道路交通场景的本体模型的基础上，结合城市道路交通设计规范与基本交通管理设施的规定，生成道路交通逻辑场景，包含了若干交通参与者、特定时空中的道路环境和单一测试任务或多项任务的组合；以由简单到复杂为原则选取场景建模，具体形式有单车单车道、多车单车道、多车多车道、交叉路口、带有信号灯的交叉路口等；

S4：在道路交通逻辑场景中，根据其本体模型的术语集定义状态空间内描述相应术语的参数，分析多维度的参数范围和相关性，通过从参数范围中选择具体值进一步描述场景，选取具有代表性的离散值组合，生成多个具体的交通场景测试用例。

S5：测试用例的评估方法主要考察以下指标：识别道路交通基础设施和其他场景对象的个数与准确度、指定任务的完成情况、车速的变化情况、各项安全车距的保持情况等。

自动驾驶测试任务库包括正确识别及响应信号灯状态、正确识别及响应交通标志信息、正确识别及响应交通标线信息、正确识别及响应前方车辆行驶状态、识别及避让障碍物、识别及避让行人和非机动车、跟车行驶、靠路边停车、超车、并道、交叉路口通行、自动紧急制动等。交通场景用例中的任务模块是上述一种或几种任务的组合。

在交通场景及其相关元素的术语描述中，解析交通场景和情景的包含关系，区分公路、道路、车道的差异；提出交通场景本体模型所需的概念和属性的内容，概念用于描述道路场景中的各类动静态元素实体以及道路网络结构所需的实体，属性用于描述位置、区域范围、状态、数量、规则约束等信息。

交通场景的驾驶任务要求自动驾驶汽车在选定的道路上行驶，应正确识别在特定时空条件下的架空标识、地面标识和道路网，在不违反交通法规的情况下执行各项交通行为，同时还须识别与其环境相关的其他车辆与障碍，并采取适当的行动避免碰撞。

不同的场景元素在状态空间内对应的参数也各不相同，对于交通参与者，车辆对象的状态参数包括车速、方向、位置、车线距离、车点距离等，道路行人的参数包括人数、分布、步行速度等；对于静态障碍物，路障的参数包括几何形状大小、排列形式、与待测车辆的距离等；对于交通环境，道路环境的参数包括车道标记的清晰程度、路面覆盖情况(落叶、结冰、积水等)，天气环境的参数包括光照强度、前方道路能见度、降雨情况等；根据道路交通法规的相关规定结合安全驾驶经验，对各项参数的规定数值类型与取值范围。

根据软件测试工程中的边界值分析、等价类划分等方法，从状态空间的众多参数中选取具有代表性的离散值组合，使得每种交通场景能够生成多个不同情景的测试用例，降低用例生成的复杂度。

本发明具有以下有益效果：

1、本发明通过形式化的方法对道路交通场景进行本体建模，将道路交通的各类实体与道路交通网络相结合，清晰直观地对自动驾驶测试用例进行全面、明确、结构化的描述。

2、本发明的自动驾驶测试用例生成方法将场景和任务相结合，能够在同一场景中完成对不同功能的测试，增加了测试过程的可靠性。

3、本发明通过构建场景参数的状态空间，通过选取具有代表性的参数取值的组合，对同一交通场景生成多个不同的测试用例，简化了用例生成的过程，并且提高了效率和覆盖率。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明的交通场景上下文模型图；

图2为本发明的交通场景概念实体的本体模型结构图；

图3为本发明的十字路口交通场景示意图；

图4为本发明的道路网络拓扑示意图；

图5为本发明的道路语义信息示意图。

具体实施方式

下面结合具体附图对本发明的实施例作进一步说明。

本发明提出的一种基于场景和任务的自动驾驶测试用例生成方法，旨在形式化测试自动驾驶的交通场景，并且通过任务集与场景元素的不同组合，生成结构化的测试用例，着重测试自动驾驶对交通基础设施的综合认知能力、在复杂交通环境下的安全通行能力以及与其他交通参与者的协同能力。

基于场景和任务的自动驾驶测试用例生成方法包括：在复杂多元的道路交通场景中，选取典型的交通行为，构建测试任务库；定义交通场景及其相关元素的术语，描述场景元素的概念、属性、层次关系，构建道路交通场景的本体模型；基于交通场景模型与交通行为任务库生成交通场景，并包含多个驾驶任务；通过定义状态空间内变量的参数范围和相关性，选取具有代表性的离散值进行组合，从而生成多个测试用例。

S1：分析典型交通行为与道路交通环境的内在关联，构建的自动驾驶测试任务库。

自动驾驶测试任务由交通行为分解而成，注重驾驶功能的典型性和代表性，考虑最常见的交通标识和最普遍的车辆行驶状态，因而驾驶任务主要描述如下：

交通标志和标线识别及响应：禁令标志、警告标志、指示标志、常规车道线、人行横道的识别及响应。

交通信号灯识别及响应：机动车信号灯、方向指示号灯、闪光警告信号灯的识别及响应。

障碍物、行人和非机动车识别响应或避让：路面障碍、施工占道、管制引导、行人或非机动车横穿马路、行人或非机动车沿路混行等。

协同行驶：稳定跟车行驶、协同后方车辆超车行为、协同前方车辆并道行为、停走功能。

并道：邻近车道无车并道、邻近车道有车并道、前方车道减少。

交叉路口通行：直行车辆冲突通行、右转车辆冲突通行、左转车辆冲突通行。

其他常规驾驶任务：转弯、掉头、会车、超车、靠路边停车等。

S2：定义交通场景及其相关元素的术语，描述各场景元素的概念、属性、层次关系，在自动驾驶系统中明确表示上下文实体，构建道路交通场景的本体模型。

参见图1，一个典型的交通场景应包括以下5类元素：

对象：也称为概念，表示交通场景中包含的现实世界中真实存在的实体元素。静态对象指不随时间发生位置变化的对象，表示为交通标示和标线、交通信号灯、道路隔离带等交通基础设施，以及锥形标、水马、施工围栏等路面障碍，停靠的车辆由于在场景的整个时间段内不移动，因此也属于静态对象。动态对象指会随时间发生位置改变的对象，表示为行人、行驶的机动车辆和非机动车辆等其他交通参与者。自动驾驶汽车是上下文模型中的待测对象。

任务：即自动驾驶测试任务库中描述的驾驶任务，根据不同的实际需求和道路环境，任务将被合理布置在不同的交通场景的不同路段中。

属性：即对概念实体和环境因素的描述。交通基础设施实体的属性包括名称、类型、释义、位置等；交通道路的属性包括几何属性(长度和宽度等)、所含车道数、道路两端的连接路段或路口、所属关系等；环境因素的属性包括天气、能见度、光照条件、路面状况；交通参与车辆的属性包括当前车速、加速状态、所在车道、边距等；

约束：场景用例的设计需要根据场景模型来构建，并且根据道路交通安全法律法规来评估自动驾驶的驾驶行为。

情景：在相同的交通场景条件下，由于属性参数值的不同、时刻的差异、交通事件的影响，所发生的情景是千差万别的，因此可以通过配置不同的情景信息，可以由一个场景模型生成多个情景测试用例，保证用例设计生成的效率和覆盖率。

图2表示各类对象(概念实体)间的层级关系与语义关系。层级关系为父类与子类的关系，语义关系包括locate_in、has_lane、connect_to、divide、move_on等，实体件的关系将模型中的各项元素有序整合，从而保证场景设计的一致性。

图3为多车多车道的带有信号灯的交叉路口一种交通场景示意图，该场景表示为1个十字交汇路口与4个双车道道路区域连接，道路区域的内容包含了4条人行道、3个交通标志、4个机动车信号灯、3辆机动车、1个行人以及丰富的道路标线和车道线。

根据交通法律规范以及导向箭头标识，可以对上述交通场景构建道路网络拓扑图，如图4所示，简洁直观地表示各车道的行驶方向以及在十字路口的允许转弯方向。图5为基于上述交通场景的道路语义信息图，明确地表示了车辆的位置和路段的连接情况，交通标志和其他交通参与者可以根据实际分析添加到该图中，丰富场景的语义内容。

S4；在道路交通逻辑场景中，根据其本体模型的术语集定义状态空间内描述相应术语的参数，分析多维度的参数范围和相关性，通过从参数范围中选择具体值进一步描述场景，选取具有代表性的离散值组合，生成多个具体的交通场景测试用例。

生成测试用例之前，首先需要明确场景的初始状态，待测智能车行驶在车道1，车辆1行驶在车道3，车辆2行驶在车道7，车道7有限速40的标志，车道3有禁止左转的标志，车道6有禁止停车的标志。场景中还包括行人、其他车辆、交通信号灯，则驾驶任务应包含识别和响应交通信号灯、识别和避让行人和其他车辆、识别和响应交通标志灯。

然后在上述的状态空间中选取具有代表性的维度，定义可变参数和可选离散变量，例如：待测车辆的驾驶任务可选直行、左转、右转，而车辆1由于交规约束只能直行或右转；各车辆与路口停车线的距离可自定义合理离散值如5m、20m、50m，车速可自定义合理离散值如0、20km/h、30km/h、50km/h，与车道边界线距离可选30cm、1m、2m、5m等；交通信号灯状态可选红灯、绿灯、绿闪。在复杂的交通场景中，变量的选取还可能涉及路面状况、障碍设置、能见度等，在测试某些突发场景时，参数的取值也会存在变化，如当车辆1强行左转时，属于违规驾驶情况。因此参数与值的设定因具体场景而异，对于不同的维度采取不同的取值方法，如边界值法和等价类划分法。

参数和变量取值的设定确定了场景用例的输入空间，不同的输入组合将生成不同的测试用例。单纯的排列组合会导致生成的用例在复杂情况下容易产生组合爆炸问题，需要合理采样。对于上述的排列组合，可以采用正交设计法来较少测试用例的数量，具体原理见数理统计，这种方法需要先确定每一个变量的取值，即每一个变量必须有独立的状态集，目的是将来自一个集合的状态与来自另一个集合的状态至少成对一次。

以上述场景为例，在测试驾驶期间，待测自动驾驶需要感知和识别出车道线、导向箭头、停车线、人行道、交通信号灯等交通基础设施，对其中的禁令和警告标识需要作出及时、合理的响应；需要识别和避让行人和其他车辆并保持安全距离；车速的控制要符合道路限速的约束，起步和停车时的加速度不应过于剧烈，否则会影响乘客的舒适度；在完成直行和转弯任务时，需要正确处理与其他车辆的冲突通行情况，避免相撞。

本发明提出的基于场景和任务的自动驾驶测试用例生成方法建议在自动驾驶的虚拟仿真条件下应用，对实际道路交通的场景进行路网建模，使用语义信息将复杂的交通元素与路网关联起来，最后动态地调整各类元素的数量、位置、状态，选择合理的取值，生成覆盖率高、复用性强的场景测试用例。在虚拟仿真的场景中更容易采集各场景元素状态变化的数据，易于判断感知是否准确、决策是否及时、执行是否有效。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims

1.一种基于场景和任务的自动驾驶测试用例生成方法，其特征在于包括以下内容：

S3：在道路交通场景的本体模型的基础上，结合城市道路交通设计规范与基本交通管理设施的规定，生成道路交通逻辑场景，包含了若干交通参与者、特定时空中的道路环境和单一测试任务或多项任务的组合；以由简单到复杂为原则选取场景建模，具体形式有单车单车道、多车单车道、多车多车道、交叉路口、带有信号灯的交叉路口；

S4：在道路交通逻辑场景中，根据其本体模型的术语集定义状态空间内描述相应术语的参数，分析多维度的参数范围和相关性，通过从参数范围中选择具体值进一步描述场景，选取具有代表性的离散值组合，生成多个具体的交通场景测试用例；

S5：测试用例的评估方法主要考察以下指标：识别道路交通基础设施和其他场景对象的个数与准确度、指定任务的完成情况、车速的变化情况、各项安全车距的保持情况。

2.根据权利要求1所述一种基于场景和任务的自动驾驶测试用例生成方法，其特征在于，在交通场景及其相关元素的术语中，解析了交通场景与情景的包含关系，定义了动态和静态对象的范围。

3.根据权利要求1所述一种基于场景和任务的自动驾驶测试用例生成方法，其特征在于，所述的交通场景本体模型用于表示复杂交通场景与实体之间的交互关系，旨在涵盖城市环境中的所有可能场景，根据术语描述定义了概念与属性的内容，概念实体包括地图实体、障碍实体、环境、待测自动驾驶汽车4个分支，属性用于描述位置、区域范围和约束信息。

4.根据权利要求1所述一种基于场景和任务的自动驾驶测试用例生成方法，其特征在于，所述的道路交通逻辑场景由虚拟道路、交通参与者以及交通参与者的行为定义构建而成，其中虚拟道路涵盖了架空标识、地面标识、道路网，用于表示道路的几何特征与拓扑结构，交通参与者包括行人、车辆；逻辑场景的详细程度取决于实际场景的特征。

5.根据权利要求1所述一种基于场景和任务的自动驾驶测试用例生成方法，其特征在于，交通场景的驾驶任务要求自动驾驶汽车在选定的道路上行驶，应正确识别在特定时空条件下的道路标识、交通标识和交通信号灯，在不违反交通法规的情况下安全行驶在正确的车道上，还应识别与其环境相关的其他车辆与障碍，并采取适当的行动避免碰撞。

6.根据权利要求1所述一种基于场景和任务的自动驾驶测试用例生成方法，其特征在于，不同的场景元素在状态空间内对应的参数也各不相同，对于交通参与者，车辆对象的状态参数包括车速、方向、位置、车线距离、车点距离，道路行人的参数包括人数、分布、步行速度；对于静态障碍物，路障的参数包括几何形状大小、排列形式、与待测车辆的距离；对于交通环境，道路环境的参数包括车道标记的清晰程度、路面覆盖情况，具体为落叶、结冰、积水，天气环境的参数包括光照强度、前方道路能见度、降雨情况。

7.根据权利要求1所述一种基于场景和任务的自动驾驶测试用例生成方法，其特征在于，根据道路交通法规的相关规定结合安全驾驶经验，设定参数的取值范围与相关性；应用软件测试工程中的边界值分析、等价类划分方法选取具有代表性的离散值组合，使得每种交通场景能够生成多个不同情景的测试用例，降低用例生成的复杂度。