CN112765812B - 一种无人系统决策策略的自主能力快速测评方法及系统 - Google Patents

Abstract

本发明公开了一种无人系统决策策略的自主能力快速测评方法及系统，其步骤包括：1)构建危险场景知识库，并在仿真环境中实现相对应的危险场景；2)根据输入被测对象，对各危险场景进行分级；3)从低危险等级的危险环境开始对被测对象进行迭代测试：首先对于每一危险等级j，选取N个属于该危险等级j的危险场景作为测试场景进行仿真测试，如果第i个测试场景i的通过率为P_i≥Y_i则标记第i个测试场景测试通过，则令P_i'＝1，否则P_i'＝0；然后计算等级j的危险数值

如果R_j≥Z_j，则标记该危险等级j通过；4)根据各危险等级的测试结果生成测试报告。

Description

一种无人系统决策策略的自主能力快速测评方法及系统

技术领域

本发明涉及一种无人系统决策策略的自主能力快速测评方法及系统，属于计算机软件技术领域。

背景技术

自主能力是无人系统拥有感知、观察、分析、交流、计划、制定决策和行动的能力，并且完成人类通过人机交互布置给它的任务，进而表示出无人系统自我管理的状态和质量。快速有效的测评方式，不仅能确保发现无人系统在自主能力上的不足，更能够有效的推动其自主能力的发展。

智能无人系统技术的核心是决策策略，其研发过程中涉及到的信息交互繁多，如智能无人系统自身状态信息、周围环境信息和路径规划信息等；迁移规则复杂，如使用在不同测试环境情况下的障碍物规避规则、不同地域交通信息标志不同展示方式的决策规则等，从而使得决策策略的安全性和可靠性无法保证。因此快速和更有效的测评出控制策略自主能力上的缺陷，是迫切需要解决的问题。

同时，现阶段针对智能无人系统决策策略自主能力的测评方法主要是利用封闭内场与虚拟仿真环境进行测试，但是封闭内场的测试场景受硬件环境限制，难以构建出足够多的测试场景，从而无法全面的进行自主能力的测评；基于虚拟仿真环境的测试主要基于场景数据库进行开展，但基于测试环境和测试设备状态的参数繁多，很容易造成场景参数空间爆炸，从而难以在短时间内发现智能无人系统决策策略自主能力的不足。

论文《危险驾驶工况场景的复杂度评估方法研究》通过对危险驾驶工况场景数据的采集和影响因素的分析，对采集的场景数据进行标签化处理，构建了危险驾驶工况场景库；再应用层次分析法，基于多名专家的评分结果，提出了对不同驾驶工况场景的复杂度评价方法。该技术方案中提出了驾驶工况的复杂度模型，但由于仅针对驾驶车辆，且需要驾驶员配合测试，因此测试周期较长，对驾驶员的安全系数要求较高；且考虑的危险驾驶工况仅局限于自然驾驶车辆，因此危险场景复杂度模型的影响因素较为片面。

论文《基于危险场景聚类分析的前车随机运动状态预测研究》使用基于知识的方法和基于数据的方法，根据环境信息、本车信息、目标信息、交通信息、道路信息5大要素筛选危险场景，但使用场景是基于自然驾驶，因此危险要素和危险场景考虑有一定局限性。

发明内容

针对现有技术中存在的技术问题，本发明的目的在于提供一种无人系统决策策略的自主能力快速测评方法及系统，在虚拟仿真场景中实现智能无人系统决策策略的自主能力快速测评。

为了实现上述目的，本发明的技术方案是通过构建危险场景，并对危险场景进行分级的方法，利用仿真测试环境，针对分级后的危险场景进行迭代测试和结果评估，从而实现智能无人系统决策策略自主能力的快速测评。

本发明提出了一种无人系统决策策略的自主能力快速测评方法，其步骤包括：

步骤1：构建危险场景知识库，并在仿真环境中实现相对应的危险场景；

步骤2：根据输入被测对象的不同，对危险场景知识库中的所有危险场景进行分级；

步骤3：使用设置好的分级指标，从低危险等级开始，每一危险等级挑选多个危险场景对被测对象(比如被测智能无人系统)利用仿真测试环境进行迭代测试；当所选多个危险场景测评通过之后，则认为对应危险等级的测试通过；

步骤4：分析测试结果，得出测评结论，实现快速测评。

进一步的，步骤2具体为：

步骤2.1：根据输入被测对象的不同，对危险场景知识库中的所有危险场景按一级指标进行分级，其中一级指标包括财产损失、生命威胁、任务完成等；

步骤2.2：对一级指标的危险场景按二级指标进行分级，其中财产损失的二级指标包括本智能无人系统的财产损失、对测试环境的财产损失等，生命威胁的二级指标包括使用者的生命伤害、被测无人系统周边生命伤害等，任务完成的二级指标包括任务完成度等；

进一步的，被测对象是指待测评的智能无人系统，数量可以是单个、多个或群组；在一实施例中，被测对象可以是无人车、无人机等。

进一步的，步骤3具体为：

步骤3.1：利用仿真测试环境，使用设置好的分级指标选取仿真测试环境对被测智能无人系统进行迭代测试，从低危险等级的仿真测试环境开始，选取若干个低危险等级的仿真测试环境开始测试，设置每一危险等级的仿真测试场景的测试次数；

需要说明的是，对于每个分级指标，都有从低到高四个危险等级，分别是轻微级(I级)、轻度级(II级)、严重级(III级)、灾难级(VI级)；危险场景的测评首先从低等级的测试场景开始，当低等级的测试通过之后，再升级到高一等级的危险场景，进行测试。

步骤3.2：假设所处的第j个危险等级中，仿真测试N个测试场景，每个测试场景的测试次数是M₁,...,M_N，经过测试，每个测试场景的通过次数依次为k₁,...,k_N，则每个场景i的通过率依次为

步骤3.3：设每个测试场景的通过率阈值为Y_i,i∈[1,N]，那么如果P_i≥Y_i则标记本测试场景通过，P_i'＝1，否则标记本测试场景不通过，P_i'＝0；

步骤3.4：对于每个测试场景设置权重为A_i，则计算得到本危险等级的危险数值R_j：

步骤3.5：设第j个级别危险数值的阈值为Z_j，Z_j∈[0,1]，那么如果R_j≥Z_j，则标记本危险等级通过，否则标记本危险等级不通过。

步骤3.6：如果选取的第j个危险等级的危险场景全部测试通过，则默认该等级包含的全部危险场景通过，j加1，升级到高一级的危险等级的危险场景，返回步骤3.1继续测试；如果测试没有通过，则第j个危险等级为该智能无人系统的最高危险等级，记录测试结果；

步骤3.7：测试直到被测智能无人系统将仿真环境中的最高危险等级的危险场景全部测试通过，或者被测智能无人系统已完成可以测试通过的最高危险等级，方可结束测试。

进一步的，步骤4中具体为；

步骤4.1：记录每个一级指标通过的最高危险等级。一级指标的通过情况是根据二级指标各等级危险的测试结果汇总得到。

步骤4.2：对比所有一级指标，选取通过的最高危险等级作为本次被测对象的通过危险等级，计算公式如下：

R＝max(R1,R2,R3)

其中，R1、R2、R3表示各一级指标通过的最高危险等级。

步骤4.3：根据一级指标情况，给出危险等级的测评结论。

进一步的，危险等级的结论包括：

灾难级(VI级)：重大生命威胁(如死亡)，或重大财产损失，或基本任务失败；

严重级(III级)：对生命造成严重伤害，或财产遭受严重损失，或基本任务的主要部分未完成；

轻度级(II级)：对生命造成轻度伤害，或财产遭受轻度损失，或对完成任务有轻度影响；

轻微级(I级)：对生命造成的伤害低于低度，或财产的损失低于轻度，或虽然执行任务有障碍但是能够完成。

另一方面，本发明还提出了一种危险场景下的无人系统快速测评系统，包括以下几个模块：

危险场景知识库，用于存储目前已知的所有危险场景；

危险等级分级模块，用于根据输入被测对象，对各危险场景进行分级；

场景仿真模块，用于建立系统仿真场景；

测试运行模块，用于迭代测试不同等级的危险场景；

测试可视化模块，用于设置被测对象、选择危险场景、展示测试过程及结果等用户可视化交互。

本发明的积极效果为：

(1)在仿真环境中，使用了危险场景分级的方法，当所选取的某一危险等级中的危险场景全部通过时，则认为该危险等级下的所有危险场景都能通过，提高了测评效率，达到快速测评的效果；

(2)设置了危险等级分级模型，详细描述了一级指标和二级指标，使用户快速明确测评目的；

(3)设计了危险等级的测评方法及计算公式，可快速找出被测无人系统的功能短板，帮助用户明确后续的改进方向。

附图说明

图1为快速测评方法流程图。

图2为危险场景分级框架图。

图3为在仿真环境中迭代测试流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

以下以无人车为例，测试场景是自动驾驶测试系统中相当重要的一环，测试场景的多样性、覆盖性、典型性等能够影响测试结果的准确性，从而保证自动驾驶的安全和质量。

本发明需要解决的问题：在虚拟仿真场景中实现智能无人系统的快速测评。

为了实现上述目的，本发明的技术方案是通过构建危险场景，并对危险场景进行分级的方法，利用仿真测试环境，针对分级后的危险场景进行迭代测试和结果评估，从而实现智能无人系统决策策略自主能力的快速测评。

本发明提出了一种危险场景下的无人系统快速测评方法，具体技术方案如下：

步骤1：构建危险场景知识库，并在仿真环境中实现相对应的危险场景；

步骤2：根据输入被测对象的不同，对危险场景知识库中的所有危险场景按进行分级；这里的被测对象可以是无人车、无人机、智能机器人等；

步骤3：使用设置好的分级指标，从低危险等级开始，对被测无人车利用仿真测试环境进行迭代测试；

步骤4：分析测试结果，得出测评结论，实现快速测评。

进一步的，步骤2具体为：

步骤2.1：根据输入被测对象的不同，对危险场景知识库中的所有危险场景按一级指标进行分级，其中一级指标包括财产损失、生命威胁、任务完成等；

步骤2.2：对一级指标的危险场景按二级指标进行分级，其中财产损失的二级指标包括本智能无人系统的财产损失、对测试环境的财产损失等，生命威胁的二级指标包括使用者的生命伤害、被测无人系统周边生命伤害等，任务完成的二级指标包括任务完成度等；

进一步的，被测对象是指待测评的智能无人系统，数量可以是单个、多个或群组；

进一步的，步骤3具体为：

步骤3.1：利用仿真测试环境，使用设置好的分级指标对被测智能无人系统进行迭代测试，从低危险等级开始，选取若干个危险场景开始测试，设置每一危险等级的危险场景的测试次数；

需要说明的是，对于每个分级指标，都有从低到高四个危险等级，分别是轻微级(I级)、轻度级(II级)、严重级(III级)、灾难级(VI级)；危险场景的测试首先从低等级的测试场景开始，当低等级的测试通过之后，再升级到高一等级的危险场景，进行测试。

步骤3.2：假设所处的危险等级j中，仿真测试N个测试场景，每个测试场景的测试次数是M₁,...,M_N，经过测试，每个测试场景的通过次数为k₁,...,k_N，则每个场景的通过率为

步骤3.3：设每个测试场景的通过率阈值为Y_i,i∈[1,N]，那么如果P_i≥Y_i则标记本测试场景通过，P_i'＝1，否则标记本测试场景不通过，P_i'＝0；

步骤3.4：对于每个测试场景设置权重为A_i，则计算得到本危险等级j的危险数值R_j：

步骤3.5：设本级别j危险数值的阈值为Z_j，Z_j∈[0,1]，那么如果R_j≥Z_j，则标记本危险等级j通过，否则标记本危险等级j不通过。

步骤3.6：如果选取的低危险等级的危险场景全部测试通过，则默认该等级包含的全部危险场景通过，升级到高一级的危险等级的危险场景，返回步骤3.1继续测试；如果没有测试通过，则记录测试结果；

步骤3.7：测试直到被测智能无人系统将仿真环境中的最高危险等级的危险场景全部测试通过，或者被测智能无人系统已完成可以测试通过的最高危险等级，方可结束测试。

在一实施例中，从轻微级(I级)开始测试，选取10个危险场景，可以是在城市道路中前车急刹车、大量行人横穿马路、避让逆行车辆、避让静止障碍、右转遇行人过马路、施工区域通行、前方车辆并线、隧道避让静止车辆等场景，设置每一危险等级的危险场景的测试次数为100次；

表1危险场景测试数据

测试场景

场景1

场景2

场景3

场景4

场景5

场景6

场景7

场景8

场景9

场景10

通过率

95％

60％

80％

54％

24％

77％

98％

51％

89％

84％

通过率阈值

90％

50％

80％

50％

50％

60％

95％

50％

80％

80％

P<sub>i</sub>

1

1

1

1

0

1

1

1

1

1

权重

10％

10％

10％

10％

10％

10％

10％

10％

10％

10％

通过表1计算得到本危险等级j的危险数值R_j为

R_j＝1*0.1+1*0.1+1*0.1+1*0.1+0*0.1+1*0.1+1*0.1+1*0.1+1*0.1＝0.9

设置轻微级(I级)的危险数值阈值为0.9，则轻微级(I级)通过；危险等级升为轻度级(II级)，进行迭代测试。

进一步的，步骤4中具体为；

步骤4.1：记录每个一级指标通过的最高危险等级。

步骤4.2：对比所有一级指标，选取通过的最高危险等级作为本次被测对象的通过危险等级，计算公式如下：

R＝max(R1,R2,R3)

其中，R1、R2、R3表示一级指标的最高危险等级。

步骤4.3：根据一级指标情况，给出危险等级的测评结论。

进一步的，危险等级的结论包括：

灾难级(VI级)：重大生命威胁(如死亡)，或重大财产损失，或基本任务失败；

严重级(III级)：对生命造成严重伤害，或财产遭受严重损失，或基本任务的主要部分未完成；

轻度级(II级)：对生命造成轻度伤害，或财产遭受轻度损失，或对完成任务有轻度影响；

轻微级(I级)：对生命造成的伤害低于低度，或财产的损失低于轻度，或虽然执行任务有障碍但是能够完成。

在一实施例中，生命威胁R1的最高危险等级是轻微级(I级)，财产损失R2的最高危险等级是轻微级(I级)，任务完成R3的最高危险等级是轻度级(II级)，因此本次被测对象的危险等级是轻度级(II级)。

另一方面，本发明还提出了一种危险场景下的无人系统快速测评系统，包括以下几个模块：

危险场景知识库，用于存储目前已知的所有危险场景；

危险等级分级模块，用于根据输入被测对象，对各危险场景进行分级；

场景仿真模块，用于建立系统仿真场景；

测试运行模块，用于迭代测试不同等级的危险场景；

测试可视化模块，用于设置被测对象、选择危险场景、展示测试过程及结果等用户可视化交互。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的原理和范围，本发明的保护范围应以权利要求书所述为准。

Claims (8)

1.一种无人系统决策策略的自主能力快速测评方法，其步骤包括：

1)构建危险场景知识库，并在仿真环境中实现相对应的危险场景；

2)根据输入被测对象，对步骤1)所得各危险场景进行分级：首先按一级指标对危险场景知识库中各危险场景进行分级，其中一级指标包括财产损失、生命威胁、任务完成；然后对各一级指标的危险场景按二级指标进行分级，其中财产损失的二级指标包括被测对象的财产损失、对测试环境的财产损失，生命威胁的二级指标包括使用者的生命伤害、被测无人系统周边生命伤害，任务完成的二级指标包括任务完成度；

3)利用仿真测试环境，从低危险等级的危险环境开始对被测对象进行迭代测试；其中测试方法为：首先对于每一危险等级j，选取N个属于该危险等级j的危险场景作为测试场景进行仿真测试，记第i个测试场景的测试次数为M_i、第i个测试场景的通过次数为k_i、第i个测试场景的通过率阈值为Y_i、第i个测试场景的权重为A_i，则第i个测试场景i的通过率为

如果P_i≥Y_i则标记第i个测试场景测试通过，则令P_i'＝1，否则标记第i个测试场景未通过测试，令P_i'＝0，i＝1～N；然后计算得到该危险等级j的危险数值

如果R_j≥Z_j，则标记该危险等级j通过，否则标记该危险等级j不通过，Z_j为该危险等级j的阈值；

4)根据各危险等级的测试结果生成测试报告。

2.如权利要求1所述的方法，其特征在于，生成测试报告的方法为：首先根据二级指标各等级危险的测试结果汇总得到各一级指标通过的最高危险等级；选取各一级指标中通过的最高危险等级作为被测对象通过的最终危险等级R并给出该最终危险等级R对应的报告。

3.如权利要求2所述的方法，其特征在于，每一最终危险等级对应一设定的报告内容。

4.如权利要求1所述的方法，其特征在于，所述危险等级从低到高依次为轻微级、轻度级、严重级、灾难级。

5.一种无人系统决策策略的自主能力快速测评系统，其特征在于，包括

危险场景知识库，用于存储目前已知的所有危险场景；

危险等级分级模块，用于根据输入被测对象，对所得各危险场景进行分级：首先按一级指标对危险场景知识库中各危险场景进行分级，其中一级指标包括财产损失、生命威胁、任务完成；然后对各一级指标的危险场景按二级指标进行分级，其中财产损失的二级指标包括被测对象的财产损失、对测试环境的财产损失，生命威胁的二级指标包括使用者的生命伤害、被测无人系统周边生命伤害，任务完成的二级指标包括任务完成度；

场景仿真模块，用于建立系统仿真场景；

测试运行模块，用于迭代测试不同等级的危险场景；其中测试方法为：首先对于每一危险等级j，选取N个属于该危险等级j的危险场景作为测试场景进行仿真测试，记第i个测试场景的测试次数为M_i、第i个测试场景的通过次数为k_i、第i个测试场景的通过率阈值为Y_i、第i个测试场景的权重为A_i，则第i个测试场景i的通过率为

如果P_i≥Y_i则标记第i个测试场景测试通过，则另P_i'＝1，否则标记第i个测试场景未通过测试，另P_i'＝0，i＝1～N；然后计算得到该危险等级j的危险数值

如果R_j≥Z_j，则标记该危险等级j通过，否则标记该危险等级j不通过，Z_j为该危险等级j的阈值；

测试可视化模块，用于设置被测对象、选择危险场景、展示测试过程及结果。

6.如权利要求5所述的系统，其特征在于，所述测试可视化模块生成测试报告的方法为：首先根据二级指标各等级危险的测试结果汇总得到各一级指标通过的最高危险等级；选取各一级指标中通过的最高危险等级作为被测对象通过的最终危险等级R并给出该最终危险等级R对应的报告。

7.如权利要求6所述的系统，其特征在于，每一最终危险等级对应一设定的报告内容。

8.如权利要求5所述的系统，其特征在于，所述危险等级从低到高依次为轻微级、轻度级、严重级、灾难级。

Images