CN114862159A - 一种自动驾驶测试场景的评价方法 - Google Patents

一种自动驾驶测试场景的评价方法 Download PDF

Info

Publication number
CN114862159A
CN114862159A CN202210432327.0A CN202210432327A CN114862159A CN 114862159 A CN114862159 A CN 114862159A CN 202210432327 A CN202210432327 A CN 202210432327A CN 114862159 A CN114862159 A CN 114862159A
Authority
CN
China
Prior art keywords
scene
evaluation
evaluation index
embedded
tested system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210432327.0A
Other languages
English (en)
Inventor
陈君毅
马依宁
张子键
熊璐
张灵童
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202210432327.0A priority Critical patent/CN114862159A/zh
Publication of CN114862159A publication Critical patent/CN114862159A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种自动驾驶测试场景的评价方法，包括：基于强化学习、深度强化学习、逆强化学习三种方法，生成自动驾驶测试场景集；基于所生成的测试场景的实际数据，针对所生成的测试场景是否嵌入被测系统，选取出三个评价维度；基于三个评价维度，构建具体的评价指标并进行量化评估；对评价指标的量化评估结果进行归一化处理，通过确定权重，计算得到综合评价结果。与现有技术相比，本发明从无被测系统嵌入的场景智能性、有被测系统嵌入的场景测试性、被测系统嵌入前后场景的稳定性这三个评价维度出发，构建面向自动驾驶测试场景的评价框架和指标，能够平行对比测试场景综合性能高低，从而加快自动驾驶测试进程，具有极大的应用价值。

Description

一种自动驾驶测试场景的评价方法
技术领域
本发明涉及自动驾驶技术领域，尤其是涉及一种自动驾驶测试场景的评价方法。
背景技术
从统计学角度出发，自动驾驶汽车需要在真实或者虚拟环境中至少进行110亿英里的里程测试，才能证明自动驾驶系统比人类驾驶员更可靠；然而，基于里程的测试方法具有测试周期长、效率低、成本高等弊端，随着自动驾驶汽车商业化落地，单纯依靠基于里程的测试方法显然是不够的，基于场景的仿真测试方法不可或缺。与传统的实车测试相比，基于场景的仿真测试具有安全、省时、经济等优点而被广泛采用。
在构建仿真场景时，目前的主流研究方向是采用机器学习来构建，然而，机器学习方法多种类繁多，导致所构建的自动驾驶测试场景有较大的差异性，后续难以评价这些测试场景的综合性。因此亟需一种自动驾驶测试场景的评价方法，能够从多个角度全面地评价自动驾驶测试场景，从而有利于推进自动驾驶自车的发展和落地。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种自动驾驶测试场景的评价方法，能够平行对比测试场景综合性能高低、准确评价自动驾驶测试场景的优劣以及生成测试场景的不同方法的优劣。
本发明的目的可以通过以下技术方案来实现：一种自动驾驶测试场景的评价方法，包括以下步骤：
S1、基于强化学习、深度强化学习、逆强化学习三种方法，生成自动驾驶测试场景集；
S2、基于步骤S1所生成的测试场景的实际数据，针对所生成的测试场景是否嵌入被测系统，选取出三个评价维度；
S3、基于三个评价维度，构建具体的评价指标并进行量化评估；
S4、对评价指标的量化评估结果进行归一化处理，通过确定权重，计算得到综合评价结果。
进一步地，所述步骤S2选取的三个评价维度具体为：无被测系统嵌入时场景的智能性、有被测系统嵌入时场景的测试性、被测系统嵌入前后测试场景的稳定性，其中，无被测系统嵌入时场景的智能性，代表了场景在生成后、用于测试前的固有属性，具体来说，是基于某一机器学习方法所生成后自身固有智能性，该智能性不会随着被测系统的不同而发生变化；
有被测系统嵌入时场景的测试性则代表了不同被测系统在改测试场景中，该场景所表现出的针对这一被测系统的挑战性和测试性；
被测系统嵌入前后测试场景的稳定性代表了在被测试系统嵌入该测试场景前后，场景中背景车所发生变化前后的稳定性。
进一步地，所述步骤S3中无被测系统嵌入时场景的智能性对应的评价指标包括微观智能性、宏观复杂性、同域泛化性、异域迁移性、交互拟真性和生成效率；
有被测系统嵌入时场景的测试性对应的评价指标包括相对测试性和应用普适性；
被测系统嵌入前后测试场景的稳定性对应的评价指标为同域稳定性。
进一步地，所述微观智能性通过环境车与交互域范围内车辆的交互时机智能性来衡量，其计算公式为：
Figure BDA0003611282200000021
其中，MI为微观智能性评价指标，S为交互域重合面积，交互域为以车为中心、长为50米、宽为2米的矩形除去以车为中心、长为25米、宽为3.6米的矩形，其中长为50米、宽为2米的矩形为安全域，长为25米、宽为3.6米的矩形为危险域，当环境车与前车或后车交互域有重合面积时，则视为在交互过程中，t1、t2为交互开始与结束的时刻，α为交互因子，数值上等于场景中发生交互的车辆所占比重，在交互发生的时间段内对重合面积的积分越大，表明MI越大、微观智能性越好；
宏观复杂性通过可行域面积和信息熵量化不确定性衡量，其计算公式为：
MC＝dFA/dt
Figure BDA0003611282200000031
其中，MC为宏观复杂性评价指标，FA为可行域面积，可行域为车辆当前车道以及左右车道可供行驶的范围，D为车道宽度，Yl、Y0分别为第l根车道上前方最靠近的车的车尾纵坐标、本车辆的车头纵坐标，可行域对时间求导则反映了可行范围的信息熵，以此衡量宏观复杂性；
同域泛化性通过同域场景生成数量SN来衡量，SN越大则同域泛化性越好；
交互拟真性通过决策与规划两个方面来衡量，决策通过跟车距离来反映，进行1000次场景测试，跟车距离X呈现高斯分布，设X～N(μ1，σ12)，统计自然道路数据中的跟车距离Y，跟车距离Y呈现高斯分布，设Y～N(μ2，σ22)，使用相对熵衡量两个高斯分布的相似程度：
Figure BDA0003611282200000032
相似程度越大，决策的拟真性越好，规划通过行驶轨迹与自然道路数据中的行驶轨迹的重合度来衡量，轨迹的重合度用变道时环境车行驶轨迹与自然道路数据的行驶轨迹所围面积表示，计算公式如下：
Figure BDA0003611282200000033
其中，IS为交互拟真性评价指标，I为场景中环境车数量，Sij为第i辆环境车行驶轨迹与10组自然道路数据中第j组的行驶轨迹在归一化后所围成的面积，所围成面积越小，相似程度越大，规划的拟真性越好；
生成效率通过时间成本与计算成本来衡量，计算公式如下：
Figure BDA0003611282200000034
Figure BDA0003611282200000035
其中，GE为生成效率评价指标，t′1、t′2分别为通过机器学习生成场景的开始与结束的时刻，μ为在机器学习生成场景的过程中CPU的平均占用率，P为某一瞬时的CPU占用率，生成场景所花费时间越少，CPU的平均占用率越低，GE越大，生成效率越高；
异域迁移性通过测试集和训练集参数范围不同时迁移的成功率来衡量，进行1000次异域迁移性测试，求出平均碰撞率来表示异域迁移性，计算公式如下：
Figure BDA0003611282200000041
其中，EM为异域迁移性评价指标，Cq为第q次测试时所有发生碰撞的车辆所占比例，发生碰撞的车辆所占比例越低，EM越大，异域迁移性越好。
进一步地，所述相对测试性从舒适性、安全性和高效性三个方面来衡量，计算公式如下：
Figure BDA0003611282200000042
TTC＝(Y2-Y1)/(V2-V1)
S＝TTC/β
EF＝400/T
Figure BDA0003611282200000043
其中，C为舒适性评价指标，通过被测系统加速度变化率衡量，加速度变化越平缓舒适性越好，T为安全性评价指标，通过被测系统的碰撞率及碰撞时间衡量，TTC为碰撞时间，反映车辆安全性，Y2、Y1分别为前车车位纵坐标与被测系统车头纵坐标，V2、V1分别为前车速度与被测系统速度，β为被测系统的碰撞率，EF为高效性评价指标，T为行驶完400米路段所需花费的时间，RT为相对测试性评价指标，被测系统舒适性、安全性、高效性表现越差，RT越大，测试场景的相对测试性越好；
应用普适性通过被测系统成功嵌入的占比来衡量，计算公式如下：
RT＝N/1000
其中，RT为应用普适性评价指标，N为进行1000次场景测试中被测系统成功嵌入的次数，被测系统成功嵌入的占比越高，RT越大，被测系统的嵌入能力越好。
进一步地，所述同域稳定性计算公式如下：
SS＝|AR1-AR2|/(AR1+AR2)
其中，SS为同域稳定性评价指标，AR1为被测系统嵌入前的事故率，AR2为被测系统嵌入后除自车外的事故率，通过被测系统嵌入前后测试场景变化反映同域稳定性。
进一步地，所述步骤S4具体是依据各评价指标计算结果所占比重进行归一化处理，计算公式如下：
Figure BDA0003611282200000051
其中，xwv为第v项评价指标下第w个样本值，ρwv为第v项评价指标下第w个样本值占该指标的比重，所占比重越大，ρwv越大，归一化后的结果越大。
进一步地，所述步骤S4中确定权重具体是通过向专家调研得出主观的指标权重，计算公式如下：
Figure BDA0003611282200000052
其中，Wv为第v项评价指标的权重，U为评价专家数量，Wu-v为第u名专家对第v项评价指标所给出的权重。
进一步地，所述步骤S4中确定权重具体是使用熵值法得到客观的指标权重，计算公式如下：
Figure BDA0003611282200000053
Figure BDA0003611282200000054
dv＝1-ev
Figure BDA0003611282200000055
其中，ρwv为第v项评价指标下第w个样本值占该指标的比重，ev为第v项评价指标的熵值，dv为第v项评价指标的差异系数，Wv为第v项评价指标的权重。
进一步地，所述步骤S4中综合评价结果的计算公式为：
Figure BDA0003611282200000056
其中，R为综合评价结果，Wv为第v项评价指标的权重，Sv为第v项评价指标所得归一化结果。
与现有技术相比，本发明针对测试场景是否嵌入被测系统，选取出三个评价维度，并基于三个评价维度，对应构建具体的评价指标，以进行量化评估，通过无被测系统嵌入的场景智能性评价指标、有被测系统嵌入的场景测试性评价指标和被测系统嵌入前后场景的稳定性评价指标，从这三个角度得到自动驾驶测试场景的评价得分，最后综合分析测试场景的综合性评价结果，由此从多方面构建面向自动驾驶测试场景的评价框架和指标，能够平行对比测试场景综合性能高低，准确评价自动驾驶测试场景的优劣以及生成测试场景的不同方法的优劣。
附图说明
图1为本发明的方法流程示意图；
图2为实施例的应用过程示意图；
图3为生成测试场景的方法示意图；
图4为本发明中评价测试场景的三个维度；
图5为无被测系统嵌入角度下的6个评价指标；
图6为微观智能性示意图；
图7为交互拟真性示意图；
图8为有被测系统嵌入角度下的2个评价指标；
图9为对比被测系统嵌入前后的场景变化的1个评价指标。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
如图1所示，一种自动驾驶测试场景的评价方法，包括以下步骤：
S1、基于强化学习、深度强化学习、逆强化学习三种方法生成自动驾驶测试场景集；
S2、基于步骤S1所生成的测试场景的实际数据，针对所生成的测试场景是否嵌入被测系统，选取三个评价维度；
S3、基于步骤S2所选取的评价维度，构建具体的评价指标并进行量化评估；
S4、基于步骤S3中评价指标的结果进行归一化处理，确定权重，计算得到综合评价结果。
本实施例应用上述方法的具体过程如图2所示，其中，步骤S1生成自动驾驶测试场景集的过程如图3所示。
步骤S2基于测试场景是否嵌入被测系统，将评价指标聚合为三个评价维度，如图4所示，包括无被测系统嵌入的场景智能性评价指标、有被测系统嵌入的场景测试性评价指标，和被测系统嵌入前后场景的稳定性评价指标。
在分析评价对象“测试场景”时，本技术方案从三个维度进行定义，分别是：1)无被测系统嵌入时场景的智能性、2)有被测系统嵌入时场景的测试性、3)被测系统嵌入前后测试场景的稳定性。具体的：
1)无被测系统嵌入时场景智能性，代表了场景在生成后、用于测试前的固有属性。具体来说，是基于某一机器学习方法所生成后自身固有智能性，该智能性不会随着被测系统的不同而发生变化。基于机器学习生成的仿真测试场景用于服务不同类别的自动驾驶决策系统。然而，在生成测试场景的过程中，往往采用非被测系统在环的方法来生场景，即在生成场景的过程中不针对某一特定被测系统的漏洞或缺陷，而是生成面向不同被测系统的测试场景。该类场景具有普适性，应用范围更广，同时在训练后的仿真过程中也不会有过拟合性。因此，评价场景的固有智能性是场景在被用于测试之前所必经的步骤。
2)有被测系统嵌入时场景的测试性，代表了不同被测系统在改测试场景中，该场景所表现出的针对这一被测系统的挑战性和测试性。由于被测系统的智能性不同，在测试场景中的表现结果也不一样，因此测试场景的测试效果会随着被测系统的不同而不同。例如，在面向智能水平较高的被测系统时，测试场景所表现出的测试效果就较弱；而面对智能水平较低的被测系统时，测试场景的所表现出的测试效果就比较强。因此，测试场景在面向不同被测系统时的测试性也是场景综合性的评价指标之一。通常来说，即使面向不同水平的被测系统，测试场景的测试性都比较强是场景综合性优秀的表现之一。
3)被测系统嵌入前后测试场景的稳定性，代表了在被测试系统嵌入该测试场景前后，场景中背景车所发生变化前后的稳定性。测试场景在生成的过程中，每一类背景车在多轮迭代和训练时都会与其它背景车发生交互，直到不发生碰撞和奖励函数收敛后，该场景可以被认为是生成完毕，因此场景中的背景车是相互“熟悉”彼此的。然而，当加入被测对象后，背景车之前并没有学习与被测对象如何交互，则在与被测对象发生交互的过程中可能会发生某些变化，例如不真实的决策、轨迹、甚至碰撞等现象发生。因此，被测系统嵌入前后测试场景的稳定性也属于测试场景的综合性之一。
从以上三个维度分类，可以充分地体现测试场景本身的性质以及与被测系统相互影响后的性质。
如图5所示，无被测系统嵌入的场景智能性评价指标包括微观智能性、宏观复杂性、同域泛化性、异域迁移性、交互拟真性和生成效率。
微观智能性通过环境车与交互域范围内车辆的交互时机智能性来衡量。其计算公式为：
Figure BDA0003611282200000081
其中MI为微观智能性评价指标，S为交互域重合面积，交互域为以车为中心、长为50米、宽为2米的矩形除去以车为中心、长为25米、宽为3.6米的矩形，其中长为50米、宽为2米的矩形为安全域，长为25米、宽为3.6米的矩形为危险域，当环境车与前车或后车交互域有重合面积时，则视为在交互过程中，t1、t2为交互开始与结束的时刻，α为交互因子，数值上等于场景中发生交互的车辆所占比重，在交互发生的时间段内对重合面积的积分越大，表明MI越大、微观智能性越好。
如图6所示，(a)为左车变道超车时交互域刚刚开始有重合区域的时刻，此时刻即为t1，(b)为交互中的某一时刻，灰色区域为交互域重合范围，(c)为两车交互域即将没有重合部分的时刻，此时刻即为t2。
宏观复杂性通过可行域面积和信息熵量化不确定性衡量。其计算公式为
MC＝dFA/dt
Figure BDA0003611282200000082
其中，MC为宏观复杂性评价指标，FA为可行域面积，可行域为车辆当前车道以及左右车道可供行驶的范围，D为车道宽度，Yl、Y0分别为第l根车道上前方最靠近的车的车尾纵坐标、本车辆的车头纵坐标，可行域对时间求导则反映了可行范围的信息熵，以此衡量宏观复杂性。
同域泛化性通过同域场景生成数量SN来衡量，SN越大则同域泛化性越好。
交互拟真性通过决策与规划两个方面来衡量。决策通过跟车距离来反映。进行1000次场景测试，跟车距离X呈现高斯分布，设X～N(μ1，σ12)。统计自然道路数据中的跟车距离Y，跟车距离Y呈现高斯分布，设Y～N(μ2，σ22)。使用相对熵衡量两个高斯分布的相似程度。
Figure BDA0003611282200000083
Figure BDA0003611282200000091
相似程度越大，决策的拟真性越好，规划通过行驶轨迹与自然道路数据中的行驶轨迹的重合度来衡量，轨迹的重合度用变道时环境车行驶轨迹与自然道路数据的行驶轨迹所围面积表示，计算公式如下：
Figure BDA0003611282200000092
其中，IS为交互拟真性评价指标，I为场景中环境车数量，Sij为第i辆环境车行驶轨迹与10组自然道路数据中第j组的行驶轨迹在归一化后所围成的面积，所围成面积越小，相似程度越大，IS越大、规划的拟真性越好。
如图7所示，(a)为测试场景中的某一辆环境车在归一化后的变道轨迹，(b)为自然道路数据中的某一条归一化后的变道轨迹，(c)为这两条轨迹围成的区域，其面积即为Sij。
生成效率通过时间成本与计算成本来衡量，计算公式如下：
Figure BDA0003611282200000093
Figure BDA0003611282200000094
其中，GE为生成效率评价指标，t′1、t′2分别为通过机器学习生成场景的开始与结束的时刻，μ为在机器学习生成场景的过程中CPU的平均占用率，P为某一瞬时的CPU占用率，生成场景所花费时间越少，CPU的平均占用率越低，GE越大，生成效率越高。
异域迁移性通过测试集和训练集参数范围不同时迁移的成功率来衡量。进行1000次异域迁移性测试，求出平均碰撞率来表示异域迁移性。计算公式如下
Figure BDA0003611282200000095
其中，EM为异域迁移性评价指标，Cq为第q次测试时所有发生碰撞的车辆所占比例，发生碰撞的车辆所占比例越低，EM越大，异域迁移性越好。
如图8所示，有被测系统嵌入的场景测试性评价指标包括相对测试性和应用普适性。
相对测试性从舒适性、安全性和高效性三个方面来衡量。计算公式如下
Figure BDA0003611282200000096
TTC＝(Y2-Y1)/(V2-V1)
S＝TTC/β
EF＝400/T
Figure BDA0003611282200000101
其中C为舒适性评价指标，通过被测系统加速度变化率衡量，加速度变化越平缓舒适性越好。T为安全性评价指标，通过被测系统的碰撞率及碰撞时间衡量。TTC为碰撞时间，反映车辆安全性。Y2、Y1分别为前车车位纵坐标与被测系统车头纵坐标，V2、V1分别为前车速度与被测系统速度。β为被测系统的碰撞率。EF为高效性评价指标，T为行驶完400米路段所需花费的时间。RT为相对测试性评价指标，被测系统舒适性、安全性、高效性表现越差，RT越大，测试场景的相对测试性越好。
应用普适性通过被测系统成功嵌入的占比来衡量。计算公式如下
RT＝N/1000
其中RT为应用普适性评价指标。N为进行1000次场景测试，被测系统成功嵌入的次数。被测系统成功嵌入的占比越高，RT越大，被测系统的嵌入能力越好。
如图9所示，被测系统嵌入前后场景的变化评价指标为同域稳定性。
同域稳定性计算公式如下
SS＝|AR1-AR2|/(AR1+AR2)
其中SS为同域稳定性评价指标，AR1为被测系统嵌入前的事故率，AR2为被测系统嵌入后除自车外的事故率，通过被测系统嵌入前后测试场景变化反映同域稳定性。
步骤S4包括以下分步骤：
步骤401：对定量评估的结果进行归一化处理；
步骤402：基于归一化后的结果，确定权重，进行综合评价计算。
步骤401中的归一化方法为横向对比各种测试场景的生成方法，依据各评价指标计算结果所占比重进行归一化处理，计算公式如下：
Figure BDA0003611282200000102
其中，xwv为第v项评价指标下第w个样本值，ρwv为第v项评价指标下第w个样本值占该指标的比重，所占比重越大，ρwv越大，归一化后的结果越大。
步骤402中的确定权重可采用两种方法：
第一种确定权重的方法通过向专家调研得出主观的指标权重，其计算公式如下
Figure BDA0003611282200000111
其中，Wv为第v项评价指标的权重，U为评价专家数量，Wu-v为第u名专家对第v项评价指标所给出的权重；
第二种确定权重的方法是使用熵值法得出客观的指标权重，其计算公式如下
Figure BDA0003611282200000112
Figure BDA0003611282200000113
dv＝1-ev
Figure BDA0003611282200000114
其中，ρwv为第v项评价指标下第w个样本值占该指标的比重，ev为第v项评价指标的熵值，dv为第v项评价指标的差异系数，Wv为第v项评价指标的权重。
在有被测系统嵌入、无被测系统嵌入、被测系统嵌入前后的场景变化三个角度下分别确定各项指标所占权重，根据以下计算公式得到综合评价结果：
Figure BDA0003611282200000115
其中，R为综合评价结果，Wv为第v项评价指标的权重，Sv为第v项评价指标所得归一化结果，m为评价指标的总数量，本技术方案中，m＝9，由此最终可计算得到自动驾驶测试场景的综合评价结果。
综上可知，本技术方案提出了3个维度、9项评价指标，用以定量评价自动驾驶测试场景智能性，从而能够准确评价自动驾驶测试场景的优劣以及生成测试场景的不同方法的优劣。本技术方案从多方面构建了面向自动驾驶测试场景的评价框架和指标，平行对比测试场景智能性高低，加快自动驾驶测试进程，具有极大的应用价值。

Claims (10)

1.一种自动驾驶测试场景的评价方法，其特征在于，包括以下步骤：
S1、基于强化学习、深度强化学习、逆强化学习三种方法，生成自动驾驶测试场景集；
S2、基于步骤S1所生成的测试场景的实际数据，针对所生成的测试场景是否嵌入被测系统，选取出三个评价维度；
S3、基于三个评价维度，构建具体的评价指标并进行量化评估；
S4、对评价指标的量化评估结果进行归一化处理，通过确定权重，计算得到综合评价结果。
2.根据权利要求1所述的一种自动驾驶测试场景的评价方法，其特征在于，所述步骤S2选取的三个评价维度具体为：无被测系统嵌入时场景的智能性、有被测系统嵌入时场景的测试性、被测系统嵌入前后测试场景的稳定性，其中，无被测系统嵌入时场景的智能性，代表了场景在生成后、用于测试前的固有属性，具体来说，是基于某一机器学习方法所生成后自身固有智能性，该智能性不会随着被测系统的不同而发生变化；
有被测系统嵌入时场景的测试性则代表了不同被测系统在改测试场景中，该场景所表现出的针对这一被测系统的挑战性和测试性；
被测系统嵌入前后测试场景的稳定性代表了在被测试系统嵌入该测试场景前后，场景中背景车所发生变化前后的稳定性。
3.根据权利要求2所述的一种自动驾驶测试场景的评价方法，其特征在于，所述步骤S3中无被测系统嵌入时场景的智能性对应的评价指标包括微观智能性、宏观复杂性、同域泛化性、异域迁移性、交互拟真性和生成效率；
有被测系统嵌入时场景的测试性对应的评价指标包括相对测试性和应用普适性；
被测系统嵌入前后测试场景的稳定性对应的评价指标为同域稳定性。
4.根据权利要求3所述的一种自动驾驶测试场景的评价方法，其特征在于，所述微观智能性通过环境车与交互域范围内车辆的交互时机智能性来衡量，其计算公式为：
Figure FDA0003611282190000021
其中，MI为微观智能性评价指标，S为交互域重合面积，交互域为以车为中心、长为50米、宽为2米的矩形除去以车为中心、长为25米、宽为3.6米的矩形，其中长为50米、宽为2米的矩形为安全域，长为25米、宽为3.6米的矩形为危险域，当环境车与前车或后车交互域有重合面积时，则视为在交互过程中，t1、t2为交互开始与结束的时刻，α为交互因子，数值上等于场景中发生交互的车辆所占比重，在交互发生的时间段内对重合面积的积分越大，表明MI越大、微观智能性越好；
宏观复杂性通过可行域面积和信息熵量化不确定性衡量，其计算公式为：
MC＝dFA/dt
Figure FDA0003611282190000022
其中，MC为宏观复杂性评价指标，FA为可行域面积，可行域为车辆当前车道以及左右车道可供行驶的范围，D为车道宽度，Yl、Y0分别为第l根车道上前方最靠近的车的车尾纵坐标、本车辆的车头纵坐标，可行域对时间求导则反映了可行范围的信息熵，以此衡量宏观复杂性；
同域泛化性通过同域场景生成数量SN来衡量，SN越大则同域泛化性越好；
交互拟真性通过决策与规划两个方面来衡量，决策通过跟车距离来反映，进行1000次场景测试，跟车距离X呈现高斯分布，设X～N(μ1,σ12)，统计自然道路数据中的跟车距离Y，跟车距离Y呈现高斯分布，设Y～N(μ2,σ22)，使用相对熵衡量两个高斯分布的相似程度：
Figure FDA0003611282190000023
相似程度越大，决策的拟真性越好，规划通过行驶轨迹与自然道路数据中的行驶轨迹的重合度来衡量，轨迹的重合度用变道时环境车行驶轨迹与自然道路数据的行驶轨迹所围面积表示，计算公式如下：
Figure FDA0003611282190000031
其中，IS为交互拟真性评价指标，I为场景中环境车数量，Sij为第i辆环境车行驶轨迹与10组自然道路数据中第j组的行驶轨迹在归一化后所围成的面积，所围成面积越小，相似程度越大，规划的拟真性越好；
生成效率通过时间成本与计算成本来衡量，计算公式如下：
Figure FDA0003611282190000032
Figure FDA0003611282190000033
其中，GE为生成效率评价指标，t′1、t′2分别为通过机器学习生成场景的开始与结束的时刻，μ为在机器学习生成场景的过程中CPU的平均占用率，P为某一瞬时的CPU占用率，生成场景所花费时间越少，CPU的平均占用率越低，GE越大，生成效率越高；
异域迁移性通过测试集和训练集参数范围不同时迁移的成功率来衡量，进行1000次异域迁移性测试，求出平均碰撞率来表示异域迁移性，计算公式如下：
Figure FDA0003611282190000034
其中，EM为异域迁移性评价指标，Cq为第q次测试时所有发生碰撞的车辆所占比例,发生碰撞的车辆所占比例越低，EM越大，异域迁移性越好。
5.根据权利要求3所述的一种自动驾驶测试场景的评价方法，其特征在于，所述相对测试性从舒适性、安全性和高效性三个方面来衡量,计算公式如下：
Figure FDA0003611282190000035
TTC＝(Y2-Y1)/(V2-V1)
S＝TTC/β
EF＝400/T
Figure FDA0003611282190000036
其中，C为舒适性评价指标，通过被测系统加速度变化率衡量，加速度变化越平缓舒适性越好，T为安全性评价指标，通过被测系统的碰撞率及碰撞时间衡量，TTC为碰撞时间，反映车辆安全性，Y2、Y1分别为前车车位纵坐标与被测系统车头纵坐标，V2、V1分别为前车速度与被测系统速度，β为被测系统的碰撞率，EF为高效性评价指标，T为行驶完400米路段所需花费的时间，RT为相对测试性评价指标，被测系统舒适性、安全性、高效性表现越差，RT越大，测试场景的相对测试性越好；
应用普适性通过被测系统成功嵌入的占比来衡量，计算公式如下：
RT＝N/1000
其中，RT为应用普适性评价指标，N为进行1000次场景测试中被测系统成功嵌入的次数，被测系统成功嵌入的占比越高，RT越大，被测系统的嵌入能力越好。
6.根据权利要求3所述的一种自动驾驶测试场景的评价方法，其特征在于，所述同域稳定性计算公式如下：
SS＝|AR1-AR2|/(AR1+AR2)
其中，SS为同域稳定性评价指标，AR1为被测系统嵌入前的事故率，AR2为被测系统嵌入后除自车外的事故率，通过被测系统嵌入前后测试场景变化反映同域稳定性。
7.根据权利要求1所述的一种自动驾驶测试场景的评价方法，其特征在于，所述步骤S4具体是依据各评价指标计算结果所占比重进行归一化处理，计算公式如下：
Figure FDA0003611282190000041
其中，xwv为第v项评价指标下第w个样本值，ρwv为第v项评价指标下第w个样本值占该指标的比重，所占比重越大，ρwv越大，归一化后的结果越大。
8.根据权利要求1所述的一种自动驾驶测试场景的评价方法，其特征在于，所述步骤S4中确定权重具体是通过向专家调研得出主观的指标权重，计算公式如下：
Figure FDA0003611282190000042
其中，Wv为第v项评价指标的权重，U为评价专家数量，Wu-v为第u名专家对第v项评价指标所给出的权重。
9.根据权利要求1所述的一种自动驾驶测试场景的评价方法，其特征在于，所述步骤S4中确定权重具体是使用熵值法得到客观的指标权重，计算公式如下：
Figure FDA0003611282190000043
Figure FDA0003611282190000051
dv＝1-ev
Figure FDA0003611282190000052
其中，ρwv为第v项评价指标下第w个样本值占该指标的比重，ev为第v项评价指标的熵值，dv为第v项评价指标的差异系数，Wv为第v项评价指标的权重。
10.根据权利要求8或9所述的一种自动驾驶测试场景的评价方法，其特征在于，所述步骤S4中综合评价结果的计算公式为：
Figure FDA0003611282190000053
其中，R为综合评价结果，Wv为第v项评价指标的权重，Sv为第v项评价指标所得归一化结果。
CN202210432327.0A 2022-04-22 2022-04-22 一种自动驾驶测试场景的评价方法 Pending CN114862159A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210432327.0A CN114862159A (zh) 2022-04-22 2022-04-22 一种自动驾驶测试场景的评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210432327.0A CN114862159A (zh) 2022-04-22 2022-04-22 一种自动驾驶测试场景的评价方法

Publications (1)

Publication Number Publication Date
CN114862159A true CN114862159A (zh) 2022-08-05

Family

ID=82633615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210432327.0A Pending CN114862159A (zh) 2022-04-22 2022-04-22 一种自动驾驶测试场景的评价方法

Country Status (1)

Country Link
CN (1) CN114862159A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117171290A (zh) * 2023-11-03 2023-12-05 安徽蔚来智驾科技有限公司 确定安全行驶区域的方法及系统、自动驾驶方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117171290A (zh) * 2023-11-03 2023-12-05 安徽蔚来智驾科技有限公司 确定安全行驶区域的方法及系统、自动驾驶方法及系统
CN117171290B (zh) * 2023-11-03 2024-04-16 安徽蔚来智驾科技有限公司 确定安全行驶区域的方法及系统、自动驾驶方法及系统

Similar Documents

Publication Publication Date Title
CN113486822B (zh) 一种基于驾驶意图的周围车辆轨迹预测方法及系统
CN111539087B (zh) 自动驾驶系统仿真测试平台和自动驾驶系统评价方法
CN112668172B (zh) 考虑车型和驾驶风格异质性的跟驰行为建模方法及其模型
CN112015843A (zh) 基于多车意图交互结果的行车风险态势评估方法及系统
CN111114556A (zh) 基于多源指数加权损失下lstm的换道意图识别方法
CN113158560A (zh) 一种基于场景对抗的智能驾驶车辆自主能力测试方法
CN105869402A (zh) 基于多类型浮动车数据的高速公路路段速度修正方法
CN111824169B (zh) 用于降低具有内燃机的车辆的驱动系统的废气排放的方法
CN111079800A (zh) 一种智能驾驶虚拟测试的加速方法及加速系统
CN114862159A (zh) 一种自动驾驶测试场景的评价方法
Hekmatnejad et al. Search-based test-case generation by monitoring responsibility safety rules
Wen et al. Modeling the effects of autonomous vehicles on human driver car-following behaviors using inverse reinforcement learning
Kuwajima et al. Open problems in engineering and quality assurance of safety critical machine learning systems
CN116946183A (zh) 一种考虑驾驶能力的商用车驾驶行为预测方法及车用设备
Hao et al. Aggressive lane-change analysis closing to intersection based on UAV video and deep learning
Shu et al. Test scenarios construction based on combinatorial testing strategy for automated vehicles
Azevedo et al. Using extreme value theory for the prediction of head-on collisions during passing maneuvres
Wach et al. Determination of vehicle velocities and collision location by means of Monte Carlo simulation method
Lawlor et al. Detecting convoys using license plate recognition data
Wen et al. Modeling human driver behaviors when following autonomous vehicles: An inverse reinforcement learning approach
CN114996116A (zh) 一种针对自动驾驶系统的拟人性评价方法
Kang et al. A control policy based driving safety system for autonomous vehicles
Zhang et al. Trajectory planning based on spatio-temporal reachable set considering dynamic probabilistic risk
Li et al. Study on Driver Behavior Pattern in Merging Area under Naturalistic Driving Conditions
US20220180737A1 (en) Vehicle speed prediction apparatus and prediction method using the same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination