CN114090404A - 一种考虑效率和覆盖度的自动驾驶加速测试方法 - Google Patents
一种考虑效率和覆盖度的自动驾驶加速测试方法 Download PDFInfo
- Publication number
- CN114090404A CN114090404A CN202111398403.2A CN202111398403A CN114090404A CN 114090404 A CN114090404 A CN 114090404A CN 202111398403 A CN202111398403 A CN 202111398403A CN 114090404 A CN114090404 A CN 114090404A
- Authority
- CN
- China
- Prior art keywords
- scene
- test
- specific
- area
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000001133 acceleration Effects 0.000 title claims abstract description 15
- 238000010998 test method Methods 0.000 title claims abstract description 15
- 238000012360 testing method Methods 0.000 claims abstract description 224
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000000638 solvent extraction Methods 0.000 claims abstract description 10
- 230000011218 segmentation Effects 0.000 claims abstract description 4
- 230000035945 sensitivity Effects 0.000 claims description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 238000004088 simulation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M17/00—Testing of vehicles
- G01M17/007—Wheeled or endless-tracked vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3457—Performance evaluation by simulation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M17/00—Testing of vehicles
- G01M17/007—Wheeled or endless-tracked vehicles
- G01M17/0078—Shock-testing of vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/04—Monitoring the functioning of the control system
- B60W50/045—Monitoring control system parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0023—Planning or execution of driving tasks in response to energy consumption
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3676—Test management for coverage analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
- B60W2520/105—Longitudinal acceleration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Databases & Information Systems (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Algebra (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Probability & Statistics with Applications (AREA)
- Operations Research (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
- Test And Diagnosis Of Digital Computers (AREA)
Abstract
本发明属于自动驾驶汽车技术领域,具体的说是一种考虑效率和覆盖度的自动驾驶加速测试方法。包括:步骤一、定义场景测试优先度;步骤二、区域分割;步骤三、区域内部搜索;步骤四、场景测试优先度更新;步骤五、迭代试验;本发明在选定好需要测试的自动驾驶功能并设定好车辆运行区域参数之后,形成场景生成范围;通过将该生成范围分区处理并设定前期自动驾驶探索自由度提高测试场景的覆盖率,通过不断提高测试过程中的危险场景生成概率提高测试过程的效率,从而保证生成的测试场景兼顾测试效率及测试覆盖率。
Description
技术领域
本发明属于自动驾驶汽车技术领域,具体的说是一种考虑效率和覆盖度的自动驾驶加速测试方法。
背景技术
虽然已经有企业推出了自动驾驶车型,然而如何保证自动驾驶汽车上路后安全性这一难题至今仍未得到解决。由于自动驾驶汽车运行场景复杂,实地测试成本高、效率低、安全性差,仿真测试已成为自动驾驶汽车安全性验证过程中的重要手段。在针对仿真测试过程而言,测试场景的生成大多基于车辆设计运行区域的参数设置,然而车辆运行区域中设计的参数仍然包含了大量的安全场景,这部分场景若全部进行提取测试仍会很大程度上浪费计算效力,提高测试成本。
现有的测试方法多以考虑测试效率为主,较少考虑测试过程场景生成的覆盖率。
发明内容
本发明提供了一种考虑效率和覆盖度的自动驾驶加速测试方法,在选定好需要测试的自动驾驶功能并设定好车辆运行区域参数之后,形成场景生成范围;通过将该生成范围分区处理并设定前期自动驾驶探索自由度提高测试场景的覆盖率,通过不断提高测试过程中的危险场景生成概率提高测试过程的效率,从而保证生成的测试场景兼顾测试效率及测试覆盖率,解决了现有测试方法存在的上述问题。
本发明技术方案结合附图说明如下:
一种考虑效率和覆盖度的自动驾驶加速测试方法,包括以下步骤:
步骤一、定义场景测试优先度;
根据自然驾驶数据中确定不同具体测试场景的场景危害度、场景暴露频次以及场景敏感度,进而计算具体测试场景对应的测试优先度wi;
步骤二、区域分割;
根据具体测试场景的测试优先度wi将场景生成范围参数空间进行分区处理,将具有相似测试优先度的具体测试场景划分到一起;
步骤三、区域内部搜索;
依次从所有分割好的区域中挑选具体测试场景组成本轮待测集,使用待测集中的具体测试场景对被测自动驾驶算法进行测试获取结果;
步骤四、场景测试优先度更新;
将得到的测试结果中各区域被选场景的实际场景危害度与自然驾驶数据获取得到的具体测试场景参数位置处的场景危害度进行对比,从而更新被测算法在场景生成参数空间中对应的具体测试场景测试优先度;
步骤五、迭代试验;
重复步骤二、三、四步,直到场景生成范围中剩余的所有具体测试场景测试优先度低于设定的阈值。
所述步骤一的具体方法如下:
11)场景测试优先度由测试场景的场景危害度、场景暴露频次以及场景敏感度共同决定;
12)场景危害度基于测试时的风险等级进行划分,分为碰撞场景及非碰撞场景;碰撞场景根据碰撞过程的加速度最大值细分为:严重碰撞、一般碰撞、轻微碰撞;非碰撞场景根据测试过程中的最大TTC-1即碰撞时间的倒数进行划分:接近碰撞、安全场景;TTC-1的定义如公式(1)所示;将危害度进行归一化处理定义场景危害度hi,i为具体场景位置,场景危害度一共分为5个档次,其中严重碰撞为1.0一般碰撞为0.8,轻微碰撞为0.6,接近碰撞为0.4,安全场景为0.2;
式中,Δdis为前后两车之间的车间距;Δv是前后两车之间的相对速度;
13)场景暴露频次利用高斯模型进行描述,如公式(2)所示
式中,d为参数维度;Σ为用来描述各类型参数相关度的协方差矩阵;μ为各参数变量的均值向量;X为具体场景参数向量;
14)场景敏感度指具体场景的碰撞不确定性,即根据现有数据库数据将逻辑场景参数空间中的危险区域、安全区域进行分割,距离危险区域和安全区域的边界越近则意味着该点的碰撞不确定性越大,如公式(3-4)所示
式中,x为所计算的具体场景参数;x'为危险边界上与具体场景参数点的最近点参数;下标n为场景要素的维度;i为具体场景的位置;Udi为具体场景的场景敏感度;safetyzone为逻辑场景参数空间中的安全区域空间;di为具体场景与危险边界的最近距离,即x与x’之间的距离;
将参数空间所有维度上限和下限组成的两点之间的欧式距离的长度作为空间长度,碰撞区参数空间边界点与边界线的最近距离dout为碰撞区域的标准化参考值,空间长度的剩余部分din为安全区的标准化参考值;
15)结合所获取的具体场景危害度hi、场景暴露频次pi以及场景敏感度Udi,提出了场景测试优先度的概念,表征该具体场景的重要性权重,即将该具体场景进行测试的价值;场景测试优先度wi的计算方法如公式(5)所示:
wi=Udi·pi·hi (5)。
所述步骤二的具体方法如下:
21)首先选取参数空间中测试优先度最高的具体场景参数位置作为第一个小区域的区域中心;
22)其次向测试优先度最高的具体场景参数点周围各方向的相邻具体场景参数位置进行探索,将领域中测试优先度最高的具体场景划入第一个小区域;
23)最后将第一个小区域作为新的区域中心继续向其周围方向探索。
所述步骤22)、23)中的每次探索结束后计算当前区域内全部具体场景的测试优先度均值,当平均测试优先度达到设置阈值时划分结束,需要从参数空间剩余具体场景中重新选取测试优先度最高的场景参数位置作为下一区域的区域中心;区域分割后期,由于参数空间内剩余具体场景的测试优先度都较小,则需要对区域内场景数目的极大值进行限制,即使平均测试优先度未达到设置阈值也应停止探索;另外,设置区域中具体场景数目的极小值;当参数空间无法进行进一步分割时,对位于参数空间边缘或不满足区域分割要求的遗漏具体场景参数进行整理,将其分配至平均测试优先度最接近的临近区域。
所述步骤三的具体方法如下:
31)当全部具体场景都找到其归属的区域后,依次从所有分割好的区域中挑选具体场景组成本轮待测集,使用待测集中的具体场景对某黑盒自动驾驶算法进行自动化测试获取结果即获取被测自动驾驶算法在具体场景中测试得到的场景危害度;
32)对于区域平均测试优先度大于规定阈值的区域,选取测试优先度最大且未参与试验的具体场景参数进行测试;对于区域平均测试优先度小于阈值的区域,随机选择未参与试验的具体场景进行试验。
所述步骤四的具体方法如下:
41)将步骤三测试结果中各区域被选场景的实际场景危害度与先验数据中对应具体场景参数位置处的场景危害度进行对比,从而更新被测算法在逻辑场景参数空间中对应的具体场景测试优先度;
若测试结果中的场景危害度与先验数据中对应的场景危害度相同,则被测算法对应的具体场景的测试优先度不会发生改变;若测试结果与先验数据结果不同,则根据公式(6)、(7)改变具体场景及周围具体场景的场景危害度及场景敏感度,从而进一步改变具体场景及周围具体场景的测试优先度;在进行场景危害度更新时,若具体场景测试结果得到的实际场景危害度相比先验数据更高,则变更初始hi为测试结果对应的实际场景危害度hif;反之,则取测试结果和数据库数据二者危害度的均方根作为更新后的场景危害度hi',如公式(6)所示:
42)在进行具体场景的敏感度更新时,引入敏感场变化的概念,即找出本轮试验结果中与数据库数据不符的具体场景位置,将本轮试验结果中与数据库数据不符的具体场景位置视为场变化中心点,引发的周围点场变化公式为:
Udif=min(∑Udif',2) (8)
式中,Udif′为k点处的具体场景受到的第n个的变化点的场变化值;Udif为k点处收到的所有变化点的场变化值;d(qk,qdif_n)为k点处与第n个变化点之间的距离;d*为距离影响阈值;η为调节参数;o为设定的阈值;
当具体场景的测试结果、数据库数据的场景危害度分别归属于轻微碰撞和接近碰撞两类状态时,将轻微碰撞和接近碰撞两类的距离影响阈值和调节参数是其它类型变化的2倍;
将所有位置处的场变化都计算完成后,更新后的具体场景的测试优先度为:
wi'=min[(Udi+Udif)·pi·hi',X] (9)
式中,wi'为更新后的场景测试优先度,X为设定的场景测试优先度上限。
所述步骤五的具体方法如下:
重复步骤二、三、四,直至场景生成范围内剩余的测试场景测试优先度均低于设定好的参数阈值,此时终止迭代,输出测试结果用于后续的被测自动驾驶汽车性能评估。
本发明的有益效果为:
本发明在选定好需要测试的自动驾驶功能并设定好车辆运行区域参数之后,形成场景生成范围;通过将该生成范围分区处理并设定前期自动驾驶探索自由度提高测试场景的覆盖率,通过不断提高测试过程中的危险场景生成概率提高测试过程的效率,从而保证生成的测试场景兼顾测试效率及测试覆盖率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明的流程图;
图2为本发明中测试场景的示意图;
图3为本发明的测试结果图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参阅图1,本发明提供了一种考虑效率和覆盖度的自动驾驶加速测试方法,包括以下步骤:
步骤一、定义场景测试优先度;
根据自然驾驶数据中确定不同具体测试场景的场景危害度、场景暴露频次以及场景敏感度,进而计算具体测试场景对应的测试优先度wi;
所述步骤一的具体方法如下:
11)场景测试优先度由测试场景的场景危害度、场景暴露频次以及场景敏感度共同决定;
12)场景危害度基于测试时的风险等级进行划分,分为碰撞场景及非碰撞场景;碰撞场景根据碰撞过程的加速度最大值细分为:严重碰撞、一般碰撞、轻微碰撞;非碰撞场景根据测试过程中的最大TTC-1即碰撞时间的倒数进行划分:接近碰撞、安全场景;TTC-1的定义如公式(1)所示;将危害度进行归一化处理定义场景危害度hi,i为具体场景位置,其中严重碰撞为1.0一般碰撞为0.8,轻微碰撞为0.6,接近碰撞为0.4,安全场景为0.2;加速度的大小对碰撞损伤程度具有关键的影响,碰撞时最大碰撞减速度越大,造成的伤害越明显。
式中,Δdis为前后两车之间的车间距;Δv是前后两车之间的相对速度;
13)场景暴露频次利用高斯模型进行描述,如公式(2)所示
式中,d为参数维度;Σ为用来描述各类型参数相关度的协方差矩阵;μ为各参数变量的均值向量;X为具体场景参数向量;
14)场景敏感度指具体场景的碰撞不确定性,即根据现有数据库数据将逻辑场景参数空间中的危险区域、安全区域进行分割,距离危险区域和安全区域的边界越近则意味着该点的碰撞不确定性越大,如公式(3-4)所示
式中,x为所计算的具体场景参数;x'为危险边界上与该具体场景参数点的最近点参数;下标n为场景要素的维度;i为该具体场景的位置;Udi为该具体场景的场景敏感度;safetyzone为逻辑场景参数空间中的安全区域空间;di为具体场景与危险边界的最近距离,即x与x’之间的距离;
由于碰撞区域和安全区域之间的范围差距较大,二者之间的距离需要进行一定的标准化处理。将参数空间所有维度上限和下限组成的两点之间的欧式距离的长度作为空间长度,碰撞区参数空间边界点与边界线的最近距离dout为碰撞区域的标准化参考值,空间长度的剩余部分din为安全区的标准化参考值;
15)结合所获取的具体场景危害度hi、场景暴露频次pi以及场景敏感度Udi,提出了场景测试优先度的概念,表征该具体场景的重要性权重,即将该具体场景进行测试的价值;场景测试优先度wi的计算方法如公式(5)所示:
wi=Udi·pi·hi (5)。
步骤二、区域分割;
根据具体测试场景的测试优先度wi将场景生成范围参数空间进行分区处理,将具有相似测试优先度的具体测试场景划分到一起;
所述步骤二的具体方法如下:
根据具体场景的测试优先度wi将逻辑场景参数空间进行分区处理。
21)首先选取参数空间中测试优先度最高的具体场景参数位置作为第一个小区域的区域中心;
22)其次向测试优先度最高的具体场景参数点周围各方向的相邻具体场景参数位置进行探索,将领域中测试优先度最高的具体场景划入第一个小区域;
23)最后将第一个小区域作为新的区域中心继续向其周围方向探索。
所述步骤22)、23)中的每次探索结束后计算当前区域内全部具体场景的测试优先度均值,当平均测试优先度达到设置阈值时划分结束,需要从参数空间剩余具体场景中重新选取测试优先度最高的场景参数位置作为下一区域的区域中心;区域分割后期,由于参数空间内剩余具体场景的测试优先度都较小,则需要对区域内场景数目的极大值进行限制,即使平均测试优先度未达到设置阈值也应停止探索;另外,需要设置区域中具体场景数目的极小值;当参数空间无法进行进一步分割时,对位于参数空间边缘或不满足区域分割要求的遗漏具体场景参数进行整理,将其分配至平均测试优先度最接近的临近区域。
步骤三、区域内部搜索;
依次从所有分割好的区域中挑选具体测试场景组成本轮待测集,使用待测集中的具体测试场景对被测自动驾驶算法进行测试获取结果;
所述步骤三的具体方法如下:
31)当全部具体场景都找到其归属的区域后,依次从所有分割好的区域中挑选具体场景组成本轮待测集,使用待测集中的具体场景对某黑盒自动驾驶算法进行自动化测试获取结果即获取被测自动驾驶算法在具体场景中测试得到的场景危害度;
32)对于区域平均测试优先度大于规定阈值的区域,选取测试优先度最大且未参与试验的具体场景参数进行测试;对于区域平均测试优先度小于阈值的区域,随机选择未参与试验的具体场景进行试验。这种搜索方式既可以保证位于危险边界附近具有较高搜索概率的具体场景得到充分测试以提高测试效率,又可以确保整个参数空间范围内都进行一定的探索从而保证测试过程的覆盖率。
步骤四、场景测试优先度更新;
将得到的测试结果中各区域被选场景的实际场景危害度与自然驾驶数据获取得到的具体测试场景参数位置处的场景危害度进行对比,从而更新被测算法在场景生成参数空间中对应的具体测试场景测试优先度;
所述步骤四的具体方法如下:
41)将步骤三测试结果中各区域被选场景的实际场景危害度与先验数据中对应具体场景参数位置处的场景危害度进行对比,从而更新被测算法在逻辑场景参数空间中对应的具体场景测试优先度;
若测试结果中的场景危害度与先验数据中对应的场景危害度相同,则被测算法对应的具体场景的测试优先度不会发生改变;若测试结果与先验数据结果不同,则根据公式(6)、(7)改变具体场景及周围具体场景的场景危害度及场景敏感度,从而进一步改变具体场景及周围具体场景的测试优先度;在进行场景危害度更新时,若具体场景测试结果得到的实际场景危害度相比先验数据更高,则变更初始hi为测试结果对应的实际场景危害度hif;反之,则取测试结果和数据库数据二者危害度的均方根作为更新后的场景危害度hi',如公式(6)所示:
上式可以使该具体场景及其所在的场景集合保持较大的测试优先度,虽然增加了该集合被重复搜索的可能性,但是在测试效率和安全性不可兼得时倾向于后者,从而确保可以包含全部的碰撞场景。
42)在进行具体场景的敏感度更新时,引入敏感场变化的概念,即找出本轮试验结果中与数据库数据不符的具体场景位置,将本轮试验结果中与数据库数据不符的具体场景位置视为场变化中心点,引发的周围点场变化公式为:
Udif=min(∑Udif',2) (8)
式中,Udif′为k点处的具体场景受到的第n个的变化点的场变化值;Udif为k点处收到的所有变化点的场变化值;d(qk,qdif_n)为k点处与第n个变化点之间的距离;d*为距离影响阈值;η为调节参数;o为设定的阈值;
本方法重点关注碰撞和非碰撞的临界区域,即当具体场景的测试结果、数据库数据的场景危害度分别归属于轻微碰撞和接近碰撞两类状态时,将轻微碰撞和接近碰撞两类的距离影响阈值和调节参数是其它类型变化的2倍;引起更多周边场景的场变化和测试优先度提高,进而使搜索方向呈现向该局域附近转移的趋势。
将所有位置处的场变化都计算完成后,更新后的具体场景的测试优先度为:
wi'=min[(Udi+Udif)·pi·hi',X] (9)
式中,wi'为更新后的场景测试优先度;X为设定的场景测试优先度上限。
步骤五、迭代试验;
重复步骤二、三、四步,直到场景生成范围中剩余的所有具体测试场景测试优先度低于设定的阈值。
所述步骤五的具体方法如下:
重复步骤二、三、四,直至场景生成范围内剩余的测试场景测试优先度均低于设定好的参数阈值,此时终止迭代,输出测试结果用于后续的被测自动驾驶汽车性能评估。
实施例
参阅图2,以前车切入场景作为本方法应用的实际情况,选择切入后本车速度v1、切入后前车与本车距离dm和切入后前车速度v2作为场景参数,它们的参数空间范围分别为[14m/s,38m/s]、[5m,55m]、[18.5m/s,45.5m/s]。速度的离散步长选择3m/s,距离的离散步长选择1m,共得到4590个具体场景参数,他们共同构成了测试场景生成范围。使用本方法和遍历测试方法进行测试对比,两种方法均发现了所有的危险场景,如图3所示,图三中圆圈为被测算法发生危险的具体测试场景参数。本方法共测试768次,遍历测试方法共测试4590次,这一结果证明本方法可以有效的加速测试流程。
Claims (7)
1.一种考虑效率和覆盖度的自动驾驶加速测试方法,其特征在于,包括以下步骤:
步骤一、定义场景测试优先度;
根据自然驾驶数据中确定不同具体测试场景的场景危害度、场景暴露频次以及场景敏感度,进而计算具体测试场景对应的测试优先度wi;
步骤二、区域分割;
根据具体测试场景的测试优先度wi将场景生成范围参数空间进行分区处理,将具有相似测试优先度的具体测试场景划分到一起;
步骤三、区域内部搜索;
依次从所有分割好的区域中挑选具体测试场景组成本轮待测集,使用待测集中的具体测试场景对被测自动驾驶算法进行测试获取结果;
步骤四、场景测试优先度更新;
将得到的测试结果中各区域被选场景的实际场景危害度与自然驾驶数据获取得到的具体测试场景参数位置处的场景危害度进行对比,从而更新被测算法在场景生成参数空间中对应的具体测试场景测试优先度;
步骤五、迭代试验;
重复步骤二、三、四步,直到场景生成范围中剩余的所有具体测试场景测试优先度低于设定的阈值。
2.根据权利要求1所述的一种考虑效率和覆盖度的自动驾驶加速测试方法,其特征在于,所述步骤一的具体方法如下:
11)场景测试优先度由测试场景的场景危害度、场景暴露频次以及场景敏感度共同决定;
12)场景危害度基于测试时的风险等级进行划分,分为碰撞场景及非碰撞场景;碰撞场景根据碰撞过程的加速度最大值细分为:严重碰撞、一般碰撞、轻微碰撞;非碰撞场景根据测试过程中的最大TTC-1即碰撞时间的倒数进行划分:接近碰撞、安全场景;TTC-1的定义如公式(1)所示;将危害度进行归一化处理定义场景危害度hi,i为具体场景位置,其中严重碰撞为1.0一般碰撞为0.8,轻微碰撞为0.6,接近碰撞为0.4,安全场景为0.2;
式中,Δdis为前后两车之间的车间距;Δv是前后两车之间的相对速度;
13)场景暴露频次利用高斯模型进行描述,如公式(2)所示
式中,d为参数维度;Σ为用来描述各类型参数相关度的协方差矩阵;μ为各参数变量的均值向量;X为具体场景参数向量;
14)场景敏感度指具体场景的碰撞不确定性,即根据现有数据库数据将逻辑场景参数空间中的危险区域、安全区域进行分割,距离危险区域和安全区域的边界越近则意味着该点的碰撞不确定性越大,如公式(3-4)所示
式中,x为所计算的具体场景参数;x'为危险边界上与具体场景参数点的最近点参数;下标n为场景要素的维度;i为具体场景的位置;Udi为具体场景的场景敏感度;safetyzone为逻辑场景参数空间中的安全区域空间;di为具体场景与危险边界的最近距离,即x与x’之间的距离;
将参数空间所有维度上限和下限组成的两点之间的欧式距离的长度作为空间长度,碰撞区参数空间边界点与边界线的最近距离dout为碰撞区域的标准化参考值,空间长度的剩余部分din为安全区的标准化参考值;
15)结合所获取的具体场景危害度hi、场景暴露频次pi以及场景敏感度Udi,提出了场景测试优先度的概念,表征该具体场景的重要性权重,即将该具体场景进行测试的价值;场景测试优先度wi的计算方法如公式(5)所示:
wi=Udi·pi·hi (5)。
3.根据权利要求1所述的一种考虑效率和覆盖度的自动驾驶加速测试方法,其特征在于,所述步骤二的具体方法如下:
21)首先选取参数空间中测试优先度最高的具体场景参数位置作为第一个小区域的区域中心;
22)其次向测试优先度最高的具体场景参数点周围各方向的相邻具体场景参数位置进行探索,将领域中测试优先度最高的具体场景划入第一个小区域;
23)最后将第一个小区域作为新的区域中心继续向其周围方向探索。
4.根据权利要求3所述的一种考虑效率和覆盖度的自动驾驶加速测试方法,其特征在于,所述步骤22)、23)中的每次探索结束后计算当前区域内全部具体场景的测试优先度均值,当平均测试优先度达到设置阈值时划分结束,需要从参数空间剩余具体场景中重新选取测试优先度最高的场景参数位置作为下一区域的区域中心;区域分割后期,由于参数空间内剩余具体场景的测试优先度都较小,则需要对区域内场景数目的极大值进行限制,即使平均测试优先度未达到设置阈值也应停止探索;另外,设置区域中具体场景数目的极小值;当参数空间无法进行进一步分割时,对位于参数空间边缘或不满足区域分割要求的遗漏具体场景参数进行整理,将其分配至平均测试优先度最接近的临近区域。
5.根据权利要求1所述的一种考虑效率和覆盖度的自动驾驶加速测试方法,其特征在于,所述步骤三的具体方法如下:
31)当全部具体场景都找到其归属的区域后,依次从所有分割好的区域中挑选具体场景组成本轮待测集,使用待测集中的具体场景对某黑盒自动驾驶算法进行自动化测试获取结果即获取被测自动驾驶算法在具体场景中测试得到的场景危害度;
32)对于区域平均测试优先度大于规定阈值的区域,选取测试优先度最大且未参与试验的具体场景参数进行测试;对于区域平均测试优先度小于阈值的区域,随机选择未参与试验的具体场景进行试验。
6.根据权利要求1所述的一种考虑效率和覆盖度的自动驾驶加速测试方法,其特征在于,所述步骤四的具体方法如下:
41)将步骤三测试结果中各区域被选场景的实际场景危害度与先验数据中对应具体场景参数位置处的场景危害度进行对比,从而更新被测算法在逻辑场景参数空间中对应的具体场景测试优先度;
若测试结果中的场景危害度与先验数据中对应的场景危害度相同,则被测算法对应的具体场景的测试优先度不会发生改变;若测试结果与先验数据结果不同,则根据公式(6)、(7)改变具体场景及周围具体场景的场景危害度及场景敏感度,从而进一步改变具体场景及周围具体场景的测试优先度;在进行场景危害度更新时,若具体场景测试结果得到的实际场景危害度相比先验数据更高,则变更初始hi为测试结果对应的实际场景危害度hif;反之,则取测试结果和数据库数据二者危害度的均方根作为更新后的场景危害度h′i,如公式(6)所示:
42)在进行具体场景的敏感度更新时,引入敏感场变化的概念,即找出本轮试验结果中与数据库数据不符的具体场景位置,将本轮试验结果中与数据库数据不符的具体场景位置视为场变化中心点,引发的周围点场变化公式为:
Udif=min(∑Udif',o) (8)
式中,Udif'为k点处的具体场景受到的第n个的变化点的场变化值;Udif为k点处收到的所有变化点的场变化值;d(qk,qdif_n)为k点处与第n个变化点之间的距离;d*为距离影响阈值;η为调节参数;o为设定的阈值;
当具体场景的测试结果、数据库数据的场景危害度分别归属于轻微碰撞和接近碰撞两类状态时,将轻微碰撞和接近碰撞两类的距离影响阈值和调节参数是其它类型变化的2倍;
将所有位置处的场变化都计算完成后,更新后的具体场景的测试优先度为:
wi'=min[(Udi+Udif)·pi·hi',X] (9)
式中,wi'为更新后的场景测试优先度,X为设定的场景测试优先度上限。
7.根据权利要求1所述的一种考虑效率和覆盖度的自动驾驶加速测试方法,其特征在于,所述步骤五的具体方法如下:
重复步骤二、三、四,直至场景生成范围内剩余的测试场景测试优先度均低于设定好的参数阈值,此时终止迭代,输出测试结果用于后续的被测自动驾驶汽车性能评估。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111398403.2A CN114090404B (zh) | 2021-11-24 | 2021-11-24 | 一种考虑效率和覆盖度的自动驾驶加速测试方法 |
US17/901,879 US20220412843A1 (en) | 2021-11-24 | 2022-09-02 | Automatic driving acceleration test method considering efficiency and coverage |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111398403.2A CN114090404B (zh) | 2021-11-24 | 2021-11-24 | 一种考虑效率和覆盖度的自动驾驶加速测试方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114090404A true CN114090404A (zh) | 2022-02-25 |
CN114090404B CN114090404B (zh) | 2024-05-14 |
Family
ID=80303698
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111398403.2A Active CN114090404B (zh) | 2021-11-24 | 2021-11-24 | 一种考虑效率和覆盖度的自动驾驶加速测试方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20220412843A1 (zh) |
CN (1) | CN114090404B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116401111B (zh) * | 2023-05-26 | 2023-09-05 | 中国第一汽车股份有限公司 | 脑机接口的功能检测方法、装置、电子设备及存储介质 |
CN117196262B (zh) * | 2023-11-06 | 2024-02-13 | 中船凌久高科(武汉)有限公司 | 一种基于状态编码优化的测试场车辆与场景匹配调度方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110263381A (zh) * | 2019-05-27 | 2019-09-20 | 南京航空航天大学 | 一种自动驾驶车辆测试仿真场景生成方法 |
US20200225668A1 (en) * | 2019-01-10 | 2020-07-16 | International Business Machines Corporation | Training and testing automated driving models |
CN112180921A (zh) * | 2020-09-22 | 2021-01-05 | 安徽江淮汽车集团股份有限公司 | 自动驾驶算法训练系统及方法 |
CN113419942A (zh) * | 2021-04-30 | 2021-09-21 | 吉林大学 | 一种基于自然驾驶数据的自动驾驶安全性评价方法 |
US20210291863A1 (en) * | 2020-03-23 | 2021-09-23 | Baidu Usa Llc | Nested scenarios in planning for autonomous driving vehicles |
-
2021
- 2021-11-24 CN CN202111398403.2A patent/CN114090404B/zh active Active
-
2022
- 2022-09-02 US US17/901,879 patent/US20220412843A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200225668A1 (en) * | 2019-01-10 | 2020-07-16 | International Business Machines Corporation | Training and testing automated driving models |
CN110263381A (zh) * | 2019-05-27 | 2019-09-20 | 南京航空航天大学 | 一种自动驾驶车辆测试仿真场景生成方法 |
US20210291863A1 (en) * | 2020-03-23 | 2021-09-23 | Baidu Usa Llc | Nested scenarios in planning for autonomous driving vehicles |
CN112180921A (zh) * | 2020-09-22 | 2021-01-05 | 安徽江淮汽车集团股份有限公司 | 自动驾驶算法训练系统及方法 |
CN113419942A (zh) * | 2021-04-30 | 2021-09-21 | 吉林大学 | 一种基于自然驾驶数据的自动驾驶安全性评价方法 |
Non-Patent Citations (2)
Title |
---|
朱冰;张培兴;赵健;陈虹;徐志刚;赵祥模;邓伟文: "基于场景的自动驾驶汽车虚拟测试研究进展", 中国公路学报, no. 006, 31 December 2019 (2019-12-31) * |
王润民;朱宇;赵祥模;徐志刚;周文帅;刘童: "自动驾驶测试场景研究进展", 交通运输工程学报, no. 002, 15 April 2021 (2021-04-15) * |
Also Published As
Publication number | Publication date |
---|---|
CN114090404B (zh) | 2024-05-14 |
US20220412843A1 (en) | 2022-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114090404A (zh) | 一种考虑效率和覆盖度的自动驾驶加速测试方法 | |
CN111580500B (zh) | 一种针对自动驾驶汽车安全性的评价方法 | |
CN107016193B (zh) | 驾驶员跟车行为分析中的期望跟车距离计算方法 | |
Beglerovic et al. | Testing of autonomous vehicles using surrogate models and stochastic optimization | |
CN110949398B (zh) | 一种车辆编队行驶中头车驾驶员异常驾驶行为检测方法 | |
CN108960074B (zh) | 基于深度学习的小尺寸行人目标检测方法 | |
Ming et al. | Vehicle detection using tail light segmentation | |
CN111079800B (zh) | 一种智能驾驶虚拟测试的加速方法及加速系统 | |
CN113609784B (zh) | 一种交通极限场景生成方法、系统、设备和存储介质 | |
CN106056101A (zh) | 用于人脸检测的非极大值抑制方法 | |
CN115451983A (zh) | 一种复杂场景下的动态环境建图与路径规划方法及装置 | |
CN104732237A (zh) | 一种车联网中虚假交通信息的识别方法 | |
GB2535859A (en) | Velocity based pedestrian sensing | |
CN105808857A (zh) | 基于碰撞变形深度的汽车主动安全系统有效性的预测方法 | |
CN112150046A (zh) | 一种道路交叉口安全风险指数计算方法 | |
CN113537316A (zh) | 一种基于4d毫米波雷达点云的车辆检测方法 | |
CN106427771A (zh) | 声音控制方法及装置 | |
CN114492043B (zh) | 考虑感知受限特性的个性化驾驶员跟车建模方法 | |
CN113642114A (zh) | 可犯错的拟人化随机跟车驾驶行为建模方法 | |
Nishiwaki et al. | Generation of pedal operation patterns of individual drivers in car-following for personalized cruise control | |
CN111047142B (zh) | 一种基于层次分析法的汽车评分方法及系统 | |
CN116977967A (zh) | 一种针对自动驾驶系统的伪造点云物体识别方法 | |
CN116361175A (zh) | 一种自动驾驶车辆在不同安全域的测试场景创建方法 | |
CN117111578A (zh) | 一种自动驾驶系统探测盲区导向模糊测试方法及系统 | |
Desobry et al. | Support vector-based online detection of abrupt changes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |