CN112987711B - 自动驾驶规控算法优化方法及仿真测试装置 - Google Patents
自动驾驶规控算法优化方法及仿真测试装置 Download PDFInfo
- Publication number
- CN112987711B CN112987711B CN201911219396.8A CN201911219396A CN112987711B CN 112987711 B CN112987711 B CN 112987711B CN 201911219396 A CN201911219396 A CN 201911219396A CN 112987711 B CN112987711 B CN 112987711B
- Authority
- CN
- China
- Prior art keywords
- test
- scene
- scenes
- evaluation
- automatic driving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 754
- 238000004088 simulation Methods 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000005457 optimization Methods 0.000 title claims abstract description 13
- 238000011156 evaluation Methods 0.000 claims abstract description 212
- 238000013507 mapping Methods 0.000 claims abstract description 45
- 230000006870 function Effects 0.000 claims description 89
- 230000004888 barrier function Effects 0.000 claims description 70
- 230000009471 action Effects 0.000 claims description 57
- 230000003993 interaction Effects 0.000 claims description 49
- 238000012163 sequencing technique Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 230000015654 memory Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 230000003068 static effect Effects 0.000 description 8
- 238000012790 confirmation Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000001105 regulatory effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明涉及自动驾驶领域，具体公开了一种自动驾驶规控算法优化方法，包括：根据场景标签树构建M个测试场景；基于M个测试场景分别仿真运行自动驾驶规控算法，以得到M个仿真结果；对于M个测试场景中的每个测试场景，根据该测试场景对应的评价算法对该测试场景对应的仿真结果进行评价，得到M个评价结果；根据M个评价结果与M个测试场景得到映射场景tag树；根据映射场景tag树确定所述自动驾驶规控算法的问题特征，根据该问题特征优化自动驾驶规控算法。采用本发明实施例提高了对大量仿真结果的分析效率，同时给出了自动驾驶规控算法的问题特征，进而基于该问题特征优化自动驾驶规控算法。
Description
技术领域
本发明涉及自动驾驶领域，尤其涉及一种自动驾驶规控算法优化方法及仿真测试装置。
背景技术
在汽车自动驾驶的测试技术领域，对于自动驾驶规控算法的测试方式，仿真测试技术相比于真实道路全自动驾驶测试，具有高效、可重复性、低成本、可模拟极端情况等特点。测试场景作为仿真测试的核心内容，其来源、转换方式、再利用方式等决定了测试的丰富性、有效性。
目前，为了检测自动驾驶规控算法的功能，同时为了保证场景的丰富性，会采用大量测试场景，但是基于大量测试场景，对自动驾驶规控算法进行仿真测试，会得到大量的仿真结果。如何高效对大量的仿真结果进行高效分析并确定自动驾驶规控算法的问题是亟待解决问题。
发明内容
本发明实施例提供一种自动驾驶规控算法优化方法及仿真测试装置，采用本发明实施例提高了对大量仿真结果的分析效率，同时给出了自动驾驶规控算法的问题特征，进而基于问题特征优化自动驾驶规控算法。
第一方面，本发明实施例提供一种自动驾驶规控算法优化方法，包括：
根据场景标签(tag)树构建M个测试场景，该场景tag树包括场景功能标签树和评价标准标签树，场景功能标签树用于表征测试场景R的功能，评价标准标签树用于表征对所述测试场景R进行评价的评价标准，测试场景R为M个测试场景中任一个测试场景，M为大于0的整数；基于M个测试场景分别调用自动驾驶规控算法进行仿真，得到M个仿真结果，该M个仿真结果与M个测试场景一一对应；对M个测试场景中的每个测试场景，根据该测试场景对应的评价算法对该测试场景对应的仿真结果进行评价，得到M个评价结果，M个测试场景中每个测试场景对应的评价算法是根据该测试场景中的评价标准和场景功能得到的；根据M个评价结果与M个测试场景得到映射场景tag树；根据映射场景tag树确定自动驾驶规控算法的问题特征；根据该问题特征优化自动驾驶规控算法。
在此需要指出的是，自动驾驶规控算法是否满足评价标准，具体上是指本车在测试场景下调用自动驾驶规控算法进行仿真时本车的动作是否满足交规及运动学。
其中，场景tag树还包括场景静态信息标签树和场景动态信息标签树、场景静态信息标签树用于表征测试场景中的道路类型，场景动态信息标签树用于表征测试场景中障碍物动作和所述障碍物与本车的交互动作。
通过根据测试场景对应的评价标准和场景功能获取的评价算法对该测试场景对应的仿真结果进行评价，实现了对仿真结果的精确评价，采用评价算法对仿真结果进行处理，提高了对评价结果处理效率；并通过映射场景tag树可以给出自动驾驶规控算法的问题特征。
在一个可行的实施例中，所述评价结果包括通过测试或未通过测试，所述根据M个测试场景对应的评价算法对所述M个仿真结果进行评价，以得到M个评价结果，包括：
若自动驾驶规控算法基于测试场景R运行时满足测试场景R的评价标准，且具有测试场景R的场景功能时，则确定测试场景R的评价结果为通过测试；若自动驾驶规控算法基于测试场景R运行时不满足测试场景的评价标准，或者不具有测试场景R的场景功能时，则确定测试场景R的评价结果为未通过测试；其中，M个评价结果包括所述测试场景R的评价结果。
在一个可行的实施例中，根据映射场景tag树确定自动驾驶规控算法的问题特征，包括：
统计得到M个测试场景中未通过测试的测试场景中的共有标签；对未通过测试场景中的共有标签进行聚类，以得聚类标签；其中，自动驾驶规控算法的问题特征为聚类标签所指示的特征。
在一个可行的实施例中，根据M个评价结果与M个测试场景得到映射场景tag树之后，方法还包括：
根据映射场景tag树确定自动驾驶规控算法的驾驶级别。
在一个可行的实施例中，根据映射场景tag树确定自动驾驶规控算法的驾驶级别，包括：
从M个测试场景中确定出N个有效测试场景，N为大于0且不大于M的整数；将N个有效测试场景划分为T个测试组，T个测试组中每个测试组中的测试场景的场景等级均相同；对T个测试组进行排序，得到排序后的T个测试组；其中，测试组内测试场景的测试等级越低，该测试组排序越靠前；统计T个测试组中的每个测试组的通过率，通过率为该测试组内通过测试的测试场景所占的比例；将排序后的T个测试组中，第i个测试组内测试场景的场景等级确定为自动驾驶规控算法的驾驶级别，其中，第i个测试组的通过率ηi及排序在第i个测试组之前的测试组的通过率均不小于对应的通过率标准值，且第i+1个测试组的通过率ηi+1小于第i+1个测试组的通过率标准值λi+1。
在一个可行的实施例中，场景tag树还包括场景动态信息标签树，该场景动态信息标签树用于表征测试场景R的障碍物动作和该障碍物与主车交互方式，从M个测试场景中确定出N个有效测试场景，包括：
判断测试场景R的障碍物动作和障碍物与主车交互方式，与自动驾驶规控算法基于测试场景R运行时的障碍物动作和障碍物与主车交互方式是否相同；若相同，则确定测试场景R为有效测试场景；其中，N个有效测试场景包括测试场景R。
通过将无效的测试场景剔除，保证了测试结果的准确性。
在一个可行的实施例中，M个测试场景中，评价标准相同且场景功能相同的测试场景所对应的评价算法相同，评价标准不同或场景功能不同的测试场景所对应的评价算法不相同。
第二方面，本发明实施例提供一种仿真测试装置，包括：
构建单元，用于根据场景tag树构建M个测试场景，该场景tag树包括场景功能标签树和评价标准标签树，场景功能标签树用于表征测试场景R的场景功能，评价标准标签树用于表征对测试场景R进行评价的评价标准，测试场景R为M个测试场景中任一个测试场景，M为大于0的整数；
仿真运行单元，用于基于M个测试场景分别调用自动驾驶规控算法进行仿真，得到M个仿真结果，M个仿真结果与M个测试场景一一对应；
评价单元，用于对M个测试场景中的每个测试场景，根据该测试场景对应的评价算法对该测试场景对应的仿真结果进行评价，得到M个评价结果，M个测试场景中每个测试场景对应的评价算法是根据该测试场景中的评价标准和场景功能得到的；
获取单元，用于根据M个评价结果与M个测试场景得到映射场景tag树；
确定单元，用于根据映射场景tag树确定自动驾驶规控算法的问题特征；
优化单元，用于根据自动驾驶规控算法的问题特征优化自动驾驶规控算法。
在一个可行的实施例中，评价单元具体用于：
若自动驾驶规控算法基于测试场景R运行时满足测试场景R的评价标准，且具有测试场景R的场景功能时，则确定测试场景R的评价结果为通过测试；若自动驾驶规控算法基于所述测试场景R运行时不满足测试场景的评价标准，或者不具有测试场景R的场景功能时，则确定测试场景R的评价结果为未通过测试；其中，M个评价结果包括测试场景R的评价结果。
在一个可行的实施例中，确定单元具体用于：
统计得到M个测试场景中未通过测试的测试场景中的共有标签；对未通过测试场景中的共有标签进行聚类，以得聚类标签；其中，自动驾驶规控算法的问题特征为所述聚类标签所指示的特征。
在一个可行的实施例中，确定单元还用于：
在根据M个评价结果与M个测试场景得到映射场景tag树之后，根据映射场景tag树确定所述自动驾驶规控算法的驾驶级别。
在一个可行的实施例中，在根据映射场景tag树确定自动驾驶规控算法的驾驶级别的方面，确定单元具体用于：
从M个测试场景中确定出N个有效测试场景，N为大于0且不大于M的整数；将N个有效测试场景划分为T个测试组，T个测试组中每个测试组中的测试场景的场景等级均相同；对T个测试组进行排序，得到排序后的T个测试组；其中，测试组内测试场景的测试等级越低，该测试组排序越靠前；统计T个测试组中的每个测试组的通过率，通过率为该测试组内通过测试的测试场景所占的比例；将排序后的T个测试组中，第i个测试组内测试场景的场景等级确定为自动驾驶规控算法的驾驶级别，其中，第i个测试组的通过率ηi及排序在第i个测试组之前的测试组的通过率均不小于对应的通过率标准值，且第i+1个测试组的通过率ηi+1小于第i+1个测试组的通过率标准值λi+1。
在一个可行的实施例中，场景tag树还包括场景动态信息标签树，该场景动态信息标签树用于表征测试场景R的障碍物动作和该障碍物与主车交互方式，在从M个测试场景中确定出N个有效测试场景的方面，确定单元具体用于：
判断测试场景R的障碍物动作和障碍物与主车交互方式，与自动驾驶规控算法基于测试场景R运行时的障碍物动作和障碍物与主车交互方式是否相同；若相同，则确定测试场景R为有效测试场景；其中，N个有效测试场景包括测试场景R。
在一个可行的实施例中，M个测试场景中，评价标准相同且场景功能相同的测试场景所对应的评价算法相同，评价标准不同或场景功能不同的测试场景所对应的评价算法不相同。
第三方面，提供一种仿真测试装置，该装置包括：存储器，用于存储程序；处理器，用于执行存储器存储的程序，当存储器存储的程序被执行时，处理器用于执行第一方面中的方法。
第四方面，提供一种计算机可读介质，该计算机可读介质存储用于设备执行的程序代码，该程序代码包括用于执行第一方面中的方法。
第五方面，提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述第一方面中的方法。
第六方面，提供一种芯片，该芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行第一方面中的方法。
可选地，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令，所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执行第一方面中的方法。
可以看出，在本申请实施例的方案中，通过构建描述场景的tag树，实现了准确、系统、综合地构建自动驾驶规控算法的测试场景；本申请中通过根据测试场景对应的评价标准和场景功能获取的评价算法对该测试场景对应的仿真结果进行评价，实现了对仿真结果的精确评价，采用评价算法对仿真结果进行处理，提高了对评价结果处理效率；根据评价结果与测试场景得到映射场景tag树，可以通过对映射场景tag树中通过测试的测试场景的统计，可确定自动驾驶规控算法的驾驶级别，通过对映射场景tag树中通过测试的测试场景的场景特征进行聚类，可得到自动驾驶规控算法的问题特征；通过比对测试场景中障碍物动作和障碍物与主车交互方式，与自动驾驶规控算法在该场景下运行时的障碍物动作和障碍物与主车交互方式，将无效的测试场景剔除，从而保证了测试结果(比如自动驾驶规控算法的驾驶级别及问题特征)的有效性。
本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种自动驾驶规控算法优化方法的流程示意图；
图2为本发明实施例提供的一种场景tag树的结构示意图；
图3为本发明实施例提供的一种测试场景特征结果示意图；
图4为本发明实施例提供的一种测试场景特征结果示意图；
图5为本发明实施例提供的一种问题特征聚类示意图；
图6为本发明实施例提供的一种仿真测试装置的结构示意图；
图7为本发明实施例提供的一种仿真测试系统的架构示意图；
图8为本发明实施例提供的另一种仿真测试装置的结构示意图。
具体实施方式
下面结合附图对本申请的实施例进行描述。
在此对本发明中涉及的相关术语进行解释。
主车：特指搭载了自动驾驶算法软件的真实车辆或者在仿真中被自动驾驶规控算法控制的车辆。
社会车：特指主车在驾驶过程中感知到的周边车辆。
场景：特指在某个自动驾驶地图中，至少包括一辆主车，可以包括各种社会车、行人、信号灯信息等，主车从起始位置开始，接受指定目的地后，通过算法驱动行驶；
场景文本：用于描述场景且可被指定模拟器直接使用构造可运行的动态场景。通常包括设定主车起始位置、朝向、速度及主车终点位置及过程控制点(临时停车点等)等，其他社会车、行人的起始姿态、行进轨迹及动作触发条件等；信号灯的变化规律及触发条件；
仿真模拟器：可接受不同来源的场景数据或场景文本，根据来源类型及主车位置，转换或生成场景中的感知数据，并驱动算法获得被控主车的新位置，从而实现场景的运行。
图1为本发明实施例提供的一种自动驾驶规控算法优化方法的流程示意图。如图1所示，该方法包括：
S101、构建场景tag树。
其中，场景tag树用于从不同维度描述测试场景的特征。该场景tag树包括场景静态信息标签树、场景动态信息标签树、场景功能标签树和评价标准标签树，场景静态信息标签树用于表征测试场景中的道路类型，场景动态信息标签树用于表征测试场景中障碍物动作、本车动作及障碍物和本车的交互方式，场景功能标签树用于表征测试场景的功能，评价标准标签树用于表征对测试场景进行评价的评价标准。
具体的，如图2所示，测试场景静态信息标签树不仅用于表征测试场景的道路类型，还用于表征测试场景中的天气。其中，天气具体包括晴、雾、雨、雪和大风，道路类型为交叉路，该交叉路的特征具体包括主要类型、辅助类型、车道数、对向分割线及红绿灯。其中，主要类型包括十字交叉、丁字交叉和环形交叉；辅助类型包括左转待转区、非结构路、人形横道；车道数包括1、2、3和4；对象分割线包括黄色实虚线、双黄实线、护栏和隔离带。红绿灯包括有红绿灯和无红绿灯。
测试场景动态信息标签树包括主车动作、障碍物动作和障碍物与主车交互方式等标签。其中，主车动作包括速度和轨迹。速度包括低速、中速和高速，轨迹包括直行、左转和掉头。障碍物动作包括障碍物类型、速度和轨迹。障碍物类型包括车、行人和非机动车；速度包括低速、中速、高速和静止；轨迹包括直行、左转和掉头。障碍物和主车交互类型包括紧急切入、路口优先通过和接近时刹停。
场景功能标签树用于表征测试场景的功能，该测试场景功能为在测试场景中预期的主车驾驶功能。
测试场景的场景级别包括>＝L1、>＝L2、>＝L3和>＝L4。场景功能标签树包括高速通行和辅助等标签。其中，高速通行包括主动超车和最短路径选择；辅助包括巡航。评价标准包括安全和体验两个维度，其中，安全包括碰撞、限速、红灯停、礼让行人和路权确认，体验包括急刹。
具体地，评价标准本质上是交规与运行学检测，既包括交规、乘车体验等通用检查类型，还包括针对个别场景的预期驾驶能力或者预期驾驶功能的检查项，比如前方有静止车时主车是否主动变道。
在一个示例中，评价标准具体可包括碰撞(主车与障碍物的外形接触)、闯红灯(红灯下通过路口)、体感(频繁急刹或者加速度大于2.1m/s^2)。
在此需要指出的是，测试场景的场景级别本质上用于表征在测试场景下自动驾驶规控算法的驾驶能力或驾驶级别，该驾驶能力或驾驶级别是按照国际标准定义的。
S102、根据场景tag树构建M个测试场景，M为大于0的整数。
具体地，对场景tag树中的各标签树中的信息进行组合，以得到M个测试场景。该M个测试场景既符合道路条件，又要符合障碍物的动作及轨迹对主车行驶造成影响，因此可使得M个测试场景用于检测自动驾驶规控算法中的问题。
图3为一个具体的测试场景的示意图。如图3所示，场景静态信息：天气-晴，道路类型为交叉路，主要类型为十字交叉，辅助类型为左转待转区，车道数为3，对象分割线为为隔离带，有红绿灯；场景动态信息：主车动作中的速度为中速、轨迹为左转；障碍物动作中的类型为车、速度为中速、轨迹为直行、障碍物与主车交互方式为路口优先通过；该测试场景的级别为>＝3，场景功能中的辅助类型为巡航、评价标准为安全中的路权确认和限速。
按照上述方法，可得到M个测试场景，基于该M个测试场景可构建成测试场景集。下表1给出了4个测试场景。其中，图3所示的测试场景为下表1中的测试场景1。
表1
图4是测试场景1的示意图，其余场景特征参见表1中的测试场景1的相关参数。类比测试场景1完成其余3个测试场景的场景生成。表1中的4个测试场景构成验证自动驾驶路口路权相关功能的测试场景集。
S103、根据M个测试场景中每个测试场景的评价标准和场景功能确定该测试场景对应的评价算法。
具体地，在M个测试场景中，部分测试场景的评级标准相同，部分测试场景的评价标准不相同。由于评价算法是基于测试场景中的评价标准和场景功能得到的，因此评价标准相同且场景功能相同的测试场景所对应的评价算法是相同的，评价标准不相同或场景功能不相同的测试场景所对应的评价算法是不相同的。比如表1中的4个测试场景中的评价标准相同且场景功能相同，评价标准均为“路权确认”和“限速”，场景功能均为“巡航”，因此表1中的4个测试场景所对应的评价算法均相同。换言之，自动驾驶规控算法在4个测试场景下的运行结果可以通过一个评价算法进行评价。
在此需要说明的是，基于测试场景中的评价标准和场景功能来开发评价算法，目的是为了判断自动驾驶规控算法基于测试场景运行时，是否满足该测试场景的评价标准和场景功能。
S104、基于M个测试场景分别调用自动驾驶规控算法进行仿真，得到M个仿真结果，并对M个测试场景中每个测试场景，根据该测试场景所对应的评价算法对该测试场景对应的仿真结果进行评价，得到M个评价结果。
其中，评价结果用于表征在测试场景下自动驾驶规控算法是否通过测试。
具体地，在M个测试场景中的每个测试场景下，仿真运行自动驾驶规控算法，以得到M个仿真结果，M个仿真结果与M个测试场景一一对应。对M个仿真结果，分别根据M个测试场景所对应的评价算法进行评价，以得到M个评价结果，该M个评价结果与M个测试场景一一对应。
其中，评价结果用于表征在测试场景下自动驾驶规控算法是否通过测试。具体是判断自动驾驶规控算法在测试场景下运行时是否满足该测试场景中评价标准和具有该测试场景的场景功能；当自动驾驶规控算法在测试场景下运行时满足该测试场景的评价标准和具有该测试场景的场景功能时，确定在测试场景下自动驾驶规控算法通过测试；当自动驾驶规控算法在测试场景下运行时不满足该测试场景的评价标准或不具有该测试场景的场景功能时，确定在测试场景下自动驾驶规控算法未通过测试。
在测试场景存在多个维度的评价标准情况下，当自动驾驶规控算法在测试场景下运行时同时满足该测试场景的多个维度评价标准，且具有该测试场景的场景功能时，确定在测试场景下自动驾驶规控算法通过测试；当自动驾驶规控算法在测试场景下运行时不满足多个维度评价标准中任一维度评价标准，或者不具有该测试场景的场景功能时，确定在测试场景下自动驾驶规控算法未通过测试。
下表2给出了表1中4个测试场景的场景评价结果。
表2
由上表可知，测试场景1-4中均存在评价标准“路权确认”和“限速”，场景功能为“巡航”。自动驾驶规控算法在测试场景1下运行时，满足评价标准“路权确认”和“限速”，具有场景功能“巡航”，因此，自动驾驶规控算法在测试场景1下对应的评价结果为通过测试。自动驾驶规控算法在测试场景2下运行时，满足评价标准“路权确认”，不满足评价标准“限速”，具有场景功能“巡航”，因此，自动驾驶规控算法在测试场景2下对应的评价结果为未通过测试。自动驾驶规控算法在测试场景3下运行时，不满足评价标准“路权确认”，满足评价标准“限速”，场景功能“巡航”，因此，自动驾驶规控算法在测试场景3下对应的评价结果为未通过测试；自动驾驶规控算法在测试场景4下运行时，满足评价标准“路权确认”和“限速”，具有场景功能“巡航”，因此，自动驾驶规控算法在测试场景4下对应的评价结果为通过测试。
S105、根据M个测试场景的评价结果得到映射场景tag树。
其中，映射场景tag树可表示如下：
通过映射场景tag树可将测试场景的评价结果与测试场景对应起来，从而方便后续统计自动驾驶规控算法的测试通过率和方便统计未通过测试对应场景中的场景特征。
S106、基于映射场景tag树确定自动驾驶规控算法的驾驶级别和问题特征，并根据自动驾驶规控算法的问题特征优化该自动驾驶规控算法。
在一个可行的实施例中，在根据映射场景tag树确定自动驾驶规控算法的驾驶级别之前，将M个测试场景中无效测试场景剔除，以得到N个有效测试场景，N为大于0且不大于M的整数。
具体地，判断测试场景是否为有效测试场景具体是根据测试场景中定义的障碍物动作和障碍物与主车交互方式，与自动驾驶规控算法在该测试场景运行时的障碍物动作和障碍物与主车交互方式是否一致；若对于障碍物动作和障碍物与主车交互方式，测试场景中的定义类型与自动驾驶规控算法在该测试场景运行时的实际类型一致，则确定该测试场景为有效测试场景；若对于障碍物动作和障碍物与主车交互方式中的任一个，测试场景中的定义类型与自动驾驶规控算法在该测试场景运行时的实际类型不一致，则确定该测试场景为无效测试场景。
比如测试场景中定义的障碍物动作为“车-中速-直行”，障碍物与主车交互方式为“紧急切入”，通过查询场景运行日志，获取自动驾驶规控算法在该测试场景下运行时障碍物动作为“车-中速-直行”，障碍物与主车交互方式为“接近时刹停”，此时可确定该测试场景为无效测试场景。再比如测试场景中定义的障碍物动作为“车-中速-直行”，障碍物与主车交互方式为“紧急切入”，通过查询场景运行日志，获取自动驾驶规控算法在该测试场景下运行时障碍物动作为“车-中速-转弯”，障碍物与主车交互方式为“紧急切入”，此时可确定该测试场景为无效测试场景。再比如测试场景中定义的障碍物动作为“车-中速-直行”，障碍物与主车交互方式为“紧急切入”，通过查询场景运行日志，获取自动驾驶规控算法在该测试场景下运行时障碍物动作为“车-中速-直行”，障碍物与主车交互方式为“紧急切入”，此时可确定该测试场景为有效测试场景。
按照上述方法，可从M个测试场景中确定出N个有效测试场景。下表3给出了4个测试场景是否为失效测试场景。
表3
如上表3所示，对于障碍物动作和障碍物与主车交互方式，测试场景1中定义值与自动驾驶规控算法基于测试场景1运行时的实际值是一致的，标记为“true”，测试场景1未失效，为有效测试场景；对于障碍物动作和障碍物与主车交互方式，测试场景2中定义值与自动驾驶规控算法基于测试场景2运行时的实际值是一致的，标记为“true”，测试场景2未失效；对于障碍物动作，测试场景3中定义值与自动驾驶规控算法基于测试场景3运行时的实际值是一致的，标记为“true”，对于障碍物与主车交互方式，测试场景3中定义值与自动驾驶规控算法基于测试场景3运行时的实际值是不一致的，标记为“false”，因此可确定测试场景3为失效测试场景；对于障碍物动作，测试场景3中定义值与自动驾驶规控算法基于测试场景4运行时的实际值是不一致的，标记为“false”，对于障碍物与主车交互方式，测试场景4中定义值与自动驾驶规控算法基于测试场景4运行时的实际值是一致的，标记为“true”，因此可确定测试场景4为失效测试场景。
在一个可行的实施例中，对于失效测试场景，可对障碍物动作和障碍物与主车交互方式进行修正，得到修正后的测试场景，然后基于该修正后的测试场景仿真运行自动驾驶规控算法，得到运行日志。再基于判断障碍物动作和障碍物与主车交互方式的定义值与实际运行值是否相同，若不相同，再修正上述测试场景的障碍物动作和障碍物与主车交互方式，直至障碍物动作和障碍物与主车交互方式的定义值与实际运行值相同。
基于测试场景中的场景等级，将N个有效测试场景划分为T个测试组，T个测试组中每个测试组中的测试场景的场景等级均相同。对T个测试组进行排序，得到排序后的T个测试组。其中，测试组内测试场景的测试等级越低，该测试组排序越靠前。统计T个测试组中的每个测试组的通过率，该通过率为该测试组内通过测试的测试场景所占的比例。将在排序后的T个测试组中，第i个测试组内测试场景的场景等级确定为自动驾驶规控算法的驾驶级别，其中，第i个测试组的通过率ηi及排序在第i个测试组之前的测试组的通过率均不小于对应的通过率标准值，且第i+1个测试组的通过率ηi+1小于第i+1个测试组的通过率标准值λi+1。
比如，有效测试场景可分为3个测试组，该3个测试组中测试场景的场景级别为L2，L3,L4，该3个测试组的通过率标准值如下表4所示，3个测试组的通过率如下表5所示。
| 测试组 | 通过率标准值λ<sub>i</sub> |
| 测试组1 | 95％ |
| 测试组2 | 96％ |
| 测试组3 | 99％ |
表4
| 测试组 | 通过率η<sub>i</sub> |
| 测试组1 | 99.8％ |
| 测试组2 | 98％ |
| 测试组3 | 65％ |
表5
由上表4和表5可知，测试组1和测试组2的通过率均大于对应的通过率标准值，测试组3的通过率小于通过率标准值，因此自动驾驶规控算法的驾驶级别为测试组2内测试场景的场景等级，即L3。
根据映射场景tag树，确定自动驾驶规控算法未通过测试的测试场景中共同标签进行聚类，以得到聚类标签，该聚类标签所指示的特征为自动驾驶规控算法的问题特征。
如图5所示，对于上述3个测试组，对应的测试场景的场景级别为L2,L3,L4，未通过测试的测试场景对应的比例为0.2％，2％和35％。在场景级别为L3对应的测试组内，未通过测试的原因为路口左转的测试场景占35％，未通过测试的原因为进辅路的测试场景占25％，未通过测试的原因为行人横穿的测试场景占25％，未通过测试的原因为其他的测试场景占15％。对于未通过测试的原因为路口左转的测试场景中，未通过测试的原因为红灯变绿灯的测试场景占85％，未通过测试的原因为其他的测试场景占15％。
进一步地，可根据确定的自动驾驶规控算法的问题特征优化该自动驾驶规控算法。
可以看出，在本申请实施例的方案中，通过构建描述场景的tag树，实现了准确、系统、综合地构建自动驾驶规控算法的测试场景；本申请中通过根据测试场景对应的评价标准和场景功能获取的评价算法对该测试场景对应的仿真结果进行评价，实现了对仿真结果的精确评价，采用评价算法对仿真结果进行处理，提高了对评价结果处理效率；根据评价结果与测试场景得到映射场景tag树，可以通过对映射场景tag树中通过测试的测试场景的统计，可确定自动驾驶规控算法的驾驶级别，通过对映射场景tag树中通过测试的测试场景的场景特征进行聚类，可得到自动驾驶规控算法的问题特征；通过比对测试场景中障碍物动作和障碍物与主车交互方式，与自动驾驶规控算法在该场景下运行时的障碍物动作和障碍物与主车交互方式，将无效的测试场景剔除，从而保证了测试结果(比如自动驾驶规控算法的驾驶级别及问题特征)的有效性。
在此需要指出的是，本申请的方法还可用于驾照考试的情况，对每一个场地的考试项目，可使用本申请中的方法构建一个测试场景，驾考车搭载有感知和定位系统；在驾考人员在驾驶驾考车完成该场地的考试项目后，将测试场景中定义标签的期望值与驾考车在行驶过程中的实际值进行比较，根据比较结果可自动确认驾考人员的该考试项目是否通过。
参见图6，图6为本发明实施例提供的一种仿真测试装置的结构示意图。如图6所示，该仿真测试装置600包括：
构建单元601，用于根据场景tag树构建M个测试场景，该场景tag树包括场景功能标签树和评价标准标签树，场景功能标签树用于表征测试场景R的场景功能，评价标准标签树用于表征对测试场景R进行评价的评价标准，测试场景R为M个测试场景中任一个测试场景，M为大于0的整数；
仿真运行单元602，用于基于M个测试场景分别调用自动驾驶规控算法进行仿真，得到M个仿真结果，M个仿真结果与M个测试场景一一对应；
评价单元603，用于对M个测试场景中的每个测试场景，根据该测试场景对应的评价算法对该测试场景对应的仿真结果进行评价，得到M个评价结果，M个测试场景中每个测试场景对应的评价算法是根据该测试场景中的评价标准和场景功能得到的；
获取单元604，用于根据M个评价结果与M个测试场景得到映射场景tag树；
确定单元605，用于根据映射场景tag树确定自动驾驶规控算法的问题特征；
优化单元606，用于根据自动驾驶规控算法的问题特征优化自动驾驶规控算法。
在一个可行的实施例中，评价单元603具体用于：
若自动驾驶规控算法基于测试场景R运行时满足测试场景R的评价标准，且具有测试场景R的场景功能时，则确定测试场景R的评价结果为通过测试；若自动驾驶规控算法基于所述测试场景R运行时不满足测试场景的评价标准，或者不具有测试场景R的场景功能时，则确定测试场景R的评价结果为未通过测试；其中，M个评价结果包括测试场景R的评价结果。
在一个可行的实施例中，确定单元605具体用于：
统计得到M个测试场景中未通过测试的测试场景中的共有标签；
对未通过测试场景中的共有标签进行聚类，以得聚类标签；其中，自动驾驶规控算法的问题特征为所述聚类标签所指示的特征。
在一个可行的实施例中，确定单元605还用于：
在根据M个评价结果与M个测试场景得到映射场景tag树之后，根据映射场景tag树确定所述自动驾驶规控算法的驾驶级别。
在一个可行的实施例中，在根据映射场景tag树确定自动驾驶规控算法的驾驶级别的方面，确定单元605具体用于：
从M个测试场景中确定出N个有效测试场景，N为大于0且不大于M的整数；
将N个有效测试场景划分为T个测试组，T个测试组中每个测试组中的测试场景的场景等级均相同；
对T个测试组进行排序，得到排序后的T个测试组；其中，测试组内测试场景的测试等级越低，该测试组排序越靠前；
统计T个测试组中的每个测试组的通过率，通过率为该测试组内通过测试的测试场景所占的比例；
将排序后的T个测试组中，第i个测试组内测试场景的场景等级确定为自动驾驶规控算法的驾驶级别，其中，第i个测试组的通过率ηi及排序在第i个测试组之前的测试组的通过率均不小于对应的通过率标准值，且第i+1个测试组的通过率ηi+1小于第i+1个测试组的通过率标准值λi+1。
在一个可行的实施例中，场景tag树还包括场景动态信息标签树，该场景动态信息标签树用于表征测试场景R的障碍物动作和该障碍物与主车交互方式，在从M个测试场景中确定出N个有效测试场景的方面，确定单元605具体用于：
判断测试场景R的障碍物动作和障碍物与主车交互方式，与自动驾驶规控算法基于测试场景R运行时的障碍物动作和障碍物与主车交互方式是否相同；
若相同，则确定测试场景R为有效测试场景；其中，N个有效测试场景包括测试场景R。
在一个可行的实施例中，M个测试场景中，评价标准相同且场景功能相同的测试场景所对应的评价算法相同，评价标准不同或场景功能不同的测试场景所对应的评价算法不相同。
需要说明的是，上述各单元(构建单元601、仿真运行单元602、评价单元603、获取单元604、确定单元605和优化单元606)用于执行上述方法的相关步骤。
在本实施例中，仿真测试装置600是以单元的形式来呈现。这里的“单元”可以指特定应用集成电路(application-specific integrated circuit，ASIC)，执行一个或多个软件或固件程序的处理器和存储器，集成逻辑电路，和/或其他可以提供上述功能的器件。此外，以上构建单元601、仿真运行单元602、评价单元603、获取单元604、确定单元605和优化单元606可通过图8所示的仿真测试装置的处理器801来实现。
参见图7，图7为本发明实施例提供的一种仿真测试系统的架构示意图。如图7所示，该仿真测试系统包括：仿真测试装置710、自动驾驶算法模块720和车载硬件平台730。
其中，仿真测试装置710包括场景编辑模块711、仿真运行模块712、评价模块713和结果分析模块714。
场景编辑模块711，用于将输入的测试场景中的场景特征进行编辑，通过提供可视化界面，允许场景编辑人员设置场景中汽车、行人、自行车等物体的初始姿态、包含速度信息的轨迹点及特殊动作触发条件(开始启动、变道等)，并可以选择需要进行测试的某个版本自动驾驶规控算法，还可以查看运行后场景效果。场景编辑模块711将以上信息转化为场景文本传输至仿真运行模块712。
评价模块713：利用几何检测等算法，参照交通法规及常规乘车体验标准设计评价算法，评价维度通常包括交规类——超速、闯红灯、压线、碰撞等，乘车体验——急刹、车道保持、安全间距等。考虑到部分评价算法需要使用全场景信息，评价模块713通常在自动驾驶规控算法基于测试场景运行结束后，对运行结果进行评价，输出每个维度的评价结果——测试通过与否，并给出未通过时间段。
仿真运行模块712，用于负责包括资源申请为维护，测试场景任务配置与调度，触发场景文本对应的测试场景运行并调用评价模块给出测试场景的评价结果。
结果分析模块714，用于根据评价模块713给出的评价结果、测试场景本身定义的场景特征及自动驾驶规控算法输出日志，自动分析问题场景原因，给出引起问题的相关信息。
自动驾驶算法模块720：包括定位、感知、决策控制及地图数据等在内的自动驾驶核心算法。自动驾驶算法模块720仅通过车载硬件平台实现真实环境下的自动驾驶，通过完整仿真模块实现模拟场景下的自动驾驶。
其中，定位、感知和决策控制等功能可通过车载硬件平台730来实现，该车载硬件平台730包括定位硬件系统731、控制CAN卡732和感知硬件系统733。其中定位硬件系统731实现定位功能、感知硬件系统733实现感知功能，控制CAN卡732实现决策控制功能。
在此需要说明的是，场景编辑模块711、仿真运行模块712、评价模块713和结果分析模块714具体描述可参见图1所示实施例的相关描述，在此不再叙述。
本发明可应用场景：
a)离线测试：离线构造场景，利用离线平台运行场景，不需要车载硬件平台；
b)在线测试：离线构造场景，利用搭载完整自动驾驶硬件方案的车载平台，运行场景并控制真车运动，需要使用车载硬件平台。
如图8所示仿真测试装置800可以以图8中的结构来实现，该仿真测试装置800包括至少一个处理器801，至少一个存储器802以及至少一个通信接口803。所述处理器801、所述存储器802和所述通信接口803通过所述通信总线连接并完成相互间的通信。
处理器801可以是通用中央处理器(CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制以上方案程序执行的集成电路。
通信接口803，用于与其他设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(Wireless Local Area Networks，WLAN)等。
存储器802可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。
其中，所述存储器802用于存储执行以上方案的应用程序代码，并由处理器801来控制执行。所述处理器801用于执行所述存储器802中存储的应用程序代码。
存储器802存储的代码可执行以上提供的一种自动驾驶规控算法优化方法，包括：
根据场景tag树构建M个测试场景，场景tag树包括场景功能标签树和评价标准标签树，场景功能标签树用于表征测试场景R的场景功能，评价标准标签树用于表征对测试场景R进行评价的评价标准，测试场景R为M个测试场景中任一个测试场景，M为大于0的整数；基于M个测试场景分别调用自动驾驶规控算法进行仿真，得到M个仿真结果，M个仿真结果与所述M个测试场景一一对应；对M个测试场景中的每个测试场景，根据该测试场景对应的评价算法对该测试场景对应的仿真结果进行评价，得到M个评价结果，M个测试场景中每个测试场景对应的评价算法是根据该测试场景中的评价标准和场景功能得到的；根据M个评价结果与M个测试场景得到映射场景tag树；根据映射场景tag树确定自动驾驶规控算法的问题特征；根据自动驾驶规控算法的问题特征优化自动驾驶规控算法。
本发明实施例还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时包括上述方法实施例中记载的任何一种自动驾驶规控算法优化方法的部分或全部步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本发明实施例进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上上述，本说明书内容不应理解为对本发明的限制。
Claims (25)
1.一种自动驾驶规控算法优化方法，其特征在于，包括：
根据场景标签树构建M个测试场景，所述场景标签树包括场景功能标签树和评价标准标签树，所述场景功能标签树用于表征测试场景R的场景功能，所述评价标准标签树用于表征对所述测试场景R进行评价的评价标准，所述测试场景R为所述M个测试场景中一个测试场景，所述M为大于0的整数；
基于所述M个测试场景分别调用自动驾驶规控算法进行仿真，得到M个仿真结果，所述M个仿真结果与所述M个测试场景一一对应；
对所述M个测试场景中的每个测试场景，根据该测试场景对应的评价算法对该测试场景对应的仿真结果进行评价，得到M个评价结果，所述M个测试场景中每个测试场景对应的评价算法是根据该测试场景中的评价标准和场景功能得到的；
根据所述M个评价结果与所述M个测试场景得到映射场景标签树；
根据所述映射场景标签树确定所述自动驾驶规控算法的问题特征；
根据所述自动驾驶规控算法的问题特征优化所述自动驾驶规控算法。
2.根据权利要求1所述的方法，其特征在于，所述评价结果包括通过测试或未通过测试，所述根据M个测试场景对应的评价算法对所述M个仿真结果进行评价，以得到M个评价结果，包括：
若所述自动驾驶规控算法基于所述测试场景R运行时满足所述测试场景R的评价标准，且具有所述测试场景R的场景功能时，则确定所述测试场景R的评价结果为通过测试；
若所述自动驾驶规控算法基于所述测试场景R运行时不满足所述测试场景的评价标准，或者不具有所述测试场景R的场景功能时，则确定所述测试场景R的评价结果为未通过测试；
其中，所述M个评价结果包括所述测试场景R的评价结果。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述映射场景标签树确定所述自动驾驶规控算法的问题特征，包括：
统计得到M个测试场景中未通过测试的测试场景中的共有标签；
对所述未通过测试场景中的共有标签进行聚类，以得聚类标签；其中，所述自动驾驶规控算法的问题特征为所述聚类标签所指示的特征。
4.根据权利要求1-2任一项所述的方法，其特征在于，所述根据所述M个评价结果与所述M个测试场景得到映射场景标签树之后，所述方法还包括：
根据所述映射场景标签树确定所述自动驾驶规控算法的驾驶级别。
5.根据权利要求3所述的方法，其特征在于，所述根据所述M个评价结果与所述M个测试场景得到映射场景标签树之后，所述方法还包括：
根据所述映射场景标签树确定所述自动驾驶规控算法的驾驶级别。
6.根据权利要求4所述的方法，其特征在于，所述根据所述映射场景标签树确定所述自动驾驶规控算法的驾驶级别，包括：
从所述M个测试场景中确定出N个有效测试场景，所述N为大于0且不大于M的整数；
将所述N个有效测试场景划分为T个测试组，T个测试组中每个测试组中的测试场景的场景等级均相同；
对所述T个测试组进行排序，得到排序后的T个测试组；其中，所述测试组内测试场景的测试等级越低，该测试组排序越靠前；
统计所述T个测试组中的每个测试组的通过率，所述通过率为该测试组内通过测试的测试场景所占的比例；
将所述排序后的T个测试组中，第i个测试组内测试场景的场景等级确定为所述自动驾驶规控算法的驾驶级别，其中，所述第i个测试组的通过率ηi及排序在第i个测试组之前的测试组的通过率均不小于对应的通过率标准值，且第i+1个测试组的通过率ηi+1小于第i+1个测试组的通过率标准值λi+1。
7.根据权利要求5所述的方法，其特征在于，所述根据所述映射场景标签树确定所述自动驾驶规控算法的驾驶级别，包括：
从所述M个测试场景中确定出N个有效测试场景，所述N为大于0且不大于M的整数；
将所述N个有效测试场景划分为T个测试组，T个测试组中每个测试组中的测试场景的场景等级均相同；
对所述T个测试组进行排序，得到排序后的T个测试组；其中，所述测试组内测试场景的测试等级越低，该测试组排序越靠前；
统计所述T个测试组中的每个测试组的通过率，所述通过率为该测试组内通过测试的测试场景所占的比例；
将所述排序后的T个测试组中，第i个测试组内测试场景的场景等级确定为所述自动驾驶规控算法的驾驶级别，其中，所述第i个测试组的通过率ηi及排序在第i个测试组之前的测试组的通过率均不小于对应的通过率标准值，且第i+1个测试组的通过率ηi+1小于第i+1个测试组的通过率标准值λi+1。
8.根据权利要求6所述的方法，其特征在于，所述场景标签树还包括场景动态信息标签树，所述场景动态信息标签树用于表征所述测试场景R的障碍物动作和所述障碍物与主车交互方式，所述从所述M个测试场景中确定出N个有效测试场景，包括：
判断所述测试场景R的障碍物动作和障碍物与主车交互方式，与所述自动驾驶规控算法基于所述测试场景R运行时的障碍物动作和障碍物与主车交互方式是否相同；
若相同，则确定所述测试场景R为有效测试场景；其中，所述N个有效测试场景包括所述测试场景R。
9.根据权利要求7所述的方法，其特征在于，所述场景标签树还包括场景动态信息标签树，所述场景动态信息标签树用于表征所述测试场景R的障碍物动作和所述障碍物与主车交互方式，所述从所述M个测试场景中确定出N个有效测试场景，包括：
判断所述测试场景R的障碍物动作和障碍物与主车交互方式，与所述自动驾驶规控算法基于所述测试场景R运行时的障碍物动作和障碍物与主车交互方式是否相同；
若相同，则确定所述测试场景R为有效测试场景；其中，所述N个有效测试场景包括所述测试场景R。
10.根据权利要求1，2，5-9任一项所述的方法，其特征在于，M个测试场景中，评价标准相同且场景功能相同的测试场景所对应的评价算法相同，评价标准不同或场景功能不同的测试场景所对应的评价算法不相同。
11.根据权利要求3所述的方法，其特征在于，M个测试场景中，评价标准相同且场景功能相同的测试场景所对应的评价算法相同，评价标准不同或场景功能不同的测试场景所对应的评价算法不相同。
12.根据权利要求4所述的方法，其特征在于，M个测试场景中，评价标准相同且场景功能相同的测试场景所对应的评价算法相同，评价标准不同或场景功能不同的测试场景所对应的评价算法不相同。
13.一种仿真测试装置，其特征在于，包括：
构建单元，用于根据场景标签树构建M个测试场景，所述场景标签树包括场景功能标签树和评价标准标签树，所述场景功能标签树用于表征测试场景R的场景功能，所述评价标准标签树用于表征对所述测试场景R进行评价的评价标准，所述测试场景R为所述M个测试场景中一个测试场景，所述M为大于0的整数；
仿真运行单元，用于基于所述M个测试场景分别调用自动驾驶规控算法进行仿真，得到M个仿真结果，所述M个仿真结果与所述M个测试场景一一对应；
评价单元，用于对所述M个测试场景中的每个测试场景，根据该测试场景对应的评价算法对该测试场景对应的仿真结果进行评价，得到M个评价结果，所述M个测试场景中每个测试场景对应的评价算法是根据该测试场景中的评价标准和场景功能得到的；
获取单元，用于根据所述M个评价结果与所述M个测试场景得到映射场景标签树；
确定单元，用于根据所述映射场景标签树确定所述自动驾驶规控算法的问题特征；
优化单元，用于根据所述自动驾驶规控算法的问题特征优化所述自动驾驶规控算法。
14.根据权利要求13所述的装置，其特征在于，所述评价单元具体用于：
若所述自动驾驶规控算法基于所述测试场景R运行时满足所述测试场景R的评价标准，且具有所述测试场景R的场景功能时，则确定所述测试场景R的评价结果为通过测试；
若所述自动驾驶规控算法基于所述测试场景R运行时不满足所述测试场景的评价标准，或者不具有所述测试场景R的场景功能时，则确定所述测试场景R的评价结果为未通过测试；
其中，所述M个评价结果包括所述测试场景R的评价结果。
15.根据权利要求13或14所述的装置，其特征在于，所述确定单元具体用于：
统计得到M个测试场景中未通过测试的测试场景中的共有标签；
对所述未通过测试场景中的共有标签进行聚类，以得聚类标签；其中，所述自动驾驶规控算法的问题特征为所述聚类标签所指示的特征。
16.根据权利要求13-14任一项所述的装置，其特征在于，所述确定单元还用于：
在根据所述M个评价结果与所述M个测试场景得到映射场景标签树之后，根据所述映射场景标签树确定所述自动驾驶规控算法的驾驶级别。
17.根据权利要求15所述的装置，其特征在于，所述确定单元还用于：
在根据所述M个评价结果与所述M个测试场景得到映射场景标签树之后，根据所述映射场景标签树确定所述自动驾驶规控算法的驾驶级别。
18.根据权利要求16所述的装置，其特征在于，在所述根据所述映射场景标签树确定所述自动驾驶规控算法的驾驶级别的方面，所述确定单元具体用于：
从所述M个测试场景中确定出N个有效测试场景，所述N为大于0且不大于M的整数；
将所述N个有效测试场景划分为T个测试组，T个测试组中每个测试组中的测试场景的场景等级均相同；
对所述T个测试组进行排序，得到排序后的T个测试组；其中，所述测试组内测试场景的测试等级越低，该测试组排序越靠前；
统计所述T个测试组中的每个测试组的通过率，所述通过率为该测试组内通过测试的测试场景所占的比例；
将所述排序后的T个测试组中，第i个测试组内测试场景的场景等级确定为所述自动驾驶规控算法的驾驶级别，其中，所述第i个测试组的通过率ηi及排序在第i个测试组之前的测试组的通过率均不小于对应的通过率标准值，且第i+1个测试组的通过率ηi+1小于第i+1个测试组的通过率标准值λi+1。
19.根据权利要求17所述的装置，其特征在于，在所述根据所述映射场景标签树确定所述自动驾驶规控算法的驾驶级别的方面，所述确定单元具体用于：
从所述M个测试场景中确定出N个有效测试场景，所述N为大于0且不大于M的整数；
将所述N个有效测试场景划分为T个测试组，T个测试组中每个测试组中的测试场景的场景等级均相同；
对所述T个测试组进行排序，得到排序后的T个测试组；其中，所述测试组内测试场景的测试等级越低，该测试组排序越靠前；
统计所述T个测试组中的每个测试组的通过率，所述通过率为该测试组内通过测试的测试场景所占的比例；
将所述排序后的T个测试组中，第i个测试组内测试场景的场景等级确定为所述自动驾驶规控算法的驾驶级别，其中，所述第i个测试组的通过率ηi及排序在第i个测试组之前的测试组的通过率均不小于对应的通过率标准值，且第i+1个测试组的通过率ηi+1小于第i+1个测试组的通过率标准值λi+1。
20.根据权利要求19所述的装置，其特征在于，所述场景标签树还包括场景动态信息标签树，所述场景动态信息标签树用于表征所述测试场景R的障碍物动作和所述障碍物与主车交互方式，在所述从所述M个测试场景中确定出N个有效测试场景的方面，所述确定单元具体用于：
判断所述测试场景R的障碍物动作和障碍物与主车交互方式，与所述自动驾驶规控算法基于所述测试场景R运行时的障碍物动作和障碍物与主车交互方式是否相同；
若相同，则确定所述测试场景R为有效测试场景；其中，所述N个有效测试场景包括所述测试场景R。
21.根据权利要求19所述的装置，其特征在于，所述场景标签树还包括场景动态信息标签树，所述场景动态信息标签树用于表征所述测试场景R的障碍物动作和所述障碍物与主车交互方式，在所述从所述M个测试场景中确定出N个有效测试场景的方面，所述确定单元具体用于：
判断所述测试场景R的障碍物动作和障碍物与主车交互方式，与所述自动驾驶规控算法基于所述测试场景R运行时的障碍物动作和障碍物与主车交互方式是否相同；
若相同，则确定所述测试场景R为有效测试场景；其中，所述N个有效测试场景包括所述测试场景R。
22.根据权利要求13，14,17-21任一项所述的装置，其特征在于，M个测试场景中，评价标准相同且场景功能相同的测试场景所对应的评价算法相同，评价标准不同或场景功能不同的测试场景所对应的评价算法不相同。
23.根据权利要求15所述的装置，其特征在于，M个测试场景中，评价标准相同且场景功能相同的测试场景所对应的评价算法相同，评价标准不同或场景功能不同的测试场景所对应的评价算法不相同。
24.根据权利要求16所述的装置，其特征在于，M个测试场景中，评价标准相同且场景功能相同的测试场景所对应的评价算法相同，评价标准不同或场景功能不同的测试场景所对应的评价算法不相同。
25.一种计算机可读存储介质，其特征在于，该计算机可读存储介质存储用于设备执行的程序代码，该程序代码包括用于执行权利要求1-12任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911219396.8A CN112987711B (zh) | 2019-11-30 | 2019-11-30 | 自动驾驶规控算法优化方法及仿真测试装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911219396.8A CN112987711B (zh) | 2019-11-30 | 2019-11-30 | 自动驾驶规控算法优化方法及仿真测试装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112987711A CN112987711A (zh) | 2021-06-18 |
| CN112987711B true CN112987711B (zh) | 2022-08-09 |
Family
ID=76331361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911219396.8A Active CN112987711B (zh) | 2019-11-30 | 2019-11-30 | 自动驾驶规控算法优化方法及仿真测试装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112987711B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115061386A (zh) * | 2022-06-27 | 2022-09-16 | 合众新能源汽车有限公司 | 智能驾驶的自动化仿真测试系统及相关设备 |
| CN115616937B (zh) * | 2022-12-02 | 2023-04-04 | 广汽埃安新能源汽车股份有限公司 | 自动驾驶仿真测试方法、装置、设备和计算机可读介质 |
| CN115878494B (zh) * | 2023-01-04 | 2023-05-09 | 小米汽车科技有限公司 | 自动驾驶软件系统的测试方法、装置、车辆及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0618523A1 (en) * | 1993-04-02 | 1994-10-05 | Shinko Electric Co. Ltd. | Transport management control apparatus and method for unmanned vehicle system |
| CN106325277A (zh) * | 2016-09-28 | 2017-01-11 | 关健生 | 基于分布式框架的自主导航巡检机器人的控制方法 |
| CN108267322A (zh) * | 2017-01-03 | 2018-07-10 | 北京百度网讯科技有限公司 | 对自动驾驶性能进行测试的方法和系统 |
| CN108303264A (zh) * | 2017-01-13 | 2018-07-20 | 华为技术有限公司 | 一种基于云的车辆故障诊断方法、装置及其系统 |
| CN108508881A (zh) * | 2017-02-27 | 2018-09-07 | 北京百度网讯科技有限公司 | 自动驾驶控制策略调整方法、装置、设备及存储介质 |
| CN108931927A (zh) * | 2018-07-24 | 2018-12-04 | 百度在线网络技术（北京）有限公司 | 无人驾驶仿真场景的创建方法及装置 |
| JP2019043157A (ja) * | 2017-08-29 | 2019-03-22 | トヨタ自動車株式会社 | 自動運転評価装置及び自動運転評価方法 |
| CN109520744A (zh) * | 2018-11-12 | 2019-03-26 | 百度在线网络技术（北京）有限公司 | 自动驾驶车辆的驾驶性能测试方法和装置 |
| CN109711009A (zh) * | 2018-12-13 | 2019-05-03 | 北京掌行通信息技术有限公司 | 无人驾驶汽车性能评价方法、装置、电子设备及介质 |
| CN110220521A (zh) * | 2019-05-24 | 2019-09-10 | 上海蔚来汽车有限公司 | 一种高精地图的生成方法和装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8948442B2 (en) * | 1982-06-18 | 2015-02-03 | Intelligent Technologies International, Inc. | Optical monitoring of vehicle interiors |
| US7366595B1 (en) * | 1999-06-25 | 2008-04-29 | Seiko Epson Corporation | Vehicle drive assist system |
| US9632502B1 (en) * | 2015-11-04 | 2017-04-25 | Zoox, Inc. | Machine-learning systems and techniques to optimize teleoperation and/or planner decisions |
| US20170274908A1 (en) * | 2017-06-12 | 2017-09-28 | Xiaoning Huai | Personalize self-driving cars |
| CN108230817B (zh) * | 2017-11-30 | 2020-09-22 | 商汤集团有限公司 | 车辆驾驶模拟方法和装置、电子设备、系统、程序和介质 |
-
2019
- 2019-11-30 CN CN201911219396.8A patent/CN112987711B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0618523A1 (en) * | 1993-04-02 | 1994-10-05 | Shinko Electric Co. Ltd. | Transport management control apparatus and method for unmanned vehicle system |
| CN106325277A (zh) * | 2016-09-28 | 2017-01-11 | 关健生 | 基于分布式框架的自主导航巡检机器人的控制方法 |
| CN108267322A (zh) * | 2017-01-03 | 2018-07-10 | 北京百度网讯科技有限公司 | 对自动驾驶性能进行测试的方法和系统 |
| CN108303264A (zh) * | 2017-01-13 | 2018-07-20 | 华为技术有限公司 | 一种基于云的车辆故障诊断方法、装置及其系统 |
| CN108508881A (zh) * | 2017-02-27 | 2018-09-07 | 北京百度网讯科技有限公司 | 自动驾驶控制策略调整方法、装置、设备及存储介质 |
| JP2019043157A (ja) * | 2017-08-29 | 2019-03-22 | トヨタ自動車株式会社 | 自動運転評価装置及び自動運転評価方法 |
| CN108931927A (zh) * | 2018-07-24 | 2018-12-04 | 百度在线网络技术（北京）有限公司 | 无人驾驶仿真场景的创建方法及装置 |
| CN109520744A (zh) * | 2018-11-12 | 2019-03-26 | 百度在线网络技术（北京）有限公司 | 自动驾驶车辆的驾驶性能测试方法和装置 |
| CN109711009A (zh) * | 2018-12-13 | 2019-05-03 | 北京掌行通信息技术有限公司 | 无人驾驶汽车性能评价方法、装置、电子设备及介质 |
| CN110220521A (zh) * | 2019-05-24 | 2019-09-10 | 上海蔚来汽车有限公司 | 一种高精地图的生成方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| Towards a Scenario-Based Assessment Method for Highly Automated Driving Functions;Korbinian Groh;《8th Conference on Driver Assistance》;20171123;1-7 * |
| 基于场景的自动驾驶汽车虚拟测试研究进展;朱冰 等;《中国公路学报》;20190630;第32卷(第6期);1-19 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112987711A (zh) | 2021-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11645189B2 (en) | Software validation for autonomous vehicles | |
| JP6463713B2 (ja) | 車両制御方法と装置及び判断モジュールの獲得方法と装置 | |
| CN112987711B (zh) | 自动驾驶规控算法优化方法及仿真测试装置 | |
| US10255168B2 (en) | Method and device for generating test cases for autonomous vehicles | |
| US20190155291A1 (en) | Methods and systems for automated driving system simulation, validation, and implementation | |
| EP3958129A1 (en) | Method and system for validating autonomous control software for a self-driving vehicle | |
| CN108133484B (zh) | 基于场景分割的自动驾驶处理方法及装置、计算设备 | |
| CN110796007B (zh) | 场景识别的方法与计算设备 | |
| CN111123735A (zh) | 自动驾驶仿真运行方法和装置 | |
| CN113212454B (zh) | 车辆行驶状态的调整方法、装置、计算机设备和存储介质 | |
| Tenbrock et al. | The conscend dataset: Concrete scenarios from the highd dataset according to alks regulation unece r157 in openx | |
| KR20210044960A (ko) | 자율주행차량의 차선변경 제어 장치 및 그 방법 | |
| CN111813083B (zh) | 场景任务复杂度量化评估方法 | |
| CN114430722A (zh) | 安全分析框架 | |
| CN113895456A (zh) | 自动驾驶车辆的交叉路口行驶方法、装置、车辆及介质 | |
| CN112346982A (zh) | 测试用例生成方法、装置和电子设备 | |
| CN115795808A (zh) | 一种自动驾驶决策危险场景生成方法、系统、设备及介质 | |
| Philipp et al. | Systematization of relevant road users for the evaluation of autonomous vehicle perception | |
| CN114787894A (zh) | 感知误差模型 | |
| CN115855531A (zh) | 自动驾驶汽车的测试场景构建方法、设备和介质 | |
| US20220172606A1 (en) | Systems and Methods for Extracting Data From Autonomous Vehicles | |
| JP2019214320A (ja) | 認識処理装置、車両制御装置、認識制御方法、およびプログラム | |
| CN115292816A (zh) | 自动驾驶测试方法、装置、设备及存储介质 | |
| CN113945224A (zh) | 智能驾驶adas测试场景自动化生成方法及系统 | |
| CN113029155A (zh) | 机器人自动导航方法及装置、电子设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |