CN113935441B - 汽车自动驾驶功能测试道路的选取方法、设备和存储介质 - Google Patents
汽车自动驾驶功能测试道路的选取方法、设备和存储介质 Download PDFInfo
- Publication number
- CN113935441B CN113935441B CN202111535594.2A CN202111535594A CN113935441B CN 113935441 B CN113935441 B CN 113935441B CN 202111535594 A CN202111535594 A CN 202111535594A CN 113935441 B CN113935441 B CN 113935441B
- Authority
- CN
- China
- Prior art keywords
- road
- automatic driving
- test
- driving system
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M17/00—Testing of vehicles
- G01M17/007—Wheeled or endless-tracked vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明实施例公开了一种汽车自动驾驶功能测试道路的选取方法、设备和存储介质,涉及电数字处理技术领域。其中,方法包括:根据待测试自动驾驶系统的设计运行条件确定声明的典型道路,并确定典型道路所属的目标道路类别;对待分类道路进行目标和事件探测与响应道路评估参数;根据道路评估参数是否落在目标道路类别对应的目标子区域,选择符合设计运行条件的第一道路和不符合设计运行条件的第二道路;将具有连接关系的第一道路和第二道路选定为测试设计运行域边界的道路。本实施例从道路分类着手成功选出用于测试设计运行域边界的道路,弥补了现有技术中无法测试设计运行域边界的缺陷,同时提供的方法具有科学性和普适性。
Description
技术领域
本发明实施例涉及电数字处理技术,尤其涉及一种汽车自动驾驶功能测试道路的选取方法、设备和存储介质。
背景技术
自动驾驶是人工智能与汽车深度融合的技术领域,汽车自动驾驶技术的发展过程是驾驶员驾驶操作逐渐退出的过程。
随着发展进程的深入,驾驶员负责的“感知-决策-执行”等驾驶任务将逐渐由车辆系统替代,以指标符合性评价为核心的传统方法将不再适用于自动驾驶,而是需要面向自动驾驶特有的“智能化”属性,利用实际道路上各种目标和事件随机化特征,验证自动驾驶车辆:(1)在实际道路上运行时本车及对周边交通环境的安全性影响;(2)对各类典型目标和随机动态事件的响应是否符合预期;(3)对整体道路交通通行效率的影响。
然而,当前国际上没有普遍认同的在实际道路上测试自动驾驶产品的功能与性能的方案,缺少科学性强、普适性强的自动驾驶实际道路测试方案,尤其是还没有自动驾驶系统的设计运行条件的边界的测试路段选取方法。
发明内容
本发明实施例提供一种汽车自动驾驶功能测试道路的选取方法、设备和存储介质,以兼顾用车场景,以及用户的用车习惯、容忍度和功能易用性,科学合理地对每个功能痛点进行评价。
第一方面,本发明实施例提供了一种汽车自动驾驶功能测试道路的选取方法,包括:
根据待测试自动驾驶系统的设计运行条件确定声明的典型道路,并确定所述典型道路所属的目标道路类别;其中,以设定自动驾驶系统需要探测和响应到的对象种类作为维度,根据对象探测和响应的复杂度阈值确定对应维度的边界,构建多维道路评估空间;将所述多维道路评估空间划分为多个子区域,不同子区域对应不同的道路类别,每个道路类别包括至少一种典型道路;
采用所述设定自动驾驶系统对至少两条待分类道路进行目标和事件探测与响应OEDR,并根据实际探测与响应到的对象种类和对象探测与响应的复杂度,计算道路评估参数;
根据所述道路评估参数是否落在所述目标道路类别对应的目标子区域,选择符合所述设计运行条件的第一道路和不符合所述设计运行条件的第二道路;
将具有连接关系的第一道路和第二道路选定为所述待测试自动驾驶系统测试设计运行域边界的道路。
第二方面,本发明实施例提供了另一种汽车自动驾驶功能测试道路的选取方法,包括:
根据待测试自动驾驶系统的设计运行条件确定设计运行域ODD元素;
获取多个道路类别的每个道路类别下的ODD元素;其中,以设定自动驾驶系统需要探测和响应到的对象种类作为维度,根据对象探测和响应的复杂度阈值确定对应维度的边界,构建多维道路评估空间;将所述多维道路评估空间划分为多个子区域,不同子区域对应不同的道路类别;
计算待测试自动驾驶系统的ODD元素与每个道路类别下的ODD元素的相似度,确定相似度超过设定阈值的目标道路类别;
将属于所述目标道路类别的第一道路选定为所述待测试自动驾驶系统的测试用道路。
第三方面,本发明实施例还提供了一种电子设备,所述电子设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现任一实施例所述的汽车自动驾驶功能测试道路的选取方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现任一实施例所述的汽车自动驾驶功能测试道路的选取方法。
本发明实施例中,通过以设定自动驾驶系统需要探测和响应到的对象种类作为维度结合复杂度阈值构建多维道路评估空间,用以划分不同的道路类别,这种通过对象类别和复杂度进行分类的方法符合自动驾驶系统的测试需求和“智能化属性”,符合自然规律。通过待测试自动驾驶系统所声明的典型道路确定所属的目标道路类别,从而将传统意义上的道路分类方法与本发明中新颖的道路分类方法相衔接,使得各种典型甚至非典型的道路均能匹配上合适的道路类别。通过对待分类道路进行OEDR并结合对象探测与响应的复杂度,计算得到道路评估参数,进一步通过将道路评估参数映射到多维道路评估空间中,选择出符合设计运行条件的第一道路和不符合设计运行条件的第二道路,并将具有连接关系的第一道路和第二道路选定为所述待测试自动驾驶系统测试设计运行域边界的道路,从而选择出连续的一段道路(包括符合设计运行条件的一段和不符合设计运行条件的一段),从而便于测试系统在设计运行域边界的情况,即本实施例从道路分类着手成功选出用于测试设计运行域边界的道路,弥补了现有技术中无法测试设计运行域边界的缺陷,同时提供的方法具有科学性和普适性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种汽车自动驾驶功能测试道路的选取方法的流程图;
图2是本发明实施例提供的多维道路评估空间的示意图;
图3是本发明实施例提供的自动驾驶系统测试运行设计条件示意图;
图4是本发明实施例提供的另一种汽车自动驾驶功能测试道路的选取方法的流程图;
图5为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将对本发明的技术方案进行清楚、完整的描述。显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例,都属于本发明所保护的范围。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本发明的描述中,还需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
本发明实施例提供一种汽车自动驾驶功能测试道路的选取方法,其流程图如图1所示,可适用于针对自动驾驶系统测试进行道路选取的情况,尤其是针对设计运行域边界的测试。本实施例由电子设备执行。结合图1,本实施例提供的方法具体包括:
S110、根据待测试自动驾驶系统的设计运行条件确定声明的典型道路,并确定所述典型道路所属的目标道路类别。
其中,以设定自动驾驶系统需要探测和响应到的对象种类作为维度,根据对象探测和响应的复杂度阈值确定对应维度的边界,构建多维道路评估空间;将所述多维道路评估空间划分为多个子区域,不同子区域对应不同的道路类别,每个道路类别包括至少一种典型道路。
设计运行条件(ODC)是指驾驶自动化系统设计时确定的适用于其功能运行的各类条件的总称,包括设计运行域、车辆状态、驾乘人员状态及其他必要条件。目前的待测试自动驾驶系统的设计运行条件有的会包括典型道路,例如,具有围栏的高速路段,具有结构化道路标识的城市路段。根据设计运行条件中的设计运行域ODD元素也能确定典型道路,例如车速大于等于60km/h,则为高速道路。可选的,典型道路包括但不限于高速道路、城市快速路、城市道路和乡间道路。典型道路一般是按照道路功能和地理位置进行划分的,这种粗浅的划分方式已不适合对高智能化的自动驾驶系统进行道路分类和选取。
发明人经过研究发现,目前需要测试动驾驶车辆的内容包括:(1)在实际道路上运行时本车及对周边交通环境的安全性影响;(2)对各类典型目标和随机动态事件的响应是否符合预期;(3)对整体道路交通通行效率的影响。这些测试内容与自动驾驶系统目标和事件(为了简化处理,本实施例将目标和时间统称为对象)探测与响应(Object and EventDetection Response, OEDR)的对象以及复杂度有直接的关系,探测和响应的对象和复杂度也是自动驾驶系统重要的性能指标。因此,本实施例提出一种新颖的具有普适性的道路分类方法,通过探测与响应的对象种类和复杂度进行道路分类。
设定自动驾驶系统可以是任一个性能良好的系统,其需要探测和响应到的对象种类是设定的,包括静止或运动的机动车,交通标志和基础设施,以及弱势道路使用者(行人、骑行者、动物等)这三类。当然,用户也可以根据实际测试需求,划分为更多或更少的对象种类。图2是本发明实施例提供的多维道路评估空间的示意图,X轴表示静止或运动的机动车,Y轴表示交通标志和基础设施,Z轴表示弱势道路使用者。
对象探测和响应的复杂度指的是对于任一自动驾驶系统,准确探测和响应对象的难度。可选的,复杂度阈值为0和1,从0到1复杂度逐渐增大。
x值从0到1时,道路中车辆越多,车流越复杂,车辆的不可预测性越强。极端情况下,当x=0时,道路中没有车辆,或道路中的车辆与被测车辆仅有可预测(例如,无需探测即可响应)的交汇,当x=1时,道路中存在最大化的随机车辆与被测车辆产生交汇,如切入切出、跟车、让行等;
y值从0到1时,道路结构化程度越弱,非结构化特征越明显,也反映了场景的复杂性。极端情况下,当y=0时,道路有完备的符合标准的交通标志,且道路基础设施呈结构化特点;当y=1时,道路中没有符合国家标准的交通标志,且道路基础设施呈完全非结构化特点;
z值从0到1时,道路中弱势交通参与者的种类和数量及不可预测性越高。
从图2中可以看到多维道路评估空间实质是边长为1的立方体,由于道路元素的多样性以及其出现的随机性,任意范围的路段都可认为是多维道路评估空间中的离散点R,换句话说,所有典型或非典型的道路都可以在多维道路评估空间中对应到合适的位置。根据自动驾驶系统的测试需求以及典型道路的特点,按照合理的粒度对多维道路评估空间进行划分,确定不同道路类别之间的边界。可选的,将所述多维道路评估空间划分为多个子区域,不同子区域对应不同的道路类别,每个道路类别包括至少一种典型道路。
本实施例不限定划分多维道路评估空间的方式,可以是可以沿X轴、Y轴或Z轴分层划分,划分出的子区域数量不限。优选的,考虑到与典型道路的匹配性,以便兼容自动驾驶系统所声明的典型道路,参见图2,沿着从所述多维道路评估空间的中心位置向各维度的中心方向,将所述多维道路评估空间划分为8个子区域。立方体的8个顶点R分别处于不同的子区域。表1示出了每个子区域对应的道路类别所包括的一种典型道路(顶点所代表的典型道路)。
表1 每个子区域对应的道路类别所包括的典型道路
R(x, y, z) | 道路特征 | 典型道路 |
R1(0, 0, 0) | 无机动车(或有可预测车辆),道路完全结构化,无弱势交通参与者 | 高度自动化厂区等 |
R2(0, 0, 1) | 无机动车(或有可预测车辆)、道路完全结构化、存在弱势使用者的道路 | 旅游区、机场等 |
R3(0, 1, 0) | 无机动车(或有可预测车辆)、道路非结构化、不存在弱势使用者的道路 | 荒野 |
R4(0, 1, 1) | 无机动车(或有可预测车辆)、道路非结构化、存在弱势使用者的道路 | 住宅小区等 |
R5(1, 0, 0) | 有机动车、道路完全结构化、不存在弱势使用者的道路 | 高速、城市快速路等 |
R6(1, 0, 1) | 有机动车、道路完全结构化、存在弱势使用者的道路 | 城市道路等 |
R7(1, 1, 0) | 有机动车、道路非结构化、不存在弱势使用者的道路 | 矿区、砂场工地等 |
R8(1, 1, 1) | 有机动车、道路非结构化、存在弱势使用者的道路 | 乡间道路等 |
需要说明的是,表1示出的仅是顶点处表示的典型道路,显然,在每个子区域对应的道路类别中还存在其它的典型或者非典型的道路。比如,与R8同一道路类别的还包括乡镇道路或者待修缮的城市道路。
S120、采用所述设定自动驾驶系统对至少两条待分类道路进行目标和事件探测与响应,并根据实际探测与响应到的对象种类和对象探测与响应的复杂度,计算道路评估参数。
驾驶搭载设定自动驾驶系统的车辆在每条待分类道路上行驶,通过传感器和网络探测对象并进行响应。具体的,通过雷达或摄像头探测和响应静止或动态的机动车。通过摄像头或者网络探测和响应交通标志和基础设施,例如通过限速牌或者网络定位得到限速值。通过雷达或摄像头探测和响应弱势道路使用者。
道路评估参数是处于多维道路评估空间中的一个多维数组,如果是图2所示的三维空间,则道路评估参数就是三维数组。计算道路评估参数的方法包括以下两步:
第一步,根据是否实际探测与响应到设置每个对象的值;根据探测与响应的复杂度设置每个对象的权重。
考虑到存在机动车比不存在机动车时的探测和响应复杂度大,非结构化的交通标识比结构化的交通标识的探测和响应复杂度大,存在弱势道路使用者比不存在弱势道路使用者的探测和响应复杂度大,则如果探测与响应到一对象,设置该对象的值为1,否则为0。
此外,对象的外形特征(高度、宽度、轮廓特征等)、结构化程度和标准化程度也会影响探测和响应的复杂度,这是雷达和摄像头等传感器的缺陷以及识别算法的不足所导致的。比如,成人的探测复杂度小于小孩,结构化道路的探测复杂度小于结构化道路,标准尺寸的车道线的探测复杂度小于非标准尺寸的车道线。基于此,根据对象的外形特征、结构化程度和标准化程度,确定所述对象探测与响应的复杂度;所述复杂度越高,所述对象的权重越大。
需要说明的是,本实施例仅提供权重设置的依赖因素,具体的权重值可以根据实际需求自行设置。比如,小于1米的行人权重为1,1米~1.5米的行人权重为0.5,大于1.5米的行人权重为0.2。
第二步,将属于同一对象类别的对象值进行加权相加,得到对应维度下的道路评估参数。
在一具体实施方式中,为评估车辆行驶环境的难度,用道路元素xi,yi,zi分别表示X轴,Y轴和Z轴所探测和响应到的第i个元素。在实际道路中,道路中的机动车、道路使用者等是动态变量,交通标志、基础设施等也因道路不同存在完备性的差异,用布尔值表示OEDR三个功能维度对应下的道路环境理想状态,以便框定各类道路的边界,即xi,yi,zi的取值为布尔值,0表示道路不存在该元素,1表示道路存在该元素。
权重ai,bi,ci分别表示元素xi,yi,zi的权重,其中ai,bi,ci∈(0,1),对权重进行归一化处理,以便对应到图2所示的复杂度阈值1。
对于每条待分类道路R(x, y, z),可知:
S130、根据所述道路评估参数是否落在所述目标道路类别对应的目标子区域,选择符合所述设计运行条件的第一道路和不符合所述设计运行条件的第二道路。
每条待分类道路的道路评估参数映射到多维道路评估空间中,得到道路评估参数所落在的子区域作为目标子区域。如果目标子区域对应目标道路类别,则符合设计运行条件,为了方便描述和区分,将这样的道路称为第一道路。如果目标子区域不对应目标道路类别,则不符合设计运行条件,将这样的道路称为第二道路。第一道路的数量和第二道路的数量均为至少一条。
S140、将具有连接关系的第一道路和第二道路选定为所述待测试自动驾驶系统测试设计运行域边界的道路。
现有的道路测试主要关注车辆进入设计运行条件执行动态驾驶任务过程中的表现,而本实施例除了设计运行条件内,还重点关注车辆进出设计运行域边界情况下的测试。图3是本发明实施例提供的自动驾驶系统测试运行设计条件示意图。设计运行条件所关注的设计运行域ODD、车辆状态、驾乘人员状态及其他必要条件将平面划分为三个区域,纵轴表示测试时间T,设计运行条件与测试时间限定了测试的时空和状态范围,被表示为图3的柱状体。阴影边界分别对应ODD、车辆状态、驾乘人员状态以及其他必要条件的边界,即车辆的接管阈值。阴影内部为车辆应自动执行动态驾驶任务的区域,外部为车辆在实际道路测试过程中未激活自动驾驶系统的区域。图3中带方向的曲线表示车辆测试过程中进出设计运行条件的路径,其中P1,P3,P5为车辆达到ODC状态进入有效测试状态的临界点,P2,P4,P6为车辆离开设计运行条件的临界点。本实施例重点测试P1和P6,以及在设计运行条件内部的范围。车辆状态、驾乘人员状态及其他必要条件则维持为满足运行设计条件的值,即利用控制变量法的思想,测试进出ODD边界的车辆情况。
需要说明的是,第一道路和第二道路上的ODD元素可能会变化导致道路类别变化,比如高速路上出现大量弱势道路使用者,计算道路评估参数并映射后会导致该道路不再属于高速道路类别。为了应对这种不稳定的情况,本实施例在测试前设定时长内(例如半小时内)对至少两条待分类道路进行OEDR,进而得到最新的道路类别分类结果,设定时长尽量短,以使最新的道路类别与测试时的道路类别一致。
需要说明的是,第一道路和第二道路可以是地理上的独立道路,还可以是一条道路上的不同路段。
在一实际应用场景中,第一道路和第二道路上测试过程中,在测试车辆的行驶方向前方配置一搭载设定自动驾驶系统的车辆,通过该车辆进行实时OEDR并进行道路分类,可以得到第一道路的类别,第二道路的类别是否变化,并适应性调整测试指标。
经过分类后的第一道路和第二道路,有的具有连接关系有的不具有连接关系。为了测试进出ODD的车辆表现,需要选择具有连接关系的第一道路和第二道路,从而车辆可以通过道路连接处从第一道路进入第二道路,或者从第二道路进入第一道路。可选的,第一道路与第二道路的连接位置不限,可以是首尾连接或者中部连接(呈T字形)。
本发明实施例中,通过以设定自动驾驶系统需要探测和响应到的对象种类作为维度结合复杂度阈值构建多维道路评估空间,用以划分不同的道路类别,这种通过对象类别和复杂度进行分类的方法符合自动驾驶系统的测试需求和“智能化属性”,符合自然规律。通过待测试自动驾驶系统所声明的典型道路确定所属的目标道路类别,从而将传统意义上的道路分类方法与本发明中新颖的道路分类方法相衔接,使得各种典型甚至非典型的道路均能匹配上合适的道路类别。通过对待分类道路进行OEDR并结合对象探测与响应的复杂度,计算得到道路评估参数,进一步通过将道路评估参数映射到多维道路评估空间中,选择出符合设计运行条件的第一道路和不符合设计运行条件的第二道路,并将具有连接关系的第一道路和第二道路选定为所述待测试自动驾驶系统测试设计运行域边界的道路,从而选择出连续的一段道路(包括符合设计运行条件的一段和不符合设计运行条件的一段),从而便于测试系统在设计运行域边界的情况,即本实施例从道路分类着手成功选出用于测试设计运行域边界的道路,弥补了现有技术中无法测试设计运行域边界的缺陷,同时提供的方法具有科学性和普适性。
在上述实施例和下述实施例中,在所述将具有连接关系的第一道路和第二道路选定为所述待测试自动驾驶系统测试设计运行域边界的道路之后,还包括以下至少一种操作:
第一种操作:根据搭载所述待测试自动驾驶系统的车辆处于第一道路内,确定所述车辆在设计运行条件内的测试指标,用于在所述车辆处于第一道路内进行测试。车辆在设计运行条件内的测试指标至少包括:测试过程中不发生自动驾驶功能失效,自动驾驶功能应持续控制车辆执行动态驾驶任务,不导致合理可预见且可避免的交通事故。
第二种操作:根据搭载所述待测试自动驾驶系统的车辆从第一道路进入第二道路,确定所述车辆在离开设计运行域边界的测试指标,用于对所述车辆从第一道路进入第二道路时进行测试。车辆在离开设计运行域边界的测试指标包括:测试过程中不发生自动驾驶功能失效,自动驾驶系统停用指标,从系统到驾驶员的接管指标。
第三种操作:根据搭载所述待测试自动驾驶系统的车辆从第二道路进入第一道路,确定所述车辆在进入设计运行域边界的测试指标,用于对所述车辆从第二道路进入第一道路时进行测试。车辆在进入设计运行域边界的测试指标包括:测试过程中不发生自动驾驶功能失效,自动驾驶系统激活指标,从驾驶员到系统的接管指标。
本实施例通过车辆定位可以获知行驶在何种路段,进而采用相匹配的测试指标进行测试。具体的指标内容,比如自动驾驶系统停用/激活指标,接管指标,需要根据安全性原则,车辆配置情况和自动驾驶系统的软硬件架构合理设置,本实施不作限定。
在上述实施例的基础上,可能会存在2条以上的待分类道路均符合设计运行条件,则需要选取与设计运行条件最合适的道路作为第一道路。本实施例基于不同道路类别的ODD元素特点,选择相似度超过设定阈值的道路作为第一道路。
可选的,在将所述多维道路评估空间划分为多个子区域之后,还包括:统计每个道路类别下所有道路的ODD元素。其中,ODD元素包括:静态元素、动态元素和辅助元素;所述静态元素至少包括区域元素、形态元素、路面元素、交通设施元素以及各静态元素的量化要求;所述动态元素至少包括交通参与者元素、天气、交通运行状态以及各静态元素的量化要求;所述辅助元素至少包括网联通信元素以及所述网联通信元素的量化要求。
在具体应用场景中,采用设定自动驾驶系统对多条道路(比如来自各大城市、小区、乡镇的道路)进行目标和事件探测与响应OEDR;根据实际探测与响应到的对象种类和对象探测与响应的复杂度,计算道路评估参数,并确定所述道路评估参数在所述多维道路评估空间中的子区域;将所述每条道路分类为所在子区域对应的道路类别,进而统计得到各道路类别下有哪些道路,这是最初的数据源。通过对这些最初的数据源统计ODD元素特点,就得到了各道路类别的ODD元素特点。由于篇幅所限,表2示出了部分道路类别的ODD元素特点。
表2 部分道路类别的ODD元素特点
经过上述操作,构建了各道路类别的ODD元素特点,后续可以根据ODD元素的相似度确定一道路符合道路类别的程度。相应的,选择符合设计运行条件的至少两条道路之后,计算至少两条道路中每条道路的ODD元素与目标道路类别下的ODD元素之间的相似度;所述相似度表征了所述每条道路符合所述目标道路类别的程度。如果相似度超过设定阈值(例如80%),将该道路作为第一道路。
可选的,计算相似度的操作包括:统计至少两条道路中每条道路与目标道路类别下的ODD元素一致的第一元素数量;统计属于目标道路类别但不属于每条道路的第二元素数量;将所述第一元素数量除以所述第一元素数量与第二元素数量之和,得到每条道路的ODD元素与目标道路类别下的ODD元素的相似度。
以道路A作为示例,由于道路A中可能出现但不属于目标道路类别B下的ODD元素,但不影响实际道路测试,但可能降低相似度值,因此在计算有效相似度时,不应纳入此类元素。参见下式,Ka表示道路A的ODD元素与目标道路类型B下的ODD元素的相似度,S11表示一致的第一元素数量,S10表示第二元素数量。
本实施例通过计算ODD元素的相似度得到道路符合目标道路类别的程度,从更小的ODD维度进行测试道路的选取,提高了道路对自动驾驶系统的匹配度,有利于更准确地测试自动驾驶系统的性能。
本发明实施例还提供另一种汽车自动驾驶功能测试道路的选取方法,参见图4,适用于针对自动驾驶系统测试进行道路选取的情况。本实施例由电子设备执行。结合图4,本实施例提供的方法具体包括:
S410、根据待测试自动驾驶系统的设计运行条件确定设计运行域ODD元素。
本实施例与图1所示实施例的一个区别在于,本实施例根据待测试自动驾驶系统的设计运行条件中的ODD元素选取测试用道路。这适用于设计运行条件并没有声明任一典型道路的情况,也适用于声明典型道路的情况。本实施例提供了除典型道路之外的另一种选择测试用道路的方法。
示例性的,某款车型的L3级ODD包括:
a) 行驶在高速公路上,或者带有中央隔离带和护栏的两车道以上机动车专用公路上;
b) 所在车道和周边车道的车间距离在较近也就是说在堵车状态下;
c) 车的行驶速度不超过60km/h;
d) 在传感器可检测到的范围内没有信号灯,也没有行人和骑自行车的人等。
从其声明的ODD中提取出ODD元素:静态元素、动态元素和辅助元素(具体参见上述实施例的记载),以便与各道路类别下的ODD元素进行对比。
S420、获取多个道路类别的每个道路类别下的ODD元素;其中,以设定自动驾驶系统需要探测和响应到的对象种类作为维度,根据对象探测和响应的复杂度阈值确定对应维度的边界,构建多维道路评估空间;将所述多维道路评估空间划分为多个子区域,不同子区域对应不同的道路类别。
在具体应用场景中,采用设定自动驾驶系统对多条道路(比如来自各大城市、小区、乡镇的道路)进行目标和事件探测与响应OEDR;根据实际探测与响应到的对象种类和对象探测与响应的复杂度,计算道路评估参数,并确定所述道路评估参数在所述多维道路评估空间中的子区域;将所述每条道路分类为所在子区域对应的道路类别,进而统计得到各道路类别下有哪些道路,这是最初的数据源。通过对这些最初的数据源统计ODD元素特点,就得到了各道路类别的ODD元素特点。由于篇幅所限,表2示出了部分道路类别的ODD特点。
具体参见上述实施例的记载,此处不再赘述。
S430、计算待测试自动驾驶系统的ODD元素与每个道路类别下的ODD元素的相似度,确定相似度超过设定阈值的目标道路类别。
统计待测试自动驾驶系统的ODD元素与每个道路类别下的ODD元素一致的第三元素数量;统计属于每个道路类别但不属于待测试自动驾驶系统的第四元素数量;将所述第三元素数量除以所述第三元素数量与第四元素数量之和,得到待测试自动驾驶系统的ODD元素与每个道路类别下的ODD元素的相似度。
以道路类别P作为示例,由于道路类别P中可能出现但不属于待测试自动驾驶系统Q的ODD元素,但不影响实际道路测试,但可能降低相似度值,因此在计算有效相似度时,不应纳入此类元素。参见下式,Pa表示道路类别P下的ODD元素与待测试自动驾驶系统Q的ODD元素的相似度,T11表示一致的第三元素数量,T10表示第四元素数量。如果相似度超过设定阈值(80%),则将该道路类别作为目标道路类别。
S440、将属于所述目标道路类别的第一道路选定为所述待测试自动驾驶系统的测试用道路。
进一步的,在所述计算待测试自动驾驶系统的ODD元素与每个道路类别下的ODD元素的相似度,确定相似度超过设定阈值的目标道路类别之后,还包括:确定不属于目标道路类别的第二道路,并将具有连接关系的第一道路和第二道路选定为所述待测试自动驾驶系统测试设计运行域边界的道路。
具体参见上述实施例的记载,此处不再赘述。
本实施例通过以设定自动驾驶系统需要探测和响应到的对象种类作为维度结合复杂度阈值构建多维道路评估空间,用以划分不同的道路类别,这种通过对象类别和复杂度进行分类的方法符合自动驾驶系统的测试需求和“智能化属性”,符合自然规律。通过待测试自动驾驶系统的ODD元素和每个道路类别下的ODD元素计算相似度,从而选择出符合自动驾驶系统的测试用道路。
图5为本发明实施例提供的一种电子设备的结构示意图,如图5所示,该设备包括处理器40、存储器41、输入装置42和输出装置43;设备中处理器40的数量可以是一个或多个,图5中以一个处理器40为例;设备中的处理器40、存储器41、输入装置42和输出装置43可以通过总线或其他方式连接,图5中以通过总线连接为例。
存储器41作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的汽车自动驾驶功能测试道路的选取方法对应的程序指令/模块。处理器40通过运行存储在存储器41中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的汽车自动驾驶功能测试道路的选取方法。
存储器41可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器41可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器41可进一步包括相对于处理器40远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置42可用于接收输入的数字或字符信息,以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置43可包括显示屏等显示设备。
本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现任一实施例的汽车自动驾驶功能测试道路的选取方法。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案。
Claims (10)
1.一种汽车自动驾驶功能测试道路的选取方法,其特征在于,包括:
根据待测试自动驾驶系统的设计运行条件确定声明的典型道路,并确定所述典型道路所属的目标道路类别;其中,以设定自动驾驶系统需要探测和响应到的对象种类作为维度,根据对象探测和响应的复杂度阈值确定对应维度的边界,构建多维道路评估空间;将所述多维道路评估空间划分为多个子区域,不同子区域对应不同的道路类别,每个道路类别包括至少一种典型道路;
采用所述设定自动驾驶系统对至少两条待分类道路进行目标和事件探测与响应OEDR,并根据实际探测与响应到的对象种类和对象探测与响应的复杂度,计算道路评估参数;
根据所述道路评估参数是否落在所述目标道路类别对应的目标子区域,选择符合所述设计运行条件的第一道路和不符合所述设计运行条件的第二道路;
将具有连接关系的第一道路和第二道路选定为所述待测试自动驾驶系统测试设计运行域边界的道路。
2.根据权利要求1所述的方法,其特征在于,在所述将具有连接关系的第一道路和第二道路选定为所述待测试自动驾驶系统测试设计运行域边界的道路之后,还包括以下至少一种操作:
根据搭载所述待测试自动驾驶系统的车辆处于第一道路内,确定所述车辆在设计运行条件内的测试指标,用于在所述车辆处于第一道路内进行测试;
根据搭载所述待测试自动驾驶系统的车辆从第一道路进入第二道路,确定所述车辆在离开设计运行域边界的测试指标,用于对所述车辆从第一道路进入第二道路时进行测试;
根据搭载所述待测试自动驾驶系统的车辆从第二道路进入第一道路,确定所述车辆在进入设计运行域边界的测试指标,用于对所述车辆从第二道路进入第一道路时进行测试。
3.根据权利要求2所述的方法,其特征在于,所述车辆在设计运行条件内的测试指标至少包括:测试过程中不发生自动驾驶功能失效,自动驾驶功能应持续控制车辆执行动态驾驶任务,不导致合理可预见且可避免的交通事故;
所述车辆在离开设计运行域边界的测试指标包括:测试过程中不发生自动驾驶功能失效,自动驾驶系统停用指标,从系统到驾驶员的接管指标;
所述车辆在进入设计运行域边界的测试指标包括:测试过程中不发生自动驾驶功能失效,自动驾驶系统激活指标,从驾驶员到系统的接管指标。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述设定自动驾驶系统需要探测和响应到的对象种类包括:静止或运动的机动车,交通标志和基础设施,以及弱势道路使用者;
将所述多维道路评估空间划分为多个子区域,包括:
沿着从所述多维道路评估空间的中心位置向各维度的中心方向,将所述多维道路评估空间划分为8个子区域。
5.根据权利要求1-3任一项所述的方法,其特征在于,所述根据实际探测与响应到的对象种类和对象探测与响应的复杂度,计算道路评估参数,包括:
根据是否实际探测与响应到设置每个对象的值;根据探测与响应的复杂度设置每个对象的权重;
将属于同一对象类别的对象值进行加权相加,得到对应维度下的道路评估参数;
其中,所述根据探测与响应的复杂度设置每个对象的权重,包括:
根据对象的外形特征、结构化程度和标准化程度,确定所述对象探测与响应的复杂度;
所述复杂度越高,所述对象的权重越大。
6.一种汽车自动驾驶功能测试道路的选取方法,其特征在于,包括:
根据待测试自动驾驶系统的设计运行条件确定设计运行域ODD元素;
获取多个道路类别的每个道路类别下的ODD元素;其中,以设定自动驾驶系统需要探测和响应到的对象种类作为维度,根据对象探测和响应的复杂度阈值确定对应维度的边界,构建多维道路评估空间;将所述多维道路评估空间划分为多个子区域,不同子区域对应不同的道路类别;
计算待测试自动驾驶系统的ODD元素与每个道路类别下的ODD元素的相似度,确定相似度超过设定阈值的目标道路类别;
将属于所述目标道路类别的第一道路选定为所述待测试自动驾驶系统的测试用道路。
7.根据权利要求6所述的方法,其特征在于,在所述计算待测试自动驾驶系统的ODD元素与每个道路类别下的ODD元素的相似度,确定相似度超过设定阈值的目标道路类别之后,还包括:
确定不属于目标道路类别的第二道路,并将具有连接关系的第一道路和第二道路选定为所述待测试自动驾驶系统测试设计运行域边界的道路。
8.根据权利要求6所述的方法,其特征在于,所述计算待测试自动驾驶系统的ODD元素与每个道路类别下的ODD元素的相似度,包括:
统计待测试自动驾驶系统的ODD元素与每个道路类别下的ODD元素一致的第三元素数量;
统计属于每个道路类别但不属于待测试自动驾驶系统的第四元素数量;
将所述第三元素数量除以所述第三元素数量与第四元素数量之和,得到待测试自动驾驶系统的ODD元素与每个道路类别下的ODD元素的相似度。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-8中任一所述的汽车自动驾驶功能测试道路的选取方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-8中任一所述的汽车自动驾驶功能测试道路的选取方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111535594.2A CN113935441B (zh) | 2021-12-16 | 2021-12-16 | 汽车自动驾驶功能测试道路的选取方法、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111535594.2A CN113935441B (zh) | 2021-12-16 | 2021-12-16 | 汽车自动驾驶功能测试道路的选取方法、设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113935441A CN113935441A (zh) | 2022-01-14 |
CN113935441B true CN113935441B (zh) | 2022-03-15 |
Family
ID=79288958
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111535594.2A Active CN113935441B (zh) | 2021-12-16 | 2021-12-16 | 汽车自动驾驶功能测试道路的选取方法、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113935441B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114077218B (zh) * | 2022-01-19 | 2022-04-22 | 浙江吉利控股集团有限公司 | 道路数据评估报告生成方法、装置、设备及存储介质 |
CN114529651B (zh) * | 2022-04-24 | 2022-07-22 | 中国汽车技术研究中心有限公司 | 一种用于自动驾驶汽车实际道路测试的可视化记录设备 |
CN114898557B (zh) * | 2022-05-20 | 2023-05-23 | 中国电信股份有限公司 | 自动驾驶路段的测试方法及装置、电子设备、存储介质 |
CN117968720A (zh) * | 2024-04-01 | 2024-05-03 | 中国汽车技术研究中心有限公司 | 一种车辆实际道路测试路线规划方法、装置、介质及设备 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110232257A (zh) * | 2019-07-02 | 2019-09-13 | 吉林大学 | 一种自动驾驶测试场景的构建方法及其难度系数计算方法 |
CN111178402A (zh) * | 2019-12-13 | 2020-05-19 | 赛迪检测认证中心有限公司 | 一种自动驾驶车辆道路测试的场景分类方法及装置 |
CN111717198A (zh) * | 2020-06-24 | 2020-09-29 | 中国第一汽车股份有限公司 | 面向l2级自动驾驶的控制方法、装置、设备及介质 |
CN111813083A (zh) * | 2020-07-09 | 2020-10-23 | 吉林大学 | 场景任务复杂度量化模型 |
CN111833621A (zh) * | 2019-04-15 | 2020-10-27 | 阿里巴巴集团控股有限公司 | 车道导向线生成方法、装置、存储介质及计算机设备 |
CN112092827A (zh) * | 2020-09-23 | 2020-12-18 | 北京百度网讯科技有限公司 | 自动驾驶功能控制方法、装置、电子设备及存储介质 |
CN112465395A (zh) * | 2020-12-15 | 2021-03-09 | 同济大学 | 一种面向自动驾驶汽车的多维度综合评价方法及装置 |
CN112666916A (zh) * | 2019-10-15 | 2021-04-16 | 哲内提 | 用于开发和验证自动驾驶特征的方法和系统 |
CN112859830A (zh) * | 2019-11-28 | 2021-05-28 | 华为技术有限公司 | 一种设计运行区域odd判断方法、装置及相关设备 |
CN113109055A (zh) * | 2020-01-10 | 2021-07-13 | 上海汽车集团股份有限公司 | 测试场景等级计算方法、装置及计算机存储介质 |
-
2021
- 2021-12-16 CN CN202111535594.2A patent/CN113935441B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111833621A (zh) * | 2019-04-15 | 2020-10-27 | 阿里巴巴集团控股有限公司 | 车道导向线生成方法、装置、存储介质及计算机设备 |
CN110232257A (zh) * | 2019-07-02 | 2019-09-13 | 吉林大学 | 一种自动驾驶测试场景的构建方法及其难度系数计算方法 |
CN112666916A (zh) * | 2019-10-15 | 2021-04-16 | 哲内提 | 用于开发和验证自动驾驶特征的方法和系统 |
CN112859830A (zh) * | 2019-11-28 | 2021-05-28 | 华为技术有限公司 | 一种设计运行区域odd判断方法、装置及相关设备 |
CN111178402A (zh) * | 2019-12-13 | 2020-05-19 | 赛迪检测认证中心有限公司 | 一种自动驾驶车辆道路测试的场景分类方法及装置 |
CN113109055A (zh) * | 2020-01-10 | 2021-07-13 | 上海汽车集团股份有限公司 | 测试场景等级计算方法、装置及计算机存储介质 |
CN111717198A (zh) * | 2020-06-24 | 2020-09-29 | 中国第一汽车股份有限公司 | 面向l2级自动驾驶的控制方法、装置、设备及介质 |
CN111813083A (zh) * | 2020-07-09 | 2020-10-23 | 吉林大学 | 场景任务复杂度量化模型 |
CN112092827A (zh) * | 2020-09-23 | 2020-12-18 | 北京百度网讯科技有限公司 | 自动驾驶功能控制方法、装置、电子设备及存储介质 |
CN112465395A (zh) * | 2020-12-15 | 2021-03-09 | 同济大学 | 一种面向自动驾驶汽车的多维度综合评价方法及装置 |
Non-Patent Citations (3)
Title |
---|
Combined longitudinal and lateral control for automated vehicle guidance;Attia,Rachid 等;《HAL open science》;20141231;正文第1-19页 * |
基于场景的自动驾驶汽车虚拟测试研究进展;朱冰 等;《中国公路学报》;20190630;正文第1-18页 * |
自动驾驶汽车测试场景构建关键技术综述;徐向阳 等;《汽车工程》;20210430;第610-619页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113935441A (zh) | 2022-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113935441B (zh) | 汽车自动驾驶功能测试道路的选取方法、设备和存储介质 | |
CN110597711B (zh) | 一种基于场景和任务的自动驾驶测试用例生成方法 | |
CN110562258B (zh) | 一种车辆自动换道决策的方法、车载设备和存储介质 | |
US8134478B2 (en) | Data mining in a digital map database to identify community reported driving hazards along roads and enabling precautionary actions in a vehicle | |
CN113935442B (zh) | 汽车自动驾驶功能测试道路的分类方法、设备和存储介质 | |
CN111680362B (zh) | 一种自动驾驶仿真场景获取方法、装置、设备及存储介质 | |
CN113792566B (zh) | 一种激光点云的处理方法及相关设备 | |
CN106198049A (zh) | 真实车辆在环测试系统和方法 | |
CN110716529A (zh) | 一种自动驾驶测试用例自动生成方法和装置 | |
CN110688311A (zh) | 一种面向自动驾驶典型场景的测试用例管理方法和装置 | |
CN113155173B (zh) | 感知性能评测方法、装置、电子装置和存储介质 | |
CN114354219A (zh) | 自动驾驶车辆的测试方法及装置 | |
US20230159052A1 (en) | Method for processing behavior data, method for controlling autonomous vehicle, and autonomous vehicle | |
Boubakri et al. | High definition map update for autonomous and connected vehicles: A survey | |
CN110189537B (zh) | 基于时空特征的停车诱导方法、装置、设备及存储介质 | |
CN116597690B (zh) | 智能网联汽车的高速公路测试场景生成方法、设备及介质 | |
US11555928B2 (en) | Three-dimensional object detection with ground removal intelligence | |
CN112991741B (zh) | 交通流预测方法和装置 | |
CN113432616A (zh) | 地图制作和/或加工方法、地图存储装置及路径规划方法 | |
CN114596704A (zh) | 交通事件处理方法、装置、设备及存储介质 | |
KR20220038857A (ko) | 자율주행 상황 인지 알고리즘 평가 서비스 장치 및 방법 | |
CN117270913B (zh) | 地图更新方法、装置、电子设备和存储介质 | |
CN117894181B (zh) | 一种全域通行异常状况集成监测方法及系统 | |
CN112732859B (zh) | 提示信息生成方法、装置、电子设备以及存储介质 | |
CN116010403A (zh) | 一种场景库创建的方法、装置和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |