CN115179959A - 基于行驶道路自适应更新阈值的智能驾驶车辆行为预测方法 - Google Patents
基于行驶道路自适应更新阈值的智能驾驶车辆行为预测方法 Download PDFInfo
- Publication number
- CN115179959A CN115179959A CN202210839912.2A CN202210839912A CN115179959A CN 115179959 A CN115179959 A CN 115179959A CN 202210839912 A CN202210839912 A CN 202210839912A CN 115179959 A CN115179959 A CN 115179959A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- lane
- road
- target vehicle
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012937 correction Methods 0.000 claims abstract description 37
- 230000002452 interceptive effect Effects 0.000 claims abstract description 37
- 238000011156 evaluation Methods 0.000 claims abstract description 28
- 230000009471 action Effects 0.000 claims abstract description 24
- 239000011159 matrix material Substances 0.000 claims abstract description 16
- 238000012216 screening Methods 0.000 claims abstract description 12
- 238000001514 detection method Methods 0.000 claims description 31
- 239000013598 vector Substances 0.000 claims description 31
- 230000008859 change Effects 0.000 claims description 28
- 230000001133 acceleration Effects 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000008447 perception Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000001174 ascending effect Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 230000003068 static effect Effects 0.000 claims description 2
- 238000012790 confirmation Methods 0.000 claims 1
- 230000006399 behavior Effects 0.000 description 57
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/05—Type of road, e.g. motorways, local streets, paved or unpaved roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
- B60W2555/60—Traffic rules, e.g. speed limits or right of way
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提出一种基于行驶道路自适应更新阈值的智能驾驶车辆行为预测方法,基于车辆感知系统获取当前驾驶环境中的道路结构实体;从自车感知范围内筛选出目标车辆;基于选定的目标车辆,选取周边交互车辆;输入目标车辆行驶状态信息以及周围环境信息到车辆行为预测模型,获得各个行为动作的概率矩阵;根据目标车辆周围交互车辆信息,计算碰撞时间TTC和制动时间TTB用于评估各车道交通状况。根据评估结果更新各个行为动作的确信阈值修正系数,并输出修正后的预测行为结果。本发明能够结合周围变化的道路环境,优化目标车辆以及交互车辆的选择,自适应更新确信阈值,提高车辆行为预测的精确性。
Description
技术领域
本发明属汽车驾驶自动化技术领域,尤其涉及一种基于行驶道路自适应更新阈值的智能驾驶车辆行为预测方法。
背景技术
随着汽车产业不断发展,汽车保有量快速增长,交通安全事故数量也随之增加。因此,道路交通安全保障愈发成为亟待解决的重大安全问题。同时,自动驾驶技术在我国也正如火如荼地进行发展,行为预测技术是自动驾驶关键技术之一,能够预测周围车辆的换道行为,根据预测结果采取合适驾驶行为从而达到避免因他车危险换道行为而产生的交通事故。
目前现有技术大多以基于物理机理和基于行为的方法为主,对于车辆之间的行为交互考虑得较少。这两种方法将目标车辆当作一个独立的机动实体研究,忽略了周围交互车辆以及变化的道路实体结构所带来的驾驶意图改变。在动态复杂的行驶环境中,交通参与者之间的行为是交互的,目标车辆的行为随时可能受到其周边相邻车辆的影响,这在行为层面给目标车辆的行为预测带来了很大的不确定性。因此在进行预测时需要将周边车辆作为一个相互影响的多智能体系统来进行研究,否则将导致较长期的行为轨迹预测出现很大的误差,影响预测的结果的精确性。
发明内容
针对现有技术的缺陷和不足,本发明的目的在于提供一种基于行驶道路自适应更新阈值的智能驾驶车辆行为预测方法,通过结合目标车辆周围交互车辆的信息,实时修正确信阈值,使提高预测的准确率。
该方法利用循环神经网络(Recurrent neural network,RNN)的一种变体长短时记忆网络(Long Short Term Memory,LSTM)对周边车辆的换道行为进行预测,包括以下步骤:基于车辆感知系统获取当前驾驶环境中的道路结构实体;从自车感知范围内筛选出目标车辆;基于选定的目标车辆,选取周边交互车辆;输入目标车辆行驶状态信息以及周围环境信息到车辆行为预测模型,获得各个行为动作的概率矩阵;根据目标车辆周围交互车辆信息,计算碰撞时间TTC和制动时间TTB用于评估各车道交通状况。根据评估结果更新各个行为动作的确信阈值修正系数,并输出修正后的预测行为结果。本发明能够结合周围变化的道路环境,优化目标车辆以及交互车辆的选择,自适应更新确信阈值,提高车辆行为预测的精确性。
本发明具体采用以下技术方案:
一种基于行驶道路自适应更新阈值的智能驾驶车辆行为预测方法,其特征在于,包括以下步骤:
获取当前驾驶环境中的道路结构实体;
基于自车周围车辆行驶环境,对各车道优先级排序,从自车感知范围内选取目标车辆;
基于选定的目标车辆,选取周边交互车辆;
基于目标车辆行驶状态信息以及周围环境信息,根据车辆行为预测模型得到各行为动作的概率矩阵;
基于目标车辆周围交互车辆信息,计算当前道路情况下的行为确信阈值修正系数,对预测结果进行修正,获得目标车辆未来一段时间范围内的行为意图。
进一步地,所述从自车感知范围内筛选出目标车辆具体包括:
基于所通过道路区间的道路结构,对车道优先级进行排序:预设左侧车道为第一优先级道路,右侧车道为第二优先级道路,自车车道为第三优先级道路;
根据各个车道车辆密度,对预设道路优先级顺序进行变更,若次优先道路车辆密度超过高优先级车辆道路密度,则将次优先级车道提升为高优先级车道;
当右侧车道为汇入车道时,预设右侧车道为第一优先级车道,左侧车道为第二优先级车道,自车所在车道为第三优先级车道;
当左侧车道线或者右侧车道线为白实线则取消对该车道评级;
特别的当左侧或者右侧不存在可行车道时,同样将目标车辆车道作为检测椭圆长轴所在车道,短轴覆盖相邻车道。
根据车辆所处车道位置,对感知范围内车辆与自车相关性进行评级,选择第一目标车辆:
因此道路车辆密度为ρⅠ=βⅠ(ρ1+ρ2+……+ρn-1+ρn),β为各个车道密度修正系数,其中βⅠ为第一优先级车道修正系数,βⅡ为第二优先级车道修正系数,βⅢ为第三优先级车道修正系数,其中车道密度修正系数为预设值,不随车道升降级而改变;
将道路车辆密度最大的车道设置为目标车道,在目标车道上的距离自车最近的前车选为目标车辆。
进一步地,基于车速自适应选择与目标车辆交互的车辆检测范围,过滤无关车辆信息数据;
在目标车辆周围建立椭圆检测区域,以目标车辆为几何中心,椭圆长轴方向与道路坐标Y方向相同,椭圆短轴方向与道路X轴方向相同;根据周围车辆GPS定位信息,处于椭圆检测范围内的车辆被提取成为交互车辆,对目标车辆行为预测结果产生影响。
进一步地,交互车辆椭圆检测范围将随着目标车辆的车速进行变化,其中短轴范围覆盖左右两车道横向位置,长轴将随车速的增加而增加,b=λv,其中λ为比例系数,v为目标车辆速度;特别的当左侧或者右侧不存在可行车道时,同样将目标车辆车道作为检测椭圆长轴所在车道,短轴覆盖相邻车道。
进一步地,获取目标车辆行驶状态信息与周围环境信息具体包括:
获取当前驾驶环境中的道路结构实体,包括:道路结构、交通信号标识、道路行驶规则、道路静态障碍空间位置;
获取目标车辆的历史轨迹,该轨迹至少包括具有时间序列的地理空间位置;
获取目标车辆感知范围内的交互车辆行驶状态信息,至少包括观测时间范围内的位置序列、速度、车辆信号灯状态:
采用多个向量来储存多个车辆状态信息,包含历史轨迹[x y],横向速度vx,纵向速度vx,横向加速度ax、纵向加速度ay,车辆尾灯信号l,其中l=[L,R,B],L代表左转向灯,R代表右转向灯,B代表制动灯,将上述参数作为车辆具有时间序列的状态向量st=[x y vxax vy ay l]。
进一步地,车辆行驶状态的表示方法具体为:通过车辆之间通信获得目标车辆以及交互车辆的历史轨迹[x y],横向速度vx,纵向速度vy,横向加速度ax、纵向加速度ay,作为目标车辆具有时间序列的状态向量st=[x y vx ax vy ay];
通过处理车辆位置信息,获得车辆间相对位置距离信息d=[dx dy];
预测结果的设为行为动作集A=(LCL LCLB LCR LCRB LK LKB),包含:车道保持LK、左变道LCL,右变道LCR、减速车道保持LKB、减速左换道LCLB、减速右换道LCRB。
进一步地,构建所述车辆行为预测模型具体为:
采用基于LSTM的行为预测模型,网络结构由三层多个LSTM神经网络组成;
模型的输入为时间长度为L的目标车辆以及交互车辆的历史轨迹数据及环境信息IT=[ST ET],其中,sT1=[st1 st2 st3 st4 …… st47 st48 st49 st50],其中包括该时间长度内50个采样的状态向量,模型的输出为行为动作集A中的各动作的检测概率矩阵Φ=[θ1 θ2θ3 θ4 θ5 θ6];
在三层LSTM结构中,原始输入向量和历史输出向量一起进入第一层,第一层包含的LSTM单元,通过它的遗忘门、输入门和输出门得到输出向量,其不只是用作下一层LSTM单元的输入向量,也同时传递到同一层的下一个LSTM单元;采用Softmax函数对数值特征进行归一化处理,使得输出的向量具有概率意义;
在进行目标车辆行为预测中,将滑动窗口法应用在行为预测模型,利用更多的时间步长内的状态信息:IT-2、IT-1、IT对目标车辆未来时间的行为意图ΦT+1进行预测,即(IT-2IT-1 IT)→(ΦT+1)。
进一步地,基于周围环境计算行为确信阈值修正系数矩阵,具体包括:考虑当前驾驶环境,对当前驾驶场景进行评估,使用碰撞时间TTC和制动时间TTB以评估车辆碰撞的可能性,根据评估结果计算各个动作修正系数。
进一步地,基于碰撞时间TTC评估目标车辆以及筛选范围内车辆在当前车道与其前车行驶状态关系,进行换道阈值更新:
其中TTCi为目标车辆当前车道筛选范围内第i辆前车评估结果,TTC1表示目标车辆与第一辆前车关系,具体风险参数评估公式如下:
道路风险参数评估公式为,R=r0+γ(r1+γ(r2+…γrn)),其中γ为折扣系数;
判断目标车辆当前道路状态,当R<1时判定目标车辆处于松弛行驶空间,当R≥1时判定目标车辆处于非松弛行驶空间,目标车辆的行驶空间会逐渐压缩;
当R<1时,对左右两侧道路进行风险参数评估获得左侧道路风险参数Rl、右侧道路风险参数Rr,若左右两侧道路风险系数小于当前车道风险系数,Rl/Rr<R,判断左侧或者右侧道路更适合行驶,通过换道空间检测后,减小向左侧或右侧换道确信阈值;反之,若Rl/Rr≥R或者未通过换道空间检测,则增大向左侧或右侧换道确信阈值;
当R≥1时,对左右两侧道路进行风险参数评估获得左侧道路风险参数Rl、右侧道路风险参数Rr,若左右两侧道路风险系数小于1,Rl/Rr<1,判断左右两侧道路更适合行驶,通过换道空间检测后,增大车道保持确信阈值;反之,若Rl/Rr≥1或者未通过换道空间检测,则减少车道保持确信阈值;
为了保障换道过程的安全性,对换道空间进行评估,对左右车道后车进行碰撞检测:
Dmin=dsafe+max{TTCr(v0-vr)};
其中Dmin为当前速度下目标车辆与左右车道后车的最小安全距离,dsafe为安全距离冗余量,v0为目标车辆速度,vr为左右车道后车速度,TTCr为目标车辆与左右车道后车预估碰撞时间;
根据对目标车辆道路风险参数评估,获得车辆换道阈值修正系数σLCL,σLK,σLCR;
当目标车辆与当前车道第一前车车速相近时,基于制动时间TTB评估目标车辆在当前车道与前车碰撞关系,进行换道阈值更新:
判断目标车辆与当前车道第一前车速度差是否小于设定阈值,计算TTB判断在车速相近时两辆车的碰撞风险,计算公式如下:
d为两辆车之间的距离,v为目标车辆速度;
进行危险程度评估,当TTB小于设定阈值TTBth时,说明目标车辆与交互车辆有碰撞风险,具有较大可能进行减速驾驶行为;
根据对目标车辆道路风险参数评估,获得车辆减速阈值修正系数σK,σB的修正系数将对原始确信阈值进行更新,更新公式如下;
基于更新后的确信阈值以及各动作的检测概率矩阵,输出被预测车辆在未来一段时间范围内的行为意图,包括以下步骤:
当有多个动作概率超过确信阈值,即若{σ'1<θ1,σ'3<θ3,σ'5<θ5},将最大概率所对应的动作作为预测输出结果,a=max{θ1 θ3 θ5}。
相比于现有技术,本发明及其优选方案车辆的行驶行为预测过程中:
基于道路规则与道路实体结构驱动,对待预测车辆优先级进行排序,优先选择对自车驾驶影响可能性大的车辆作为目标车辆,使得预测行为更加有效。
对目标车辆行驶数据进行处理,获得当前车辆行驶状态,并基于目标车辆状态优化交互车辆选取,减少无关数据的采集。
通过计算上述优化行为后所获取的车辆及环境信息预测目标车辆各个行为概率,结合确信阈值修正参数,输出最终的预测结果。由于考虑了实时变化的场景,预测结果更加精确。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明:
图1为本发明实施例提供的进行行为预测车辆所具有的功能模块示意图;
图2为本发明实施例中的基于道路车辆环境自适应更新阈值的车辆行为预测方法的流程图;
图3为本发明实施例所使用的LSTM预测模块的结构框图;
图4为本发明实施例车辆特征数据在单个LSTM神经网络单元流向示意图;
图5为本发明实施例基于交互车辆行驶状态信息,计算确信阈值修正系数矩阵的流程图。
具体实施方式
为让本专利的特征和优点能更明显易懂,下文特举实施例,作详细说明如下。
应该指出,以下详细说明都是示例性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示,本实施例提供了行为预测车辆所具有的功能模块。通过软件和硬件结合实现预测功能的完成,主要包括:感知定位模块、筛选模块、行为预测模块。
实施的步骤如图2所示,包括以下步骤:
在步骤S101中,通过车辆感知系统获取当前驾驶环境中道路实体信息。
在本实施例中,车辆上除传统车辆配置的基础传感器以外,还配置了各种传感器用于采集道路环境信息以及行驶数据,如激光雷达、图像传感器、以及IMU等。车辆配置有用于V2V通信所使用的装置,可以与周围车辆以及云端数据进行通信。
在步骤S101中采用激光雷达对周围环境道路结构实体、道路障碍以及道路上车辆几何结构进行获取。
获取的道路结构包括道路宽度、交叉路、汇入车道、驶出车道等。
通过使用图像传感器进行车道线识别,判断车道线类型以及自车所处车道。
通过使用图像传感器对交通标识智能识别,与预设的特征库中的信息进行比对,得到当前道路规范行车动作。
通过车载终端与云平台交互实时获取车辆周围高精度地图数据。
通过IMU获取自车的车辆位置以及姿态信息。
在步骤S102中,将基于自车的行驶状态信息和道路结构,从自车感知范围内筛选出目标车辆。进一步包括以下步骤:
基于所通过道路区间的道路结构,对车道优先级进行排序。
预设左侧车道为第一优先级道路,右侧车道为第二优先级道路,自车车道为第三优先级道路。
根据各个车道车辆密度,对预设道路优先级顺序进行变更,若次优先道路车辆密度超过高优先级道路车辆密度,则将次优先级车道提升为高优先级车道。
当右侧车道为汇入车道时,预设右侧车道为第一优先级车道,左侧车道为第二优先级车道,自车所在车道为第三优先级车道。当左侧车道线或者右侧车道线为白实线则取消对该车道评级。
特别的当左侧或者右侧不存在可行车道时,同样将目标车辆车道作为检测椭圆长轴所在车道,短轴覆盖相邻车道。
因此道路车辆密度为ρⅠ=βⅠ(ρ1+ρ2+……+ρn-1+ρn),β为各个车道密度修正系数,其中βⅠ为第一优先级车道修正系数,βⅡ为第二优先级车道修正系数,βⅢ为第三优先级车道修正系数,其中车道密度修正系数为预设值,不随车道升降级而改变。
进一步的,将道路车辆密度最大的车道设置为目标车道,在目标车道上的距离自车最近的前车选为目标车辆。
获取目标车辆的历史轨迹,该轨迹为具有时间序列的地理空间位置。
在步骤S103中,基于选定的目标车辆,对与之进行行为交互的车辆进行筛选,进一步包括以下步骤:
基于车速自适应选择与目标车辆交互的车辆选择范围,过滤无关车辆信息。
在目标车辆周围建立椭圆检测区域,以目标车辆为几何中心,椭圆长轴方向与道路坐标Y方向相同,椭圆短轴方向与道路X轴方向相同。根据周围车辆GPS定位信息,处于椭圆检测范围内的车辆将被提取成为交互车辆,对目标车辆行为预测结果产生影响。
进一步的,交互车辆椭圆检测范围将随着目标车辆的车速进行变化,其中短轴范围覆盖左右两车道横向位置,长轴将随车速的增加而增加,b=λv,其中λ为比例系数,v为目标车辆速度;特别的当左侧或者右侧不存在可行车道时,同样将目标车辆车道作为检测椭圆长轴所在车道,短轴覆盖相邻车道。
获取目标车辆感知范围内的交互车辆行驶状态信息,包括观测时间范围内的位置序列、速度、车辆信号灯状态;
针对上述车辆,采用多个向量来储存多个车辆状态信息,包含历史轨迹[x y],横向速度vx,纵向速度vx,横向加速度ax、纵向加速度ay,车辆尾灯信号l,其中l=[L,R,B],L代表左转向灯,R代表右转向灯,B代表制动灯,将上述参数作为车辆具有时间序列的状态向量st=[x y vx ax vy ay l]。
在步骤S104中,将目标车辆行驶状态信息,输入基于LSTM算法建立的车辆行为预测模型,得到各行为动作的概率矩阵。
预测结果的设为行为动作集A,包含车道保持(LK)、左变道(LCL),右变道(LCR)、减速车道保持(LKB)、减速左换道(LCLB)、减速右换道(LCRB)A=[LK LCL LCR LKB LCLBLCRB]。
在步骤S104中,采用基于LSTM的行为预测模型,该模型网络结构由三层多个LSTM神经网络组成。
模型的输入时间步长为T的目标车辆以及交互车辆的历史轨迹数据及环境信息IT=[ST ET],其中,ST=[st1 st2 …… st49 st50]ET=[et1 et2 …… et49 et50],it=[st et]包括该时间范围内50个采集的状态向量,ET为存储当前道路标志信息的环境向量,模型的输出为行为动作集A中的各动作的检测概率矩阵Φ=[θ1 θ2 θ3 θ4 θ5 θ6]。
图3示出根据本公开实例所使用的LSTM预测模块的结构框图。
在三层LSTM结构中,原始输入向量和历史输出向量一起进入第一层,第一层包含的LSTM单元,通过它的遗忘门、输入门和输出门可以得到输出向量,但它不是最终的输出向量,它不只是用作下一层LSTM单元的输入向量,也同时传递到同一层的下一个LSTM单元。用Softmax函数对数值特征进行归一化处理,使得输出的向量具有概率意义。
图4示出是车辆特征数据在单个LSTM神经网络单元流向。
ft=δ(ωf[ht-1,it]+bf)。
it=δ(ωi[ht-1,it]+bi)。
ct=ftct-1+it(tanh(ωf[ht-1,it]+bc))。
ht=ottanh(ct)。
ot=δ(ωo[ht-1,it]+bo)。
其中δ为Sigmoid函数,ct-1,ct为记忆细胞状态,ht-1,it分别为t-1时刻的隐层状态、t时间步输入;[ht-1,it]为将LSTM网络t-1时刻的隐层状态ht-1与it进行拼接;
进一步的,在进行目标车辆行为预测中,将滑动窗口法应用在行为预测模型,利用更多的时间步长内的状态信息IT-2、IT-1、IT对目标车辆未来时间的行为意图ΦT+1进行预测,即(IT-2 IT-1 IT)→(ΦT+1)。
在步骤S105中基于交互车辆行驶状态信息,计算确信阈值修正系数矩阵。
如图5所示,进一步包括以下步骤:
步骤501,基于TTC(碰撞时间)评估目标车辆以及筛选范围内车辆在当前车道与其前车行驶状态关系,进行换道阈值更新,其中。
其中TTCi为目标车辆当前车道筛选范围内第i辆前车评估结果,TTC1表示目标车辆与第一辆前车关系,具体风险参数评估公式如下。
道路风险参数评估公式如下R=r0+γ(r1+γ(r2+…γrn)),γ为折扣系数。
步骤502,判断目标车辆当前道路状态,当R<1时判定目标车辆处于松弛行驶空间,当R≥1时判定目标车辆处于非松弛行驶空间,目标车辆的行驶空间会逐渐压缩。
步骤503,当R<1时,对左右两侧道路进行风险参数评估获得左侧道路风险参数Rl、右侧道路风险参数Rr,若左右两侧道路风险系数小于当前车道风险系数,Rl/Rr<R,判断左侧或者右侧道路更适合行驶,通过换道空间检测后,减小向左侧或右侧换道确信阈值。反之,若Rl/Rr≥R或者未通过换道空间检测,则增大向左侧或右侧换道确信阈值。
当R≥1时,对左右两侧道路进行风险参数评估获得左侧道路风险参数Rl、右侧道路风险参数Rr,若左右两侧道路风险系数小于1,Rl/Rr<1,判断左右两侧道路更适合行驶,通过换道空间检测后,增大车道保持确信阈值。反之,若Rl/Rr≥1或者未通过换道空间检测,则减少车道保持确信阈值。
步骤504,为了保障换道过程的安全性,对换道空间进行评估,对左右车道后车进行碰撞检测。
Dmin=dsafe+max{TTCr(v0-vr)}。
其中Dmin为当前速度下目标车辆与左右车道后车的最小安全距离,dsafe为安全距离冗余量,v0为目标车辆速度,vr为左右车道后车速度,TTCr为目标车辆与左右车道后车预估碰撞时间。
步骤505,根据对目标车辆道路风险参数评估,获得车辆换道阈值修正系数σLCL,σLK,σLCR。
当目标车辆与当前车道第一前车车速相近时,基于TTB(制动时间)评估目标车辆在当前车道与前车碰撞关系,进行换道阈值更新。
步骤511,判断目标车辆与当前车道第一前车速度差是否小于设定阈值,计算TTB判断在车速相近时两辆车的碰撞风险,计算公式如下:
d为两辆车之间的距离,v为目标车辆速度。
步骤512,进行危险程度评估,当TTB小于设定阈值TTBth时,说明目标车辆与交互车辆有碰撞风险,具有较大可能进行减速驾驶行为。
步骤513,根据对目标车辆道路风险参数评估,获得车辆减速阈值修正系数σK,σB。
的修正系数将对原始确信阈值进行更新,更新公式如下。
在步骤S106中,基于更新后的确信阈值以及各动作的检测概率矩阵,输出被预测车辆在未来一段时间范围内的行为意图,进一步包括以下步骤:
进一步的,当有多个动作概率超过确信阈值,即若{σ'1<θ1,σ'3<θ3,σ'5<θ5},将最大概率所对应的动作作为预测输出结果,a=max{θ1 θ3 θ5}。
以上所述,仅是本发明的较佳实施例而已,并非是对本发明作其它形式的限制,任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型,仍属于本发明技术方案的保护范围。
本专利不局限于上述最佳实施方式,任何人在本专利的启示下都可以得出其它各种形式的基于行驶道路自适应更新阈值的智能驾驶车辆行为预测方法,凡依本发明申请专利范围所做的均等变化与修饰,皆应属本专利的涵盖范围。
Claims (9)
1.一种基于行驶道路自适应更新阈值的智能驾驶车辆行为预测方法,其特征在于,包括以下步骤:
获取当前驾驶环境中的道路结构实体;
基于自车周围车辆行驶环境,对各车道优先级排序,从自车感知范围内选取目标车辆;
基于选定的目标车辆,选取周边交互车辆;
基于目标车辆行驶状态信息以及周围环境信息,根据车辆行为预测模型得到各行为动作的概率矩阵;
基于目标车辆周围交互车辆信息,计算当前道路情况下的行为确信阈值修正系数,对预测结果进行修正,获得目标车辆未来一段时间范围内的行为意图。
2.根据权利要求1所述的基于行驶道路自适应更新阈值的智能驾驶车辆行为预测方法,其特征在于:所述从自车感知范围内筛选出目标车辆具体包括:
基于所通过道路区间的道路结构,对车道优先级进行排序:预设左侧车道为第一优先级道路,右侧车道为第二优先级道路,自车车道为第三优先级道路;
根据各个车道车辆密度,对预设道路优先级顺序进行变更,若次优先道路车辆密度超过高优先级道路车辆密度,则将次优先级车道提升为高优先级车道;
当右侧车道为汇入车道时,预设右侧车道为第一优先级车道,左侧车道为第二优先级车道,自车所在车道为第三优先级车道;
当左侧车道线或者右侧车道线为白实线则取消对该车道评级;
当左侧或者右侧不存在可行车道时,自车车道为第二优先级车道,与之相邻车道为第一优先级车道;
根据车辆所处车道位置,对感知范围内车辆与自车相关性进行评级,选择第一目标车辆:
因此道路车辆密度为ρⅠ=βⅠ(ρ1+ρ2+……+ρn-1+ρn),β为各个车道度修正系数,其中βⅠ为第一优先级车道修正系数,βⅡ为第二优先级车道修正系数,βⅢ为第三优先级车道修正系数,其中车道密度修正系数为预设值,不随车道升降级而改变;
将道路车辆密度最大的车道设置为目标车道,在目标车道上的距离自车最近的前车选为目标车辆。
3.根据权利要求1所述的基于行驶道路自适应更新阈值的智能驾驶车辆行为预测方法,其特征在于:基于车速自适应选择与目标车辆交互的车辆检测范围,过滤无关车辆信息数据;
在目标车辆周围建立椭圆检测区域,以目标车辆为几何中心,椭圆长轴方向与道路坐标Y方向相同,椭圆短轴方向与道路X轴方向相同;根据周围车辆GPS定位信息,处于椭圆检测范围内的车辆被提取成为交互车辆,对目标车辆行为预测结果产生影响。
4.根据权利要求3所述的基于行驶道路自适应更新阈值的智能驾驶车辆行为预测方法,其特征在于:
交互车辆椭圆检测范围将随着目标车辆的车速进行变化,其中短轴范围覆盖左右两车道横向位置,长轴将随车速的增加而增加,b=λv,其中λ为比例系数,v为目标车辆速度;特别的当左侧或者右侧不存在可行车道时,同样将目标车辆车道作为检测椭圆长轴所在车道,短轴覆盖相邻车道。
5.根据权利要求3所述的基于行驶道路自适应更新阈值的智能驾驶车辆行为预测方法,其特征在于:
获取目标车辆行驶状态信息与周围环境信息具体包括:
获取当前驾驶环境中的道路结构实体,包括:道路结构、交通信号标识、道路行驶规则、道路静态障碍空间位置;
获取目标车辆的历史轨迹,该轨迹至少包括具有时间序列的地理空间位置;
获取目标车辆感知范围内的交互车辆行驶状态信息,至少包括观测时间范围内的位置序列、速度、车辆信号灯状态:
采用多个向量来储存多个车辆状态信息,包含历史轨迹[x y],横向速度vx,纵向速度vx,横向加速度ax、纵向加速度ay,车辆尾灯信号l,其中l=[L,R,B],L代表左转向灯,R代表右转向灯,B代表制动灯,将上述参数作为车辆具有时间序列的状态向量st=[x y vx ax vyay l]。
6.根据权利要求1所述的基于行驶道路自适应更新阈值的智能驾驶车辆行为预测方法,其特征在于:
车辆行驶状态的表示方法具体为:通过车辆之间通信获得目标车辆以及交互车辆的历史轨迹[x y],横向速度vx,纵向速度vy,横向加速度ax、纵向加速度ay,作为目标车辆具有时间序列的状态向量st=[x y vx ax vy ay];
通过处理车辆位置信息,获得车辆间相对位置距离信息d=[dx dy];
预测结果的设为行为动作集A=(LCL LCLB LCR LCRB LK LKB),包含:车道保持LK、左变道LCL,右变道LCR、减速车道保持LKB、减速左换道LCLB、减速右换道LCRB。
7.根据权利要求1所述的基于行驶道路自适应更新阈值的智能驾驶车辆行为预测方法,其特征在于:构建所述车辆行为预测模型具体为:
采用基于LSTM的行为预测模型,网络结构由三层多个LSTM神经网络组成;
模型的输入为时间长度为L的目标车辆以及交互车辆的历史轨迹数据及环境信息IT=[ST ET],其中,sT1=[st1 st2 st3 st4……st47 st48 st49 st50],其中包括该时间长度内50个采样的状态向量,模型的输出为行为动作集A中的各动作的检测概率矩阵Φ=[θ1 θ2 θ3 θ4 θ5θ6];
在三层LSTM结构中,原始输入向量和历史输出向量一起进入第一层,第一层包含的LSTM单元,通过它的遗忘门、输入门和输出门得到输出向量,其不只是用作下一层LSTM单元的输入向量,也同时传递到同一层的下一个LSTM单元;采用Softmax函数对数值特征进行归一化处理,使得输出的向量具有概率意义;
在进行目标车辆行为预测中,将滑动窗口法应用在行为预测模型,利用更多的时间步长内的状态信息:IT-2、IT-1、IT对目标车辆未来时间的行为意图ΦT+1进行预测,即(IT-2 IT-1IT)→(ΦT+1)。
8.根据权利要求1所述的基于行驶道路自适应更新阈值的智能驾驶车辆行为预测方法,其特征在于:基于周围环境计算行为确信阈值修正系数矩阵,具体包括:考虑当前驾驶环境,对当前驾驶场景进行评估,使用碰撞时间TTC和制动时间TTB以评估车辆碰撞的可能性,根据评估结果计算各个动作修正系数。
9.根据权利要求1所述的基于行驶道路自适应更新阈值的智能驾驶车辆行为预测方法,其特征在于:
基于碰撞时间TTC评估目标车辆以及筛选范围内车辆在当前车道与其前车行驶状态关系,进行换道阈值更新:
其中TTCi为目标车辆当前车道筛选范围内第i辆前车评估结果,TTC1表示目标车辆与第一辆前车关系,具体风险参数评估公式如下:
道路风险参数评估公式为,R=r0+γ(r1+γ(r2+…γrn)),其中γ为折扣系数;
判断目标车辆当前道路状态,当R<1时判定目标车辆处于松弛行驶空间,当R≥1时判定目标车辆处于非松弛行驶空间,目标车辆的行驶空间会逐渐压缩;
当R<1时,对左右两侧道路进行风险参数评估获得左侧道路风险参数Rl、右侧道路风险参数Rr,若左右两侧道路风险系数小于当前车道风险系数,Rl/Rr<R,判断左侧或者右侧道路更适合行驶,通过换道空间检测后,减小向左侧或右侧换道确信阈值;反之,若Rl/Rr≥R或者未通过换道空间检测,则增大向左侧或右侧换道确信阈值;
当R≥1时,对左右两侧道路进行风险参数评估获得左侧道路风险参数Rl、右侧道路风险参数Rr,若左右两侧道路风险系数小于1,Rl/Rr<1,判断左右两侧道路更适合行驶,通过换道空间检测后,增大车道保持确信阈值;反之,若Rl/Rr≥1或者未通过换道空间检测,则减少车道保持确信阈值;
为了保障换道过程的安全性,对换道空间进行评估,对左右车道后车进行碰撞检测:
Dmin=dsafe+max{TTCr(v0-vr)};
其中Dmin为当前速度下目标车辆与左右车道后车的最小安全距离,dsafe为安全距离冗余量,v0为目标车辆速度,vr为左右车道后车速度,TTCr为目标车辆与左右车道后车预估碰撞时间;
根据对目标车辆道路风险参数评估,获得车辆换道阈值修正系数σLCL,σLK,σLCR;
当目标车辆与当前车道第一前车车速相近时,基于制动时间TTB评估目标车辆在当前车道与前车碰撞关系,进行换道阈值更新:
判断目标车辆与当前车道第一前车速度差是否小于设定阈值,计算TTB判断在车速相近时两辆车的碰撞风险,计算公式如下:
d为两辆车之间的距离,v为目标车辆速度;
进行危险程度评估,当TTB小于设定阈值TTBth时,说明目标车辆与交互车辆有碰撞风险,具有较大可能进行减速驾驶行为;
根据对目标车辆道路风险参数评估,获得车辆减速阈值修正系数σK,σB的修正系数将对原始确信阈值进行更新,更新公式如下;
基于更新后的确信阈值以及各动作的检测概率矩阵,输出被预测车辆在未来一段时间范围内的行为意图,包括以下步骤:
当有多个动作概率超过确信阈值,即若{σ'1<θ1,σ'3<θ3,σ'5<θ5},将最大概率所对应的动作作为预测输出结果,a=max{θ1 θ3 θ5}。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210839912.2A CN115179959B (zh) | 2022-07-18 | 2022-07-18 | 基于行驶道路自适应更新阈值的智能驾驶车辆行为预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210839912.2A CN115179959B (zh) | 2022-07-18 | 2022-07-18 | 基于行驶道路自适应更新阈值的智能驾驶车辆行为预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115179959A true CN115179959A (zh) | 2022-10-14 |
CN115179959B CN115179959B (zh) | 2024-08-02 |
Family
ID=83519764
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210839912.2A Active CN115179959B (zh) | 2022-07-18 | 2022-07-18 | 基于行驶道路自适应更新阈值的智能驾驶车辆行为预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115179959B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116088476A (zh) * | 2023-01-12 | 2023-05-09 | 清华大学 | 一种实现自适应加速测试评估的方法及装置 |
CN116226787A (zh) * | 2023-05-04 | 2023-06-06 | 中汽信息科技(天津)有限公司 | 商用车出险概率预测方法、设备和介质 |
CN116246492A (zh) * | 2023-03-16 | 2023-06-09 | 东南大学 | 一种基于时空注意力lstm和超阈值模型的车辆换道碰撞风险预测方法 |
CN116259185A (zh) * | 2023-01-30 | 2023-06-13 | 湖南大学无锡智能控制研究院 | 停车场场景下融合预测算法的车辆行为决策方法及装置 |
CN116520681A (zh) * | 2023-07-03 | 2023-08-01 | 小舟科技有限公司 | 轮椅自动行驶控制方法及装置、自动行驶轮椅 |
CN117246321A (zh) * | 2023-09-14 | 2023-12-19 | 武汉科技大学 | 一种多场景下的前方危险目标检测方法及aeb控制策略 |
CN117555333A (zh) * | 2023-11-21 | 2024-02-13 | 深圳云程科技有限公司 | 一种动态行进轨迹的处理系统及方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110427850A (zh) * | 2019-07-24 | 2019-11-08 | 中国科学院自动化研究所 | 驾驶员高速道路换道意图预测方法、系统、装置 |
US20200089977A1 (en) * | 2018-09-17 | 2020-03-19 | Honda Motor Co., Ltd. | Driver behavior recognition and prediction |
CN111667512A (zh) * | 2020-05-28 | 2020-09-15 | 浙江树人学院(浙江树人大学) | 基于改进卡尔曼滤波的多目标车辆轨迹预测方法 |
CN113511222A (zh) * | 2021-08-27 | 2021-10-19 | 清华大学 | 场景自适应式车辆交互行为决策与预测方法及装置 |
CN114730527A (zh) * | 2019-12-12 | 2022-07-08 | 英特尔公司 | 基于责任敏感安全性的易受伤害道路使用者安全性技术 |
-
2022
- 2022-07-18 CN CN202210839912.2A patent/CN115179959B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200089977A1 (en) * | 2018-09-17 | 2020-03-19 | Honda Motor Co., Ltd. | Driver behavior recognition and prediction |
CN110427850A (zh) * | 2019-07-24 | 2019-11-08 | 中国科学院自动化研究所 | 驾驶员高速道路换道意图预测方法、系统、装置 |
CN114730527A (zh) * | 2019-12-12 | 2022-07-08 | 英特尔公司 | 基于责任敏感安全性的易受伤害道路使用者安全性技术 |
CN111667512A (zh) * | 2020-05-28 | 2020-09-15 | 浙江树人学院(浙江树人大学) | 基于改进卡尔曼滤波的多目标车辆轨迹预测方法 |
CN113511222A (zh) * | 2021-08-27 | 2021-10-19 | 清华大学 | 场景自适应式车辆交互行为决策与预测方法及装置 |
Non-Patent Citations (4)
Title |
---|
ALEX ZYNER 等: "Long short term memory for driver intent prediction", 《 2017 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV)》, 31 July 2017 (2017-07-31) * |
林歆悠;莫李平;罗勇;张少博;: "基于能量预测的增程式电动汽车分时混动能量管理策略", 汽车工程, no. 04, 25 April 2017 (2017-04-25) * |
胡均平;刘镇;李勇成;: "汽车驾驶员自适应防碰撞预警系统设计", 计算机仿真, no. 11, 15 November 2017 (2017-11-15) * |
谢辉;高斌;熊硕;王悦;: "结构化道路中动态车辆的轨迹预测", 汽车安全与节能学报, no. 04, 15 December 2019 (2019-12-15) * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116088476A (zh) * | 2023-01-12 | 2023-05-09 | 清华大学 | 一种实现自适应加速测试评估的方法及装置 |
CN116259185A (zh) * | 2023-01-30 | 2023-06-13 | 湖南大学无锡智能控制研究院 | 停车场场景下融合预测算法的车辆行为决策方法及装置 |
CN116259185B (zh) * | 2023-01-30 | 2023-10-13 | 湖南大学无锡智能控制研究院 | 停车场场景下融合预测算法的车辆行为决策方法及装置 |
CN116246492A (zh) * | 2023-03-16 | 2023-06-09 | 东南大学 | 一种基于时空注意力lstm和超阈值模型的车辆换道碰撞风险预测方法 |
CN116246492B (zh) * | 2023-03-16 | 2024-01-16 | 东南大学 | 一种基于时空注意力lstm和超阈值模型的车辆换道碰撞风险预测方法 |
CN116226787A (zh) * | 2023-05-04 | 2023-06-06 | 中汽信息科技(天津)有限公司 | 商用车出险概率预测方法、设备和介质 |
CN116520681A (zh) * | 2023-07-03 | 2023-08-01 | 小舟科技有限公司 | 轮椅自动行驶控制方法及装置、自动行驶轮椅 |
CN116520681B (zh) * | 2023-07-03 | 2023-09-05 | 小舟科技有限公司 | 轮椅自动行驶控制方法及装置、自动行驶轮椅 |
CN117246321A (zh) * | 2023-09-14 | 2023-12-19 | 武汉科技大学 | 一种多场景下的前方危险目标检测方法及aeb控制策略 |
CN117555333A (zh) * | 2023-11-21 | 2024-02-13 | 深圳云程科技有限公司 | 一种动态行进轨迹的处理系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115179959B (zh) | 2024-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115179959B (zh) | 基于行驶道路自适应更新阈值的智能驾驶车辆行为预测方法 | |
CN112099496B (zh) | 一种自动驾驶训练方法、装置、设备及介质 | |
CN111382768B (zh) | 多传感器数据融合方法和装置 | |
US10733510B2 (en) | Vehicle adaptive learning | |
US10481609B2 (en) | Parking-lot-navigation system and method | |
CN110843789B (zh) | 一种基于时序卷积网络的车辆换道意图预测方法 | |
CN110738870A (zh) | 用于避免碰撞路线的系统和方法 | |
CN113370996B (zh) | 自动驾驶换道跟驰决策方法及系统、自动驾驶车辆 | |
CN114435351A (zh) | 用于基于神经网络的自动驾驶的系统和方法 | |
JP7505020B2 (ja) | 経路区間評価方法及び車両操作方法 | |
CN113228131B (zh) | 用于提供周围环境数据的方法和系统 | |
CN115523934A (zh) | 一种基于深度学习的车辆轨迹预测方法及系统 | |
US11429843B2 (en) | Vehicle operation labeling | |
CN112249016A (zh) | 用于自动驾驶车辆的掉头控制系统和方法 | |
CN117320945A (zh) | 用于确定自主车辆控制中的运动预测的运动模型的方法和系统 | |
CN111599166B (zh) | 用于解释交通信号和协商信号化的交叉路口的方法和系统 | |
CN117755336A (zh) | 基于大模型的车辆自动驾驶方法及系统 | |
Gupta et al. | Multi-sensor fusion in autonomous heavy vehicles | |
JP6796679B2 (ja) | 車両制御システム及び方法、並びに走行支援サーバ | |
Misawa et al. | Prediction of driving behavior based on sequence to sequence model with parametric bias | |
CN113029155A (zh) | 机器人自动导航方法及装置、电子设备、存储介质 | |
CN113844446A (zh) | 融合长短程的车辆轨迹预测方法 | |
CN112519779A (zh) | 基于位置的车辆操作 | |
US20240320501A1 (en) | Rule visualization | |
US20230410469A1 (en) | Systems and methods for image classification using a neural network combined with a correlation structure |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |