CN112193245B - 一种考虑驾驶员模糊感知的深度学习跟驰预测方法 - Google Patents

一种考虑驾驶员模糊感知的深度学习跟驰预测方法 Download PDF

Info

Publication number
CN112193245B
CN112193245B CN202011015180.2A CN202011015180A CN112193245B CN 112193245 B CN112193245 B CN 112193245B CN 202011015180 A CN202011015180 A CN 202011015180A CN 112193245 B CN112193245 B CN 112193245B
Authority
CN
China
Prior art keywords
following
vehicle
deep learning
data
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011015180.2A
Other languages
English (en)
Other versions
CN112193245A (zh
Inventor
李林波
李瑞杰
李杨
邹亚杰
王文璇
杨小雪
刘艳婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202011015180.2A priority Critical patent/CN112193245B/zh
Publication of CN112193245A publication Critical patent/CN112193245A/zh
Application granted granted Critical
Publication of CN112193245B publication Critical patent/CN112193245B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14Adaptive cruise control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14Adaptive cruise control
    • B60W30/16Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/042Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本发明涉及一种考虑驾驶员模糊感知的深度学习跟驰预测方法,包括如下步骤:S1、训练用于根据跟驰特征数据预测本车速度深度学习跟驰模型;S2、获取真实跟驰特征时序数据,输入至深度学习跟驰模型得到本车速度预测时序数据;S3、提取待预测时刻前N个时刻的真实跟驰特征时序数据以及本车速度预测时序数据作为第一数据集和第二数据集;S4、确定模糊感知时间窗,将第一数据集中位于模糊感知时间窗内的本车速度替换为第二数据集中对应时刻的本车速度预测值形成预测输入数据;S5、将预测输入数据输入至深度学习跟驰模型得到待预测时刻的本车速度预测值。与现有技术相比,本发明设置不同的模糊感知时间窗可对同一跟驰场景生成异质跟驰行为。

Description

一种考虑驾驶员模糊感知的深度学习跟驰预测方法
技术领域
本发明涉及微观交通流建模预测领域,尤其是涉及一种考虑驾驶员模糊感知的深度学习跟驰预测方法。
背景技术
跟驰行为是后车驾驶员根据自身及前车运动状态不断调整本车运动状态的驾驶行为。跟驰行为的建模与仿真对交通安全及通行效率有很大意义。从建模方法角度划分,跟驰模型可分为理论驱动与数据驱动两类。理论驱动模型优点是可以描述跟驰过程中的某几个显性因素,但对驾驶人的驾驶经验以及模糊感知特性,难以准确刻画。随着大数据技术、人工智能及深度学习的迅速发展,从数据驱动的角度,基于人工神经网络方法,直接对数据样本进行学习并预测,被证明能够更为准确地模拟人的行为特性。
当前,基于数据驱动的跟驰模型在数据获取方式和精度方面依然存在一定的不足,用于训练神经网络的跟驰数据获取方式主要分为:
1)在车上安装各类传感器,获取前车与本车位置、速度以及间距等数据。
2)通过驾驶模拟器获取相应数据。
3)通过摄像机在高处对某路段进行视频录制,并随后通过视频图像处理技术,提取视频中车辆原始轨迹数据。
车载传感器方式可能会对驾驶员以及道路周边用户行为造成影响,导致收集的数据无法准确反映自然驾驶行为,而通过高空安装摄像头或无人机航拍获取路段视频数据,并通过图像处理技术得到路段监控区域所有车辆轨迹信息可以避免对交通参与者的干扰,基于该方法使用最广泛的数据为NGSIM(Next Generation Simulation)数据。然而NGSIM数据集存在许多相邻轨迹间重合、速度-加速度矛盾,低分辨率带来的车辆位置标识误差等问题,且无法严格清洗或插补数据。由于基于深度学习类的人工智能算法,直接通过各种类型跟驰数据进行学习,因此,数据来源的缺陷必然会对预测结果产生不良影响。
驾驶员在跟驰过程中有很多独特特性,其中驾驶员过往驾驶记忆会帮助其更好的进行跟驰决策。此外,由于人工驾驶常无法精准感知当前时段的本车速度、车头时距等跟驰状态,在行驶过程中,需要依靠之前的驾驶记忆,并对即将出现的跟驰场景不断进行预估,从而进行相应操作。而目前,已有研究在上述方面还存在较大的不足。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种考虑驾驶员模糊感知的深度学习跟驰预测方法。
本发明的目的可以通过以下技术方案来实现:
一种考虑驾驶员模糊感知的深度学习跟驰预测方法,该方法包括如下步骤:
S1、训练深度学习跟驰模型,所述的深度学习跟驰模型的输入为连续N个时刻的跟驰特征时序数据,所述的跟驰特征包括本车速度、本车和前车车速差、本车和前车车头间距,深度学习跟驰模型的输出为第N+1时刻的本车速度预测值,N为常数;
S2、获取真实跟驰特征时序数据,并输入至深度学习跟驰模型得到本车速度预测时序数据;
S3、选取待预测时刻,提取待预测时刻前连续N个时刻的真实跟驰特征时序数据作为第一数据集,提取本车速度预测时序数据作为第二数据集;
S4、确定模糊感知时间窗模拟驾驶员模糊感知特性,将第一数据集中位于模糊感知时间窗内的本车速度替换为第二数据集中对应时刻的本车速度预测值进而形成预测输入数据;
S5、将预测输入数据输入至深度学习跟驰模型得到待预测时刻的本车速度预测值。
优选地,所述的深度学习跟驰模型为循环神经网络。
优选地,循环神经网络的循环神经单元采用GRU单元。
优选地,所述的深度学习跟驰模型的训练数据为highD数据集中的跟驰片段数据集。
优选地,所述的训练数据从highD数据集中筛选得到,具体为:在highD数据集中针对小汽车的跟驰行为进行筛选,从highD数据集的轨迹元数据中选取车辆换道次数为0的数据作为训练数据。
优选地,深度学习跟驰模型的损失函数为f:
Figure BDA0002698823670000031
其中,
Figure BDA0002698823670000032
以及
Figure BDA0002698823670000033
分别为本车速度预测值以及真实值,NUM为训练的跟驰对个数,T为每对跟驰对的训练次数。
优选地,深度学习跟驰模型训练过程中的优化算法选择Adam算法。
优选地,所述的模糊感知时间窗的大小确定为m个时刻,m的取值为:0≤m≤N。
优选地,所述的模糊感知时间窗从待预测时刻的前一时刻开始向前延伸扩展m个时刻。
优选地,在步骤S4~S5的预测过程中,改变模糊感知时间窗m的取值大小,得到同一驾驶员在不同模糊感知状态下的跟驰预测对比图。
与现有技术相比,本发明具有如下优点:
(1)本发明跟驰预测过程中,真实跟驰特征时序数据表征了驾驶员的记性特性,而通过深度学习跟驰模型得到的本车速度预测值表征了驾驶员的模糊感知特性,因此,本发明设置模糊感知时间窗将驾驶员记忆特性以及模糊感知特性同时融入,一方面,使得模型可更加精确拟合后车跟驰行为,另一方面,使得模型可针对同一场景生成不同跟驰行为,有利于异质交通流仿真以及无人驾驶技术拟人化;
(2)本发明模糊感知时间窗大小代表驾驶员对当前场景的模糊感知程度,当m为0时,说明驾驶员该时刻可精准感知过往驾驶状态;当m=N时,说明驾驶员当前时刻对过往场景的认知程度十分不确定,因此通过不同大小的模糊感知时间窗下的跟驰预测可模拟同一驾驶员不同感知状态下的异质交通行为;
(3)本发明在对已有的各类跟驰数据集不足进行分析的基础上,提取精度很高的highD数据集中的跟驰片段。从数据源角度,提升基于数据驱动方法的跟驰模型精度。
附图说明
图1为本发明考虑驾驶员模糊感知的深度学习跟驰预测方法的整体流程框图;
图2为循环神经网络的结构示意图;
图3为模糊感知时间窗的设计示意图;
图4为考虑驾驶记忆的拟合结果;
图5为考虑模糊感知的实验仿真。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。注意,以下的实施方式的说明只是实质上的例示,本发明并不意在对其适用物或其用途进行限定,且本发明并不限定于以下的实施方式。
实施例
如图1所示,一种考虑驾驶员模糊感知的深度学习跟驰预测方法,该方法包括如下步骤:
S1、训练深度学习跟驰模型,深度学习跟驰模型的输入为连续N个时刻的跟驰特征时序数据,跟驰特征包括本车速度、本车和前车车速差、本车和前车车头间距,深度学习跟驰模型的输出为第N+1时刻的本车速度预测值,N为常数。
深度学习跟驰模型的训练数据为highD数据集中的跟驰片段数据集。highD数据集中包含德国6处不同高速公路路段,数据集包含小汽车以及卡车两种类型轨迹数据。对路段2的车辆轨迹数据进行提取。提取准则为:针对小汽车的跟驰行为进行筛选。highD轨迹元数据中的numLaneChanges字段表示车辆换道次数,在轨迹元数据中,提取该字段为0的数据集。筛选跟驰片段持续15s及以上的轨迹数据。最终得到的数据集共94条跟驰片段,总时间为4895s。其中,其前85条作为训练集,最后9条作为测试集。
如图2所示,本发明深度学习跟驰模型为循环神经网络。循环神经网络的输入层为连续N个时刻的:1)本车速度vn;2)本车和前车车速差Δvn;3)本车和前车车头间距sn,连续15个时刻的三维输入作为驾驶记忆。
循环神经网络的输出层为第N+1时刻的本车速度,循环神经网络每层的单元结构选择GRU单元(Gated recurrent unit)
深度学习跟驰模型的损失函数为f:
Figure BDA0002698823670000041
其中,
Figure BDA0002698823670000051
以及
Figure BDA0002698823670000052
分别为本车速度预测值以及真实值,NUM为训练的跟驰对个数,T为每对跟驰对的训练次数。
深度学习跟驰模型训练过程中的优化算法选择Adam算法。步骤1所提取的数据中,前85条作为训练集,其中20%的训练集数据作为验证集,以防过拟合。设置训练迭代次数为500代,一批次输入训练数据32组。参数patience为10,即在连续10次训练中内,验证集损失函数均未提升的话,则自动停止训练。保留后9条跟驰对作为测试集,用于对模型评估。
设计输入时序长度为3s,以0.2s为一个时间单位,则每次输入15个时刻的特征。
对网络层数以及每层的输出维度进行设计,如表1所示,共设计五种模型。
表1不同模型结构
Figure BDA0002698823670000053
以本文设计的损失函数为评选指标,经多次实验,模型3效果最好且稳定,其验证集损失函数为0.6565。该网络经过154次循环后自动停止计算,故选择一层输出维度为32的GRU神经网络。
S2、获取真实跟驰特征时序数据,并输入至深度学习跟驰模型得到本车速度预测时序数据。
S3、选取待预测时刻,提取待预测时刻前连续N个时刻的真实跟驰特征时序数据作为第一数据集,提取本车速度预测时序数据作为第二数据集。
S4、确定模糊感知时间窗模拟驾驶员模糊感知特性,模糊感知时间窗的大小确定为m个时刻,m的取值为:0≤m≤N,模糊感知时间窗从待预测时刻的前一时刻开始向前延伸扩展m个时刻,进而将第一数据集中位于模糊感知时间窗内的本车速度替换为第二数据集中对应时刻的本车速度预测值进而形成预测输入数据。
模糊感知时间窗的选取如图3所示,其在每次连续N个输入时序数据中,将其中m个作为真实状态值通过对应时刻的模型预测值来代替,作为驾驶员对实际场景的估计,即模糊感知。m取值范围为0到N。其大小代表驾驶员对当前场景的模糊感知程度。当m为0时,说明驾驶员该时刻可精准感知过往驾驶状态,当m=N时,说明驾驶员当前时刻对过往场景的认知程度十分不确定。
S5、将预测输入数据输入至深度学习跟驰模型得到待预测时刻的本车速度预测值。
在步骤S4~S5的预测过程中,改变模糊感知时间窗m的取值大小,得到同一驾驶员在不同模糊感知状态下的跟驰预测对比图。本实施例进行驾驶记忆仿真验证和模糊感知仿真验证,具体地:
驾驶记忆仿真验证:将模糊感知时间窗设置为0,仅模拟驾驶记忆,对9个测试片段后车速度的预测结果如图4所示。图中,实线和虚线两条曲线分别为后车车速的真实值以及预测值,可以看出,该网络在不同的跟驰场景上都有很高的拟合精度。
模糊感知仿真验证:针对其中一个跟驰场景,具体描述如下:前车在0~12s期间以23.36m·s-1小幅减速至23.07m·s-1,后车在开始阶段,车头间距为33.65m。模糊感知时间窗从0.2s依次递增到3s。进行仿真,所得结果如图5所示,四个子图分别为速度、车头间距、位移、加速度的仿真计算,其中,实线代表前车信息,虚线为不同模糊感知时间窗大小下的仿真结果。从位移曲线可看出,在各模糊窗大小下,后车行为均与前车保持稳定的跟驰状态;从剩余三张子图可得出,带模糊感知时间窗的模型可在同一跟驰场景下生成不同跟驰行为,可模拟同一驾驶员不同感知状态下的异质交通行为。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
上述实施方式仅为例举,不表示对本发明范围的限定。这些实施方式还能以其它各种方式来实施,且能在不脱离本发明技术思想的范围内作各种省略、置换、变更。

Claims (10)

1.一种考虑驾驶员模糊感知的深度学习跟驰预测方法,其特征在于,该方法包括如下步骤:
S1、训练深度学习跟驰模型,所述的深度学习跟驰模型的输入为连续N个时刻的跟驰特征时序数据,所述的跟驰特征包括本车速度、本车和前车车速差、本车和前车车头间距,深度学习跟驰模型的输出为第N+1时刻的本车速度预测值,N为常数;
S2、获取真实跟驰特征时序数据,并输入至深度学习跟驰模型得到本车速度预测时序数据;
S3、选取待预测时刻,提取待预测时刻前连续N个时刻的真实跟驰特征时序数据作为第一数据集,提取本车速度预测时序数据作为第二数据集;
S4、确定模糊感知时间窗模拟驾驶员模糊感知特性,将第一数据集中位于模糊感知时间窗内的本车速度替换为第二数据集中对应时刻的本车速度预测值进而形成预测输入数据;
S5、将预测输入数据输入至深度学习跟驰模型得到待预测时刻的本车速度预测值。
2.根据权利要求1所述的一种考虑驾驶员模糊感知的深度学习跟驰预测方法,其特征在于,所述的深度学习跟驰模型为循环神经网络。
3.根据权利要求2所述的一种考虑驾驶员模糊感知的深度学习跟驰预测方法,其特征在于,循环神经网络的循环神经单元采用GRU单元。
4.根据权利要求1所述的一种考虑驾驶员模糊感知的深度学习跟驰预测方法,其特征在于,所述的深度学习跟驰模型的训练数据为highD数据集中的跟驰片段数据集。
5.根据权利要求4所述的一种考虑驾驶员模糊感知的深度学习跟驰预测方法,其特征在于,所述的训练数据从highD数据集中筛选得到,具体为:在highD数据集中针对小汽车的跟驰行为进行筛选,从highD数据集的轨迹元数据中选取车辆换道次数为0的数据作为训练数据。
6.根据权利要求1所述的一种考虑驾驶员模糊感知的深度学习跟驰预测方法,其特征在于,深度学习跟驰模型的损失函数为f:
Figure FDA0002698823660000021
其中,
Figure FDA0002698823660000022
以及
Figure FDA0002698823660000023
分别为本车速度预测值以及真实值,NUM为训练的跟驰对个数,T为每对跟驰对的训练次数。
7.根据权利要求1所述的一种考虑驾驶员模糊感知的深度学习跟驰预测方法,其特征在于,深度学习跟驰模型训练过程中的优化算法选择Adam算法。
8.根据权利要求1所述的一种考虑驾驶员模糊感知的深度学习跟驰预测方法,其特征在于,所述的模糊感知时间窗的大小确定为m个时刻,m的取值为:0≤m≤N。
9.根据权利要求8所述的一种考虑驾驶员模糊感知的深度学习跟驰预测方法,其特征在于,所述的模糊感知时间窗从待预测时刻的前一时刻开始向前延伸扩展m个时刻。
10.根据权利要求8所述的一种考虑驾驶员模糊感知的深度学习跟驰预测方法,其特征在于,在步骤S4~S5的预测过程中,改变模糊感知时间窗m的取值大小,得到同一驾驶员在不同模糊感知状态下的跟驰预测对比图。
CN202011015180.2A 2020-09-24 2020-09-24 一种考虑驾驶员模糊感知的深度学习跟驰预测方法 Active CN112193245B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011015180.2A CN112193245B (zh) 2020-09-24 2020-09-24 一种考虑驾驶员模糊感知的深度学习跟驰预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011015180.2A CN112193245B (zh) 2020-09-24 2020-09-24 一种考虑驾驶员模糊感知的深度学习跟驰预测方法

Publications (2)

Publication Number Publication Date
CN112193245A CN112193245A (zh) 2021-01-08
CN112193245B true CN112193245B (zh) 2021-09-03

Family

ID=74016188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011015180.2A Active CN112193245B (zh) 2020-09-24 2020-09-24 一种考虑驾驶员模糊感知的深度学习跟驰预测方法

Country Status (1)

Country Link
CN (1) CN112193245B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101519073A (zh) * 2009-04-07 2009-09-02 北京大学 一种混合动力汽车行驶负载预测方法
CN102662320A (zh) * 2012-03-05 2012-09-12 吴建平 一种基于模糊数学的车辆跟驰模拟方法
CN103914985B (zh) * 2014-04-25 2015-10-28 大连理工大学 一种混合动力客车未来车速轨迹预测方法
CN110750877B (zh) * 2019-09-27 2024-05-03 西安理工大学 一种Apollo平台下的车辆跟驰行为预测方法
CN111338385A (zh) * 2020-01-22 2020-06-26 北京工业大学 一种基于GRU网络模型与Gipps模型融合的车辆跟驰方法

Also Published As

Publication number Publication date
CN112193245A (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
CN107492251B (zh) 一种基于机器学习与深度学习的驾驶员身份识别与驾驶状态监测方法
CN109460023A (zh) 基于隐马尔科夫模型的驾驶人换道意图识别方法
CN105892471A (zh) 汽车自动驾驶方法和装置
CN113044064B (zh) 基于元强化学习的车辆自适应的自动驾驶决策方法及系统
CN106169188A (zh) 一种基于蒙特卡洛树搜索的对象跟踪方法
CN112734808A (zh) 一种车辆行驶环境下易受伤害道路使用者的轨迹预测方法
CN112906631B (zh) 一种基于视频的危险驾驶行为检测方法和检测系统
CN106295645A (zh) 一种车牌字符识别方法和装置
CN112883991A (zh) 对象分类方法、对象分类电路、机动车辆
Kim et al. Toward explainable and advisable model for self‐driving cars
CN212009589U (zh) 一种基于深度学习的视频识别行车车轨迹获取装置
CN112580149A (zh) 基于生成对抗网络和驾驶时长的车辆跟驰模型生成方法
CN114972911A (zh) 自动驾驶感知算法模型的输出数据收集处理方法及设备
CN115691134A (zh) 一种基于对抗生成网络的智能汽车测试场景库构建方法
CN102945602B (zh) 一种用于交通事件检测的车辆轨迹分类方法
CN112193245B (zh) 一种考虑驾驶员模糊感知的深度学习跟驰预测方法
CN113642682B (zh) 一种多车交互环境下的轨迹基元提取与分析方法和系统
CN114495486B (zh) 一种基于层次强化学习的微观交通流预测系统及方法
CN115981302A (zh) 车辆跟驰换道行为决策方法、装置及电子设备
Zhu et al. (Retracted) Transfer learning-based YOLOv3 model for road dense object detection
CN113879333B (zh) 轨迹预测方法、装置、电子设备及存储介质
CN112133100B (zh) 一种基于r-cnn的车辆检测方法
Arbabi et al. Planning for autonomous driving via interaction-aware probabilistic action policies
CN113343817A (zh) 一种面向目标区域的无人车路径检测方法、装置及介质
Ammar et al. Comparative Study of latest CNN based Optical Flow Estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant