CN111724597A - 基于驾驶行为评估驾驶员认知表现的研究方法 - Google Patents
基于驾驶行为评估驾驶员认知表现的研究方法 Download PDFInfo
- Publication number
- CN111724597A CN111724597A CN202010589554.5A CN202010589554A CN111724597A CN 111724597 A CN111724597 A CN 111724597A CN 202010589554 A CN202010589554 A CN 202010589554A CN 111724597 A CN111724597 A CN 111724597A
- Authority
- CN
- China
- Prior art keywords
- driver
- data
- regression
- driving
- cognitive performance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Analytical Chemistry (AREA)
- Quality & Reliability (AREA)
- Chemical & Material Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开一种基于驾驶行为评估驾驶员认知表现的研究方法,包括如下步骤:1)针对收集到实验的数据库,数据预处理;2)回归函数中,利用皮尔森系数挑选特征,构建lasso回归和ridge回归的函数,进行交叉验证,提高准确率,得到预测的认知表现;3)利用两种方法分别预测驾驶员认知行为;4)驾驶员行为分析:先分析MMSE目标,在“整体道路”,“住宅去和交叉点”,尤其是“住宅道路和交叉”中进行预测。
Description
技术领域
本发明涉及机器学习领域,提供一种基于驾驶行为评估驾驶员认知表现的研究方法,通过驾驶员行为分析,预测驾驶员的认知行为,提高驾驶安全性。
背景技术
汽车给人们的生活带来了巨大的变化,促进了经济发展,并改善了人们的生活水平;人类的流动性大大改善,促进了不同地区之间的交流,并使跨地区的生活和工作成为可能;它带动了相关产业的发展,使新兴产业和高科技的出现成为可能。然而,汽车也带来了巨大的危害,频繁的交通事故,废气排放污染了环境。其中,最严重的破坏是交通事故的频繁发生,交通一旦发生,不仅会造成经济损失,而且将对生命造成严重的威胁。造成交通事故的因素很多,例如:城市道路交通复杂多变的环境,车辆之间频繁的交通冲突以及错误的驾驶行为。如何能够提高驾驶员的能力,降低危险系数,将是我们的主要方向。
随着自动驾驶技术的发展,越来越多的人将分析驾驶行为,作为一种研究方向,有研究了驾驶行为的建模和预测,使用隐马尔可夫模型和高斯混合模型进行预测,主要是确定驾驶员的驾驶意图,分析驾驶员未来几秒钟的动向;还有的主要的是利用深度学习技术研究了驾驶行为的建模和预测,对于车辆的未来几秒的轨迹进行预测,由于数据量足够大,能够较好的预测未来的车辆状态。
面对交通事故频繁发生,我们提出了一个分析驾驶员行为的框架。这项研究是开发老年驾驶员的驾驶数据语料库,以分析驾驶行为以预测认知表现。为此,我们使用此模型来预测驾驶员的认知表现。这项研究的主要贡献如下。首先,我们阐明驾驶行为的有效特征,以使用新颖的数据集,预测认知表现,并使用多种有效方法(回归模型和LSTM模型)实施此过程。其次,我们通过比较现代机器学习算法来探索一种有效的算法来预测性能,这一过程对提高驾驶安全性具有重要的现实意义。
发明内容
本发明的目的在于克服现有技术的不足,提出一种,能够分析驾驶员的认知行为的水平的一种框架。
本发明主要是建立一个分析驾驶员行为的框架,技术方案是以名古屋大学的“老年人驾驶公共道路实验数据库”作为实验对象。整个实验的主要涉及以下几个方面:
本发明提出一种结合信号处理和神经网络的深度特征映射的语音去混响方法。技术方案以Reverb Challenge比赛的数据集作为实验对象。主要涉及四个方面:1)对原始数据进行清洗,去除残缺,无效,重复的数据;2)利用皮尔森系数,对特征进行选择,找到相关系数较为明显的特征;3)构建回归模型,深度学习模型,将提取的特征放入模型中进行训练;4)将预测的驾驶员的认知行为的结果,进行对比分析。
具体步骤如下:
1)数据处理
名古屋大学的老年人驾驶公共道路实验数据库中,原始数据库有38种驾驶员行为,有119种驾驶员的认知行为,但是由于数据驳杂,许多数据不能使用,所以要对数据进行预处理,清洗。这部分,我们对数据集进行整理,主要是去除一些应有的信息缺失,数据不是正确的格式,以及重复出现的数据,处理过后,留下了28组驾驶行为数据以及108组驾驶员认知行为。将处理好的数据,计算每一组驾驶行为的均值,标准差,最大值,最小值,25%,75%等,作为特征,进行下一步的处理。
2)特征选择
由于驾驶行为数据(变量)和驾驶认知表现行为(目标)的数量巨大,因此我们希望减少数据量并找到有效的信息,皮尔森相关系数可以很好地衡量几个变量之间的关系。根据皮尔森系数,将一些相关性很小的变量过滤掉,以获得更好的特性。
在判定确定功能的重要性,因此我们遵循以下原则:
相关系数在0.8-1,为非常强相关,0.6-0.79,为强相关0.4-0.59,中等相关,0.2-0.39弱相关,0.0-0.19微弱相关。根据相关系数判断来,变量和目标之间的关系。我们很少在数据中看到高于0.6的相关性,因此,我们认为高于0.4的相关性相对较强。
最后,基于皮尔森系数的结果,获得了21组驾驶行为数据和93组驾驶认知性能数据作为后续分析的主要数据。
3)构建模型
本发明中,为了寻找到优秀的预测结果,使用了两种方法:
一种是回归预测,在回归任务中,我们将驾驶行为作为输入数据:X认知表现作为输出数据(驾驶技能,认知功能,个人信息):Y。在驾驶过程(X)中,基于时间序列,平均值,标准差,最大值和最小值用作特征向量。将21种驾驶行为作为输入。实验预测包括:所有行驶路径,住宅道路,主干道路和交叉点。这是因为在主要道路和居民区,驾驶员的行为信息(例如速度,方向舵角度和加速度)是不同的,因此我们将它们分开并分别进行预测。在从X预测Y值的回归预测任务中,使用了两种模型,一种是套索回归模型,一种是岭回归模型。当然,在每个预测过程中,将95%的实验数据用于训练,并对其余样本进行测试。由于样本不多,我们使用交叉验证来提高准确性和可靠性。在交叉验证中,将参数设置为
训练集∶验证集∶测试集=10∶1∶1,
20组是训练集,2组是验证集,2组是测试集,然后连续滑动到继续训练。通过确定系数r2进行最终实验评估,以评估测试数据(平方误差除以y的方差(实际盛大真实分数)),该任务推测为认知表现,并将在r2>0.1作为基线。
另外一种是深度学习,使用长短期记忆网络(LSTM)进行对比实验,大数据的预测分析问题上使用了神经网络。因此,我们使用LSTM模型来考虑时间序列上的数据以进行预测。神经网络的使用与大量数据集是分不开的,我们使用的驾驶员行为数据记录了百万级行为,我们使用滑动窗口作为基准,使用500帧作为窗口大小。我们以每256帧为一个滑动点进行计算。没有计算出帧的平均值,标准差,最大值,最小值等,作为输入特征,放入LSTM模型中进行训练,我们使用双层LSTM。由于深度学习需要大量的计算能力,所以我们并未使用驾驶员的所有认知能力(目标)。我们选择了6种代表性(MMSE,Reaction unevenness(max-min)_accelerator,Coefficient of variation(100*SD/M)_accelerator brake,Coefficient of variation(100*SD/M)_accelerator brake,Road environmentunderstanding_WSQ,Confidence in driving skills_DSQ)的认知表现来进行预测。
最后,我们使用R2作为每个驾驶员认知表现的衡量标准,驾驶员真实表现是:y1,y2…yn
预测出来的人表现为f1,f2…fn.。
预测均值为:
原始数据和均值之差的平方和:
预测数据和均值之差的平方和:
相关系数:
4)驾驶员行为分析
在驾驶员的基本信息中,我们先分析MMSE目标,可以在“整体道路”,“住宅去和交叉点”,尤其是“住宅道路和交叉”中进行预测。主干道获得了较高的预测结果,表明在主干道和十字路口的驾驶行为可以起到很好的作用;最大反应时间,则是在整体道路和主干道有了作用;变动系数,在居民区和主干道,有精准的预测;驾驶操作变化能力和道路环境_WSQ,在主干道预测效果良好;最终运行自信,在整体道路和居民区有不错的结果。整体来说,我们建立一个框架,能够很好地预测了驾驶员的认知行为。
有益效果
本发明主要针对驾驶员的行为分析,重点以构建一个框架,分别是利用回归函数和深度学习的两种方法来构建,具体优点有:
1)使用全新的数据集来预测认知表现,并使用多种有效的函数来实现这个过程.
2)我们通过比较比较现代机器学习算法来探索一种有效的算法来预测性能。
3)针对驾驶员的行为,判断驾驶的安全系数,提高驾驶安全性。
附图说明
图1是基于回归和深度学习的系统框图。
图2是行车路线图。
具体实施方式
下面结合附图和附表对本发明中的作用和效果进行详细说明。
本实施例以基于名古屋大学的老年人驾驶公共道路实验数据库给出发明的实施方式,整个系统算法流程如图1所示,包括数据的清洗、数据的特征提取、实验函数,模型的构建、预测驾驶行为的分析几个步骤。具体步骤如下:
本发明以老年人驾驶公共道路实验数据集作为处理对象,提出了一个分析驾驶员行为的框架,系统流程图如图1所示,具体内容包括:
1)针对收集到实验的数据库,数据预处理
2)回归函数中,利用皮尔森系数挑选特征,构建lasso回归和ridge回归的函数,进行交叉验证,提高准确率,得到预测的认知表现;深度学习过程中,使用的驾驶员行为数据,均记录了百万级行为,我们使用滑动窗口作为基准,并使用512帧作为窗口大小。我们以每256帧为一个滑动点进行计算
3)利用两种方法分别预测驾驶员认知行为,并分析。
本发明的方法具体步骤如下:
1)实验数据集
该实验的数据由名古屋大学未来社会创新研究所的活动收集和记录。为了分析驾驶行为,该研究所开发了具有多种高精度记录设备的汽车,用于记录驾驶员的行为信息,例如GNSS,LiDAR,全景摄像头,后方激光雷达,辅助侧镜,前方激光雷达,前部摄像头,网络摄像头,驾驶员记录仪和辅助制动踏板等,该数据集被称为名古屋大学的老年人驾驶公共道路实验数据库。
其中,驾驶行为包括:车速,舵角,加速度,室内温度等21项指标;
驾驶员认知行为则有93种,我们将它分为4类:我们将驾驶员的认知表现分为以下几类:
基本信息:年龄,学历,视野等
认知功能:MMSE(Mini Mental State State Examination)
驾驶技巧:反应时间,反应不均匀
驾驶风格:WSQ,DSQ
至于驾驶路线,是名古屋市区的路线,首先,从A点开始,到达B点,然后绕着B附近的住宅路行驶,最后回到A点。
2)回归函数
在统计学习中,回归分析是非常重要的分析方法。它主要在因变量Y和影响它的自变量X之间建立回归模型,并测量自变量X影响因变量Y的能力。可以预测因变量Y的发展趋势。由于线性回归的函数,函数本身比较单一,对于拟合效果不好,所以采用的是岭回归和套索回归。将驾驶行为作为X,驾驶员的认知行为作为Y,进行实验。
3)深度学习
神经网络是一种模拟人脑神经元的方法。它基于大脑传递信息的方式。神经网络具有大量相互连接的节点,节点表示方法(激励函数),节点之间的连接表示连接信号的权重。由于节点的数量,不同的权重和激励函数导致不同的网络。
驾驶员行为数据,均记录了百万级行为,我们使用滑动窗口作为基准,并使用512帧作为窗口大小。我们以每256帧为一个滑动点进行计算。计算出每帧的平均值,标准差,最大值,最小值等。我们将功能部件放入LSTM模型中进行训练,我们使用双层LSTM,每个隐层的神经元的个数设置成1024,最终得到预测结果。
4)结果分析
最终回归函数和深度学习的预测结果如下表1:
表1为预测结果。这项研究提出了一种预测驾驶员认知表现的新颖框架,线性回归和神经网络模型用于预测,认知预测任务,最佳精度为,发现道路环境_WSQ的r2为0.726,MMSE的r2为0.641,驾驶能力操作变化为0.527。
最终得到了驾驶行为与认知表现之间的关系,能够很好地应该用在未来的驾驶员认知表现预测。
Claims (2)
1.基于驾驶行为评估驾驶员认知表现的研究方法,其特征在于,包括如下步骤:
1)针对收集到实验的数据库,数据预处理;
2)回归函数中,利用皮尔森系数挑选特征,构建lasso回归和ridge回归的函数,进行交叉验证,提高准确率,得到预测的认知表现:
使用滑动窗口作为基准,并使用512帧作为窗口大小,以每256帧为一个滑动点进行计算;
3)利用两种方法分别预测驾驶员认知行为;
4)驾驶员行为分析:先分析MMSE目标,在“整体道路”,“住宅去和交叉点”,尤其是“住宅道路和交叉”中进行预测。
2.根据权利要求1所述的基于驾驶行为评估驾驶员认知表现的研究方法,其特征在于,所述步骤3)寻找到优秀的预测结果,使用了两种方法:
回归预测,在回归任务中,我们将驾驶行为作为输入数据:X认知表现作为输出数据(驾驶技能,认知功能,个人信息):Y;在驾驶过程(X)中,基于时间序列,平均值,标准差,最大值和最小值用作特征向量;将21种驾驶行为作为输入;
实验预测包括:所有行驶路径,住宅道路,主干道路和交叉点,将它们分开并分别进行预测;在从X预测Y值的回归预测任务中,使用了两种模型,一种是套索回归模型,一种是岭回归模型;使用交叉验证来提高准确性和可靠性;
在交叉验证中,将参数设置为:
训练集:验证集:测试集=10:1:1;
20组是训练集,2组是验证集,2组是测试集,然后连续滑动到继续训练,通过确定系数r2进行最终实验评估,以评估测试数据(平方误差除以y的方差(实际盛大真实分数)),该任务推测为认知表现,并将在r2>0.1作为基线;
另外一种是深度学习,使用长短期记忆网络(LSTM)进行对比实验,大数据的预测分析问题上使用了神经网络,使用LSTM模型来考虑时间序列上的数据以进行预测;
最后,我们使用R2作为每个驾驶员认知表现的衡量标准,驾驶员真实表现是:y1,y2…yn预测出来的人表现为f1,f2…fn.。
预测均值为:
原始数据和均值之差的平方和:
预测数据和均值之差的平方和:
相关系数:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010589554.5A CN111724597B (zh) | 2020-06-24 | 2020-06-24 | 基于驾驶行为评估驾驶员认知表现的研究方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010589554.5A CN111724597B (zh) | 2020-06-24 | 2020-06-24 | 基于驾驶行为评估驾驶员认知表现的研究方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111724597A true CN111724597A (zh) | 2020-09-29 |
CN111724597B CN111724597B (zh) | 2022-07-08 |
Family
ID=72568848
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010589554.5A Active CN111724597B (zh) | 2020-06-24 | 2020-06-24 | 基于驾驶行为评估驾驶员认知表现的研究方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111724597B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114098730A (zh) * | 2021-09-06 | 2022-03-01 | 北京无疆脑智科技有限公司 | 基于认知图谱的认知能力测试和训练方法、装置、设备和介质 |
WO2022201962A1 (ja) * | 2021-03-25 | 2022-09-29 | パナソニックIpマネジメント株式会社 | 運転特性判定装置、運転特性判定方法及び運転特性判定プログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106485090A (zh) * | 2016-10-21 | 2017-03-08 | 北京联合大学 | 一种基于回归学习的驾驶员视觉感知预测模型生成方法 |
CN106950956A (zh) * | 2017-03-22 | 2017-07-14 | 合肥工业大学 | 融合运动学模型和行为认知模型的行车轨迹预测系统 |
CN107492251A (zh) * | 2017-08-23 | 2017-12-19 | 武汉大学 | 一种基于机器学习与深度学习的驾驶员身份识别与驾驶状态监测方法 |
CN109118055A (zh) * | 2018-07-19 | 2019-01-01 | 众安信息技术服务有限公司 | 一种驾驶行为评分方法及装置 |
KR20190025164A (ko) * | 2017-08-31 | 2019-03-11 | 유니폴라 주식회사 | 운전능력 평가 시스템의 운전능력 평가 방법 |
CN110619482A (zh) * | 2019-09-27 | 2019-12-27 | 深圳前海车米云图科技有限公司 | 基于逻辑回归和单层次分析赋权法的驾驶行为评分方法 |
-
2020
- 2020-06-24 CN CN202010589554.5A patent/CN111724597B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106485090A (zh) * | 2016-10-21 | 2017-03-08 | 北京联合大学 | 一种基于回归学习的驾驶员视觉感知预测模型生成方法 |
CN106950956A (zh) * | 2017-03-22 | 2017-07-14 | 合肥工业大学 | 融合运动学模型和行为认知模型的行车轨迹预测系统 |
CN107492251A (zh) * | 2017-08-23 | 2017-12-19 | 武汉大学 | 一种基于机器学习与深度学习的驾驶员身份识别与驾驶状态监测方法 |
KR20190025164A (ko) * | 2017-08-31 | 2019-03-11 | 유니폴라 주식회사 | 운전능력 평가 시스템의 운전능력 평가 방법 |
CN109118055A (zh) * | 2018-07-19 | 2019-01-01 | 众安信息技术服务有限公司 | 一种驾驶行为评分方法及装置 |
CN110619482A (zh) * | 2019-09-27 | 2019-12-27 | 深圳前海车米云图科技有限公司 | 基于逻辑回归和单层次分析赋权法的驾驶行为评分方法 |
Non-Patent Citations (1)
Title |
---|
张磊等: "驾驶员行为模式的因子分析和模糊聚类", 《交通运输工程学报》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022201962A1 (ja) * | 2021-03-25 | 2022-09-29 | パナソニックIpマネジメント株式会社 | 運転特性判定装置、運転特性判定方法及び運転特性判定プログラム |
CN114098730A (zh) * | 2021-09-06 | 2022-03-01 | 北京无疆脑智科技有限公司 | 基于认知图谱的认知能力测试和训练方法、装置、设备和介质 |
CN114098730B (zh) * | 2021-09-06 | 2023-05-09 | 北京无疆脑智科技有限公司 | 基于认知图谱的认知能力测试和训练方法、装置、设备和介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111724597B (zh) | 2022-07-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111144039B (zh) | 一种基于深度学习的列车动态称重系统及称重方法 | |
CN109871599B (zh) | 一种无人驾驶车辆运行安全指数评价方法 | |
Carlos et al. | Evaluation of detection approaches for road anomalies based on accelerometer readings—Addressing who’s who | |
CN111008505B (zh) | 城市坡道行驶工况构建方法及应用 | |
CN111724597B (zh) | 基于驾驶行为评估驾驶员认知表现的研究方法 | |
CN110705774A (zh) | 一种车辆能耗分析的预测方法和系统 | |
CN112201069A (zh) | 基于深度强化学习的驾驶员纵向跟车行为模型构建方法 | |
CN110120218A (zh) | 基于gmm-hmm的高速公路大型车辆识别方法 | |
CN111222750A (zh) | 无人驾驶车辆综合定量测评系统及其方法 | |
CN111114556A (zh) | 基于多源指数加权损失下lstm的换道意图识别方法 | |
CN112733442A (zh) | 基于深度学习的路面长期性能预测模型及其构建方法 | |
CN108229567B (zh) | 驾驶员身份识别方法及装置 | |
CN108665191A (zh) | 基于聚集效应的地铁站外关联区域计算方法 | |
Moosavi et al. | Driving style representation in convolutional recurrent neural network model of driver identification | |
CN114973657A (zh) | 基于轨迹数据的城市交通噪声污染分析与评估方法 | |
Gagliardi et al. | An embedded system for acoustic data processing and AI-based real-time classification for road surface analysis | |
CN112419711A (zh) | 基于改进gmdh算法的封闭式停车场停车需求预测方法 | |
CN118228591A (zh) | 一种基于逆强化学习的智能汽车标准测试场景生成方法 | |
CN112632705B (zh) | 一种基于gmm和高斯过程回归的路感模拟方法 | |
CN116946183A (zh) | 一种考虑驾驶能力的商用车驾驶行为预测方法及车用设备 | |
CN113609777B (zh) | 一种基于车载感知设备的车辆行为分析方法与装置 | |
Zareian et al. | A combined Apriori algorithm and fuzzy controller for simultaneous ramp metering and variable speed limit determination in a freeway | |
CN112560354B (zh) | 一种基于高斯过程回归的跟车行为建模方法 | |
CN115565611B (zh) | 一种生物学回归预测方法、装置、设备及存储介质 | |
CN116933641A (zh) | 基于高斯过程回归的燃油车实际道路行驶排放预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |