CN108256487B - 一种基于反向双目的驾驶状态检测装置和方法 - Google Patents

一种基于反向双目的驾驶状态检测装置和方法 Download PDF

Info

Publication number
CN108256487B
CN108256487B CN201810052314.4A CN201810052314A CN108256487B CN 108256487 B CN108256487 B CN 108256487B CN 201810052314 A CN201810052314 A CN 201810052314A CN 108256487 B CN108256487 B CN 108256487B
Authority
CN
China
Prior art keywords
deviation
driver
amplitude
driving state
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810052314.4A
Other languages
English (en)
Other versions
CN108256487A (zh
Inventor
王冠
李振龙
李雪玮
张琳琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201810052314.4A priority Critical patent/CN108256487B/zh
Publication of CN108256487A publication Critical patent/CN108256487A/zh
Application granted granted Critical
Publication of CN108256487B publication Critical patent/CN108256487B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本发明公开了一种基于反向双目的驾驶状态检测装置和方法，根据车辆偏航率和驾驶员头部姿态对当前驾驶员驾驶状态进行判别。首先，根据Hough算法进行车道线检测和识别，计算车辆偏航率；同时采用多点透视算法对驾驶员头部姿态进行估计；然后建立基于高斯隶属度函数模糊判断规则，根据车辆偏航率与驾驶员头部姿态对驾驶员驾驶状态进行识别，建立完整驾驶员状态检测模型。

Description

一种基于反向双目的驾驶状态检测装置和方法
技术领域
本发明涉及一种基于反向双目的驾驶状态检测装置和方法。
背景技术
分心驾驶已成为造成交通事故的重要原因之一。美国国家公路交通安全管理局的调查中指出，80％车辆碰撞是由驾驶员分心以及注意力不集中造成的。LEE等人将分心驾驶定义为驾驶员将注意力转向至与驾驶无关的活动，造成驾驶员视觉分心以及认知分心，导致操作能力下降。视觉分心和认知分心分别指驾驶员视线离开道路和意识离开道路[3]，两者都会影响驾驶员的驾驶操作行为。
在驾驶过程中，驾驶员主要通过注视前方道路来获取驾驶信息，但是受到周围环境的影响，例如操作手机，观看路边广告牌等行为会导致驾驶员视线偏离前方注视区，造成驾驶过程中的视觉分心驾驶。而视觉分心严重影响驾驶员对当前交通环境以及当前道路认知程度，造成车辆偏离等结果，增加碰撞危险。因此，非常有必要对驾驶员视觉分心进行检测。
目前，驾驶员视觉分心的检测方法主要有眼动测量方法、视觉遮挡测量法、外周视觉检测任务法、基于驾驶行为的方法、基于车辆状态的方法和基于驾驶员状态的方法以及基于这些方法的信息融合。
眼动测量仪通过记录眼动数据来测量驾驶员视线离开路面时间，闭眼时间以及头部转动等数据，可以提供准确和全面的眼动信息，在驾驶分心中有着广泛的应用。视觉遮挡技术通过测量驾驶员视线离开道路区域的时间长度对驾驶分心进行检测。驾驶员在驾驶过程中只需要部分时间注意路面，而其它时间可以用来进行其它活动，通过设计某种遮蔽装置来遮挡驾驶员视线，同时驾驶员可以自主控制遮蔽装置的开闭，由此推算出驾驶员注视路面的需要时长，该方法普遍用于模拟条件下的驾驶分心研究。外周视觉检测任务测量方法针对驾驶行为进行双任务测量，通过测量外周视觉检测任务的绩效来评价驾驶者的驾驶行为，该方法主要用于驾驶任务车内信息系统，比如导航系统，使用电话等多任务绩效测量，通过任务绩效评价驾驶分心造成的认知和视觉负荷。基于驾驶行为的方法、基于车辆状态的方法和基于驾驶员状态的方法主要是根据驾驶员的操控行为，车辆的速度、偏航率，驾驶员的头部状态、眼睛状态等来判断是否分心。信息融合主要是采用信息融合技术对多种不同类型指标进行融合来判断是否分心。如根据驾驶员头部朝向以及环境地图直接进行匹配，根据眼动仪测量数据以及车辆参数，使用支持向量机模型对分心状态进行监测等。
眼动测量方法虽然提供更加精准全面的眼部信息，但所需设备成本高；视觉遮挡测量法成本低，但安全性低，一般只应用于模拟器驾驶；外周视觉检测任务法灵敏性高，但主要针对于对车载设备所造成的分心；驾驶行为及车辆状态的信息融合方法结合人车路各要素，特征选择范围灵活，有助于综合识别驾驶员分心驾驶状态。
发明内容
为了更加有效、简便地检测驾驶员驾驶状态，本发明提供一种基于反向双目的驾驶状态检测装置和方法，使用图像检测算法，对车辆偏航率和驾驶员头部姿态进行信息融合，具有成本低，并且可以实现实时检测功能。
本发明所采用的技术方案是：
一种基于反向双目的驾驶状态检测装置，包括：
视频采集模块，用于采集前方道路和后向驾驶员头部姿态视频；
图像处理模块，用于根据道路视频和头部姿态视频，计算车辆偏航率以及对驾驶员视线方向进行估计；
驾驶员状态识别模块，用于对当前驾驶员状态进行判别。
一种基于反向双目的驾驶状态检测方法，包括以下步骤
步骤1、利用前后向摄像机获取当前车辆行驶道路以及驾驶员头部姿态同步视觉图像；
步骤2、对于车道线视频，采用HOUGH算法对当前车道线进行检测，并根据车道线参数特征，获取左右车道线的斜率k，根据摄像机几何成像性质，计算当前车辆偏航率ε；
步骤3、对于驾驶员头部姿态视频，根据几何模型，采用PNP算法，对驾驶员头部姿态进行估计；
步骤4、对提取到的车辆偏航率和头部姿态进行模糊化并确定驾驶状态的输入参数与输出值；
步骤5、根据驾驶经验，制定模糊规则表，则可以根据该表对当前驾驶状态进行判别。
作为优选，步骤2之前对图像进行预处理，包括感兴趣区域截取，高斯滤波，利用Canny算子进行边缘检测。
作为优选，步骤2中，当k<0，检测出的车道线标记为左车道线，当k>0时，检测出的车道线标记为右车道线。
作为优选，步骤3中，几何模型选择特征点为两个眼角，两个嘴角和下巴五个位置。
作为优选，步骤3中，头部姿态估计结果为将鼻尖作为起点，以世界坐标固定坐标对应的二维位置为终点的头部朝向投影线段。
作为优选，步骤3中，投影线段长度近似为驾驶员头部偏离幅度d，斜率近似为偏离方向K。
作为优选，步骤4中，模糊隶属度函数均选择高斯隶属度函数。
作为优选，步骤4具体包括以下步骤：
步骤401：对于车辆偏航率ε共划分为5个模糊集ε＝{右大幅度偏离(ε1)，右中幅度偏离(ε2)，小幅度偏离(ε3)，左中幅度偏离(ε4)，左大幅度偏离(ε5)}，所选择的高斯隶属度函数如下所示：
Figure BDA0001552713270000021
其中a为分布均值；σ为正态分布方差；εstep为模糊集合的步长；εset为划分区间数。
步骤402：对于头部偏离幅度共划分为3个模糊集，分别为d＝{偏离幅度小(d1)、偏离幅度中(d2)、偏离幅度大(d3)}。所选择高斯隶属度函数如下：
Figure BDA0001552713270000022
其中a为分布均值；σ为正态分布方差，dstep为模糊集合的步长；dset为划分区间数。
步骤403：其中头部偏离方向K分为左、右、上、下四个方向，头部偏离幅度分为大、中、小，因此在空间上共有12个区间。其中当头部偏离幅度为大时，视线完全偏离道路区域，当偏离幅度为小时，视线范围仍在道路区域内，此时方向因素可以忽略，因此，只在偏离幅度为中时，对方向进行判别，最后将12种头部姿态合并为6种姿态：D＝{幅度偏离大(D1)，左方向幅度偏离中(D2)，右方向幅度偏离中(D3)，下方向幅度偏离中(D4)，上方向幅度偏离中(D5)，幅度偏离小(D6)}。
步骤404：输出值为驾驶员的状态，共分为三个状态S＝{车道保持(s1)，换道行驶(s2)，分心驾驶(s3)}。
作为优选，步骤5中，具体规则表如下：
Figure BDA0001552713270000031
与现有技术相比，本发明具有以下优点：
使用本发明后，可以获得更详细地获得驾驶员驾驶状态信息，包括：
1、可以实时获取当前车辆偏航率信息
2、可以实时获取当前驾驶员头部姿态信息
3、将车辆偏航率和驾驶员头部姿态进行信息融合，大大提高了当前对驾驶员状态判别的准确性和可靠性。
附图说明
图1是前后向摄像头安装示意图；
图2是本发明实施例结构图；
图3是本发明实施例流程图。
具体实施方式
为了使本发明的上述目的、特征和优点能够更加清晰，下面结合附图对本发明的具体实施方式做详细的说明。
图1是本发明中一种基于反向双目的驾驶状态检测方法的前后向摄像头安装示意图，前向摄像机用于采集道路视频，后向摄像机用于采集驾驶员视频。
图2是本发明中一种基于反向双目的驾驶状态检测装置结构图，该装置包括：视频采集模块，包括前后向两个摄像头，同时对道路视频和驾驶员头部姿态视频进行采集；图像处理模块，用于处理道路视频，计算车辆偏航率以及检测驾驶员头部姿态，估计驾驶员视线方向；驾驶员状态识别模块，根据图像处理结果，对当前驾驶员状态进行判别。
图3是本发明中一种基于反向双目的驾驶状态检测方法流程图，其具体步骤如下：
步骤1、车道线部分处理，其包括如下步骤：
(1)首先对图像进行预处理，包括高斯滤波，灰度变换，Canny边缘检测；
(2)根据Hough变换原理检测车道线，得到车道线参数；
(3)根据车道线参数计算车道线斜率k，当k<0，检测出的车道线标记为左车道线，当k>0时，检测出的车道线标记为右车道线，并计算车辆偏航率ε。
步骤2、驾驶员头部姿态检测，包括以下步骤：
(1)采用几何模型算法对人脸区域进行检测；
(2)选取五个人脸特征，分别为两个眼角，两个嘴角和下巴五个位置；
(3)根据多点透视算法，通过计算特征点变化规则来估计头部姿态；
(4)将鼻尖作为起点，以世界坐标(0,0,500.0)对应的二维位置为终点，得到头部朝向投影线段，投影线段长度近似为驾驶员头部偏离幅度d，斜率近似为偏离方向K。
步骤3、驾驶员状态识别，包括以下步骤：
(1)将车辆偏航率和驾驶员姿态估计结果作为模型输入，采用高斯隶属度函数，对其进行模糊化。模糊化结果：对于车辆偏航率ε共划分为ε＝{右大幅度偏离(ε1)，右中幅度偏离(ε2)，小幅度偏离(ε3)，左中幅度偏离(ε4)，左大幅度偏离(ε5)}；对于驾驶员姿态估计结果划分为D＝{幅度偏离大(D1)，左方向幅度偏离中(D2)，右方向幅度偏离中(D3)，下方向幅度偏离中(D4)，上方向幅度偏离中(D5)，幅度偏离小(D6)}。
(2)驾驶状态输出值为三个状态S＝{车道保持(s1)，换道行驶(s2)，分心驾驶(s3)}。
(3)根据驾驶经验，制定模糊规则表，则可以根据该表对当前驾驶状态进行判别。

Claims (8)

1.一种基于反向双目的驾驶状态检测方法，其特征在于，该方法包括以下步骤：
步骤1、利用前后向摄像机获取当前车辆行驶道路以及驾驶员头部姿态同步视觉图像；
步骤2、对于车道线视频，采用HOUGH算法对当前车道线进行检测，并根据车道线参数特征，获取左右车道线的斜率k，根据摄像机几何成像性质，计算当前车辆偏航率ε；
步骤3、对于驾驶员头部姿态视频，根据几何模型，采用多点透视算法，对驾驶员头部姿态进行估计；
步骤4、对提取到的车辆偏航率和头部姿态进行模糊化并确定驾驶状态的输入参数与输出值；
步骤5、根据驾驶经验，制定模糊规则表，则可以根据该表对当前驾驶状态进行判别；
所述步骤4具体包括以下步骤：
步骤401：对于车辆偏航率ε共划分为5个模糊集ε＝{右大幅度偏离(ε1)，右中幅度偏离(ε2)，小幅度偏离(ε3)，左中幅度偏离(ε4)，左大幅度偏离(ε5)}，所选择的高斯隶属度函数如下所示：
Figure FDA0003077294590000011
其中a为分布均值；σ为正态分布方差；εstep为模糊集合的步长；εset为划分区间数；
步骤402：对于头部偏离幅度共划分为3个模糊集，分别为d＝{偏离幅度小(d1)、偏离幅度中(d2)、偏离幅度大(d3)}；所选择高斯隶属度函数如下：
Figure FDA0003077294590000012
其中a为分布均值；σ为正态分布方差，dstep为模糊集合的步长；dset为划分区间数；
步骤403：其中头部偏离方向K分为左、右、上、下四个方向，头部偏离幅度分为大、中、小，因此在空间上共有12个区间；其中当头部偏离幅度为大时，视线完全偏离道路区域，当偏离幅度为小时，视线范围仍在道路区域内，此时方向因素可以忽略，因此，只在偏离幅度为中时，对方向进行判别，最后将12种头部姿态合并为6种姿态：D＝{幅度偏离大(D1)，左方向幅度偏离中(D2)，右方向幅度偏离中(D3)，下方向幅度偏离中(D4)，上方向幅度偏离中(D5)，幅度偏离小(D6)}；
步骤404：输出值为驾驶员的状态，共分为三个状态S＝{车道保持(s1)，换道行驶(s2)，分心驾驶(s3)}；
所述步骤5中，具体规则表如下：
Figure FDA0003077294590000013
Figure FDA0003077294590000021
2.根据权利要求1所述的一种基于反向双目的驾驶状态检测方法，其特征在于：所述步骤2之前对图像进行预处理，包括感兴趣区域截取，高斯滤波，利用Canny算子进行边缘检测。
3.根据权利要求1所述的一种基于反向双目的驾驶状态检测方法，其特征在于：所述步骤2中，当k<0，检测出的车道线标记为左车道线，当k>0时，检测出的车道线标记为右车道线。
4.根据权利要求1所述的一种基于反向双目的驾驶状态检测方法，其特征在于：所述步骤3中，几何模型选择特征点为两个眼角，两个嘴角和下巴五个位置。
5.根据权利要求1所述的一种基于反向双目的驾驶状态检测方法，其特征在于：所述步骤3中，头部姿态估计结果为将鼻尖作为起点，以世界坐标固定坐标对应的二维位置为终点的头部朝向投影线段。
6.根据权利要求1所述的一种基于反向双目的驾驶状态检测方法，其特征在于：投影线段长度近似为驾驶员头部偏离幅度d，斜率近似为偏离方向K。
7.根据权利要求1所述的一种基于反向双目的驾驶状态检测方法，其特征在于：所述步骤4中，模糊隶属度函数均选择高斯隶属度函数。
8.根据权利要求1所述的一种基于反向双目的驾驶状态检测方法采用的一种基于反向双目的驾驶状态检测装置，其特征在于：包括视频采集模块，用于同时对道路视频和驾驶员头部姿态视频进行采集；图像处理模块，用于根据道路视频和头部姿态视频，计算车辆偏航率以及对驾驶员视线方向进行估计；驾驶员状态识别模块，用于对当前驾驶员状态进行判别。
CN201810052314.4A 2018-01-19 2018-01-19 一种基于反向双目的驾驶状态检测装置和方法 Active CN108256487B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810052314.4A CN108256487B (zh) 2018-01-19 2018-01-19 一种基于反向双目的驾驶状态检测装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810052314.4A CN108256487B (zh) 2018-01-19 2018-01-19 一种基于反向双目的驾驶状态检测装置和方法

Publications (2)

Publication Number Publication Date
CN108256487A CN108256487A (zh) 2018-07-06
CN108256487B true CN108256487B (zh) 2021-09-17

Family

ID=62726763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810052314.4A Active CN108256487B (zh) 2018-01-19 2018-01-19 一种基于反向双目的驾驶状态检测装置和方法

Country Status (1)

Country Link
CN (1) CN108256487B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111832373A (zh) * 2019-05-28 2020-10-27 北京伟景智能科技有限公司 一种基于多目视觉的汽车驾驶姿态检测方法
CN110390285A (zh) * 2019-07-16 2019-10-29 广州小鹏汽车科技有限公司 驾驶员分神检测方法、系统及车辆
WO2021124140A1 (en) * 2019-12-17 2021-06-24 Indian Institute Of Science System and method for monitoring cognitive load of a driver of a vehicle

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009126249A (ja) * 2007-11-20 2009-06-11 Honda Motor Co Ltd 車両用情報表示装置
CN105654753A (zh) * 2016-01-08 2016-06-08 北京乐驾科技有限公司 一种智能车载安全驾驶辅助方法及系统
CN106256606B (zh) * 2016-08-09 2017-11-03 浙江零跑科技有限公司 一种基于车载双目相机的车道偏离预警方法
CN106428000B (zh) * 2016-09-07 2018-12-21 清华大学 一种车辆速度控制装置和方法

Also Published As

Publication number Publication date
CN108256487A (zh) 2018-07-06

Similar Documents

Publication Publication Date Title
JP6307629B2 (ja) 運転者の安全運転状態を検知する方法及び装置
Braunagel et al. Driver-activity recognition in the context of conditionally autonomous driving
Wang et al. Driver fatigue detection: a survey
JP6343808B2 (ja) 視野算出装置および視野算出方法
EP2564766B1 (en) Visual input of vehicle operator
CN108256487B (zh) 一种基于反向双目的驾驶状态检测装置和方法
CN105956548A (zh) 驾驶员疲劳状况检测方法和装置
Langner et al. Traffic awareness driver assistance based on stereovision, eye-tracking, and head-up display
WO2022110737A1 (zh) 车辆防撞预警方法、装置、车载终端设备和存储介质
George et al. DAARIA: Driver assistance by augmented reality for intelligent automobile
EP3956807A1 (en) A neural network for head pose and gaze estimation using photorealistic synthetic data
CN114022565A (zh) 用于显示设备的对齐方法及对齐装置、车载显示系统
CN101872419A (zh) 一种汽车驾驶员疲劳检测的方法
Jha et al. Probabilistic estimation of the driver's gaze from head orientation and position
JP4929681B2 (ja) 眼球停留関連電位解析装置及び解析方法
CN114998870A (zh) 一种驾驶行为状态识别方法、装置、设备及存储介质
US11878698B2 (en) Display control device, display control method, and storage medium storing display control program
CN113635833A (zh) 基于汽车a柱的车载显示装置、方法、系统及存储介质
CN112954486B (zh) 基于视线注意力的车载视频留痕处理方法
CN114387587A (zh) 一种疲劳驾驶监测方法
CN116012822B (zh) 一种疲劳驾驶的识别方法、装置及电子设备
CN116597425B (zh) 一种驾驶员的样本标签数据的确定方法、装置及电子设备
Hernández et al. Vision-Based distraction analysis tested on a realistic driving simulator
CN116152883B (zh) 一种车载眼球识别和前玻璃智能局部显示的方法和系统
Haggag Automated Drowsiness Detection while Driving using Depth Camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant