CN107194957B - 智能驾驶中激光雷达点云数据与车辆信息融合的方法 - Google Patents

智能驾驶中激光雷达点云数据与车辆信息融合的方法 Download PDF

Info

Publication number
CN107194957B
CN107194957B CN201710248914.3A CN201710248914A CN107194957B CN 107194957 B CN107194957 B CN 107194957B CN 201710248914 A CN201710248914 A CN 201710248914A CN 107194957 B CN107194957 B CN 107194957B
Authority
CN
China
Prior art keywords
image
point cloud
cloud data
frame
reference frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710248914.3A
Other languages
English (en)
Other versions
CN107194957A (zh
Inventor
苏晓聪
朱敦尧
陈波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WUHAN KOTEI TECHNOLOGY Corp
Original Assignee
WUHAN KOTEI TECHNOLOGY Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WUHAN KOTEI TECHNOLOGY Corp filed Critical WUHAN KOTEI TECHNOLOGY Corp
Priority to CN201710248914.3A priority Critical patent/CN107194957B/zh
Publication of CN107194957A publication Critical patent/CN107194957A/zh
Application granted granted Critical
Publication of CN107194957B publication Critical patent/CN107194957B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Abstract

本发明提供智能驾驶中激光雷达点云数据与车辆信息融合的方法，首先将采集到的雷达点云数据转化成二维图像数据，通过定义参考帧索引图像，结合航向角，对参考帧索引图像与当前图像进行配准，并进行热核扩散处理，减少配准误差并去掉雷达数据中不稳定的噪点，最后根据处理后的参考帧索引图像还原生成二值化的雷达点云数据图像。本发明能够有效去除车辆在运行的过程中，激光雷达点云中包含的地面、尘埃等信息对自动驾驶的障碍物判断造成的影响。

Description

智能驾驶中激光雷达点云数据与车辆信息融合的方法
技术领域
本发明属于车辆自动驾驶技术领域，具体涉及一种智能驾驶中激光雷达云点数据与车辆信息融合的方法。
背景技术
自动驾驶系统在运行过程中，需要实时地获取车辆周围的障碍物信息，这些障碍物包括路面上的车辆、行人、动物、建筑物、树木等，不应该包含地面、雨水、雾、霾、雪花、灰尘、烟等。当车辆遇到障碍物时，应该绕过障碍物或者停止自动驾驶；当道路上没有障碍物时，车辆应该沿着车道正常行驶。
目前检测障碍物的一种常用的方法是使用激光雷达进行检测。激光雷达是一种检测精度很高的雷达，可以对障碍物进行厘米级的定位。常用的激光雷达有Ibeo激光雷达、Velodyne激光雷达等。
激光雷达通过发射激光，获取障碍物的轮廓，并以点云数据的形式发给自动驾驶系统别的子系统使用。原始的激光点云数据除了会包含车辆、行人等障碍物外，还会包含地面、雨水、尘埃等自动驾驶系统不希望检测到的障碍物。
除了雷达获取障碍物的原理之外，地面等干扰点云数据形成的原因可能还包含雷达的安装角度、车辆在行驶时的颠簸、地面上的细小颗粒、拐弯时车辆的四个轮子所在平面与地面不平行等，而且这些干扰因素并不容易消除。
正常情况下，自动驾驶系统在运行时，遇到车辆等障碍物时，应该从其旁边绕行过去，当不能绕行通过时，应该停车。遇到下雨的天气，且地面上没有障碍物时，应该顺着车道向前行驶。若有时将雨水和地面当做障碍物，则自动驾驶系统在行驶时，会突然拐弯或停车，给人一种突兀的感觉，应该尽量避免此种情况的发生。
发明内容
针对现有技术的不足，本发明要解决的技术问题是提供一种在智能驾驶中激光雷达点云数据与车辆信息融合的方法，以去除车辆在运行的过程中，激光雷达点云中包含的地面、尘埃等信息对自动驾驶的障碍物判断造成的影响。
本发明所采用的技术方案具体包括以下步骤：
S1，获取当前帧的点云数据、当前帧的车辆速度CurV和车辆航向角CurHeading，对激光雷达数据进行建模，将三维形式的点云数据，去除垂直方向的信息，投影到水平面上，转换成二维形式的信息并进行量化处理，生成具有宽和高的当前帧图像数据；
S2，定义参考帧索引图像；判断当前帧图像是否为系统采集的第一帧图像，若是，则利用当前帧图像数据对参考帧索引图像进行更新，得到当前参考帧索引图像并跳转至步骤S4，否则利用车速与航向角对上一帧图像对应的参考帧索引图像和当前帧图像进行配准，得到当前参考帧索引图像；
S3，对当前参考帧索引图像进行热核扩散处理，减少配准误差并去掉雷达数据中不稳定的噪点，并根据处理后的图像以及当前帧图像更新当前参考帧索引图像；
S4，按照固定阈值，根据当前参考帧索引图像生成二值化的雷达点云数据图像并输出，同时更新计数器，并跳转至步骤S2进行下一帧点云数据的处理。
与现有技术相比，本发明具有以下优点：
以往的算法依赖GNSS定位经纬度位置的精度。当车辆行驶到隧道、高大建筑物中间时，GNSS信号会受到很大的影响，造成GNSS定位精度严重下降，致使建筑物等道路两旁的障碍物信息在融合后，会显示在道路上。
此算法只依赖于激光雷达获取的点云数据、车辆行驶速度和偏航角，鲁棒性更好，适用范围更大。车辆行驶速度和偏航角可以从组合惯导获取，也可以从车辆CAN总线获取，或者从IMU惯性测量单元获取。
附图说明
图1为本发明方法流程图；
具体实施方式
为了使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
智能驾驶中激光雷达点云数据与车辆信息融合的方法，包括以下步骤：
S1，参数初始化，对参考帧索引图像Index赋初值为0，帧数索引CurFrame赋初值0，参考帧的车速RefV赋初值0，参考帧的航向角RefHeading赋初值0，雷达数据的输入帧率FPS，雷达点云数据量化为图像后的像素宽W、像素高H，雷达所在点在图像中的像素坐标(MID_W,MID_H)。
S2，获取当前帧的输入数据
获取当前帧的点云数据，当前帧的车辆速度CurV和车辆航向角CurHeading，根据不同的雷达点云数据协议，将当前帧的点云数据图像存储为(x,y,z)形式的点云数据，该坐标中各个分量的单位均为米，其中(0,0,0)表示雷达所在的位置。
S3，根据下式将当前帧的三维点云数据CurCloud转换为离散的二维图像数据CurM。点云数据转化为图像时，考虑到雷达点云的精度，0.1米的间距量化为1个像素。
其中，0≤i＜W，0≤j＜H，(x,y,z)为当前帧的点云数据CurCloud中的三维点。这一步是为了将(x,y,z)格式的三维点列表转换为一幅二值图像。其中x,y,z是三维空间坐标系中三个数轴的坐标，取值范围是实数。(MID_W,MID_H)为车辆在图像中的坐标位置。图像中值为0的点表示没有障碍物，255表示有障碍物。转换为图像之后，提供了后面处理步骤的基础。
S4，当CurFrame为0时，跳转到步骤S5，否则跳转到步骤S6；
S5，根据CurM的值，对Index进行初始化，
然后跳转至步骤S8；该步骤是为了对上一帧参考帧索引图像进行初始化，将有障碍物的点的索引值设置为一个合理的值。此步骤中的数值8为一个经验值，也可以设置为别的比0大的整数值。
S6，对上一帧的参考帧索引图像进行配准
利用下式
对当前帧图像CurMn与上一参考帧索引图像Indexn-1做配准，得到配准后的当前参考帧索引图像Indexn'；式中，Yaw为第n帧图像与第n-1帧图像中车辆的偏航角，
Yaw＝RefHeading-CurHeading
RefHeading为上一参考帧索引图像数据中车辆的航向角，亦即采集上一帧图像时车辆的航向角，CurHeading为采集当前帧图像时车辆的航向角，RefHeading，CurHeading和Yaw的单位均为弧度；ShiftY为车辆在两帧之间前进方向行走的距离，单位是像素，1个像素代表的物理意义是0.1米。
ShiftY＝10*((CurV+RefV)/2)/FPS
RefV表示上一参考帧的车速，亦即采集上一帧图像时的车速，CurV表示采集当前帧图像时的车速，FPS表示雷达数据的输入帧率。
找到上一帧图像中点(i,j)到当前帧图像(i',j')的对应关系后，将上一帧的参考帧索引图像Indexn-1转换为对应到当前时刻的索引图像，也即Indexn'。物理意义上讲，当在上一时刻时，一个障碍物位于点(i,j)时，则在当前时刻，这个障碍物会处在点(i',j')处。车辆在运动时，(i,j)和(i',j')是不相同的；当车辆静止时，(i,j)和(i',j')是相同的。
S7，对配准后的参考帧索引图像Indexn'进行热核扩散，得到扩散之后的图像IndexHeat'；如下式所示：
模拟物理中热向周围扩散的思想，对配准后的索引图像中每一点进行操作，针对点P，对于其周围上下左右四个位置的点，值增大为P点值的一半，小于该点值一半的点保持值不变；对于周围左上角、右上角、左下角、右下角四个角上的点，值增大为P点值的三分之一，小于P点值三分之一的点保持值不变；P点本身的值减少1。进行热扩散的目的是为了减少配准时产生的误差，以及去掉雷达数据中不稳定的噪点。
根据当前帧的图像，以及配准后的参考帧索引图像，更新参考帧索引图像；
将当前帧中出现的新的障碍物看做新的热源，并在其对应位置在热扩散后的图像上累加一个数值，例如4，达到信息增强的目的；当前帧中没有障碍物的位置维持热扩散的结果不变。这样得到更新后的参考帧图像Index。
更新后的参考帧图像中，每个点的值为0到10之间的整数。计算过程中，计算结果是分数时，对值进行取整，舍弃小数部分；是负数时修改为0；大于10时修改为10。
S8，获取当前帧的输出图像，根据更新后的参考帧索引图像，按照一个固定的阈值，生成二值化后的雷达点云数据图像Obstacle。
雷达点云数据图像Obstacle即为融合后的结果，该图像输出给自动驾驶系统别的功能模块使用。
S9，更新计数器，继续下一帧点云数据的处理，跳转至步骤S2。
在本说明书的描述中，术语“一个实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
说明书中未阐述的部分均为现有技术或公知常识。本实施例仅用于说明该发明，而不用于限制本发明的范围，本领域技术人员对于本发明所做的等价置换等修改均认为是落入该发明权利要求书所保护范围内。

Claims (6)

1.一种智能驾驶中激光雷达点云数据与车辆信息融合的方法，其特征在于：包括以下步骤：
S1，获取当前帧的三维形式的激光雷达点云数据、当前帧的车辆速度和车辆航向角，对所述三维形式的激光雷达点云数据进行建模；所述对所述三维形式的激光雷达点云数据进行建模的方式为：将所述三维形式的激光雷达点云数据去除垂直方向的信息，投影到水平面上，转换成二维形式的信息并进行量化处理，生成具有宽和高的当前帧图像数据；
S2，定义参考帧索引图像；判断当前帧图像是否为系统采集的第一帧图像，若是，则利用当前帧图像数据对参考帧索引图像进行更新，得到当前参考帧索引图像并跳转至步骤S4，否则利用车速与航向角对上一参考帧索引图像和当前帧图像进行配准，得到当前参考帧索引图像；
S3，对当前参考帧索引图像进行热核扩散处理，减少配准误差并去掉雷达数据中不稳定的噪点，并根据当前帧图像更新当前参考帧索引图像；
S4，按照固定阈值，根据当前参考帧索引图像生成二值化的雷达点云数据图像并输出，同时更新计数器，并跳转至步骤S2进行下一帧点云数据的处理。
2.根据权利要求1所述的智能驾驶中激光雷达点云数据与车辆信息融合的方法，其特征在于：所述步骤S1具体包括以下子步骤：
S101，根据不同的雷达点云数据协议，将当前帧的三维形式的激光雷达点云数据图像存储为(x,y,z)形式的点云数据CurCloud，其中(0,0,0)表示雷达所在位置；
S102，根据下式
将点云数据CurCloud转化为图像数据CurM；其中，(MID_W,MID_H)表示当前雷达所在点在图像中的像素坐标，图像中值为0的点表示没有障碍物，255表示有障碍物。
3.根据权利要求2所述的智能驾驶中激光雷达点云数据与车辆信息融合的方法，其特征在于：考虑到雷达点云的精度，将点云数据CurCloud(x,y,z)转化为图像数据CurM(i,j)时，将0.1米的间距量化为一个像素。
4.根据权利要求2所述的智能驾驶中激光雷达点云数据与车辆信息融合的方法，其特征在于：所述步骤S2具体包括以下子步骤：
S201，定义参考帧索引图像Index并赋初值0；判断当前帧图像是否为第一帧，即判断当前帧图像的帧数索引CurFrame的值是否为0，若是则跳转至步骤S202，否则跳转至步骤S203；
S202，根据当前帧图像数据CurMn，利用下式更新参考帧索引图像Index；
得到当前参考帧索引图像Indexn然后跳转至步骤S4；
S203，利用下式
对当前帧图像CurMn与上一参考帧索引图像Indexn-1做配准，得到配准后的当前参考帧索引图像Indexn'；式中，Yaw为第n帧图像与第n-1帧图像中车辆的航向角的偏差，所述Yaw的计算公式为：
Yaw＝RefHeading-CurHeading
RefHeading为上一参考帧索引图像数据中车辆的航向角，亦即采集上一帧图像时车辆的航向角，CurHeading为采集当前帧图像时车辆的航向角；ShiftY为车辆在两帧之间前进方向行走的距离，
ShiftY＝10*((CurV+RefV)/2)/FPS
RefV表示上一参考帧的车速，亦即采集上一帧图像时的车速，CurV表示采集当前帧图像时的车速，FPS表示雷达数据的输入帧率。
5.根据权利要求3所述的智能驾驶中激光雷达点云数据与车辆信息融合的方法，其特征在于：所述步骤S3具体方法如下：
S31，对当前参考帧索引图像进行热核扩散处理，根据下式
对配准后的当前参考帧索引图像Indexn'中每一点P进行操作，对于周围上下左右四个位置的点，值增大为P点值的一半，小于P点值一半的点保持值不变；对于周围左上角、右上角、左下角、右下角四个角上的点，值增大为P点值的三分之一，小于P点值三分之一的点保持值不变；P点本身的值减少1；
S32，根据热扩散处理后的图像数据以及当前帧图像数据，按照下式更新当前参考帧索引图像Indexn：
6.根据权利要求4所述的智能驾驶中激光雷达点云数据与车辆信息融合的方法，其特征在于：所述步骤S4中生成雷达点云数据图像Obstacle的方法具体如下式所示：
CN201710248914.3A 2017-04-17 2017-04-17 智能驾驶中激光雷达点云数据与车辆信息融合的方法 Active CN107194957B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710248914.3A CN107194957B (zh) 2017-04-17 2017-04-17 智能驾驶中激光雷达点云数据与车辆信息融合的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710248914.3A CN107194957B (zh) 2017-04-17 2017-04-17 智能驾驶中激光雷达点云数据与车辆信息融合的方法

Publications (2)

Publication Number Publication Date
CN107194957A CN107194957A (zh) 2017-09-22
CN107194957B true CN107194957B (zh) 2019-11-22

Family

ID=59871317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710248914.3A Active CN107194957B (zh) 2017-04-17 2017-04-17 智能驾驶中激光雷达点云数据与车辆信息融合的方法

Country Status (1)

Country Link
CN (1) CN107194957B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107741234B (zh) * 2017-10-11 2021-10-19 深圳勇艺达机器人有限公司 一种基于视觉的离线地图构建及定位方法
CN108152831B (zh) * 2017-12-06 2020-02-07 中国农业大学 一种激光雷达障碍物识别方法及系统
CN108564874B (zh) * 2018-05-07 2021-04-30 腾讯大地通途（北京）科技有限公司 地面标志提取的方法、模型训练的方法、设备及存储介质
CN108647646B (zh) * 2018-05-11 2019-12-13 北京理工大学 基于低线束雷达的低矮障碍物的优化检测方法及装置
CN111986472B (zh) * 2019-05-22 2023-04-28 阿里巴巴集团控股有限公司 车辆速度确定方法及车辆
CN110281838B (zh) * 2019-06-28 2022-11-18 上海理工大学 一种基于二维激光雷达的汽车前照灯自动转换方法
CN110789533B (zh) * 2019-09-25 2021-08-13 华为技术有限公司 一种数据呈现的方法及终端设备
US11262759B2 (en) 2019-10-16 2022-03-01 Huawei Technologies Co., Ltd. Method and system for localization of an autonomous vehicle in real time
CN111007534A (zh) * 2019-11-19 2020-04-14 武汉光庭科技有限公司 一种利用十六线激光雷达的障碍物检测方法及系统
CN112258517A (zh) * 2020-09-30 2021-01-22 无锡太机脑智能科技有限公司 激光雷达栅格地图的自动修图方法和装置
CN113997941B (zh) * 2021-09-14 2023-10-13 武汉光庭信息技术股份有限公司 一种自车行驶状态分析方法、系统、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150786A (zh) * 2013-04-09 2013-06-12 北京理工大学 一种非接触式无人驾驶车辆行驶状态测量系统及测量方法
CN104268935A (zh) * 2014-09-18 2015-01-07 华南理工大学 一种基于特征的机载激光点云与影像数据融合系统及方法
CN105223583A (zh) * 2015-09-10 2016-01-06 清华大学 一种基于三维激光雷达的目标车辆航向角计算方法
CN105678689A (zh) * 2015-12-31 2016-06-15 百度在线网络技术（北京）有限公司 高精地图数据配准关系确定方法及装置
CN106199558A (zh) * 2016-08-18 2016-12-07 宁波傲视智绘光电科技有限公司 障碍物快速检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8441622B2 (en) * 2009-07-28 2013-05-14 Applied Concepts, Inc. Lidar measurement device for vehicular traffic surveillance and method for use of same
US9721471B2 (en) * 2014-12-16 2017-08-01 Here Global B.V. Learning lanes from radar data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150786A (zh) * 2013-04-09 2013-06-12 北京理工大学 一种非接触式无人驾驶车辆行驶状态测量系统及测量方法
CN104268935A (zh) * 2014-09-18 2015-01-07 华南理工大学 一种基于特征的机载激光点云与影像数据融合系统及方法
CN105223583A (zh) * 2015-09-10 2016-01-06 清华大学 一种基于三维激光雷达的目标车辆航向角计算方法
CN105678689A (zh) * 2015-12-31 2016-06-15 百度在线网络技术（北京）有限公司 高精地图数据配准关系确定方法及装置
CN106199558A (zh) * 2016-08-18 2016-12-07 宁波傲视智绘光电科技有限公司 障碍物快速检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Obstacle Detection Research based on Four-line Laser radar in Vehicle;Jianmin Duan 等;《International Conference on Robotics and Biomimetics》;20131231;第2452-2457页 *

Also Published As

Publication number Publication date
CN107194957A (zh) 2017-09-22

Similar Documents

Publication Publication Date Title
CN107194957B (zh) 智能驾驶中激光雷达点云数据与车辆信息融合的方法
CN111551958B (zh) 一种面向矿区无人驾驶的高精地图制作方法
JP7302934B2 (ja) ナビゲーション情報を匿名化するためのシステム及び方法
US8233660B2 (en) System and method for object motion detection based on multiple 3D warping and vehicle equipped with such system
Chandra et al. Robusttp: End-to-end trajectory prediction for heterogeneous road-agents in dense traffic with noisy sensor inputs
Pfeiffer et al. Efficient representation of traffic scenes by means of dynamic stixels
DE112020006426T5 (de) Systeme und verfahren zur fahrzeugnavigation
CN109101690A (zh) 用于渲染车辆自动驾驶模拟器中的场景的方法和装置
KR20200134313A (ko) 자율주행 차량을 위한 상대적인 아틀라스 및 그 생성
CN102564431B (zh) 基于多传感器融合的非结构化环境理解方法
JP2021508815A (ja) 妨害物体の検出に基づいて高精細度マップを補正するためのシステムおよび方法
CN103325255B (zh) 基于摄影测量技术进行区域交通状况检测的方法
JP5023186B2 (ja) ３ｄワーピング手法と固有対象物運動（ｐｏｍ）の検出の組み合わせに基づく対象物の動き検出システム
CN110715671B (zh) 三维地图生成方法、装置、车辆导航设备和无人驾驶车辆
CN102222236A (zh) 图像处理系统及位置测量系统
CN104509100B (zh) 三维物体检测装置以及三维物体检测方法
DE112021002001T5 (de) Navigieren eines fahrzeugs unter verwendung eines elektronischen horizonts
Kellner et al. Road curb detection based on different elevation mapping techniques
JP2023106536A (ja) 画像分析に基づく車両ナビゲーションのためのシステム
CN113640822B (zh) 一种基于非地图元素过滤的高精度地图构建方法
Twaddle et al. Modeling the speed, acceleration, and deceleration of bicyclists for microscopic traffic simulation
CN113238251B (zh) 一种基于车载激光雷达的目标级语义定位方法
CN114359744A (zh) 一种基于激光雷达和事件相机融合的深度估计方法
JP2023508769A (ja) ナビゲーションのためのマップタイル要求を最適化するためのシステム及び方法
CN109544443A (zh) 一种路线图生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant