CN111310651B - 一种基于偏振相机和rgb-d传感器的水面检测方法 - Google Patents

一种基于偏振相机和rgb-d传感器的水面检测方法 Download PDF

Info

Publication number
CN111310651B
CN111310651B CN202010090315.5A CN202010090315A CN111310651B CN 111310651 B CN111310651 B CN 111310651B CN 202010090315 A CN202010090315 A CN 202010090315A CN 111310651 B CN111310651 B CN 111310651B
Authority
CN
China
Prior art keywords
pixel
polarization
rgb
sensor
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010090315.5A
Other languages
English (en)
Other versions
CN111310651A (zh
Inventor
孙东明
李华兵
杨恺伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Lingxiang Technology Co ltd
Original Assignee
Hangzhou Lingxiang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Lingxiang Technology Co ltd filed Critical Hangzhou Lingxiang Technology Co ltd
Priority to CN202010090315.5A priority Critical patent/CN111310651B/zh
Publication of CN111310651A publication Critical patent/CN111310651A/zh
Application granted granted Critical
Publication of CN111310651B publication Critical patent/CN111310651B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于偏振相机和RGB‑D传感器的水面检测方法。该方法利用偏振相机采集偏振度图，RGB‑D传感器采集彩色图和深度图，融合偏振度图、彩色图、深度图的检测信息从而输出水面检测结果。将偏振相机、RGB‑D传感器和移动处理器连接，即可进行实时水面检测。本发明方法误检率低、漏检率低、实时性好、跨平台性好。可以很好地满足自动驾驶领域对水面区域检出的要求。

Description

一种基于偏振相机和RGB-D传感器的水面检测方法
技术领域
本发明属于图像处理技术、信号处理技术、计算机视觉技术领域，涉及一种基于偏振相机和RGB-D传感器的水面检测方法。
背景技术
在自动驾驶领域，水面是潜在的危险区域，当车辆高速运动时，水面会造成车辆的打滑；当轧过积水坑时，快速通过会溅起积水影响行人。因此，如何快速准确地检出水面对于自动驾驶有重要意义。
目前，水面检测的解决方案尚在少数，且现有方案多依赖于激光扫描，存在实时性较低、装置复杂的缺陷；深度学习在图像识别中的成功应用为水面检测带来了新思路，但目前针对水面进行标注的数据集存在规模小、标注精度低的特点，难以应用在深度神经网络的训练中。因此，提出一种通用性强、检测准确率高、所需硬件简单的水面检测方法是十分有应用价值的。
发明内容
本发明的目的在于针对现有技术的不足，提供一种基于偏振相机和RGB-D传感器的水面检测方法。
本发明的目的是通过以下技术方案实现的：一种基于偏振相机和RGB-D传感器的水面检测方法，包括以下步骤：
(1)对偏振相机和RGB-D传感器进行标定，得到偏振相机的内参矩阵Ip、RGB-D传感器的内参矩阵Id、RGB-D传感器相对于偏振相机的旋转矩阵R和平移向量T；
(2)使用偏振相机采集一帧偏振度图P，计算偏振度图P中每个像素(i，j)的偏振度DOP(i，j)。设定阈值σ。创建一个空集A，遍历P中的像素，若DOP(i，j)≥σ，则将像素坐标(i，j)加入到集合A中；
(3)使用RGB-D传感器同时采集一帧彩色图C和一帧深度图D，将彩色图C和深度图D的坐标系对齐。用D(i，j)表示深度图D中像素坐标(i，j)处的深度；
(4)使用一个已经训练好的语义分割网络，将彩色图C作为输入，得到它的语义分割结果S，用S(i，j)表示S中像素坐标(i，j)对应的物体类别。创建一个空集B，遍历S中的像素，若S(i，j)为地面，则将像素坐标(i，j)加入到集合B中；
(5)遍历集合B中的元素，利用坐标变换关系将它变换到偏振相机所在的像素平面，具体为：设其中任意一个元素为Bk＝(i，j)，使用Bk对应的深度值D(i，j)和RGB-D传感器内参Id，将像素(i，j)投影到RGB-D传感器坐标系得到其三维坐标p；使用旋转矩阵R和平移向量T，将p投影到偏振相机坐标系得到变换后的坐标p′；使用偏振相机内参矩阵Ip将p′投影到偏振相机像素平面，得到其像素坐标(u，v)。搜索集合A中是否包含元素(u，v)：若含有，则在集合B中保留元素Bk，将它视作水面的一个像素；若不含，则从集合B中剔除元素Bk。遍历结束后的集合B即为检测到的水面所包含的像素坐标。
进一步地，所述步骤(1)中，阈值σ的取值范围为[0，1]。
进一步地，所述步骤(2)中，偏振度DOP(i，j)通过如下方法计算获得：偏振相机的每个像素(i，j)包含90°，45°，0°，135°四个方向的偏振测量单元，它们分别测得对应偏振方向上的光强I90，I45，I0，I135，进而得到斯托克斯矢量的前三个分量：
Figure GDA0004141882520000021
S1＝I0-I90，S2＝145-I135，最后计算每个像素(i，j)的偏振度
Figure GDA0004141882520000022
进一步地，所述步骤(4)中，训练好的语义分割网络通过如下方法训练获得：使用Cityscapes数据集对语义分割网络ERF-PSPNet进行训练，其中，损失函数为：
Figure GDA0004141882520000023
Figure GDA0004141882520000024
(i，j)是像素坐标；M是数据集中类别的总数；
Figure GDA0004141882520000025
是像素(i，j)对应的数据标签，若像素(i，j)的实际类别为c，则
Figure GDA0004141882520000026
否则
Figure GDA0004141882520000027
Figure GDA0004141882520000028
是网络输出的像素(i，j)为类别c的概率值。
进一步地，从RGB-D传感器像素平面变换到偏振相机像素平面，通过以下公式实现：
Figure GDA0004141882520000029
其中
Figure GDA00041418825200000210
是一个归一化函数，
Figure GDA00041418825200000211
代表一个长度为3的列向量。
本方法相比以往的水面检测方法的优势主要在于：
1、实时性好。本方法可使用移动处理器进行实时水面检测。
2、容易搭建。本方法所依赖传感器只有一个偏振相机和一个RGB-D传感器，容易获取和搭建。
3、检测精度高。与基于激光扫描的水面检测方案相比，本方法由于采用了偏振相机，鲁棒性更强，检测精度更高。
附图说明
图1为水面检测方法流程图。
图2为水面检测的实施效果。其中，(a)为RGB-D相机采集的一帧彩色图；(b)为RGB-D相机采集的一帧深度图；(c)为彩色图的语义分割结果，其中地面部分由1标出；(e)为偏振相机采集的一帧偏振度图；(d)为融合了(b)、(c)和(e)的水面检测结果，其中的水面部分由2所示的白色区域标出。
具体实施方式
本发明提供了一种基于偏振相机和RGB-D传感器的水面检测方法，其流程如图1所示，具体的包括以下步骤：
(1)固定偏振相机和RGB-D传感器的相对位置，用它们对棋盘格拍摄二十组不同角度的图片，输入MATLAB双目标定工具箱进行标定，得到偏振相机的内参矩阵Ip、RGB-D传感器的内参矩阵Id、RGB-D传感器相对于偏振相机的旋转矩阵R和平移向量T；
(2)使用偏振相机采集一帧偏振度图P，如图2e所示，计算偏振度图P中每个像素(i，j)的偏振度DOP(i，j)。设定阈值，创建一个空集A，遍历P中的像素，若DOP(i，j)≥σ，则将像素坐标(i，j)加入到集合A中；上述的阈值在[0，1]均可，本实施例设定σ＝0.6。
(3)使用RGB-D传感器同时采集一帧彩色图C(图2a)和一帧深度图D(图2b)，将C和D的坐标系对齐。用D(i，j)表示D中像素坐标(i，j)处的深度；
(4)使用一个已经训练好的语义分割网络，将C作为输入，得到C的语义分割结果S，用S(i，j)表示S中像素坐标(i，j)对应的物体类别。创建一个空集B，遍历S中的像素，若S(i，j)为地面，则将像素坐标(i，j)加入到集合B中；其中，语义分割网络可以采用U-Net、BiSeNet、RefineNet等，本实施例中，采用轻量语义分割网络ERF-PSPNet，(具体结构可参见论文：Yang，Kailun；Wang，Kaiwei；Bergasa，Luis M.；Romera，Eduardo；Hu，Weijian；Sun，Dongming；Sun，Junwei；Cheng，Ruiqi；Chen，Tianxue；López，Elena.2018.″UnifyingTerrain Awareness for the Visually Impaired through Real-Time SemanticSegmentation.″Sensors18，no.5：1506.)，使用Cityscapes数据集进行训练。训练采用的损失函数为：
Figure GDA0004141882520000031
(i，j)是像素坐标；M是数据集中类别的总数；
Figure GDA0004141882520000032
是像素(i，j)对应的数据标签，若像素(i，j)的实际类别为c，则
Figure GDA0004141882520000033
否则
Figure GDA0004141882520000034
Figure GDA0004141882520000035
是网络输出的像素(i，j)为类别c的概率值。通过ERF-PSPNet得到的语义分割结果如图2c所示，其中1为地面部分，经过遍历后，组成集合B。
(5)遍历集合B中的元素，设其中任意一个元素为Bk＝(i，j)，利用公式
Figure GDA0004141882520000036
Figure GDA0004141882520000037
得到(i，j)在偏振相机像素平面上对应的坐标(u，v)。搜索集合A中是否包含元素(u，v)：若含有，则在集合B中保留元素Bk，将它视作水面的一个像素；若不含，则从集合B中剔除元素Bk。遍历结束后的集合B即为检测到的水面所包含的像素坐标。其结果如图2d所示，其中，2即为检测到的水面。该结果融合了RGB-D相机和偏振相机的检测结果，其鲁棒性更强，检测精度更高。
将偏振相机、RGB-D传感器与一移动处理器连接，小型处理器通过本方法处理偏振相机采集的偏振度图和RGB-D传感器采集的彩色图和深度图即可进行实时水面检测，具有较大的应用前景。

Claims (5)

1.一种基于偏振相机和RGB-D传感器的水面检测方法，其特征在于，包括以下步骤：
（1）对偏振相机和RGB-D传感器进行标定，得到偏振相机的内参矩阵
Figure QLYQS_1
、RGB-D传感器的内参矩阵
Figure QLYQS_2
、RGB-D传感器相对于偏振相机的旋转矩阵
Figure QLYQS_3
和平移向量
Figure QLYQS_4
；
（2）使用偏振相机采集一帧偏振度图P，计算偏振度图P中每个像素
Figure QLYQS_5
的偏振度
Figure QLYQS_6
；设定阈值
Figure QLYQS_7
；创建一个空集A，遍历P中的像素，若
Figure QLYQS_8
，则将像素坐标
Figure QLYQS_9
加入到集合A中；
（3）使用RGB-D传感器同时采集一帧彩色图C和一帧深度图D，将彩色图C和深度图D的坐标系对齐；用
Figure QLYQS_10
表示深度图D中像素坐标
Figure QLYQS_11
处的深度；
（4）使用一个已经训练好的语义分割网络，将彩色图C作为输入，得到它的语义分割结果S，用
Figure QLYQS_12
表示S中像素坐标
Figure QLYQS_13
对应的物体类别；创建一个空集B，遍历S中的像素，若
Figure QLYQS_14
为地面，则将像素坐标
Figure QLYQS_15
加入到集合B中；
（5）遍历集合B中的元素，利用坐标变换关系将它变换到偏振相机所在的像素平面，具体为：设其中任意一个元素为
Figure QLYQS_25
使用
Figure QLYQS_16
对应的深度值
Figure QLYQS_21
和RGB-D传感器内参
Figure QLYQS_27
，将像素
Figure QLYQS_30
投影到RGB-D传感器坐标系得到其三维坐标
Figure QLYQS_29
；使用旋转矩阵
Figure QLYQS_31
和平移向量
Figure QLYQS_24
，将
Figure QLYQS_28
投影到偏振相机坐标系得到变换后的坐标
Figure QLYQS_18
；使用偏振相机内参矩阵
Figure QLYQS_20
将
Figure QLYQS_17
投影到偏振相机像素平面，得到其像素坐标
Figure QLYQS_23
；搜索集合A中是否包含元素
Figure QLYQS_22
：若含有，则在集合B中保留元素
Figure QLYQS_26
，将它视作水面的一个像素；若不含，则从集合B中剔除元素
Figure QLYQS_19
；遍历结束后的集合B即为检测到的水面所包含的像素坐标。
2.根据权利要求1所述的方法，其特征在于，所述步骤（1）中，阈值的取值范围为
Figure QLYQS_32
。
3.根据权利要求1所述的方法，其特征在于，所述步骤（2）中，偏振度
Figure QLYQS_33
通过如下方法计算获得：
偏振相机的每个像素
Figure QLYQS_34
包含
Figure QLYQS_35
四个方向的偏振测量单元，它们分别测得对应偏振方向上的光强
Figure QLYQS_36
，进而得到斯托克斯矢量的前三个分量：
Figure QLYQS_37
，最后计算每个像素
Figure QLYQS_38
的偏振度
Figure QLYQS_39
。
4.根据权利要求1所述的方法，其特征在于，所述步骤（4）中，训练好的语义分割网络通过如下方法训练获得：使用Cityscapes数据集对语义分割网络ERF-PSPNet进行训练，其中，损失函数为：
Figure QLYQS_42
，
Figure QLYQS_45
是像素坐标；
Figure QLYQS_48
是数据集中类别的总数；
Figure QLYQS_41
是像素
Figure QLYQS_46
对应的数据标签，若像素
Figure QLYQS_49
的实际类别为
Figure QLYQS_51
，则
Figure QLYQS_40
，否则
Figure QLYQS_44
；
Figure QLYQS_47
是网络输出的像素
Figure QLYQS_50
为类别
Figure QLYQS_43
的概率值。
5.根据权利要求1所述的方法，其特征在于，所述步骤（5）中，从RGB-D传感器像素平面变换到偏振相机像素平面，通过以下公式实现：
Figure QLYQS_52
；其中
Figure QLYQS_53
是一个归一化函数，
Figure QLYQS_54
代表一个长度为3的列向量。
CN202010090315.5A 2020-02-13 2020-02-13 一种基于偏振相机和rgb-d传感器的水面检测方法 Active CN111310651B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010090315.5A CN111310651B (zh) 2020-02-13 2020-02-13 一种基于偏振相机和rgb-d传感器的水面检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010090315.5A CN111310651B (zh) 2020-02-13 2020-02-13 一种基于偏振相机和rgb-d传感器的水面检测方法

Publications (2)

Publication Number Publication Date
CN111310651A CN111310651A (zh) 2020-06-19
CN111310651B true CN111310651B (zh) 2023-05-02

Family

ID=71161672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010090315.5A Active CN111310651B (zh) 2020-02-13 2020-02-13 一种基于偏振相机和rgb-d传感器的水面检测方法

Country Status (1)

Country Link
CN (1) CN111310651B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112750098B (zh) * 2021-04-06 2021-07-06 杭州蓝芯科技有限公司 深度图优化方法及装置、系统、电子设备、存储介质
CN113705375A (zh) * 2021-08-10 2021-11-26 武汉理工大学 一种船舶航行环境视觉感知设备及方法
CN118135389B (zh) * 2024-05-06 2024-09-24 浙江大学 一种基于有效感受野调控的水下声学目标识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101033961A (zh) * 2007-02-06 2007-09-12 浙江大学 基于偏振信息检测野外水体障碍物的方法
JP2009199154A (ja) * 2008-02-19 2009-09-03 Ihi Corp 水溜まり検出装置、無人走行車両及び水溜まり検出方法
DE102010020537A1 (de) * 2010-05-14 2011-11-17 H&S Robotic Solutions GbR (vertretungsberechtigter Gesellschafter: Bernd-Helge Schäfer, 67661 Kaiserslautern) Wasserdetektor
CN106682631A (zh) * 2016-12-30 2017-05-17 广东华中科技大学工业技术研究院 一种基于偏振特性的水面目标检测方法
CN107610152A (zh) * 2017-08-31 2018-01-19 杭州视氪科技有限公司 一种用于躲避水面与障碍物的通路检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101033961A (zh) * 2007-02-06 2007-09-12 浙江大学 基于偏振信息检测野外水体障碍物的方法
JP2009199154A (ja) * 2008-02-19 2009-09-03 Ihi Corp 水溜まり検出装置、無人走行車両及び水溜まり検出方法
DE102010020537A1 (de) * 2010-05-14 2011-11-17 H&S Robotic Solutions GbR (vertretungsberechtigter Gesellschafter: Bernd-Helge Schäfer, 67661 Kaiserslautern) Wasserdetektor
CN106682631A (zh) * 2016-12-30 2017-05-17 广东华中科技大学工业技术研究院 一种基于偏振特性的水面目标检测方法
CN107610152A (zh) * 2017-08-31 2018-01-19 杭州视氪科技有限公司 一种用于躲避水面与障碍物的通路检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Bin Xie ; Huadong Pan ; Zhiyu Xiang ; Jilin Liu.Polarization-Based Water Hazards Detection for Autonomous Off-road Navigation.《2007 International Conference on Mechatronics and Automation》.2007,全文. *
邵海燕.复杂野外环境下水障碍识别技术综述.《计算机测量与控制》.2014,全文. *
陈添丁 ; 王娃 ; 朱敬意 ; 周正寅 ; .基于图像偏振特性的野外环境积水区域检测.光电工程.2013,(04),全文. *

Also Published As

Publication number Publication date
CN111310651A (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
CN111340797B (zh) 一种激光雷达与双目相机数据融合检测方法及系统
CN111310651B (zh) 一种基于偏振相机和rgb-d传感器的水面检测方法
CN110031829B (zh) 一种基于单目视觉的目标精准测距方法
CN113989450B (zh) 图像处理方法、装置、电子设备和介质
CN114359181B (zh) 一种基于图像和点云的智慧交通目标融合检测方法及系统
CN111007531A (zh) 一种基于激光点云数据的道路边沿检测方法
WO2021017211A1 (zh) 一种基于视觉的车辆定位方法、装置及车载终端
Zhang et al. Deep learning based object distance measurement method for binocular stereo vision blind area
CN112489099A (zh) 点云配准方法、装置、存储介质及电子设备
CN117111085A (zh) 一种自动驾驶汽车车路云融合感知方法
CN116152697A (zh) 一种混凝土结构裂缝的三维模型测量方法及相关装置
CN117215316B (zh) 基于协同控制与深度学习的驾驶环境感知的方法和系统
CN117113284B (zh) 多传感器融合的数据处理方法、装置与多传感器融合方法
CN117911827A (zh) 多模态目标检测方法、装置、设备及存储介质
CN117409386A (zh) 一种基于激光视觉融合的垃圾定位方法
CN111860084B (zh) 图像特征的匹配、定位方法及装置、定位系统
CN111353481A (zh) 基于激光点云与视频图像的道路障碍物识别方法
CN112767458B (zh) 激光点云与图像的配准的方法及系统
CN114821370A (zh) 基于无人机影像与U-Net的单木树冠检测与分割方法
CN111539279A (zh) 道路限高高度检测方法、装置、设备及存储介质
Rasyidy et al. A Framework for Road Boundary Detection based on Camera-LIDAR Fusion in World Coordinate System and Its Performance Evaluation Using Carla Simulator
Wang et al. A Pointer Instrument Reading Approach Based On Mask R-CNN Key Points Detection
CN113963335B (zh) 基于图像和点云数据的路面障碍物检测方法
CN114519847B (zh) 一种适用于车路协同感知系统的目标一致性判别方法
CN112907739B (zh) 一种井盖高程差信息获取方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant