CN111681283B - 一种基于单目立体视觉的应用于无线充电对位的相对位姿解算方法 - Google Patents

一种基于单目立体视觉的应用于无线充电对位的相对位姿解算方法 Download PDF

Info

Publication number
CN111681283B
CN111681283B CN202010394498.XA CN202010394498A CN111681283B CN 111681283 B CN111681283 B CN 111681283B CN 202010394498 A CN202010394498 A CN 202010394498A CN 111681283 B CN111681283 B CN 111681283B
Authority
CN
China
Prior art keywords
camera
coordinate system
wireless charging
monocular
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010394498.XA
Other languages
English (en)
Other versions
CN111681283A (zh
Inventor
李永强
杨晓宇
牛可通
宋凯
朱春波
杨国勋
靳若冰
赵永平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Wanan Yichuang Electronic Technology Co ltd
Harbin Institute of Technology
Original Assignee
Zhejiang Wanan Yichuang Electronic Technology Co ltd
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Wanan Yichuang Electronic Technology Co ltd, Harbin Institute of Technology filed Critical Zhejiang Wanan Yichuang Electronic Technology Co ltd
Priority to CN202010394498.XA priority Critical patent/CN111681283B/zh
Publication of CN111681283A publication Critical patent/CN111681283A/zh
Application granted granted Critical
Publication of CN111681283B publication Critical patent/CN111681283B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/60—Other road transportation technologies with climate change mitigation effect
    • Y02T10/70—Energy storage systems for electromobility, e.g. batteries
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/60—Other road transportation technologies with climate change mitigation effect
    • Y02T10/7072—Electromobility specific charging systems or methods for batteries, ultracapacitors, supercapacitors or double-layer capacitors

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

本发明提出了一种基于单目立体视觉的应用于无线充电对位的相对位姿解算方法，包括以下步骤：硬件上单目相机通过USB采集卡与主控计算机相连，通过Opencv控制相机工作。主控计算机对单目相机拍摄图像进行图像预处理，图像分割和角点提取，结合相机标定结果通过基于共面特征点P4P方法进行靶标和相机的相对位姿检测。本发明相比于现有的无线充电对位技术，本发明的视觉方案可避开这种干扰；且单目视觉方法仅依靠一个相机便可实现无线充电对位技术，操作难度低，安装方法简单，实时判断计算量较小，可移植性较高。相比无视觉系统的行车系统，接收周围信息量更多，降低了行车过程中的安全隐患，提高了司机和行车系统的互操作性。

Description

一种基于单目立体视觉的应用于无线充电对位的相对位姿解算方法
技术领域
本发明涉及一种基于单目立体视觉的应用于无线充电对位的相对位姿解算方法，属于电动汽车无线充电对位领域。
背景技术
当今世界正面临着全球性的能源危机与日益严峻的环境问题，交通运输领域作为世界经济的命脉，正经受着高能源消耗与高环境污染的双重挑战。新能源汽车逐渐成为引领世界汽车产业转型的重要力量，为了发挥电动汽车减少环境污染的优势，要研发并合理地布置充电设施。在无线电能传输领域为了充电效率最大化必须提升线圈互感值。只有电动汽车发射线圈和接收线圈同轴放置时，互感值才能达到最大，系统效率最高。但在实际应用中，不可避免的会出现两线圈镜径向偏移的情况。
目前电动汽车无线充电系统相关产品普遍采用磁参量、电参量实现无线充电位置感知技术：比亚迪技术有限公司在无线充电系统车载接收线圈外切三角形顶点的位置分别固定磁场强度检测器，且需在发射端同样半径圆外切三角形顶点位置放置永磁体，根据接收到的磁场强度经运算模块处理后生成对位情况感官图像及纠正信息。哈尔滨工业大学提出了一种基于三轴磁传感器的定位方式，通过测量车载永磁体在行驶方向上的磁感应强度，实现对车辆的精确定位。二者受磁场或者传感器相互之间的干扰较小，不能与无线充电方式良好结合。
由蒋志文和曾祎撰写的《基于双目视觉和路径规划的车辆自动泊车系统》提出的解决方案以双目视觉系统代替传统的超声波和红外测距仪为主的和传感器，采用双目视觉获取每个像素点在摄像机坐标中的三维信息，但是提升了系统复杂度，双目配置和标定较为复杂，视差计算消耗计算资源。
由Lin Z、Junhao H和Xiyuan L撰写的《A DCNN-based Approach and A Large-scale Benchmark Dataset》提出的解决方案以环视图像作为输入，通过构建实时目标检测系统，检测车位两个角点，后通过简单的神经网络对两个角点组成的图像进行分类然后通过算法提取另外两个点，实时检测车位。但是该方法无法布设至车载嵌入式系统，无法产业化实现。
发明内容
本发明的目的是提出一种基于单目立体视觉的应用于无线充电对位的相对位姿解算方法，以解决现有的对位方法受磁场或者传感器相互之间的干扰较大，不能与无线充电方式良好结合，需要依靠多个相机完成对位的问题。
一种基于单目立体视觉的应用于无线充电对位的相对位姿解算方法，所述相对位姿解算方法包括以下步骤：
步骤一、对单目相机进行标定，获取相机内参矩阵、畸变系数和相机焦距f，建立世界坐标系、摄像机坐标系、图像坐标系和像素坐标系的对应关系：
以四个坐标系为基础，获得世界坐标系到图像坐标系的转换公式为：
Figure BDA0002487079180000021
式中，
Figure BDA0002487079180000022
为每毫米的像素数，K为相机的内部参数，包括像素意义的焦距fx、fy和主点坐标(cx,cy)四个变量，M为相机的外部参数，KM表示摄像机的投影矩阵，描述了从世界坐标系到像素坐标系的变换；
步骤二、设计作为特征标记的靶标，以方便后续定位发射端；
步骤三、对拍摄到的图像进行预处理及图像分割，提取感兴趣区域，并作角点提取；
步骤四、通过P4P算法选取4个共面特征点求解相机位姿参数：对于共面特征点，有世界坐标Zw＝0，则可将公式简化为：
Figure BDA0002487079180000031
以Xq、Yq标识归一化图像坐标系：
Figure BDA0002487079180000032
结合公式(2)，设世界坐标系原点取在相机光轴正方向一侧，则有mz＝tz＞0，令si＝mi/mz(i＝1,2,4,5,x,y)，得到线性方程如下：
Figure BDA0002487079180000033
对每个特征点均列出如上式两个方程，则需至少四个特征点即可求解线性方程组，进而计算获得R和T，其中，R为旋转矩阵，T为平移矩阵；
步骤五、对匹配点进行解算获得外参矩阵后，结合内外参数矩阵获取相机和靶标的相对位姿，通过坐标转换获取磁耦合线圈的相对位置。
进一步的，在步骤一中，所述世界坐标系、摄像机坐标系、图像坐标系和像素坐标系：
所述世界坐标系Ow-XwYwZw：以空间中任意一点作为坐标系的原点，描述三维空间中任意目标物体和相机在环境中的相对位置关系；
所述摄像机坐标系Oc-XcYcZc：表示以摄像机光心为中心的坐标系，描述空间中某点相对于相机的位置关系；
所述图像坐标系O-xy：在成像平面内，以主点Oxy为中心的坐标系，物理单位一般为毫米；
所述像素坐标系O-uv：在成像平面内，以左上角顶点Ouv为中心的坐标系，物理单位一般为像素。
进一步的，在步骤二中，所述靶标至少具备三个以上的特征点作为先验角点。
本发明的主要优点是：
1、相比于现有的无线充电对位技术，本发明提出的视觉方法具有明显的优点：传统对位方法受磁场或者传感器相互之间的干扰较大，不能与无线充电方式良好结合，视觉方案可避开这种干扰；
2、本发明提出的单目视觉方法仅依靠一个相机便可实现无线充电对位技术，操作难度低，安装方法简单，实时判断计算量较小，可移植性较高。
3、相比无视觉系统的行车系统，接收周围信息量更多，降低了行车过程中的安全隐患，提高了司机和行车系统的互操作性。
附图说明
图1为本发明的一种基于单目立体视觉的应用于无线充电对位的相对位姿解算方法的方法流程图；
图2为针孔成像模型示意图；
图3为P4P原理图。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明所采用的技术方案是：硬件上单目相机通过USB采集卡与主控计算机相连，通过Opencv控制相机工作。主控计算机对单目相机拍摄图像进行图像预处理，图像分割和角点提取，结合相机标定结果通过基于共面特征点P4P方法进行靶标和相机的相对位姿检测
参照图1所示，本发明提出了一种基于单目立体视觉的应用于无线充电对位的相对位姿解算方法的一实施例，所述相对位姿解算方法包括以下步骤：
步骤一、对单目相机进行标定，获取相机内参矩阵、畸变系数和相机焦距f，由图2所示建立世界坐标系、摄像机坐标系、图像坐标系和像素坐标系的对应关系：
以四个坐标系为基础，获得世界坐标系到图像坐标系的转换公式为：
Figure BDA0002487079180000051
式中，
Figure BDA0002487079180000052
为每毫米的像素数，K为相机的内部参数，包括像素意义的焦距fx(u轴上的尺度系数)、fy(v轴上的尺度系数)和主点坐标(cx,cy)四个变量，M为相机的外部参数，KM表示摄像机的投影矩阵，描述了从世界坐标系到像素坐标系的变换；
步骤二、设计作为特征标记的靶标，以方便后续定位发射端；
步骤三、对拍摄到的图像进行预处理及图像分割，提取感兴趣区域，并作角点提取；
步骤四、通过P4P算法选取4个共面特征点求解相机位姿参数：如图3所示，对于共面特征点，有世界坐标Zw＝0，则可将公式简化为：
Figure BDA0002487079180000053
以Xq、Yq标识归一化图像坐标系：
Figure BDA0002487079180000061
结合公式(2)，设世界坐标系原点取在相机光轴正方向一侧，则有mz＝tz＞0，令si＝mi/mz(i＝1,2,4,5,x,y)，得到线性方程如下：
Figure BDA0002487079180000062
对每个特征点均列出如上式两个方程，则需至少四个特征点即可求解线性方程组，进而计算获得R和T，其中，R为旋转矩阵，T为平移矩阵；
步骤五、对匹配点进行解算获得外参矩阵后，结合内外参数矩阵获取相机和靶标的相对位姿，通过坐标转换获取磁耦合线圈的相对位置，实时调整线圈偏移，提高充电效率。
进一步的，在步骤一中，所述世界坐标系、摄像机坐标系、图像坐标系和像素坐标系：
所述世界坐标系Ow-XwYwZw：以空间中任意一点作为坐标系的原点，描述三维空间中任意目标物体和相机在环境中的相对位置关系；
所述摄像机坐标系Oc-XcYcZc：表示以摄像机光心为中心的坐标系，描述空间中某点相对于相机的位置关系；
所述图像坐标系O-xy：在成像平面内，以主点Oxy为中心的坐标系，物理单位一般为毫米；
所述像素坐标系O-uv：在成像平面内，以左上角顶点Ouv为中心的坐标系，物理单位一般为像素。
进一步的，在步骤二中，所述靶标至少具备三个以上的特征点作为先验角点，并能明确对应图像中的角点和实际几何中的角点，且需形状简单，特征明显，易于图像分割定位标记物，还需方便根据设计的靶标建立世界坐标系，进而获取相机坐标系和世界坐标系的对应关系。
本发明的单目相机可选择视野范围较大、焦距较小的针孔相机进行实验；
为验证实验，设计了与背景颜色差距较大，特征明显的矩形靶标，该靶标具有四个顶点，在进行靶标图像识别时需保证靶标边缘直线不被遮挡。

Claims (2)

1.一种基于单目立体视觉的应用于无线充电对位的相对位姿解算方法，其特征在于，所述相对位姿解算方法包括以下步骤：
步骤一、对单目相机进行标定，获取相机内参矩阵、畸变系数和相机焦距f，建立世界坐标系、摄像机坐标系、图像坐标系和像素坐标系的对应关系：
所述世界坐标系Ow-XwYwZw：以空间中任意一点作为坐标系的原点，描述三维空间中任意目标物体和相机在环境中的相对位置关系；
所述摄像机坐标系Oc-XcYcZc：表示以摄像机光心为中心的坐标系，描述空间中某点相对于相机的位置关系；
所述图像坐标系O-xy：在成像平面内，以主点Oxy为中心的坐标系，物理单位为毫米；
所述像素坐标系O-uv：在成像平面内，以左上角顶点Ouv为中心的坐标系，物理单位为像素；
以四个坐标系为基础，获得世界坐标系到图像坐标系的转换公式为：
Figure FDA0004085154270000011
式中，
Figure FDA0004085154270000012
为每毫米的像素数，K为相机的内部参数，包括像素意义的焦距fx、fy和主点坐标(cx,cy)四个变量，M为相机的外部参数，KM表示摄像机的投影矩阵，描述了从世界坐标系到像素坐标系的变换；
步骤二、设计作为特征标记的靶标，以方便后续定位发射端；
步骤三、对拍摄到的图像进行预处理及图像分割，提取感兴趣区域，并作角点提取；
步骤四、通过P4P算法选取4个共面特征点求解相机位姿参数：对于共面特征点，有世界坐标Zw＝0，则可将公式简化为：
Figure FDA0004085154270000021
其中，r为相机坐标系到世界坐标系的旋转矩阵数据，t为相机坐标系到世界坐标系的平移矩阵数据，m为外部参数的具体数据；
以Xq、Yq标识归一化图像坐标系：
Figure FDA0004085154270000022
结合公式(2)，设世界坐标系原点取在相机光轴正方向一侧，则有mz＝tz>0，令si＝mi/mz(i＝1,2,4,5,x,y)，得到线性方程如下：
Figure FDA0004085154270000023
对每个特征点均列出如上式两个方程，则需至少四个特征点即可求解线性方程组，进而计算获得R和T，其中，R为旋转矩阵，T为平移矩阵；
步骤五、对匹配点进行解算获得外参矩阵后，结合内外参数矩阵获取相机和靶标的相对位姿，通过坐标转换获取磁耦合线圈的相对位置。
2.根据权利要求1所述的一种基于单目立体视觉的应用于无线充电对位的相对位姿解算方法，其特征在于，在步骤二中，所述靶标至少具备三个以上的特征点作为先验角点。
CN202010394498.XA 2020-05-11 2020-05-11 一种基于单目立体视觉的应用于无线充电对位的相对位姿解算方法 Active CN111681283B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010394498.XA CN111681283B (zh) 2020-05-11 2020-05-11 一种基于单目立体视觉的应用于无线充电对位的相对位姿解算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010394498.XA CN111681283B (zh) 2020-05-11 2020-05-11 一种基于单目立体视觉的应用于无线充电对位的相对位姿解算方法

Publications (2)

Publication Number Publication Date
CN111681283A CN111681283A (zh) 2020-09-18
CN111681283B true CN111681283B (zh) 2023-04-07

Family

ID=72434003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010394498.XA Active CN111681283B (zh) 2020-05-11 2020-05-11 一种基于单目立体视觉的应用于无线充电对位的相对位姿解算方法

Country Status (1)

Country Link
CN (1) CN111681283B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381881B (zh) * 2020-10-26 2023-05-23 西安航天精密机电研究所 一种基于单目视觉的大型刚体构件自动对接方法
CN113884319B (zh) * 2021-08-30 2024-04-12 武汉科技大学 基于单目视觉的车辆最小转弯直径测量方法及系统
CN114613193A (zh) * 2022-03-22 2022-06-10 重庆长安汽车股份有限公司 基于算力共享的停车位获取方法、存储介质、系统及车辆
CN115830118B (zh) * 2022-12-08 2024-03-19 重庆市信息通信咨询设计院有限公司 一种基于双目相机的水泥电杆的裂纹检测方法和系统
CN117292147B (zh) * 2023-11-22 2024-02-09 江苏鹰创科技有限公司 基于图像特征的包裹边缘位置快速定位方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015024407A1 (zh) * 2013-08-19 2015-02-26 国家电网公司 基于电力机器人的双目视觉导航系统及方法
CN110332887A (zh) * 2019-06-27 2019-10-15 中国地质大学（武汉） 一种基于特征光标点的单目视觉位姿测量系统及方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013225245A (ja) * 2012-04-23 2013-10-31 Sony Corp 画像処理装置、画像処理方法及びプログラム
CN104596502B (zh) * 2015-01-23 2017-05-17 浙江大学 一种基于cad模型与单目视觉的物体位姿测量方法
CN105957090B (zh) * 2016-05-17 2018-07-31 中国地质大学（武汉） 一种基于达芬奇技术的单目视觉位姿测量方法及系统
US10282860B2 (en) * 2017-05-22 2019-05-07 Honda Motor Co., Ltd. Monocular localization in urban environments using road markings
CN107292927B (zh) * 2017-06-13 2020-09-04 厦门大学 一种基于双目视觉的对称运动平台位姿测量方法
DE102017216000A1 (de) * 2017-09-11 2019-03-14 Conti Temic Microelectronic Gmbh Gestensteuerung zur Kommunikation mit einem autonomen Fahrzeug auf Basis einer einfachen 2D Kamera
CN108492333B (zh) * 2018-03-30 2021-12-03 哈尔滨工业大学 基于星箭对接环图像信息的航天器姿态估计方法
CN108871337B (zh) * 2018-06-21 2021-01-01 浙江工业大学 基于多视觉传感器分布式信息融合的遮挡情况下目标位姿估计方法
CN110500954A (zh) * 2019-07-30 2019-11-26 中国地质大学（武汉） 一种基于圆特征及p3p算法的飞行器位姿测量方法
CN111089569B (zh) * 2019-12-26 2021-11-30 中国科学院沈阳自动化研究所 一种基于单目视觉的大型箱体测量方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015024407A1 (zh) * 2013-08-19 2015-02-26 国家电网公司 基于电力机器人的双目视觉导航系统及方法
CN110332887A (zh) * 2019-06-27 2019-10-15 中国地质大学（武汉） 一种基于特征光标点的单目视觉位姿测量系统及方法

Also Published As

Publication number Publication date
CN111681283A (zh) 2020-09-18

Similar Documents

Publication Publication Date Title
CN111681283B (zh) 一种基于单目立体视觉的应用于无线充电对位的相对位姿解算方法
CN112396650B (zh) 一种基于图像和激光雷达融合的目标测距系统及方法
CN107738612B (zh) 基于全景视觉辅助系统的自动泊车停车位检测与识别系统
CA2950791C (en) Binocular visual navigation system and method based on power robot
CN110910453B (zh) 基于无重叠视域多相机系统的车辆位姿估计方法及其系统
CN110443898A (zh) 一种基于深度学习的ar智能终端目标识别系统及方法
CN109813334B (zh) 基于双目视觉的实时高精度车辆里程计算方法
CN103824080B (zh) 动态稀疏环境下机器人slam物体状态检测方法
CN113506318B (zh) 一种车载边缘场景下的三维目标感知方法
CN111968132A (zh) 一种基于全景视觉的无线充电对位的相对位姿解算方法
Zhang et al. Robust inverse perspective mapping based on vanishing point
CN111178150A (zh) 车道线检测方法、系统及存储介质
CN113920183A (zh) 基于单目视觉的车前障碍物测距方法
CN114905512A (zh) 一种智能巡检机器人全景追踪及避障方法及系统
CN116958195A (zh) 物件追踪整合方法及整合装置
Zheng et al. A robust strategy for roadside cooperative perception based on multi-sensor fusion
CN111860270B (zh) 一种基于鱼眼相机的障碍物检测方法及装置
Li et al. Feature point extraction and tracking based on a local adaptive threshold
CN111311656B (zh) 一种适用于车载鱼眼相机的运动目标检测方法和装置
CN113139986A (zh) 一种集成式环境感知与多目标跟踪系统
CN116665166A (zh) 一种适用于不平坦路面场景的智能车辆3d目标检测方法
CN116403186A (zh) 基于FPN Swin Transformer与Pointnet++ 的自动驾驶三维目标检测方法
CN116385994A (zh) 一种三维道路线提取方法及相关设备
CN114170323B (zh) 图像拍摄装置的参数标定方法、设备及存储介质
CN113787924B (zh) 电动汽车无线充电系统磁耦合机构位置感知方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant