CN113030960A - 一种基于单目视觉slam的车辆定位方法 - Google Patents

一种基于单目视觉slam的车辆定位方法 Download PDF

Info

Publication number
CN113030960A
CN113030960A CN202110367525.9A CN202110367525A CN113030960A CN 113030960 A CN113030960 A CN 113030960A CN 202110367525 A CN202110367525 A CN 202110367525A CN 113030960 A CN113030960 A CN 113030960A
Authority
CN
China
Prior art keywords
vehicle
positioning
angle
parameters
slam
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110367525.9A
Other languages
English (en)
Other versions
CN113030960B (zh
Inventor
李纪鑫
吴宗卓
赫磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Institute of Technology
Original Assignee
Shaanxi Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Institute of Technology filed Critical Shaanxi Institute of Technology
Priority to CN202110367525.9A priority Critical patent/CN113030960B/zh
Publication of CN113030960A publication Critical patent/CN113030960A/zh
Application granted granted Critical
Publication of CN113030960B publication Critical patent/CN113030960B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于单目视觉SLAM的车辆定位方法，包括如下步骤：基于车辆单目摄像头所采集到周围环境图像数据，实现车辆初始位置坐标的定位；基于车辆单目摄像头实现周围环境图像的采集，同时基于安装在车辆前后四个端角上的三维姿态传感器实现车辆运动角度参数、车辆加速度参数和车辆运动轨迹参数的采集；基于车辆初始位置坐标、周围环境图像数据、车辆运动角度参数、车辆加速度参数和车辆运动轨迹参数和车辆运动速度参数实现单目视觉SLAM初始化，构建SLAM地图；基于单目摄像头拍摄到的图像位置以及车辆在每个角度上的运动距离在所述SLAM地图内实现车位的定位，获取车辆的定位位姿。本发明可以显著提高车辆定位的精确度。

Description

一种基于单目视觉SLAM的车辆定位方法
技术领域
本发明涉及车辆定位技术领域，具体涉及一种基于单目视觉SLAM的车辆定位方法。
背景技术
随着计算机视觉技术的发展,基于单目视觉的同步定位与地图创建(monocularSLAM)逐渐成为计算机视觉领域的热点问题之一。
然而，由于单目视觉SLAM的尺度不确定性的问题，基于单目视觉SLAM构建的地图只能是相对精度的地图，即使地图中的各个物体的相对位置关系准确，该地图与真实地理环境之间仍然存在一个可能的比例关系。因此，当使用通过单目视觉SLAM构建出的SLAM地图进行车辆定位时，存在定位精度较低的问题。
发明内容
为解决上述问题，本发明提供了一种基于单目视觉SLAM的车辆定位方法，可以显著提高车辆定位的精确度。
为实现上述目的，本发明采取的技术方案为：
一种基于单目视觉SLAM的车辆定位方法，包括如下步骤：
S1、基于车辆单目摄像头所采集到周围环境图像数据，实现车辆初始位置坐标的定位；
S2、基于车辆单目摄像头实现周围环境图像的采集，同时基于安装在车辆前后四个端角上的三维姿态传感器实现车辆运动角度参数、车辆加速度参数和车辆运动轨迹参数的采集；
S3、基于车辆初始位置坐标、周围环境图像数据、车辆运动角度参数、车辆加速度参数和车辆运动轨迹参数和车辆运动速度参数实现单目视觉SLAM初始化，构建SLAM地图；所述SLAM地图包括障碍物三维模型、车辆三维模型及前后四个端角的三维坐标、及每个障碍物靠近车辆面与车辆的相对距离参数；
S4、基于单目摄像头拍摄到的图像位置以及车辆在每个角度上的运动距离在所述SLAM地图内实现车位的定位，获取车辆的定位位姿。
进一步地，步骤S1中，首先基于单目摄像头和雷达传感器实现周围障碍物图像及障碍物相对距离的采集，然后基于障碍物相对距离，以单目摄像头的三维坐标为原点，实现车辆初始位置坐标的定位。
进一步地，所述车辆初始位置坐标为车辆初始位置前后四个端角的三维坐标。
进一步地，所述步骤S3中，基于kinect深度传感器实现障碍物的三维重构，具体的，通过kinect深度传感器进行障碍物深度图像的获取，将所获得的障碍物深度图像进行三角化，然后在尺度空间中融合所有三角化的深度图像构建分层有向距离场，对距离场中所有的体素应用整体三角剖分算法产生一个涵盖所有体素的凸包，并利用MarchingTetrahedra算法构造等值面,完成障碍物的三维重构。
进一步地，步骤S3中，基于MATLAB根据所采集到的车辆运动速度参数、车辆运动角度参数、车辆加速度参数、车辆运动轨迹参数计算车辆在每个角度上的运动距离。
进一步地，步骤S3中，根据计算所得的车辆在每个角度上的运动距离，以车辆初始坐标为起点，计算输出当前车辆在所述SLAM地图内的坐标，实现车位的定位，获取车辆的定位位姿。
进一步地，所述步骤S3中，基于车辆运动角度参数、障碍物距离参数实现障碍物尺寸的调整。
本发明以车辆前后四个端角的三维坐标为基准，通过构建包含障碍物三维模型、车辆三维模型及前后四个端角的三维坐标、及每个障碍物靠近车辆面与车辆的相对距离参数的SLAM地图，基于单目摄像头拍摄到的图像位置以及车辆在每个角度上的运动距离在所述SLAM地图内实现车位的定位，获取车辆的定位位姿，大大提高了定位的精确度。
附图说明
图1为本发明实施例一种基于单目视觉SLAM的车辆定位方法的流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
实施例1
一种基于单目视觉SLAM的车辆定位方法，包括如下步骤：
S1、基于车辆单目摄像头所采集到周围环境图像数据，实现车辆初始位置坐标的定位；所述车辆初始位置坐标为车辆初始位置前后四个端角的三维坐标；
S2、基于车辆单目摄像头实现周围环境图像的采集，同时基于安装在车辆前后四个端角上的三维姿态传感器实现车辆运动角度参数、车辆加速度参数和车辆运动轨迹参数的采集；
S3、基于车辆初始位置坐标、周围环境图像数据、车辆运动角度参数、车辆加速度参数和车辆运动轨迹参数和车辆运动速度参数实现单目视觉SLAM初始化，构建SLAM地图；所述SLAM地图包括障碍物三维模型、车辆三维模型及前后四个端角的三维坐标、及每个障碍物靠近车辆面与车辆的相对距离参数；
S4、基于单目摄像头拍摄到的图像位置以及车辆在每个角度上的运动距离在所述SLAM地图内实现车位的定位，获取车辆的定位位姿。
本实施例中，步骤S1中，首先基于单目摄像头和雷达传感器实现周围障碍物图像及障碍物相对距离的采集，然后基于障碍物相对距离，以单目摄像头的三维坐标为原点，实现车辆初始位置坐标的定位。本实施例中，基于单目摄像有与车辆初始位置前后四个端角三维坐标之间的关联关系实现车辆初始位置坐标的定位。
本实施例中，所述步骤S3中，基于kinect深度传感器实现障碍物的三维重构，具体的，通过kinect深度传感器进行障碍物深度图像的获取，将所获得的障碍物深度图像进行三角化，然后在尺度空间中融合所有三角化的深度图像构建分层有向距离场，对距离场中所有的体素应用整体三角剖分算法产生一个涵盖所有体素的凸包，并利用MarchingTetrahedra算法构造等值面,完成障碍物的三维重构。
本实施例中，步骤S3中，基于MATLAB根据所采集到的车辆运动速度参数、车辆运动角度参数、车辆加速度参数、车辆运动轨迹参数计算车辆在每个角度上的运动距离。
本实施例中，步骤S3中，根据计算所得的车辆在每个角度上的运动距离，以车辆初始坐标为起点，计算输出当前车辆在所述SLAM地图内的坐标，实现车位的定位，获取车辆的定位位姿。
本实施例中，所述步骤S3中，基于车辆运动角度参数、障碍物距离参数实现障碍物尺寸的调整；不同的车辆运动角度参数对应不同的单目摄像头图像采集位姿，不同的单目摄像头图像采集位姿和障碍物距离参数对应不同的障碍物尺寸调整算法。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (7)

1.一种基于单目视觉SLAM的车辆定位方法，其特征在于：包括如下步骤：
S1、基于车辆单目摄像头所采集到周围环境图像数据，实现车辆初始位置坐标的定位；
S2、基于车辆单目摄像头实现周围环境图像的采集，同时基于安装在车辆前后四个端角上的三维姿态传感器实现车辆运动角度参数、车辆加速度参数和车辆运动轨迹参数的采集；
S3、基于车辆初始位置坐标、周围环境图像数据、车辆运动角度参数、车辆加速度参数和车辆运动轨迹参数和车辆运动速度参数实现单目视觉SLAM初始化，构建SLAM地图；所述SLAM地图包括障碍物三维模型、车辆三维模型及前后四个端角的三维坐标、及每个障碍物靠近车辆面与车辆的相对距离参数；
S4、基于单目摄像头拍摄到的图像位置以及车辆在每个角度上的运动距离在所述SLAM地图内实现车位的定位，获取车辆的定位位姿。
2.如权利要求1所述的一种基于单目视觉SLAM的车辆定位方法，其特征在于：步骤S1中，首先基于单目摄像头和雷达传感器实现周围障碍物图像及障碍物相对距离的采集，然后基于障碍物相对距离，以单目摄像头的三维坐标为原点，实现车辆初始位置坐标的定位。
3.如权利要求1所述的一种基于单目视觉SLAM的车辆定位方法，其特征在于：所述车辆初始位置坐标为车辆初始位置前后四个端角的三维坐标。
4.如权利要求1所述的一种基于单目视觉SLAM的车辆定位方法，其特征在于：所述步骤S3中，基于kinect深度传感器实现障碍物的三维重构，具体的，通过kinect深度传感器进行障碍物深度图像的获取，将所获得的障碍物深度图像进行三角化，然后在尺度空间中融合所有三角化的深度图像构建分层有向距离场，对距离场中所有的体素应用整体三角剖分算法产生一个涵盖所有体素的凸包，并利用Marching Tetrahedra算法构造等值面,完成障碍物的三维重构。
5.如权利要求1所述的一种基于单目视觉SLAM的车辆定位方法，其特征在于：步骤S3中，基于MATLAB根据所采集到的车辆运动速度参数、车辆运动角度参数、车辆加速度参数、车辆运动轨迹参数计算车辆在每个角度上的运动距离。
6.如权利要求1所述的一种基于单目视觉SLAM的车辆定位方法，其特征在于：步骤S3中，根据计算所得的车辆在每个角度上的运动距离，以车辆初始坐标为起点，计算输出当前车辆在所述SLAM地图内的坐标，实现车位的定位，获取车辆的定位位姿。
7.如权利要求1所述的一种基于单目视觉SLAM的车辆定位方法，其特征在于：所述步骤S3中，基于车辆运动角度参数、障碍物距离参数实现障碍物尺寸的调整。
CN202110367525.9A 2021-04-06 2021-04-06 一种基于单目视觉slam的车辆定位方法 Active CN113030960B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110367525.9A CN113030960B (zh) 2021-04-06 2021-04-06 一种基于单目视觉slam的车辆定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110367525.9A CN113030960B (zh) 2021-04-06 2021-04-06 一种基于单目视觉slam的车辆定位方法

Publications (2)

Publication Number Publication Date
CN113030960A true CN113030960A (zh) 2021-06-25
CN113030960B CN113030960B (zh) 2023-07-04

Family

ID=76454118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110367525.9A Active CN113030960B (zh) 2021-04-06 2021-04-06 一种基于单目视觉slam的车辆定位方法

Country Status (1)

Country Link
CN (1) CN113030960B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114013307A (zh) * 2021-11-09 2022-02-08 青岛特来电新能源科技有限公司 车辆充电方法、装置和电子设备
CN114037736A (zh) * 2021-11-15 2022-02-11 重庆大学 一种基于自适应模型的车辆检测与跟踪方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105492985A (zh) * 2014-09-05 2016-04-13 深圳市大疆创新科技有限公司 多传感器环境地图构建
CN107490382A (zh) * 2017-07-31 2017-12-19 中北智杰科技（北京）有限公司 一种无人驾驶汽车路径规划系统及控制方法
CN107543531A (zh) * 2017-08-13 2018-01-05 天津职业技术师范大学 一种机器人视觉定位系统
US20180024223A1 (en) * 2015-01-06 2018-01-25 Discovery Robotics Method and system for determining precise robotic position and orientation using near-simultaneous radio frequency measurements
KR20190003124A (ko) * 2017-06-30 2019-01-09 엘지전자 주식회사 이동 로봇의 동작 방법
CN109540148A (zh) * 2018-12-04 2019-03-29 广州小鹏汽车科技有限公司 基于slam地图的定位方法及系统
CN109887032A (zh) * 2019-02-22 2019-06-14 广州小鹏汽车科技有限公司 一种基于单目视觉slam的车辆定位方法及系统
CN109887087A (zh) * 2019-02-22 2019-06-14 广州小鹏汽车科技有限公司 一种车辆的slam建图方法及系统
CN109887053A (zh) * 2019-02-01 2019-06-14 广州小鹏汽车科技有限公司 一种slam地图拼接方法及系统
CN110044256A (zh) * 2018-01-16 2019-07-23 爱信精机株式会社 自车位置估计装置
CN110378919A (zh) * 2019-06-14 2019-10-25 江苏裕兰信息科技有限公司 一种基于slam的窄道通行障碍物检测方法
CN111089579A (zh) * 2018-10-22 2020-05-01 北京地平线机器人技术研发有限公司 异构双目slam方法、装置及电子设备
CN111862673A (zh) * 2020-06-24 2020-10-30 北京易航远智科技有限公司 基于顶视图的停车场车辆自定位及地图构建方法
CN111929068A (zh) * 2020-07-10 2020-11-13 中国矿业大学 一种封闭场景下车辆道路能力测试方法
CN111986261A (zh) * 2020-08-13 2020-11-24 清华大学苏州汽车研究院（吴江） 一种车辆定位方法、装置、电子设备及存储介质
CN111986506A (zh) * 2020-07-20 2020-11-24 苏州易航远智智能科技有限公司 基于多视觉系统的机械式停车位泊车方法
US20210003405A1 (en) * 2019-07-05 2021-01-07 Lg Electronics Inc. Moving robot and control method thereof

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105492985A (zh) * 2014-09-05 2016-04-13 深圳市大疆创新科技有限公司 多传感器环境地图构建
US20180024223A1 (en) * 2015-01-06 2018-01-25 Discovery Robotics Method and system for determining precise robotic position and orientation using near-simultaneous radio frequency measurements
KR20190003124A (ko) * 2017-06-30 2019-01-09 엘지전자 주식회사 이동 로봇의 동작 방법
CN107490382A (zh) * 2017-07-31 2017-12-19 中北智杰科技（北京）有限公司 一种无人驾驶汽车路径规划系统及控制方法
CN107543531A (zh) * 2017-08-13 2018-01-05 天津职业技术师范大学 一种机器人视觉定位系统
CN110044256A (zh) * 2018-01-16 2019-07-23 爱信精机株式会社 自车位置估计装置
CN111089579A (zh) * 2018-10-22 2020-05-01 北京地平线机器人技术研发有限公司 异构双目slam方法、装置及电子设备
CN109540148A (zh) * 2018-12-04 2019-03-29 广州小鹏汽车科技有限公司 基于slam地图的定位方法及系统
CN109887053A (zh) * 2019-02-01 2019-06-14 广州小鹏汽车科技有限公司 一种slam地图拼接方法及系统
CN109887087A (zh) * 2019-02-22 2019-06-14 广州小鹏汽车科技有限公司 一种车辆的slam建图方法及系统
CN109887032A (zh) * 2019-02-22 2019-06-14 广州小鹏汽车科技有限公司 一种基于单目视觉slam的车辆定位方法及系统
CN110378919A (zh) * 2019-06-14 2019-10-25 江苏裕兰信息科技有限公司 一种基于slam的窄道通行障碍物检测方法
US20210003405A1 (en) * 2019-07-05 2021-01-07 Lg Electronics Inc. Moving robot and control method thereof
CN111862673A (zh) * 2020-06-24 2020-10-30 北京易航远智科技有限公司 基于顶视图的停车场车辆自定位及地图构建方法
CN111929068A (zh) * 2020-07-10 2020-11-13 中国矿业大学 一种封闭场景下车辆道路能力测试方法
CN111986506A (zh) * 2020-07-20 2020-11-24 苏州易航远智智能科技有限公司 基于多视觉系统的机械式停车位泊车方法
CN111986261A (zh) * 2020-08-13 2020-11-24 清华大学苏州汽车研究院（吴江） 一种车辆定位方法、装置、电子设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
杨元慧: "单目视觉SLAM车载摄像机快速位姿估计及景物重构", 《山东大学学报》, vol. 51, no. 12, pages 116 - 124 *
瑚琦: "单目视觉惯性的同时定位与地图构建综述", 《软件导刊》, vol. 19, no. 7, pages 275 - 280 *
钱钧: "可移动坐标框架的智能车辆同时定位与建图", 《上海交通大学学报》, vol. 43, no. 6, pages 857 - 861 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114013307A (zh) * 2021-11-09 2022-02-08 青岛特来电新能源科技有限公司 车辆充电方法、装置和电子设备
CN114013307B (zh) * 2021-11-09 2024-02-09 青岛特来电新能源科技有限公司 车辆充电方法、装置和电子设备
CN114037736A (zh) * 2021-11-15 2022-02-11 重庆大学 一种基于自适应模型的车辆检测与跟踪方法
CN114037736B (zh) * 2021-11-15 2024-05-14 重庆大学 一种基于自适应模型的车辆检测与跟踪方法

Also Published As

Publication number Publication date
CN113030960B (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
CN111156998B (zh) 一种基于rgb-d相机与imu信息融合的移动机器人定位方法
CN110582798B (zh) 用于虚拟增强视觉同时定位和地图构建的系统和方法
CN112567201B (zh) 距离测量方法以及设备
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
US20180313940A1 (en) Calibration of laser and vision sensors
KR102016551B1 (ko) 위치 추정 장치 및 방법
CN110176032B (zh) 一种三维重建方法及装置
KR102249769B1 (ko) 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
CN110345937A (zh) 一种基于二维码的导航定姿定位方法和系统
CN111288989B (zh) 一种小型无人机视觉定位方法
CN110411457B (zh) 基于行程感知与视觉融合的定位方法、系统、终端和存储介质
CN112669354B (zh) 一种基于车辆非完整约束的多相机运动状态估计方法
KR20200071293A (ko) 3차원 컬러 맵 기반의 측위 방법 및 장치
CN110517284B (zh) 一种基于激光雷达和ptz摄像机的目标追踪方法
CN111161337A (zh) 一种动态环境下的陪护机器人同步定位与构图方法
CN113030960B (zh) 一种基于单目视觉slam的车辆定位方法
CN111998862A (zh) 一种基于bnn的稠密双目slam方法
CN113580134B (zh) 视觉定位方法、设备、机器人、存储介质及程序产品
CN110458885B (zh) 基于行程感知与视觉融合的定位系统和移动终端
CN113960614A (zh) 一种基于帧-地图匹配的高程图构建方法
JP6410231B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
CN111833443A (zh) 自主机器应用中的地标位置重建
CN112284381B (zh) 视觉惯性实时初始化对准方法及系统
Barth et al. Vehicle tracking at urban intersections using dense stereo
CN212044739U (zh) 一种基于惯性数据和视觉特征的定位装置及机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant