CN112419497A - 基于单目视觉的特征法与直接法相融合的slam方法 - Google Patents

基于单目视觉的特征法与直接法相融合的slam方法 Download PDF

Info

Publication number
CN112419497A
CN112419497A CN202011268432.2A CN202011268432A CN112419497A CN 112419497 A CN112419497 A CN 112419497A CN 202011268432 A CN202011268432 A CN 202011268432A CN 112419497 A CN112419497 A CN 112419497A
Authority
CN
China
Prior art keywords
dso
feature
map
slam
map points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011268432.2A
Other languages
English (en)
Inventor
张鹏
王磊
付忠霖
梁雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202011268432.2A priority Critical patent/CN112419497A/zh
Publication of CN112419497A publication Critical patent/CN112419497A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于单目视觉的特征法与直接法相融合的SLAM方法,包括:从灰度图像中提取DSO特征,从DSO特征中提取ORB特征,分别对DSO特征和ORB特征进行特征对匹配处理;插入关键帧到局部地图中,对现存地图点进行更新,剔除冗余地图点,从关键帧中提取新的地图点,进行地图点更新;将现存地图点投影到关键帧,并构建局部光束法平差,调整相机位姿;剔除冗余关键帧,询问数据库,并进行Sim3相似性计算,并检测是否是闭环,如果是,则进行闭环融合,并优化本质图,流程结束;如果不是,则进入下一步骤;构建全局光束法平差,调整相机位姿,使得SLAM系统整体误差最小化,更新地图。

Description

基于单目视觉的特征法与直接法相融合的SLAM方法
技术领域
本发明涉及移动设备自主定位与建图领域,尤其涉及一种基于单目视觉的特征法与直接法相融合的SLAM方法。
背景技术
SLAM(Simultaneously Location and Mapping,中文译作“同时定位与地图构建”),被誉为移动设备实现自主移动的核心技术之一,近年来在一群优秀的研究人员的共同努力下,已逐渐走向成熟,且未来可广泛应用于三维重建、AR/VR(Augmented Reality,增强现实/Virtual Reality,虚拟现实)设备与移动机器人领域。
由于采用传感器的不同,诸如惯性测量单元(Inertia Measurement Unit,IMU)、激光雷达(Laser Lidar)、相机等,SLAM可分为INS(Inertia Navigation System,惯性导航系统)、激光SLAM与视觉SLAM。其中,视觉SLAM根据摄像头的不同(有单目-Monocular、双目-Stereo、RGB-D深度相机,以及鱼眼相机、全景相机等),又可区分开来。其中,使用单目相机的SLAM被称为单目视觉SLAM。
目前视觉SLAM主流的方法有两种,分别是基于特征法的SLAM(如ORB-SLAM[1]),以及基于直接法的SLAM(如DSO[2](Direct Sparse Odometry,直接法稀疏里程计))。两种方法具备各自的优势:
1)基于ORB特征[1]:通过提取的特征点与描述子,使得处理的图像具有良好的旋转不变性,且具有良好的光照稳定性,在实时性要求较高的场景下,该种方法更加鲁棒。但当环境中存在较少的纹理或纹理重复性较高时(如图1),基于特征的SLAM只能依赖有限的特征点,而当特征点少于一定阈值时,该种方法便会失效;
2)基于直接法[2]:不必计算描述子,可以直接根据图像的像素信息来估算搭载相机主体的运动,但是该方法基于一个很强的灰度不变假设,在环境光照变化不明显时,该方法在弱纹理区域呈现出强于特征法的鲁棒性。
基于特征法的SLAM很难在缺少特征的弱纹理环境中(如图1)运行,而直接法无需依赖特征点,只要图像中存在像素梯度,便可顺利实时运行,但是在弱纹理或重复纹理的环境中,即使存在极少的特征点,也能为整个SLAM系统前端带来一些约束,提供可靠的数据关联,从而极大的提高整个SLAM系统的鲁棒性与准确性。
参考文献
[1]R.Mur-Artal,J.Montiel,and J.Tardos.ORB-SLAM:a versatile andaccurate monocular SLAM system.Transactions on Robotics,31(5):1147–1163,2015.
[2]J.Engel,V.Koltun,and D.Cremers,“Direct Sparse Odometry,”IEEETransactions on Pattern Analysis and Machine Intelligence,vol.40,no.3,pp.611–625,2018.
发明内容
本发明提供了一种基于单目视觉的特征法与直接法相融合的SLAM方法,本发明的目的是:提供一种新的SLAM方案,使得SLAM系统同时兼具直接法与特征法的优点,从而使新的SLAM系统能达到场景强弱纹理自适应的效果,详见下文描述:
一种基于单目视觉的特征法与直接法相融合的SLAM方法,所述方法包括:
从灰度图像中提取DSO特征,从DSO特征中提取ORB特征,分别对DSO特征和ORB特征进行特征对匹配处理;
计算H矩阵与F矩阵,分别对2个矩阵进行评分,取高分的一个作为初始化的分解矩阵,获取估计的相机位姿,得到特征点的世界坐标;再通过深度滤波器创建直接法地图点,追踪局部地图;
插入关键帧到局部地图中,对现存地图点进行更新,剔除冗余地图点,从关键帧中提取新的地图点,进行地图点更新;
将现存地图点投影到关键帧,并构建局部光束法平差,调整相机位姿;剔除冗余关键帧,询问数据库,并进行Sim3相似性计算,并检测是否是闭环,如果是,则进行闭环融合,并优化本质图,流程结束;如果不是,则进入下一步骤;
构建全局光束法平差,调整相机位姿,使得SLAM系统整体误差最小化,更新地图。
其中,所述分别对DSO特征和ORB特征进行特征对匹配处理具体为:
1)针对DSO特征,根据相机位姿估计值来寻找和p1对应的图像2中的某一DSO特征点p2,最小化光度误差,获得最优的P2点,保存匹配结果;
2)针对ORB特征直接得到p1-p2匹配对。
进一步地,所述整体误差为重投影误差和光度误差的加权平均误差。
本发明提供的技术方案的有益效果是:
1、融合特征法、直接法的SLAM方案,可呈现强弱纹理自适应的效果。强弱纹理自适应,指的是:当场景处于强纹理时,环境中存在着较多的角点,这时融合后的SLAM可呈现出接近于纯特征法的效果(此时纯直接法的SLAM精度没有纯特征法的高);而当场景处于弱纹理时,环境中缺乏角点,只存在一些光度变化较为明显的区域,这时融合后的SLAM可呈现出接近于纯直接法的效果(纯特征法的SLAM此时会失效);
2、保留了ORB特征,使得融合后的SLAM具备回环检测(可消除累积误差)的功能,这点是纯直接法所不具备的。
附图说明
图1为一些弱纹理场景示例图;
图2为ORB-SLAM的三线程系统流程图;
图3为一种基于单目视觉的特征法与直接法相融合的SLAM方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面对本发明实施方式作进一步地详细描述。
实施例1
本发明实施例提供了一种基于单目视觉的特征法与直接法相融合的SLAM方法,该方法包括以下步骤:
101:单目相机传感器中输入初始图像,由Opencv提供的算法将初始图像转换为灰度图像;再从灰度图像中提取DSO特征;
具体实现时,提取DSO特征只需知道灰度图像中存在的灰度梯度即可,因此比ORB特征更加容易提取且包含ORB特征。
其中,Opencv为一针对实时计算机视觉的编程函数库,为本领域技术人员所公知,本发明实施例对此不做赘述。
102:从DSO特征中提取ORB特征,分别对DSO特征和ORB特征进行特征对匹配处理,具体为:
1)针对DSO特征(由于未计算描述符,所以不能特征匹配),如图像1中的某一DSO特征点p1,根据相机位姿估计值来寻找和p1对应的图像2中的某一DSO特征点p2(理论上来讲,p1和p2是同一地图点在两个图像上的投影,但由于观测误差,两个特征点光度会存在差异),然后最小化光度误差,获得最优的P2点,保存匹配结果(p1-p2为一个匹配对);
2)针对ORB特征(包含描述符),进行特征匹配,可直接得到p1-p2匹配对,得到的匹配结果供后续步骤104使用。
103:进行单目初始化,同时计算H矩阵与F矩阵,分别对2个矩阵进行评分,取高分的一个作为本次初始化的分解矩阵,进而获取估计的相机位姿;
其中,若为H矩阵,则通过直接线性变换法(Direct Linear Transform)得到估计的相机位姿;若为F矩阵,则通过奇异值分解方法来得到估计的相机位姿。
其中,H矩阵(Homography Matrix)为一单应矩阵,描述了两个平面之间的映射关系,若场景的特征点都落在同一平面上(例如:墙、地面等)则可以通过单应性来进行运动估计。F矩阵(Fundamental Matrix,基础矩阵)则描述了两个非平面之间的映射关系。
104:通过估计的相机位姿,进而初步计算得到特征点的世界坐标(只用到了相邻关键帧);再通过深度滤波器创建直接法地图点(其中,深度滤波器用到了每一张普通图像,即普通帧和关键帧都需要被用到),为后续优化计算提供初始值,并追踪局部地图;
其中,上述获取到的特征点的世界坐标用于为重投影误差优化提供初始值。通过深度滤波器,得到DSO特征点的深度,获取到相机坐标系下特征点的坐标,以及其深度,进而可计算出相机坐标系下DSO特征点的三维坐标,通过相机位姿变化,可推算出DSO特征点在世界坐标系下的三维坐标,为后续光度误差优化提供初始值。
105:插入关键帧到局部地图中,并对现存地图点进行更新,剔除冗余的地图点,从关键帧中提取新的地图点,进行地图点更新;
其中,同时满足四个条件的判断为关键帧:
1)自上次全局重定位后,已经过去了20帧图像;
2)局部地图时空闲的,或者自上次插入关键帧后已经通过了20帧图像;
3)当前帧追踪至少50个点;
4)当前帧追踪的点数量要少于参考帧的90%。
即同时满足上述四个条件,成功判定为关键帧,插入关键帧到局部地图中,并对现存地图点进行更新,剔除冗余的地图点,从关键帧中提取新的地图点,进行地图点更新。
106:将现存的地图点投影到关键帧,并构建局部BA(Bundle Adjustment,光束法平差),调整相机位姿;
107:剔除冗余关键帧,询问数据库,并进行Sim3相似性计算,并检测是否是闭环,如果是,则进行闭环融合,并优化本质图,流程结束;如果不是,则进入下一步骤;
108:构建全局BA,调整相机位姿,使得SLAM系统整体误差最小化(其中,优化的状态量有:相机位姿和地图点),其中,整体误差为重投影误差和光度误差的加权平均误差;然后更新地图。
本发明实施例对各器件的型号除做特殊说明的以外,其他器件的型号不做限制,只要能完成上述功能的器件均可。
本领域技术人员可以理解附图只是一个优选实施例的示意图,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于单目视觉的特征法与直接法相融合的SLAM方法,其特征在于,所述方法包括:
从灰度图像中提取DSO特征,从DSO特征中提取ORB特征,分别对DSO特征和ORB特征进行特征对匹配处理;
计算H矩阵与F矩阵,分别对2个矩阵进行评分,取高分的一个作为初始化的分解矩阵,获取估计的相机位姿,得到特征点的世界坐标;再通过深度滤波器创建直接法地图点,追踪局部地图;
插入关键帧到局部地图中,对现存地图点进行更新,剔除冗余地图点,从关键帧中提取新的地图点,进行地图点更新;
将现存地图点投影到关键帧,并构建局部光束法平差,调整相机位姿;剔除冗余关键帧,询问数据库,并进行Sim3相似性计算,并检测是否是闭环,如果是,则进行闭环融合,并优化本质图,流程结束;如果不是,则进入下一步骤;
构建全局光束法平差,调整相机位姿,使得SLAM系统整体误差最小化,更新地图。
2.根据权利要求1所述的一种基于单目视觉的特征法与直接法相融合的SLAM方法,其特征在于,所述分别对DSO特征和ORB特征进行特征对匹配处理具体为:
1)针对DSO特征,根据相机位姿估计值来寻找和p1对应的图像2中的某一DSO特征点p2,最小化光度误差,获得最优的P2点,保存匹配结果;
2)针对ORB特征直接得到p1-p2匹配对。
3.根据权利要求1所述的一种基于单目视觉的特征法与直接法相融合的SLAM方法,其特征在于,所述整体误差为重投影误差和光度误差的加权平均误差。
CN202011268432.2A 2020-11-13 2020-11-13 基于单目视觉的特征法与直接法相融合的slam方法 Pending CN112419497A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011268432.2A CN112419497A (zh) 2020-11-13 2020-11-13 基于单目视觉的特征法与直接法相融合的slam方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011268432.2A CN112419497A (zh) 2020-11-13 2020-11-13 基于单目视觉的特征法与直接法相融合的slam方法

Publications (1)

Publication Number Publication Date
CN112419497A true CN112419497A (zh) 2021-02-26

Family

ID=74832342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011268432.2A Pending CN112419497A (zh) 2020-11-13 2020-11-13 基于单目视觉的特征法与直接法相融合的slam方法

Country Status (1)

Country Link
CN (1) CN112419497A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113108771A (zh) * 2021-03-05 2021-07-13 华南理工大学 一种基于闭环直接稀疏视觉里程计的移动位姿估计方法
CN113124883A (zh) * 2021-03-01 2021-07-16 浙江国自机器人技术股份有限公司 基于3d全景相机的离线标点方法
CN113432593A (zh) * 2021-06-25 2021-09-24 北京华捷艾米科技有限公司 集中式同步定位与地图构建方法、装置和系统
CN113628279A (zh) * 2021-07-29 2021-11-09 成都易瞳科技有限公司 一种全景视觉slam建图方法
CN113720323A (zh) * 2021-07-30 2021-11-30 安徽大学 基于点线特征融合的单目视觉贯导slam方法及装置
CN114972514A (zh) * 2022-05-30 2022-08-30 歌尔股份有限公司 Slam定位方法、装置、电子设备和可读存储介质
CN115371699A (zh) * 2021-09-30 2022-11-22 达闼科技(北京)有限公司 视觉惯性里程计方法、装置及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610175A (zh) * 2017-08-04 2018-01-19 华南理工大学 基于半直接法和滑动窗口优化的单目视觉slam算法
CN108648270A (zh) * 2018-05-12 2018-10-12 西北工业大学 基于eg-slam的无人机实时三维场景重建方法
CN108776989A (zh) * 2018-06-08 2018-11-09 北京航空航天大学 基于稀疏slam框架的低纹理平面场景重建方法
CN109307508A (zh) * 2018-08-29 2019-02-05 中国科学院合肥物质科学研究院 一种基于多关键帧的全景惯导slam方法
CN109544636A (zh) * 2018-10-10 2019-03-29 广州大学 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法
CN110044354A (zh) * 2019-03-28 2019-07-23 东南大学 一种双目视觉室内定位与建图方法及装置
CN110060277A (zh) * 2019-04-30 2019-07-26 哈尔滨理工大学 一种多特征融合的视觉slam方法
CN110782494A (zh) * 2019-10-16 2020-02-11 北京工业大学 一种基于点线融合的视觉slam方法
CN111462207A (zh) * 2020-03-30 2020-07-28 重庆邮电大学 一种融合直接法与特征法的rgb-d同时定位与地图创建方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610175A (zh) * 2017-08-04 2018-01-19 华南理工大学 基于半直接法和滑动窗口优化的单目视觉slam算法
CN108648270A (zh) * 2018-05-12 2018-10-12 西北工业大学 基于eg-slam的无人机实时三维场景重建方法
CN108776989A (zh) * 2018-06-08 2018-11-09 北京航空航天大学 基于稀疏slam框架的低纹理平面场景重建方法
CN109307508A (zh) * 2018-08-29 2019-02-05 中国科学院合肥物质科学研究院 一种基于多关键帧的全景惯导slam方法
CN109544636A (zh) * 2018-10-10 2019-03-29 广州大学 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法
CN110044354A (zh) * 2019-03-28 2019-07-23 东南大学 一种双目视觉室内定位与建图方法及装置
CN110060277A (zh) * 2019-04-30 2019-07-26 哈尔滨理工大学 一种多特征融合的视觉slam方法
CN110782494A (zh) * 2019-10-16 2020-02-11 北京工业大学 一种基于点线融合的视觉slam方法
CN111462207A (zh) * 2020-03-30 2020-07-28 重庆邮电大学 一种融合直接法与特征法的rgb-d同时定位与地图创建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡章芳等: ""融合特征法与直接法的RGB-D稠密视觉SLAM算法"", 《光电技术及应用》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113124883A (zh) * 2021-03-01 2021-07-16 浙江国自机器人技术股份有限公司 基于3d全景相机的离线标点方法
CN113108771A (zh) * 2021-03-05 2021-07-13 华南理工大学 一种基于闭环直接稀疏视觉里程计的移动位姿估计方法
CN113432593A (zh) * 2021-06-25 2021-09-24 北京华捷艾米科技有限公司 集中式同步定位与地图构建方法、装置和系统
CN113628279A (zh) * 2021-07-29 2021-11-09 成都易瞳科技有限公司 一种全景视觉slam建图方法
CN113628279B (zh) * 2021-07-29 2023-10-31 成都易瞳科技有限公司 一种全景视觉slam建图方法
CN113720323A (zh) * 2021-07-30 2021-11-30 安徽大学 基于点线特征融合的单目视觉贯导slam方法及装置
CN113720323B (zh) * 2021-07-30 2024-01-23 安徽大学 基于点线特征融合的单目视觉惯导slam方法及装置
CN115371699A (zh) * 2021-09-30 2022-11-22 达闼科技(北京)有限公司 视觉惯性里程计方法、装置及电子设备
CN115371699B (zh) * 2021-09-30 2024-03-15 达闼科技(北京)有限公司 视觉惯性里程计方法、装置及电子设备
CN114972514A (zh) * 2022-05-30 2022-08-30 歌尔股份有限公司 Slam定位方法、装置、电子设备和可读存储介质

Similar Documents

Publication Publication Date Title
CN109166149B (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
CN112634451B (zh) 一种融合多传感器的室外大场景三维建图方法
CN110070615B (zh) 一种基于多相机协同的全景视觉slam方法
CN110223348B (zh) 基于rgb-d相机的机器人场景自适应位姿估计方法
CN110555901B (zh) 动静态场景的定位和建图方法、装置、设备和存储介质
CN112419497A (zh) 基于单目视觉的特征法与直接法相融合的slam方法
CN108369741B (zh) 用于配准数据的方法和系统
CN108682027A (zh) 基于点、线特征融合的vSLAM实现方法及系统
CN108615246B (zh) 提高视觉里程计系统鲁棒性和降低算法计算消耗的方法
CN109993113A (zh) 一种基于rgb-d和imu信息融合的位姿估计方法
CN111275763A (zh) 闭环检测系统、多传感器融合slam系统及机器人
Liu et al. Direct visual odometry for a fisheye-stereo camera
CN113298934B (zh) 一种基于双向匹配的单目视觉图像三维重建方法及系统
CN113985445A (zh) 一种基于相机与激光雷达数据融合的3d目标检测算法
CN111882602B (zh) 基于orb特征点和gms匹配过滤器的视觉里程计实现方法
CN114140527B (zh) 一种基于语义分割的动态环境双目视觉slam方法
CN108519102A (zh) 一种基于二次投影的双目视觉里程计算方法
CN110599545A (zh) 一种基于特征的构建稠密地图的系统
CN111998862A (zh) 一种基于bnn的稠密双目slam方法
CN113808203A (zh) 一种基于lk光流法与orb-slam2的导航定位方法
CN116468786A (zh) 一种面向动态环境的基于点线联合的语义slam方法
CN115661341A (zh) 一种基于多传感器融合的实时动态语义建图方法与系统
CN117870659A (zh) 基于点线特征的视觉惯性组合导航算法
Li et al. TextSLAM: Visual SLAM With Semantic Planar Text Features
CN116894876A (zh) 基于实时图像的6-dof的定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210226

WD01 Invention patent application deemed withdrawn after publication