CN116105720A - 低照度场景机器人主动视觉slam方法、装置和设备 - Google Patents

低照度场景机器人主动视觉slam方法、装置和设备 Download PDF

Info

Publication number
CN116105720A
CN116105720A CN202310374330.6A CN202310374330A CN116105720A CN 116105720 A CN116105720 A CN 116105720A CN 202310374330 A CN202310374330 A CN 202310374330A CN 116105720 A CN116105720 A CN 116105720A
Authority
CN
China
Prior art keywords
features
straight line
orb
module
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310374330.6A
Other languages
English (en)
Other versions
CN116105720B (zh
Inventor
郭瑞斌
郭子睿
唐景昇
代维
周行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202310374330.6A priority Critical patent/CN116105720B/zh
Publication of CN116105720A publication Critical patent/CN116105720A/zh
Application granted granted Critical
Publication of CN116105720B publication Critical patent/CN116105720B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3837—Data obtained from a single source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种低照度场景机器人主动视觉SLAM方法、装置和设备。该方法包括：获取机器人搭载的普通可见光相机的低照度图像；构建改进的ORB‑SLAM3系统，该系统是在现有ORB‑SLAM3方法的ORB特征提取模块前增加图像增强模块，将ORB特征提取模块替换为点、线特征提取模块，并将描述子和匹配模块替换为基于图神经网络的点线混合特征描述子增强和匹配模块得到的；采用该系统处理低照度图像，然后进行直线重建度的不确定性分析和帧内路标点统计，将直线特征重建不确定度用于反馈控制相机的位姿优化和场景结构重建。该方法提升了夜视场景下机器人利用普通相机进行自定位和环境地图构建的准确性和效率。

Description

低照度场景机器人主动视觉SLAM方法、装置和设备
技术领域
本申请涉及视觉同步定位与建图技术领域，特别是涉及一种低照度场景机器人主动视觉SLAM方法、装置和设备。
背景技术
视觉同步定位与建图（Visual simultaneous localization and mapping ，简称：视觉SLAM，）是城市环境下机器人实现自主化的核心关键技术。近年来，随着机器人越来越多地走向实际应用，对SLAM在复杂场景中的性能提出更高的要求，如物流/巡检机器人需要实现全天长航时工作，即在白天和夜间都要完成自主定位并长期稳定的运行。传统视觉SLAM方案只适合白天能见度良好的工作环境，在低照度且光照动态变换情况下上述方案非常容易失效。
目前关于低照度城市环境视觉感知研究主要围绕低照度图像增强开展，且研究人员更倾向于更换传感器（红外视觉、激光雷达等）而不是对单一视觉传感器理论和技术进行深入研究来解决相关低照度视觉SLAM问题，导致基于消费级相机的低照度视觉SLAM研究尚未起步。低照度城市环境视觉SLAM面临着众多严峻挑战，具体表现在：1)低照度图像常常存在对比度较低、动态范围较差、噪声严重等缺陷，利用传统的特征描述子进行低照度图像帧间特征匹配时，有效视觉特征少且匹配成功率低；2)传统的视觉里程计是相机被动式地采集图像信息，无主动视角调整，低照度环境视觉特征缺失和视觉传感器不规则运动等因素所导致的位姿估计失效问题更加严重。
发明内容
基于此，有必要针对上述技术问题，提供一种能够解决低照度城市环境下机器人面临的低照度图像的帧间鲁棒特征匹配、被动式视觉里程计位姿估计不准等问题的低照度场景机器人主动视觉SLAM方法、装置和设备。
一种低照度场景机器人主动视觉SLAM方法，所述方法包括：
获取机器人搭载的普通可见光相机拍摄的低照度图像。
构建改进的ORB-SLAM3系统，所述改进的ORB-SLAM3系统是在ORB-SLAM3系统的ORB特征提取模块之前增加EnlightenGAN 图像增强模块，将ORB特征提取模块替换为点、线特征提取模块，并将ORB-SLAM3方法框架中的描述子和匹配模块替换为基于图神经网络的点线混合特征描述子增强和匹配模块得到的；所述点线混合特征描述子增强和匹配模块用于根据提取的点特征和线特征构建关于特征的图结构，采用图神经网络对所述图结构进行聚合，根据得到的聚合结果采用Sinkhorn算法，得到增强特征的匹配结果。
将所述低照度图像输入到改进的ORB-SLAM3系统中，得到关键帧。
根据所述关键帧进行直线重建度的不确定性分析和帧内路标点统计，得到视野内直线重建的不确定度和当前帧路标点数量。
根据所述直线重建的不确定度和所述当前帧路标点数量反馈控制相机的观测姿态，保持高质量路标点在相机视野中的数量，并持续减小直线重建的不确定度。
在其中一个实施例中，将所述低照度图像输入到改进的ORB-SLAM3系统中，得到关键帧，包括：
将所述低照度图像输入到EnlightenGAN 图像增强模块中，得到增强图像。
将所述增强图像输入到所述点、线特征提取模块中，得到点特征和线特征。
将所述点特征和所述线特征输入到点线混合特征描述子增强和匹配模块中，得到增强特征的匹配结果。
将所述增强特征的匹配结果作为ORB-SLAM3系统的前端数据，采用ORB-SLAM3的后端算法进行处理，得到关键帧。
在其中一个实施例中，所述点线混合特征描述子增强和匹配模块包括：图结构构建层、图神经网络层以及匹配层。
将所述点特征和所述线特征输入到点线混合特征描述子增强和匹配模块中，得到增强特征的匹配结果，包括：
将所述点特征和所述线特征输入到所述图结构构建层中，得到关于特征的图结构。
将所述图结构输入到所述图神经网络层中，得到特征向量。
将所述特征向量输入到所述匹配层中，得到增强特征的匹配结果。
在其中一个实施例中，所述图神经网络层包括图注意力层和多头图注意力机制；
将所述图结构输入到所述图神经网络层中，得到特征向量，包括：
将所述图结构输入到所述图注意力层中，得到图注意力层的输出结果。
将所述图注意力层的输出结果采用多头注意力机制进行拼接，得到特征向量。
在其中一个实施例中，将所述特征向量输入到所述匹配层中，得到增强特征的匹配结果，包括：
将所述特征向量输入到所述匹配层中，采用Sinkhorn算法进行处理，得到增强特征的匹配结果
在其中一个实施例中，根据所述关键帧分别进行直线重建度的不确定性分析和帧内路标点统计，得到视野内直线重建的不确定度和当前帧路标点数量，包括：
采用四参数直线表示方法对空间直线进行表示，四参数直线表示方法包括两个表示直线的方向的变量和两个表示直线空间位置的变量；空间直线的表达式为：
；
其中，、为表示直线空间位置的变量，为原点到直线的距离，为空间直线的旋转角度；和为表示直线的方向的两个变量，是通过空间直线的单位方向向量映射得到的，
；
在场景直线重构时进行不确定性分析，得到视野内直线重建的不确定度。
根据所述关键帧进行帧内路标点统计，得到当前帧路标点数量。
在其中一个实施例中，在场景直线重构时进行不确定性分析，得到视野内直线重建的不确定度，具体包括：
根据一个双视角观测进行场景直线重构，得到一个直线估算结果和对于的不确定性。
将多个双视角下直线重建不确定性的融合作为视野内直线重建的不确定度。
一种低照度场景机器人主动视觉SLAM装置，所述装置包括：
低照度图像获取模块，用于获取机器人搭载的普通可见光相机拍摄的低照度图像。
改进的ORB-SLAM3系统构建模块，用于构建改进的ORB-SLAM3系统，所述改进的ORB-SLAM3系统是在ORB-SLAM3系统的ORB特征提取模块之前增加EnlightenGAN 图像增强模块，将ORB特征提取模块替换为点、线特征提取模块，并将ORB-SLAM3方法框架中的描述子和匹配模块替换为基于图神经网络的点线混合特征描述子增强和匹配模块得到的；所述点线混合特征描述子增强和匹配模块用于根据提取的点特征和线特征构建关于特征的图结构，采用图神经网络对所述图结构进行聚合，根据得到的聚合结果采用Sinkhorn算法，得到增强特征的匹配结果。
关键帧确定模块，用于将所述低照度图像输入到改进的ORB-SLAM3系统中，得到关键帧。
不确定性分析和路标点统计模块，用于根据所述关键帧进行直线重建度的不确定性分析和帧内路标点统计，得到视野内直线重建的不确定度和当前帧路标点数量。
相机的观测姿态反馈控制模块，用于根据所述直线重建的不确定度和所述当前帧路标点数量反馈控制相机的观测姿态，保持高质量路标点在相机视野中的数量，并持续减小直线重建的不确定度。
在其中一个实施例中，关键帧确定模块，还用于将所述低照度图像输入到EnlightenGAN 图像增强模块中，得到增强图像；将所述增强图像输入到所述点、线特征提取模块中，得到点特征和线特征；将所述点特征和所述线特征输入到点线混合特征描述子增强和匹配模块中，得到增强特征的匹配结果；将所述增强特征的匹配结果作为ORB-SLAM3系统的前端数据，采用ORB-SLAM3的后端算法进行处理，得到关键帧。
一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一所述方法的步骤。
上述低照度场景机器人主动视觉SLAM方法、装置和设备，所述方法包括：获取机器人搭载的普通可见光相机拍摄的低照度图像；构建改进的ORB-SLAM3系统，该系统是在ORB-SLAM3系统的ORB特征提取模块之前增加EnlightenGAN 图像增强模块，将ORB特征提取模块替换为点、线特征提取模块，并将ORB-SLAM3方法框架中的描述子和匹配模块替换为基于图神经网络的点线混合特征描述子增强和匹配模块得到的；将所述低照度图像输入到改进的ORB-SLAM3系统中，得到关键帧；根据关键帧进行直线重建度的不确定性分析和帧内路标点统计，根据得到的直线重建的不确定度和当前帧路标点数量反馈控制相机的观测姿态，形成结合点特征和直线特征的主动视觉SLAM方法。该方法将更高层次的直线特征重建不确定度用于反馈控制机器人搭载相机的位姿优化和场景结构重建，提升了夜视场景下机器人利用普通相机进行自定位和环境地图构建的准确性和效率，该方法可应用于巡逻、安保、服务机器人等平台，为实现移动机器人城市环境下全天时高稳定性工作提供技术支撑。
附图说明
图1为一个实施例中低照度场景机器人主动视觉SLAM方法的流程示意图；
图2为另一个实施例中直线特征增强的主动视觉SLAM基本流程；
图3为另一个实施例中直线三角化示意图；
图4为另一个实施例中相机运动分解；
图5为一个实施例中低照度场景机器人主动视觉SLAM装置的结构框图；
图6为一个实施例中电子设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种低照度场景机器人主动视觉SLAM方法，该方法包括以下步骤：
步骤100：获取机器人搭载的普通可见光相机拍摄的低照度图像。
具体的，低照度图像是普通可见光相机拍摄的。低照度图像存在细节信息丢失、对比度较低、动态范围差、噪声严重等问题。
步骤102：构建改进的ORB-SLAM3系统。
改进的ORB-SLAM3系统是在ORB-SLAM3系统的ORB特征提取模块之前增加EnlightenGAN 图像增强模块，将ORB特征提取模块替换为点、线特征提取模块，并将ORB-SLAM3方法框架中的描述子和匹配模块替换为基于图神经网络的点线混合特征描述子增强和匹配模块得到的。
点线混合特征描述子增强和匹配模块用于根据提取的点特征和线特征构建关于特征的图结构，采用图神经网络对图结构进行聚合，根据得到的聚合结果采用Sinkhorn算法，得到增强特征的匹配结果。
具体的，在低照度环境下光学成像设备由于捕获的光子数变少、信号信噪比过低，使得成像设备不能准确捕获场景的细节和颜色信息，造成成像质量严重退化问题，在此类图像上直接提取的传统特征描述子无法进行帧间匹配，需先进行低照度图像增强。本发明采用EnlightenGAN 算法对低照度可见光图像进行增强，为后续进行帧间特征描述子匹配做基础预处理。
传统描述子大多只包含单一特征的信息，在面对夜视低照度这一挑战性场景时，基于单一特征设计的描述子包含的信息不足，无法全面表征图像信息，导致匹配算法无法完成正确的匹配。因此通过融合多特征的信息，提升描述子的表征能力，得到在低照度城市场景中依然有效的描述子，即提升夜视环境图像特征描述子的表达能力，为SLAM后端提供可靠约束。本发明利用图神经网络进行点、线特征的描述子的混合，将提取的点特征和直线特征作为图神经网络的输入结点信息，经图神经网络信息聚合后，生成点线混合描述子，将其用于不同帧间的特征匹配，用于增强ORB-SLAM3前端中的数据关联。
步骤104：将低照度图像输入到改进的ORB-SLAM3系统中，得到关键帧。
具体的，在现有的基于点的ORB-SLAM3方法的基础上，将图神经网络的点-线混合特征用于增强ORB-SLAM3前端中的数据关联，为相机的运动估计提供约束，为场景地图的构建提供更丰富的表示和更直观的几何结构信息。
步骤106：根据关键帧进行直线重建度的不确定性分析和帧内路标点统计，得到视野内直线重建的不确定度和当前帧路标点数量。
步骤108：根据直线重建的不确定度和当前帧路标点数量反馈控制相机的观测姿态，保持高质量路标点在相机视野中的数量，并持续减小直线重建的不确定度。
上述低照度场景机器人主动视觉SLAM方法中，所述方法包括：获取机器人搭载的普通可见光相机拍摄的低照度图像；构建改进的ORB-SLAM3系统，该系统是在ORB-SLAM3系统的ORB特征提取模块之前增加EnlightenGAN 图像增强模块，将ORB特征提取模块替换为点、线特征提取模块，并将ORB-SLAM3方法框架中的描述子和匹配模块替换为基于图神经网络的点线混合特征描述子增强和匹配模块得到的；将所述低照度图像输入到改进的ORB-SLAM3系统中，得到关键帧；根据关键帧进行直线重建度的不确定性分析和帧内路标点统计，根据得到的直线重建的不确定度和当前帧路标点数量反馈控制相机的观测姿态，形成结合点特征和直线特征的主动视觉SLAM方法。该方法将更高层次的直线特征重建不确定度用于反馈控制机器人搭载相机的位姿优化和场景结构重建，提升了夜视场景下机器人利用普通相机进行自定位和环境地图构建的准确性和效率，该方法可应用于巡逻、安保、服务机器人等平台，为实现移动机器人城市环境下全天时高稳定性工作提供技术支撑。
在其中一个实施例中，步骤104包括：将低照度图像输入到EnlightenGAN 图像增强模块中，得到增强图像；将增强图像输入到点、线特征提取模块中，得到点特征和线特征；将点特征和线特征输入到点线混合特征描述子增强和匹配模块中，得到增强特征的匹配结果；将增强特征的匹配结果作为ORB-SLAM3系统的前端数据，采用ORB-SLAM3的后端算法进行处理，得到关键帧。
在其中一个实施例中，点线混合特征描述子增强和匹配模块包括：图结构构建层、图神经网络层以及匹配层；将点特征和线特征输入到点线混合特征描述子增强和匹配模块中，得到增强特征的匹配结果，包括：将点特征和线特征输入到图结构构建层中，得到关于特征的图结构；将图结构输入到图神经网络层中，得到特征向量；将特征向量输入到匹配层中，得到增强特征的匹配结果。
在其中一个实施例中，图神经网络层包括图注意力层和多头图注意力机制； 将图结构输入到图神经网络层中，得到特征向量，包括：将图结构输入到图注意力层中，得到图注意力层的输出结果；将图注意力层的输出结果采用多头注意力机制进行拼接，得到特征向量。
在其中一个实施例中，将特征向量输入到匹配层中，得到增强特征的匹配结果，包括：将特征向量输入到匹配层中，采用Sinkhorn算法进行处理，得到增强特征的匹配结果。
在一个具体的实施例中，首先提取增强图像中的点特征与直线特征，将点特征与直线特征的描述子与特征的位置进行编码，得到图结构中的节点。在建立边时，只对位置邻近的节点建立边，而非全连接的结构，通过实验测试表明性能与全连接结构相当，但是节省了存储空间、提升了处理速度。
在获取关于特征的图结构后，应用图神经网络对节点的信息进行聚合。采用图神经网络中具有代表性的图注意力网络框架，该框架的特点在于进行聚合操作时能够为不同的邻居节点分配不同的权重，这符合不同特征影响程度不同的事实，契合夜视应用背景。为了进一步提升图注意力层的表达能力，加入了多头图注意力机制，将多个独立的图注意力层的输出结果拼接在一起，作为最终的输出结果。
最后，将匹配问题转换为最优传输问题，将多头注意力层输出的特征向量作为最优传输问题中的输入，定义特征向量的内积作为代价矩阵的计算方式，得到优化的目标函数。运用Sinkhorn算法，迭代求解出增强特征的匹配结果。
构建直线特征增强的地图并将直线地图同步用于夜视场景视觉SLAM，在现有的基于点的ORB-SLAM3方法的基础上，将图神经网络的点-线混合特征用于增强ORB-SLAM3前端中的数据关联，为相机的运动估计提供约束，为场景地图的构建提供更丰富的表示和更直观的几何结构信息。同时，根据视野内直线重建的不确定度和当前帧路标点数量反馈控制相机朝向，形成结合点特征和直线特征的主动视觉SLAM方法，直线特征增强的主动视觉SLAM基本流程如图2所示。
在其中一个实施例中，步骤106包括：采用四参数直线表示方法对空间直线进行表示，四参数直线表示方法包括两个表示直线的方向的变量和两个表示直线空间位置的变量；空间直线的表达式为：
（1）
其中，、为表示直线空间位置的变量，为原点到直线的距离，为空间直线的旋转角度；和为表示直线的方向的两个变量，是通过空间直线的单位方向向量映射得到的，
（2）
在场景直线重构时进行不确定性分析，得到视野内直线重建的不确定度；根据关键帧进行帧内路标点统计，得到当前帧路标点数量。
具体的，相比于点，空间直线的求解显得更加复杂，主要体现在严重的退化情形和多视角要求。如下图3所示，空间直线投影到两个图像平面上，分别为和。通过反投影和得到两个投影平面和，两个平面的交即为直线重建结果。退化情形是指：当空间直线位于极平面上时，该直线不能通过这两个视平面的交确定。在实际机器人SLAM中，由于观测误差的存在，当直线和极平面距离小时，直线重建结果准确度较低。多视图要求是指：两帧之间的直线匹配不存在任何几何约束，三视角以上的直线重建才能够引入几何约束。
为了避免直线退化情形生成的不稳定直线，和极线夹角较小的直线特征的三角化被认为是近似退化情形，三角化得到的直线路标将被剔除或进行特殊处理。由于目前还没有直线重建精度的定量描述，参数冗余的直线表示方法不适合于进行不确定性分析，因为参数的冗余导致奇异的协方差矩阵，没有合适的概率密度函数进行分析。其次，一条直线的自由度为4，超过3维度的置信度区域难以实现可视化。
为了直观地可视化不确定性并且衡量估算的准确度，本发明设计了一种用于不确定性分析的直线表示方法，满足以下条件：无参数冗余且各参数具有明确的物理意义。采用一种新的四参数直线表示方法。分别用两个变量表示直线的方向和空间位置，每个变量都具有明确的物理意义并对应直线在空间的某种运动。空间直线由三个角度和一个距离变量表示。直线的单位方向向量可以映射为两个角度和，映射关系如（2）所示。
综上，空间直线可以用三个角度和一个距离进行表示。由于距离变量的引入，无法用该方法表示无穷远处的直线，但是并不影响该方法用于直线重建的不确定性分析和可视化。在这种直线表示方法下，直线重建的不确定性可以转化为各分量估算的置信度，各分量的置信度直接体现估计结果在空间方向、位置上的准确度。
在其中一个实施例中，在场景直线重构时进行不确定性分析，得到视野内直线重建的不确定度，包括：根据一个双视角观测进行场景直线重构，得到一个直线估算结果和对于的不确定性；将多个双视角下直线重建不确定性的融合作为视野内直线重建的不确定度。
具体的，在点的重建中，任意不平行于视线方向的运动都会产生视差从而估算点的深度。在直线的重建中，和空间直线共面的运动不会产生投影平面法向量的差异，则无法求解直线方向，即退化情形。如果相机运动和空间直线共面，得到两个投影平面之间的夹角为零。如图4所示，相机的运动可以分解为两部分分量：与参考投影平面平行的和垂直部分，只有垂直部分分量才产生投影平面之间的夹角。
当分析直线重建的位置误差时，假设直线的方向已知。由于相机位置和直线观测的误差导致投影平面的误差，最终导致直线重建的不确定性。当直线方向固定，直线重建发生退化，类似于点的重建。在点三角化中，两条观测视线的角度决定了重建的准确度。当两条观测视线越趋向于平行，三角化的精度越低。在直线三角化中，两个投影平面的夹角决定直线定位的精度。当两个投影平面越趋于平行，分量和的置信度区间越大，直线位置的准确度越低。直线重建中，每次观测的都会引入新的约束方程，并减低估算结果的不确定性。每两次不同的观测可以得到一个直线估算结果及对应的不确定性，多视角下直线重建的不确定性可以视为多个双视角下重建不确定性的融合。
低照度环境中可能存在提取特征点的数量不足、重复观测性较差等特征点质量差的问题，为此通过计算特征点与光轴的夹角来筛选出质量较高的特征点，然后统计相机视野中这些特征点的数量；此外，基于上述可解释性直线参数，在场景直线重构时给出直线群的不确定度评价。通过不确定度评价反馈调整相机的观测姿态，来保持这些高质量特征点在相机视野中的数量并持续减小直线重建的不确定度。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种低照度场景机器人主动视觉SLAM装置，包括：低照度图像获取模块、改进的ORB-SLAM3系统构建模块、关键帧确定模块、不确定性分析和路标点统计模块和相机的观测姿态反馈控制模块，其中：
低照度图像获取模块，用于获取机器人搭载的普通可见光相机拍摄的低照度图像。
改进的ORB-SLAM3系统构建模块，用于构建改进的ORB-SLAM3系统，改进的ORB-SLAM3系统是在ORB-SLAM3系统的ORB特征提取模块之前增加EnlightenGAN 图像增强模块，将ORB特征提取模块替换为点、线特征提取模块，并将ORB-SLAM3方法框架中的描述子和匹配模块替换为基于图神经网络的点线混合特征描述子增强和匹配模块得到的；点线混合特征描述子增强和匹配模块用于根据提取的点特征和线特征构建关于特征的图结构，采用图神经网络对图结构进行聚合，根据得到的聚合结果采用Sinkhorn算法，得到增强特征的匹配结果。
关键帧确定模块，用于将低照度图像输入到改进的ORB-SLAM3系统中，得到关键帧。
不确定性分析和路标点统计模块，用于根据关键帧进行直线重建度的不确定性分析和帧内路标点统计，得到视野内直线重建的不确定度和当前帧路标点数量。
相机的观测姿态反馈控制模块，用于根据直线重建的不确定度和当前帧路标点数量反馈控制相机的观测姿态，保持高质量路标点在相机视野中的数量，并持续减小直线重建的不确定度。
在其中一个实施例中，关键帧确定模块，还用于将低照度图像输入到EnlightenGAN 图像增强模块中，得到增强图像；将增强图像输入到点、线特征提取模块中，得到点特征和线特征；将点特征和线特征输入到点线混合特征描述子增强和匹配模块中，得到增强特征的匹配结果；将增强特征的匹配结果作为ORB-SLAM3系统的前端数据，采用ORB-SLAM3的后端算法进行处理，得到关键帧。
在其中一个实施例中，点线混合特征描述子增强和匹配模块包括：图结构构建层、图神经网络层以及匹配层；关键帧确定模块，还用于将点特征和线特征输入到图结构构建层中，得到关于特征的图结构；将图结构输入到图神经网络层中，得到特征向量；将特征向量输入到匹配层中，得到增强特征的匹配结果。
在其中一个实施例中，图神经网络层包括图注意力层和多头图注意力机制； 关键帧确定模块，还用于将图结构输入到图注意力层中，得到图注意力层的输出结果；将图注意力层的输出结果采用多头注意力机制进行拼接，得到特征向量。
在其中一个实施例中，关键帧确定模块，还用于将特征向量输入到匹配层中，采用Sinkhorn算法进行处理，得到增强特征的匹配结果。
在其中一个实施例中，不确定性分析和路标点统计模块，还用于采用四参数直线表示方法对空间直线进行表示，四参数直线表示方法包括两个表示直线的方向的变量和两个表示直线空间位置的变量；空间直线的表达式如式1所示。在场景直线重构时进行不确定性分析，得到视野内直线重建的不确定度；根据关键帧进行帧内路标点统计，得到当前帧路标点数量。
在其中一个实施例中，不确定性分析和路标点统计模块，还用于根据一个双视角观测进行场景直线重构，得到一个直线估算结果和对于的不确定性；将多个双视角下直线重建不确定性的融合作为视野内直线重建的不确定度。
关于低照度场景机器人主动视觉SLAM装置的具体限定可以参见上文中对于低照度场景机器人主动视觉SLAM方法的限定，在此不再赘述。上述低照度场景机器人主动视觉SLAM装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种电子设备，该电子设备可以是终端，其内部结构图可以如图6所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种低照度场景机器人主动视觉SLAM方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种电子设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的步骤。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种低照度场景机器人主动视觉SLAM方法，其特征在于，所述方法包括：
获取机器人搭载的普通可见光相机拍摄的低照度图像；
构建改进的ORB-SLAM3系统，所述改进的ORB-SLAM3系统是在ORB-SLAM3系统的ORB特征提取模块之前增加EnlightenGAN 图像增强模块，将ORB特征提取模块替换为点、线特征提取模块，并将ORB-SLAM3方法框架中的描述子和匹配模块替换为基于图神经网络的点线混合特征描述子增强和匹配模块得到的；所述点线混合特征描述子增强和匹配模块用于根据提取的点特征和线特征构建关于特征的图结构，采用图神经网络对所述图结构进行聚合，根据得到的聚合结果采用Sinkhorn算法，得到增强特征的匹配结果；
将所述低照度图像输入到改进的ORB-SLAM3系统中，得到关键帧；
根据所述关键帧进行直线重建度的不确定性分析和帧内路标点统计，得到视野内直线重建的不确定度和当前帧路标点数量；
根据所述直线重建的不确定度和当前帧路标点数量反馈控制相机的观测姿态，保持路标点在相机视野中的数量，并持续减小直线重建的不确定度。
2.根据权利要求1所述的方法，其特征在于，将所述低照度图像输入到改进的ORB-SLAM3系统中，得到关键帧，包括：
将所述低照度图像输入到EnlightenGAN 图像增强模块中，得到增强图像；
将所述增强图像输入到所述点、线特征提取模块中，得到点特征和线特征；
将所述点特征和所述线特征输入到点线混合特征描述子增强和匹配模块中，得到增强特征的匹配结果；
将所述增强特征的匹配结果作为ORB-SLAM3系统的前端数据，采用ORB-SLAM3的后端算法进行处理，得到关键帧。
3.根据权利要求2所述的方法，其特征在于，所述点线混合特征描述子增强和匹配模块包括：图结构构建层、图神经网络层以及匹配层；
将所述点特征和所述线特征输入到点线混合特征描述子增强和匹配模块中，得到增强特征的匹配结果，包括：
将所述点特征和所述线特征输入到所述图结构构建层中，得到关于特征的图结构；
将所述图结构输入到所述图神经网络层中，得到特征向量；
将所述特征向量输入到所述匹配层中，得到增强特征的匹配结果。
4.根据权利要求3所述的方法，其特征在于，所述图神经网络层包括图注意力层和多头图注意力机制；
将所述图结构输入到所述图神经网络层中，得到特征向量，包括：
将所述图结构输入到所述图注意力层中，得到图注意力层的输出结果；
将所述图注意力层的输出结果采用多头注意力机制进行拼接，得到特征向量。
5.根据权利要求3所述的方法，其特征在于，将所述特征向量输入到所述匹配层中，得到增强特征的匹配结果，包括：
将所述特征向量输入到所述匹配层中，采用Sinkhorn算法进行处理，得到增强特征的匹配结果。
6.根据权利要求1所述的方法，其特征在于，根据所述关键帧分别进行直线重建的不确定性分析和帧内路标点统计，得到视野内直线重建的不确定度和当前帧内路标点数量，包括：
采用四参数直线表示方法对空间直线进行表示，四参数直线表示方法包括两个表示直线的方向的变量和两个表示直线空间位置的变量；空间直线的表达式为：
；
其中，、为表示直线空间位置的变量，为原点到直线的距离，为空间直线的旋转角度；和为表示直线的方向的两个变量，是通过空间直线的单位方向向量映射得到的，；
在场景直线重构时进行不确定性分析，得到视野内直线重建的不确定度；
根据所述关键帧进行帧内路标点统计，得到当前帧路标点数量。
7.根据权利要求1所述的方法，其特征在于，在场景直线重构时进行不确定性分析，得到视野内直线重建的不确定度，具体包括：
根据一个双视角观测进行场景直线重构，得到一个直线估算结果和对于的不确定性；
将多个双视角下直线重建不确定性的融合作为视野内直线重建的不确定度。
8.一种低照度场景机器人主动视觉SLAM装置，其特征在于，所述装置包括：
低照度图像获取模块，用于获取机器人搭载的普通可见光相机拍摄的低照度图像；
改进的ORB-SLAM3系统构建模块，用于构建改进的ORB-SLAM3系统，所述改进的ORB-SLAM3系统是在ORB-SLAM3系统的ORB特征提取模块之前增加EnlightenGAN 图像增强模块，将ORB特征提取模块替换为点、线特征提取模块，并将ORB-SLAM3方法框架中的描述子和匹配模块替换为基于图神经网络的点线混合特征描述子增强和匹配模块得到的；所述点线混合特征描述子增强和匹配模块用于根据提取的点特征和线特征构建关于特征的图结构，采用图神经网络对所述图结构进行聚合，根据得到的聚合结果采用Sinkhorn算法，得到增强特征的匹配结果；
关键帧确定模块，用于将所述低照度图像输入到改进的ORB-SLAM3系统中，得到关键帧；
不确定性分析和路标点统计模块，用于根据所述关键帧进行直线重建度的不确定性分析和帧内路标点统计，得到视野内直线重建的不确定度和当前帧路标点数量；
相机的观测姿态反馈控制模块，用于根据所述直线重建的不确定度和所述当前帧路标点数量反馈控制相机的观测姿态，保持高质量路标点在相机视野中的数量，并持续减小直线重建的不确定度。
9.根据权利要求8所述的装置，其特征在于，关键帧确定模块，还用于将所述低照度图像输入到EnlightenGAN 图像增强模块中，得到增强图像；将所述增强图像输入到所述点、线特征提取模块中，得到点特征和线特征；将所述点特征和所述线特征输入到点线混合特征描述子增强和匹配模块中，得到增强特征的匹配结果；将所述增强特征的匹配结果作为ORB-SLAM3系统的前端数据，采用ORB-SLAM3的后端算法进行处理，得到关键帧。
10.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法。
CN202310374330.6A 2023-04-10 2023-04-10 低照度场景机器人主动视觉slam方法、装置和设备 Active CN116105720B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310374330.6A CN116105720B (zh) 2023-04-10 2023-04-10 低照度场景机器人主动视觉slam方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310374330.6A CN116105720B (zh) 2023-04-10 2023-04-10 低照度场景机器人主动视觉slam方法、装置和设备

Publications (2)

Publication Number Publication Date
CN116105720A true CN116105720A (zh) 2023-05-12
CN116105720B CN116105720B (zh) 2023-06-23

Family

ID=86256443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310374330.6A Active CN116105720B (zh) 2023-04-10 2023-04-10 低照度场景机器人主动视觉slam方法、装置和设备

Country Status (1)

Country Link
CN (1) CN116105720B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140350839A1 (en) * 2013-05-23 2014-11-27 Irobot Corporation Simultaneous Localization And Mapping For A Mobile Robot
CN111045017A (zh) * 2019-12-20 2020-04-21 成都理工大学 一种激光和视觉融合的巡检机器人变电站地图构建方法
CN111462210A (zh) * 2020-03-31 2020-07-28 华南理工大学 一种基于极线约束的单目线特征地图构建方法
WO2020155615A1 (zh) * 2019-01-28 2020-08-06 速感科技（北京）有限公司 Vslam方法、控制器和可移动设备
US20200311970A1 (en) * 2019-03-27 2020-10-01 Lg Electronics Inc. Mobile robot control method
CN113052152A (zh) * 2021-06-02 2021-06-29 中国人民解放军国防科技大学 一种基于视觉的室内语义地图构建方法、装置及设备
CN113284064A (zh) * 2021-05-24 2021-08-20 西安理工大学 一种基于注意力机制跨尺度上下文低照度图像增强方法
CN113701750A (zh) * 2021-08-23 2021-11-26 长安大学 一种井下多传感器的融合定位系统
CN114264297A (zh) * 2021-12-01 2022-04-01 清华大学 Uwb和视觉slam融合算法的定位建图方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140350839A1 (en) * 2013-05-23 2014-11-27 Irobot Corporation Simultaneous Localization And Mapping For A Mobile Robot
WO2020155615A1 (zh) * 2019-01-28 2020-08-06 速感科技（北京）有限公司 Vslam方法、控制器和可移动设备
US20200311970A1 (en) * 2019-03-27 2020-10-01 Lg Electronics Inc. Mobile robot control method
CN111045017A (zh) * 2019-12-20 2020-04-21 成都理工大学 一种激光和视觉融合的巡检机器人变电站地图构建方法
CN111462210A (zh) * 2020-03-31 2020-07-28 华南理工大学 一种基于极线约束的单目线特征地图构建方法
CN113284064A (zh) * 2021-05-24 2021-08-20 西安理工大学 一种基于注意力机制跨尺度上下文低照度图像增强方法
CN113052152A (zh) * 2021-06-02 2021-06-29 中国人民解放军国防科技大学 一种基于视觉的室内语义地图构建方法、装置及设备
CN113701750A (zh) * 2021-08-23 2021-11-26 长安大学 一种井下多传感器的融合定位系统
CN114264297A (zh) * 2021-12-01 2022-04-01 清华大学 Uwb和视觉slam融合算法的定位建图方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
GUO RUIBIN ET AL.: "Ground Enhanced RGB-D SLAM for Dynamic Environments", 《2021 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND BIOMIMETICS》, pages 1171 - 1177 *
LI WENYAO ET AL.: "Fast Matching Method of UAV Aerial Photography Enhanced Low Illumination Image", 《INTERNATIONAL JOURNAL OF AEROSPACE ENGINEERING》, pages 1 - 14 *
李治: "低照度环境下无人机视觉定位与建图关键技术研究", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》, pages 031 - 209 *
贾松敏;丁明超;张国梁;: "RTM框架下基于点线特征的视觉SLAM算法", 机器人, no. 03, pages 98 - 105 *
郭瑞斌: "室内复杂场景三维视觉同步定位与建图技术研究", 《中国博士学位论文全文数据库 (信息科技辑)》, pages 138 - 182 *

Also Published As

Publication number Publication date
CN116105720B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
Qiu et al. Deeplidar: Deep surface normal guided depth prediction for outdoor scene from sparse lidar data and single color image
CN111179329B (zh) 三维目标检测方法、装置及电子设备
CN111539973B (zh) 用于检测车辆位姿的方法及装置
CN111815707B (zh) 点云确定方法、点云筛选方法、装置、计算机设备
US11461911B2 (en) Depth information calculation method and device based on light-field-binocular system
Chen et al. Transforming a 3-d lidar point cloud into a 2-d dense depth map through a parameter self-adaptive framework
CN108537844B (zh) 一种融合几何信息的视觉slam回环检测方法
US11867801B2 (en) Vehicle information detection method, method for training detection model, electronic device and storage medium
JP2021119528A (ja) 三次元物体検出方法、三次元物体検出装置、電子機器、記憶媒体及びコンピュータプログラム
CN115035235A (zh) 三维重建方法及装置
CN113711276A (zh) 尺度感知单目定位和地图构建
Hu et al. Deep-learning assisted high-resolution binocular stereo depth reconstruction
US20210264223A1 (en) Method and apparatus for asynchronous data fusion, storage medium and electronic device
CN116194951A (zh) 用于基于立体视觉的3d对象检测与分割的方法和装置
US20240161254A1 (en) Information processing apparatus, information processing method, and program
Yang et al. SAM-Net: Semantic probabilistic and attention mechanisms of dynamic objects for self-supervised depth and camera pose estimation in visual odometry applications
Zhang et al. MobiDepth: Real-time depth estimation using on-device dual cameras
CN112085842B (zh) 深度值确定方法及装置、电子设备和存储介质
CN116105720B (zh) 低照度场景机器人主动视觉slam方法、装置和设备
Zhou et al. DecoupledPoseNet: Cascade decoupled pose learning for unsupervised camera ego-motion estimation
Chen et al. End-to-end multi-view structure-from-motion with hypercorrelation volume
Nex et al. Benchmarking the extraction of 3D geometry from UAV images with deep learning methods
Luo et al. Self-guided instance-aware network for depth completion and enhancement
Patil et al. Improving depth estimation using map-based depth priors
CN113763468A (zh) 一种定位方法、装置、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant