CN112132893B - 一种适用于室内动态环境的视觉slam方法 - Google Patents

一种适用于室内动态环境的视觉slam方法 Download PDF

Info

Publication number
CN112132893B
CN112132893B CN202010895210.7A CN202010895210A CN112132893B CN 112132893 B CN112132893 B CN 112132893B CN 202010895210 A CN202010895210 A CN 202010895210A CN 112132893 B CN112132893 B CN 112132893B
Authority
CN
China
Prior art keywords
dynamic
map
points
key frame
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010895210.7A
Other languages
English (en)
Other versions
CN112132893A (zh
Inventor
陆理文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji Institute Of Artificial Intelligence Suzhou Co ltd
Original Assignee
Tongji Institute Of Artificial Intelligence Suzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji Institute Of Artificial Intelligence Suzhou Co ltd filed Critical Tongji Institute Of Artificial Intelligence Suzhou Co ltd
Priority to CN202010895210.7A priority Critical patent/CN112132893B/zh
Priority to PCT/CN2020/138581 priority patent/WO2022041596A1/zh
Publication of CN112132893A publication Critical patent/CN112132893A/zh
Application granted granted Critical
Publication of CN112132893B publication Critical patent/CN112132893B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明涉及一种适用于室内动态环境的视觉SLAM方法，包括获取环境的彩色图封装成帧，计算动态概率传播结果，根据动态概率剔除动态特征点，保留静态特征点，关键帧判定时若当前帧满足关键帧条件，对该关键帧进行目标检测，根据检测结果对图片做语义分割，确定属于动态物体的区域，更新与关键帧特征点对应地图点的动态概率，输入局部建图线程，更新并提取局部共视图，对关键帧和地图点的位姿进行局部优化，更新本质图进行全局优化。本发明在进行位姿计算和地图构建时，有效融合了环境中的物体类别信息，将目标检测算法与传统视觉SLAM系统相融合，及时剔除属于动态物体的特征点，在动态环境下定位与建图准确率更高，鲁棒性更强。

Description

一种适用于室内动态环境的视觉SLAM方法
技术领域
本发明属于机器人学与计算机视觉技术领域，具体涉及一种适用于室内动态环境的视觉SLAM方法。
背景技术
SLAM(simultaneous localization and mapping)，即时定位与地图构建，或并发建图与定位。机器人在未知环境中从一个未知位置开始移动，在移动过程中根据位置估计和地图进行自身定位，同时在自身定位的基础上建造增量式地图，实现机器人的自主定位和导航。
视觉SLAM技术使搭载相机传感器的主体在没有环境先验信息的情况下，在主体运动过程中完成对环境模型的建立与自身运动状态的估计。在当今的社会生活中，视觉SLAM系统在移动机器人，服务机器人，无人机，虚拟现实和增强现实等领域中获得了广泛运用。
现有经典的视觉SLAM框架主要基于搭载相机传感器的主体是建图环境中唯一的运动物体的假设，默认建图环境中其余物体一直处于静止状态。这样的经典视觉SLAM框架在静态场景下可以获得良好的实验结果，但是当建图场景中包含动态物体信息，如场景中含有人的走动，车的移动时，经典的视觉SLAM框架依然将这些动态物体默认为静止状态，无法将场景中动态物体区域内的特征点及时去除，将动态物体上提取到的特征点也纳入几何约束和图优化约束的条件下，将使SLAM系统出现很大的误差。
发明内容
本发明的目的是提供一种适用于室内动态环境的视觉SLAM方法，及时消除了环境内动态物体对SLAM系统位姿估计的不利影响。
为达到上述目的，本发明采用的技术方案是：
一种适用于室内动态环境的视觉SLAM方法，包括：
S1、获取包括环境的彩色图、深度图，将所获取的彩色图和深度图封装成帧，输入跟踪线程，进行特征提取和匹配，利用匹配关系计算动态概率传播结果，
S2、根据动态概率，剔除当前帧中的动态特征点，保留静态特征点，优化当前帧的位姿，然后进行关键帧判定，
S3、若当前帧满足关键帧条件，对该关键帧进行目标检测，
S4、根据关键帧目标检测的结果，对图片做语义分割，确定属于动态物体的区域，更新与关键帧特征点对应的的3D地图点的动态概率，
S5、对动态概率更新后的关键帧输入局部建图线程，对系统维护的共视图进行更新，提取局部共视图，对关键帧和地图点的位姿进行局部优化，
S6、对当前帧进行回环检测与回环融合，消除系统的累积误差，利用回环融合结果更新本质图，并利用本质图对所有关键帧和地图点的位姿进行全局优化。
优选地，在S1中：在特征匹配过程中：如当前帧的特征点xi与关键帧特征点成功匹配，则关键帧特征点的动态概率传播到当前帧的特征点的动态概率P(xi)上，如当前帧的特征点xi与局部地图中的3D地图点Xi匹配成功，则3D地图点的动态概率P(Xi)传播到当前帧的特征点的动态概率P(xi)上。
进一步优选地，3D地图点动态概率享有优选传播权。
优选地，在S1中：当前帧中任一特征点的动态概率首先受到与其成功匹配的关键帧特征点或3D地图点的动态概率的影响：对于匹配成功的特征点，关键帧特征点或3D地图点的动态概率通过一定权重更新当前帧中特征点的动态概率；
当前帧中任一特征点在受到匹配成功的特征点的动态概率影响后，其动态概率还会受到邻域内高动态概率特征点的影响：高动态率特征点由动态概率极高或极低的特征点组成，高动态率特征点会影响以其为中心、以一定像素距离为半径的区域内其余特征点的动态概率。
优选地，所述的动态概率传播包括特征匹配方式传播、高可信度特征点区域影响方式传播。
进一步优选地，所述的动态概率表示的特征点或3D地图点属于动态点的可能性从0％到100％均分为五个等级，其中：所述的高可信度特征点区域包括高可信度特征点低动态率(0％～20％)特征点、高可信度特征点高动态率(80％～100％)特征点，选定距离r(以像素为单位)为高可信度特征点的区域影响半径，对处于高可信度特征点区域影响半径内的特征点，其动态概率将受到高可信度特征点的影响，影响权重与特征点距离高可信度特征点的距离成反比。
优选地，在S2中：以最小化重投影误差为优化方程，当前帧位姿为优化对象构建位姿优化器，将动态概率高的特征点设置为外点，利用最小化重投影误差对当前帧位姿进行优化，将当前帧中重投影误差超过阈值的特征点作为外点去除。
进一步优选地，非线性优化将进行多次，在每次优化后计算所有点的重投影误差，若重投影误差小于阈值则将该点设置为内点，反之将该点设置为外点，外点不参与下一次优化过程。
优选地，在S3中，利用神经网络对该关键帧进行目标检测，使用预训练好的神经网络进行目标检测，对目标检测网络判定为动态类别的物体，使用语义分割算法提取出该物体在图像中轮廓作为动态区域。
进一步优选地，关键帧目标检测网络前向传播过程和视觉SLAM系统为两个不同的ROS系统下的工作节点，其间的交互通过ROS系统下话题和消息机制实现。
优选地，在S4中：提取出动态物体轮廓区域作为动态区域，动态区域内的特征点被认定为动态点，其余特征点被认定为静态特征点，更新被检测关键帧所有特征点和与之相匹配的3D地图点的动态概率。
优选地，在S4中：动态物体类别需根据系统使用环境进行设定，在室内环境下设置人，猫，狗三个物体类别为动态物体类别。
优选地，在S5中：通过图优化方法对关键帧和3D地图点的位姿进行局部优化，以最小化重投影误差方程为优化方程，与当前帧共视程度高的其余帧位姿和地图点位姿为优化对象，构建图优化器，优化跟踪线程所求得位姿。
由于上述技术方案运用，本发明与现有技术相比具有下列优点：
本发明在进行位姿计算和地图构建时，有效融合了环境中的物体类别信息，将目标检测算法与传统视觉SLAM系统相融合，为特征点和地图点引入“动态概率”属性，及时剔除属于动态物体的特征点，在动态环境下定位与建图准确率更高，鲁棒性更强。
附图说明
附图1为本实施例的流程示意图；
附图2为本实施例中动态概率各阶段划分的示意图；
附图3为本实施例中动态概率传播的流程图；
附图4为本实施例中动态特征点剔除的流程图；
附图5为本实施例中动态物体区域生成的流程图；
附图6为本实施例中动态概率更新的流程图；
附图7为本实施例中与ORB-SLAM2对比的结果图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示：一种适用于室内动态环境的视觉SLAM方法，包括：
S1、使用RGB-D相机获取环境的彩色图和深度图，将其封装成帧，输入跟踪线程，进行特征提取和匹配，利用匹配关系计算动态概率传播结果。
动态概率的传播由特征匹配方式传播和高可信度特征点区域影响方式传播组成。在特征匹配过程中：如当前帧的特征点xi与关键帧特征点成功匹配，则关键帧特征点的动态概率传播到当前帧的特征点的动态概率P(xi)上，如当前帧的特征点xi与局部地图中的3D地图点Xi匹配成功，则3D地图点的动态概率P(Xi)传播到当前帧的特征点的动态概率P(xi)上，并且3D地图点动态概率享有优选传播权。
动态概率表示的特征点或3D地图点属于动态点的可能性从0％到100％均分为五个等级，如图2所示，其中：高可信度特征点区域包括高可信度特征点低动态率(0％～20％)特征点、高可信度特征点高动态率(80％～100％)特征点，选定距离r(以像素为单位)为高可信度特征点的区域影响半径，对处于高可信度特征点区域影响半径内的特征点，其动态概率将受到高可信度特征点的影响，影响权重与特征点距离高可信度特征点的距离成反比。
当前帧中任一特征点的动态概率同时受到与其匹配的3D地图点关键帧上特征点及邻域的动态概率的影响；
当前帧中特征点的动态概率首先受到与其匹配的关键帧上特征点和3D地图点动态概率的影响：动态概率极高或极低的特征点影响以其为中心、以一定像素距离为半径的区域内其余特征点的动态概率。
S2、根据动态概率，剔除当前帧中的动态特征点，保留静态特征点，优化当前帧的位姿，然后进行关键帧判定。
以最小化重投影误差为优化方程，当前帧位姿为优化对象构建位姿优化器，首先根据动态概率首先将高动态率特征点设置为外点，即高动态率特征点不参与第一次位姿优化过程，当第一次优化完成后，对包括外点在内的所特征点都进行重投影误差计算，若外点(即高动态率特征点)的重投影误差小于设定的阈值，那么说明该特征点被误认为为动态点，便将其重新设置为内点，参加下次优化运算，若有特征点的重投影误差大于所设定的阈值，那么说明在动态概率判别和传播的过程中遗漏了该特征点，将其设置为外点，不参与下次优化，位姿优化器共进行4次优化次数，优化完成后将所有作为动态点去除。
S3、若当前帧满足关键帧条件，则利用神经网络对该关键帧进行目标检测，使用预训练好的神经网络进行目标检测，对目标检测网络判定为动态类别的物体，使用语义分割算法提取出该物体在图像中轮廓作为动态区域。
在本实施例中：目标检测网络选用了基于Darknet53的YOLO V3网络结构，对每张输入的彩色图片网络将输出维度为(G×G)×(B×5+C)的张量，其中G×G表示网络特征地图的划分网格尺度，B表示每个网格对应负责输出的候选框信息，每个候选框信息中包含了候选框中心坐标，候选框长度，宽度和置信度五个值，C表示网络训练时的数据集物品分类。
S4、根据关键帧目标检测的结果，对图片做语义分割，确定属于动态物体的区域，更新与关键帧特征点对应的的3D地图点的动态概率。
根据目标检测网络提供的位姿信息和类别信息，选定人，猫，狗三个类别为动态物体类别，对动态物体类别的矩形区域采用Grab-Cut语义分割算法，提取出动态物体轮廓区域作为动态区域。动态区域内的特征点被认定为动态点，其余特征点被认定为静态特征点，更新被检测关键帧所有特征点和与之相匹配的地图点的动态概率。
S5、动态概率更新后的关键帧输入局部建图线程，对系统维护的共视图进行更新，提取局部共视图，通过图优化方法对关键帧和地图点的位姿进行局部优化。
在本实施例中：使用ORB-SLAM2的局部建图线程，以最小化重投影误差方程为优化方程，与当前帧共视程度高的其余帧位姿和地图点位姿为优化对象，构建图优化器，优化跟踪线程所求得位姿。
S6、在回环检测线程，对当前帧进行回环检测与回环融合，消除系统的累积误差，利用回环融合结果更新本质图，并利用本质图对所有关键帧和地图点的位姿进行全局优化。
在本实施例中：使用ORB-SLAM2的回环检测与全局BA线程，优化跟踪和局部建图线程所得到的相机和3D地图点位姿的累积误差。
本发明提供的物体六自由度位姿估计方法，与现有技术中的位姿估计方法相比，最大的创新点有两点：
一是提出了动态概率这一概念，并将特征点和地图点属于动态点的概率均为5个等级。在视觉SLAM的跟踪线程中完成动态概率的传播和动态点的去除，在局部建图线程中融合目标检测网络提供的语义信息完成动态概率的更新，去除了环境中动态物体对SLAM系统的影响，提升了SLAM系统的准确性。。
二是在动态特征点剔除方面综合考虑了目标检测网络提供的语义信息，同时考虑了SLAM系统中存有的特征点和3D地图点的位姿信息，将语义信息作为判断的先验条件，位姿信息作为决定性条件，防止静态特征点的误剔除，提高了SLAM系统的鲁棒性。与ORB-SLAM2系统对比的结果如图7所示，图7中虚线为相机轨迹真实值，左图实线为ORB-SLAM2预测轨迹，右图实线为本发明预测轨迹，可以看出右图预测轨迹与轨迹真实值更加接近。
上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种适用于室内动态环境的视觉SLAM方法，其特征在于：包括：
S1、获取包括环境的彩色图、深度图，将所获取的彩色图和深度图封装成帧，输入跟踪线程，进行特征提取和匹配，利用匹配关系计算动态概率传播结果，
S2、根据动态概率，剔除当前帧中的动态特征点，保留静态特征点，优化当前帧的位姿，然后进行关键帧判定，
S3、若当前帧满足关键帧条件，对该关键帧进行目标检测，
S4、根据关键帧目标检测的结果，对图片做语义分割，确定属于动态物体的区域，更新与关键帧特征点对应的的3D地图点的动态概率，
S5、对动态概率更新后的关键帧输入局部建图线程，对系统维护的共视图进行更新，提取局部共视图，对关键帧和地图点的位姿进行局部优化，
S6、对当前帧进行回环检测与回环融合，消除系统的累积误差，利用回环融合结果更新本质图，并利用本质图对所有关键帧和地图点的位姿进行全局优化。
2.根据权利要求1所述的适用于室内动态环境的视觉SLAM方法，其特征在于：在S1中：在特征匹配过程中：如当前帧的特征点xi与关键帧特征点成功匹配，则关键帧特征点的动态概率传播到当前帧的特征点的动态概率P(xi)上，如当前帧的特征点xi与局部地图中的3D地图点Xi匹配成功，则3D地图点的动态概率P(Xi)传播到当前帧的特征点的动态概率P(xi)上。
3.根据权利要求1所述的适用于室内动态环境的视觉SLAM方法，其特征在于：在S1中：
当前帧中任一特征点的动态概率首先受到与其成功匹配的关键帧特征点或3D地图点的动态概率的影响：对于匹配成功的特征点，关键帧特征点或3D地图点的动态概率通过一定权重更新当前帧中特征点的动态概率；
当前帧中任一特征点在受到匹配成功的特征点的动态概率影响后，其动态概率还会受到邻域高内动态概率特征点的影响：高动态率特征点由动态概率极高或极低的特征点组成，高动态率特征点会影响以其为中心、以一定像素距离为半径的区域内其余特征点的动态概率。
4.根据权利要求1所述的适用于室内动态环境的视觉SLAM方法，其特征在于：在S2中：以最小化重投影误差为优化方程，当前帧位姿为优化对象构建位姿优化器，将动态概率高的特征点设置为外点，利用最小化重投影误差对当前帧位姿进行优化，将当前帧中重投影误差超过阈值的特征点作为外点去除。
5.根据权利要求4所述的适用于室内动态环境的视觉SLAM方法，其特征在于：非线性优化将进行多次，在每次优化后计算所有点的重投影误差，若重投影误差小于阈值则将该点设置为内点，反之将该点设置为外点，外点不参与下一次优化过程。
6.根据权利要求1所述的适用于室内动态环境的视觉SLAM方法，其特征在于：在S3中，利用神经网络对该关键帧进行目标检测，使用预训练好的神经网络进行目标检测，对目标检测网络判定为动态类别的物体，使用语义分割算法提取出该物体在图像中轮廓作为动态区域。
7.根据权利要求6所述的适用于室内动态环境的视觉SLAM方法，其特征在于：关键帧目标检测网络前向传播过程和视觉SLAM系统为两个不同的ROS系统下的工作节点，其间的交互通过ROS系统下话题和消息机制实现。
8.根据权利要求1所述的适用于室内动态环境的视觉SLAM方法，其特征在于：在S4中：提取出动态物体轮廓区域作为动态区域，动态区域内的特征点被认定为动态点，其余特征点被认定为静态特征点，更新被检测关键帧所有特征点和与之相匹配的3D地图点的动态概率。
9.根据权利要求1所述的适用于室内动态环境的视觉SLAM方法，其特征在于：在S4中：动态物体类别需根据系统使用环境进行设定，在室内环境下设置人，猫，狗三个物体类别为动态物体类别。
10.根据权利要求1所述的适用于室内动态环境的视觉SLAM方法，其特征在于：在S5中：通过图优化方法对关键帧和3D地图点的位姿进行局部优化，以最小化重投影误差方程为优化方程，与当前帧共视程度高的其余帧位姿和地图点位姿为优化对象，构建图优化器，优化跟踪线程所求得位姿。
CN202010895210.7A 2020-08-31 2020-08-31 一种适用于室内动态环境的视觉slam方法 Active CN112132893B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010895210.7A CN112132893B (zh) 2020-08-31 2020-08-31 一种适用于室内动态环境的视觉slam方法
PCT/CN2020/138581 WO2022041596A1 (zh) 2020-08-31 2020-12-23 一种适用于室内动态环境的视觉slam方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010895210.7A CN112132893B (zh) 2020-08-31 2020-08-31 一种适用于室内动态环境的视觉slam方法

Publications (2)

Publication Number Publication Date
CN112132893A CN112132893A (zh) 2020-12-25
CN112132893B true CN112132893B (zh) 2024-01-09

Family

ID=73847819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010895210.7A Active CN112132893B (zh) 2020-08-31 2020-08-31 一种适用于室内动态环境的视觉slam方法

Country Status (2)

Country Link
CN (1) CN112132893B (zh)
WO (1) WO2022041596A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884831B (zh) * 2021-02-02 2022-10-04 清华大学 一种基于概率掩膜提取室内停车场长期静态特征的方法
CN113192133B (zh) * 2021-04-13 2022-08-05 浙江大学 基于语义平面的单目即时定位与致密语义地图构建方法
CN113514058A (zh) * 2021-04-23 2021-10-19 北京华捷艾米科技有限公司 融合msckf和图优化的视觉slam定位方法及装置
CN113111973A (zh) * 2021-05-10 2021-07-13 北京华捷艾米科技有限公司 一种基于深度相机的动态场景处理方法及装置
CN113298692B (zh) * 2021-05-21 2024-04-16 北京索为云网科技有限公司 基于移动端浏览器实现实时设备位姿解算的增强现实方法
CN114937083B (zh) * 2022-05-27 2024-04-02 山东大学 一种应用于动态环境的激光slam系统及方法
CN114913235B (zh) * 2022-07-18 2022-10-14 合肥工业大学 一种位姿估计方法、装置及智能机器人
CN115454055B (zh) * 2022-08-22 2023-09-19 中国电子科技南湖研究院 一种面向室内自主导航与作业的多层融合地图表示方法
CN115511970B (zh) * 2022-11-23 2023-03-24 北京理工大学深圳汽车研究院(电动车辆国家工程实验室深圳研究院) 一种面向自主泊车的视觉定位方法
CN115526811B (zh) * 2022-11-28 2023-03-24 电子科技大学中山学院 一种适应于多变光照环境的自适应视觉slam方法
CN116468786B (zh) * 2022-12-16 2023-12-26 中国海洋大学 一种面向动态环境的基于点线联合的语义slam方法
CN115797412B (zh) * 2023-02-07 2023-05-16 广东技术师范大学 动态对象异常值并行检测方法、装置、系统、设备及介质
CN115994922B (zh) * 2023-03-23 2023-06-02 泉州装备制造研究所 运动分割方法、装置、电子设备及存储介质
CN116539026B (zh) * 2023-07-06 2023-09-29 杭州华橙软件技术有限公司 地图构建方法、装置、设备及存储介质
CN117036408B (zh) * 2023-08-22 2024-03-29 哈尔滨理工大学 一种动态环境下联合多目标跟踪的物体slam方法
CN117392347B (zh) * 2023-10-13 2024-04-30 苏州煋海图科技有限公司 一种地图构建方法、装置、计算机设备及可读存储介质
CN117274620B (zh) * 2023-11-23 2024-02-06 东华理工大学南昌校区 基于自适应均匀划分特征点提取的视觉slam方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109387204A (zh) * 2018-09-26 2019-02-26 东北大学 面向室内动态环境的移动机器人同步定位与构图方法
WO2019169540A1 (zh) * 2018-03-06 2019-09-12 斯坦德机器人（深圳）有限公司 紧耦合视觉slam的方法、终端及计算机可读存储介质
CN110706248A (zh) * 2019-08-20 2020-01-17 广东工业大学 一种基于slam的视觉感知建图算法及移动机器人
CN110782494A (zh) * 2019-10-16 2020-02-11 北京工业大学 一种基于点线融合的视觉slam方法
CN111462135A (zh) * 2020-03-31 2020-07-28 华东理工大学 基于视觉slam与二维语义分割的语义建图方法
WO2020155616A1 (zh) * 2019-01-29 2020-08-06 浙江省北大信息技术高等研究院 一种基于数字视网膜的拍摄装置的定位方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012062813A2 (en) * 2010-11-09 2012-05-18 The Provost, Fellows, And Scholars Of The College Of The Holy And Undivided Trinity Of Queen Elizabeth, Near Dublin Method and system for recovery of 3d scene structure and camera motion from a video sequence
KR101865655B1 (ko) * 2014-06-26 2018-06-11 한국과학기술원 증강현실 상호 작용 서비스 제공 장치 및 방법
CN110298884B (zh) * 2019-05-27 2023-05-30 重庆高开清芯科技产业发展有限公司 一种适于动态环境中单目视觉相机的位姿估计方法
CN110827395B (zh) * 2019-09-09 2023-01-20 广东工业大学 一种适用于动态环境的即时定位与地图构建方法
CN111311708B (zh) * 2020-01-20 2022-03-11 北京航空航天大学 一种基于语义光流和逆深度滤波的视觉slam方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019169540A1 (zh) * 2018-03-06 2019-09-12 斯坦德机器人（深圳）有限公司 紧耦合视觉slam的方法、终端及计算机可读存储介质
CN109387204A (zh) * 2018-09-26 2019-02-26 东北大学 面向室内动态环境的移动机器人同步定位与构图方法
WO2020155616A1 (zh) * 2019-01-29 2020-08-06 浙江省北大信息技术高等研究院 一种基于数字视网膜的拍摄装置的定位方法
CN110706248A (zh) * 2019-08-20 2020-01-17 广东工业大学 一种基于slam的视觉感知建图算法及移动机器人
CN110782494A (zh) * 2019-10-16 2020-02-11 北京工业大学 一种基于点线融合的视觉slam方法
CN111462135A (zh) * 2020-03-31 2020-07-28 华东理工大学 基于视觉slam与二维语义分割的语义建图方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向室内动态环境的半直接法RGB-D SLAM算法;高成强;张云洲;王晓哲;邓毅;姜浩;;机器人(第03期);全文 *

Also Published As

Publication number Publication date
CN112132893A (zh) 2020-12-25
WO2022041596A1 (zh) 2022-03-03

Similar Documents

Publication Publication Date Title
CN112132893B (zh) 一种适用于室内动态环境的视觉slam方法
CN112859859B (zh) 一种基于三维障碍物体素对象映射的动态栅格地图更新方法
CN110349250B (zh) 一种基于rgbd相机的室内动态场景的三维重建方法
CN112258618B (zh) 基于先验激光点云与深度图融合的语义建图与定位方法
CN111563442A (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN111260661B (zh) 一种基于神经网络技术的视觉语义slam系统及方法
WO2022120997A1 (zh) 一种分布式slam系统及其学习方法
WO2023273169A1 (zh) 一种融合视觉与激光的2.5d地图构建方法
CN110728751A (zh) 一种室内3d点云语义地图的构建方法
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
CN114677323A (zh) 一种室内动态场景下基于目标检测的语义视觉slam定位方法
CN112446882A (zh) 一种动态场景下基于深度学习的鲁棒视觉slam方法
CN113516664A (zh) 一种基于语义分割动态点的视觉slam方法
WO2023184968A1 (zh) 一种基于点线面特征的结构化场景视觉slam方法
Zhu et al. PairCon-SLAM: Distributed, online, and real-time RGBD-SLAM in large scenarios
Ali et al. A life-long SLAM approach using adaptable local maps based on rasterized LIDAR images
Long et al. Vehicle tracking method using background subtraction and meanshift algorithm
CN108921852B (zh) 基于视差与平面拟合的双分支室外非结构化地形分割网络
CN116563341A (zh) 一种处理复杂环境下动态物体的视觉定位与建图方法
CN116664851A (zh) 一种基于人工智能的自动驾驶数据提取方法
Min et al. COEB-SLAM: A Robust VSLAM in Dynamic Environments Combined Object Detection, Epipolar Geometry Constraint, and Blur Filtering
Lai et al. 3D semantic map construction system based on visual SLAM and CNNs
Wang et al. Dynamic object separation and removal in 3d point cloud map building
CN112446885A (zh) 一种动态环境下基于改进的语义光流法的slam方法
Gou et al. DR-Fusion: Dynamic SLAM 3D Reconstruction Method of Production Workshop

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant