CN110648354A - 一种动态环境下的slam方法 - Google Patents

一种动态环境下的slam方法 Download PDF

Info

Publication number
CN110648354A
CN110648354A CN201910931643.0A CN201910931643A CN110648354A CN 110648354 A CN110648354 A CN 110648354A CN 201910931643 A CN201910931643 A CN 201910931643A CN 110648354 A CN110648354 A CN 110648354A
Authority
CN
China
Prior art keywords
camera
image
inputting
kalman filter
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910931643.0A
Other languages
English (en)
Other versions
CN110648354B (zh
Inventor
阎波
庄志鹏
彭文宇
杜凯洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910931643.0A priority Critical patent/CN110648354B/zh
Publication of CN110648354A publication Critical patent/CN110648354A/zh
Application granted granted Critical
Publication of CN110648354B publication Critical patent/CN110648354B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Abstract

本发明公开了一种动态环境下的slam方法，先采集原始图像流，且通过轮式里程计采集位移；根据原始图像流，通过遮挡检测器判断相机是否被遮挡，对原始图像流中未被遮挡的图像进行特征追踪，对原始图像流进行动态物体检测，获取动态物体的边框坐标信息；根据边框坐标信息，对特征追踪成功的图像进行外点剔除，将外点剔除的图像进行特征匹配，得到相机的位姿，并将其输入卡尔曼滤波器，将轮式里程计的输出进行预积分后输入卡尔曼滤波器，获取融合后的姿态；将融合的姿态输入orb‑slam系统，得到预测地图。本发明在动态环境和相机遮挡的情况下有较好的鲁棒性，能够减少视觉失效的情况，提高定位和地图构建的精度。

Description

一种动态环境下的slam方法
技术领域
本发明属于机器人构图领域，具体涉及一种动态环境下的slam方法。
背景技术
同时定位与建图技术作为机器人领域的一项最基本的技术，在无人驾驶、机器人和虚拟现实等领域起着不可欠缺的作用。同步定位与地图构建(Slam)根据传感器的配置不同，可以划分为激光雷达slam、视觉slam和毫米波雷达slam，也存在多传感器结合的slam系统。单独的视觉存在许多问题，如由于光照变化，弱纹理环境以及动态场景下面，会导致slam前端错误的特征匹配，从而影响定位以及建图的精度。现有的slam绝大多数都假设slam运行在一个静态的环境下，但现实的环境是复杂的，比如室内有人和动物走动，现有的slam能够通过RANSAC这种比较鲁棒的匹配方式来减少动态物体的影响，近来也有通过在这些slam系统中加入一个动态物体检测的模块，进而去除动态物体上的特征点。如DS-SLAM通过增加一个语义分割网络，将其中动态的物体分割出来，然后再做特征匹配，但是由于一张图像经过网络耗时过长，目前还不存在一个实时的动态物体检测slam方案。
发明内容
针对现有技术中的上述不足，本发明提供的一种动态环境下的slam方法解决了现有技术不能实时对动态物体进行检测的问题。
为了达到上述发明目的，本发明采用的技术方案为：一种动态环境下的slam方法，包括以下步骤：
S1、采集原始图像流，且通过轮式里程计采集位移；
S2、将原始图像流输入遮挡检测器，通过遮挡检测器判断相机是否被遮挡，若是则将卡尔曼滤波器中相机姿态的协方差设置为无穷大，并进入步骤S6，否则进入步骤S3；
S3、对原始图像流进行特征追踪，并判断是否追踪成功，若是则进入步骤S4，若否则返回步骤S2；
S4、对原始图像流进行动态物体检测，获取动态物体的边框坐标信息；
S5、根据边框坐标信息，对特征追踪成功的图像进行动态物体特征点剔除，将外点剔除的图像进行特征匹配，得到相机的位姿；
S6、将相机的位姿输入卡尔曼滤波器，同时将轮式里程计的输出进行预积分后输入卡尔曼滤波器，获取融合后的姿态；
S7、将融合的姿态输入orb-slam系统，得到预测地图。
进一步地，所述步骤S1中通过RGB-D相机采集原始图像流，所述原始图像流包括RGB图和深度图。
进一步地，所述步骤S2包括以下分步骤：
S2.1、将原始图像流输入遮挡检测器，进行orb特征点提取；
S2.2、判断RGB图的特征提取数量是否少于设定的阈值，若是则判断为相机被遮挡，并将卡尔曼滤波器中相机姿态的协方差设置为无穷大，否则进入步骤S2.3；
S2.3、判断深度图中深度小于20cm的像素点是否超过70％，若是则判断为相机被遮挡，并将卡尔曼滤波器中相机姿态的协方差设置为无穷大，否则判断相机未被遮挡，并进入步骤S3。
进一步地，所述步骤S3包括以下分步骤：
S3.1、根据LK光流法，对第i张图像的特征点追踪得到第i+1张图像的特征点；
S3.2、判断第i+1张图像的特征点数量是否大于或等于10，若是则追踪失败，并进入步骤S4，否则返回步骤S2。
进一步地，所述步骤S4包括以下分步骤：
S4.1、通过YOLOv3网络得到原始图像流中各种物体的标签；
S4.2、根据第i张图像，利用光流法得到第i+1张图像中匹配特征点；
S4.3、计算匹配特征点之间的基础矩阵，并对第i张图像中各标签点应用基础矩阵，得到第i+1张图像中各标签对应的极线；
S4.4、判断第i+1张图像中每个标签的匹配特征点与其极线的距离是否超过10像素点，若是则将此标签的边框坐标信息输出，否则此标签代表的物体为静态物体，且不采取任何操作。
进一步地，所述步骤S5包括以下分步骤：
S5.1、根据动态物体的边框坐标信息，剔除图像中动态物体的边框内的特征点，并对静态物体进行特征匹配；
S5.2、根据静态物体的特征匹配结果，获取每张图像中相机的本质矩阵，通过SDV分解本质矩阵获取每张图像中相机的位姿。
进一步地，所述步骤S6包括以下分步骤：
S6.1、将相机的位姿输入卡尔曼滤波器；
S6.2、根据相机测量得到的相邻两帧图像，将相邻两帧图像之间对应的里程计输出进行积分，并将积分结果输入卡尔曼滤波器；
S6.3、将轮式里程计输入的位移作为预测值，将相机的旋转量作为观测值，通过卡尔曼滤波器获取融合的姿态。
本发明的有益效果为：
(1)本发明能够处理动态环境下由于误匹配导致的相机姿态估计错误，并且能够实时工作。
(2)本发明在相机被遮挡时，能够通过轮式里程计来补偿相机失效时的情况。
(3)本发明能够实时工作，在相机遮挡的情况下，拥有很好的鲁棒性，能够减少视觉失效的情况，保证了定位与地图构建的精度。
附图说明
图1为本发明提出的一种动态环境下的slam方法流程图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
下面结合附图详细说明本发明的实施例。
如图1所示，一种动态环境下的slam方法，包括以下步骤：
S1、采集原始图像流，且通过轮式里程计采集位移；
S2、将原始图像流输入遮挡检测器，通过遮挡检测器判断相机是否被遮挡，若是则将卡尔曼滤波器中相机姿态的协方差设置为无穷大，并进入步骤S6，否则进入步骤S3；
S3、对原始图像流进行特征追踪，并判断是否追踪成功，若是则进入步骤S4，若否则返回步骤S2；
S4、对原始图像流进行动态物体检测，获取动态物体的边框坐标信息；
S5、根据边框坐标信息，对特征追踪成功的图像进行动态物体特征点剔除，将外点剔除的图像进行特征匹配，得到相机的位姿；
S6、将相机的位姿输入卡尔曼滤波器，同时将轮式里程计的输出进行预积分后输入卡尔曼滤波器，获取融合后的姿态；
S7、将融合的姿态输入orb-slam系统，得到预测地图。
步骤S1中通过RGB-D相机采集原始图像流，所述原始图像流包括RGB图和深度图。
步骤S2包括以下分步骤：
S2.1、将原始图像流输入遮挡检测器，进行orb特征点提取；
S2.2、判断RGB图的特征提取数量是否少于设定的阈值，若是则判断为相机被遮挡，并将卡尔曼滤波器中相机姿态的协方差设置为无穷大，否则进入步骤S2.3；
S2.3、判断深度图中深度小于20cm的像素点是否超过70％，若是则判断为相机被遮挡，并将卡尔曼滤波器中相机姿态的协方差设置为无穷大，否则判断相机未被遮挡，并进入步骤S3。
步骤S3包括以下分步骤：
S3.1、根据LK光流法，对第i张图像的特征点追踪得到第i+1张图像的特征点；
S3.2、判断第i+1张图像的特征点数量是否大于或等于10，若是则追踪失败，并进入步骤S4，否则返回步骤S2。
步骤S4包括以下分步骤：
S4.1、通过YOLOv3网络得到原始图像流中各种物体的标签；
S4.2、根据第i张图像，利用光流法得到第i+1张图像中匹配特征点；
S4.3、计算匹配特征点之间的基础矩阵，并对第i张图像中各标签点应用基础矩阵，得到第i+1张图像中各标签对应的极线；
S4.4、判断第i+1张图像中每个标签的匹配特征点与其极线的距离是否超过10像素点，若是则将此标签的边框坐标信息输出，否则此标签代表的物体为静态物体，且不采取任何操作。
步骤S5包括以下分步骤：
S5.1、根据动态物体的边框坐标信息，剔除图像中动态物体的边框内的特征点，并对静态物体进行特征匹配；
S5.2、根据静态物体的特征匹配结果，获取每张图像中相机的本质矩阵，通过SDV分解本质矩阵获取每张图像中相机的位姿。
步骤S6包括以下分步骤：
S6.1、将相机的位姿输入卡尔曼滤波器；
S6.2、根据相机测量得到的相邻两帧图像，将相邻两帧图像之间对应的里程计输出进行积分，并将积分结果输入卡尔曼滤波器；
S6.3、将轮式里程计输入的位移作为预测值，将相机的旋转量作为观测值，通过卡尔曼滤波器获取融合的姿态。
本发明能够处理动态环境下由于误匹配导致的相机姿态估计错误，并且能够实时工作。本发明在相机被遮挡时，能够通过轮式里程计来补偿相机失效时的情况。本发明能够实时工作，在相机遮挡的情况下，拥有很好的鲁棒性，能够减少视觉失效的情况，保证了定位与地图构建的精度。

Claims (7)

1.一种动态环境下的slam方法，其特征在于，包括以下步骤：
S1、采集原始图像流，且通过轮式里程计采集位移；
S2、将原始图像流输入遮挡检测器，通过遮挡检测器判断相机是否被遮挡，若是则将卡尔曼滤波器中相机姿态的协方差设置为无穷大，并进入步骤S6，否则进入步骤S3；
S3、对原始图像流进行特征追踪，并判断是否追踪成功，若是则进入步骤S4，若否则返回步骤S2；
S4、对原始图像流进行动态物体检测，获取动态物体的边框坐标信息；
S5、根据边框坐标信息，对特征追踪成功的图像进行动态物体特征点剔除，将外点剔除的图像进行特征匹配，得到相机的位姿；
S6、将相机的位姿输入卡尔曼滤波器，同时将轮式里程计的输出进行预积分后输入卡尔曼滤波器，获取融合后的姿态；
S7、将融合的姿态输入orb-slam系统，得到预测地图。
2.根据权利要求1所述的动态环境下的slam方法，其特征在于，所述步骤S1中通过RGB-D相机采集原始图像流，所述原始图像流包括RGB图和深度图。
3.根据权利要求1所述的动态环境下的slam方法，其特征在于，所述步骤S2包括以下分步骤：
S2.1、将原始图像流输入遮挡检测器，进行orb特征点提取；
S2.2、判断RGB图的特征提取数量是否少于设定的阈值，若是则判断为相机被遮挡，并将卡尔曼滤波器中相机姿态的协方差设置为无穷大，否则进入步骤S2.3；
S2.3、判断深度图中深度小于20cm的像素点是否超过70％，若是则判断为相机被遮挡，并将卡尔曼滤波器中相机姿态的协方差设置为无穷大，否则判断相机未被遮挡，并进入步骤S3。
4.根据权利要求1所述的动态环境下的slam方法，其特征在于，所述步骤S3包括以下分步骤：
S3.1、根据LK光流法，对第i张图像的特征点追踪得到第i+1张图像的特征点；
S3.2、判断第i+1张图像的特征点数量是否大于或等于10，若是则追踪失败，并进入步骤S4，否则返回步骤S2。
5.根据权利要求1所述的动态环境下的slam方法，其特征在于，所述步骤S4包括以下分步骤：
S4.1、通过YOLOv3网络得到原始图像流中各种物体的标签；
S4.2、根据第i张图像，利用光流法得到第i+1张图像中匹配特征点；
S4.3、计算匹配特征点之间的基础矩阵，并对第i张图像中各标签点应用基础矩阵，得到第i+1张图像中各标签对应的极线；
S4.4、判断第i+1张图像中每个标签的匹配特征点与其极线的距离是否超过10像素点，若是则将此标签的边框坐标信息输出，否则此标签代表的物体为静态物体，且不采取任何操作。
6.根据权利要求1所述的动态环境下的slam方法，其特征在于，所述步骤S5包括以下分步骤：
S5.1、根据动态物体的边框坐标信息，剔除图像中动态物体的边框内的特征点，并对静态物体进行特征匹配；
S5.2、根据静态物体的特征匹配结果，获取每张图像中相机的本质矩阵，通过SDV分解本质矩阵获取每张图像中相机的位姿。
7.根据权利要求1所述的动态环境下的slam方法，其特征在于，所述步骤S6包括以下分步骤：
S6.1、将相机的位姿输入卡尔曼滤波器；
S6.2、根据相机测量得到的相邻两帧图像，将相邻两帧图像之间对应的里程计输出进行积分，并将积分结果输入卡尔曼滤波器；
S6.3、将轮式里程计输入的位移作为预测值，将相机的旋转量作为观测值，通过卡尔曼滤波器获取融合的姿态。
CN201910931643.0A 2019-09-29 2019-09-29 一种动态环境下的slam方法 Active CN110648354B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910931643.0A CN110648354B (zh) 2019-09-29 2019-09-29 一种动态环境下的slam方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910931643.0A CN110648354B (zh) 2019-09-29 2019-09-29 一种动态环境下的slam方法

Publications (2)

Publication Number Publication Date
CN110648354A true CN110648354A (zh) 2020-01-03
CN110648354B CN110648354B (zh) 2022-02-01

Family

ID=68993134

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910931643.0A Active CN110648354B (zh) 2019-09-29 2019-09-29 一种动态环境下的slam方法

Country Status (1)

Country Link
CN (1) CN110648354B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184763A (zh) * 2020-09-09 2021-01-05 南京师范大学镇江创新发展研究院 一种机器人视觉导航中视觉里程计构建方法
CN112990128A (zh) * 2021-04-27 2021-06-18 电子科技大学 一种基于视频跟踪的多车辆测速方法
CN113282088A (zh) * 2021-05-21 2021-08-20 潍柴动力股份有限公司 工程车的无人驾驶方法、装置、设备、存储介质及工程车

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931275A (zh) * 2016-05-23 2016-09-07 北京暴风魔镜科技有限公司 基于移动端单目和imu融合的稳定运动跟踪方法和装置
CN107356252A (zh) * 2017-06-02 2017-11-17 青岛克路德机器人有限公司 一种融合视觉里程计与物理里程计的室内机器人定位方法
CN107833236A (zh) * 2017-10-31 2018-03-23 中国科学院电子学研究所 一种动态环境下结合语义的视觉定位系统和方法
CN108871337A (zh) * 2018-06-21 2018-11-23 浙江工业大学 基于多视觉传感器分布式信息融合的遮挡情况下目标位姿估计方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931275A (zh) * 2016-05-23 2016-09-07 北京暴风魔镜科技有限公司 基于移动端单目和imu融合的稳定运动跟踪方法和装置
CN107356252A (zh) * 2017-06-02 2017-11-17 青岛克路德机器人有限公司 一种融合视觉里程计与物理里程计的室内机器人定位方法
CN107833236A (zh) * 2017-10-31 2018-03-23 中国科学院电子学研究所 一种动态环境下结合语义的视觉定位系统和方法
CN108871337A (zh) * 2018-06-21 2018-11-23 浙江工业大学 基于多视觉传感器分布式信息融合的遮挡情况下目标位姿估计方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LINHUI XIAO ET AL.: "Dynamic-SLAM: Semantic monocular visual localization and mapping based on deep learning in dynamic environment", 《ROBOTICS AND AUTONOMOUS SYSTEMS》 *
XUXIANG QI ET AL.: "Deep Learning Based Semantic Labelling of 3D Point Cloud", 《IOP CONF. SERIES: MATERIALS SCIENCE AND ENGINEERING》 *
张慧娟 等: "动态环境下基于线特征的RGB-D视觉里程计", 《机器人》 *
葛振华 等: "室内环境SLAM过程中动态目标的检测与消除", 《系统仿真技术及其应用》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184763A (zh) * 2020-09-09 2021-01-05 南京师范大学镇江创新发展研究院 一种机器人视觉导航中视觉里程计构建方法
CN112990128A (zh) * 2021-04-27 2021-06-18 电子科技大学 一种基于视频跟踪的多车辆测速方法
CN113282088A (zh) * 2021-05-21 2021-08-20 潍柴动力股份有限公司 工程车的无人驾驶方法、装置、设备、存储介质及工程车

Also Published As

Publication number Publication date
CN110648354B (zh) 2022-02-01

Similar Documents

Publication Publication Date Title
CN110261870B (zh) 一种用于视觉-惯性-激光融合的同步定位与建图方法
CN110766716B (zh) 一种空间未知运动目标的信息获取方法及系统
CN112734852B (zh) 一种机器人建图方法、装置及计算设备
CN110648354B (zh) 一种动态环境下的slam方法
CN111275763B (zh) 闭环检测系统、多传感器融合slam系统及机器人
Baldwin et al. Event probability mask (epm) and event denoising convolutional neural network (edncnn) for neuromorphic cameras
US8073196B2 (en) Detection and tracking of moving objects from a moving platform in presence of strong parallax
WO2018177026A1 (zh) 确定道路边沿的装置和方法
CN110587597B (zh) 一种基于激光雷达的slam闭环检测方法及检测系统
CN112669349B (zh) 一种客流统计方法、电子设备及存储介质
CN109559330B (zh) 运动目标的视觉跟踪方法、装置、电子设备及存储介质
Chien et al. Visual odometry driven online calibration for monocular lidar-camera systems
CN110706269B (zh) 一种基于双目视觉slam的动态场景密集建模方法
CN110599522B (zh) 一种视频序列中动态目标检测剔除方法
McManus et al. Distraction suppression for vision-based pose estimation at city scales
CN114332394A (zh) 一种基于语义信息辅助的动态场景三维重建方法
CN113743385A (zh) 一种无人船水面目标检测方法、装置及无人船
CN110673607B (zh) 动态场景下的特征点提取方法、装置、及终端设备
Kluger et al. Temporally consistent horizon lines
Liu et al. ORB-Livox: A real-time dynamic system for fruit detection and localization
Qimin et al. A methodology of vehicle speed estimation based on optical flow
CN112945233A (zh) 一种全局无漂移的自主机器人同时定位与地图构建方法
Min et al. COEB-SLAM: A Robust VSLAM in Dynamic Environments Combined Object Detection, Epipolar Geometry Constraint, and Blur Filtering
CN112966658A (zh) 机器人导航方法、装置、终端设备及计算机可读存储介质
CN112270357A (zh) Vio视觉系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant