CN112200850B - 一种基于成熟特征点的orb提取方法 - Google Patents

一种基于成熟特征点的orb提取方法 Download PDF

Info

Publication number
CN112200850B
CN112200850B CN202011110950.1A CN202011110950A CN112200850B CN 112200850 B CN112200850 B CN 112200850B CN 202011110950 A CN202011110950 A CN 202011110950A CN 112200850 B CN112200850 B CN 112200850B
Authority
CN
China
Prior art keywords
points
immature
point
mature
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011110950.1A
Other languages
English (en)
Other versions
CN112200850A (zh
Inventor
李伟
任孟瀚
张延宇
杜晓玉
周素芳
郭启程
马晓勇
周毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University
Original Assignee
Henan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University filed Critical Henan University
Priority to CN202011110950.1A priority Critical patent/CN112200850B/zh
Publication of CN112200850A publication Critical patent/CN112200850A/zh
Application granted granted Critical
Publication of CN112200850B publication Critical patent/CN112200850B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明的目的是提供一种基于成熟特征点的ORB提取方法，用于提高ORB特征点提取算法用于视觉SLAM统的匹配精度，通过对未成熟点的提取，对于像素梯度值没有超过阈值的点将被永久舍弃，其余的点被选为未成熟点，未成熟点经过追踪线程，深度信息能够收敛的未成熟点会被插入到局部建图中激活，转化为成熟地图点，在成熟地图点上进行ORB特征点提取，深度信息未能收敛的点会随着后端优化窗口的滑动，被边缘化移除，成熟地图点具有确切的三维坐标信息，能够与在下一帧上的位姿相匹配，准确反映周围的环境信息，随着相机运动，越来越多的成熟点地图点被插入到局部建图中，构成了局部三维点云地图，局部三维点云地图经过后端优化后，最终得到全局三维点云地图。

Description

一种基于成熟特征点的ORB提取方法
技术领域
本发明属于ORB提取技术领域，具体涉及一种基于成熟特征点的ORB提取方法。
背景技术
视觉SLAM称为即时定位与地图构建，是将一个机器人放入位置环境中的未知位置，是否有办法让机器人一边移动一边逐步描绘出此环境完全的地图，通常机器人会搭载相机录制图像，在通过对图像的处理构建地图，视觉SLAM领域常见的特征点提取算法有SIFT、SURF、ORB等，三种算法被广泛应用于不同领域。ORB算法相比SIFT、SURF算法提取的特征点数量较少，但是在旋转不变性、鲁棒性和实时性方面均展现出巨大优势。由于视觉SLAM系统在实际运行过程中，相机以较高的帧率向系统输入图像，相邻帧之间的图像相似度较高，帧间往往存在大量冗余信息，并不需要太多的特征点信息，反而更关注于特征提取过程是否迅速、鲁棒。ORB特征点提取算法更为适合视觉SLAM系统，但现有的ORB特征提取法在视觉SLAM系统中实时性和鲁棒性相对较弱。
发明内容
本发明的目的是提供一种基于成熟特征点的ORB提取方法，用于提高ORB特征点提取算法用于视觉SLAM统的匹配精度。
本发明解决其技术问题的技术方案为：一种基于成熟特征点的ORB提取方法，包括以下步骤，
S1：相机在移动的过程中录制图片数据集。
S2：对图片数据集中当前帧上的未成熟点进行提取；
S3：求当前帧上的未成熟点在下一帧上的位姿；
S4：将当前帧的彩色图转化为深度图，获取当前帧上未成熟点的深度信息；
S5：将当前帧上未成熟点的深度信息与设定值比较，当深度信息的值小于设定值时，将未成熟点被安插到局部建图中激活为成熟地图点。
S6：将成熟地图点在下一帧上的位姿与成熟地图点的三维坐标信息相匹配，构建地图信息。
所述步骤S2具体为：
S2.1：将图像划分成M×M个区域(M取32)，对每个区域计算阈值g；
Figure BDA0002728580060000021
其中，
Figure BDA0002728580060000022
为该区域所有像素点的中值绝对梯度，gth为全局梯度；
S2.2：在每个区域内选取像素梯度值最大的前N个点，像素梯度G(x,y)定义如下：
G(x,y)＝dx(i,j)+dy(i,j)
Figure BDA0002728580060000023
其中，I(i,j)为坐标为(i,j)的像素点的像素值，dx(i,j)为坐标为(i,j)的像素点在x方向的像素值，dy(i,j)为坐标为(i,j)的像素点在y方向的像素值；
将像素梯度排名靠前的N个点的像素梯度值分别与阈值g比较，若超过阈值g，则将该点选为未成熟点，若N个点的像素梯度值均不超过阈值g，则舍弃该区域。
所述步骤S3具体为：
令图片数据集中相邻帧的图片m1,m2两未成熟点，在非齐次像素坐标系中坐标为p1,p2,设P为三维空间中的真实点，坐标为[X,Y,Z]，在m1,m2中的深度为Z1,Z2，图片数据集中相邻帧的图片m1,m2之间的旋转平移关系由旋转矩阵R和平移矩阵t构成，对应的李代数为ξ，相机内参为K，[X,Y,Z]归一化后为
Figure BDA0002728580060000024
得p1,p2关系如下：
Figure BDA0002728580060000025
Figure BDA0002728580060000031
p2与p1之间的光度误差表示为：
e＝m1(P1)-m2(P2)
其中e为标量，优化目标为误差的二范数，即
Figure BDA0002728580060000032
对于一帧图片上的多个未成熟点，优化问题表示为：
Figure BDA0002728580060000033
光度误差相对于李代数形式的雅克比矩阵：
Figure BDA0002728580060000034
扰动变量exp(ξ∧)在m2帧图像下的坐标记为u，
Figure BDA0002728580060000035
q＝δξ∧exp(ξ∧)P
对于每帧上的多个未成熟点，通过计算优化目标的雅克比矩阵，然后使用高斯-牛顿法迭代求出未成熟点在下一帧上的位姿。
所述步骤S5中的设定值为8。
当前帧的成熟地图点在下一帧上的位姿与成熟地图点的三维坐标信息相匹配，构建地图信息后对下一帧图像的操作重复步骤S2-S6。
本发明的有益效果为：通过对未成熟点的提取，对于像素梯度值没有超过阈值的点将被永久舍弃，其余的点被选为未成熟点，未成熟点经过追踪线程后，其中深度信息能够收敛的未成熟点会被插入到局部建图中激活，转化为成熟地图点，在成熟地图点上进行ORB特征点的提取，深度信息未能收敛的点会随着后端优化窗口的滑动，被边缘化移除，成熟地图点具有确切的三维坐标信息，能够与在下一帧上的位姿相匹配，准确反映周围的环境信息。随着相机的运动，越来越多的成熟点地图点被插入到局部建图中，构成了局部三维点云地图，局部三维点云地图经过后端优化后，最终得到全局三维点云地图。
附图说明
图1是本发明的未成熟点提取流程图。
图2是本发明的未成熟点追踪原理图。
图3是本发明的未成熟点激活原理图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明包括以下步骤，
S1：相机在移动的过程中录制图片数据集。
S2：对图片数据集中当前帧上的未成熟点进行提取；
S3：求当前帧上的未成熟点在下一帧上的位姿；
S4：将当前帧的彩色图转化为深度图，获取当前帧上未成熟点的深度信息；
S5：将当前帧上未成熟点的深度信息与设定值比较，当深度信息的值小于设定值时，将未成熟点被安插到局部建图中激活为成熟地图点。
S6：将成熟地图点在下一帧上的位姿与成熟地图点的三维坐标信息相匹配，构建地图信息。
所述步骤S2具体为：
S2.1：将图像划分成M×M个区域(M取32)，对每个区域计算阈值g；
Figure BDA0002728580060000041
其中，
Figure BDA0002728580060000042
为该区域所有像素点的中值绝对梯度，gth为全局梯度；
S2.2：在每个区域内选取像素梯度值最大的前N个点，像素梯度G(x,y)定义如下：
G(x,y)＝dx(i,j)+dy(i,j)
Figure BDA0002728580060000043
其中，I(i,j)为坐标为(i,j)的像素点的像素值，dx(i,j)为坐标为(i,j)的像素点在x方向的像素值，dy(i,j)为坐标为(i,j)的像素点在y方向的像素值；
将像素梯度排名靠前的N个点的像素梯度值分别与阈值g比较，若超过阈值g，则将该点选为未成熟点，若N个点的像素梯度值均不超过阈值g，则舍弃该区域。
完成未成熟点的提取工作后，需要对其在相邻帧之间进行追踪与处理。由于未成熟点的深度未知，所以在此线程中，系统会在相邻帧之间对未成熟点，沿极线方向进行离散化搜索匹配，通过最小化光度误差，使其深度信息收敛，得到成熟的地图点与在下一帧上的位姿，由于在步骤S3求得了当前帧上的未成熟点在下一帧上的位姿，在未成熟点激活为成熟地图点后可获得成熟的地图点与在下一帧上的位姿。
所述步骤S3具体为：
令图片数据集中相邻帧的图片m1,m2两未成熟点，在非齐次像素坐标系中坐标为p1,p2,设P为三维空间中的真实点，坐标为[X,Y,Z]，在m1,m2中的深度为Z1,Z2，图片数据集中相邻帧的图片m1,m2之间的旋转平移关系由旋转矩阵R和平移矩阵t构成，对应的李代数为ξ，相机内参为K，[X,Y,Z]归一化后为
Figure BDA0002728580060000051
得p1,p2关系如下：
Figure BDA0002728580060000052
Figure BDA0002728580060000053
p2与p1之间的光度误差表示为：
e＝m1(P1)-m2(P2)
其中e为标量，优化目标为误差的二范数，即
Figure BDA0002728580060000054
对于一帧图片上的多个未成熟点，优化问题表示为：
Figure BDA0002728580060000055
光度误差相对于李代数形式的雅克比矩阵：
Figure BDA0002728580060000061
扰动变量exp(ξ∧)在m2帧图像下的坐标记为u，
Figure BDA0002728580060000062
q＝δξ∧exp(ξ∧)P
对于每帧上的多个未成熟点，通过计算优化目标的雅克比矩阵，然后使用高斯-牛顿法迭代求出未成熟点在下一帧上的位姿。
所述步骤S5中的设定值为8。
相匹配就是对应的关系、位姿可以用三维坐标信息来表示。成熟地图点在下一帧的位姿，用坐标系的信息来表示，也就是对应关系。
当前帧的成熟地图点在下一帧上的位姿与成熟地图点的三维坐标信息相匹配，构建地图信息后对下一帧图像的操作重复步骤S2-S6。
未成熟像素点演变成成熟地图点后，在此基础上提取ORB特征，使得前端、后端、闭环检测三者间的耦合度上升，一定程度上提升了系统的鲁棒性。
本发明通过对未成熟点的提取，对于像素梯度值没有超过阈值的点将被永久舍弃，其余的点被选为未成熟点，未成熟点经过追踪线程后，其中深度信息能够收敛的未成熟点会被插入到局部建图中激活，转化为成熟地图点，在成熟地图点上进行ORB特征点的提取，深度信息未能收敛的点会随着后端优化窗口的滑动，被边缘化移除，成熟地图点具有确切的三维坐标信息，能够与在下一帧上的位姿相匹配，准确反映周围的环境信息。随着相机的运动，越来越多的成熟点地图点被插入到局部建图中，构成了局部三维点云地图，局部三维点云地图经过后端优化后，最终得到全局三维点云地图。

Claims (3)

1.一种基于成熟特征点的ORB提取方法，其特征在于：包括以下步骤，
S1：相机在移动的过程中录制图片数据集；
S2：把满足分布均匀良好，具有足够像素梯度的像素点命名为未成熟点，对图片数据集中当前帧上的未成熟点进行提取；所述步骤S2具体为：
S2.1：将图像划分成M×M个区域，对每个区域计算阈值g；
Figure FDA0003753618500000011
其中，
Figure FDA0003753618500000012
为该区域所有像素点的中值绝对梯度，gth为全局梯度；
S2.2：在每个区域内选取像素梯度值最大的前N个点，像素梯度G(x,y)定义如下：
G(x,y)＝dx(i,j)+dy(i,j)
Figure FDA0003753618500000013
其中，I(i,j)为坐标为(i,j)的像素点的像素值，dx(i,j)为坐标为(i,j)的像素点在x方向的像素值，dy(i,j)为坐标为(i,j)的像素点在y方向的像素值；
将像素梯度排名靠前的N个点的像素梯度值分别与阈值g比较，若超过阈值g，则将该点选为未成熟点，若N个点的像素梯度值均不超过阈值g，则舍弃该区域；
S3：求当前帧上的未成熟点在下一帧上的位姿；所述步骤S3具体为：
令图片数据集中相邻帧的图片m1,m2两未成熟点，在非齐次像素坐标系中坐标为p1,p2,设P为三维空间中的真实点，坐标为[X,Y,Z]，在m1,m2中的深度为Z1,Z2，图片数据集中相邻帧的图片m1,m2之间的旋转平移关系由旋转矩阵R和平移矩阵t构成，对应的李代数为ξ，相机内参为K，[X,Y,Z]归一化后为
Figure FDA0003753618500000014
得p1,p2关系如下：
Figure FDA0003753618500000021
Figure FDA0003753618500000022
p2与p1之间的光度误差表示为：
e＝m1(P1)-m2(P2)
其中e为标量，优化目标为误差的二范数，即
Figure FDA0003753618500000023
对于一帧图片上的多个未成熟点，优化问题表示为：
Figure FDA0003753618500000024
光度误差相对于李代数形式的雅克比矩阵：
Figure FDA0003753618500000025
扰动变量exp(ξ^)在m2帧图像下的坐标记为u，
Figure FDA0003753618500000026
q＝δξ^exp(ξ^)P
对于每帧上的多个未成熟点，通过计算优化目标的雅克比矩阵，然后使用高斯-牛顿法迭代求出未成熟点在下一帧上的位姿；
S4：将当前帧的彩色图转化为深度图，获取当前帧上未成熟点的深度信息；
S5：将当前帧上未成熟点的深度信息与设定值比较，当深度信息的值小于设定值时，将未成熟点被安插到局部建图中激活为成熟地图点；
S6：将成熟地图点在下一帧上的位姿与成熟地图点的三维坐标信息相匹配，构建地图信息。
2.根据权利要求1所述的一种基于成熟特征点的ORB提取方法，其特征在于，所述步骤S5中的设定值为8。
3.根据权利要求2所述的一种基于成熟特征点的ORB提取方法，其特征在于，当前帧的成熟地图点在下一帧上的位姿与成熟地图点的三维坐标信息相匹配，构建地图信息后对下一帧图像的操作重复步骤S2-S6。
CN202011110950.1A 2020-10-16 2020-10-16 一种基于成熟特征点的orb提取方法 Active CN112200850B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011110950.1A CN112200850B (zh) 2020-10-16 2020-10-16 一种基于成熟特征点的orb提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011110950.1A CN112200850B (zh) 2020-10-16 2020-10-16 一种基于成熟特征点的orb提取方法

Publications (2)

Publication Number Publication Date
CN112200850A CN112200850A (zh) 2021-01-08
CN112200850B true CN112200850B (zh) 2022-10-04

Family

ID=74009213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011110950.1A Active CN112200850B (zh) 2020-10-16 2020-10-16 一种基于成熟特征点的orb提取方法

Country Status (1)

Country Link
CN (1) CN112200850B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116258769B (zh) * 2023-05-06 2023-07-25 亿咖通(湖北)技术有限公司 一种定位校验方法、装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392964A (zh) * 2017-07-07 2017-11-24 武汉大学 基于室内特征点和结构线结合的室内slam方法
CN109631855A (zh) * 2019-01-25 2019-04-16 西安电子科技大学 基于orb-slam的高精度车辆定位方法
CN111045017A (zh) * 2019-12-20 2020-04-21 成都理工大学 一种激光和视觉融合的巡检机器人变电站地图构建方法
CN111060115A (zh) * 2019-11-29 2020-04-24 中国科学院计算技术研究所 一种基于图像边缘特征的视觉slam方法及系统
EP3671121A1 (en) * 2017-08-18 2020-06-24 Guangdong Bona Robot Corporation Limited Map creation method for mobile robot and path planning method based on map
CN111707281A (zh) * 2020-06-30 2020-09-25 华东理工大学 一种基于光度信息和orb特征的slam系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392964A (zh) * 2017-07-07 2017-11-24 武汉大学 基于室内特征点和结构线结合的室内slam方法
EP3671121A1 (en) * 2017-08-18 2020-06-24 Guangdong Bona Robot Corporation Limited Map creation method for mobile robot and path planning method based on map
CN109631855A (zh) * 2019-01-25 2019-04-16 西安电子科技大学 基于orb-slam的高精度车辆定位方法
CN111060115A (zh) * 2019-11-29 2020-04-24 中国科学院计算技术研究所 一种基于图像边缘特征的视觉slam方法及系统
CN111045017A (zh) * 2019-12-20 2020-04-21 成都理工大学 一种激光和视觉融合的巡检机器人变电站地图构建方法
CN111707281A (zh) * 2020-06-30 2020-09-25 华东理工大学 一种基于光度信息和orb特征的slam系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ORB-SLAM A Versatile and Accurate Monocular SLAM System;Raúl Mur-Artal et al;《 IEEE Transactions on Robotics》;20151031;第31卷(第5期);1147-1163 *
基于单目视觉的无人机SLAM技术研究;齐晓世;《中国优秀硕士学位论文全文数据库（电子期刊）》;20200715;第2020年卷(第7期);1-8 *
基于深度学习和传统视觉SLAM融合的单目视觉LSLAM;陈剑斌;《中国优秀硕士学位论文全文数据库（电子期刊）》;20190415;第2019年卷(第4期);全文 *
融合自监督单目图像深度估计的视觉里程计;成立明等;《计算机工程与应用（网络首发论文）》;20200820;全文 *

Also Published As

Publication number Publication date
CN112200850A (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
CN111462200B (zh) 一种跨视频行人定位追踪方法、系统及设备
Labbé et al. Cosypose: Consistent multi-view multi-object 6d pose estimation
CN112070818B (zh) 基于机器视觉的机器人无序抓取方法和系统及存储介质
CN111060115B (zh) 一种基于图像边缘特征的视觉slam方法及系统
CN111862201B (zh) 一种基于深度学习的空间非合作目标相对位姿估计方法
CN111310631B (zh) 一种旋翼作业飞行机器人目标跟踪方法及系统
CN111311679A (zh) 一种基于深度相机的自由漂浮目标位姿估计方法
CN104036524A (zh) 一种改进sift算法的快速目标跟踪方法
CN108229416A (zh) 基于语义分割技术的机器人slam方法
CN109272577B (zh) 一种基于Kinect的视觉SLAM方法
CN108597009A (zh) 一种基于方向角信息进行三维目标检测的方法
CN112419497A (zh) 基于单目视觉的特征法与直接法相融合的slam方法
Zhu et al. A review of 6d object pose estimation
CN111402331A (zh) 基于视觉词袋和激光匹配的机器人重定位方法
CN114549549A (zh) 一种动态环境下基于实例分割的动态目标建模跟踪方法
CN112200850B (zh) 一种基于成熟特征点的orb提取方法
Bodensteiner et al. Monocular camera trajectory optimization using LiDAR data
CN113780240B (zh) 基于神经网络及旋转特征增强的物体位姿估计方法
CN116416305B (zh) 一种基于优化采样五维点对特征的多实例位姿估计方法
Jisen A study on target recognition algorithm based on 3D point cloud and feature fusion
CN117036484A (zh) 一种基于几何和语义的视觉定位与建图方法、系统、设备及介质
CN116823895A (zh) 基于可变模板的rgb-d相机多视角匹配的数字图像计算方法及系统
CN117351078A (zh) 基于形状先验的目标尺寸与6d姿态估计方法
CN110135474A (zh) 一种基于深度学习的倾斜航空影像匹配方法和系统
CN116587280A (zh) 一种机器人3d激光视觉无序抓取控制方法、介质及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant