CN117218195A - 基于点、线特征约束的同时定位与建图方法 - Google Patents
基于点、线特征约束的同时定位与建图方法 Download PDFInfo
- Publication number
- CN117218195A CN117218195A CN202311161453.8A CN202311161453A CN117218195A CN 117218195 A CN117218195 A CN 117218195A CN 202311161453 A CN202311161453 A CN 202311161453A CN 117218195 A CN117218195 A CN 117218195A
- Authority
- CN
- China
- Prior art keywords
- line
- point
- feature
- image
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000013507 mapping Methods 0.000 title claims abstract description 42
- 230000008878 coupling Effects 0.000 claims abstract description 51
- 238000010168 coupling process Methods 0.000 claims abstract description 51
- 238000005859 coupling reaction Methods 0.000 claims abstract description 51
- 238000005457 optimization Methods 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000010276 construction Methods 0.000 claims abstract description 11
- 238000012216 screening Methods 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims description 35
- 230000000007 visual effect Effects 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 14
- 230000004807 localization Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 9
- 238000005286 illumination Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000010845 search algorithm Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000001502 supplementing effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 14
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明提出基于点、线特征约束的同时定位与建图方法，用于设备在移动时的位姿定位与建图作业，包括以下步骤；首先、通过对设备移动过程拍摄图像内的点、线特征的提取和对于线特征的长度筛除来获得追踪质量较高的点、线特征；其次，根据被检测的点特征在其固定半径范围内进行搜索，获取相似位置的线特征；根据点，线特征进行分组并且耦合使用；最后，采用点线耦合特征进行联合建图，并定义点特征、线特征、线特征残差与点线耦合特征残差，而后进行后端的非线性优化，通过最小化残差达到位姿估计与地图构建的目的；本发明采用点线耦合特征进行联合建图，能够更精准的输出机器人位姿及进行地图构建。
Description
技术领域
本发明涉及计算机技术/机器视觉技术领域，尤其是基于点、线特征约束的同时定位与建图方法。
背景技术
目前，随着计算机技术/机器视觉以及自动控制技术的迅速发展，基于多项技术融合的智能机器人、增强现实(Augmented Reality，AR)、虚拟现实(Virtual Reality，VR)、无人机、智能驾驶已经能够普遍应用到日常生活以及生产等各个方面。在这些的应用中，对于机器人所处环境的环境信息以及自身所处位姿是必须知晓的，精确鲁棒的生成地图是这些产品的必要前提。因此，同步定位与建图的理论与应用需求成为了必然。同时定位与建图技术作为解决这一需求的重要手段，也是实现机器人高智能化的核心技术。已被广泛应用于市场。同时，随着处理器芯片的不断迭代更新，计算与处理效率的壁垒进一步被打破，提供了在同时定位与建图技术上大量数据量实时处理的可能性。
定位与建图技术上的传感器主要分为两种:一种是使用激光雷达作为主要传感器的激光同时定位与建图技术，另一种是以相机作为主要传感器的视觉同时定位与建图技术。由于价格较为昂贵且点云畸变矫正模型不够精确，激光点云缺乏纹理信息导致激光同时定位与建图技术闭环检测能力弱；视觉同时定位与建图技术凭借其成本较低，纹理信息丰富的特性在实际应用中受到青睐。
在室内环境中，视觉传感器借其语义信息丰富、精度高、具有纹理信息回环更容易成为了移动机器人必不可少的传感器，视觉同时定位与建图技术技术也成为了移动机器人定位研究的一大主流方向。
在此基础上，为了提高所得位姿轨迹的精度，在获得的视觉信息中可以提取其中除点特征以外的几何特征。当下主要采用的几何特征分别为点特征、线特征、面特征，其中面特征在室外环境下常常无法拟合，实际追踪效率较低。而点特征和线特征无论在室内或是室外环境下都有着较鲁棒的表现。两种特征因其在三维空间中的位置相似性而可以进行混合使用。
发明内容
本发明提出基于点、线特征约束的同时定位与建图方法，采用点线耦合特征进行联合建图，并定义了线特征残差与点线耦合特征残差，而后进行非线性优化，能够更精准的输出机器人位姿及进行地图构建，即能够有效地提高位姿估计与地图构建的精度。
本发明采用以下技术方案。
基于点、线特征约束的同时定位与建图方法，用于具备机器视觉功能的设备在移动时的位姿定位与建图作业，包括以下步骤；
首先、通过对设备移动过程拍摄图像内的点、线特征的提取和对于线特征的长度筛除来获得追踪质量较高的点、线特征；
其次，根据被检测的点特征在其固定半径范围内进行搜索，获取相似位置的线特征；根据点，线特征进行分组并且耦合使用；
最后，采用点线耦合特征进行联合建图，并定义点特征、线特征、线特征残差与点线耦合特征残差，而后进行后端的非线性优化，通过最小化残差达到位姿估计与地图构建的目的。
所述具备机器视觉功能的设备为机器人，方法包括以下步骤；
步骤S1、对于设备的相机所得图像数据，按其频率所得一张图像为一帧，经过预处理后，对于每一帧图像基于点特征shi-tomasi提取算法和线特征检测子(Line SegmentDetector，LSD)提取算法对于相机帧所得图像进行特征提取；
步骤S2、根据线特征追踪次数定义提取线特征的长度阈值，调整算法中的视觉金字塔以减少细碎线段与追踪次数较低的线段；
步骤S3、根据所提取的点特征，在归一化平面上进行给定距离的线特征端点搜索，若提取成功后将其耦合进行使用；
步骤S4、定义点特征、线特征、点线耦合特征残差；对所得特征进行追踪，从而达到初步位姿估计的效果；
步骤S5、通过滑动窗口法对于之前所获得的相机帧进行重投影，利用非线性优化方法得出最优位姿，构建地图。
所述步骤S1具体为：基于相机频率进行图像采集，每获得一张图像作为一帧图像帧，为防止图像中的物体出现形变，对每一帧图像进行图像去畸变以方便提取角点，基于去畸变图像进行图像灰度化处理，能够更好的处理光照变化等问题；将经过预处理的每张图像作为图像帧传给特征提取模块，基于点特征shi-tomasi提取算法和线特征检测子提取算法，对给定的帧图像进行shi-tomasi角点提取与LSD线特征提取，判断是否为离群特征；并在去除离群特征后，将其投影至归一化平面并对其在归一化平面上的坐标值进行记录；
点特征shi-tomasi提取算法包括在二维图像上检测角点的shi-tomasi角点检测算法，其工作时采用一个固定窗口在图像上进行任意的滑动，对于图像中像素块的灰度变化进行比较；具体分为三种情况；
情况1、在x或y方向上灰度变化不大；此时可视为窗口所含像素在平面位置，认为没有角点；
情况2、在x或y单一方向上变化较大；此时可认为窗口所含像素在边界位置；认为没有角点；
情况3、在x或y方向灰度都有较大的变化；此时可认为是检测到了角点；
LSD线段检测算法的具体方法为：计算图像上的每一个像素的梯度，将图像转为梯度表示，梯度在一定容忍度内的像素被认为划分至一个区域作为线段的备选；对这些备选区域做最小外接矩形，此时认为区域内所有像素组成为线特征。
所述步骤S2中的视觉金字塔为高斯金字塔，具体为：修改高斯金字塔的层数与采样次数，调整线段长度阈值与线段密度；使过细小线段不被检测，此细小线段在实际跟踪中质量较低；调整线段长度阈值与线段密度。
在步骤S2的图像处理中，将图像放入高斯金字塔时，将金字塔层数设为n层高斯金字塔，下采样p次，模糊j次；步骤S2对图像处理时在2层高斯金字塔下，下采样1次，模糊2次则达到最佳效果；将提取算法中封闭区域的对齐点的要求阈值设置为m；将最小线段长度约束设置为k个像素单位，进行长度筛除；将线特征内同性点低于70％的线段进行剔除；线特征内同性点为线特征区域内梯度相同的像素点；此步骤为剔除所得线特征的细碎线段，此类线段追踪质量较差，予以剔除。
所述步骤S3具体为：基于S1，S2所得的点、线特征，根据S1所得特征点的基础上搜索线特征的端点，并将其进行分组而后进行耦合使用；具体为：基于三维空间中的点、线特征的位置相似性；将点特征与线特征两两一组进行分组；首先在点特征中使用K维搜索树(K-Dimension Tree)搜索算法进行半径搜索从而搜索线特征的端点，并从搜索到的线特征中提取距离最近的线特征，如果搜索成功可以获得点特征编号和线特征编号，并将点线特征视作一组特征进行耦合使用；若搜索失败，则返回点特征与线特征编号；
在运行过程中，若由于空间环境的复杂性，使线特征在进行追踪时出现前后两帧质量差距较大的情况，此时采用LSD算法进行筛除，以对于质量较低的线特征进行去除；若点特征与线特征的追踪因为光照或视角的变化而失败，则在未跟踪足够多特征时采用点特征进行补足，同时进一步基于点特征形成点线耦合特征增加优化约束；达到提高精度的效果。
所述步骤S4具体为：设置相应残差量，并根据对极几何约束与位姿恢复算法(Perspective-n-Points，PnP)恢复两帧之间对应特征点的位姿变化，从而对于两帧之间的位姿进行初步估计。
对于点特征残差，采用重投影方法将头帧特征点投影至下一关键帧，将投影与下一关键帧对应特征点的距离定义为点残差；对于线特征残差，将线段重投影至下一关键帧，该投影与下一关键帧对应线段的中点进行距离计算，定义为线残差；对于点线耦合特征残差，将第一关键帧中的耦合特征投影至第二帧关键帧中，耦合特征中投影点与第二帧对应特征中的线特征距离定义为残差；
对于追踪两帧间对应点的具体操作，首先对所得图像进行图像直方图均衡化，设置掩码操作，对图像判断是否为第一帧，提取两帧之间同个点特征与线特征并进行追踪，在归一化平面上剔除离群特征；将成功追踪特征并赋予编号；根据相同编号计算本质矩阵得到两帧间的初始位姿变化。
所述步骤S5具体为：分别在设置的滑动窗口中定义对应残差并进行最小化处理，其中，在追踪点线低于预定数量时采用耦合残差参与约束进行建图，采用BA(BundleAdjustment)方法进行最优位姿输出。
所述步骤S5具体为：机器人通过视觉里程计输出的位置姿态数据，为基于本地坐标系而得出，其根据上一帧得到的位姿转换矩阵转换到世界坐标系，然后与世界坐标系的已有地图进行匹配，得到最终的准确位姿，最后根据所得到的准确位姿将每一帧的图像数据进行拼接，完成机器人行驶过程对行驶路径的建图功能。
本发明提供一种采用点、线特征进行机器人位姿估计与地图构建的技术，通过对点、线特征的提取和对于线特征的长度筛除来获得追踪质量较高的点、线特征；其次，根据被检测的点特征在其固定半径范围内进行搜索，获取相似位置的线特征；点，线特征进行分组并且耦合使用；最后，定义点、线特征与点线耦合特征残差，进行后端的非线性优化，通过最小化残差达到位姿估计与地图构建的目的；本发明提出线段筛除方法，在对于高追踪质量线特征的提取优势突出；同时本发明采用点线耦合特征进行联合建图，并定义了线特征残差与点线耦合特征残差，而后进行非线性优化，能够更精准的输出机器人位姿及进行地图构建。本发明提出的同时定位与建图方法能够有效地提高位姿估计与地图构建的精度。
本发明与现有技术相比具有以下有益效果:
1、本发明线特征筛选算法，该算法可以保证在建图是对于追踪质量较低的线特征予以筛除，通过设置高斯金字塔层数，与设定长度阈值进行线特征提取量的减少，保留在位姿估计过程中追踪质量较高的线特征进行.同时进行基于线特征密度的筛选，有效减少无用线特征数量，有效提高线特征追踪效率，同时减少计算资源，加快计算效率，保证实时性。
2、本发明根据三维空间中点、线几何特征的位置相似性对点、线特征进行分组，使得点线特征可以耦合使用.更好的还原了三维空间中的几何信息，在位姿估计的过程中能够将两帧之间的位姿变化更好的进行计算。
3、本发明对于线特征与耦合特征采用重投影的方法将其投影至下一关键帧从而定义残差，在残差定义的基础上进行BundleAdjustment优化，通过最小化设定残差进行全局位姿优化，有效提高精度。
4、本发明通过点、线、耦合特征多残差参与建图，从而提高了所估计轨迹的精度。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明：
附图1是本发明所述方法中，基于点、线特征约束的同时定位与建图方法的流程示意图；
附图2是本发明实施例中点特征与线特征的可视化展示；
附图3是本发明实施例中点线耦合特征示意图。
具体实施方式
如图所示，基于点、线特征约束的同时定位与建图方法，用于具备机器视觉功能的设备在移动时的位姿定位与建图作业，包括以下步骤；
首先、通过对设备移动过程拍摄图像内的点、线特征的提取和对于线特征的长度筛除来获得追踪质量较高的点、线特征；
其次，根据被检测的点特征在其固定半径范围内进行搜索，获取相似位置的线特征；根据点，线特征进行分组并且耦合使用；
最后，采用点线耦合特征进行联合建图，并定义点特征、线特征、线特征残差与点线耦合特征残差，而后进行后端的非线性优化，通过最小化残差达到位姿估计与地图构建的目的。
所述具备机器视觉功能的设备为机器人，方法包括以下步骤；
步骤S1、对于设备的相机所得图像数据，按其频率所得一张图像为一帧，经过预处理后，对于每一帧图像基于点特征shi-tomasi提取算法和线特征检测子(Line SegmentDetector，LSD)提取算法对于相机帧所得图像进行特征提取；
步骤S2、根据线特征追踪次数定义提取线特征的长度阈值，调整算法中的视觉金字塔以减少细碎线段与追踪次数较低的线段；
步骤S3、根据所提取的点特征，在归一化平面上进行给定距离的线特征端点搜索，若提取成功后将其耦合进行使用；
步骤S4、定义点特征、线特征、点线耦合特征残差；对所得特征进行追踪，从而达到初步位姿估计的效果；
步骤S5、通过滑动窗口法对于之前所获得的相机帧进行重投影，利用非线性优化方法得出最优位姿，构建地图。
所述步骤S1具体为：基于相机频率进行图像采集，每获得一张图像作为一帧图像帧，为防止图像中的物体出现形变，对每一帧图像进行图像去畸变以方便提取角点，基于去畸变图像进行图像灰度化处理，能够更好的处理光照变化等问题；将经过预处理的每张图像作为图像帧传给特征提取模块，基于点特征shi-tomasi提取算法和线特征检测子提取算法，对给定的帧图像进行shi-tomasi角点提取与LSD线特征提取，判断是否为离群特征；并在去除离群特征后，将其投影至归一化平面并对其在归一化平面上的坐标值进行记录；
本例中，实际位姿估计时点、线特征如图2所示。
点特征shi-tomasi提取算法包括在二维图像上检测角点的shi-tomasi角点检测算法，其工作时采用一个固定窗口在图像上进行任意的滑动，对于图像中像素块的灰度变化进行比较；具体分为三种情况；
情况1、在x或y方向上灰度变化不大；此时可视为窗口所含像素在平面位置，认为没有角点；
情况2、在x或y单一方向上变化较大；此时可认为窗口所含像素在边界位置；认为没有角点；
情况3、在x或y方向灰度都有较大的变化；此时可认为是检测到了角点；
LSD线段检测算法的具体方法为：计算图像上的每一个像素的梯度，将图像转为梯度表示，梯度在一定容忍度内的像素被认为划分至一个区域作为线段的备选；对这些备选区域做最小外接矩形，此时认为区域内所有像素组成为线特征。
所述步骤S2中的视觉金字塔为高斯金字塔，具体为：修改高斯金字塔的层数与采样次数，调整线段长度阈值与线段密度；使过细小线段不被检测，此细小线段在实际跟踪中质量较低；调整线段长度阈值与线段密度。
在步骤S2的图像处理中，将图像放入高斯金字塔时，将金字塔层数设为n层高斯金字塔，下采样p次，模糊j次；步骤S2对图像处理时在2层高斯金字塔下，下采样1次，模糊2次则达到最佳效果；将提取算法中封闭区域的对齐点的要求阈值设置为m；将最小线段长度约束设置为k个像素单位，进行长度筛除；将线特征内同性点低于70％的线段进行剔除；线特征内同性点为线特征区域内梯度相同的像素点；此步骤为剔除所得线特征的细碎线段，此类线段追踪质量较差，予以剔除。
所述步骤S3具体为：基于S1，S2所得的点、线特征，根据S1所得特征点的基础上搜索线特征的端点，并将其进行分组而后进行耦合使用；具体为：基于三维空间中的点、线特征的位置相似性；将点特征与线特征两两一组进行分组；首先在点特征中使用K维搜索树(K-Dimension Tree)搜索算法进行半径搜索从而搜索线特征的端点，并从搜索到的线特征中提取距离最近的线特征，如果搜索成功可以获得点特征编号和线特征编号，并将点线特征视作一组特征进行耦合使用；若搜索失败，则返回点特征与线特征编号；
本例中，如图3所示，其中以图3的(a)中所标红色特征点为原点，点特征中使用K维搜索树搜索算法进行半径搜索从而搜索线特征的端点，进行半径为y个像素单位的阈值搜索线特征端点；本实施例中y设置为5；如图3的(b)所示，在一定阈值范围内搜索得两个线特征端点，从搜索到的线特征中提取距离最近的线特征，进行点线特征耦合；如果成功可以获得点特征编号和线特征编号，并将点线特征视作一组特征进行耦合使用；若搜索失败，则返回点特征与线特征编号；当下一关键帧出现特征难以耦合使用时，即认定为跟踪失败。
以上为理想状态下，本例的实际运行过程中由于空间环境的复杂性，线特征在进行追踪时常常会出现前后两帧质量差距较大的情况，而此时采用修改后的LSD算法进行筛除恰好能够对于质量较低的线特征进行去除；而点特征与线特征的追踪时常因为光照或视角的变化而失败，因而在未跟踪足够多特征时采用点特征进行补足，同时进一步基于点特征形成点线耦合特征增加优化约束；达到提高精度的效果。
在运行过程中，若由于空间环境的复杂性，使线特征在进行追踪时出现前后两帧质量差距较大的情况，此时采用LSD算法进行筛除，以对于质量较低的线特征进行去除；若点特征与线特征的追踪因为光照或视角的变化而失败，则在未跟踪足够多特征时采用点特征进行补足，同时进一步基于点特征形成点线耦合特征增加优化约束；达到提高精度的效果。
所述步骤S4具体为：设置相应残差量，并根据对极几何约束与位姿恢复算法(Perspective-n-Points，PnP)恢复两帧之间对应特征点的位姿变化，从而对于两帧之间的位姿进行初步估计。
对于点特征残差，采用重投影方法将头帧特征点投影至下一关键帧，将投影与下一关键帧对应特征点的距离定义为点残差；对于线特征残差，将线段重投影至下一关键帧，该投影与下一关键帧对应线段的中点进行距离计算，定义为线残差；对于点线耦合特征残差，将第一关键帧中的耦合特征投影至第二帧关键帧中，耦合特征中投影点与第二帧对应特征中的线特征距离定义为残差；
对于追踪两帧间对应点的具体操作，首先对所得图像进行图像直方图均衡化，设置掩码操作，对图像判断是否为第一帧，提取两帧之间同个点特征与线特征并进行追踪，在归一化平面上剔除离群特征；将成功追踪特征并赋予编号；根据相同编号计算本质矩阵得到两帧间的初始位姿变化。
所述步骤S5具体为：分别在设置的滑动窗口中定义对应残差并进行最小化处理，其中，在追踪点线低于预定数量时采用耦合残差参与约束进行建图，采用BA(BundleAdjustment)方法进行最优位姿输出。
所述步骤S5具体为：机器人通过视觉里程计输出的位置姿态数据，为基于本地坐标系而得出，其根据上一帧得到的位姿转换矩阵转换到世界坐标系，然后与世界坐标系的已有地图进行匹配，得到最终的准确位姿，最后根据所得到的准确位姿将每一帧的图像数据进行拼接，完成机器人行驶过程对行驶路径的建图功能。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
Claims (10)
1.基于点、线特征约束的同时定位与建图方法，用于具备机器视觉功能的设备在移动时的位姿定位与建图作业，其特征在于：包括以下步骤；
首先、通过对设备移动过程拍摄图像内的点、线特征的提取和对于线特征的长度筛除来获得追踪质量较高的点、线特征；
其次，根据被检测的点特征在其固定半径范围内进行搜索，获取相似位置的线特征；根据点，线特征进行分组并且耦合使用；
最后，采用点线耦合特征进行联合建图，并定义点特征、线特征、线特征残差与点线耦合特征残差，而后进行后端的非线性优化，通过最小化残差达到位姿估计与地图构建的目的。
2.根据权利要求1所述的基于点、线特征约束的同时定位与建图方法，其特征在于：所述具备机器视觉功能的设备为机器人，方法包括以下步骤；
步骤S1、对于设备的相机所得图像数据，按其频率所得一张图像为一帧，经过预处理后，对于每一帧图像基于点特征shi-tomasi提取算法和线特征检测子LSD提取算法对于相机帧所得图像进行特征提取；
步骤S2、根据线特征追踪次数定义提取线特征的长度阈值，调整算法中的视觉金字塔以减少细碎线段与追踪次数较低的线段；
步骤S3、根据所提取的点特征，在归一化平面上进行给定距离的线特征端点搜索，若提取成功后将其耦合进行使用；
步骤S4、定义点特征、线特征、点线耦合特征残差；对所得特征进行追踪，从而达到初步位姿估计的效果；
步骤S5、通过滑动窗口法对于之前所获得的相机帧进行重投影，利用非线性优化方法得出最优位姿，构建地图。
3.根据权利要求2所述的基于点、线特征约束的同时定位与建图方法，其特征在于：所述步骤S1具体为：基于相机频率进行图像采集，每获得一张图像作为一帧图像帧，为防止图像中的物体出现形变，对每一帧图像进行图像去畸变以方便提取角点，基于去畸变图像进行图像灰度化处理，能够更好的处理光照变化等问题；将经过预处理的每张图像作为图像帧传给特征提取模块，基于点特征shi-tomasi提取算法和线特征检测子提取算法，对给定的帧图像进行shi-tomasi角点提取与LSD线特征提取，判断是否为离群特征；并在去除离群特征后，将其投影至归一化平面并对其在归一化平面上的坐标值进行记录；
点特征shi-tomasi提取算法包括在二维图像上检测角点的shi-tomasi角点检测算法，其工作时采用一个固定窗口在图像上进行任意的滑动，对于图像中像素块的灰度变化进行比较；具体分为三种情况；
情况1、在x或y方向上灰度变化不大；此时可视为窗口所含像素在平面位置，认为没有角点；
情况2、在x或y单一方向上变化较大；此时可认为窗口所含像素在边界位置；认为没有角点；
情况3、在x或y方向灰度都有较大的变化；此时可认为是检测到了角点；
LSD线段检测算法的具体方法为：计算图像上的每一个像素的梯度，将图像转为梯度表示，梯度在一定容忍度内的像素被认为划分至一个区域作为线段的备选；对这些备选区域做最小外接矩形，此时认为区域内所有像素组成为线特征。
4.根据权利要求2所述的基于点、线特征约束的同时定位与建图方法，其特征在于：所述步骤S2中的视觉金字塔为高斯金字塔，具体为：修改高斯金字塔的层数与采样次数，调整线段长度阈值与线段密度；使过细小线段不被检测，此细小线段在实际跟踪中质量较低；调整线段长度阈值与线段密度。
5.根据权利要求4所述的基于点、线特征约束的同时定位与建图方法，其特征在于：在步骤S2的图像处理中，将图像放入高斯金字塔时，将金字塔层数设为n层高斯金字塔，下采样p次，模糊j次；步骤S2对图像处理时在2层高斯金字塔下，下采样1次，模糊2次则达到最佳效果；将提取算法中封闭区域的对齐点的要求阈值设置为m；将最小线段长度约束设置为k个像素单位，进行长度筛除；将线特征内同性点低于70％的线段进行剔除；线特征内同性点为线特征区域内梯度相同的像素点；此步骤为剔除所得线特征的细碎线段，此类线段追踪质量较差，予以剔除。
6.根据权利要求2所述的基于点、线特征约束的同时定位与建图方法，其特征在于：所述步骤S3具体为：基于S1，S2所得的点、线特征，根据S1所得特征点的基础上搜索线特征的端点，并将其进行分组而后进行耦合使用；具体为：基于三维空间中的点、线特征的位置相似性；将点特征与线特征两两一组进行分组；首先在点特征中使用K维搜索树搜索算法进行半径搜索从而搜索线特征的端点，并从搜索到的线特征中提取距离最近的线特征，如果搜索成功可以获得点特征编号和线特征编号，并将点线特征视作一组特征进行耦合使用；若搜索失败，则返回点特征与线特征编号；
在运行过程中，若由于空间环境的复杂性，使线特征在进行追踪时出现前后两帧质量差距较大的情况，此时采用LSD算法进行筛除，以对于质量较低的线特征进行去除；若点特征与线特征的追踪因为光照或视角的变化而失败，则在未跟踪足够多特征时采用点特征进行补足，同时进一步基于点特征形成点线耦合特征增加优化约束；达到提高精度的效果。
7.根据权利要求2所述的基于点、线特征约束的同时定位与建图方法，其特征在于：所述步骤S4具体为：设置相应残差量，并根据对极几何约束与位姿恢复算法PnP恢复两帧之间对应特征点的位姿变化，从而对于两帧之间的位姿进行初步估计。
8.根据权利要求7所述的基于点、线特征约束的同时定位与建图方法，其特征在于：对于点特征残差，采用重投影方法将头帧特征点投影至下一关键帧，将投影与下一关键帧对应特征点的距离定义为点残差；对于线特征残差，将线段重投影至下一关键帧，该投影与下一关键帧对应线段的中点进行距离计算，定义为线残差；对于点线耦合特征残差，将第一关键帧中的耦合特征投影至第二帧关键帧中，耦合特征中投影点与第二帧对应特征中的线特征距离定义为残差；
对于追踪两帧间对应点的具体操作，首先对所得图像进行图像直方图均衡化，设置掩码操作，对图像判断是否为第一帧，提取两帧之间同个点特征与线特征并进行追踪，在归一化平面上剔除离群特征；将成功追踪特征并赋予编号；根据相同编号计算本质矩阵得到两帧间的初始位姿变化。
9.根据权利要求2所述的基于点、线特征约束的同时定位与建图方法，其特征在于：所述步骤S5具体为：分别在设置的滑动窗口中定义对应残差并进行最小化处理，其中，在追踪点线低于预定数量时采用耦合残差参与约束进行建图，采用BA方法进行最优位姿输出。
10.根据权利要求2所述的基于点、线特征约束的同时定位与建图方法，其特征在于：所述步骤S5具体为：机器人通过视觉里程计输出的位置姿态数据，为基于本地坐标系而得出，其根据上一帧得到的位姿转换矩阵转换到世界坐标系，然后与世界坐标系的已有地图进行匹配，得到最终的准确位姿，最后根据所得到的准确位姿将每一帧的图像数据进行拼接，完成机器人行驶过程对行驶路径的建图功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311161453.8A CN117218195A (zh) | 2023-09-11 | 2023-09-11 | 基于点、线特征约束的同时定位与建图方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311161453.8A CN117218195A (zh) | 2023-09-11 | 2023-09-11 | 基于点、线特征约束的同时定位与建图方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117218195A true CN117218195A (zh) | 2023-12-12 |
Family
ID=89041830
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311161453.8A Pending CN117218195A (zh) | 2023-09-11 | 2023-09-11 | 基于点、线特征约束的同时定位与建图方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117218195A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117649536A (zh) * | 2024-01-29 | 2024-03-05 | 华东交通大学 | 一种点线和线结构特征融合的视觉同步定位与建图方法 |
-
2023
- 2023-09-11 CN CN202311161453.8A patent/CN117218195A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117649536A (zh) * | 2024-01-29 | 2024-03-05 | 华东交通大学 | 一种点线和线结构特征融合的视觉同步定位与建图方法 |
| CN117649536B (zh) * | 2024-01-29 | 2024-04-16 | 华东交通大学 | 一种点线和线结构特征融合的视觉同步定位与建图方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111462135B (zh) | 基于视觉slam与二维语义分割的语义建图方法 | |
| CN109685066B (zh) | 一种基于深度卷积神经网络的矿井目标检测与识别方法 | |
| CN109166149B (zh) | 一种融合双目相机与imu的定位与三维线框结构重建方法与系统 | |
| Kang et al. | Detection and tracking of moving objects from a moving platform in presence of strong parallax | |
| CN110688905B (zh) | 一种基于关键帧的三维物体检测与跟踪方法 | |
| CN110009732B (zh) | 基于gms特征匹配的面向复杂大尺度场景三维重建方法 | |
| CN112418288B (zh) | 一种基于gms和运动检测的动态视觉slam方法 | |
| CN111882602B (zh) | 基于orb特征点和gms匹配过滤器的视觉里程计实现方法 | |
| CN112101160B (zh) | 一种面向自动驾驶场景的双目语义slam方法 | |
| CN112419497A (zh) | 基于单目视觉的特征法与直接法相融合的slam方法 | |
| CN117218195A (zh) | 基于点、线特征约束的同时定位与建图方法 | |
| CN113658337A (zh) | 一种基于车辙线的多模态里程计方法 | |
| Huang et al. | Event-based simultaneous localization and mapping: A comprehensive survey | |
| CN116619358A (zh) | 一种矿山自主探测机器人自适应定位优化与建图方法 | |
| CN115147344A (zh) | 一种增强现实辅助汽车维修中的零件三维检测与跟踪方法 | |
| CN114140527A (zh) | 一种基于语义分割的动态环境双目视觉slam方法 | |
| CN112432653B (zh) | 基于点线特征的单目视觉惯性里程计方法 | |
| CN116468786B (zh) | 一种面向动态环境的基于点线联合的语义slam方法 | |
| CN116879870A (zh) | 一种适用于低线束3d激光雷达的动态障碍物去除方法 | |
| CN114037759B (zh) | 一种室内环境下的动态特征点滤除与重定位方法 | |
| CN114581503A (zh) | 煤矿井下环境建模方法及系统 | |
| Gao et al. | Optimization of greenhouse tomato localization in overlapping areas | |
| CN113506346B (zh) | 一种应用于弱纹理大旋转场景下的相机的位姿求解方法 | |
| CN113808169B (zh) | 基于orb-slam的大型装备结构表面检测路径规划方法 | |
| CN103838795A (zh) | 一种模板相关匹配方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |