CN116399326B - 一种基于自适应关键帧选取的机器人地图构建方法、存储介质及设备 - Google Patents
一种基于自适应关键帧选取的机器人地图构建方法、存储介质及设备 Download PDFInfo
- Publication number
- CN116399326B CN116399326B CN202310383930.9A CN202310383930A CN116399326B CN 116399326 B CN116399326 B CN 116399326B CN 202310383930 A CN202310383930 A CN 202310383930A CN 116399326 B CN116399326 B CN 116399326B
- Authority
- CN
- China
- Prior art keywords
- key frame
- frame
- key
- points
- adaptive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims abstract description 29
- 230000033001 locomotion Effects 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 43
- 230000008569 process Effects 0.000 claims abstract description 19
- 238000013507 mapping Methods 0.000 claims abstract description 6
- 230000001502 supplementing effect Effects 0.000 claims abstract description 6
- 230000003044 adaptive effect Effects 0.000 claims description 50
- 230000008859 change Effects 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 8
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000001419 dependent effect Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于自适应关键帧选取的机器人地图构建方法，包括下列步骤：步骤S1、采集当前场景的图像信息，提取图像特征并计算相机位姿；步骤S2、机器人运动过程中提取图像关键帧信息，并在曲线运动的关键帧选取过程中创建局部逆向索引窗口；步骤S3、在局部逆向索引窗口内采用自适应阈值的关键帧选取策略补充曲线运动漏选的关键帧；步骤S4、依据关键帧携带的信息进行地图构建。本发明通过引入自适应阈值的关键帧选取策略，解决了机器人面对大曲率运动漏选关键帧的问题，提高了机器人的定位能力和建图能力。
Description
技术领域
本发明属于同步定位与地图创建(Simultaneous Location And Mapping，SLAM)技术领域，具体涉及一种基于自适应关键帧选取的机器人地图构建方法、存储介质及设备。
背景技术
同步定位与地图构建(Simultaneous Localization and Mapping，SLAM)是移动机器人在未知环境下，使用自身搭载的相机、激光雷达等传感器，建立局部环境地图，同时估计机器人自身所处位置。当前主流视觉SLAM算法为了减少数据冗余通常采用从输入图像序列提取关键帧而不是所有帧进行地图构建，从而在保证SLAM系统准确性和鲁棒性的前提下降低计算量。但是当前关键帧选取方法在大曲率弯道运动过程中易发生关键帧漏选，造成系统定位精度降低。大曲率弯道运动示意图如附图3所示。A1B1、A2B2分别为两段曲率半径为ρ1、ρ2(对应的曲率为K1、K2)的运动轨迹，且ρ1＞ρ2、K1＜K2。横向偏差dr为移动机器人前轴中心指向障碍物边界的恒定距离，其指向的点为跟踪点，v为车辆的纵向速度。从现阶段的研究成果来看，以v＝1m/s的纵向速度沿曲率为K1的A1B1轨迹运动且dr＜700mm时，现有方法易出现关键帧丢失的问题，导致移动机器人无法沿曲率为K2的A2B2轨迹运动。因此，专利《基于逆向索引关键帧选取策略得闭环检测方法、存储介质及设备》(专利号202110643771.2)提出了逆向索引关键帧策略，以当前关键帧为起点逆向索引，计算当前关键帧与上一关键帧之间的普通帧和当前关键帧之间的旋转变化量，以此判断是否将此普通帧补充为曲线运动时漏选的关键帧，提高了特殊场景下相机位姿跟踪的鲁棒性以及曲线运动下的定位精度。但该方法采用的固定阈值难以适应曲率变化情况，当前场景中存在曲率变化较大情况时，固定阈值难以准确选取关键帧，从而降低系统定位精度。
发明内容
本发明的目的是提供一种基于自适应关键帧选取的机器人地图构建方法，用于解决现有技术中大曲率弯道运动过程中易发生关键帧漏选，特别是场景中存在曲率变化较大情况时，即使以固定阈值进行逆向关键帧检索，也难以准确选取合适的关键帧，导致系统定位精度降低的问题。
所述的一种基于自适应关键帧选取的机器人地图构建方法，包括下列步骤：
步骤S1、采集当前场景的图像信息，提取图像特征并计算相机位姿；
步骤S2、机器人运动过程中提取图像关键帧信息，并在曲线运动的关键帧选取过程中创建局部逆向索引窗口；
步骤S3、在局部逆向索引窗口内采用自适应阈值的关键帧选取策略补充曲线运动漏选的关键帧；
步骤S4、依据关键帧携带的信息进行地图构建。
优选的，所述步骤S2中，局部逆向索引窗口创建过程为：机器人在大曲率弯道运动时计算当前帧与上一关键帧之间的旋转变化量，当旋转变化量大于顺向角度阈值时，则选取当前帧为新的关键帧，同时将新的关键帧与上一关键帧之间的普通帧定义为局部逆向索引窗口。
优选的，所述步骤S3中，自适应阈值的关键帧选取策略包括：在局部逆向索引窗口内，依据上一关键帧、局部逆向索引窗口内的当前帧和参考帧三者中的特征点数量、匹配点数量、区域变化空间点数量计算自适应阈值；设计随曲率变化的参数调节自适应阈值的动态系数，在机器人进行弯道运动时结合角度阈值与自适应阈值进行关键帧的选取，最终通过比较区域变化空间点数量是否大于自适应阈值来决定是否选取当前帧为关键帧。
优选的，区域变化空间点数量通过求取区域变化空间点确定，具体方法包括：根据上一关键帧KFi、局部逆向索引窗口内的当前帧Fc和参考帧Fr中匹配关系计算形成空间点P1、P2、…、Pn，以空间点Pi为顶点做出圆锥体，i＝1、2、…、n；其主轴所在向量n垂直于空间点Pi位置处的表面切线，方向指向相机方向，圆锥体底面由同心圆均匀划分为三个区域，每个区域与顶点Pi形成一个新的圆锥，将空间点Pi分别与KFi、Fc、Fr中各对应匹配点连接形成相应的空间点连接线，空间点连接线通过圆锥底面的不同区域则确定该空间点Pi为区域变化空间点。
优选的，所述圆锥体的锥角为9度，每个区域与顶点Pi形成的圆锥从最大圆锥到最小圆锥的锥角依次为9度、6度、3度，相邻区域之间角度为3度。
优选的，利用KFi、Fc、Fr中的特征点数量、匹配点数量、区域变化空间点数量计算自适应阈值A，其数学表达式为：
A＝Γ(RcQr/Rr+TcQr/Tr)
其中，Γ为自适应阈值的动态系数，Rc为当前帧Fc与上一关键帧KFi间的匹配点数量，Qr为上一关键帧KFi、参考帧Fr二者形成的区域变化空间点数量，Rr为参考帧Fr与关键帧KFi间的匹配点数量，Tc为当前帧Fc的特征点数量，Tr为参考帧Fr的特征点数量，c为当前帧的标记，r为参考帧的标记。
优选的，自适应阈值的动态系数Γ的数学表达式为：Γ＝1+γ-β-α；其中，γ、β与α为随曲率变化的参数；
随曲率变化的参数γ通过降低在关键帧KFi之后的前两个帧中选择关键帧的概率，并确保在从关键帧KFi经过4个帧之后插入新的关键帧的方式使自适应阈值A更具有适应性，同时通过减少从参考帧Fr到当前帧Fc的匹配点数量使自适应阈值A的初始参数更严格，γ数学表达式为：γ＝(2-N/2)(1-Rc/Rr)；其中，N为当前帧Fc与关键帧KFi间图像帧数量，Rc为当前帧Fc与关键帧KFi间的匹配点数量，Rr为参考帧Fr与关键帧KFi间的匹配点数量；
由于区域变化空间点数量从未超过自适应阈值从而导致未能选取关键帧，因此采用β用于简化自适应阈值A；而α用于通过增加区域变化空间点数量来调节动态系数Γ，β和α计算公式为：
其中，Qc为关键帧KFi、当前帧Fc二者形成的区域变化空间点数量，Rc为当前帧Fc与关键帧KFi匹配点数量，Rr为参考帧Fr与关键帧KFi匹配点数量。
优选的，自适应阈值的关键帧选取策略数学表达式为：
KFi＝{Fj|([Δpij＞τ]∪[Δθij＞θ]∪[Qc+Qr＞A])}；
其中，KFi为选取的关键帧，当满足关键帧选取策略时新插入一个关键帧KFi，i＝i+1，当新插入的关键帧KFi满足Δθij＞θ时，设定该关键帧KFi为局部逆向索引的起点即当前关键帧KFc，c为当前帧标记。顺向选取关键帧时，Δpij为第j个连续图像帧Fj到上一个关键帧KFi的位移变化量，Δθij为第j个连续图像帧Fj到上一个关键帧KFi的旋转变化量；在局部逆向索引时，计算上一个关键帧KFi、局部逆向索引窗口内的当前帧Fc二者形成的区域变化空间点数量Qc，并计算上一个关键帧KFi、局部逆向索引窗口内的参考帧Fr二者形成的区域变化空间点数量Qr，若Qc+Qr＞A，选取局部逆向索引窗口内的当前帧Fc为曲线运动漏选关键帧，将其加入关键帧库，τ为位移阈值，θ为旋转阈值，A为自适应阈值。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现如上所述的一种基于自适应关键帧选取的机器人地图构建方法的步骤。
本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并能在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的一种基于自适应关键帧选取的机器人地图构建方法的步骤。
本发明具有以下优点：
1、针对大曲率弯道运动拐点附件易发生关键帧漏选问题，提出了一种基于自适应阈值的关键帧选取策略，当第j个连续图像帧Fj和上一个关键帧之间的旋转变化量大于设定阈值时，创建局部关键帧逆向索引窗口，计算上一个关键帧KFi(即第i个关键帧)、局部逆向索引窗口内的当前帧Fc二者形成的区域变化空间点数量Qc和上一个关键帧KFi(即第i个关键帧)、局部逆向索引窗口内的参考帧Fr二者形成的区域变化空间点数量Qr，若Qc+Qr＞A，选取当前帧Fc为曲线运动漏选关键帧，将其加入关键帧库，A为自适应阈值。本方案通过引入自适应阈值的关键帧选取策略，解决了机器人面对大曲率运动漏选关键帧的问题，提高了机器人的定位能力和建图能力。
2、本方案采用的自适应阈值更能适应大曲率弯道运动，阈值能随大曲率弯道运动中的曲率变化进行自适应调整，从而让逆向选取关键帧时选取的关键帧更符合定位需要，从而让系统定位精度相比固定阈值的逆向选取关键帧的地图构建方法更高。
附图说明
图1为本发明一种基于自适应关键帧选取的机器人地图构建方法的流程示意图。
图2为本发明一种基于自适应关键帧选取的机器人地图构建方法的流程图。
图3为本发明所解决的技术问题中大曲率运动示意图。
图4为本发明所设计的区域圆锥体示意图。
图5为本发明所设计自适应阈值的关键帧选取策略示意图。
图6为本发明在KITTI数据集下运行得到的轨迹图。
图7为本发明在EuRoC数据集运行得到的轨迹图，包括图6(a)、图6(b)、图6(c)和图6(d)，图6(a)、图6(b)、图6(c)和图6(d)为本发明方法(AL-SLAM)和对照算法逆向索引关键帧策略(NAL-SLAM)依次在MH01、MH03、MH05和V203序列的轨迹对比图。
图8为本发明在真实场景测试的布局图。
图9为应用本发明的移动机器人的真实场景运动轨迹对比图。
具体实施方式
下面对照附图，通过对实施例的描述，对本发明具体实施方式作进一步详细的说明，以帮助本领域的技术人员对本发明的发明构思、技术方案有更完整、准确和深入的理解。
现有的SLAM算法在弯道运动下易发生漏选关键帧的问题，最终导致SLAM系统在曲线运动中定位与地图构建效果较差，为解决这一问题专利《基于逆向索引关键帧选取策略得闭环检测方法、存储介质及设备》(专利号202110643771.2)提出了逆向索引关键帧策略，但其采用的固定阈值难以适应曲率变化较大的大曲率运动。本方案基于此提出一种AL-SLAM算法(大曲率运动下采用自适应阈值关键帧选取策略的SLAM算法)，该算法为避免弯道运动漏选关键帧，采用基于自适应阈值的关键帧选取策略补充在大曲率弯道运动中漏选的关键帧，与采用固定阈值的逆向索引关键帧策略相比定位精度更高。
实施例一：
如图1-9所示，本发明提供了一种基于自适应关键帧选取的机器人地图构建方法，包括下列步骤。
步骤S1、采集当前场景的图像信息，提取图像特征并计算相机位姿。
步骤S2、机器人运动过程中提取图像关键帧信息，并在曲线运动的关键帧选取过程中创建局部逆向索引窗口。
局部逆向索引窗口创建过程为：机器人在大曲率弯道运动时计算当前帧与上一关键帧之间的旋转变化量，当旋转变化量大于顺向角度阈值时，则选取当前帧为新的关键帧，同时将新的关键帧与上一关键帧之间的普通帧定义为局部逆向索引窗口。
步骤S3、在局部逆向索引窗口内采用自适应阈值的关键帧选取策略补充曲线运动漏选的关键帧。
自适应阈值的关键帧选取策略包括：在局部逆向索引窗口内，依据上一关键帧、局部逆向索引窗口内的当前帧和参考帧三者中的特征点数量、匹配点数量、区域变化空间点数量计算自适应阈值。为了增强自适应阈值对大曲率弯道运动场景的适应能力，设计随曲率变化的参数调节自适应阈值的动态系数。在机器人进行弯道运动时结合角度阈值与自适应阈值进行关键帧的选取。最终通过比较区域变化空间点数量是否大于自适应阈值来决定是否选取当前帧为关键帧。
其中，将局部逆向索引窗口内与关键帧相似度最高且距离最近的帧定义为参考帧Fr，将当前帧Fc中特征点与参考帧Fr中特征点进行匹配。如图4所示，根据上一关键帧KFi、局部逆向索引窗口内的当前帧Fc和参考帧Fr中匹配关系计算形成空间点P1、P2、…、Pn，以空间点Pi为顶点做出圆锥体，i＝1、2、…、n。圆锥体的锥角为9度，其主轴所在向量n垂直于空间点Pi位置处的表面切线，方向指向相机方向，圆锥体底面由同心圆均匀划分为三个区域，每个区域与顶点Pi形成一个新的圆锥，从最大圆锥到最小圆锥的锥角依次为9度、6度、3度，相邻区域之间角度为3度。锥角选取为9度是因为锥角为9度时特征点匹配效果较好，顶角大于或小于9度时特征点匹配效果较差。将空间点Pi分别与KFi、Fc、Fr中各对应匹配点连接形成相应的空间点连接线，空间点连接线通过圆锥底面的不同区域则确定该空间点Pi为区域变化空间点。利用KFi、Fc、Fr中的特征点数量、匹配点数量、区域变化空间点数量计算自适应阈值A，其数学表达式为：
A＝Γ(RcQr/Rr+TcQr/Tr)
其中，Γ为自适应阈值的动态系数，Rc为当前帧Fc与上一关键帧KFi(即第i个关键帧)间的匹配点数量，Qr为上一关键帧KFi、参考帧Fr二者形成的区域变化空间点数量，Rr为参考帧Fr与关键帧KFi间的匹配点数量，Tc为当前帧Fc的特征点数量，Tr为参考帧Fr的特征点数量，c为当前帧的标记，r为参考帧的标记。
自适应阈值的动态系数r的数学表达式为：Γ＝1+γ-β-α；其中，γ、β与α为随曲率变化的参数。
随曲率变化的参数γ通过降低在关键帧KFi之后的前两个帧中选择关键帧的概率，并确保在从关键帧KFi经过4个帧之后插入新的关键帧的方式使自适应阈值A更具有适应性，同时通过减少从参考帧Fr到当前帧Fc的匹配点数量使自适应阈值A的初始参数更严格，γ数学表达式为：γ＝(2-N/2)(1-Rc/Rr)；其中，N为当前帧Fc与关键帧KFi间图像帧数量，Rc为当前帧Fc与关键帧KFi间的匹配点数量，Rr为参考帧Fr与关键帧KFi间的匹配点数量。
虽然采用γ理论上可保证关键帧的均匀分布，但是在实际应用过程中，由于区域变化空间点数量从未超过自适应阈值从而导致未能选取关键帧，因此采用β用于简化自适应阈值A。而α用于通过增加区域变化空间点数量(大于匹配点数量的半数)来调节动态系数Γ，β和α计算公式为：
其中，Qc为关键帧KFi、当前帧Fc二者形成的区域变化空间点数量，Rc为当前帧Fc与关键帧KFi匹配点数量，Rr为参考帧Fr与关键帧KFi匹配点数量。
自适应阈值的关键帧选取策略数学表达式为：
KFi＝{Fj|([Δpij＞τ]∪[Δθij＞α]∪[Qc+Qr＞A])}；
其中，KFi为选取的关键帧，当满足关键帧选取策略时新插入一个关键帧KFi，i＝i+1，当新插入的关键帧KFi满足Δθij＞θ时，设定该关键帧KFi为局部逆向索引的起点即当前关键帧KFc，c为当前帧标记。顺向选取关键帧时，Δpij为第j个连续图像帧Fj到上一个关键帧KFi的位移变化量，Δθij为第j个连续图像帧Fj到上一个关键帧KFi的旋转变化量；在局部逆向索引时，计算上一个关键帧KFi、局部逆向索引窗口内的当前帧Fc二者形成的区域变化空间点数量Qc，并计算上一个关键帧KFi、局部逆向索引窗口内的参考帧Fr二者形成的区域变化空间点数量Qr，若Qc+Qr＞A，选取局部逆向索引窗口内的当前帧Fc为曲线运动漏选关键帧，将其加入关键帧库，τ为位移阈值，θ为旋转阈值，A为自适应阈值。
步骤S4、依据关键帧携带的信息进行地图构建。
下面以结合具体实验对上述基于自适应关键帧选取的机器人地图构建方法的过程进行说明。实验为了验证本发明的有效性，分别使用KITTI公开数据集和EuRoC公开数据集对本发明所提策略进行验证，与本发明相对照的算法为专利《基于逆向索引关键帧选取策略得闭环检测方法、存储介质及设备》(专利号202110643771.2)提出的逆向索引关键帧策略(NAL-SLAM)。
表1为本发明方法(AL-SLAM)和对照算法逆向索引关键帧策略(NAL-SLAM)在KITTI数据集下运行时得到的评估数据。由表可知，由于AL-SLAM算法采用的自适应阈值的关键帧选取策略补充了在大曲率弯道运动中丢失的关键帧，提高了算法的定位精度，使得AL-SLAM的绝对轨迹误差相比于NAL-SLAM算法减小了26％。
表1：本发明在KITTI数据集下运行时得到的评估数据
表2为本发明方法(AL-SLAM)和对照算法逆向索引关键帧策略(NAL-SLAM)在EuRoC数据集下运行时得到的评估数据。由表可知，由于AL-SLAM算法采用的自适应阈值的关键帧选取策略补充了在大曲率弯道运动中丢失的关键帧，提高了算法的定位精度，使得AL-SLAM的绝对轨迹误差相比于NAL-SLAM算法减小了28％。可见本文自适应阈值关键帧选取策略在定位精度方面与固定阈值关键帧选取策略相比有较大优势。
表2：本发明在EuRoC数据集下运行时得到的评估数据
图6为本发明的方法(AL-SLAM)和对照算法逆向索引关键帧策略(NAL-SLAM)在公开数据集KITTI中00、02、05和07序列中运行轨迹图。图中线条分别表示相机运动真实轨迹、SLAM方法估计的相机运动轨迹和轨迹误差。在结合SLAM方法后，从曲率变化明显的位置1和位置2局部放大图可以看出，NAL-SLAM算法采用的固定阈值的关键帧选取策略难以适应曲率变化，而AL-SLAM算法充分考虑了帧间特征点的关系，依据区域变化空间点数量设定的自适应阈值相比于固定阈值更能适应曲率变化，从而更好的补充了曲率变化较大时漏选的关键帧，因此能够较好地完成曲线轨迹的跟踪并提升整个环境的建图效果。
图7为本发明方法(AL-SLAM)和对照算法逆向索引关键帧策略(NAL-SLAM)在公开数据集EuRoC中MH01、MH03、MH05和V203序列中运行轨迹图。图中线条分别表示相机运动真实轨迹、SLAM方法估计的相机运动轨迹和轨迹误差。在结合SLAM方法后，从图7(a)局部放大图可以看出，AL-SLAM算法和NAL-SLAM算法均能较好的完成弯道处的跟踪与地图构建，但AL-SLAM算法由于采用自适应阈值关键帧选取策略所构建地图的轨迹误差相比于NAL-SLAM算法更小。从图7(b)、图7(c)和图7(d)中可以看出，在曲率变化复杂的MH03、MH05和V203序列，机器人在局部放大区域和红色矩形区域内出现了多次剧烈的拐弯导致NAL-SLAM算法最终分别在(4.2，-0.9)、(-2.3，8.3)和(-2，0)附近发生跟踪丢失，而AL-SLAM算法采用自适应阈值的关键帧选取策略对曲率变化具有更好的适应能力。
图9所示为本发明方法(AL-SLAM)和对照算法逆向索引关键帧策略(NAL-SLAM)运行轨迹对比图。由图9可以看出，在曲线运动下本方法由于引入了基于自适应阈值的关键帧选取策略，构建的轨迹图跟接近真实轨迹，面对曲线运动具有较高鲁棒性。
实施例二：
与本发明实施例一对应，本发明实施例二提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时依照实施例一的方法实现以下步骤：
步骤S1、采集当前场景的图像信息，提取图像特征并计算相机位姿。
步骤S2、机器人运动过程中提取图像关键帧信息，并在曲线运动的关键帧选取过程中创建局部逆向索引窗口。
步骤S3、在局部逆向索引窗口内采用自适应阈值的关键帧选取策略补充曲线运动漏选的关键帧。
步骤S4、依据关键帧携带的信息进行地图构建。
上述存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、光盘等各种可以存储程序代码的介质。
上述关于计算机可读存储介质中程序执行后实现步骤的具体限定可以参见实施例一，在此不再做详细说明。
实施例三：
与本发明实施例一对应，本发明实施例三提供一种计算机设备，包括存储器、处理器及存储在存储器上并能在处理器上运行的计算机程序，所述处理器执行所述程序时依照实施例一的方法实现以下步骤：
步骤S1、采集当前场景的图像信息，提取图像特征并计算相机位姿。
步骤S2、机器人运动过程中提取图像关键帧信息，并在曲线运动的关键帧选取过程中创建局部逆向索引窗口。
步骤S3、在局部逆向索引窗口内采用自适应阈值的关键帧选取策略补充曲线运动漏选的关键帧。
步骤S4、依据关键帧携带的信息进行地图构建。
上述关于计算机设备实现步骤的具体限定可以参见实施例一，在此不再做详细说明。
需要说明的是，本发明的说明书附图中的框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与获得机指令的组合来实现。
上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的发明构思和技术方案进行的各种非实质性的改进，或未经改进将本发明构思和技术方案直接应用于其它场合的，均在本发明保护范围之内。
Claims (7)
1.一种基于自适应关键帧选取的机器人地图构建方法，其特征在于：包括下列步骤：
步骤S1、采集当前场景的图像信息，提取图像特征并计算相机位姿；
步骤S2、机器人运动过程中提取图像关键帧信息，并在曲线运动的关键帧选取过程中创建局部逆向索引窗口；
步骤S3、在局部逆向索引窗口内采用自适应阈值的关键帧选取策略补充曲线运动漏选的关键帧；
步骤S4、依据关键帧携带的信息进行地图构建；
所述步骤S2中，局部逆向索引窗口创建过程为：机器人在大曲率弯道运动时计算当前帧与上一关键帧之间的旋转变化量，当旋转变化量大于顺向角度阈值时，则选取当前帧为新的关键帧，同时将新的关键帧与上一关键帧之间的普通帧定义为局部逆向索引窗口；
所述步骤S3中，自适应阈值的关键帧选取策略包括：在局部逆向索引窗口内，依据上一关键帧、局部逆向索引窗口内的当前帧和参考帧三者中的特征点数量、匹配点数量、区域变化空间点数量计算自适应阈值；设计随曲率变化的参数调节自适应阈值的动态系数，在机器人进行弯道运动时结合角度阈值与自适应阈值进行关键帧的选取，最终通过比较区域变化空间点数量是否大于自适应阈值来决定是否选取当前帧为关键帧；
自适应阈值的关键帧选取策略数学表达式为：
KFi＝{Fj|([Δpij＞τ]∪[Δθij＞θ]∪[Qc+Qr＞A])}；
其中，KFi为选取的关键帧，当满足关键帧选取策略时新插入一个关键帧KFi，i＝i+1，当新插入的关键帧KFi满足Δθij＞θ时，设定该关键帧KFi为局部逆向索引的起点即当前关键帧KFc，c为当前帧标记；顺向选取关键帧时，Δpij为第j个连续图像帧Fj到上一个关键帧KFi的位移变化量，Δθij为第j个连续图像帧Fj到上一个关键帧KFi的旋转变化量；在局部逆向索引时，计算上一个关键帧KFi、局部逆向索引窗口内的当前帧Fc二者形成的区域变化空间点数量Qc，并计算上一个关键帧KFi、局部逆向索引窗口内的参考帧Fr二者形成的区域变化空间点数量Qr，若Qc+Qr＞A，选取局部逆向索引窗口内的当前帧Fc为曲线运动漏选关键帧，将其加入关键帧库，τ为位移阈值，θ为旋转阈值，A为自适应阈值。
2.根据权利要求1所述的一种基于自适应关键帧选取的机器人地图构建方法，其特征在于：区域变化空间点数量通过求取区域变化空间点确定，具体方法包括：根据上一关键帧KFi、局部逆向索引窗口内的当前帧Fc和参考帧Fr中匹配关系计算形成空间点P1、P2、...、Pn，以空间点Pi为顶点做出圆锥体，i＝1、2、...、n；其主轴所在向量n垂直于空间点Pi位置处的表面切线，方向指向相机方向，圆锥体底面由同心圆均匀划分为三个区域，每个区域与顶点Pi形成一个新的圆锥，将空间点Pi分别与KFi、Fc、Fr中各对应匹配点连接形成相应的空间点连接线，空间点连接线通过圆锥底面的不同区域则确定该空间点Pi为区域变化空间点。
3.根据权利要求2所述的一种基于自适应关键帧选取的机器人地图构建方法，其特征在于：所述圆锥体的锥角为9度，每个区域与顶点Pi形成的圆锥从最大圆锥到最小圆锥的锥角依次为9度、6度、3度，相邻区域之间角度为3度。
4.根据权利要求1所述的一种基于自适应关键帧选取的机器人地图构建方法，其特征在于：利用KFi、Fc、Fr中的特征点数量、匹配点数量、区域变化空间点数量计算自适应阈值A，其数学表达式为：
A＝Γ(RcQr/Rr+TcQr/Tr)
其中，Γ为自适应阈值的动态系数，Rc为当前帧Fc与上一关键帧KFi间的匹配点数量，Qr为上一个关键帧KFi、局部逆向索引窗口内的参考帧Fr二者形成的区域变化空间点数量，Rr为参考帧Fr与关键帧KFi间的匹配点数量，Tc为当前帧Fc的特征点数量，Tr为参考帧Fr的特征点数量，c为当前帧的标记，r为参考帧的标记。
5.根据权利要求4所述的一种基于自适应关键帧选取的机器人地图构建方法，其特征在于：自适应阈值的动态系数Γ的数学表达式为：Γ＝1+γ-β-α；其中，γ、β与α为随曲率变化的参数；
随曲率变化的参数γ通过降低在关键帧KFi之后的前两个帧中选择关键帧的概率，并确保在从关键帧KFi经过4个帧之后插入新的关键帧的方式使自适应阈值A更具有适应性，同时通过减少从参考帧Fr到当前帧Fc的匹配点数量使自适应阈值A的初始参数更严格，γ数学表达式为：γ＝(2-N/2)(1-Rc/Rr)；其中，N为当前帧Fc与关键帧KFi间图像帧数量，Rc为当前帧Fc与关键帧KFi间的匹配点数量，Rr为参考帧Fr与关键帧KFi间的匹配点数量；
由于区域变化空间点数量从未超过自适应阈值从而导致未能选取关键帧，因此采用β用于简化自适应阈值A；而α用于通过增加区域变化空间点数量来调节动态系数Γ，β和α计算公式为：
其中，Qc为上一个关键帧KFi、局部逆向索引窗口内的当前帧Fc二者形成的区域变化空间点数量，Rc为当前帧Fc与关键帧KFi匹配点数量，Rr为参考帧Fr与关键帧KFi匹配点数量。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现如权利要求1-5中任一所述的一种基于自适应关键帧选取的机器人地图构建方法的步骤。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并能在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如权利要求1-5中任一所述的一种基于自适应关键帧选取的机器人地图构建方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310383930.9A CN116399326B (zh) | 2023-04-06 | 2023-04-06 | 一种基于自适应关键帧选取的机器人地图构建方法、存储介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310383930.9A CN116399326B (zh) | 2023-04-06 | 2023-04-06 | 一种基于自适应关键帧选取的机器人地图构建方法、存储介质及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116399326A CN116399326A (zh) | 2023-07-07 |
| CN116399326B true CN116399326B (zh) | 2023-10-13 |
Family
ID=87019595
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310383930.9A Active CN116399326B (zh) | 2023-04-06 | 2023-04-06 | 一种基于自适应关键帧选取的机器人地图构建方法、存储介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116399326B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9934127B1 (en) * | 2017-03-08 | 2018-04-03 | Microsoft Technology Licensing, Llc | Indexing a trace by insertion of key frames for replay responsiveness |
| CN107886129A (zh) * | 2017-11-13 | 2018-04-06 | 湖南大学 | 一种基于视觉词袋的移动机器人地图闭环检测方法 |
| CN108287550A (zh) * | 2018-02-01 | 2018-07-17 | 速感科技（北京）有限公司 | 基于数据关联及错误检测的slam系统和构造数据关联的方法 |
| CN112423140A (zh) * | 2020-12-16 | 2021-02-26 | 富盛科技股份有限公司 | 视频播放方法、装置、电子设备和存储介质 |
| KR20210075619A (ko) * | 2019-12-13 | 2021-06-23 | 주식회사 케이티 | 자율주행 로봇, 자율주행 로봇의 위치 추정 서버 및 이를 이용한 자율주행 로봇의 위치 추정 방법 |
| CN113091738A (zh) * | 2021-04-09 | 2021-07-09 | 安徽工程大学 | 基于视觉惯导融合的移动机器人地图构建方法及相关设备 |
| CN113192133A (zh) * | 2021-04-13 | 2021-07-30 | 浙江大学 | 基于语义平面的单目即时定位与致密语义地图构建方法 |
| CN113298014A (zh) * | 2021-06-09 | 2021-08-24 | 安徽工程大学 | 基于逆向索引关键帧选取策略的闭环检测方法、存储介质及设备 |
| CN115135963A (zh) * | 2019-11-27 | 2022-09-30 | 大陆汽车有限责任公司 | 用于在场景地图中生成3d参考点的方法 |
| CN115588045A (zh) * | 2022-10-10 | 2023-01-10 | 重庆中科汽车软件创新中心 | 移动设备的定位方法、装置、电子设备及存储介质 |
-
2023
- 2023-04-06 CN CN202310383930.9A patent/CN116399326B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9934127B1 (en) * | 2017-03-08 | 2018-04-03 | Microsoft Technology Licensing, Llc | Indexing a trace by insertion of key frames for replay responsiveness |
| CN107886129A (zh) * | 2017-11-13 | 2018-04-06 | 湖南大学 | 一种基于视觉词袋的移动机器人地图闭环检测方法 |
| CN108287550A (zh) * | 2018-02-01 | 2018-07-17 | 速感科技（北京）有限公司 | 基于数据关联及错误检测的slam系统和构造数据关联的方法 |
| CN115135963A (zh) * | 2019-11-27 | 2022-09-30 | 大陆汽车有限责任公司 | 用于在场景地图中生成3d参考点的方法 |
| KR20210075619A (ko) * | 2019-12-13 | 2021-06-23 | 주식회사 케이티 | 자율주행 로봇, 자율주행 로봇의 위치 추정 서버 및 이를 이용한 자율주행 로봇의 위치 추정 방법 |
| CN112423140A (zh) * | 2020-12-16 | 2021-02-26 | 富盛科技股份有限公司 | 视频播放方法、装置、电子设备和存储介质 |
| CN113091738A (zh) * | 2021-04-09 | 2021-07-09 | 安徽工程大学 | 基于视觉惯导融合的移动机器人地图构建方法及相关设备 |
| CN113192133A (zh) * | 2021-04-13 | 2021-07-30 | 浙江大学 | 基于语义平面的单目即时定位与致密语义地图构建方法 |
| CN113298014A (zh) * | 2021-06-09 | 2021-08-24 | 安徽工程大学 | 基于逆向索引关键帧选取策略的闭环检测方法、存储介质及设备 |
| CN115588045A (zh) * | 2022-10-10 | 2023-01-10 | 重庆中科汽车软件创新中心 | 移动设备的定位方法、装置、电子设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 基于改进关键帧选取策略的快速PL-SLAM算法;陈孟元;电子学报;第50卷(第3期);608-618 * |
| 移动机器人闭环检测的视觉字典树金字塔TF-IDF得分匹配方法;李博;杨丹;邓林;;自动化学报(06);全文 * |
| 融合显著特征和互信息熵的SLAM闭环检测算法;石祥滨;耿凯;刘翠微;;小型微型计算机系统(01);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116399326A (zh) | 2023-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110853078B (zh) | 一种基于遮挡对的在线多目标跟踪方法 | |
| CN105335986A (zh) | 基于特征匹配和MeanShift算法的目标跟踪方法 | |
| CN110473231B (zh) | 一种具有预判式学习更新策略的孪生全卷积网络的目标跟踪方法 | |
| CN111667506B (zh) | 一种基于orb特征点的运动估计方法 | |
| CN103955688B (zh) | 一种基于计算机视觉的斑马鱼群检测与跟踪方法 | |
| US20220398845A1 (en) | Method and device for selecting keyframe based on motion state | |
| CN110766723B (zh) | 一种基于颜色直方图相似性的无人机目标跟踪方法及系统 | |
| CN104036523A (zh) | 一种基于SURF特征的改进Mean Shift的目标跟踪方法 | |
| CN106022263A (zh) | 一种融合特征匹配和光流法的车辆跟踪方法 | |
| CN109087337B (zh) | 基于分层卷积特征的长时间目标跟踪方法及系统 | |
| Zhang et al. | A background-aware correlation filter with adaptive saliency-aware regularization for visual tracking | |
| Ruan et al. | Deep siamese network with motion fitting for object tracking in satellite videos | |
| Fu et al. | Spatial reliability enhanced correlation filter: An efficient approach for real-time UAV tracking | |
| CN111242985A (zh) | 基于马尔科夫模型的视频多行人追踪方法 | |
| CN114708300A (zh) | 一种可抗遮挡的自适应目标跟踪方法及系统 | |
| Ci et al. | Stereo visual odometry based on motion decoupling and special feature screening for navigation of autonomous vehicles | |
| CN109949344B (zh) | 一种基于颜色概率目标建议窗口的核相关滤波跟踪方法 | |
| Song et al. | Cross-view contextual relation transferred network for unsupervised vehicle tracking in drone videos | |
| CN116399326B (zh) | 一种基于自适应关键帧选取的机器人地图构建方法、存储介质及设备 | |
| Long et al. | Vehicle tracking method using background subtraction and meanshift algorithm | |
| CN115100565B (zh) | 一种基于空间相关性与光流配准的多目标跟踪方法 | |
| CN115731287B (zh) | 基于集合与拓扑空间的运动目标检索方法 | |
| CN116563341A (zh) | 一种处理复杂环境下动态物体的视觉定位与建图方法 | |
| Naseer et al. | Vision-based Markov localization across large perceptual changes | |
| CN115908485A (zh) | 一种面向太空中非合作目标的实时位姿跟踪方法及其系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |