CN113076988B - 基于神经网络的移动机器人视觉slam关键帧自适应筛选方法 - Google Patents

Abstract

本发明涉及一种基于神经网络的移动机器人视觉SLAM关键帧自适应筛选方法，属于移动机器人领域，包括以下步骤：利用IMU信息计算出的移动机器人的相对位移和角度变化量筛选出候选关键帧；利用视觉传感器获得的图像信息对候选关键帧进行筛选，从候选关键帧中筛选出最终的关键帧；其中两次筛选关键帧的相关阈值和权重由神经网络自适应生成。本发明在保证了系统的定位精度和鲁棒性的前提下，减少了视觉信息处理数量，提高了系统实时性。

Description

基于神经网络的移动机器人视觉SLAM关键帧自适应筛选方法

技术领域

本发明属于移动机器人领域，涉及一种基于神经网络的移动机器人视觉SLAM关键帧自适应筛选方法。

背景技术

在移动机器人领域，SLAM是指同时定位与地图构建，是导航定位的关键技术，视觉传感器由于结构简单、成本低且能获取丰富的视觉信息，被广泛应用于SLAM，这类SLAM被称为是视觉SLAM。特征提取是视觉SLAM的第一步，中国专利CN109766758A公开了一种基于ORB特征的视觉SLAM方法，其前端部分采用ORB特性提取算法，包括特征点检测和描述子生成，特征点检测是通过判断某一像素点P与周围半径为r的圆上的其他像素点灰度值之差是否大于给定阈值，若满足，则认定该点P是特征点。描述子的生成是在特征点P的周围以一定模式选取n个点对，把这n个点对的比较结果以二进制01组合起来。设第n个点对为P_n(A,B)，定义操作T，当A点的灰度值大于B点的灰度值，则T{P(A,B)}为1，反之为0，这样对被选取的特征点对进行T操作，将得到的结果进行组合，这样就得到了由01组合成的描述子。通过提取的特征点进行关键帧的确定以及跟踪，但仅使用视觉传感器的SLAM系统渐渐无法满足无人机、自动驾驶等应用中的精度要求，于是结合视觉传感器和惯性测量单元的SLAM应运而生。惯性测量单元简称IMU，包括加速度计和陀螺仪，可完成对移动平台的加速度和角速度的测量。中国专利CN107193279A公开了一种基于单目视觉和IMU信息的移动机器人定位与地图构建系统。在视觉导航中，使用ORB特征提取算法，对图像帧提取丰富的ORB特征；利用基于预积分的IMU动力学模型建立相机的运动模型，对相机位置进行实时初步估计；在初步估计的基础上对两个图像帧之间的ORB特征进行更为精确的估计，再利用多目几何知识，实现对空间地图点三维重构；在融合IMU信息的视觉信息匹配的基础之上，采用基于因子图的后端优化算法，实时对地图位置进行精确和实时的估计。但该方法仍是先要对视觉信息进行ORB特征提取处理，之后才能进行关键帧确定，可实际应用中ORB特征提取处理对计算资源有很大的依赖性，且会浪费大量时间，严重影响了SLAM系统的运行速度，不能满足移动机器人SLAM系统的实时性要求。

发明内容

鉴于现有技术中存在关键帧的确定对计算资源和时间的依赖造成系统实时性差的问题，本发明基于神经网络，构建了IMU和视觉传感器相结合的关键帧自适应选取方法。

为达到上述目的，本发明提供如下技术方案：

一种基于神经网络的移动机器人视觉SLAM关键帧自适应筛选方法，包括以下步骤：

利用IMU信息计算出的移动机器人的相对位移和角度变化量筛选出候选关键帧；

利用视觉传感器获得的图像信息对候选关键帧进行筛选，从候选关键帧中筛选出最终的关键帧；

其中两次筛选关键帧的相关阈值和权重由神经网络自适应生成。

进一步，IMU包括加速度计和陀螺仪，所述IMU信息包括当前时刻角速度和加速度。

进一步，对IMU信息进行预积分处理，具体包括：

对加速度计测得的加速度值去除噪声后进行一次积分得到速度，二次积分得到相对位移；

对陀螺仪测得的角速度值去除噪声后进行一次积分得到移动机器人运动过程中的角度变化量。

进一步，IMU数据预积分时间间隔为Δt_ij，在k时刻测得的角速度为w_k，陀螺仪的零偏和高斯白噪声分别为b_g和η_g；测得的加速度为a_k，加速度计的零偏和高斯白噪声分别为b_a和η_a，位姿信息包括旋转矩阵R_i和位置信息P_i，通过积分k＝i时刻到k＝j-1时刻的所有IMU测量值，来将k＝i时刻的旋转矩阵R_i、位置信息P_i、速度信息v_i和角度信息θ_i更新到k＝j时刻的R_j、P_j、v_j和θ_j。相关公式如下：

其中

ΔR_ik＝R_k-R_i；g为重力加速度；Δt为IMU传感器的采样周期。

进一步，所述候选关键帧的筛选通过下式来判断：

α(P_n-P_n-1)+(1-α)(θ_n-θ_n-1)≥δ (5)

其中α、(1-α)分别为相对位移和角度变化的权重，δ为筛选阈值，均通过神经网络自适应生成；

筛选过程具体包括以下步骤：

(1)令IMU数据与图像数据对齐后的第一帧为关键帧，且给定阈值δ₁，在一定时间间隔Δt_ij对IMU数据进行预积分，得到第一时刻位置信息P₁，当前第一角度θ₁；若0.5P₁+0.5θ₁≥δ₁，则将其作为第二关键帧；否则，再加入一个时间间隔Δt_ij对IMU数据进行预积分，直到满足0.5P₁+0.5θ₁≥δ₁；

(2)从筛选第三候选关键帧开始，对与上一关键帧间隔时间Δt_ij的IMU数据进行预积分，得到第n时刻位置信息P_n，第n时刻角度θ_n；若α(P_n-P_n-1)+(1-α)(θ_n-θ_n-1)≥δ，则将该帧加入候选关键帧，否则将该帧丢弃并再引入一个Δt_ij对IMU信息进行预积分。

进一步，所述利用视觉传感器获得的图像信息对候选关键帧进行筛选，从候选关键帧中筛选出最终的关键帧，具体包括：

对已经筛选出的候选关键帧进行特征提取并进行匹配，计算这一候选关键帧与上一关键帧的内容相似度S，并将其与内容相似度ε比较，若S≥ε，则该候选关键帧不是关键帧；若S<ε，则该候选关键帧是关键帧，针对该帧进行位姿优化求解；所述关键帧的筛选阈值ε通过神经网络自适应生成。

进一步，通过神经网络生成阈值δ、ε和权重α，所述神经网络具体包括：

输入层{X₁,X₂,…X₅}分别为最新关键帧的IMU加速度信息a_k和角速度信息w_k、最新的两关键帧间的相对位移(P_k-P_k-1)和角度变化(θ_k-θ_k-1)、最新的两关键帧的图像内容相似度S；

隐藏层为{A₁,A₂,…A₅}；

输出层{Y₁,Y₂,Y₃}分别为相对位移的权重α、候选关键帧的筛选阈值δ、内容相似度阈值ε；

隐藏层和输出层的激活函数均选用ReLU函数，训练过程中所使用的数据实际输出值为Y_j′，模型的学习速率为ρ。计算隐藏层输入时，X_n所对应的权重为W_ni；求输出层输入时，O_m所对应的权重为V_mj。

隐藏层输入I_i分别为：

隐藏层输出O_i分别为：O_i＝max(0,I_i) (7)

输出层输入T_j分别为：

输出层输出Y_j分别为：Y_j＝max(0,T_j) (9)

用最小二乘法表示预测结果的误差E为：

输入层到隐藏层的权值调整值ΔW_ni为：

隐藏层到输出层的权值调整值ΔV_mj为：ΔV_mj＝-ρ(Y_j′-Y_j)O_m (12)

本发明的有益效果在于：本方案在关键帧确定之前，加入了候选关键帧筛选环节，利用IMU计算出移动机器人的相对位移和角度变化量来筛选候选关键帧，并基于神经网络自适应生成关键帧两次筛选的相关阈值和权重，在保证了系统的定位精度和鲁棒性的前提下，减少了视觉信息处理数量，提高了系统实时性。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明所述基于神经网络的移动机器人视觉SLAM关键帧自适应筛选方法流程示意图；

图2为IMU预积分示意图；

图3为神经网络模型示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

请参阅图1为一种基于神经网络的移动机器人视觉SLAM关键帧自适应筛选方法，本发明基于神经网络，构建了IMU和视觉传感器相结合的关键帧自适应选取方法，主要通过两步进行关键帧的确定：首先利用IMU信息计算出的移动机器人的相对位移和角度变化量筛选出候选关键帧，其次对视觉传感器获取的候选关键帧的图像信息进行ORB特征提取，从候选关键帧中筛选出最终的关键帧，确定出关键帧后，即可进行后续的位姿求解。

关键帧筛选的相关阈值与权重由构建的神经网络模型学习训练后自适应生成，将最新关键帧的IMU信息(即当前时刻角速度和加速度)、与上一关键帧的相对位移和角度变化、与上一关键帧的内容相似度作为神经网络的输入数据，下一关键帧筛选的相关阈值与权重是神经网络的输出。该发明通过加快关键帧的筛选速度并自适应生成相关阈值与权重，在保证系统鲁棒性的前提下达到了提高系统实时性的目的。

本发明首先通过IMU预积分筛选出候选关键帧，然后利用视觉传感器获得的图像信息对候选关键帧进行筛选，确定出最后的关键帧，其中两次筛选的阈值与权重由神经网络自适应生成，避免对所有帧图像数据进行特征处理，其具体流程如图1所示。

1、IMU信息预积分

IMU包括加速度计和陀螺仪，可分别测得移动机器人在运动过程中的加速度与角速度值。在IMU数据与图像数据已经对齐的情况下，如图2所示，对IMU数据进行预积分处理，对加速度计测得的加速度值去除噪声后进行一次积分可得到速度，二次积分可得到相对位移。对陀螺仪测得的角速度值去除噪声后进行一次积分可得到移动机器人运动过程中的角度变化。

IMU数据预积分时间间隔为Δt_ij，在k时刻测得的角速度为w_k，陀螺仪的零偏和高斯白噪声分别为b_g和η_g；测得的加速度为a_k，加速度计的零偏和高斯白噪声分别为b_a和η_a，位姿信息包括旋转矩阵R_i和位置信息P_i。通过积分k＝i时刻到k＝j-1时刻的所有IMU测量值，来将k＝i时刻的位姿信息R_i、P_i和速度信息v_i、角度信息θ_i更新到k＝j时刻的R_j、P_j、v_j和θ_j。相关公式如下：

其中

ΔR_ik＝R_k-R_i；g为重力加速度；Δt为IMU传感器的采样周期。

2、筛选候选关键帧

为了提高系统的实时性，不产生大量冗余信息，关键帧选择之前先选出候选关键帧，主要通过

α(P_n-P_n-1)+(1-α)(θ_n-θ_n-1)≥δ (5)

来判断。其中α、(1-α)分别为相对位移和角度变化的权重。

具体流程为：

(1)令IMU数据与图像数据对齐后的第一帧为关键帧，且给定δ₁，在一定时间间隔Δt_ij对IMU数据进行预积分，得到P₁，θ₁。若0.5P₁+0.5θ₁≥δ₁，则将其作为第二关键帧；否则，再加入一个时间间隔Δt_ij对IMU数据进行预积分，直到满足0.5P₁+0.5θ₁≥δ₁。

(2)从筛选第三候选关键帧开始，对与上一关键帧间隔时间Δt_ij的IMU数据进行预积分，得到P_n，θ_n。若α(P_n-P_n-1)+(1-α)(θ_n-θ_n-1)≥δ，则将该帧加入候选关键帧，否则将该帧丢弃并再引入一个Δt_ij对IMU信息进行预积分。其中α、δ会在步骤4中产生。

3、筛选关键帧

对已经筛选出的候选关键帧进行特征提取并进行匹配，计算这一候选关键帧与上一关键帧的内容相似度S，并将其与阈值ε比较，若S≥ε，则该候选关键帧不是关键帧；若S<ε，则该候选关键帧是关键帧，针对该帧进行位姿优化求解。关键帧的筛选阈值需要依据视觉传感器采集到的图像内容的变化程度而定。内容变化较快时，为保证选取的关键帧携带信息的完整性，应当多选取一些关键帧；内容变化较慢时，为避免关键帧数量过多增加系统不必要的计算量，应适当减少关键帧的数量。故阈值ε需根据系统需要自适应产生，其值同样会在步骤4中产生。

4、自适应生成关键帧的筛选权重和阈值

神经网络经过足够的样本学习训练可找到输入输出间的非线性映射，且结构简单，误差小，故该步骤将大量复杂计算放到神经网络模型的训练过程中，直接得到移动机器人不同位姿变化与关键帧筛选阈值、权重之间的关系。利用已有实验数据，对构建的神经网络模型进行学习训练，模型训练完成后即可自适应生成关键帧筛选过程中所需阈值δ、ε和权重α。

本发明中所构建的神经网络模型如图3所示，其中输入层{X₁,X₂,…X₅}分别为最新关键帧的IMU信息(当前时刻的角速度w_k和线加速度a_k)、最新的两关键帧间的相对位移(P_k-P_k-1)和角度变化(θ_k-θ_k-1)、最新的两关键帧的图像内容相似度S。隐藏层为{A₁,A₂,…A₅}。输出层{Y₁,Y₂,Y₃}分别为相对位移的权重α、候选关键帧的筛选阈值δ、内容相似度阈值ε。隐藏层和输出层的激活函数均选用ReLU函数。训练过程中所使用的数据实际输出值为Y_j′，模型的学习速率为ρ。计算隐藏层输入时，X_n所对应的权重为W_ni；求输出层输入时，O_m所对应的权重为V_mj。

隐藏层输入I_i分别为：

隐藏层输出O_i分别为：O_i＝max(0,I_i) (7)

输出层输入T_j分别为：

输出层输出Y_j分别为：Y_j＝max(0,T_j) (9)

用最小二乘法表示预测结果的误差E为：

输入层到隐藏层的权值调整值ΔW_ni为：

隐藏层到输出层的权值调整值ΔV_mj为：ΔV_mj＝-ρ(Y_j′-Y_j)O_m (12)

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种基于神经网络的移动机器人视觉SLAM关键帧自适应筛选方法，其特征在于：包括以下步骤：

利用IMU信息计算出的移动机器人的相对位移和角度变化量筛选出候选关键帧；所述候选关键帧的筛选通过下式来判断：

α(P_n-P_n-1)+(1-α)(θ_n-θ_n-1)≥δ (5)

其中α、(1-α)分别为相对位移和角度变化的权重，δ为筛选阈值，均通过神经网络自适应生成；

筛选过程具体包括以下步骤：

(1)令IMU数据与图像数据对齐后的第一帧为关键帧，且给定阈值δ₁，在一定时间间隔Δt_ij对IMU数据进行预积分，得到第一时刻位置信息P₁，当前第一角度θ₁；若0.5P₁+0.5θ₁≥δ₁，则将其作为第二关键帧；否则，再加入一个时间间隔Δt_ij对IMU数据进行预积分，直到满足0.5P₁+0.5θ₁≥δ₁；

(2)从筛选第三候选关键帧开始，对与上一关键帧间隔时间Δt_ij的IMU数据进行预积分，得到第n时刻位置信息P_n，第n时刻角度θ_n；若α(P_n-P_n-1)+(1-α)(θ_n-θ_n-1)≥δ，则将该帧加入候选关键帧，否则将该帧丢弃并再引入一个Δt_ii对IMU信息进行预积分；

利用视觉传感器获得的图像信息对候选关键帧进行筛选，从候选关键帧中筛选出最终的关键帧，具体包括：

对已经筛选出的候选关键帧进行特征提取并进行匹配，计算这一候选关键帧与上一关键帧的内容相似度S，并将其与内容相似度ε比较，若S≥ε，则该候选关键帧不是关键帧；若S＜ε，则该候选关键帧是关键帧，针对该帧进行位姿优化求解；所述关键帧的筛选阈值ε通过神经网络自适应生成；

其中两次筛选关键帧的相关阈值和权重由神经网络自适应生成；通过神经网络生成阈值δ、ε和权重α，所述神经网络具体包括：

输入层{X₁，X₂，...X₅}分别为最新关键帧的IMU加速度信息a_k和角速度信息w_k、最新的两关键帧间的相对位移(P_k-P_k-1)和角度变化(θ_k-θ_k-1)、最新的两关键帧的图像内容相似度S；

隐藏层为{A₁，A₂，...A₅}；

输出层{Y₁，Y₂，Y₃}分别为相对位移的权重α、候选关键帧的筛选阈值δ、内容相似度阈值ε；

隐藏层和输出层的激活函数均选用ReLU函数；训练过程中所使用的数据实际输出值为Y′_j，模型的学习速率为ρ，计算隐藏层输入时，X_n所对应的权重为W_ni；求输出层输入时，O_m所对应的权重为V_mj；

隐藏层输入I_i分别为：

隐藏层输出O_i分别为：O_i＝max(0，I_i) (7)

输出层输入T_j分别为：

输出层输出Y_j分别为：Y_j＝max(0，T_j) (9)

用最小二乘法表示预测结果的误差E为：

输入层到隐藏层的权值调整值ΔW_ni为：

隐藏层到输出层的权值调整值ΔV_mj为：ΔV_mj＝-ρ(Y′_j-Y_j)O_m (12)。

2.根据权利要求1所述的基于神经网络的移动机器人视觉SLAM关键帧自适应筛选方法，其特征在于：IMU包括加速度计和陀螺仪，所述IMU信息包括当前时刻角速度和加速度。

3.根据权利要求2所述的基于神经网络的移动机器人视觉SLAM关键帧自适应筛选方法，其特征在于：对IMU信息进行预积分处理，具体包括：

对加速度计测得的加速度值去除噪声后进行一次积分得到速度，二次积分得到相对位移；

对陀螺仪测得的角速度值去除噪声后进行一次积分得到移动机器人运动过程中的角度变化量。

4.根据权利要求3所述的基于神经网络的移动机器人视觉SLAM关键帧自适应筛选方法，其特征在于：IMU数据预积分时间间隔为Δt_ij，在k时刻测得的角速度为w_k，陀螺仪的零偏和高斯白噪声分别为b_g和η_g；测得的加速度为a_k，加速度计的零偏和高斯白噪声分别为b_a和η_a；位姿信息包括旋转矩阵R_i和位置信息P_i，通过积分k＝i时刻到k＝j-1时刻的所有IMU测量值，来将k＝i时刻的旋转矩阵R_i、位置信息P_i、速度信息v_i和角度信息θ_i更新到k＝j时刻的R_j、P_j、v_j和θ_j；相关公式如下：

其中

ΔR_ik＝R_k-R_i；g为重力加速度；Δt为IMU传感器的采样周期。

Images