CN115937011A - 一种基于时滞特征回归的关键帧位姿优化视觉slam方法、存储介质及设备 - Google Patents

Abstract

本发明公开了一种基于时滞特征回归的关键帧位姿优化视觉SLAM方法、存储介质及设备，SLAM方法包括：步骤S1，多尺度循环神经网络消除图像中的物体形变与运动拖影，修复因机器人运动过快导致的时滞图像特征；步骤S2，关键帧并行选取；步骤S3，结合时滞特征回归图像关键帧与普通帧作为双测量约束优化相机位姿，恢复机器人运行轨迹；步骤S4，构建全局轨迹地图。本发明修复因机器人运动过快导致的时滞图像特征，采用双测量约束优化相机位姿，恢复机器人运行轨迹，解决现有技术中由于移动机器人大视角快速运动中造成的局部相机位姿丢失与轨迹漂移问题。

Description

一种基于时滞特征回归的关键帧位姿优化视觉SLAM方法、存储介质及设备

技术领域

本发明属于同步定位与地图创建(Simultaneous Location And Mapping，SLAM)技术领域，具体涉及基于一种基于时滞特征回归的关键帧位姿优化视觉SLAM方法、存储介质及设备。

背景技术

近年来，随着机器人与无人驾驶领域的快速发展，同时定位与建图(SimultaneousLocalization and Mapping，SLAM)作为其核心技术受到了广泛的关注，尤其是基于视觉的SLAM系统，因视觉传感器使用更加多元且可以感知更加丰富的环境信息，能实现对机器人的定位和场景地图的稠密重建而受到重视。

当前主流视觉SLAM算法主要基于人工设计特征算子提取图像特征点，通过两帧之间的特征匹配与跟踪恢复相机局部运动几何结构，使用闭环检测修正全局轨迹，但现实中受相机帧率与环境影响，在视觉SLAM系统运行过程中经常出现模糊、遮挡、动态物体或光源干扰等因素极大程度上影响视觉SLAM算法特征提取与匹配，降低了视觉SLAM算法鲁棒性，因此解决运动模糊问题即时滞特征问题成为了视觉SLAM的重要研究方向。

目前机器人所使用相机传感器无法达到很高的拍摄帧率，在相机快速运动中易出现模糊图像帧，模糊图像中的时滞图像特征通常包含较大像素误差，影响了真实物体图像局部纹理的灰度值梯度，使得如Campos等人提出的ORB-SLAM3算法难以提取到高精度图像特征点，对后续视觉SLAM系统特征跟踪与匹配线程造成了很大干扰，进而导致了相机大视角快速运动下轨迹的漂移误差。基于当前相机所面对模糊图像时滞特征问题的解决方案主要分为三种：计算图像模糊核、筛除部分图像帧、提取高级特征如图像线特征等，为增强算法对外界环境特征提取能力，改善相机位姿估计精度，Pumarola等人基于点线特征提出PL-SLAM算法，一定程度减轻了运动模糊图像的时滞特征点稀疏对于相机运行轨迹的影响。筛除部分图像帧会导致相机大视角快速运动时缺失部分关键帧，导致在相机局部位姿恢复时，缺失相应运动轨迹，而因为运动时滞特征自身影响，提取高级特征算法效果难以达到理想状态。

在计算图像模糊核领域，Lee等人提出一种基于相机多视图几何与空间3D点估算图像模糊核的反卷积去模糊SLAM方法，提高了算法特征跟踪能力与构建地图丰富度，但其无法处理图像旋转与非均匀模糊。Russo等人基于Mono SLAM提出一种基于EKF估算图像模糊核并把模糊块区域用于特征匹配的SLAM方法，获得了较高的算法实时性与鲁棒性，但其假设的图像线性模糊核与空间不变性在现实环境中具有较大局限。Yu等人提出一种基于Haar小波变换与特征匹配相关性加权优化的去模糊SLAM算法，减小了低相关性匹配特征对相机位姿的影响，但在面对大视角快速运动下的环境变换时易发生特征跟踪丢失。由于深度学习在图像领域的快速发展，Tang等人提出基于神经网络的GCNv2-SLAM，使用图卷积网络生成二进制描述符向量代替ORB特征，提高了图像特征计算效率，降低了算法对外界纹理特征敏感度，增强了算法鲁棒性。Guo等人首次提出结合DeblurGANv2的深度学习去模糊视觉SLAM算法，改善了特征点的提取与匹配，提升了相机位姿精度，但局限于DeblurGANv2的时滞特征回归效果，在面临场景光照变换剧烈时，恢复图像灰度特征值变化较大，导致前后帧特征点难以匹配。

本算法在ORB-SLAM3算法基础上，提出一种基于时滞特征回归的关键帧位姿优化视觉SLAM算法。首先，本算法利用Laplacian算法实现对运动模糊图像的检测，然后利用多尺度循环神经网络完成对模糊图像的时滞特征回归。其次，利用灰度块运动检测实现对大视角快速运动下的关键帧快速均匀选取。最后，基于时滞特征回归图像关键帧与相关联普通帧，构建实时更新的相机局部弯道运动轨迹。与现有的开源算法GCNv2-SLAM和ORB-SLAM3相对比，本算法能有效面对大视角快速运动的运动模糊场景，恢复相机局部弯道轨迹，因此，具有更高的定位能力与建图精度。

发明内容

本发明的目的是提供一种基于时滞特征回归的关键帧位姿优化视觉SLAM方法，用于解决现有技术中由于移动机器人大视角快速运动中造成的局部相机位姿丢失与轨迹漂移问题。

所述的一种基于时滞特征回归的关键帧位姿优化视觉SLAM方法，包括下列步骤：

步骤S1，多尺度循环神经网络消除图像中的物体形变与运动拖影，修复因机器人运动过快导致的时滞图像特征；

采用多尺度循环神经网络，在不同尺度的图像处理策略中采用了跨多个尺度的新型循环结构，将输入图像以不同尺度下采样的一系列模糊图像作为输入，在每个尺度上生成待估计的清晰图像作为图像时滞特征回归计算的子任务，将模糊图像中的时滞特征边缘与振铃伪影像素逐步回归到物体真实边缘，提高特征点提取精度的同时生成一组相应局部清晰图像，最终融合成一幅具有高分辨率的全尺寸图像；

步骤S2，关键帧并行选取；

步骤S3，结合时滞特征回归图像关键帧与普通帧作为双测量约束优化相机位姿，恢复机器人运行轨迹；

步骤S4，构建全局轨迹地图。

优选的，所述步骤S3中，基于两个相邻关键帧的测量约束，利用机器人恒速运动模型在机器人大视角快速弯道运动将旋转矩阵R转化为四元数空间进行球面线性插值与平移矩阵t线性插值，校正两个关键帧之间的相邻普通帧位姿，优化两个关键帧之间机器人运行轨迹，恢复机器人丢失轨迹。

优选的，所述步骤S1中，多尺度循环神经网络采用ConvLSTM网络，将梯度裁剪应用于ConvLSTM模块权重，在获取不同尺度下的帧图像时，使用双线性插值补全在多个尺度放缩下丢失像素值，在每个图像尺度上设计对应网络层，通过网络模型分级循环传播参数信息，使用对称的编码器-解码器CNN网络，首先将输入图像帧通过编码器逐步转换为具有更小空间尺寸与更多通道数的特征图，然后在解码器中将特征图转换回输入的形状，不同尺度特征图之间的跳跃连接用于组合不同网络层之间的图像信息并借助于梯度传播加速收敛，在模型结构内部具有隐藏状态的循环神经网络中，通过引入残差学习块改进ResBlock编码器-解码器。

优选的，所述步骤S1中，在多尺度循环神经网络中的隐藏状态瓶颈层中插入卷积层用于连接不同尺度模糊图像，并为每个卷积层重新设计大小为5×5的大卷积核，改进后的网络模型可表示为：

式中，SR_E与SR_D为编码器与解码器，分别包含了2个阶段的EBlocks与DBlocks，μⁿ为图像编码输出，ε_E与ε_D为卷积网络参数，ε_LSTM为ConvLSTM中参数集，Bⁿ、φⁿ分别是第n个尺度模糊的图像和第n个待估计的清晰图像，隐藏状态υⁿ为多尺度循环神经网络中间结果与模糊图像信息，用于传递至下一尺度进行更精细的图像帧修复，δⁿ为输入图像。

优选的，所述步骤S3中，假定外界环境中的路标节点保持静止时，此时只使用路标点在图像上的齐次像素坐标作为恒定量优化前后路标点在空间上位置，即

以路标点静止假设作为参考量，优化路标节点坐标

的公式表示为：

将前后重新计算变化的路标点

空间坐标式相结合，则可推导出基于关键帧与普通帧的位姿优化公式；根据机器人的视觉SLAM算法恒速运动模型，普通帧图像齐次像素坐标

不跟随环境中路标节点位置更新而改变，根据这一准则推导出运动恒等式；位姿优化公式和运动恒等式分别表示为：

在大视角快速弯道运动过程中每个特征点的深度值随着前后两张关键帧之间的像素平移差异的增加而增加，基于这一特性，假设平移比与深度比相等，可得关键帧与相邻普通帧之间的约束关系，并将其关系扩展到第k+1个关键帧与相邻普通帧，通过融合第k个与第k+1个关键帧的约束结果，可计算出关键帧与普通帧之间的平移矩阵

根据上述前后关键帧约束解可推导出两个关键帧之间插值表示为：

式中，P_m与

为优化前后路标节点坐标，

与

为优化前后路标点在关键帧图像上的齐次像素坐标，Z_m与

为优化前后关键帧路标点像素深度，K是相机内参矩阵；

与

分别是关键帧位姿修正前后的旋转与平移矩阵，δP_m为关键帧位姿优化过程中路标点空间位置的变化，

为以路标点齐次像素坐标作为恒定量优化后的路标节点坐标；

与

分别是优化前后关键帧到普通帧的旋转矩阵，

与

分别是优化前后关键帧到普通帧的平移矩阵，

与

分别是优化前后普通帧路标点像素深度，

与

分别是优化前后路标点在普通帧图像上的齐次像素坐标；

为优化后第k个关键帧到第k+1个关键帧的相对旋转与平移矩阵，α_i为优化前后关键帧路标点像素深度比，

表示球面线性插值，

表示平移矩阵t线性插值。

优选的，所述步骤S2采用基于灰度块运动与ORB-SLAM3算法的关键帧并行选取策略，补充机器人大视角快速运动缺失关键帧；将图像帧从RGB空间映射YCbCr空间，计算图像帧每一块区域所有像素点的各个颜色分量(Y，Cr，Cb)的平均值作为该区域特征灰度，然后对每个区域特征灰度进行离散余弦变换；采用非线性量化抑制高频参数，取出Y分量6个低频系数与Cb、Cr分量各3个参数共12个参数作为该图像的颜色布局描述符，前后帧图像相似度用颜色布局描述符的特征向量距离判断，公式表示为：

式中，D_img1，2为前后帧图像的相似度，值越小，图像相似度越高，

分别是图像帧img1与img2的各颜色分量对应的第i个DCT(离散余弦变换)系数差值，w_Y、w_Cb、w_Cr为对应颜色分量权重。

优选的，所述步骤S2还将输入帧图像分成尺寸为(W/6)×(H/6)的36个区域，使用图像灰度块判断第K帧中第i块区域G_i(K)与第K+1帧中第m块区域G_m(K+1)的相似度公式表示为：

式中，

为第K帧中第i块区域G_i(K)与第K+1帧中第m块区域G_m(K+1)的相似度，D_K，K+1(i)为对应图像块区域调整后的相似度，在

的基础上增加了遍历第K帧中第i区域和第K+1帧各区域相似度的最小值

增加相似度数值的唯一性；j表示在遍历过程中第K+1帧图像中的第j块区域；在第K帧中各块的相似度D_K，K+1(i)值乘以对应权重c_i并进行累加就得到前后帧图像相似度公式表示为：

式中，D_(K，K+1)为前后帧图像相似度，c_i为图像灰度块对应权重，根据构图理论将帧图像36区域进行分类并分配权重比。

优选的，所述步骤S2中通过计算关键帧之间的旋转矩阵R与平移矩阵t进行关键帧的筛选优化，通过构建最小二乘法和SVD分解方法计算两帧间的运动向量，求解旋转矩阵R和平移矩阵t，公式表示为：

式中，p_j和p′_j分别为第一帧和第二帧图像中的第j点，e_j为第j对点(两帧图像中第j点)的误差项，R和t分别为两帧间的旋转矩阵和平移矩阵；

为求解欧式变换R、t，使得p_j和p′_j一一对应，定义第j对点的误差项为e_j，运用SVD方法求解ICP问题，最后构建最小二乘问题，求出使误差平方和达到最小的R和t；如果当前帧与上一帧之间的平移矩阵t小于平移阈值E，则说明两帧间相距较近，剔除当前关键帧，反之，则比较当前帧与上一帧之间的旋转矩阵R；若旋转矩阵R小于旋转阈值A，则说明两帧间旋转角度过小，剔除当前关键帧，反之则判断下一帧与当前帧的R和t。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的一种基于时滞特征回归的关键帧位姿优化视觉SLAM方法的步骤。

本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的一种基于时滞特征回归的关键帧位姿优化视觉SLAM方法的步骤。

本发明具有以下优点：

1、本方法提出多尺度循环神经网络，在不同尺度的图像处理策略中采用了跨多个尺度的新型循环结构，将输入图像以不同尺度下采样的一系列模糊图像作为输入，在每个尺度上生成待估计的清晰图像作为图像时滞特征回归计算的子任务，将模糊图像中的时滞特征边缘与振铃伪影像素逐步回归到物体真实边缘，提高特征点提取精度的同时生成一组相应局部清晰图像，最终融合成一幅具有高分辨率的全尺寸图像。在网络计算时采用模糊图像与初始上采样去模糊结果作为输入，并估计这个尺度的清晰图像，同时在每个图像尺度上设计对应网络层，通过对称的编码器-解码器CNN网络模型分级循环传播参数信息，将输入图像帧通过编码器逐步转换为具有更小空间尺寸与更多通道数的特征图，使得在最终成像时能实现最佳清晰效果。减少对后续视觉SLAM系统特征跟踪与匹配线程造成的干扰，进而减少了相机大视角快速运动下轨迹的漂移误差。

2、本方法在图像时滞特征回归与关键帧并行选取线程之后，提出一种关键帧位姿优化方法，基于两个相邻关键帧的测量约束，利用机器人恒速运动模型在机器人大视角快速弯道运动将旋转矩阵R转化为四元数空间进行球面线性插值与平移矩阵t线性插值，校正两个关键帧之间的相邻普通帧位姿，优化两个关键帧之间机器人运行轨迹，恢复机器人丢失轨迹，减少其漂移与凸形轨迹误差。

3、不同尺度特征图之间的跳跃连接用于组合不同网络层之间的图像信息并借助于梯度传播加速收敛。本算法采用的ConvLSTM网络相较于其它循环网络，在获取图像局部空间特征的同时保留卷积层网络的时序关系，使得处理大规模模糊图像时更具优势。

4、本方法提出一种基于灰度块运动与ORB-SLAM3算法的关键帧并行选取策略以均匀化关键帧，不同与传统视觉SLAM只对对关键帧进行特征提取，本算法使用图像显著稳定的底层灰度特征与块运动信息，利用连续帧图像相同区域的灰度特征变化能充分反映机器人在空间各个位置的运动信息，结合运动过程中关键帧的旋转与平移矩阵，可以在机器人大视角快速运动中有效筛选优化局部过于密集关键帧，选取具有位姿校正与数据关联的高质量关键帧。

附图说明

图1为本发明一种基于时滞特征回归的关键帧位姿优化视觉SLAM方法的流程示意图。

图2为本发明一种基于时滞特征回归的关键帧位姿优化视觉SLAM方法的流程图。

图3为本发明中SLAM方法通过图像时滞特征进行边缘恢复的原理图。

图4为本发明所设计图像时滞特征回归网络模型结构图。

图5为本发明所设计编码器-解码器网络设置图。

图6为本发明所提出灰度块运动图像帧分割方法的示意图。

图7为本发明所提出大视角快速运动双测量约束关键帧的示意图。

图8为本发明中SLAM方法在TUM数据集fr1_desk2序列下图像时滞特征回归前后特征点提取对比图。

图9为本发明中SLAM方法在TUM数据集上时滞回归前后特征匹配对比图。

图10为本发明中SLAM方法在GOPRO数据集下不同算法图像帧处理运行时间对比图。

图11为本发明中SLAM方法在TUM数据集下不同算法大视角快速运动关键帧选取对比图。

图12为本发明中SLAM方法在TUM数据集下不同算法轨迹对比图。

具体实施方式

下面对照附图，通过对实施例的描述，对本发明具体实施方式作进一步详细的说明，以帮助本领域的技术人员对本发明的发明构思、技术方案有更完整、准确和伸入的理解。

实施例一：

如图1、图2所示，本发明提供了一种基于时滞特征回归的关键帧位姿优化视觉SLAM方法，包括图像时滞特征回归、关键帧并行选取策略、基于双测量约束的关键帧位姿优化与全局轨迹图构建4个环节。在图像时滞特征回归环节中，首先将输入图像经3×3Laplacian卷积核计算后得到特征响应，通过计算特征响应方差判断图像是否含有运动模糊时滞特征，若为清晰图像帧则直接进入关键帧选取环节，否则输入至多尺度循环神经网络进行图像时滞特征回归后再进入关键帧并行选取环节。在关键帧并行选取环节中，将图像分为36个运动区域，运用颜色布局描述符计算前后两帧之间对应区域灰度平均变化差值，与ORB-SLAM3算法并行选取相机大视角快速运动时缺失关键帧，然后运用关键帧之间旋转矩阵R与平移矩阵t剔除过密集关键帧。在基于双测量约束的关键帧位姿优化环节中，本文算法基于时滞特征回归图像关键帧位姿约束与测量所得机器人运动守恒模型，将机器人大视角快速运动生成的旋转矩阵R转化为四元数与平移矩阵t分别进行球面和线性插值，恢复机器人在大视角快速局部运动漂移与丢失轨迹。最后，在关键帧并行选取策略与基于双测量约束的关键帧位姿优化轨迹修复基础上，进行全局BA优化与闭环检测优化地图点与相机位姿，从而构建全局轨迹地图。

本方法具体包括：

步骤S1，多尺度循环神经网络消除图像中的物体形变与运动拖影，修复因机器人运动过快导致的时滞图像特征。

如图3所示，本方法中提出了多尺度循环神经网络，在不同尺度的图像处理策略中采用了跨多个尺度的新型循环结构，将输入图像以不同尺度下采样的一系列模糊图像作为输入，在每个尺度上生成待估计的清晰图像作为图像时滞特征回归计算的子任务，将模糊图像中的时滞特征边缘与振铃伪影像素逐步回归到物体真实边缘，提高特征点提取精度的同时生成一组相应局部清晰图像，最终融合成一幅具有高分辨率的全尺寸图像。

多尺度循环神经网络采用ConvLSTM网络，相较于其它循环网络，在获取图像局部空间特征的同时保留卷积层网络的时序关系，使得处理大规模模糊图像时更具优势。在多尺度循环网络训练中，将梯度裁剪应用于ConvLSTM模块权重可以获得更稳定的训练，获取更具普遍性的训练权重，同时在获取不同尺度下的帧图像时，使用双线性插值补全在多个尺度放缩下丢失像素值，生成更具纹理细节的图像帧，减少了图像帧尺度放缩下的的视觉失真。本方法在每个图像尺度上设计对应网络层，通过网络模型分级循环传播参数信息，使得在最终成像时能实现最佳清晰效果，同时使用对称的编码器-解码器CNN网络，首先将输入图像帧通过编码器逐步转换为具有更小空间尺寸与更多通道数的特征图，然后在解码器中将特征图转换回输入的形状。不同尺度特征图之间的跳跃连接用于组合不同网络层之间的图像信息并借助于梯度传播加速收敛。

机器人在面对大视角快速运动时，多尺度循环神经网络需要使用较大感受野捕捉运动信息，从而导致编码器-解码器模块堆叠较多网络层，使整个循环神经网络收敛减慢，在实践中图像去模糊的时滞特征回归模型也会随着大量特征通道数快速增加参数数量，并且由于中间特征图的尺寸太小，无法保留用于重建的空间信息。基于上述原因，在模型结构内部具有隐藏状态的循环神经网络中，通过引入残差学习块改进ResBlock编码器-解码器，使得编码器-解码器网络能够适应机器人的剧烈快速运动。

如图4所示，图像时滞特征回归网络模型编码器网络EBlock中包含一个步长为2的卷积层，后跟随包含2个相同卷积层的ResBlock将前一层的卷积核数量增加一倍，并将特征图降采样到一半大小。由反卷积层组成的解码器DBlock与编码器EBlock具有相对称的结构，其中共包含4个ResBlock和用于将特征图空间大小加倍并将通道数减半的反卷积层。本方法在多尺度循环神经网络中的隐藏状态瓶颈层中插入卷积层用于连接不同尺度模糊图像，并为每个卷积层重新设计大小为5×5的大卷积核，改进后的网络模型可表示为：

式中，SR_E与SR_D为编码器与解码器，分别包含了2个阶段的EBlocks与DBlocks，μⁿ为图像编码输出，ε_E与ε_D为卷积网络参数，ε_LSTM为ConvLSTM中参数集，Bⁿ、φⁿ分别是第n个尺度模糊的图像和第n个待估计的清晰图像，隐藏状态υⁿ为多尺度循环神经网络中间结果与模糊图像信息，用于传递至下一尺度进行更精细的图像帧修复，δⁿ为输入图像。

如图5所示，多尺度循环神经网络中第n+1个尺度大小是第n个尺度的一半，对于编码器-解码器网络包含有1个InBlock、2个EBlock，后面跟有1个ConvLSTM模块、2个DBlock和1个OutBlock。其中输入模糊图像经InBlock模块形成多尺度图像并生成一个32通道的特征图，OutBlock将先前特征图作为输入并生成多个局部清晰图像帧，在多尺度循环神经网络中编码器EBlock与解码器DBlock内所有卷积层的核数相同，对于编码器EBlock，卷积核数分别设置为64和128，对于解码器DBlock，卷积核数分别设置为128和64。编码器EBlock与反卷积层中卷积层步长大小设置为2，其它所有卷积层都设置为1，所有卷积层的激活函数都使用Rectified Liner Units(ReLU)并且所有卷积核大小都设置为5。

步骤S2，基于灰度块运动与ORB-SLAM3算法的关键帧并行选取策略，补充机器人大视角快速运动缺失关键帧。

在机器人大视角快速移动过程中，本方法将图像帧从RGB空间映射YCbCr空间，计算图像帧每一块区域所有像素点的各个颜色分量(Y，Cr，Cb)的平均值作为该区域特征灰度，然后对每个区域特征灰度进行离散余弦变换(Discrete Cosine Transform，DCT)。本方法为减少系数矩阵的信息存储，采用非线性量化抑制高频参数，取出Y分量6个低频系数与Cb、Cr分量各3个参数共12个参数作为该图像的颜色布局描述符，前后帧图像相似度用颜色布局描述符的特征向量距离判断，公式表示为：

式中，D_img1，2为前后帧图像的相似度，值越小，图像相似度越高，

分别是图像帧img1与img2的各颜色分量对应的第i个DCT(离散余弦变换)系数差值。w_Y、w_Cb、w_Cr为对应颜色分量权重。

图像帧分割方法如图6所示，首先将输入帧图像分成尺寸为(W/6)×(H/6)的36个区域，如图5所示，其中W、H分别为帧图像宽度与高度。运动是视觉SLAM算法的核心要求，利用运动灰度特征可以对关键帧进行更加精确的选取，根据构图理论，图像的显著对象或主题位于图像中心区域概率最大，因此图像中心获得的视觉关注度最高，图像的四周边缘次之，四角区域视觉关注度最低，本文算法将帧图像36区域划分为A、B、C、D四类，分配权重比为4∶3∶2∶1，这样既可以突出显示运动方向灰度块区域，同时又限制了重叠灰度块信息。

使用图像灰度块判断第K帧中第i块区域G_i(K)与第K+1帧中第m块区域G_m(K+1)的相似度公式表示为：

式中，

为第K帧中第i块区域G_i(K)与第K+1帧中第m块区域G_m(K+1)的相似度，D_K，K+1(i)为对应图像块区域调整后的相似度，在

的基础上增加了遍历第K帧中第i区域和第K+1帧各区域相似度的最小值

增加相似度数值的唯一性。j表示在遍历过程中第K+1帧图像中的第j块区域。在第K帧中各块的相似度D_K，K+1(i)值乘以对应权重c_i并进行累加就得到前后帧图像相似度公式表示为：

式中，D_(K，K+1)为前后帧图像相似度，c_i为图像灰度块对应权重。

初始化后第一帧设为关键帧，当机器人进行大视角快速运动时选取关键帧过于密集达到一定阈值时，则可以通过计算关键帧之间的旋转矩阵R与平移矩阵t进行关键帧的筛选优化。本方法通过构建最小二乘法和SVD分解方法计算两帧间的运动向量，求解旋转矩阵R和平移矩阵t，公式表示为：

式中，p_j和p′_j分别为第一帧和第二帧图像中的第j点，e_j为第j对点(两帧图像中第j点)的误差项，R和t分别为两帧间的旋转矩阵和平移矩阵。

为求解欧式变换R、t，使得p_j和p′_j一一对应，定义第j对点的误差项为e_j，运用SVD方法求解ICP问题，最后构建最小二乘问题，求出使误差平方和达到最小的R和t。如果当前帧与上一帧之间的平移矩阵t小于平移阈值E，则说明两帧间相距较近，剔除当前关键帧，反之，则比较当前帧与上一帧之间的旋转矩阵R；若旋转矩阵R小于旋转阈值A，则说明两帧间旋转角度过小，剔除当前关键帧，反之则判断下一帧与当前帧的R和t。

步骤S3，结合时滞特征回归图像关键帧与普通帧作为双测量约束优化相机位姿，恢复机器人运行轨迹；

如图7所示，本方法基于图像时滞特征回归与关键帧并行选取策略的视觉SLAM算法改进在于优化增加输入测量值，但在提高关键帧位姿精度的同时并不会把这种校正传播到关键帧之间的普通帧，同时面对机器人两个关键帧之间的未测量轨迹也难以拟合，所以在机器人大视角快速弯道运动时利用多视图几何进行凸型轨迹与地图重建时容易产生漂移失真，因此本方法在图像时滞特征回归与关键帧并行选取线程之后，提出一种关键帧位姿优化算法，基于两个相邻关键帧的测量约束，利用机器人恒速运动模型在机器人大视角快速弯道运动将旋转矩阵R转化为四元数空间进行球面线性插值与平移矩阵t线性插值，校正两个关键帧之间的相邻普通帧位姿，优化两个关键帧之间机器人运行轨迹，恢复机器人丢失轨迹，减少其漂移与凸形轨迹误差。

当假定外界环境中的路标节点保持静止时，此时只使用路标点在图像上的齐次像素坐标作为恒定量优化前后路标点在空间上位置，即

以路标点静止假设作为参考量，优化路标节点坐标

的公式表示为：

式中，P_m与

为优化前后路标节点坐标，

与

为优化前后路标点在关键帧图像上的齐次像素坐标，Z_m与

为优化前后关键帧路标点像素深度，K是相机内参矩阵。

与

分别是关键帧位姿修正前后的旋转与平移矩阵，δP_m为关键帧位姿优化过程中路标点空间位置的变化，

为以路标点齐次像素坐标作为恒定量优化后的路标节点坐标。

将前后重新计算变化的路标点

空间坐标式相结合，则可推导出基于关键帧与普通帧的位姿优化公式。根据机器人的视觉SLAM算法恒速运动模型，普通帧图像齐次像素坐标

不跟随环境中路标节点位置更新而改变，根据这一准则推导出运动恒等式。位姿优化公式和运动恒等式分别表示为：

式中，

与

分别是优化前后关键帧到普通帧的旋转矩阵，

与

分别是优化前后关键帧到普通帧的平移矩阵，

与

分别是优化前后普通帧路标点像素深度，

与

分别是优化前后路标点在普通帧图像上的齐次像素坐标，Z_m与

为优化前后关键帧路标点像素深度，K是相机内参矩阵。

在机器人大视角快速弯道运动过程中每个特征点的深度值随着前后两张关键帧之间的像素平移差异的增加而增加，基于这一特性，假设平移比与深度比相等，可得关键帧与相邻普通帧之间的约束关系，并将其关系扩展到第k+1个关键帧与相邻普通帧，通过融合第k个与第k+1个关键帧的约束结果，可计算出关键帧与普通帧之间的平移矩阵

根据上述前后关键帧约束解可推导出两个关键帧之间插值表示为：

式中，

与

为优化后第k个关键帧到第k+1个关键帧的相对旋转与平移矩阵，α_i为优化前后关键帧路标点像素深度比，

表示球面线性插值，

表示平移矩阵t线性插值。通过上述插值完成关键帧位姿优化，即可恢复机器人运行轨迹。

步骤S4，在关键帧并行选取策略与基于双测量约束的关键帧位姿优化轨迹修复基础上，进行全局BA优化与闭环检测优化地图点与相机位姿，从而构建全局轨迹地图。

下面以附图结合具体实验对上述方案的实际效果进行说明。

图8为本算法在TUM数据集fr1_desk2序列图像的图像时滞特征回归前后特征点提取对比图。本方法基于多尺度循环神经网络模型，在多个采样尺度上逐步剔除了图像中的平坦过曝、短小纹理区域，并针对图像边缘区域的振铃伪影采用逐步回归方法，抑制物体伪边缘像素，恢复因运动过快，曝光不足造成的原有物体滞后运动拖影。从图8模糊图像与时滞曝光回归图像相比可以看出本方法能有效恢复图像的纹理细节，重新构建了变形与拖影物体清晰结构并且减少了在其它区域造成的视觉伪影，模糊图像特征点提取相较于真实物体图像特征点提取产生了运动拖影与像素漂移，而时滞特征回归图像则恢复了物体变形与拖影像素，提升了特征点提取数量并在特征跟踪匹配线程中建立相对真实准确的空间3D点位置。

图9为本方法时滞回归前后特征匹配对比图。传统算法基于灰度不变假设，对外界环境在相机上的成像质量具有很高的要求，模糊图像中的时滞特征降低了角点检测精度，在进行图像特征点匹配时，由于物体边缘振铃伪影与运动拖影像素影响了图像局部灰度梯度，导致前后图像帧特征点描述符相差极大，造成了图像特征点成功匹配数量较少且误匹配较多。本方法时滞特征回归后图像帧提高了图像角点精度，增强了角点附近描述符的表征能力。

图10为本方法与DeblurGANv2算法在TUM数据集上的图像帧处理时间对比图，本方法在多尺度循环神经网络在神经网络计算过程中，引入了参数选择性共享与跳跃连接，相较于DeblurGANv2算法进一步减少参数量，提升计算效率，相比于其它算法计算时间大幅减少，充分增强了SLAM算法实时性。

图11为不同算法大视角快速运动关键帧选取对比图，其中蓝色方框为选取关键帧，绿色为相机运行轨迹。对比图中四种算法，可以看到ORB-SLAM3算法关键帧较为稀疏，在fr1/room出现特征跟踪丢失生成紫色错误关键帧。PL-SLAM算法依赖空间点线约束生成相机位姿，然而在fr1/desk2、fr2/desk场景一些片段关键帧过于稀疏，造成了相机轨迹在局部出现较大漂移误差，在fr1/room场景同样出现特征跟踪丢失并未完成轨迹的寻回，缺失大部分相机运行轨迹。GCNv2-SLAM算法面对大部分场景未出现特征跟踪丢失，但在相机进行大视角快速运动时关键帧的选取明显稀疏，未能形成对局部弯道轨迹的细致还原，导致在全局BA(Bundle Adiustment)时轨迹失真。本方法在面对大视角快速运动时，基于灰度块运动与ORB-SLAM3算法的关键帧并行选取策略所选取的关键帧在所有实验场景中较均匀，在大视角与模糊帧较多的fr1/room场景中，本方法结合时滞特征回归网络模型算法未出现特征跟踪丢失，并基于时滞特征回归关键帧与其中相邻普通帧优化相机运行位姿，生成了较为精确的轨迹地图。

图12不同算法TUM数据集轨迹对比结果图，其中，黑色线条为序列真实轨迹，红色与绿色线条分别偏移误差与算法运行轨迹。将三种算法与本方法进行对比可见，ORB-SLAM3与PL-SLAM算法与真实轨迹尺度偏移误差较大，且在frl/room场景中都出现特征跟踪丢失，缺失大部分场景运行轨迹。GCNv2-SLAM算法与本方法相比在局部大视角弯道处出现较大轨迹漂移，并在fr1/room场景中出现部分轨迹缺失，而本方法基于两个特征回归关键帧之间普通帧的位姿校正算法在大视角弯道处保持了较低的偏移误差，进而在全局建图与优化中获得了较低的绝对轨迹与相对位姿误差，由此可见，本方法稳定性与鲁棒性均优于对比算法。

实施例二：

与本发明实施例一对应，本发明实施例二提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时依照实施例一的方法实现以下步骤：

步骤S1，利用多尺度循环神经网络消除图像中的物体形变与运动拖影，修复因机器人运动过快导致的时滞图像特征。

步骤S2，基于灰度块运动与ORB-SLAM3算法的关键帧并行选取策略，补充机器人大视角快速运动缺失关键帧。

步骤S3，结合时滞特征回归图像关键帧与普通帧作为双测量约束优化相机位姿，恢复机器人运行轨迹。

步骤S4，在关键帧并行选取策略与基于双测量约束的关键帧位姿优化轨迹修复基础上，进行全局BA优化与闭环检测优化地图点与相机位姿，从而构建全局轨迹地图。

上述存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、光盘等各种可以存储程序代码的介质。

上述关于计算机可读存储介质中程序执行后实现步骤的具体限定可以参见实施例一，在此不再做详细说明。

实施例三：

与本发明实施例一对应，本发明实施例三提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时依照实施例一的方法实现以下步骤：

步骤S1，利用多尺度循环神经网络消除图像中的物体形变与运动拖影，修复因机器人运动过快导致的时滞图像特征。

步骤S2，基于灰度块运动与ORB-SLAM3算法的关键帧并行选取策略，补充机器人大视角快速运动缺失关键帧。

步骤S3，结合时滞特征回归图像关键帧与普通帧作为双测量约束优化相机位姿，恢复机器人运行轨迹。

步骤S4，在关键帧并行选取策略与基于双测量约束的关键帧位姿优化轨迹修复基础上，进行全局BA优化与闭环检测优化地图点与相机位姿，从而构建全局轨迹地图。

上述关于计算机设备实现步骤的具体限定可以参见实施例一，在此不再做详细说明。

需要说明的是，本发明的说明书附图中的框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与获得机指令的组合来实现。

上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的发明构思和技术方案进行的各种非实质性的改进，或未经改进将本发明构思和技术方案直接应用于其它场合的，均在本发明保护范围之内。

Claims (10)

1.一种基于时滞特征回归的关键帧位姿优化视觉SLAM方法，其特征在于：包括下列步骤：

步骤S1，多尺度循环神经网络消除图像中的物体形变与运动拖影，修复因机器人运动过快导致的时滞图像特征；

采用多尺度循环神经网络，在不同尺度的图像处理策略中采用了跨多个尺度的新型循环结构，将输入图像以不同尺度下采样的一系列模糊图像作为输入，在每个尺度上生成待估计的清晰图像作为图像时滞特征回归计算的子任务，将模糊图像中的时滞特征边缘与振铃伪影像素逐步回归到物体真实边缘，提高特征点提取精度的同时生成一组相应局部清晰图像，最终融合成一幅具有高分辨率的全尺寸图像；

步骤S2，关键帧并行选取；

步骤S3，结合时滞特征回归图像关键帧与普通帧作为双测量约束优化相机位姿，恢复机器人运行轨迹；

步骤S4，构建全局轨迹地图。

2.根据权利要求1所述的一种基于时滞特征回归的关键帧位姿优化视觉SLAM方法，其特征在于：所述步骤S3中，基于两个相邻关键帧的测量约束，利用机器人恒速运动模型在机器人大视角快速弯道运动将旋转矩阵R转化为四元数空间进行球面线性插值与平移矩阵t线性插值，校正两个关键帧之间的相邻普通帧位姿，优化两个关键帧之间机器人运行轨迹，恢复机器人丢失轨迹。

3.根据权利要求1所述的一种基于时滞特征回归的关键帧位姿优化视觉SLAM方法，其特征在于：所述步骤S1中，多尺度循环神经网络采用ConvLSTM网络，将梯度裁剪应用于ConvLSTM模块权重，在获取不同尺度下的帧图像时，使用双线性插值补全在多个尺度放缩下丢失像素值，在每个图像尺度上设计对应网络层，通过网络模型分级循环传播参数信息，使用对称的编码器-解码器CNN网络，首先将输入图像帧通过编码器逐步转换为具有更小空间尺寸与更多通道数的特征图，然后在解码器中将特征图转换回输入的形状，不同尺度特征图之间的跳跃连接用于组合不同网络层之间的图像信息并借助于梯度传播加速收敛，在模型结构内部具有隐藏状态的循环神经网络中，通过引入残差学习块改进ResBlock编码器-解码器。

4.根据权利要求1或2所述的一种基于时滞特征回归的关键帧位姿优化视觉SLAM方法，其特征在于：所述步骤S1中，在多尺度循环神经网络中的隐藏状态瓶颈层中插入卷积层用于连接不同尺度模糊图像，并为每个卷积层重新设计大小为5×5的大卷积核，改进后的网络模型可表示为：

式中，SR_E与SR_D为编码器与解码器，分别包含了2个阶段的EBlocks与DBlocks，μⁿ为图像编码输出，ε_E与ε_D为卷积网络参数，ε_LSTM为ConvLSTM中参数集，Bⁿ、φⁿ分别是第n个尺度模糊的图像和第n个待估计的清晰图像，隐藏状态υⁿ为多尺度循环神经网络中间结果与模糊图像信息，用于传递至下一尺度进行更精细的图像帧修复，δⁿ为输入图像。

5.根据权利要求2所述的一种基于时滞特征回归的关键帧位姿优化视觉SLAM方法，其特征在于：所述步骤S3中，假定外界环境中的路标节点保持静止时，此时只使用路标点在图像上的齐次像素坐标作为恒定量优化前后路标点在空间上位置，即

以路标点静止假设作为参考量，优化路标节点坐标

的公式表示为：

将前后重新计算变化的路标点

空间坐标式相结合，则可推导出基于关键帧与普通帧的位姿优化公式；根据机器人的视觉SLAM算法恒速运动模型，普通帧图像齐次像素坐标

不跟随环境中路标节点位置更新而改变，根据这一准则推导出运动恒等式；位姿优化公式和运动恒等式分别表示为：

在大视角快速弯道运动过程中每个特征点的深度值随着前后两张关键帧之间的像素平移差异的增加而增加，基于这一特性，假设平移比与深度比相等，可得关键帧与相邻普通帧之间的约束关系，并将其关系扩展到第k+1个关键帧与相邻普通帧，通过融合第k个与第k+1个关键帧的约束结果，可计算出关键帧与普通帧之间的平移矩阵

根据上述前后关键帧约束解可推导出两个关键帧之间插值表示为：

式中，P_m与

为优化前后路标节点坐标，

与

为优化前后路标点在关键帧图像上的齐次像素坐标，Z_m与

为优化前后关键帧路标点像素深度，K是相机内参矩阵；

与

分别是关键帧位姿修正前后的旋转与平移矩阵，δP_m为关键帧位姿优化过程中路标点空间位置的变化，

为以路标点齐次像素坐标作为恒定量优化后的路标节点坐标；

与

分别是优化前后关键帧到普通帧的旋转矩阵，

与

分别是优化前后关键帧到普通帧的平移矩阵，

与

分别是优化前后普通帧路标点像素深度，

与

分别是优化前后路标点在普通帧图像上的齐次像素坐标；

与

为优化后第k个关键帧到第k+1个关键帧的相对旋转与平移矩阵，α_i为优化前后关键帧路标点像素深度比，

表示球面线性插值，

表示平移矩阵t线性插值。

6.根据权利要求1所述的一种基于时滞特征回归的关键帧位姿优化视觉SLAM方法，其特征在于：所述步骤S2采用基于灰度块运动与ORB-SLAM3算法的关键帧并行选取策略，补充机器人大视角快速运动缺失关键帧；将图像帧从RGB空间映射YCbCr空间，计算图像帧每一块区域所有像素点的各个颜色分量(Y，Cr，Cb)的平均值作为该区域特征灰度，然后对每个区域特征灰度进行离散余弦变换；采用非线性量化抑制高频参数，取出Y分量6个低频系数与Cb、Cr分量各3个参数共12个参数作为该图像的颜色布局描述符，前后帧图像相似度用颜色布局描述符的特征向量距离判断，公式表示为：

式中，D_img1，2为前后帧图像的相似度，值越小，图像相似度越高，

分别是图像帧img1与img2的各颜色分量对应的第i个DCT(离散余弦变换)系数差值，w_Y、w_Cb、w_Cr为对应颜色分量权重。

7.根据权利要求6所述的一种基于时滞特征回归的关键帧位姿优化视觉SLAM方法，其特征在于：所述步骤S2还将输入帧图像分成尺寸为(W/6)×(H/6)的36个区域，使用图像灰度块判断第K帧中第i块区域G_i(K)与第K+1帧中第m块区域G_m(K+1)的相似度公式表示为：

式中，

为第K帧中第i块区域G_i(K)与第K+1帧中第m块区域G_m(K+1)的相似度，D_K，K+1(i)为对应图像块区域调整后的相似度，在

的基础上增加了遍历第K帧中第i区域和第K+1帧各区域相似度的最小值

增加相似度数值的唯一性；j表示在遍历过程中第K+1帧图像中的第j块区域；在第K帧中各块的相似度D_K，K+1(i)值乘以对应权重c_i并进行累加就得到前后帧图像相似度公式表示为：

式中，D_(K，K+1)为前后帧图像相似度，c_i为图像灰度块对应权重，根据构图理论将帧图像36区域进行分类并分配权重比。

8.根据权利要求6所述的一种基于时滞特征回归的关键帧位姿优化视觉SLAM方法，其特征在于：所述步骤S2中通过计算关键帧之间的旋转矩阵R与平移矩阵t进行关键帧的筛选优化，通过构建最小二乘法和SVD分解方法计算两帧间的运动向量，求解旋转矩阵R和平移矩阵t，公式表示为：

式中，p_j和p′_j分别为第一帧和第二帧图像中的第j点，e_j为第j对点(两帧图像中第j点)的误差项，R和t分别为两帧间的旋转矩阵和平移矩阵；

为求解欧式变换R、t，使得p_j和p′_j一一对应，定义第j对点的误差项为e_j，运用SVD方法求解ICP问题，最后构建最小二乘问题，求出使误差平方和达到最小的R和t；如果当前帧与上一帧之间的平移矩阵t小于平移阈值E，则说明两帧间相距较近，剔除当前关键帧，反之，则比较当前帧与上一帧之间的旋转矩阵R；若旋转矩阵R小于旋转阈值A，则说明两帧间旋转角度过小，剔除当前关键帧，反之则判断下一帧与当前帧的R和t。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-8中任一所述的一种基于时滞特征回归的关键帧位姿优化视觉SLAM方法的步骤。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如权利要求1-8中任一所述的一种基于时滞特征回归的关键帧位姿优化视觉SLAM方法的步骤。

Images