CN112556692B - 一种基于注意力机制的视觉和惯性里程计方法和系统 - Google Patents

Abstract

一种基于注意力机制的视觉和惯性里程计方法，包括如下步骤：预备数据序列；将一定长度数据输入编码器中，分别提取视觉特征和惯性特征；将上述视觉特征和惯性特征送入注意力模块，对两种特征进行加权，生成注意力图；注意力图输入到长短期记忆网络中模拟序列的时序关系，最后通过全连接层回归相邻帧之间的相对位姿。

Description

一种基于注意力机制的视觉和惯性里程计方法和系统

技术领域

本发明属于计算机视觉领域，特别是一种基于注意力机制的视觉和惯性里程计方法和系统。

背景技术

视觉-惯性里程计(VIO)在机器人领域获得了广泛关注，旨在结合相机传感器和惯性测量单元(IMU)传感器数据估计相机位姿。相比于单传感器的视觉里程计(VO)和惯性里程计(IO)，VIO在各种应用场景中位姿预测的准确性更高。传统的VIO使用手工设计的特征，而这受限人类的经验和知识，所以发展出了越来越多的端到端的VIO的框架来解决这一问题。

在基于深度学习的框架中，VIO任务的核心问题是视觉特征提取，惯性特征提取，和视觉特征与惯性特征的融合。目前，由于IMU数据量少，如何高效地从稀少的数据量中提取有效信息是一个技术难点，现有工作大多使用长短时记忆网络(LSTM)提取惯性特征，因为IMU数据时序依赖性较强，然而LSTM效率低，处理性能也不佳。同时，VO本身已经能够达到良好的性能，但如果视觉特征不能和惯性特征有效结合，惯性特征就会被当成噪声，无法帮助视觉特征达到提高定位性能的目的，现有的融合方法大多直接拼接两类特征，这种方法不能解决两类特征数据域分布不同的问题。

发明内容

本发明要解决的是现有方法中，惯性特征提取不够高效、快速，以及视觉特征与惯性特征融合不够有效的问题。

本发明所采用的技术方案是：一种基于注意力机制的视觉和惯性里程计方法，包括以下步骤：

S1，预备包括图像数据、IMU数据和真实相机位姿数据的序列，从中抽取图像片段V1、与V1对应的IMU数据U1；

S2，将V1输入视觉特征编码器，生成视觉特征，将U1输入惯性特征编码器，得到惯性特征；

S3,通过注意力机制将S2得到的视觉特征和惯性特征进行融合得到注意力图；

S4，将S3得到的将注意力图输入模拟时序关系的网络中，然后再回归相邻帧的相对位姿；

S5，利用损失函数计算S4中相对位姿的位姿误差；

S6，重复S1至S5，直到损失函数收敛，得到训练网络；

S7,将待预测的序列输入到S6得到的训练网络中，得出结果。

进一步的，所述S1中，在两帧之间的IMU数据维度保持一致的前提下，将图像大小缩放，然后进行图像增强。

进一步的，所述S2中得到惯性特征的方法为：将U1分解成加速度和角速度并分别输入惯性特征编码器，然后再在通道维度上进行拼接，之后调整形状将通道维度拆成两个维度，得到惯性特征。

进一步的，所述S3中，所述融合方法为：先将视觉特征和惯性特征在通道维度进行拼接，将拼接后的特征经过全局平均池化，再经过全连接层和ReLU激活层，然后经过全连接层，最后经过sigmoid激活层，得到权重,通过该权重对拼接的特征进行加权。

进一步的，所述S5中损失函数Ltotal计算公式为：

其中

为平移误差损失函数，

为旋转误差损失函数，λ用来平衡平移和旋转的权重系数；

所述

和

的计算公式均为：

其中，其中

中的x是预测的平移向量和真实的平移向量之间的欧氏距离，

中的x是预测的欧拉角和真实的欧拉角之间的欧氏距离，α和c为控制loss的参数。

进一步的，所述S2中，得到惯性特征后，对惯性特征进行插值，使其大小和视觉特征一致。

进一步的，所述图像增强包括修改亮度、对比度和饱和度。

进一步的，所述权重的取值范围为[0,1]。

一种基于注意力机制的视觉和惯性里程计系统，包含视觉特征编码器模块、惯性特征编码器模块、注意力模块；视觉特征编码器模块为神经网络，惯性特征编码器模块用于提取惯性特征，注意力模块使用注意力机制对视觉特征和惯性特征进行融合。

进一步的，视觉特征编码器模块为二维卷积神经网络，惯性特征编码器包括一维卷积层和最大池化层，注意力模块包括全局平均池化、全连接层、ReLU激活层、全连接层和Sigmoid激活层。

本发明同现有技术相比具有以下优点及效果：

1.本发明模型涉及到的惯性特征编码器能够快读高效地从IMU数据中提取有用的信息，最终这些信息帮助VO一起提高了位姿预测的精度。

2.本发明模型涉及到的注意力模块关注了相机传感器和IMU传感器的互补性，即IMU传感器对于短时快速运动可以提供较好的运动估计，相机数据相比于IMU不会有漂移，所以在不同场景下，注意力模块能有效学习视觉特征和惯性特征之间的权重关系，使得在不同场景下模型的性能鲁棒性更强。另一方面，注意力模块也解决了视觉特征和惯性特征数据分布不同的问题，使得特征融合更加有效。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明模型示意图；

图2为惯性特征编码器结构图；

图3为注意力模块结构图；

图4为注意力生成子模块结构图；

图5为惯性特征编码器消融实验结果图；

图6为注意力模块消融实验结果图；

图7为本发明位姿估计结果与其他方法的对比。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚，下面将结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1：

如图1所示，一种基于注意力机制的视觉-惯性里程计方法，包括以下步骤。

步骤1，数据准备，分成两步：

1.1，预备包含视频数据、IMU数据和真实相机位姿数据的序列，例如KITTI无人驾驶数据集，其包含汽车行驶的板载摄像头获取的视频数据、惯性导航系统采集的IMU数据和数据集提供的真实相机位姿数据。

1.2，从1.1中的视频序列抽取一段视频片段V1，V1优选为包含5-7帧数据连续的片段，然后从IMU序列中找到V1中相邻帧之间的IMU数据，保证相邻帧之间的IMU数据大小相同，如果出现IMU数据不够的情况，则双线性插值使得IMU数据大小保持一致。以上的视频片段V1和对应的IMU数据U1组成当前批的训练数据。同时，在V1输入网络之前，需要把片段中相邻两帧叠加。例如V1包含5帧数据，则V1的大小为5×3×416×128，将5帧的相邻帧前后叠加之后，得到大小为4×6×416×128的视觉数据V1'；如果V1包含5帧数据，那么U1的大小为4×11×6，6表示的是3维的加速度和3维的角速度，11是两帧之间的IMU序列长度，4表示总共有4对相邻帧。

步骤2，特征提取。将步骤1.2中的V1'和U1分别输入视觉编码器和惯性编码器中。在设计视觉编码和惯性编码器的时候，需要保证两个编码器输出的特征图大小相同，通道数可以相同或不同。

2.1视觉特征的提取。作为优选，视觉编码器使用的是现有的为VO任务设计的基于神经网络搜索技术的网络框架，输出的特征图大小是4×13。

2.2惯性特征的提取。惯性特征编码器的网络结构如图2所示，先经过两层一维卷积层，再经过一层最大池化层，接着重新调整形状，最后进行双线性插值，使得惯性特征编码器输出的特征图大小也是4×13。惯性特征编码器具体的网络参数设置如下：

层数	卷积核大小	卷积核数量	步长(stride)	填充(padding)
					1(一维卷积层)	3	128	1	0
2(一维卷积层)	3	128	1	0
					3(最大池化层)	3	/	1	1

惯性特征的提取过程如下：将IMU数据分为两路，一路是陀螺仪数据，大小为3×N，另一路是加速度计数据，大小也是3×N，其中3是角速度/加速度的维度，N是相邻帧之间的IMU数据采样数量。将这两路数据分别送入到两层的一维卷积神经网络中，紧接着是一层最大池化层，得到两路特征图；将两路特征图在通道维度上进行拼接，然后重新调整形状，将通道维度拆成两个维度，得到惯性特征图；对惯性特征图进行插值，使得其大小和视觉特征图保持一致，便于后续在通道上对视觉特征和惯性特征进行融合。

步骤3，用注意力机制对视觉特征和惯性特征进行融合，注意力机制作为神经网络结构的重要组成部分，能够抑制通道中没有用的特征，增强需要用到的特征，让整体网络更好地进行特征选择与融合，注意力机制由注意力模块构成。将步骤2得到的视觉特征和惯性特征送入注意力模块进行融合。注意力模块的结构如图3所示，先将视觉特征和惯性特征在通道维度拼接，然后送入注意力生成模块，如图4所示，该模块的输入大小是[H,W,C]，先经过全局平均池化输出大小为[1,1,C]，再经过全连接层和ReLU激活层输出大小为[1,1,C/r]，然后经过全连接层将输出大小恢复成[1,1,C]，最后经过sigmoid激活层，将C个权重的取值范围限制为[0,1]之间。最终该模块的输出大小是[1,1,C]；用注意力生成模块得到的权重对原始拼接的特征进行通道加权，得到注意力图。这种对两组特征整体的处理，可以同时学习到视觉内部特征和惯性内部特征的权重，同时也能学习到视觉特征和惯性特征之间的外部权重，解决两组特征数据域不同的问题，使得融合更加有效。

步骤4，位姿估计。将步骤3得到的注意力图输入到两层的LSTM网络中，其中hiddensize设置为128。LSTM网络可以模拟序列的时间依赖关系。最后是全连接层，预测6自由度的相对位姿，包括3维的平移向量和3维的欧拉角。然后利用自适应损失函数计算最终的损失函数：

其中

和

是平移向量和欧拉角预测值的自适应损失函数，λ用来平衡平移和旋转的权重系数，作为优选，λ取100。自适应损失函数计算方式如下：

其中x为预测的平移向量或欧拉角和真实值之间的欧氏距离，α和c为控制loss的参数。利用上述计算误差之后，进行反向传播更新网络参数。

步骤5，重复步骤1到步骤4，直到损失函数收敛，例如在KITTI数据集上迭代100个周期，得到基于注意力机制的视觉-惯性里程计模型。并利用KITTI数据集评价指标t_rel(％)(100m-800m长度上的平均平移RMSE漂移，即平移误差)和r_rel(％)(100m-800m长度上平均旋转RMSE漂移，即旋转误差)，来衡量模型的性能，记录训练过程中性能最好的模型作为最终测试集上使用的模型。图5是对于惯性特征编码器的消融实验，本发明CA-A在平移误差和旋转误差基本都是最低的，即预测出来的轨迹是最准确的。图6是对于注意力模块的消融实验，相比于只有相机传感器的VONAS-A方法、将两组特征直接拼接的方法DirectCat、以及将注意力模块替换成别的融合方式的CA-B,CA-C,CA-D方法，本发明CA-A的预测轨迹更加清晰。图7是本发明和其他模型的实验结果对比，本发明在平移误差和旋转误差基本都是最低的，即预测出来的轨迹是最准确的。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于注意力机制的视觉和惯性里程计方法，其特征在于，包括以下步骤：

S1，预备包括图像数据、IMU数据和真实相机位姿数据的序列，从中抽取图像片段V1、与V1对应的IMU数据U1；

S2，将V1输入视觉特征编码器，生成视觉特征，将U1输入惯性特征编码器，得到惯性特征；

S3,通过注意力机制将S2得到的视觉特征和惯性特征进行融合得到注意力图；

S4，将S3得到的注意力图输入模拟时序关系的网络中，然后再回归相邻帧的相对位姿；

S5，利用损失函数计算S4中相对位姿的位姿误差；

S6，重复S1至S5，直到损失函数收敛，得到训练网络；

S7,将待预测的序列输入到S6得到的训练网络中，得出结果。

2.根据权利要求1所述的基于注意力机制的视觉和惯性里程计方法，其特征在于，所述S1中，在两帧之间的IMU数据维度保持一致的前提下，将图像大小缩放，然后进行图像增强。

3.根据权利要求1所述的基于注意力机制的视觉和惯性里程计方法，其特征在于，所述S2中得到惯性特征的方法为：将U1分解成加速度和角速度并分别输入惯性特征编码器，然后再在通道维度上进行拼接，之后调整形状将通道维度拆成两个维度，得到惯性特征。

4.根据权利要求1所述的基于注意力机制的视觉和惯性里程计方法，其特征在于，所述S3中，所述融合方法为：先将视觉特征和惯性特征在通道维度进行拼接，将拼接后的特征经过全局平均池化，再经过全连接层和ReLU激活层，然后经过全连接层，最后经过sigmoid激活层，得到权重,通过该权重对拼接的特征进行加权。

5.根据权利要求1所述的基于注意力机制的视觉和惯性里程计方法，其特征在于，所述S5中损失函数Ltotal计算公式为：

其中

为平移误差损失函数，

为旋转误差损失函数，λ用来平衡平移和旋转的权重系数；

所述

和

的计算公式均为：

其中，其中

中的x是预测的平移向量和真实的平移向量之间的欧氏距离，

中的x是预测的欧拉角和真实的欧拉角之间的欧氏距离，α和c为控制loss的参数。

6.根据权利要求1所述的基于注意力机制的视觉和惯性里程计方法，其特征在于，所述S2中，得到惯性特征后，对惯性特征进行插值，使其大小和视觉特征一致。

7.根据权利要求2所述的基于注意力机制的视觉和惯性里程计方法，其特征在于，所述图像增强包括修改亮度、对比度和饱和度。

8.根据权利要求4所述的基于注意力机制的视觉和惯性里程计方法，其特征在于，所述权重的取值范围为[0,1]。

9.一种基于注意力机制的视觉和惯性里程计系统，采用权利要求1-8任一项所述的基于注意力机制的视觉和惯性里程计方法，其特征在于，包含视觉特征编码器模块、惯性特征编码器模块、注意力模块；视觉特征编码器模块为神经网络，惯性特征编码器模块用于提取惯性特征，注意力模块使用注意力机制对视觉特征和惯性特征进行融合。

10.根据权利要求9所述的基于注意力机制的视觉和惯性里程计系统，其特征在于，视觉特征编码器模块为二维卷积神经网络，惯性特征编码器包括一维卷积层和最大池化层，注意力模块包括全局平均池化、全连接层、ReLU激活层、全连接层和Sigmoid激活层。

Images