CN110766024A - 基于深度学习的视觉里程计特征点提取方法及视觉里程计 - Google Patents

Abstract

本发明公开了一种基于深度学习的视觉里程计特征点提取方法及视觉里程计，首先构建深度学习特征点模型，然后优化深度学习特征点模型，接着特征点检测，最后进行特征点匹配；本发明使用深度学习的方法解决图像特征点提取与匹配问题，可以自由灵活的设计角点特征。本发明实时性是视觉里程计性能的重要参考标准之一，使用深度学习特征点法相较于传统方法可以更充分地利用图形显卡硬件资源，从而达到加速目的。本发明相较于传统的特征点法，在视点变化、光度变化场景下，检测精度明显提高，鲁棒性明显增强。

Description

基于深度学习的视觉里程计特征点提取方法及视觉里程计

技术领域

本发明属于计算机视觉、模式识别与机器学习技术领域，涉及一种视觉里程计特征点提取方法及视觉里程计，尤其涉及一种基于深度学习的提高视觉里程计特征点提取稳定性的方法及视觉里程计。

背景技术

即时定位和建图(SLAM)是解决机器人、无人驾驶、增强现实和虚拟现实中导航定位的重要技术。SLAM技术起源于国外，近年来也逐渐成为国内产业界和学术研究的热点。SLAM是指搭载特定传感器的主体，在没有环境先验信息的情况下，根据运动引起的图像变化，估计相机的运动以及周边地图。视觉里程计(VO)是SLAM的重要组成部分。

从前端来看，VO可分为两大类：特征点法、直接法或光流法。基于特征点法的VO根据已提取的特征点使用多视图几何方法求解相机的位姿，而直接法或光流法基于光度不变假设来直接计算相机位姿。本发明属于特征点法的范畴。在计算机视觉领域，SIFT算法提取的特征点展现了出众的效果，SURF算法相较于SIFT算法在速度上具有明显优势。由于SLAM对实时性要求较高，SIFT、SURF两种算法因效率问题都无法胜任前端VO。FAST算法是一种速度很快的关键点提取算法，但它不具有描述子，因此匹配效果较差。ORB算法在FAST角点基础上增加了尺度和旋转的描述，在效果和速度上非常均衡，是特征点法SLAM常用的算法。

SLAM作为2D、3D视觉领域结合的热点问题，通常由传统的图像处理和机器学习手段去解决，因空间几何难度和实时性的限制，这些方法很难像解决纯2D视觉问题那样完全被深度学习所替代。图像特征点提取属于2D视觉的范畴，而深度学习中的神经网络在图像特征提取方面具有卓越的优势。基于深度学习的特征点与传统特征点相似，包含关键点和描述子。LIFT利用深度学习网络框架实现了特征点的检测、方向估计和特征描述，相比于SIFT提取的特征点更加稠密。MagicPoint使用双卷积神经网络架构，一个用来提取图像角点，另一个用来对两幅图像的角点进行匹配。

发明内容

针对特征点法的视觉里程计中光度、视点变化对特征点提取稳定性降低的不利影响，本发明提出一种基于深度学习的视觉里程计特征点提取方法。

本发明所采用的技术方案是：一种基于深度学习的视觉里程计特征点提取方法，其特征在于，包括以下步骤：

步骤1：构建深度学习特征点模型；

所述模型是利用自监督学习方式对角点进行提取并生成对应描述子的网络模型，包括对人工角点预训练、对真实图片角点自标注、联合训练三个阶段；

步骤2：优化深度学习特征点模型；

步骤3：特征点检测；

步骤4：特征点匹配。

本发明还提供了一种视觉里程计，其特征在于：利用基于深度学习的视觉里程计特征点提取方法，针对单目相机的运动进行建模，模型的输入信息为图像的2D像素坐标；对于两帧图像的匹配

通过式9，建立对极约束方程并使用随机一致性方法求出基础矩阵F，对于特征点落在平面的情况则求解单应矩阵H，使用矩阵分解方法从F和H中恢复位姿T_i,i+1；

其中，i为第i幅图像，m表示第i幅图像

的特征点的序数。

将首次平移的尺度初始化为真实值大小；通过三角化测量匹配的特征点在相机坐标系的三维空间坐标分别为

与

对于任意一个特征点，位姿变换关系理论上满足：

其中T_i,i+1为第i帧到第i+1帧的位姿变换；

构造目标函数为T_i,i+1的最小化重投影误差方程：

分别使用基础矩阵F和单应矩阵H两种方法求解相机位姿变化，选择最小化重投影误差中的较小者，作为最优的相机位姿参数和特征点对应的三维空间坐标。

本发明与现有算法相比，其显著优点在于：

(1)使用深度学习的方法解决图像特征点提取与匹配问题，可以自由灵活的设计角点特征。

(2)算法实时性是视觉里程计性能的重要参考标准之一，使用深度学习特征点法相较于传统方法可以更充分地利用图形显卡硬件资源，从而达到加速目的。

(3)本发明的算法相较于传统的特征点法，在视点变化、光度变化场景下，检测精度明显提高，鲁棒性明显增强。

附图说明

图1为本发明实施例的方法流程图；

图2为本发明实施例的深度学习特征点训练流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1，本发明提供的一种基于深度学习的视觉里程计特征点提取方法，包括以下步骤：

步骤1：构建深度学习特征点模型；

模型是利用自监督学习方式对角点进行提取并生成对应描述子的网络模型，包括对人工角点预训练、对真实图片角点自标注、联合训练三个阶段；

请见图2，步骤1的具体实现包括以下子步骤：

步骤1.1：对人工角点预训练；

使用OpenCV图像处理库生成数量庞大的包含简单几何形状的图像，图像中加入了适量的高斯噪声，并记录相应的角点标注信息(标签)；使用VGG-16网络对这些人工生成的标注图像进行训练得到一个基础角点检测器。

步骤1.2：对真实图片角点自标注；

结合Homegraphic Adaptation方法，使用步骤1.1中得到的角点检测器对大量的自然场景图像进行角点提取，即通过自监督的方式得到了自然场景图像的角点标注信息。

步骤1.3：联合训练；

使用Warp方法，对步骤1.2中所得的带有标注信息的图像进行仿射变换，生成角点标注图像对；使用VGG-16网络对角点标注图像对进行再训练，通过最小化角点距离误差函数和图像对匹配误差函数，得到可以同时提取角点和描述子的模型。

步骤2：优化深度学习特征点模型；

针对视觉里程计对光照变化鲁棒性较差的特征，在步骤1.3的联合训练过程中，对仿射变换的图像进一步实施光度变换，本发明使用亮度非线性逐点调整方法对图像亮度进行Gamma调整，图像亮度Gamma调整如公式(1)所示：

I′_(x,y)＝(I_(x,y)/255)^γ·255,0.5≤γ≤2 (1)

其中，I_(x,y)和I′_(x,y)分别是像素(x,y)的灰度值和校正值，γ为调整参数，取值区间为[0.5,2]，当γ值大于1可增加图像亮度，反之则降低图像亮度。γ值的变化较好地模拟了相机捕获自然场景图像时图像细节的放大或抑制。将受到不同光照的图像对放入深度学习特征点训练网络框架中训练，有利于网络学习到由光照引起的图像细节变化，从而使得最终检测到的特征点置信度更高，描述子的性能更优。

步骤3：特征点检测；

传统的特征点包含点的像素坐标和描述子，描述子为特征点的特征向量。本发明中所提出的深度学习特征点和传统的特征点不同，其角点还包含置信度信息。深度学习特征点检测器对单张图像进行特征点提取，得到特征点集P，对于某个特征点(x,d)∈P，其中x为角点，d为对应的描述子，其形式如式(2)、(3)所示。x为一个列向量，表示单个角点，u,v为角点在图像的像素坐标，第3维c为角点像素坐标的置信度。d为描述子，d₀～d₂₅₅为描述子每个维度的大小。

x＝(u,v,c)^T,c∈(0,1) (2)

d＝(d₀,d₁,…,d₂₅₅)^T,d_i∈(-1,1),i＝0,1,...,255 (3)

使用深度学习特征点检测器对图像进行角点提取时，若图像的角点和纹理比较丰富时，检测的特征点会出现局部拥挤现象，需经过必要的角点剔除和筛选，否则会形成角点冗余，且造成较多的误匹配。DSP特征点不仅包含角点像素坐标，还包含角点对应的置信度，根据这一特点，本发明使用非极大值抑制方法对角点进行筛选：

(1)首先创建一个像素网格矩阵G，其维度为h×w，h、w分别等于被检测图像的像素高度和宽度。

(2)提取角点x的像素坐标(u,v)为索引值，将G中对应元素赋值为1，其余赋值为0。

(3)创建一个形状为α×α的滑动窗口W，其中α为抑制距离，以α为横向和纵向步长对G进行遍历，并将遍历重叠部分的角点置信度按照维度索引赋值给A。

(4)以公式(4)为判定标准对角点进行抑制，其中P_x表示特征点的角点集合；

(5)经过遍历，G中元素等于-1的维度索引，即为最终保留的特征点的像素坐标。

步骤4：特征点匹配；

在特征点法的视觉里程计中，特征点匹配是进行相机位姿估计的先行步骤。本发明利用训练收敛的模型作为特征点检测器，检测结果为角点和对应的描述子。使用特征点检测器和非极大值抑制方法，在图像I_i中提取出特征点，得到特征点集

在图像I_i+1中提取出特征点，得到特征点集其中M,N为两帧图像检测到的特征点数量，描述子为浮点数类型，维度为256×1。本发明中图像特征点的匹配，本质上是根据描述子的相似程度进行配对。本发明使用双向最邻近方法对描述子进行匹配。如公式(5)所示，由于此描述子类型为浮点数，可以对每个描述子进行归一化处理得到

使用欧氏距离作为描述子相似程度的度量范数。如公式(6)所示，为两个描述子在欧氏距离上的相似度表示，距离d^m,n限定在阈值δ内，其值越小，表示两个描述子的匹配程度越高。

其中，

为描述子，对每个描述子进行归一化处理得到

为对第i幅图像的第k个描述子

进行归一化得到的结果，N为自然数；

如公式(7)所示，在给定前一帧图像的某个特征点时，求出下一帧图像的特征点

使得描述子的距离(小于阈值δ)最小化，即为一个匹配点对(m,n^*)，这样的所有匹配点对构成了两帧图像的特征点匹配集合A_m→n，称之为m→n方向的最邻近匹配。为了提升匹配的准确率，按照公式(7)计算n→m方向的最邻近匹配，得到匹配集合B_n→m，距离阈值δ用于过滤误匹配的情况。则最终的匹配集合为

为A_m→n和B_n→m的交集，如公式(8)所示，特征点双向最邻近匹配集合为A_m→n∩B_n→m。

本发明还提供了一种视觉里程计，本发明针对单目相机的运动进行建模，模型的输入信息为图像的2D像素坐标，因而问题转化成通过2D点估计相机运动。对于两帧图像的匹配

如式(9)所示，建立对极约束方程并使用随机一致性方法求出基础矩阵F，对于特征点落在平面的情况则求解单应矩阵H，使用矩阵分解方法从F和H中恢复位姿T_i,i+1。

其中，i为第i幅图像，m表示第i幅图像

的特征点的序数。

单目视觉里程计存在尺度不确定性，对此需要进行初始化。本发明将首次平移的尺度初始化为真实值大小。通过三角化测量匹配的特征点在相机坐标系的三维空间坐标分别为

与

对于任意一个特征点，位姿变换关系理论上满足公式(10)，其中T_i,i+1为第i帧到第i+1帧的位姿变换，实际图像往往存在噪声，因此构造目标函数为T_i,i+1的最小化重投影误差方程，如公式(11)所示。

分别使用基础矩阵F和单应矩阵H两种方法求解相机位姿变化，选择最小化重投影误差中的较小者，作为最优的相机位姿参数和特征点对应的三维空间坐标。

应当理解的是，本说明书未详细阐述的部分均属于现有技术；上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (8)

1.一种基于深度学习的视觉里程计特征点提取方法，其特征在于，包括以下步骤：

步骤1：构建深度学习特征点模型；

所述模型是利用自监督学习方式对角点进行提取并生成对应描述子的网络模型，包括对人工角点预训练、对真实图片角点自标注、联合训练三个阶段；

步骤2：优化深度学习特征点模型；

步骤3：特征点检测；

步骤4：特征点匹配。

2.根据权利要求1所述的基于深度学习的视觉里程计特征点提取方法，其特征在于：步骤1中所述对人工角点预训练，使用OpenCV图像处理库生成预定数量的包含简单几何形状的图像，图像中加入高斯噪声，并记录相应的角点标注信息，作为标签；使用VGG-16网络对这些人工生成的标注图像进行训练得到一个基础角点检测器。

3.根据权利要求2所述的基于深度学习的视觉里程计特征点提取方法，其特征在于：步骤1中所述对真实图片角点自标注，结合Homegraphic Adaptation方法，使用人工角点预训练中得到的基础角点检测器对若干自然场景图像进行角点提取，即通过自监督的方式得到自然场景图像的角点标注信息。

4.根据权利要求3所述的基于深度学习的视觉里程计特征点提取方法，其特征在于：步骤1中所述联合训练，使用Warp方法，对真实图片角点自标注中所得的带有标注信息的图像进行仿射变换，生成角点标注图像对；使用VGG-16网络对角点标注图像对进行再训练，通过最小化角点距离误差函数和图像对匹配误差函数，得到能同时提取角点和描述子的模型。

5.根据权利要求4所述的基于深度学习的视觉里程计特征点提取方法，其特征在于：步骤2中所述优化深度学习特征点模型，针对联合训练中，对仿射变换的图像进一步实施光度变换，使用亮度非线性逐点调整方法对图像亮度进行Gamma调整，图像亮度Gamma调整为：

I'_(x,y)＝(I_(x,y)/255)^γ·255,0.5≤γ≤2 (1)

其中，I_(x,y)和I'_(x,y)分别是像素(x,y)的灰度值和校正值，γ为调整参数，取值区间为[0.5,2]，当γ值大于1可增加图像亮度，反之则降低图像亮度。

6.根据权利要求4所述的基于深度学习的视觉里程计特征点提取方法，其特征在于，步骤3的具体实现包括以下子步骤：

步骤3.1：对单张图像进行特征点提取，得到特征点集P，对于某个特征点(x,d)∈P，其中x为角点，d为对应的描述子；

x＝(u,v,c)^T,c∈(0,1) (2)

d＝(d₀,d₁,…,d₂₅₅)^T,d_i∈(-1,1),i＝0,1,...,255 (3)

其中，x为一个列向量，表示单个角点，u,v为角点在图像的像素坐标，第3维c为角点像素坐标的置信度；d为描述子，d₀～d₂₅₅为描述子每个维度的大小；

步骤3.2：使用非极大值抑制方法对角点进行筛选；

(1)首先创建一个像素网格矩阵G，其维度为h×w，h、w分别等于被检测图像的像素高度和宽度；

(2)提取角点x的像素坐标(u,v)为索引值，将G中对应元素赋值为1，其余赋值为0；

(3)创建一个形状为α×α的滑动窗口W，其中α为抑制距离，以α为横向和纵向步长对G进行遍历，并将遍历重叠部分的角点置信度按照维度索引赋值给A；

(4)以公式4为判定标准对角点进行抑制，其中P_x表示特征点的角点集合；

(5)经过遍历，G中元素等于-1的维度索引，即为最终保留的特征点的像素坐标。

7.根据权利要求4所述的基于深度学习的视觉里程计特征点提取方法，其特征在于：步骤4中，使用双向最邻近方法对描述子进行匹配；

匹配公式为：

其中，d_i ^k为描述子，对每个描述子进行归一化处理得到

为对第i幅图像的第k个描述子

进行归一化得到的结果，N为自然数；

使用欧氏距离d^m,n作为描述子相似程度的度量范数，

d^m,n为两个描述子在欧氏距离上的相似度表示，距离d^m,n限定在阈值δ内，其值越小，表示两个描述子的匹配程度越高；

在给定前一帧图像的某个特征点

时，求出下一帧图像的特征点

使得描述子的距离最小化，即为一个匹配点对(m,n^*)，这样的所有匹配点对构成了两帧图像的特征点匹配集合A_m→n，称之为m→n方向的最邻近匹配；为了提升匹配的准确率，按照公式7计算n→m方向的最邻近匹配，得到匹配集合B_n→m，距离阈值δ用于过滤误匹配的情况；则最终的匹配集合为

为A_m→n和B_n→m的交集，特征点双向最邻近匹配集合为A_m→n∩B_n→m；

。

8.一种视觉里程计，其特征在于：利用权利要求1-7任意一项所述的基于深度学习的视觉里程计特征点提取方法，针对单目相机的运动进行建模，模型的输入信息为图像的2D像素坐标；对于两帧图像的匹配

通过式9，建立对极约束方程并使用随机一致性方法求出基础矩阵F，对于特征点落在平面的情况则求解单应矩阵H，使用矩阵分解方法从F和H中恢复位姿T_i,i+1；

其中，i为第i幅图像，m表示第i幅图像

的特征点的序数；

将首次平移的尺度初始化为真实值大小；通过三角化测量匹配的特征点在相机坐标系的三维空间坐标分别为

与

对于任意一个特征点，位姿变换关系理论上满足：

其中T_i,i+1为第i帧到第i+1帧的位姿变换；

构造目标函数为T_i,i+1的最小化重投影误差方程：

分别使用基础矩阵F和单应矩阵H两种方法求解相机位姿变化，选择最小化重投影误差中的较小者，作为最优的相机位姿参数和特征点对应的三维空间坐标。

Images