CN110322507B - 一种基于深度重投影和空间一致性特征匹配的方法 - Google Patents

Abstract

本发明公开了一种基于深度重投影和空间一致性特征匹配的方法，包括以下步骤：使用RGBD相机获得RGBD图像和深度图像，生成三维点云并利用RANSAC提取平面；使用ORB对生成的点云图像进行特征点提取，建立描述子；通过KNN算法建立两帧之间的粗略对应关系；利用特征点的空间一致性得到更可靠的对应关系，进行特征匹配，给定3D坐标，通过图优化得到可靠的匹配特征。本发明通过利用特征点的空间一致性更可靠地提取帧之间的对应关系，提高了特征匹配的准确性和鲁棒性。

Description

一种基于深度重投影和空间一致性特征匹配的方法

技术领域

本发明涉及适用于智能机器人、无人飞行器等自主导航领域，特别是涉及一种基于深度重投影和空间一致性特征匹配的方法。

背景技术

随着计算机视觉技术的不断发展以及自主导航技术的不断进步，视觉SLAM正成为无人机、智能机器人等方向的研究热点。SLAM的主要目研究标是同时进行设备的定位与周边三维地图的构建。指搭载特殊传感器的设备，在没有先验信息的基础上，在整个运动过程中估计自己的运动状态，并建立环境的模型。视觉里程计就是估计摄像机相对其周围环境的位姿变化。

视觉SLAM系统中，常用的相机种类主要是单目相机，多目相机以及RGBD相机，多目相机中又以双目相机为主。由于RGB-D相机成本低，重量轻，可以提供彩色图像和深度图像，基于RGB-D相机的SLAM系统使我们能够更轻松地匹配帧，估计并重建3D环境。

许多RGB-D SLAM系统采用迭代最近点(ICP)和RANSAC作为标准算法来对齐特征点。但是，当数据中的噪声增加或帧之间的偏移很大时，RANSAC的结果可能不可靠。为了提高这种场景中轨迹估计的准确性，提出了一种利用RGB-D SLAM中点特征的空间一致性进行特征匹配的新方法。通过利用点特征的空间结构信息，我们的方法可以比使用RANSAC的特征匹配方法更可靠地提取帧之间的对应关系，特征匹配的准确性增加。

发明内容

针对数据中的噪声或帧之间的偏移变大时，基于RANSAC的特征匹配算法的准确性受到影响，本发明提供一种基于深度重投影和空间一致性特征匹配的方法，通过利用特征点的空间一致性更可靠地提取帧之间的对应关系，提高了特征匹配的准确性和鲁棒性，为达此目的，本发明提供一种基于深度重投影和空间一致性特征匹配的方法，包括以下步骤：

步骤1：使用RGBD相机获取场景中的彩色图和深度图，利用RANSAC算法生成点云并提取局部平面；

其中平面的模型为P＝(a,b,c,d)＝{x,y,z|ax+by+cz+d＝0}，a,b,c,d为待估计的参数，d^*为每个关键点的深度值；

根据深度重投影方程计算每个内点的位置,减小d^*的噪声；

步骤2：对步骤1得到的平面进行特征点提取，采用KNN算法对步骤1中的特征点进行初始匹配；

步骤3：根据步骤2得到的结果，确定相应特征点p_i和p_i'之间的距离d_ii',定义函数

来衡量空间一致性得分；

其中c_i和c_j两个N维点集,d_ii'为欧几里得距离；

步骤4：构建图G＝(V,E)，给定两组帧P、Q和对应映射特征点对(i,i')的集合C；

其中V是顶点集合，E是边集合；

步骤5：(1)构建关联矩阵M,给定n个候选赋值的列表C，每个赋值的关联度a∈C和每对赋值a,b∈C存储在n×n的矩阵M中；

其中

(2)给定两组特征点的集合给定两组帧P、Q，引入指示向量l来描述所有初始对应关系的匹配结果，双射约束可以表示线性约束Ax≤b；

其中A为稀疏矩阵，由0和1两个元素构成；

步骤6：步骤6：消除假阳性匹配包括如下具体步骤:

(1)利用光谱匹配技术求解l_b ^*,给定仿射矩阵M,求解M的主特征值及其对应的特征向量，其中主特征向量记为l^*；

(2)对l^*中的元素进行排序，找到最大的元素a，将l_b ^*(a)赋值为1，然后迭代地按照降序找到l^*中的所有元素b,若这些元素不与已有标记的元素发生冲突，l_b ^*(b)被赋值为1，否则每个冲突元素的指示向量被赋值为0；

(3)当获得向量l时，就能从初始匹配中消除假阳性匹配，当移除指示向量为0的异常值时，就可以获得可靠的特征匹配，利用这些可靠的匹配点的3D位置计算改进的变换，输出匹配特征；

至此，完成基于深度重投影和空间一致性特征匹配全过程。

作为本发明进一步改进，步骤1中所述的平面提取和深度重投影具体包括如下步骤：

步骤1.1：使用RANSAC算法估计平面的系数和内点；

步骤1.2：采用ORB算法对平面进行特征点提取，计算每个特征点的描述子；

步骤1.3：将关键点从每个平面投影到焦平面，设(u,v)为图像中的点坐标，d为深度测量，(x,y,z)为点云中的空间位置，可得到重投影方程：

其中f_x,f_y,cx,cy是相机的内参，s是比例因子。

步骤1.4：投影后，恢复每个平面的灰度图像，检测ORB关键点，通过计算视线与提取的平面的交点来估计每个关键点的深度值d^*；

步骤1.5：利用(u,v,d^*)和重投影方程计算每个特征点的三维坐标(x,y,z)的值，以减小噪声。

作为本发明进一步改进，步骤2中所述的建立相邻两帧之间的特征对应关系具体包括如下步骤：

步骤2.1：根据描述子，利用KNN算法建立相邻两帧之间的粗略对应。

作为本发明进一步改进，步骤3中所述的确定对应特征点之间的距离和衡量空间一致性得分包括如下步骤：

步骤3.1：根据欧几里得公式

计算对应特征点之间的距离；

步骤3.2：给定N维点集c_i和c_j，定义空间一致性得分函数

其中σ_d为距离差的方差，且为可调参数；

当0≤S_d＝(c_i,c_j)≤1时，即认为c_i和c_j在空间上是一致对应的，予以保留；当S_d＝(c_i,c_j)＞1时，c_i和c_j在空间上不一致对应，予以剔除。

作为本发明进一步改进，步骤4中所述的构建空间一致性图和给定特征点对的集合具体包括以下步骤：

步骤4.1：P和Q中属于C中某些对的特征点是内点，P和Q中不属于C中某些对的特征点是外点；

步骤4.2：节点v_i∈V和C中的特征点对初始对应，每条边e_ij∈E是权重w(i,j)＝S_d(c_i,c_j),用来描述c_i对应c_j的空间一致性；

作为本发明进一步改进，所述步骤5具体包括如下步骤：

步骤5.1：对于每一个候选赋值(i',j')，利用得分或者关联度来衡量P中的元素i，和Q中的元素i'的匹配程度；

步骤5.2：对于每一对赋值(a,b)，a＝(i,i')，b＝(j,j')，利用关联度衡量数据特征(i,j)和模型特征(i',j')的兼容性；

步骤5.3:每个对角元素m_ii用来描述初始对应c_i中的特征相似性，每个非对角元素m_ij测量对应c_i和c_j之间的空间一致性；

步骤5.4：将m_ij＝S_d＝(c_i,c_j)设置为空间一致性得分，d_ij和d_i'j'分别是点i和j之间以及它们的候选匹配之间的欧几里得距离。

作为本发明进一步改进，步骤6中引入指示向量l来描述所有初始对应关系具体包括如下步骤：

步骤6.1：对于帧P中的特征点p_i和帧Q中的特征点p_i'，向量l_i定义为:若点p_i和点p_i'是匹配的，则l_i＝1,否则为0，并且不再映射到P_j(i≠j)，A为稀疏矩阵，由0和1两个元素构成。A的每一行上非零元素显示与一帧中的相同关键点相关联的对应关系；

求解最优解l_b ^*；

步骤6.2：利用光谱匹配技术求解l_b ^*,给定仿射矩阵M,求解M的主特征值及其对应的特征向量，其中主特征向量记为l^*；

步骤6.3：对l^*中的元素进行排序，找到最大的元素a，将l_b ^*(a)赋值为1，然后迭代地按照降序找到l^*中的所有元素b,若这些元素不与已有标记的元素发生冲突，l_b ^*(b)被赋值为1，否则每个冲突元素的指示向量被赋值为0；

步骤6.4：当获得向量l时，就能从初始匹配中消除假阳性匹配，当移除指示向量为0的异常值时，就可以获得可靠的特征匹配，利用这些可靠的匹配点的3D位置计算改进的变换。

本发明公开了一种基于深度重投影和空间一致性特征匹配的方法，包括以下步骤：使用RGBD相机获得RGBD图像和深度图像，生成三维点云并利用RANSAC提取平面；使用ORB对生成的点云图像进行特征点提取，建立描述子；通过KNN算法建立两帧之间的粗略对应关系；利用特征点的空间一致性得到更可靠的对应关系，进行特征匹配，给定3D坐标，通过图优化得到可靠的匹配特征。本发明通过利用特征点的空间一致性更可靠地提取帧之间的对应关系，提高了特征匹配的准确性和鲁棒性。

附图说明

图1是本发明的方法流程图；

图2是本发明的空间一致性的示意图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述：

本发明提供一种基于深度重投影和空间一致性特征匹配的方法，通过利用特征点的空间一致性更可靠地提取帧之间的对应关系，提高了特征匹配的准确性和鲁棒性。

为使本发明的目的、技术方案和优点更加清楚明白，结合附图，对本发明进一步详细说明。

图1是本发明的方法流程图。如图1所示，本发明提出的基于深度重投影和空间一致性的特征匹配方法包括以下步骤：

步骤1：使用RGBD相机获取场景中的彩色图和深度图，利用RANSAC算法生成点云并提取局部平面；

其中平面的模型为P＝(a,b,c,d)＝{x,y,z|ax+by+cz+d＝0}，a,b,c,d为待估计的参数，d^*为每个关键点的深度值

根据深度重投影方程计算每个内点的位置,减小d^*的噪声；

步骤2：对步骤1得到的平面进行特征点提取，采用KNN(K-NearestNeighbor)算法对步骤1中的特征点进行初始匹配；

步骤3：根据步骤2得到的结果，确定相应特征点p_i和p_i'之间的距离d_ii',定义函数

来衡量空间一致性得分；

其中c_i和c_j两个N维点集,d_ii'为欧几里得距离；

步骤4：构建图G＝(V,E)，给定两组帧P、Q和对应映射特征点对(i,i')的集合C；

其中V是顶点集合，E是边集合；

步骤5：(1)构建关联矩阵M,给定n个候选赋值的列表C，每个赋值的关联度a∈C和每对赋值a,b∈C存储在n×n的矩阵M中。

其中

(2)给定两组特征点的集合给定两组帧P、Q，引入指示向量x来描述所有初始对应关系的匹配结果，双射约束可以表示线性约束Ax≤b。

其中A为稀疏矩阵，由0和1两个元素构成。

步骤6:改写总得分S，利用光谱匹配技术求解x_b ^*。

其中

s.t.Ax≤b,x_b ^*∈(0,1)ⁿ。在给定映射约束情况下，最优解x^*是二进制向量，最大化得分。

相比于RANSAC(Random Sample Consensus)算法，当噪声增加或者帧之间的偏移很大时，基于深度重投影和空间一致性的特征匹配方法可以有效减小错误匹配，具体步骤如下：

步骤1.1：使用RANSAC算法估计平面的系数和内点；

步骤1.2：采用ORB(Oriented FAST and Rotated BRIEF)算法对平面进行特征点提取，计算每个特征点的描述子。

步骤1.3：将关键点从每个平面投影到焦平面，设(u,v)为图像中的点坐标，d为深度测量，(x,y,z)为点云中的空间位置，可得到重投影方程：

其中f_x,f_y,cx,cy是相机的内参，s是比例因子。

图2是空间一致性型匹配，如果匹配正确，则帧P和帧Q中对应特征点的空间结构相似，刚体转换后，三维空间中特征点的空间结构保持不变，这些点的3D空间位置用于空间一致性的特征匹配，具体步骤如下：

步骤2.1：根据描述子，利用KNN算法建立相邻两帧之间的粗略对应

步骤3.1：根据欧几里得公式

计算对应特征点之间的距离；

步骤3.2：给定N维点集c_i和c_j，定义空间一致性得分函数

其中σ_d为距离差的方差，且为可调参数；

当0≤S_d＝(c_i,c_j)≤1时，即认为c_i和c_j在空间上是一致对应的，予以保留；当S_d＝(c_i,c_j)＞1时，c_i和c_j在空间上不一致对应，予以剔除；

图优化包括以下具体步骤：

步骤4.1：P和Q中属于C中某些对的特征点是内点，P和Q中不属于C中某些对的特征点是外点；

步骤4.2：节点v_i∈V和C中的特征点对初始对应，每条边e_ij∈E是权重w(i,j)＝S_d(c_i,c_j),用来描述c_i对应c_j的空间一致性。

步骤5.1：对于每一个候选赋值(i',j')，利用得分或者关联度来衡量P中的元素i，和Q中的元素i'的匹配程度；

步骤5.2：对于每一对赋值(a,b)，a＝(i,i')，b＝(j,j')，利用关联度衡量数据特征(i,j)和模型特征(i',j')的兼容性；

步骤5.3:每个对角元素m_ii用来描述初始对应c_i中的特征相似性，每个非对角元素m_ij测量对应c_i和c_j之间的空间一致性；

步骤5.4：将m_ij＝S_d＝(c_i,c_j)设置为空间一致性得分，d_ij和d_i'j'分别是点i和j之间以及它们的候选匹配之间的欧几里得距离。

消除假阳性匹配包括如下具体步骤:

步骤6.1：利用光谱匹配技术求解l_b ^*,给定仿射矩阵M,求解M的主特征值及其对应的特征向量，其中主特征向量记为l^*。

步骤6.2：对l^*中的元素进行排序，找到最大的元素a，将l_b ^*(a)赋值为1，然后迭代地按照降序找到l^*中的所有元素b,若这些元素不与已有标记的元素发生冲突，l_b ^*(b)被赋值为1，否则每个冲突元素的指示向量被赋值为0。

步骤6.3：当获得向量l时，就能从初始匹配中消除假阳性匹配。当移除指示向量为0的异常值时，就可以获得可靠的特征匹配，利用这些可靠的匹配点的3D位置计算改进的变换，输出匹配特征。

至此，完成基于深度重投影和空间一致性特征匹配全过程。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (7)

1.一种基于深度重投影和空间一致性特征匹配的方法，其特征在于，包括以下步骤：

步骤1：使用RGBD相机获取场景中的彩色图和深度图，利用RANSAC算法生成点云并提取局部平面；

其中平面的模型为P＝(a,b,c,d)＝{x,y,z|ax+by+cz+d＝0}，a,b,c,d为待估计的参数，d^*为每个关键点的深度值

根据深度重投影方程计算每个内点的位置,减小d^*的噪声；

步骤2：对步骤1得到的平面进行特征点提取，采用KNN算法对步骤1中的特征点进行初始匹配；

步骤3：根据步骤2得到的结果，确定相应特征点p_i和p_i'之间的距离d_ii',定义函数

来衡量空间一致性得分；

其中c_i和c_j两个N维点集,d_ii'为欧几里得距离；

步骤4：构建图G＝(V,E)，给定两组帧P、Q和对应映射特征点对(i,i')的集合C；

其中V是顶点集合，E是边集合；

步骤5：(1)构建关联矩阵M,给定n个候选赋值的列表C，每个赋值的关联度a∈C和每对赋值a,b∈C存储在n×n的矩阵M中；

其中

(2)给定两组特征点的集合给定两组帧P、Q，引入指示向量l来描述所有初始对应关系的匹配结果，双射约束可以表示线性约束Ax≤b；

其中A为稀疏矩阵，由0和1两个元素构成；

步骤6：消除假阳性匹配包括如下具体步骤:

(1)利用光谱匹配技术求解l_b ^*,给定仿射矩阵M,求解M的主特征值及其对应的特征向量，其中主特征向量记为l^*；

(2)对l^*中的元素进行排序，找到最大的元素a，将l_b ^*(a)赋值为1，然后迭代地按照降序找到l^*中的所有元素b,若这些元素不与已有标记的元素发生冲突，l_b ^*(b)被赋值为1，否则每个冲突元素的指示向量被赋值为0；

(3)当获得向量l时，就能从初始匹配中消除假阳性匹配，当移除指示向量为0的异常值时，就可以获得可靠的特征匹配，利用这些可靠的匹配点的3D位置计算改进的变换，输出匹配特征；

至此，完成基于深度重投影和空间一致性特征匹配全过程。

2.根据权利要求1所述的一种基于深度重投影和空间一致性特征匹配的方法，其特征在于：步骤1中所述的局部平面提取和深度重投影具体包括如下步骤：

步骤1.1：使用RANSAC算法估计平面的系数和内点；

步骤1.2：采用ORB算法对平面进行特征点提取，计算每个特征点的描述子；

步骤1.3：将关键点从每个平面投影到焦平面，设(u,v)为图像中的点坐标，d为深度测量，(x,y,z)为点云中的空间位置，可得到重投影方程：

其中f_x,f_y,cx,cy是相机的内参，s是比例因子；

步骤1.4：投影后，恢复每个平面的灰度图像，检测ORB关键点，通过计算视线与提取的平面的交点来估计每个关键点的深度值d^*；

步骤1.5：利用(u,v,d^*)和重投影方程计算每个特征点的三维坐标(x,y,z)的值，以减小噪声。

3.根据权利要求1所述的一种基于深度重投影和空间一致性特征匹配的方法，其特征在于：步骤2中特征点进行初始匹配，即建立相邻两帧之间的特征对应关系具体包括如下步骤：

步骤2.1：根据描述子，利用KNN算法建立相邻两帧之间的粗略对应。

4.根据权利要求1所述的一种基于深度重投影和空间一致性特征匹配的方法，其特征在于：步骤3中所述的确定确定相应特征点p_i和p_i'之间的距离d_ii'和衡量空间一致性得分包括如下步骤：

步骤3.1：根据欧几里得公式

计算对应特征点之间的距离；

步骤3.2：给定N维点集c_i和c_j，定义空间一致性得分函数

其中σ_d为距离差的方差，且为可调参数；

当0≤S_d＝(c_i,c_j)≤1时，即认为c_i和c_j在空间上是一致对应的，予以保留；当S_d＝(c_i,c_j)＞1时，c_i和c_j在空间上不一致对应，予以剔除。

5.根据权利要求1所述的一种基于深度重投影和空间一致性特征匹配的方法，其特征在于：步骤4中所述的构建图和给定两组帧P、Q和对应映射特征点对(i,i')的集合C具体包括以下步骤：

步骤4.1：P和Q中属于C中某些对的特征点是内点，P和Q中不属于C中某些对的特征点是外点；

步骤4.2：节点v_i∈V和C中的特征点对初始对应，每条边e_ij∈E是权重w(i,j)＝S_d(c_i,c_j),用来描述c_i对应c_j的空间一致性；

6.根据权利要求1所述的一种基于深度重投影和空间一致性特征匹配的方法，其特征在于，所述步骤5具体包括如下步骤：

步骤5.1：对于每一个候选赋值(i',j')，利用得分或者关联度来衡量P中的元素i，和Q中的元素i'的匹配程度；

步骤5.2：对于每一对赋值(a,b)，a＝(i,i')，b＝(j,j')，利用关联度衡量数据特征(i,j)和模型特征(i',j')的兼容性；

步骤5.3:每个对角元素m_ii用来描述初始对应c_i中的特征相似性，每个非对角元素m_ij测量对应c_i和c_j之间的空间一致性；

步骤5.4：将m_ij＝S_d＝(c_i,c_j)设置为空间一致性得分，d_ij和d_i'j'分别是点i和j之间以及它们的候选匹配之间的欧几里得距离。

7.根据权利要求1所述的一种基于深度重投影和空间一致性特征匹配的方法，其特征在于，步骤6中引入指示向量l来描述所有初始对应关系具体包括如下步骤：

步骤6.1：对于帧P中的特征点p_i和帧Q中的特征点p_i'，向量l_i定义为:若点p_i和点p_i'是匹配的，则l_i＝1,否则为0，并且不再映射到P_j(i≠j)，A为稀疏矩阵，由0和1两个元素构成，A的每一行上非零元素显示与一帧中的相同关键点相关联的对应关系；

求解最优解l_b ^*；

步骤6.2：利用光谱匹配技术求解l_b ^*,给定仿射矩阵M,求解M的主特征值及其对应的特征向量，其中主特征向量记为l^*；

步骤6.3：对l^*中的元素进行排序，找到最大的元素a，将l_b ^*(a)赋值为1，然后迭代地按照降序找到l^*中的所有元素b,若这些元素不与已有标记的元素发生冲突，l_b ^*(b)被赋值为1，否则每个冲突元素的指示向量被赋值为0；

步骤6.4：当获得向量l时，就能从初始匹配中消除假阳性匹配，当移除指示向量为0的异常值时，就可以获得可靠的特征匹配，利用这些可靠的匹配点的3D位置计算改进的变换。

Images