CN109509211B - 同时定位与建图技术中的特征点提取与匹配方法及系统 - Google Patents

Abstract

本发明涉及一种同时定位与建图技术中的特征点提取与匹配方法及系统。该方法对于视频中关键帧图像的第一帧提取n个FAST角点，并选取响应值前k大的FAST角点提取BRIEF特征；对于第二帧至最后一帧中的每一帧，提取k个FAST角点并提取BRIEF特征，将该k个FAST角点作为特征点和之前的帧已经重建出的三维点云或之前的帧所提取出的特征点进行匹配，计算相机位姿。该方法让一部分特征点匹配的过程用光流代替以提高运行速度，应用光流法跟踪未提取BRIEF特征的角点，节省了特征点提取描述子的时间。本发明在保证特征点提取速度的同时能够利于重建更加稠密的点云，并使得特征点的分布更加均匀。

Description

同时定位与建图技术中的特征点提取与匹配方法及系统

技术领域

本发明属于信息技术领域，具体涉及一种同时定位与建图技术中的特征点提取与匹配方法及系统。

背景技术

同时定位与建图(SLAM)技术作为一种对未知场景快速建图和定位的算法近年来受到了学术界和工业界的广泛关注。该技术以拍摄的视频作为输入，能够在实时或者接近实时的时间内重建出视频场景的三维点云和相机参数。随着自动驾驶和增强现实等行业的发展，该技术的应用日益广泛。该技术利用视频的前后帧关系有效增加了特征点匹配的效率，在视频数据集上相比传统的运动恢复结构算法效率明显提高。同时定位与建图最早是机器人学提出的概念。研究机器人学的学者和工程师们希望在实时的条件下完成对机器人的定位，而对机器人所在场景的建图是实现定位不可或缺的条件。

在同时定位与建图(SLAM)的第一步，是对视频序列中的每一帧提取特征点，将这些特征点和点云地图或之前的帧匹配，利用多视图几何算法计算当前帧的相机位姿并三角化新的三维点。特征点提取和匹配的质量直接决定了是否能求出高质量的三维点云和精确的相机位姿。

图像特征点提取和前后帧之间图像特征点匹配的质量对于精确地计算相机位姿和场景的三维点云有关键的意义。在同时定位与建图算法中，FAST角点(Edward Rostenand Tom Drummond.“Machine learning for high-speed corner detection”.In:European conference on computer vision,2006:430–443.)及由角点改进而来的ORB特征(Ethan Rublee,Vincent Rabaud,KurtKonolige et al.“ORB:An efficientalternative to SIFT or SURF”.In:Computer Vision(ICCV),2011IEEE internationalconference on,2011:2564–2571.)的使用最为广泛。ORB特征将FAST角点检测到的点作为兴趣点，在兴趣点周围提取BRIEF描述子(Michael Calonder,Vincent Lepetit,ChristophStrecha et al.“Brief:Binary robust independent elementary features”.In:European conference on computer vision,2010:778–792.)作为特征描述符，并且在两种算法的基础上进行了改进。和在图像检索、运动恢复结构等算法中广泛使用的SIFT(David G Lowe.“Object recognition from local scale-invariant features”.In:Computer vision,1999.The proceedings of the seventh IEEE internationalconference on,1999:1150–1157.)、SURF(Herbert Bay,Tinne Tuytelaars and Luc VanGool.“Surf:Speeded up robust features”.In:European conference on computervision,2006:404–417.)等人工设计的特征点相比，FAST角点和BRIEF特征的提取速度十分迅速。BRIEF特征是一种二进制描述子，是一个二进制串，每个数字编码了关键点附近两个点例如p和q的信息，如果点p的亮度大于点q的亮度就编码成1，否则编码成0。BRIEF使用了随机选点的策略，速度很快。在传统的同时定位与建图算法中，一张图像提取特征点的数目一般较少。通行的做法是在图像上提取几百个到一千个特征点。较少的特征点能够保证整个系统运行的实时性，同时这个数目的特征点对于求解相机之间的转移矩阵已经足够了。

对于三维重建算法而言，运动恢复结构或者同时定位与建图算法在计算相机参数的同时也会计算出稀疏点云。稀疏点云的稠密程度不足以直接在点云上重建网格，但是在计算稠密点云时稀疏点云会给计算稠密点云这一步提供重要的先验信息。因此更加稠密的稀疏点云重建出的三维模型往往会更加精细。

因此需要一种既能够保证点云稠密程度，又能够兼顾算法运行速度的特征点提取方法。图像上的特征点和空间中的三维点能够快速匹配的原因有二：一是可以利用视频的时序信息，估算出新的一帧的大致相机姿态，然后利用这个粗糙的相机姿态建立图像到三维点的投影关系，给特征点匹配提供先验信息；二是同时定位与建图方法使用的特征点一般比较简洁，可以用基于位运算的方法非常快速的计算出两个特征点描述子之间的距离。对传统的运动恢复结构算法而言，由于没有特征点匹配的先验信息，在求解一个三维点和图像特征点的对应关系时就要遍历一遍图像特征点，这样自然会严重影响算法运行的速度。三维点云和图像上特征点匹配的速度差异是同时定位与建图和运动恢复结构算法速度差异主要原因之一。

发明内容

本发明将针对上述问题提出一种新型的融合特征点提取与匹配方法及系统，该方法在保证特征点提取速度的同时能够利于重建更加稠密的点云，并且本发明设计了基于图像网格的快速特征点提取方法，该方法使得特征点的分布更加均匀。

本发明采用的技术方案如下：

一种同时定位与建图技术中的特征点提取与匹配方法，包括以下步骤：

1)对于视频中关键帧图像的第一帧，提取n个FAST角点，并选取响应值前k大的FAST角点提取BRIEF特征，其中k<n；

2)对于视频中关键帧图像的第二帧至最后一帧中的每一帧，执行以下操作步骤：

2.1)提取k个FAST角点，对该k个FAST角点提取BRIEF特征；

2.2)将该k个FAST角点作为特征点，和之前的帧已经重建出的三维点云或之前的帧所提取出的特征点进行匹配，计算相机位姿；

2.3)如果当前帧是m的整数倍帧，其中m为大于2的自然数，则用光流法跟踪上一帧未提取BRIEF特征的(n-k)个FAST角点；然后继续在当前帧图像上提取新的FAST角点，直到这一帧所有FAST角点总数达到n个，该过程中计算并提取这些新的FAST角点的BRIEF特征；

2.4)如果当前帧不是m的整数倍帧，则用光流法跟踪上一帧未提取BRIEF特征的(n-k)FAST角点。

进一步地，提取所述FAST角点时，首先构建图像金字塔，然后在图像金字塔上进行FAST角点检测。

进一步地，提取所述FAST角点的步骤包括：

1)针对一幅输入的图像，根据输入的特征点数目和高斯金字塔上各层图像的面积，按面积比例计算高斯金字塔每一层的目标特征点数目；

2)从第0层开始，对于高斯金字塔上的每一层图像执行如下的操作步骤：

2.1)将当前一层分割成固定块尺寸大小的像素块；

2.2)计算每个像素块的剩余特征点数目；

2.3)只要当前层图像剩余特征点数目之和大于0，则循环执行下述操作子步骤：

2.3.1)对所有剩余特征点数目大于零的像素块，每个像素块提取FAST特征点；

2.3.2)如果提取的特征点数目大于剩余特征点数目k则取响应值前k大的特征点；

2.3.3)否则，只要特征点数目小于某一个数值p则循环执行如下操作：降低提取特征点的阈值并重新提取特征点，直到特征点的数目大于等于p；

2.3.4)更新当前像素块的剩余特征点数目；

3)如果有尚未处理的金字塔的图像层，则循环重复步骤2)。

进一步地，步骤2.2)所述剩余特征点的初始化数目由高斯金字塔每一层的目标特征点数目按比例分配得到。

进一步地，所述FAST角点的响应值V定义如下：

其中，surrounding circle表示以关键点为圆心的圆，pixel表示图像的像素，c表示FAST角点的关键点，也是圆心；if(pixel-c)表示如果一个像素点与关键点c的差值大于0；if(c-pixel)表示如果关键点c与一个像素点pixel的差值大于0。

本发明还提供一种采用上面所述方法的同时定位与建图技术中的特征点提取与匹配系统，其包括：

FAST角点检测模块，负责提取视频中关键帧图像的FAST角点；

BRIEF特征提取模块，负责对FAST角点提取BRIEF特征；

光流法跟踪模块，负责采用光流法跟踪上一帧未提取BRIEF特征的FAST角点；

特征点匹配模块，负责将提取的k个FAST角点作为特征点，和之前的帧已经重建出的三维点云或之前的帧所提取出的特征点进行匹配，计算相机位姿。

本发明的有益效果如下：

本发明能够使得特征点匹配提供的约束更加均匀。如果特征点分布过于集中，通过优化特征点重投影误差得到的相机相对位姿可能仅仅能满足特征点集中部分的投影关系，对特征点稀疏的图像区域转移关系出现比较明显的误差。均匀的特征点分布使得相机位姿更加精确。

附图说明

图1是本发明的特征点提取与匹配方法的步骤流程图。

图2是基于金字塔的FAST均匀化角点检测方法流程图。

具体实施方式

下面通过具体实施例和附图，对本发明做进一步详细说明。

本实施例给出了一种同时定位与建图技术中的特征点提取与匹配方法，其流程如图1所示，包括以下步骤：

1)对视频序列中抽取得到的每一个关键帧图像进行如下操作：

2)如果该关键帧图像是视频的第一帧，则在图像上提取n个FAST角点(FAST角点的提取方法具体步骤在后文基于金字塔的角点检测方法中详细展开论述)，并选取响应值前k大的FAST角点来提取BRIEF特征，且k<n；

3)否则(即该关键帧图像不是视频的第一帧)执行下列的子步骤：

3.1)在图像上提取k个FAST角点；

3.2)对这k个FAST角点提取BRIEF特征；

3.3)将这k个FAST角点作为特征点，和前述步骤已经重建出的三维点云(根据SLAM方法框架，每一帧都能够重建出三维稀疏点云，由于当前执行到此处时已经不是第一帧了，所以一定存在前面帧所重建出的点云)或之前的帧所提取出的特征点进行匹配，计算相机位姿；

3.4)如果当前帧的编号％m＝＝0(说明当前帧是m的整数倍帧，m为大于2的自然数，通常在实施例中可取m＝5)，则用光流法跟踪上一帧未提取BRIEF特征的(n-k)个FAST角点；然后继续在当前帧图像上提取新的FAST角点，直到这一帧所有FAST角点总数达到n个，上述过程中计算并提取这些新的角点的BRIEF特征；

3.5)否则(即当前帧不是m的整数帧)，用光流法跟踪上一帧未提取BRIEF特征的(n-k)FAST角点；

4)如果视频序列并未终止，则继续执行上述步骤1)。

本实施例中，n的数值的确定取决于航拍图像的分辨率，一般一幅航拍图像分辨率大小为4k×3k即约为1200万像素，根据从图像进行三维重建稀疏点云的理论，从中选取1～2‰的像素作为特征点进行匹配和合理的，本实施例中一般n的取值是20000。k的取值是希望在n个作为特征的角点中筛选出更具有显著意义的特征，同时综合考虑算法的性能，本实施例中一般取k为5000。在关键帧之间对所有已经提取或者未经提取BRIEF描述子的FAST角点进行三角化(采用公知的将图像特征点三角化为空间中的三维稀疏点云的方法)。由于未经匹配的FAST角点没有描述子，不能参与后面的三维点和二维点的点匹配，这些点起到的作用是让重建的稀疏点云更加稠密。

本发明的方案在图像上提取大量FAST角点，但是只对一部分响应值大的的FAST角点提取描述子，这样既能保证梯度变化较大的点能够有足够的特征点去描述，进而根据这些点计算出图像之间的转移矩阵，又能满足三角化得到的三维点云足够稠密。

1.光流法

为了保证跟踪FAST角点的实时性，对没有提取BRIEF描述子的角点用光流进行了跟踪。光流指的是空间中的三维点的运动在二维图像上的投影。通俗的解释就是要找出每个像素在下一张图像运动到了哪里。计算光流的目的是找到图像上每个点的速度

其中u表示水平方向的位移，v表示竖直方向的位移，由上述两帧图像对应点的位移表示其速度。

光流法基于如下三个假设条件：

a.相邻帧之间光照不变；

b.同一子图像上的像素保持相同的运动；

c.相邻帧之间的运动较小。

基于上面的假设，利用足够多的像素，就可以求解出关键点的光流。光流法的意义是在运动比较简单的情况下可以计算每个特征点在下一帧出现的位置，从而省略特征点匹配的开销。本发明让一部分特征点匹配的过程用光流代替，该方式对系统的运行速度会产生明显的提高。应用光流法跟踪未提取描述子的特征点，节省了特征点提取描述子的时间，在大量增加被三角化的特征点的同时尽可能的减少了维护这些点的开销。

2.基于金字塔的FAST角点检测

在上面的特征点提取新方法中，本发明还提出了一个基于金字塔的FAST均匀化角点检测方法。

2.1FAST角点的性质

特征点提取和匹配的质量对于精确地计算相机位姿和场景的三维点云有关键的意义。与在图像检索、运动恢复结构等算法中广泛使用的SIFT、SURF等人工设计的特征点相比，FAST角点和ORB特征的提取速度十分迅速。由于ORB特征点的检测算法就是由FAST角点改进而来，在特征点检测分布的性质上有很多相似的地方，接下来本发明讨论基于金字塔的FAST角点特征点检测的算法的性质和改进，但是相关的算法和改进对基于角点响应值的特征点检测算法都是适用的。

FAST角点检测图像中亮度大于周围点的极值点，和SIFT、SURF等在高斯金字塔上检测极值点的方法相比速度极快。在图像的极值点附近，FAST算子检测出的角点容易集中出现。在立体视觉算法中，关键点集中出现容易使得在计算变换矩阵时对没有出现关键点的区域缺乏约束，造成虽然关键点坐标之间用变换矩阵变换得到的误差很小，但是从全图的角度看误差很大的现象，因此本发明基于图像网格进行了特征点的提取，让特征点分布在图像上更加均匀。

2.2基于金字塔的角点检测

FAST算子仅仅比较以关键点为圆心，以若干个像素为半径的圆上的像素和圆心的亮度的大小。在比较过程中，这个半径是保持不变的，因此FAST角点检测对尺度并不鲁棒。此时需要构建图像金字塔，在图像金字塔上进行角点检测。图像金字塔的每层都是一幅图像，第0层是原图。每一层图像都是通过上一层图像得到的，即第(i+1)层图像是从第i层图像得到的。在金字塔的每层图像上进行角点检测可以有效避免FAST角点检测对尺度不鲁棒的问题。

为了解决上一节提到的特征点分布不均匀的问题，本发明采用了基于图像分块的特征点提取策略，这一策略并不仅仅对FAST角点或者ORB特征有效，而是同时适用于其他特征点的一种通用策略。如果有需求将FAST角点或者BRIEF特征替换为其他的特征点，该方法仍然适用。一般来说，每张图像上目标提取多少个特征点依赖于运行时的数据输入规模，特征点数目少时系统运行速度更快但是点云更稀疏，数目多时运行速度变慢但是点云更稠密。对于金字塔上的每层图像，本实施例将图像分割成(2a+1)×(2a+1)尺寸的像素的小块(一般取为5×5大小)。

基于金字塔的FAST均匀化角点检测方法流程如图2所示，包括以下步骤：

1)针对一幅输入的图像，根据输入的特征点数目和高斯金字塔上各层图像的面积，按面积比例计算高斯金字塔每一层的目标特征点数目；

2)从第0层开始，对于高斯金字塔上的每一层图像执行如下的操作步骤：

2.1)将当前一层分割成固定块尺寸大小(实施例中一般设为5×5)的像素块；

2.2)计算每个像素块的剩余特征点数目；剩余特征点代表了每个像素块还可以提取多少特征点，初始化数目由高斯金字塔每一层的目标特征点数目按比例分配得到；

2.3)只要当前层图像剩余特征点数目之和大于0，则循环执行下述操作子步骤：

2.3.1)对所有剩余特征点数目大于零的像素块，每个像素块提取FAST特征点；

2.3.2)如果提取的特征点数目大于剩余特征点数目k则取响应值前k大的特征点；

2.3.3)否则，只要特征点数目小于某一个数值p(一般取p＝3)则循环执行如下操作：降低提取特征点的阈值并重新提取特征点，直到特征点的数目大于等于p；

2.3.4)更新当前像素块的剩余特征点数目。

3)如果有尚未处理的金字塔的图像层，则循环重复步骤2)。

2.3FAST角点响应值计算和选择

将FAST角点的关键点记为c，称以关键点为圆心的圆为surrounding circle，FAST角点的响应值V定义如下：

其中，pixel表示图像的像素，c表示FAST角点的关键点，也是圆心。if(pixel-c)表示如果一个像素点与关键点c的差值大于0；if(c-pixel)表示如果关键点c与一个像素点pixel的差值大于0。对这个定义直观的解释是保留亮度差异和中心点足够大的点，将这些点之间的亮度差作为角点的响应值。

上述算法的核心思想是使FAST角点尽量均匀。记输入的特征点数目为nfeatures，如果简单地取响应值前nfeatures大的FAST角点，由于FAST角点对尺度变换不鲁棒，角点容易在少数图像上的极值点周围。如果这些极值点分布在图像的一小块区域，在计算这一帧的位姿时特征点不能给出充分的约束，在对位姿矩阵优化时容易陷入局部极小值，而这个局部极小值对应的位姿可能并不准确。本发明中给出的算法要求每个像素块第一次提取特征时数目不能超过阈值，这样在一些像素块内部，超过了提取特征点的阈值，但是响应值没有达到前nfeatures大的特征点仍然会被选中。对于特征点集中的区域而言，当某些像素块的特征点数目不足时，才允许增加其他像素块的特征点“名额”。因此这个算法能够尽量使特征点分布均匀，同时兼顾保留响应值比较大的特征点。

传统方法中如果每张图直接提取20000个点，时间消耗有40余分钟。这样的时间消耗是不能接受的。如果为了时间效率，将特征点(FAST角点)提取数目减少，最终得到的点云过于稀疏，不利于后续的三维重建。本发明给出的方法相比传统方法，在时间消耗不明显高于5000个角点的同时点云密度相比传统方法足够稠密，如下面表1所示。同时本发明的角点提取方法得到的角点分布明显更加均匀。

表1.不同方法进行角点提取的运行时间和生成三维点云数量

使用方法	点云中三维点个数	算法运行时间(s)
			传统方法(每张图5000个点)	58778	1289
传统方法(每张图20000个点)	246825	2421
			本文方法	223215	1423

本发明给出的方法的好处在于：能够使得特征点匹配提供的约束更加均匀。如果特征点分布过于集中，通过优化特征点重投影误差得到的相机相对位姿可能仅仅能满足特征点集中部分的投影关系，对特征点稀疏的图像区域转移关系出现比较明显的误差。均匀的特征点分布使得相机位姿更加精确。

本发明另一实施例提供一种采用上面所述方法的同时定位与建图技术中的特征点提取与匹配系统，其包括：FAST角点检测模块，负责提取视频中关键帧图像的FAST角点；BRIEF特征提取模块，负责对FAST角点提取BRIEF特征；光流法跟踪模块，负责采用光流法跟踪上一帧未提取BRIEF特征的FAST角点；特征点匹配模块，负责将提取的k个FAST角点作为特征点，和之前的帧已经重建出的三维点云或之前的帧所提取出的特征点进行匹配，计算相机位姿。上述各模块之间的交互操作过程见前文对特征点提取与匹配方法中各步骤的描述。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (7)

1.一种同时定位与建图技术中的特征点提取与匹配方法，其特征在于，包括以下步骤：

1)对于视频中关键帧图像的第一帧，提取n个FAST角点，并选取响应值前k大的FAST角点提取BRIEF特征，其中k<n；

2)对于视频中关键帧图像的第二帧至最后一帧中的每一帧，执行以下操作步骤：

2.1)提取k个FAST角点，对该k个FAST角点提取BRIEF特征；

2.2)将该k个FAST角点作为特征点，和之前的帧已经重建出的三维点云或之前的帧所提取出的特征点进行匹配，计算相机位姿；

2.3)如果当前帧是m的整数倍帧，其中m为大于2的自然数，则用光流法跟踪上一帧未提取BRIEF特征的(n-k)个FAST角点；然后继续在当前帧图像上提取新的FAST角点，直到这一帧所有FAST角点总数达到n个，该过程中计算并提取这些新的FAST角点的BRIEF特征；

2.4)如果当前帧不是m的整数倍帧，则用光流法跟踪上一帧未提取BRIEF特征的(n-k)FAST角点；

提取所述FAST角点时，首先构建图像金字塔，然后在图像金字塔上进行FAST角点检测；提取所述FAST角点的步骤包括：

(1)针对一幅输入的图像，根据输入的特征点数目和高斯金字塔上各层图像的面积，按面积比例计算高斯金字塔每一层的目标特征点数目；

(2)从第0层开始，对于高斯金字塔上的每一层图像执行如下的操作步骤：

(2.1)将当前一层分割成固定块尺寸大小的像素块；

(2.2)计算每个像素块的剩余特征点数目；

(2.3)只要当前层图像剩余特征点数目之和大于0，则循环执行下述操作子步骤：

(2.3.1)对所有剩余特征点数目大于零的像素块，每个像素块提取FAST特征点；

(2.3.2)如果提取的特征点数目大于剩余特征点数目k则取响应值前k大的特征点；

(2.3.3)否则，只要特征点数目小于某一个数值p则循环执行如下操作：降低提取特征点的阈值并重新提取特征点，直到特征点的数目大于等于p；

(2.3.4)更新当前像素块的剩余特征点数目；

(3)如果有尚未处理的金字塔的图像层，则循环重复步骤(2)。

2.根据权利要求1所述的方法，其特征在于，步骤(2.1)将当前一层分割成5×5的像素块。

3.根据权利要求1所述的方法，其特征在于，步骤(2.2)所述剩余特征点的初始化数目由高斯金字塔每一层的目标特征点数目按比例分配得到。

4.根据权利要求1所述的方法，其特征在于，步骤(2.3.3)中p＝3。

5.根据权利要求1所述的方法，其特征在于，所述FAST角点的响应值V定义如下：

其中，surrounding circle表示以关键点为圆心的圆，pixel表示图像的像素，c表示FAST角点的关键点，也是圆心；if(pixel-c)表示如果一个像素点与关键点c的差值大于0；if(c-pixel)表示如果关键点c与一个像素点pixel的差值大于0。

6.一种采用权利要求1所述方法的同时定位与建图技术中的特征点提取与匹配系统，其特征在于，包括：

FAST角点检测模块，负责提取视频中关键帧图像的FAST角点；

BRIEF特征提取模块，负责对FAST角点提取BRIEF特征；

光流法跟踪模块，负责采用光流法跟踪上一帧未提取BRIEF特征的FAST角点；

特征点匹配模块，负责将提取的k个FAST角点作为特征点，和之前的帧已经重建出的三维点云或之前的帧所提取出的特征点进行匹配，计算相机位姿；

所述FAST角点检测模块提取所述FAST角点的步骤包括：

1)针对一幅输入的图像，根据输入的特征点数目和高斯金字塔上各层图像的面积，按面积比例计算高斯金字塔每一层的目标特征点数目；

2)从第0层开始，对于高斯金字塔上的每一层图像执行如下的操作步骤：

2.1)将当前一层分割成固定块尺寸大小的像素块；

2.2)计算每个像素块的剩余特征点数目；

2.3)只要当前层图像剩余特征点数目之和大于0，则循环执行下述操作子步骤：

2.3.1)对所有剩余特征点数目大于零的像素块，每个像素块提取FAST特征点；

2.3.2)如果提取的特征点数目大于剩余特征点数目k则取响应值前k大的特征点；

2.3.3)否则，只要特征点数目小于某一个数值p则循环执行如下操作：降低提取特征点的阈值并重新提取特征点，直到特征点的数目大于等于p；

2.3.4)更新当前像素块的剩余特征点数目；

3)如果有尚未处理的金字塔的图像层，则循环重复步骤2)。

7.根据权利要求6所述的系统，其特征在于，所述FAST角点的响应值V定义如下：

其中，surrounding circle表示以关键点为圆心的圆，pixel表示图像的像素，c表示FAST角点的关键点，也是圆心；if(pixel-c)表示如果一个像素点与关键点c的差值大于0；if(c-pixel)表示如果关键点c与一个像素点pixel的差值大于0。

Images