CN110852356A - 一种移动机器人v-slam动态阈值图像特征点提取方法 - Google Patents

Abstract

本发明公开了一种移动机器人V‑SLAM动态阈值图像特征点提取方法，包括：获取当前帧图像并进行预处理，建立图像金字塔，设定图像特征点的目标数量，计算图像金字塔中每层图像需要提取特征点的目标值；对图像金字塔的每层图像利用阈值进行特征点的提取，通过阈值调整和重新提取特征点的方法，使每层图像提取的特征点均满足所述目标值；将图像金字塔的每层图像分成多个像素块格子，统计每个像素块格子中的特征点个数，然后根据期望值选择保留或更新像素块格子中的特征点；对当前帧图像提取的所有特征点进行筛选，从中选取与所述目标数量相同且响应值最高的特征点。本发明可以使提取的特征点在不同的图像上的数量相对稳定并且使其均匀分布在图像中。

Description

一种移动机器人V-SLAM动态阈值图像特征点提取方法

技术领域

本发明涉及移动机器人基于视觉的同时定位与地图构建领域，具体涉及一种移动机器人V-SLAM动态阈值图像特征点提取方法。

背景技术

基于图像的定位算法是自主移动机器人领域内的热门问题，它是解决移动机器人运动规划与控制的前提条件。基于图像的同时定位与地图构建(SimultaneousLocalization and Mapping，SLAM)能够在未知的环境下，通过分析图像序列，在估计出机器人自身位姿的同时恢复出环境的地图。由于此技术只依赖机器人自身的图像传感器，不需要对环境改造和人工标记，同时相机具有成本较低等有点，因此SLAM技术得到了国内外的广泛关注。

然而，图像特征的提取和匹配是实现计算相邻两张图像相对位姿的关键步骤，进十几年国内外学者进行了大量的研究，取得了丰硕的成果，但是针对移动机器人V-SLAM的应用甚少对特征提取的方法进行优化。在同一提取参数下不同图像的特征点的数量不稳定、特征点过于集中等问题仍然突出，制约着移动机器人V-SLAM的精度。因此，如何使提取的特征点在不同的图像上的数量相对稳定并且使其均匀分布在图像中这一技术问题需要解决。

发明内容

本发明的目的是提供一种移动机器人V-SLAM动态阈值图像特征点提取方法，用以解决现有技术中存在的不同图像的特征点的数量不稳定、特征点过于集中的问题，使提取的特征点在不同的图像上的数量相对稳定并且使其均匀分布在图像中。

为了实现上述任务，本发明采用以下技术方案：

一种移动机器人V-SLAM动态阈值图像特征点提取方法，包括：

获取当前帧图像并进行预处理，建立图像金字塔，设定图像特征点的目标数量，计算图像金字塔中每层图像需要提取特征点的目标值；

对图像金字塔的每层图像利用阈值进行特征点的提取，通过阈值调整和重新提取特征点的方法，使每层图像提取的特征点均满足所述目标值；

将图像金字塔的每层图像分成多个像素块格子，统计每个像素块格子中的特征点个数，然后根据期望值选择保留或更新像素块格子中的特征点；

对当前帧图像提取的所有特征点进行筛选，从中选取与所述目标数量相同且响应值最高的特征点。

进一步地，所述获取当前帧图像并进行预处理，建立图像金字塔，设定图像特征点的目标数量，计算图像金字塔中每层图像需要提取特征点的目标值，包括：

请求相机获得当前帧的图像，根据相机的内参和畸变参数对当前帧的图像进行畸变矫正；建立图像金字塔，根据设定的缩放因子和金字塔的层数对当前帧的图像尺寸进行调整，得到每层金字塔的图像；设定图像特征点的目标数量，然后利用目标数量，计算图像金字塔中每层图像需要提取特征点的目标值；其中，所有层图像要提取特征点的目标值的总和与所述目标数量相同。

进一步地，所述对图像金字塔的每层图像利用阈值进行特征点的提取，包括：

在图像金字塔的每层图像上使用阈值对该层图像整体提取特征点，其中每层图像上使用的阈值采用上一帧图像的图像金字塔的每层图像上使用的阈值。

进一步地，所述通过阈值调整和重新提取特征点的方法，使每层图像提取的特征点均满足所述目标值，包括：

对图像金字塔每层图像中提取的特征点的数量进行判断，如果大于两倍的目标值，则增大这一层对应的阈值，然后保持当前提取的特征点不变；如果小于目标值，则减小这一层对应的阈值，然后对该层图像重新进行提取特征点。

进一步地，所述将图像金字塔的每层图像分成多个像素块格子，统计每个像素块格子中的特征点个数，然后根据期望值选择保留或更新像素块格子中的特征点，包括：

将图像金字塔的每层图像按照设定的像素块格子进行划分，并计算每层图像中像素块格子对应的特征点的期望值，判断判断每个像素块格子中特征点的数量是否大于对应的期望值，大于期望值时则保留像素块格子中的特征点。

进一步地，所述期望值的计算方法为：

C_i＝N_i/(w_i×h_i)

C_i为第i层图像中的每个像素块格子对应的特征点的期望值，N_i为第i层图像进行特征点提取的目标值，其中w_i、h_i分别表示第i层图像中像素块格子的行列数。

进一步地，所述方法还包括：

对于特征点的数量小于期望值的像素块格子，减小所述像素块格子所在层图像在进行特征点提取时对应的阈值，用减小后的阈值重新对所述像素块格子进行特征点提取，直至提取到的特征点的数量超过期望值；

如果某像素块格子中特征点的数量小于期望值，而在对该像素块格子进行特征点重新提取的过程中，阈值已达到或小于设定的最小阈值，则将利用最小阈值进行该像素块格子的特征点提取，并将提取的特征点作为该像素块格子的特征点。

进一步地，所述对当前帧图像提取的所有特征点进行筛选，从中选取与所述目标数量相同且响应值最高的特征点，包括：

从图像金字塔的最底层图像开始，对于每层图像，将每层图像平均对称划分成4个区域，判断每个区域内特征点的个数是否大于1，将特征点的个数大于1的区域再平均对称划分成4个区域，以此类推；如果划分后的某个区域中只有1个特征点，则停止对该区域的划分；如果划分后的某个区域中没有特征点，则删除该区域；在当前层图像不能继续划分时，进行下一层图像的划分；

当所有划分成的区域的个数大于预设的图像特征点的目标数量时，停止划分；在所有划分成的区域内选取和目标数量相同且响应值较高的特征点进行保留。

本发明具有以下技术特点：

本发明实现对连续拍摄的图像序列特征点的提取，能够根据上一张图像特征点的提取情况动态的调整提取阈值加速当前图像特征点的提取，同时对于每张图片采用先整体再局部的提取方式，可以使特征点在图像上均匀离散分布，提高相邻图像特征点匹配的精度，因此本方法有助于提高移动机器人V-SLAM算法的速度和精度。

附图说明

图1为本发明方法的整体流程示意图；

图2为对像素块格子重新提取特征点时的示意图。

具体实施方式

如图1所示，本发明公开了一种移动机器人V-SLAM动态阈值图像特征点提取方法，可以实现快速、可靠的实现图像特征点的提取，并使提取的特征点尽量均匀分布在每一张图像中；该方法具体包括以下步骤：

S101，获取当前帧图像并进行预处理，建立图像金字塔，设定图像特征点的目标数量，计算图像金字塔中每层图像需要提取特征点的目标值。具体包括：

S101-1，请求相机获得当前帧的图像。在本申请的一个实施例中，通过计算机向移动机器人的相机发送图像获取请求，然后通过USB3.0接口得到相机当前帧的图像。本实施例中选用灰度相机，得到的是单通道的黑白图像。

S101-2，得到当前帧的图像后根据相机的内参和畸变参数对当前帧的图像进行畸变矫正。

由于相机获取的原始图像会有图像畸变的存在，在得到当前帧的图像之后，使用相机的内参、畸变参数来矫正图像的径向畸变和切向畸变。首先使用相机的内参和畸变参数初始化校畸变前的图像和校畸变后的图像的重映射关系，然后每当新捕获一张图像使用重映射关系对当前图像帧进行畸变矫正。

S101-3，建立图像金字塔，根据设定的缩放因子和金字塔的层数对当前图像尺寸进行调整，得到一系列低分辨率的图像，即每层金字塔的图像。

本实施例将金字塔的层数设置为8，每一层的缩放因子为S＝1.2，当前帧的图像为金子塔的最底层图像，然后将当前帧的图像由下至上依次缩放，得到图像金字塔的每层图像。后面步骤需要在每一层图像上提取特征点，以保证特征点的尺寸不变性。

S101-4，根据实际需求，设定图像特征点的目标数量，然后利用目标数量，计算图像金字塔中每层图像需要提取特征点的目标值；其中，所有层图像要提取特征点的目标值的总和与所述目标数量相同。

本实施例中，设置图像特征点的目标数量为N，然后计算图像金字塔的每一层图像进行特征点提取的目标值：

上式中，N_i(i＝1,2,…8)表示图像金字塔第i层图像进行特征点提取的目标值，其中N₁表示最底层图像；本实施例中由于金字塔层数为8，因此有8个目标值；S表示缩放因子。

在下面的步骤中，本申请采用动态阈值图像提取方法的提取特征点，首先在当前图像上整体提取特征点，然后根据提取的特征点分布情况将当前图像分成若干像素块，在不满足特征点分布个数的像素块上使用动态阈值再重新提取特征点。

S102，对图像金字塔的每层图像利用阈值进行特征点的提取，通过阈值调整和重新提取特征点的方法，使每层图像提取的特征点均满足所述目标值。

S102-1，在图像金字塔的每层图像上使用阈值对该层图像整体提取特征点。该步骤中每层图像上使用的阈值，采用上一帧图像的图像金字塔的每层图像上使用的阈值。如果是初始化后第一帧图像的图像金字塔，则根据预设的阈值进行特征点的提取。

本实施例中，使用每一层预设的初始阈值，对图像金字塔的每一层图像整体进行提取特征点，其中第i层图像得到M_i个特征点。

S102-2，对图像金字塔每层图像中提取的特征点的数量进行判断，如果大于两倍的目标值，则增大这一层对应的阈值，然后保持当前提取的特征点不变；如果小于目标值，则减小这一层对应的阈值，然后对该层图像重新进行提取特征点。

本实施例中，如果M_i<N_i，那么对该层图像提取时的阈值减2，然后再对该层图像重新提取特征点；如果N_i<M_i<2N_i，那么保持该层图像提取时的阈值不变；如果M_i>2N_i，那么增大该层图像提取时，本实施例在当前阈值基础上加2，但是不再对当前已经提取的特征点做改动。

S102-3，保存图像金字塔的每层图像在进行特征点提取时对应的阈值，作为下一帧图像的图像金字塔中对应层图像进行特征点提取时的阈值。

S103，将图像金字塔的每层图像分成多个像素块格子，统计每个像素块格子中的特征点个数，然后根据期望值选择保留或更新像素块格子中的特征点。

S103-1，将图像金字塔的每层图像按照设定的像素块格子进行划分，并计算每层图像中像素块格子对应的特征点的期望值，判断判断每个像素块格子中特征点的数量是否大于对应的期望值，大于期望值时则保留像素块格子中的特征点。

其中，图像金字塔每层图像进行整体特征点提取之后，将该层图像分成若干像素块，例如设置第i层图像中像素块格子大小为n_i，并设置提取特征点的最小阈值为35、初始阈值为50。

根据设置的图像金字塔的每层图像中像素块格子大小n_i，将该层图像分为w_i×h_i个像素块格子，其中w_i、h_i分别表示像素块格子的行列数；而根据图像金字塔第i层图像进行特征点提取的目标值N_i，则第i层图像中的每个像素块格子中应该有C_i＝N_i/(w_i×h_i)个特征点，则C_i即第i层图像像中素块格子对应的特征点的期望值。

S103-2，对于特征点的数量小于期望值的像素块格子，减小所述像素块格子所在层图像在进行特征点提取时对应的阈值，用减小后的阈值重新对所述像素块格子进行特征点提取，直至提取到的特征点的数量超过期望值。

统计第i层图像中每个像素块格子中特征点的数量，如果某像素块格子A中的特征点数量小于C_i，则将第i层图像进行特征点提取时的阈值变为原来的0.8倍，利用调整后的阈值重新对像素块格子A进行特征点提取；提取后如果像素块格子A中特征点数量仍不满足期望值，则再将阈值乘以0.8以减小阈值后，再提取，直至像素块格子A中特征点的数量超过期望值；将重新提取特征点作为该层图像的特征点。

S103-3，如果某像素块格子中特征点的数量小于期望值，而在对该像素块格子进行特征点重新提取的过程中，阈值已达到或小于设定的最小阈值(本实施例中设置为35)，说明此像素块格子中纹理较少，则将利用最小阈值进行该像素块格子的特征点提取，并将提取的特征点作为该像素块格子的特征点，而不再关注该像素块格子中的特征点的数量是否能达到期望值，也不再继续减小阈值。

S104，对当前帧图像提取的所有特征点进行筛选，从中选取与所述目标数量相同且响应值最高的特征点。其中所有特征点即每层图像中提取的特征点。

具体包括：

S104-1，从图像金字塔的最底层图像开始，对于每层图像，将每层图像平均对称划分成4个区域，判断每个区域内特征点的个数是否大于1，将特征点的个数大于1的区域再平均对称划分成4个区域，以此类推；如果划分后的某个区域中只有1个特征点，则停止对该区域的划分；如果划分后的某个区域中没有特征点，则删除该区域；在当前层图像不能继续划分时，进行下一层(从下至上的方向)图像的划分。

S104-2，当所有划分成的区域的个数大于预设的图像特征点的目标数量时，停止划分。

S104-3，在所有划分成的区域内选取和目标数量相同且响应值较高的特征点进行保留，其它全部剔除；即将所有划分区域内的特征点按照响应值进行排序，选取响应值最靠前且与目标数量相同的特征点。

使用四叉树对特征点进行筛选。从图像金字塔的最底层图像开始进行划分，每次划分是在原来图像的基础上水平垂直各分成两个，即一张图分为4张。分裂一次，统计每个区域中特征点的数量，如果数量多于1个，那么此区域继续互粉为4个；如果这个区域中没有特征点，那么把这个节点删掉。如果这个节点中只有1个特征点，则这个节点停止划分。当总的区域的数量大于预设的图像特征点的目标数量N时，停止分裂。在所有区域中，取响应值较高的N个特征点进行保留，其它特征点全部删掉，此时得到了分布较为均匀的N个特征点。

Claims (8)

1.一种移动机器人V-SLAM动态阈值图像特征点提取方法，其特征在于，包括：

获取当前帧图像并进行预处理，建立图像金字塔，设定图像特征点的目标数量，计算图像金字塔中每层图像需要提取特征点的目标值；

对图像金字塔的每层图像利用阈值进行特征点的提取，通过阈值调整和重新提取特征点的方法，使每层图像提取的特征点均满足所述目标值；

将图像金字塔的每层图像分成多个像素块格子，统计每个像素块格子中的特征点个数，然后根据期望值选择保留或更新像素块格子中的特征点；

对当前帧图像提取的所有特征点进行筛选，从中选取与所述目标数量相同且响应值最高的特征点。

2.如权利要求1所述的移动机器人V-SLAM动态阈值图像特征点提取方法，其特征在于，所述获取当前帧图像并进行预处理，建立图像金字塔，设定图像特征点的目标数量，计算图像金字塔中每层图像需要提取特征点的目标值，包括：

请求相机获得当前帧的图像，根据相机的内参和畸变参数对当前帧的图像进行畸变矫正；建立图像金字塔，根据设定的缩放因子和金字塔的层数对当前帧的图像尺寸进行调整，得到每层金字塔的图像；设定图像特征点的目标数量，然后利用目标数量，计算图像金字塔中每层图像需要提取特征点的目标值；其中，所有层图像要提取特征点的目标值的总和与所述目标数量相同。

3.如权利要求1所述的移动机器人V-SLAM动态阈值图像特征点提取方法，其特征在于，所述对图像金字塔的每层图像利用阈值进行特征点的提取，包括：

在图像金字塔的每层图像上使用阈值对该层图像整体提取特征点，其中每层图像上使用的阈值采用上一帧图像的图像金字塔的每层图像上使用的阈值。

4.如权利要求1所述的移动机器人V-SLAM动态阈值图像特征点提取方法，其特征在于，所述通过阈值调整和重新提取特征点的方法，使每层图像提取的特征点均满足所述目标值，包括：

对图像金字塔每层图像中提取的特征点的数量进行判断，如果大于两倍的目标值，则增大这一层对应的阈值，然后保持当前提取的特征点不变；如果小于目标值，则减小这一层对应的阈值，然后对该层图像重新进行提取特征点。

5.如权利要求1所述的移动机器人V-SLAM动态阈值图像特征点提取方法，其特征在于，所述将图像金字塔的每层图像分成多个像素块格子，统计每个像素块格子中的特征点个数，然后根据期望值选择保留或更新像素块格子中的特征点，包括：

将图像金字塔的每层图像按照设定的像素块格子进行划分，并计算每层图像中像素块格子对应的特征点的期望值，判断判断每个像素块格子中特征点的数量是否大于对应的期望值，大于期望值时则保留像素块格子中的特征点。

6.如权利要求1所述的移动机器人V-SLAM动态阈值图像特征点提取方法，其特征在于，所述期望值的计算方法为：

C_i＝N_i/(w_i×h_i)

C_i为第i层图像中的每个像素块格子对应的特征点的期望值，N_i为第i层图像进行特征点提取的目标值，其中w_i、h_i分别表示第i层图像中像素块格子的行列数。

7.如权利要求5所述的移动机器人V-SLAM动态阈值图像特征点提取方法，其特征在于，所述方法还包括：

对于特征点的数量小于期望值的像素块格子，减小所述像素块格子所在层图像在进行特征点提取时对应的阈值，用减小后的阈值重新对所述像素块格子进行特征点提取，直至提取到的特征点的数量超过期望值；

如果某像素块格子中特征点的数量小于期望值，而在对该像素块格子进行特征点重新提取的过程中，阈值已达到或小于设定的最小阈值，则将利用最小阈值进行该像素块格子的特征点提取，并将提取的特征点作为该像素块格子的特征点。

8.如权利要求1所述的移动机器人V-SLAM动态阈值图像特征点提取方法，其特征在于，所述对当前帧图像提取的所有特征点进行筛选，从中选取与所述目标数量相同且响应值最高的特征点，包括：

从图像金字塔的最底层图像开始，对于每层图像，将每层图像平均对称划分成4个区域，判断每个区域内特征点的个数是否大于1，将特征点的个数大于1的区域再平均对称划分成4个区域，以此类推；如果划分后的某个区域中只有1个特征点，则停止对该区域的划分；如果划分后的某个区域中没有特征点，则删除该区域；在当前层图像不能继续划分时，进行下一层图像的划分；

当所有划分成的区域的个数大于预设的图像特征点的目标数量时，停止划分；在所有划分成的区域内选取和目标数量相同且响应值较高的特征点进行保留。

Images