CN115830335A

CN115830335A - 一种基于自适应阈值算法的orb图像特征提取方法

Info

Publication number: CN115830335A
Application number: CN202211311669.3A
Authority: CN
Inventors: 王可东
Original assignee: Nanjing Weiayou Communication Technology Co ltd
Current assignee: Nanjing Weiayou Communication Technology Co ltd
Priority date: 2022-10-25
Filing date: 2022-10-25
Publication date: 2023-03-21

Abstract

本发明涉及一种基于自适应阈值算法的ORB图像特征提取方法，构建具有8层图像的金字塔；在每一层图像中进行阈值的计算；对于图像中的每个像素，在判断其是否为关键点之前，均进行阈值计算，如果差异较大，则对当前像素进行阈值计算，否则，就沿用上一个像素的阈值；将得到的阈值用于FAST关键点检测中，最终检测出图像中关键点的位置；在检测出的关键点的位置周围选取像素区域，利用灰度质心法计算像素区域的质心位置和特征主方向，确定BRIEF点对的坐标系，并用BRIEF描述子描述FAST关键点，得到图像有向的FAST关键点和ORB特征的完整信息；ORB特征的完整信息用于图像匹配，实现在光照变化的情况下，对图像特征的稳定提取。

Description

一种基于自适应阈值算法的ORB图像特征提取方法

技术领域

本发明涉及一种基于自适应阈值算法的ORB图像特征提取方法，应用于电子信息中的图像特征识别领域，实现在光照变化的情况下，实现对图像特征的稳定提取。

背景技术

在2011年，Rublee等人融合了FAST(Features from Accelerated Segment Test，加速细分测试特征)关键点检测方法和BRIEF(Binary Robust Independent ElementaryFeatures，二进制鲁棒独立基本特征)特征描述子，提出ORB(Oriented Fast and RotatedBRIEF，有向的FAST关键点和旋转的BRIEF描述子)算法([1]Rublee E,Rabaud V,KonoligeK,et al.ORB:An efficient alternative to SIFT or SURF[C]//InternationalConference on Computer Vision.IEEE,2011:2564-2571.)。ORB特征点在保留了旋转不变性和尺度不变性的基础之上，还大幅减少了计算量，效率相较于之前的SIFT(Scale-Invariant Feature Transform，尺度不变性特征)([2]Lowe D G.Distinctive ImageFeatures from Scale-Invariant Keypoints[J].International Journal ofComputerVision,2004,60(2):91-110.)和SURF(Speeded Up Robust Features，加速的鲁棒特征)([3]Gool T L V.Speeded-Up Robust Features(SURF)[J].Computer Vision and ImageUnderstanding,2008,110(3):346-359.)提升了一到两个数量级。

由于ORB特征提取的快速性，为之后的ORB-SLAM(Simultaneous Location AndMapping，同时定位与制图)的开发奠定了重要的基础，同时也是图像特征提取领域的一个经典特征。该特征的构成有两个部分，一个是特征点，另一个是描述子。ORB特征点是基于FAST检测算法进行改进得到的，在原先的提取步骤的基础上加入了尺度空间的构建和灰度质心的计算。构建的尺度空间使得特征点具有抵抗尺度变化的能力，计算的灰度质心使得特征点具有抵抗旋转变化的能力。尺度空间的构建中采用了高斯模糊的算法，利用高斯模糊计算中的标准差σ的变化来构建不同的尺度：

L(x,y,σ)＝G(x,y,σ)*I(x,y) (1)

其中：L(x,y,σ)为尺度空间函数，

为高斯函数，I(x,y)为像素坐标为(x,y)的点的像素灰度值，*表示卷积运算，将高斯函数和像素灰度值进行卷积就能得到尺度空间函数。

在得到不同尺度空间的图像之后，就可以在各个尺度空间的图像上进行FAST关键点的提取。如果中心像素和周围像素距离为3的像素值进行对比，有连续的12个像素值与中心像素值的差值都大于阈值T或者小于-T，则认为该点为特征点，即角点。

从提取步骤中可以看出，提取关键点的核心在于阈值T的选取，而对于同一个角点，在光照强度不同的情况下，中心像素和周围像素的像素值差值也会不同。在实际的ORB算法中，阈值T通常固定为20，这在工程实现中非常方便，但是却无法实现根据光照强度的变化而变化的功能，也即抵抗光照变化的自适应的能力，而这就是本技术所关注的。

在提取出了关键点之后，还需要对于特征点进行描述。在ORB中采用灰度质心法对特征点的方向进行描述，并且采用了BRIEF描述子储存特征点的信息，而FAST关键点和BRIEF描述子共同构成了ORB特征，提取得到图像的ORB特征可以用于后续的图像匹配。有研究人员提出了基于KSW(Kapur，Sahoo and Wong)熵确定阈值，还有研究人员基于均值确定阈值，但是这些阈值确定方法都没有直接采用像素差异，导致阈值的变化对像素差异并不敏感。

发明内容

本发明技术解决问题：克服现有技术的不足，即在动态光照环境下，固定阈值导致ORB特征点的提取效果不佳，难以实现稳定的特征提取，提供一种基于自适应阈值算法的ORB图像特征提取方法，基于像素差异进行阈值的确定，实现在光照变化的情况下，对图像特征的稳定提取。

本发明的技术要点：

1.自适应阈值计算方法

对于一幅图像进行缩放，构建具有8层图像的金字塔；在每一层图像中进行自适应阈值的计算，其方法如下：选取图像中的待检测像素(x₀,y₀)作为中心像素，其像素值为I_center，选取和中心像素一定像素距离的N个像素，对于这些像素进行像素值排序，选取像素值I_i(i为像素值排序的序号)排序为3至N-2的像素参与阈值计算，计算公式如下：

其中：T为计算的阈值；I_center为中心像素的像素值；

为周围像素的平均像素值；k为修正阈值的系数；i为像素值排序的序号；

2.自适应阈值动态更新

对于图像中的每个像素，在判断其是否为关键点之前，都进行了阈值的计算，实现了基于像素值的自适应阈值计算，但是这也会大幅增加计算量。所以，在计算当前像素的阈值之前，先判断当前像素的像素值和上一像素的像素值是否有较大差异，如果差异较大，则对当前像素进行阈值计算，否则，就沿用上一个像素的阈值，再将得到的阈值用于FAST关键点检测中，最终检测出图像中关键点的位置；

3.对关键点进行描述

在检测出关键点的位置周围选取像素区域，利用灰度质心法计算像素区域的质心位置和特征主方向，确定BRIEF点对的坐标系，并用BRIEF描述子描述FAST关键点，就得到了图像ORB特征的完整信息，ORB特征的完整信息可以用于图像匹配。

本发明技术解决方案具体如下：

一种基于自适应阈值算法的ORB图像特征提取方法，步骤如下：

(1)对于一幅图像进行缩放，构建具有8层图像的金字塔；在每一层图像中进行阈值的计算，所述计算方法如下：选取图像中的待检测像素(x₀,y₀)作为中心像素，其像素值为I_center，选取和中心像素一定像素距离的N个像素，对于这些N个像素进行像素值排序，选取像素值I_i排序为3至N-2的像素参与阈值计算，阈值计算公式如下：

其中：T为计算的阈值；I_center为中心像素的像素值；

(2)对于图像中的每个像素，先判断当前像素的像素值和上一像素的像素值是否有较大差异，如果差异较大，则对当前像素进行阈值计算，否则，就沿用上一个像素的阈值；将得到的阈值用于FAST(加速细分测试特征)关键点检测中，最终检测出图像中的关键点的位置；

(3)在检测出的关键点的位置周围选取像素区域，利用灰度质心法计算像素区域的质心位置和特征主方向，确定BRIEF(二进制鲁棒独立基本特征)点对的坐标系，并用BRIEF描述子描述FAST关键点，得到了图像ORB(有向的FAST关键点和旋转的BRIEF描述子)特征的完整信息；ORB特征的完整信息用于图像匹配，实现在光照变化的情况下，对图像特征的稳定提取。

所述步骤(1)中，所选取的像素个数N不小于9，修正阈值的系数k选取为3的时候，提取出的特征数目稳定。

所述步骤(2)中，当前像素和上一像素的像素值差的绝对值大于20的时候，则存在较大差异。

本发明与现有技术相比的优点在于：一方面，基于像素差异的阈值计算可以针对当前光照环境的不同，采取不同的阈值进行提取，以保证有足够的角点能够被提取出来；另一方面，如果对于整幅图像中的像素都更新，会大幅增加计算量，所以采取动态更新的方法，将计算量控制在一定的范围之内。

从表1可以看出，在不同的亮度情况下，本发明能够提取出更多的ORB特征，也即是特征提取更加稳定。表1中的实验图都来自于TUM(Technical University of Munich，慕尼黑工业大学)的数据集，Exp为实验室场景，Desk为凳子场景，Floor为地板场景。

表1不同亮度下自适应阈值实验数据

附图说明

图1为本发明的基于自适应阈值的ORB特征提取方法流程图；

图2为FAST关键点的示意图；

图3为实验室场景下的ORB特征提取效果图；

图4为图像金字塔的示意图。

具体实施方式

下面结合附图及实施例对本发明进行详细说明。

如图1所示，本发明方法具体实现如下：

(1)对一幅图像进行不同尺度σ的卷积，不同尺度下卷积后的图像作为不同的层，用不同尺度的层来构建图像金字塔，其示意图如图4所示，图4中的从下至上缩放尺度逐渐变大，相近的层合并成一个组；

(2)判断当前像素的像素值和上一像素的像素差的绝对值是否大于20，如果大于20，则计算阈值，否则沿用上一个像素的阈值，阈值计算步骤如下：选取图像中的待检测像素(x₀,y₀)作为中心像素，其像素值为I_center，选取和中心像素一定像素距离(本发明选为3)的N(本发明选为16)个像素，对于这些像素进行像素值排序，选取像素值I_i(i为像素值排序的序号)排序为3至N-2的像素参与阈值计算，计算公式如下：

其中：T为计算的阈值；I_center为中心像素的像素值；

为周围像素的平均像素值；k为修正阈值的系数(本发明选为3)；i为像素值排序的序号；

(3)将计算得到的阈值用于图像中的像素的关键点检测过程，首先选取一个像素p，获得它的灰度值I，然后以这个像素为中心，选取半径为3个像素的圆上的16个像素点，将选取出来的点与中心像素点的灰度值进行比较，如果有连续m个点(m选12)的灰度大于I+T或者小于I-T(T是计算所得阈值)，则认为像素p是一个关键点，检测点的示意图如图2所示，左图表示的是待检测图像，右图是关键点的放大图，放大图展现出了中心像素p和周围16个像素的位置关系；

(4)用灰度质心法赋予关键点主方向，灰度质心法步骤如下：

①在关键点周围选取7×7大小的图像块A，定义图像块的矩m_pq为：

其中：x为像素的横坐标；y为像素的纵坐标；I(x,y)为像素的像素值。

②利用计算出来的矩得到图像块的灰度质心C：

③利用几何中心O和计算得出的灰度质心C，生成向量

则关键点的方向θ为：

(5)计算BRIEF描述子，这种描述子是由0和1组成的二进制编码。该描述子通过在关键点邻域内选取n_d个点对，然后比较这些点对中两个点的大小，具体的实现如下：

①选取大小为S×S的区域(本发明为48×48)；

②在区域中选取n_d个点对，定义τ为：

其中：x和y分别为两个像素点；I(x)和I(y)分别表示在x点和y点处的像素值。

③把这n_d个结果从最低位到最高位组成字符串f：

其中：n_d通常选取128、256或512。

如图3所示，展示了实验室场景下的ORB特征提取结果，图3中的小圆圈显示了图像中ORB特征的位置。通过观察可以发现，无论是图片左下方的光照不足区域，还是右下方的光照充足区域，本发明方法都可以实现对于图像中ORB特征的稳定提取。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims

1.一种基于自适应阈值算法的ORB图像特征提取方法，其特征在于，实现步骤如下：

(1)对于一幅图像进行缩放，构建具有8层图像的金字塔；在每一层图像中进行阈值计算，所述计算方法如下：选取图像中的待检测像素(x₀,y₀)作为中心像素，其像素值为I_center，选取和中心像素一定像素距离的N个像素，对这N个像素进行像素值排序，选取像素值I_i排序为3至N-2的像素参与阈值计算，阈值T计算公式如下：

其中：T为计算的阈值；I_center为中心像素的像素值；

(2)对于图像中的每个像素，先判断当前像素的像素值和上一像素的像素值是否有较大差异，如果差异较大，则对当前像素进行阈值计算，否则，就沿用上一个像素的阈值；将得到的阈值用于加速细分测试特征FAST关键点检测中，最终检测出图像中关键点的位置；

(3)在检测出的关键点的位置周围选取像素区域，利用灰度质心法计算像素区域的质心位置和特征主方向，确定二进制鲁棒独立基本特征BRIEF点对的坐标系，并用BRIEF描述子描述FAST关键点，得到图像有向的FAST关键点和旋转的BRIEF描述子ORB特征的完整信息；ORB特征的完整信息用于图像匹配，实现在光照变化的情况下，对图像特征的稳定提取。

2.根据权利要求1所述的一种基于自适应阈值算法的ORB图像特征提取方法，其特征在于：所述步骤(1)中，所选取的像素个数N不小于9，修正阈值的系数k选取为3。

3.根据权利要求1所述的一种基于自适应阈值算法的ORB图像特征提取方法，其特征在于：所述步骤(2)中，当前像素和上一像素的像素值差的绝对值大于20的时候，则判定存在较大差异。