CN112381844A - 基于图像分块的自适应orb特征提取方法 - Google Patents

Abstract

本发明公开了基于图像分块的自适应ORB特征提取方法，包括图像分块；构造金字塔；改进的FAST特征提取；利用Harris角点分数高低，选取前Sum个较好的特征点；在原图中显示特征点位置。本发明为图像匹配提供了一种基于图像分块的自适应ORB特征提取方法，可以让较好的特征点更加均匀的分布在图像中，提高了图像匹配成功率。

Description

基于图像分块的自适应ORB特征提取方法

技术领域

本发明涉及图像处理领域，具体涉及一种基于图像分块的自适应ORB特征提取方法。

背景技术

图像匹配算法是计算机视觉中必不可少的关键步骤，广泛应用于无人机视觉导航、目标检测与跟踪等领域。图像匹配算法一般可分为两类：基于区域的图像匹配算法和基于特征的匹配算法。基于特征的匹配算法因计算量小、鲁棒性好成为目前研究的热点。然而，特征提取是特征匹配算法至关重要的一步，直接影响图像匹配成功率的高低。

常见的特征提取算法有SIFT、SURF和ORB算法。其中，SIFT具有良好的区分性，但算法过于复杂，计算量大；SURF算法具有参数估计准确，计算量小的优点，但获得的匹配点对数少；ORB图像特征提取算法由于采用FAST计算关键点，运算速度最快、耗费存储空间最低，其计算时间约为SIFT的百分之一，SURF的十分之一。但是，其鲁棒性不如SIFT，且不具备尺度不变性，在图像中容易造成误匹配。

现有的ORB算法大多采用FAST9-16提取特征点，虽然计算速度快，但是其对一些边缘点会产生误检测，导致一些伪角点的存在，直接干扰匹配效果，造成误匹配；而且是针对整幅图像提取特征，往往存在纹理丰富区域特征点过于集中、纹理缺失区域提取不到特征点等现象，导致特征点分布不均匀的问题，间接影响图像匹配成功率。

现有技术中有基于ORB的主动视觉特征提取方法，例如中国专利文献CN106778767A记载了基于ORB和主动视觉的视觉图像特征提取及匹配方法，采用高效快速的ORB特征提取算法提取特征参数，再利用概率统计方法计算出区域特征分布指数，在保证特征点分布均匀的前提下，根据概率选取数目一定的特征点，并且结合主动视觉的原理与应用，计算感兴趣的椭圆搜索域，再采用最近邻匹配算法和RANSAC算法，得到分布均匀且数目稳定的地图特征点，具有计算简单，且匹配效果好，满足系统实时性的要求。

发明内容

本发明所要解决的技术问题是提供一种基于图像分块的自适应ORB特征提取方法，在提高图像匹配成功率的前提下使得特征点分布更加均匀。

为解决上述技术问题，本发明所采用的技术方案是：

基于图像分块的自适应ORB特征提取方法，包括以下步骤：

STEP1、将原图像分为L块子图像，分别用P(1),P(2)…P(i)表示，其中i≤L；

STEP2、将每一块子图像P(i)构造T层金字塔；

STEP3、将每一块子图像P(i)的每一层金字塔提取特征点；

STEP4、从i＝1开始比较每一块子图像P(i)提取的总特征数C_i是否大于

若

则跳至步骤5；若

返回步骤3，降低提取特征点的阈值；

其中，S_i为P(i)块子图像的面积，S为原图像面积，Sum为需要提取的特征点总数；

STEP5、判断i是否等于L，若等于，实行步骤6，若不等于，则i＝i+1，返回步骤3；

STEP6、利用Harris角点检测算法对提取的特征点打分，选取前Sum个较好的特征点；

STEP7、在原图中显示特征点位置。

上述的STEP3中特征点的提取采用FAST14-24角点检测。

上述的STEP1的具体过程为：

STEP1.1、计算出图像的宽和高，分别用A，B表示，计算A/M,B/N，求出子图像总块数L，其中，M为分割的列数，N为分割的行数；

STEP1.1.1、若A是M的倍数，B是N的倍数，则L＝M*N，计算每一块子图像面积S_i；

STEP1.1.2、若A是M的倍数，B不是N的倍数，则L＝M*N+1，计算每一块子图像面积S_i；

STEP1.1.3、若A不是M的倍数，B是N的倍数，则L＝M*N+1，计算每一块子图像面积S_i；

STEP1.1.4、若A不是M的倍数，B不是N的倍数，则L＝M*N+2，计算每一块子图像面积S_i。

上述的STEP3的具体过程为：

STEP3.1、从P(i)块图像中挑选一个像素点p₀,其灰度值为

设定阈值t；STEP3.2、以p₀点为中心，挑选其周围的24个点，24个点的分布为：以p₀点为中心,去掉其7*7区域的最外围四个角的4个点，最外围上，p₀的正上方为p₁顺时针依次为p₁、p₂、p₃、p₅至p₉、p₁₁至p₁₅、p₁₇至p₂₁、p₂₃、p₂₄，以p₀为中心，3*3区域中右上角为p₄，右下角为p₁₀，左上角为p₂₂，左下角为p₁₆，当这24个点中至少有连续14个点的像素大于

时,令flag＝1，或者当小于

时,，令flag＝0，当flag＝1或0时，则认为p₀点是特征侯选点；

STEP3.3、若flag＝1，计算该点和周围24个点的差值

若flag＝0，则

遍历24个点，若d(j)后有连续14个点的最小值，满足：

md＝min(d(j+1),d(j+2),…d(j+14))，(d(25)＝d(1),d(26)＝d(2),…)大于t，令t＝md，重新循环24个点，直到恰好该点不满足特征点判定条件，此时侯选点分值V＝t，若该点不是特征候选点，则V＝0，其中，

是像素点p_j的灰度值；

STEP3.4、计算以p₀为中心，附近3*3区域的8个像素点(g₁,g₂…g₈)的分值V，分别为V_g＝(V_g1,V_g2…V_g8)，若STEP3.3所得的V>max(V_g)，则判定该点为特征点。

上述的STEP6的具体过程为：

STEP6.1、根据Harris角点检测算法计算出原图像每个像素点的角点准则函数R的值；

STEP6.2、按照角点准则函数R的高低排序选择前Sum个需要的特征点。

上述的STEP2中金字塔的层数T≥4。

优选的方案中，上述的基于图像分块的自适应ORB特征提取方法，还包括一下步骤：

STEP8、将提取的特征点与原图像进行匹配。

上述STEP8的具体步骤为：

STEP8.1、灰度质心法定义图像矩：在P(i)子图像中，定义图像的矩为：m_ab＝x^ay^bI(x,y),其特征点方向角为：

则旋转矩阵

其中，I(x,y)为点(x,y)的灰度值，x,y分别为像素点的横纵坐标，a,b等于0或1；

STEP8.2、以特征点为中心，取S×S邻域窗口，随机选取两个点，比较像素值大小，进行如下二进制赋值：

其中，I(z1)，I(z2)分别是随机点z1,z2的像素值,S为设定值；

STEP8.3、在窗口中随机选取W对随机点，对其定义矩阵

重复上述第二步，得到一个二进制编码，即特征描述子；

STEP8.4、对两幅图像所提取的特征点计算Hamming距离，若两特征点的Hamming距离都最小且最小距离不大于阈值α，则这两特征点匹配成功，α为预设值。

本发明提供的一种基于图像分块的自适应ORB特征提取方法，相比现有的特征提取算法，在纹理缺失区域降低阈值，避免了纹理缺失区域取不到特征点的现象，提高了图像匹配成功率的同时使特征点分布更加均匀；克服了传统FAST9-16角点检测算法对边缘敏感的不足，排除此类边缘点对检测结果的干扰，提高了角点的鲁棒性，进一步提高了匹配成功率；提取特征点之后采用Harris特征打分，提取前Sum个较好的特征点用于图像匹配，在提高图像匹配成功率的前提下使得特征点分布更加均匀；以更有效的提高图像匹配成功率。

附图说明

下面结合附图和实施例对本发明作进一步说明：

图1为本发明方法的流程示意图；

图2为本发明FAST角点检测模板示意图；

图3为FAST9-16角点检测图；

图4为FAST14-24角点检测图；

图5为传统的ORB特提取分布示意图；

图6为传统的ORB图像匹配结果示意图

图7为本发明特征提取分布示意图；

图8为本发明图像匹配结果示意图。

具体实施方式

如图1中所示，基于图像分块的自适应ORB特征提取方法，包括以下步骤：

STEP1、将原图像分为L块子图像，分别用P(1),P(2)…P(i)表示，其中i≤L；

STEP1.1、计算出图像的宽和高，分别用A，B表示，计算A/M,B/N，求出子图像总块数L，其中，M为分割的列数，N为分割的行数；

STEP1.1.1、若A是M的倍数，B是N的倍数，则L＝M*N，计算每一块子图像面积S_i；

STEP1.1.2、若A是M的倍数，B不是N的倍数，则L＝M*N+1，计算每一块子图像面积S_i；

STEP1.1.3、若A不是M的倍数，B是N的倍数，则L＝M*N+1，计算每一块子图像面积S_i；

STEP1.1.4、若A不是M的倍数，B不是N的倍数，则L＝M*N+2，计算每一块子图像面积S_i；

STEP2、将每一块子图像P(i)构造T层金字塔；

STEP3、将每一块子图像P(i)的每一层金字塔提取特征点；

STEP3.1、从P(i)块图像中挑选一个像素点p₀,其灰度值为

设定阈值t；

STEP3.2、以p₀点为中心，挑选其周围的24个点，24个点的分布为：以p₀点为中心,去掉其7*7区域的最外围四个角的4个点，最外围上，p₀的正上方为p₁顺时针依次为p₁、p₂、p₃、p₅至p₉、p₁₁至p₁₅、p₁₇至p₂₁、p₂₃、p₂₄，以p₀为中心，3*3区域中右上角为p₄，右下角为p₁₀，左上角为p₂₂，左下角为p₁₆，当这24个点中至少有连续14个点的像素大于

时,令flag＝1，或者当小于

时,，令flag＝0，当flag＝1或0时，则认为p₀点是特征侯选点；

STEP3.3、若flag＝1，计算该点和周围24个点的差值

若flag＝0，则

遍历24个点，若d(j)后有连续14个点的最小值，满足：

md＝min(d(j+1),d(j+2),…d(j+14))，(d(25)＝d(1),d(26)＝d(2),…)大于t，令t＝md，重新循环24个点，直到恰好该点不满足特征点判定条件，此时侯选点分值V＝t，若该点不是特征候选点，则V＝0，其中，

是像素点p_j的灰度值；

STEP3.4、计算以p₀为中心，附近3*3区域的8个像素点(g₁,g₂…g₈)的分值V，分别为V_g＝(V_g1,V_g2…V_g8)，若STEP3.3所得的V>max(V_g)，则判定该点为特征点；

STEP4、从i＝1开始比较每一块子图像P(i)提取的总特征数C_i是否大于

若

则跳至步骤5；若

返回步骤3，降低提取特征点的阈值；

其中，S_i为P(i)块子图像的面积，S为原图像面积，Sum为需要提取的特征点总数；

STEP5、判断i是否等于L，若等于，实行步骤6，若不等于，则i＝i+1，返回步骤3；

STEP6、利用Harris角点检测算法对提取的特征点打分，选取前Sum个较好的特征点；

STEP7、在原图中显示特征点位置。

优选的方案中，上述的基于图像分块的自适应ORB特征提取方法，还包括一下步骤：

STEP8、将提取的特征点与原图像进行匹配；

STEP8.1、灰度质心法定义图像矩：在P(i)子图像中，定义图像的矩为：m_ab＝x^ay^bI(x,y),其特征点方向角为：

则旋转矩阵

其中，I(x,y)为点(x,y)的灰度值，x,y分别为像素点的横纵坐标，a,b等于0或1；

STEP8.2、以特征点为中心，取S×S邻域窗口，随机选取两个点，比较像素值大小，进行如下二进制赋值：

其中，I(z1)，I(z2)分别是随机点z1,z2的像素值,S为设定值；

STEP8.3、在窗口中随机选取W对随机点，对其定义矩阵

重复上述第二步，得到一个二进制编码，即特征描述子；

STEP8.4、对两幅图像所提取的特征点计算Hamming距离，若两特征点的Hamming距离都最小且最小距离不大于阈值α，则这两特征点匹配成功，α为预设值。

如图2-4所示，上述STEP3采用FAST14-24角点检测算法，p₀点是边缘上的一点，但并不是角点，如果使用传统的FAST9-16算法进行检测，其满足邻域16个像素中超过9个连续像素点与其灰度值差别足够大，所以系统会把其认定为一个角点，很明显，图3中的p₀点只是一个边缘点；从图4中可以看出，FAST14-24角点检测算法并不会把p₀点认定为角点，克服了传统FAST9-16角点检测算法对边缘敏感的不足，排除此类边缘点对检测结果的干扰，提高了角点的鲁棒性，进一步提高了匹配成功率；

实施例1：

1、选取四幅照片，将特征点数设置为500，将STEP3中的子步骤STEP3.1所述的阈值

STEP4中每次降低阈值

2、对四幅图像分别运用传统ORB方法提取特征点和本发明方案提取特征点，为了更好地显示其效果，分别在传统ORB算法和本方案算法后采取了RANSAC误匹配算法，通过匹配成功率的高低进行对比；

3、在STEP8.2中，设定S＝31，在STEP8.3中，设定W＝256，在STEP8.4中，设定α＝0.25；

通过MATLAB仿真，传统ORB和本方案特征提取后的匹配准确率对比如表1所示，为了更直观的显示实验效果，选取最具代表性的图像1进行观察，其提取的特征点分布分别如图5和图7所示，利用提取的特征点进行图像匹配的结果如图6和8所示。

表1 ORB算法和本方案算法匹配精度对比

从表1可以看出，本方案方法在提取相同的特征点数情况下，匹配点对数和内点数远远大于传统ORB算法，匹配成功率平均提高了40.38％，同时从图4和图6可以看出本方案较传统ORB算法减少了误匹配，从图3和图5可以看出，在本方案特征提取方法下，大大减少了重叠特征点的数量，特征点分布更加均匀，说明本方案提取的特征点更具有代表性，图像匹配也更加准确。

Claims (8)

1.基于图像分块的自适应ORB特征提取方法，其特征在于，包括以下步骤：

STEP1、将原图像分为L块子图像，分别用P(1),P(2)…P(i)表示，其中i≤L；

STEP2、将每一块子图像P(i)构造T层金字塔；

STEP3、将每一块子图像P(i)的每一层金字塔提取特征点；

STEP4、从i＝1开始比较每一块子图像P(i)提取的总特征数C_i是否大于

若

则跳至步骤5；若

返回步骤3，降低提取特征点的阈值；

其中，S_i为P(i)块子图像的面积，S为原图像面积，Sum为需要提取的特征点总数；

STEP5、判断i是否等于L，若等于，实行步骤6，若不等于，则i＝i+1，返回步骤3；

STEP6、利用Harris角点检测算法对提取的特征点打分，选取前Sum个较好的特征点；

STEP7、在原图中显示特征点位置。

2.根据权利要求1所述的基于图像分块的自适应ORB特征提取方法，其特征在于，所述的STEP3中特征点的提取采用FAST14-24角点检测。

3.根据权利要求2所述的基于图像分块的自适应ORB特征提取方法，其特征在于，所述的STEP1的具体过程为：

STEP1.1、计算出图像的宽和高，分别用A，B表示，计算A/M,B/N，求出子图像总块数L，其中，M为分割的列数，N为分割的行数；

STEP1.1.1、若A是M的倍数，B是N的倍数，则L＝M*N，计算每一块子图像面积S_i；

STEP1.1.2、若A是M的倍数，B不是N的倍数，则L＝M*N+1，计算每一块子图像面积S_i；

STEP1.1.3、若A不是M的倍数，B是N的倍数，则L＝M*N+1，计算每一块子图像面积S_i；

STEP1.1.4、若A不是M的倍数，B不是N的倍数，则L＝M*N+2，计算每一块子图像面积S_i。

4.根据权利要求2所述的基于图像分块的自适应ORB特征提取方法，其特征在于，所述的STEP3的具体过程为：

STEP3.1、从P(i)块图像中挑选一个像素点p₀,其灰度值为

设定阈值t；

STEP3.2、以p₀点为中心，挑选其周围的24个点，24个点的分布为：以p₀点为中心,去掉其7*7区域的最外围四个角的4个点，最外围上，p₀的正上方为p₁顺时针依次为p₁、p₂、p₃、p₅至p₉、p₁₁至p₁₅、p₁₇至p₂₁、p₂₃、p₂₄，以p₀为中心，3*3区域中右上角为p₄，右下角为p₁₀，左上角为p₂₂，左下角为p₁₆，当这24个点中至少有连续14个点的像素大于

时,令flag＝1，或者当小于

时,，令flag＝0，当flag＝1或0时，则认为p₀点是特征侯选点；

STEP3.3、若flag＝1，计算该点和周围24个点的差值

若flag＝0，则

遍历24个点，若d(j)后有连续14个点的最小值,满足：

md＝min(d(j+1),d(j+2),…d(j+14)),(d(25)＝d(1),d(26)＝d(2),…)大于t，令t＝md，重新循环24个点，直到恰好该点不满足特征点判定条件，此时侯选点分值V＝t，若该点不是特征候选点，则V＝0，其中，

是像素点p_j的灰度值；

STEP3.4、计算以p₀为中心，附近3*3区域的8个像素点(g₁,g₂…g₈)的分值V，分别为V_g＝(V_g1,V_g2…V_g8)，若STEP3.3所得的V>max(V_g)，则判定该点为特征点。

5.根据权利要求2所述的基于图像分块的自适应ORB特征提取方法，其特征在于，所述的STEP6的具体过程为：

STEP6.1、根据Harris角点检测算法计算出原图像每个像素点的角点准则函数R的值；

STEP6.2、按照角点准则函数R的高低排序选择前Sum个需要的特征点。

6.根据权利要求1所述的基于图像分块的自适应ORB特征提取方法，其特征在于，所述的STEP2中金字塔的层数T≥4。

7.根据权利要求1所述的基于图像分块的自适应ORB特征提取方法，其特征在于，还包括以下步骤：

STEP8、将提取的特征点与原图像进行匹配。

8.根据权利要求7所述的基于图像分块的自适应ORB特征提取方法，其特征在于，所述的STEP8的具体步骤为：

STEP8.1、灰度质心法定义图像矩：在P(i)子图像中，定义图像的矩为：m_ab＝x^ay^bI(x,y),其特征点方向角为：

则旋转矩阵

其中，I(x,y)为点(x,y)的灰度值，x,y分别为像素点的横纵坐标，a,b等于0或1；

STEP8.2、以特征点为中心，取S×S邻域窗口，随机选取两个点，比较像素值大小，进行如下二进制赋值：

其中，I(z1)，I(z2)分别是随机点z1,z2的像素值,S为设定值；

STEP8.3、在窗口中随机选取W对随机点，对其定义矩阵

重复上述第二步，得到一个二进制编码，即特征描述子；

STEP8.4、对两幅图像所提取的特征点计算Hamming距离，若两特征点的Hamming距离都最小且最小距离不大于阈值α，则这两特征点匹配成功，α为预设值。

Images