CN116152517A - 一种改进的orb特征提取方法 - Google Patents

Abstract

本发明请求保护一种改进的ORB特征提取方法，涉及图像处理和视觉导航技术领域，包括以下步骤：(1)读取图片，并对图片构建图像金字塔；(2)根据图片像素情况，计算自适应FAST阈值；(3)进行FAST特征点的提取，同时运用四叉树算法使其分布均匀化；(4)计算特征点的二进制BEBLID描述子；(5)采用暴力匹配进行粗匹配；(6)最后利用PROSAC算法剔除误匹配点。本发明采用BEBLID描述子提升算法运行速度，并能够自适应调整FAST阈值、使特征点分布均匀，降低误匹配，提高鲁棒性。

Description

一种改进的ORB特征提取方法

技术领域

本发明涉及图像处理和视觉导航技术领域，特别是指一种改进ORB算法的特征点提取算法。

背景技术

视觉SLAM是指运动物体根据视觉传感器的信息，一边计算自身位置，一边构建环境地图的过程。目前，SLAM的应用领域主要有机器人、虚拟现实和增强现实。其中，特征提取是SLAM算法中最为重要的一步。

科研工作者在长年的研究中设计了很多稳定的特征提取方法，比较主流经典的方法有尺度不变特征变换(Scale-Invariant Feature Transform，SIFT)，SIFT算法效果显著，但是难以满足实时性的要求，在此基础上进行改进的加速鲁棒性特征(Speed-UpRobust Feature，SURF)，虽然大大提升了计算性和鲁棒性，但是依然存在实时性差的问题。而ORB(Oriented FAST and Rotated BRIEF)特征算法采用FAST关键点和BRIEF描述子相结合，大大降低了计算量，是质量和性能之间很好的折中方法。传统ORB特征提取算法已经在SLAM系统中得到广泛应用，但是仍然存在ORB特征点在图像平面仍然分布不均匀，容易出现聚集现象、误匹配率高和鲁棒性差等问题。

CN110414533A，一种改进ORB的特征提取与匹配方法，包括如下步骤：(1)读取待匹配的两幅图片，并对每一幅图片构建图像金字塔；(2)根据图片像素情况，计算自适应FAST阈值；(3)进行FAST关键点的提取，同时运用四叉树算法使其分布均匀化；(4)提取完关键点后，计算关键点的BRIEF描述子；(5)对图像金字塔的每一层图片进行(2)-(4)的操作；(6)待两幅图像特征提取结束后，采用暴力匹配进行特征匹配，保留最小距离点对；(7)计算暴力匹配得到匹配点对的Jaccard相似度，过滤相似度过低的匹配点对；(8)最后通过随机抽样一致性方法去除筛选后的匹配点中的误匹配。本发明能够自适应调整FAST阈值、使特征点分布均匀，降低误匹配。

该专利可以自适应调整FAST阈值、使特征点分布均匀，降低误匹配，但是在鲁棒性方面还有待进一步提高，而本发明采用了更高效的BEBLID描述子，相比于该专利所采用的BRIEF描述子，它可以减少算法的整体计算量，提升整个系统的运行速度。为了进一步提高整个系统的鲁棒性、降低误匹配，本发明还采用了双向暴力匹配和PROSAC算法来提高特征点匹配质量、降低匹配时间。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种改进的ORB特征提取方法。本发明的技术方案如下：

一种改进的ORB特征提取方法，其包括以下步骤：

(1)读取图片，并对图片构建图像金字塔；

(2)根据图片像素情况，计算自适应FAST阈值；

(3)进行FAST特征点的提取，同时运用四叉树算法使其分布均匀化；

(4)计算特征点的二进制BEBLID(增强的高效二进制局部图像描述符)描述子；

(5)采用暴力匹配进行粗匹配；

(6)最后利用PROSAC(渐进样本一致性)算法剔除误匹配点。

进一步的，所述步骤(1)读取图片，并对图片构建图像金字塔，具体包括：

对给定的图像设置比例因子进行逐级向下采样，采样后的图像按分辨率大小由高到低向上排列构成图像金字塔。对图像金字塔的第n层进行均值滤波和向下采样得到第n+1层图像，其计算公式为

式中，G_n、G_n+1为图像金字塔第n层和第n+1层的图像；ω为均值滤波器模板，尺寸为a×a，其中a为下采样的行列间隔。

进一步的，所述步骤(2)根据图片像素情况，计算自适应FAST阈值，具体包括：

自适应阈值公式计算如下：

式中，T为计算得到的自适应阈值，a为调整因子，其数值根据经验设定，I(x_i)为对应像素点的灰度值，

为像素灰度平均值，n为像素个数。

进一步的，所述步骤(3)中，进行FAST特征点的提取，同时运用四叉树算法使其分布均匀化，具体包括：

FAST特征点的提取以检测点P为圆心，以半径为3的像素点构成一个检测圆，在检测圆上选取16个连续像素点，先计算圆周上的像素点P₁、P₉与中心像素点的像素差，若其绝对值都小于设定阈值，则不可能为特征点，否则计算P₁、P₅、P₉和P₁₃与P点的像素差，若它们的绝对值小于阈值的个数不超过1个，则加入候选点，否则不为特征点；当P为候选点，计算像素圆上的点与中心点的像素差绝对值，若其中有连续12个像素差绝对值大于设定的阈值，则为特征点，否则不为特征点；

运用四叉树算法使得特征点分布均匀具体包括：对于已经提取好特征点的图像，构建四叉树，对于每一个子节点，当节点内特征点数目等于1时，不再往下划分，若节点数目大于1，则继续向下划分四叉树，直到所有节点只含有一个特征点，或者此时划分的节点数已经满足特征点数目要求，对于这种情况，将节点中响应值最大的特征点保留，舍弃多余的特征点，这样使得特征点分布均匀。

进一步的，所述步骤(4)中，利用BEBLID学习型二进制描述子对检测到的特征点进行描述，取一个以特征点为中心的正方形图像区域，在该区域内任取多对图像块，计算每对图像块中像素点的平均灰度值，相减得到f(x)，计算公式如下所示：

式中，I(q)、I(r)分别表示在像素点q、r处的灰度值，R(p,s)表示以p为中心像素点，大小为s的方形区域，R(p₁,s)和R(p₂,s)表示一对图像块，利用图像积分计算方框区域的灰度值之和；

将得到的f(x)与设定的阈值T比较得到h(x)，计算公式如下所示：

最后利用增强算法有区分地选择一组特征，组成强特征描述，将{+1，-1}输出转换为{1，0}输出，得到BEBLID二进制描述向量。

进一步的，所述步骤(5)中，对提取到的特征点进行双向暴力匹配，计算参考图像中的特征点描述子与目标图像中所有特征点描述子之间的汉明距离，即比较二进制描述子每一位是否相同，不同则距离加1。

进一步的，所述双向暴力匹配，即先计算参考图像中的特征点描述子与目标图像中所有特征点描述子之间的汉明距离，选取目标图像中距离最近的一个作为可能匹配点，

然后使用被匹配到的点作为参考点对原先的参考图像进行反向匹配，最后若匹配到的仍然是参考图像中第一次匹配的点，则将该对匹配点加入粗匹配点集中；

进一步的，所述步骤(6)中，利用PROSAC算法对粗匹配点进行提纯，计算每一对匹配点的欧式距离比值β，计算式如下：

式中，d_min为最小欧式距离，d_min2为次小欧式距离；比值越小，则说明距离越小，特征点匹配的质量也就越好；引入质量因子来衡量匹配质量，即：

根据匹配质量降序排序，选取m个点四个为一组，计算每一组质量之和，根据质量之和进行排序，在排好序匹配对中选取四组质量最高的匹配点，计算单应矩阵；将上述四组点剔除后，其他点根据单应矩阵，计算相应投影点；计算其他点和投影点之间的误差，并和误差极限比较，取误差值小于设定阈值的匹配点加入内点集；若内点集中的内点数大于设定的内点数阈值，利用求得的内点重新估计模型参数，输出正确匹配内点，否则重复上述步骤，重新选取子数据集和计算单应性矩阵。

本发明的优点及有益效果如下：

本发明传统ORB特征提取算法存在ORB特征点在图像平面仍然分布不均匀，容易出现聚集现象、误匹配率高和鲁棒性差等问题。本发明提出来一种改进的ORB特征提取方法，与SLAM系统相结合。步骤(3)中利用四叉树算法使得特征点分布均匀；在步骤(4)中，采用的二进制BEBLID描述子可以提高特征点精度，并大大降低特征点提取时的运算量；然后采用双向暴力匹配对特征点进行粗匹配，最后利用PROSAC算法进行误匹配的剔除，从而减少误匹配点，提高整个系统的鲁棒性。

附图说明

图1是本发明提供优选实施例的方法流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

如图1所示，一种改进的ORB特征提取算法，包括如下步骤：

(1)读取图片，并对图片构建图像金字塔；

(2)根据图片像素情况，计算自适应FAST阈值；

(3)进行FAST特征点的提取，同时运用四叉树算法使其分布均匀化；

(4)计算特征点的二进制BEBLID(增强的高效二进制局部图像描述符)描述子；

(5)采用暴力匹配进行粗匹配；

(6)最后利用PROSAC(渐进样本一致性)算法剔除误匹配点。

步骤(1)读取图片，并对图片构建图像金字塔，具体包括：

对给定的图像设置比例因子进行逐级向下采样，采样后的图像按分辨率大小由高到低向上排列构成图像金字塔。对图像金字塔的第n层进行均值滤波和向下采样得到第n+1层图像，其计算公式为

式中，G_n、G_n+1为图像金字塔第n层和第n+1层的图像；ω为均值滤波器模板，尺寸为a×a，其中a为下采样的行列间隔。

步骤(2)根据图片像素情况，计算自适应FAST阈值，具体包括：

自适应阈值公式计算如下：

式中，T为计算得到的自适应阈值，a为调整因子，其数值根据经验设定，I(x_i)为对应像素点的灰度值，

为像素灰度平均值，n为像素个数。

步骤(3)中，进行FAST特征点的提取，同时运用四叉树算法使其分布均匀化，具体包括：

FAST特征点的提取以检测点P为圆心，以半径为3的像素点构成一个检测圆，在检测圆上选取16个连续像素点，先计算圆周上的像素点P₁、P₉与中心像素点的像素差，若其绝对值都小于设定阈值，则不可能为特征点，否则计算P₁、P₅、P₉和P₁₃与P点的像素差，若它们的绝对值小于阈值的个数不超过1个，则加入候选点，否则不为特征点；当P为候选点，计算像素圆上的点与中心点的像素差绝对值，若其中有连续12个像素差绝对值大于设定的阈值，则为特征点，否则不为特征点；

运用四叉树算法使得特征点分布均匀具体包括：对于已经提取好特征点的图像，构建四叉树，对于每一个子节点，当节点内特征点数目等于1时，不再往下划分，若节点数目大于1，则继续向下划分四叉树，直到所有节点只含有一个特征点，或者此时划分的节点数已经满足特征点数目要求，对于这种情况，将节点中响应值最大的特征点保留，舍弃多余的特征点，这样使得特征点分布均匀。

步骤(4)中，利用BEBLID学习型二进制描述子对检测到的特征点进行描述，取一个以特征点为中心的正方形图像区域，在该区域内任取多对图像块，计算每对图像块中像素点的平均灰度值，相减得到f(x)，计算公式如下所示：

式中，I(q)、I(r)分别表示在像素点q、r处的灰度值，R(p,s)表示以p为中心像素点，大小为s的方形区域，R(p₁,s)和R(p₂,s)表示一对图像块，利用图像积分计算方框区域的灰度值之和；

将得到的f(x)与设定的阈值T比较得到h(x)，计算公式如下所示：

最后利用增强算法有区分地选择一组特征，组成强特征描述，将{+1，-1}输出转换为{1，0}输出，得到BEBLID二进制描述向量。

步骤(5)中，对提取到的特征点进行双向暴力匹配，计算参考图像中的特征点描述子与目标图像中所有特征点描述子之间的汉明距离，即比较二进制描述子每一位是否相同，不同则距离加1。

双向暴力匹配，即先计算参考图像中的特征点描述子与目标图像中所有特征点描述子之间的汉明距离，选取目标图像中距离最近的一个作为可能匹配点，然后使用被匹配到的点作为参考点对原先的参考图像进行反向匹配，最后若匹配到的仍然是参考图像中第一次匹配的点，则将该对匹配点加入粗匹配点集中；

步骤(6)中，利用PROSAC算法对粗匹配点进行提纯，计算每一对匹配点的欧式距离比值β，计算式如下：

式中，d_min为最小欧式距离，d_min2为次小欧式距离；比值越小，则说明距离越小，特征点匹配的质量也就越好；引入质量因子来衡量匹配质量，即：

根据匹配质量降序排序，选取m个点四个为一组，计算每一组质量之和，根据质量之和进行排序，在排好序匹配对中选取四组质量最高的匹配点，计算单应矩阵；将上述四组点剔除后，其他点根据单应矩阵，计算相应投影点；计算其他点和投影点之间的误差，并和误差极限比较，取误差值小于设定阈值的匹配点加入内点集；若内点集中的内点数大于设定的内点数阈值，利用求得的内点重新估计模型参数，输出正确匹配内点，否则重复上述步骤，重新选取子数据集和计算单应性矩阵。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (8)

1.一种改进的ORB特征提取方法，其特征在于，包括以下步骤：

(1)读取图片，并对图片构建图像金字塔；

(2)根据图片像素情况，计算自适应FAST阈值；

(3)进行FAST特征点的提取，同时运用四叉树算法使其分布均匀化；

(4)计算特征点的二进制BEBLID增强的高效二进制局部图像描述符描述子；

(5)采用暴力匹配进行粗匹配；

(6)最后利用PROSAC渐进样本一致性算法剔除误匹配点。

2.根据权利要求1所述的一种改进的ORB特征提取方法，其特征在于，所述步骤(1)读取图片，并对图片构建图像金字塔，具体包括：

对给定的图像设置比例因子进行逐级向下采样，采样后的图像按分辨率大小由高到低向上排列构成图像金字塔；对图像金字塔的第n层进行均值滤波和向下采样得到第n+1层图像，其计算公式为

式中，G_n、G_n+1为图像金字塔第n层和第n+1层的图像；ω为均值滤波器模板，尺寸为a×a，其中a为下采样的行列间隔。

3.根据权利要求1所述的一种改进的ORB特征提取方法，其特征在于，所述步骤(2)根据图片像素情况，计算自适应FAST阈值，具体包括：

自适应阈值公式计算如下：

式中，T为计算得到的自适应阈值，a为调整因子，其数值根据经验设定，I(x_i)为对应像素点的灰度值，

为像素灰度平均值，n为像素个数。

4.根据权利要求3所述的一种改进的ORB特征提取方法，其特征在于，所述步骤(3)中，进行FAST特征点的提取，同时运用四叉树算法使其分布均匀化，具体包括：

FAST特征点的提取以检测点P为圆心，以半径为3的像素点构成一个检测圆，在检测圆上选取16个连续像素点，先计算圆周上的像素点P₁、P₉与中心像素点的像素差，若其绝对值都小于设定阈值，则不可能为特征点，否则计算P₁、P₅、P₉和P₁₃与P点的像素差，若它们的绝对值小于阈值的个数不超过1个，则加入候选点，否则不为特征点；当P为候选点，计算像素圆上的点与中心点的像素差绝对值，若其中有连续12个像素差绝对值大于设定的阈值，则为特征点，否则不为特征点；

运用四叉树算法使得特征点分布均匀具体包括：对于已经提取好特征点的图像，构建四叉树，对于每一个子节点，当节点内特征点数目等于1时，不再往下划分，若节点数目大于1，则继续向下划分四叉树，直到所有节点只含有一个特征点，或者此时划分的节点数已经满足特征点数目要求，对于这种情况，将节点中响应值最大的特征点保留，舍弃多余的特征点，这样使得特征点分布均匀。

5.根据权利要求4所述的一种改进的ORB特征提取方法，其特征在于，所述步骤(4)中，利用BEBLID学习型二进制描述子对检测到的特征点进行描述，取一个以特征点为中心的正方形图像区域，在该区域内任取多对图像块，计算每对图像块中像素点的平均灰度值，相减得到f(x)，计算公式如下所示：

式中，I(q)、I(r)分别表示在像素点q、r处的灰度值，R(p,s)表示以p为中心像素点，大小为s的方形区域，R(p₁,s)和R(p₂,s)表示一对图像块，利用图像积分计算方框区域的灰度值之和；

将得到的f(x)与设定的阈值T比较得到h(x)，计算公式如下所示：

最后利用增强算法有区分地选择一组特征，组成强特征描述，将{+1，-1}输出转换为{1，0}输出，得到BEBLID二进制描述向量。

6.根据权利要求5所述的一种改进的ORB特征提取方法，其特征在于，所述步骤(5)中，对提取到的特征点进行双向暴力匹配，计算参考图像中的特征点描述子与目标图像中所有特征点描述子之间的汉明距离，即比较二进制描述子每一位是否相同，不同则距离加1。

7.根据权利要求6所述的一种改进的ORB特征提取方法，其特征在于，所述双向暴力匹配，即先计算参考图像中的特征点描述子与目标图像中所有特征点描述子之间的汉明距离，选取目标图像中距离最近的一个作为可能匹配点，然后使用被匹配到的点作为参考点对原先的参考图像进行反向匹配，最后若匹配到的仍然是参考图像中第一次匹配的点，则将该对匹配点加入粗匹配点集中；

8.根据权利要求7所述的一种改进的ORB特征提取方法，其特征在于，所述步骤(6)中，利用PROSAC算法对粗匹配点进行提纯，计算每一对匹配点的欧式距离比值β，计算式如下：

式中，d_min为最小欧式距离，d_min2为次小欧式距离；比值越小，则说明距离越小，特征点匹配的质量也就越好；引入质量因子来衡量匹配质量，即：

根据匹配质量降序排序，选取m个点四个为一组，计算每一组质量之和，根据质量之和进行排序，在排好序匹配对中选取四组质量最高的匹配点，计算单应矩阵；将上述四组点剔除后，其他点根据单应矩阵，计算相应投影点；计算其他点和投影点之间的误差，并和误差极限比较，取误差值小于设定阈值的匹配点加入内点集；若内点集中的内点数大于设定的内点数阈值，利用求得的内点重新估计模型参数，输出正确匹配内点，否则重复上述步骤，重新选取子数据集和计算单应性矩阵。

Images