CN112966694A - 一种应用于图像匹配的尺度不变特征点提取方法 - Google Patents

Abstract

一种应用于图像匹配的尺度不变特征点提取方法，解决了现有利用Fast特征点进行图像匹配精度不高的问题，属于图像匹配技术领域。本发明包括：计算图像中像素点的在不同尺度下的尺度区域值，建立尺度金字塔；在不同尺度下的每个像素点与周围8个像素点的尺度区域值进行比较，筛选出候选特征点，并计算图像在不同尺度下的尺度响应得分对筛选出的候选特征点进行非极大值抑制，筛选出尺度响应得分最大的候选特征点，并用当前尺度与上下尺度的响应得分进行插值计算，得到精确尺度，去掉偏移超过设定值的候选特征点，剩余的候选特征点为尺度不变特征点。对得到的尺度不变特征点结合Surf区域描述生成局部特征，对图像进行匹配实验得到匹配结果并分析。

Description

一种应用于图像匹配的尺度不变特征点提取方法

技术领域

本发明涉及一种尺度不变特征点提取方法，属于图像匹配技术领域。

背景技术

尺度不变特征点提取主要的作用是与尺度区域特征结合在一起用于图像匹配或点云生成等领域。在运动估计、图像拼接、三维重建、自动驾驶都有着举足轻重的作用。由于图像生成过程于不同角度、平面、距离等因素，图像间存在一定仿射。这给特征点的尺度不变性提出要求，特征点位置与尺度的确定将影响后续尺度区域的划定带来极大影响，直接关系到匹配精度。同时除了图像间仿射之外，图像色差、亮度变化等给尺度不变特征点提取增加了难度，致使其很难有高的提取效果。

近年来研究人员提出了很多特征点提取算法。例如：DoG算子、Fast算法、harris算法、Forstner算子等。其中Fast特征点以高频率著称，但是没有尺度不变特性且实际匹配精度不佳；Harris同样存在没有尺度不变性对尺度敏感的问题；DoG算子存在计算量大的缺点。

发明内容

针对现有利用Fast特征点进行图像匹配精度不高的问题，本发明提供一种应用于图像匹配的尺度不变特征点提取方法。

本发明的一种应用于图像匹配的尺度不变特征点提取方法，所述方法包括：

S1：计算图像中像素点的在不同尺度下的尺度区域值，建立尺度金字塔，尺度金字塔的每一层对应一个不同尺度及各像素点在不同尺度下的尺度区域值，尺度值计算的范围是半径为当前尺度σ大小的圆域；

S2：在不同尺度下的每个像素点作为中心像素点与周围8个像素点的尺度区域值进行比较，筛选出候选特征点，并计算图像在不同尺度下的尺度响应得分；

S3：对S2筛选出的候选特征点进行非极大值抑制，筛选出尺度响应得分最大的候选特征点，并用当前尺度与上下尺度的响应得分进行插值计算，得到精确尺度，去掉偏移超过设定值的候选特征点，剩余的候选特征点为尺度不变特征点。

作为优选，所述S1中，像素点的尺度区域值为：

其中，B_sp为尺度圆的外接方形值，L_sp为尺度圆的内接方形值，I_sp为尺度区域值，所述尺度圆为以图像中某一像素点为中心、半径为设定的尺度值大小的圆形区域；

尺度σ的大小为：

σ＝1.2*2((o-1)/3)o＝1，2，…，10

其中，o表示为尺度金字塔的层数。

作为优选，所述S2包括：

S21：在每一层尺度金字塔中筛选出候选特征点；

在不同尺度下的每个像素点作为中心像素点，在半径为尺度值2倍大小的圆上选取8个像素点作为对比像素点，包括：水平2个像素点、竖直2个像素点、对角4个像素点，若索引的中心像素点的尺度区域值与周围的对比像素点的尺度区域值的差值存在连续6个大于阈值或小于阈值，则认为所述中心像素点在尺度σ下是特征点；

中心像素点的尺度区域值与对比像素点区域值的大小关系分类如式：

其中，d表示中心像素点的尺度区域值大于对比像素点的尺度区域值，s表示中心像素点的尺度区域值接近对比像素点的尺度区域值，b表示中心像素点的尺度区域值小于对比像素点的尺度区域值，I_sp→sx表示对比像素点的尺度区域值，I_sp表示索引的中心像素点的尺度区域值，thr表示阈值，sp表示索引的中心像素点，sx表示对比像素点；

若8个对比像素点中的S_sp→sx连续6个d，则索引的中心像素点属于Pd类，若8个对比像素点中的S_sp→sx连续6个b，则sp属于Pb类；

S22：对图像在不同尺度下的尺度区域值计算尺度响应得分V，尺度响应得分具有两种情况的分别为候选特征点和非候选特征点，对于候选特征点的尺度响应得分V：

对于非候选特征点的尺度响应得分V计算方式为：

其中，S_bright表示中心像素点尺度值较对比的像素点的尺度值大的情况，S_dark表示中心像素点尺度值较对比的像素点的尺度值小的情况。

作为优选，所述S3包括：

S31：对候选特征点进行在当前尺度与前后尺度下范围为(2σ+1)*(2σ+1)*3的非极大值抑制，挑选出尺度区域内响应得分最大的候选特征点；

S32：对筛选的候选特征点在当前尺度与前后尺度下进行亚尺度插值计算，并去掉偏移量大于0.5的候选特征点，剩余的候选特征点为尺度不变特征点。

作为优选，所述方法还包括S4，对得到的尺度不变特征点结合Surf区域描述生成局部特征，对图像进行匹配实验得到匹配结果并分析。

本发明的有益效果：本发明增强了Fast特征点的尺度信息，使得尺度区域划分更为合理，在一定程度上提高图像匹配的精度。通过采用Dotre Dame的一组图片进行图像匹配实验，以匹配精度进行分析：实验采取前50个最佳匹配点分析匹配效果，针对该组图片，本发明的匹配率为98％，而原始Fast算法的匹配率为92％，本发明匹配精度提高6％。综上所述：在实验数据相同的情况下，本发明实现了Fast特征点的尺度不变性，能有效地提取关键特征点，在一定程度上提高匹配精度。

附图说明

图1为本发明的方法流程图；

图2为本发明涉及的尺度区域范围大小与位置示意；

图3为本发明涉及的使用积分图替代尺度值的方法示意；

图4为本发明涉及的积分直方图生成与矩形区域积分计算过程示意图，其中图4(a)表示积分直方图生成过程，图4(b)表示矩形区域积分计算过程；

图5为本发明涉及的非极大值抑制的区域范围示意图；

图6为本发明涉及的亚尺度计算的插值示意图，纵坐标表示尺度，横坐标表示插值；

图7为本发明涉及的Surf区域特征描述的形成过程；

图8a为本发明算法进行特征匹配的效果图；

图8b为本发明进行特征匹配的正确匹配点与错误匹配点位置标定图；

图9a为使用原始Fast算法进行特征匹配的效果图；

图9b为使用原始Fast算法进行特征匹配的正确匹配点与错误匹配点位置标定图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

如图1所示，本实施方式的一种应用于图像匹配的尺度不变特征点提取方法，包括：

步骤一：计算图像中像素点的在不同尺度下的尺度区域值，建立尺度金字塔，尺度金字塔的每一层对应一个不同尺度及各像素点在不同尺度下的尺度区域值，尺度值计算的范围是半径为当前尺度σ大小的圆域；

步骤二：在不同尺度下的每个像素点作为中心像素点与周围8个像素点的尺度区域值进行比较，筛选出候选特征点，并计算图像在不同尺度下的尺度响应得分

步骤三：对步骤二筛选出的候选特征点进行非极大值抑制，筛选出尺度响应得分最大的候选特征点，并用当前尺度与上下尺度的响应得分进行插值计算，得到精确尺度，去掉偏移超过设定值的候选特征点，剩余的候选特征点为尺度不变特征点。

本实施方式的步骤一中，以某一像素点为中心，半径为设定的尺度值大小的圆形区域，则尺度区域值为圆的外接方形内值的7/10与尺度区域值为圆的内接方形内值的3/10，如图3所示，像素点的尺度区域值为：

其中，B_sp为尺度圆的外接方形值，L_sp为尺度圆的内接方形值，I_sp为尺度区域值，尺度圆为以图像中某一像素点为中心、半径为设定的尺度值大小的圆形区域；

计算每一像素所有尺度下的尺度区域值，尺度σ的大小大小根据如下式子进行变化：

σ＝1.2*2((o-1)/3)o＝1，2，…，10

其中，o表示为尺度金字塔的层数。

本实施方式的步骤二包括：

步骤二一：在每一层尺度金字塔中筛选出候选特征点；

在不同尺度下的每个像素点作为中心像素点，在半径为尺度值2倍大小的圆上选取8个像素点作为对比像素点，包括：水平2个像素点、竖直2个像素点、对角4个像素点，若索引的中心像素点的尺度区域值与周围的对比像素点的尺度区域值的差值存在连续6个大于阈值或小于阈值，则认为所述中心像素点在尺度σ下是特征点；值得注意的式方形区域可用积分图进行快速计算，本发明采用了积分图方法，如图4所示，积分图往往需要将像素值归一化处理，阈值此时为0.06，筛选出特征候选点；

中心像素点的尺度区域值与对比像素点区域值的大小关系分类如式：

其中，d表示中心像素点的尺度区域值大于对比像素点的尺度区域值，s表示中心像素点的尺度区域值接近对比像素点的尺度区域值，b表示中心像素点的尺度区域值小于对比像素点的尺度区域值，I_sp→sx表示对比像素点的尺度区域值，I_sp表示索引的中心像素点的尺度区域值，thr表示阈值，sp表示索引的中心像素点，sx表示对比像素点；如图2所示，sx₁～sx₈表示对比像素点位置的中心；

若8个对比像素点中的S_sp→sx连续6个d，则索引的中心像素点属于Pd类，若8个对比像素点中的S_sp→sx连续6个b，则sp属于Pb类；

步骤二二：对图像在不同尺度下的尺度区域值计算尺度响应得分V，尺度响应得分具有两种情况的分别为候选特征点和非候选特征点，对于候选特征点的尺度响应得分V：

对于非候选特征点的尺度响应得分V计算方式为：

其中，S_bright表示中心像素点尺度值较对比的像素点的尺度值大的情况，S_dark表示中心像素点尺度值较对比的像素点的尺度值小的情况。

对一个像素点在一个尺度下检测为特征点，但在其他尺度下可能不符合特征点要求，又因为需要对特征点计算它的亚尺度，需要上下两层尺度的响应得分，如果该点在这两层尺度不是特征点便没有相应得分便进行不了亚尺度插值计算，为了得到一个能用的响应得分需要另外的低标准计算方法对非特征点的得分进行计算。

本实施方式的步骤三包括：

步骤三一：如图5所示，对候选特征点进行在当前尺度与前后尺度下范围为(2σ+1)*(2σ+1)*3的非极大值抑制，挑选出尺度区域内响应得分最大的候选特征点；

步骤三二：对筛选的候选特征点在当前尺度与前后尺度下进行亚尺度插值计算，如图6所示，并去掉偏移量大于0.5的候选特征点，剩余的候选特征点为尺度不变特征点。

本实施方式还包括步骤四，具体包括：

步骤四一：对得到的尺度不变特征点结合Surf区域描述生成局部特征，如图7所示。

步骤四二：对图片进行匹配实验得到匹配结果并分析结果。

需说明的是，本发明基于图像匹配的系统框架，针对FAST特征点不具备尺度不变性的进行改进。本发明的方法过程是用设置好的计算机执行程序对图像进行匹配，目的是提供尺度不变性的实现方式，提高图像匹配的匹配精度。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (5)

1.一种应用于图像匹配的尺度不变特征点提取方法，其特征在于，所述方法包括：

S1：计算图像中像素点的在不同尺度下的尺度区域值，建立尺度金字塔，尺度金字塔的每一层对应一个不同尺度及各像素点在不同尺度下的尺度区域值，尺度值计算的范围是半径为当前尺度σ大小的圆域；

S2：在不同尺度下的每个像素点作为中心像素点与周围8个像素点的尺度区域值进行比较，筛选出候选特征点，并计算图像在不同尺度下的尺度响应得分；

S3：对S2筛选出的候选特征点进行非极大值抑制，筛选出尺度响应得分最大的候选特征点，并用当前尺度与上下尺度的响应得分进行插值计算，得到精确尺度，去掉偏移超过设定值的候选特征点，剩余的候选特征点为尺度不变特征点。

2.根据权利要求1所述的一种应用于图像匹配的尺度不变特征点提取方法，其特征在于，所述S1中，像素点的尺度区域值为：

其中，B_sp为尺度圆的外接方形值，L_sp为尺度圆的内接方形值，I_sp为尺度区域值，所述尺度圆为以图像中某一像素点为中心、半径为设定的尺度值大小的圆形区域；

尺度σ的大小为：

σ＝1.2*2((o-1)/3)o＝1，2，…，10

其中，o表示为尺度金字塔的层数。

3.根据权利要求1所述的一种应用于图像匹配的尺度不变特征点提取方法，其特征在于，所述S2包括：

S21：在每一层尺度金字塔中筛选出候选特征点；

在不同尺度下的每个像素点作为中心像素点，在半径为尺度值2倍大小的圆上选取8个像素点作为对比像素点，包括：水平2个像素点、竖直2个像素点、对角4个像素点，若索引的中心像素点的尺度区域值与周围的对比像素点的尺度区域值的差值存在连续6个大于阈值或小于阈值，则认为所述中心像素点在尺度σ下是特征点；

中心像素点的尺度区域值与对比像素点区域值的大小关系分类如式：

其中，d表示中心像素点的尺度区域值大于对比像素点的尺度区域值，s表示中心像素点的尺度区域值接近对比像素点的尺度区域值，b表示中心像素点的尺度区域值小于对比像素点的尺度区域值，I_sp→sx表示对比像素点的尺度区域值，I_sp表示索引的中心像素点的尺度区域值，thr表示阈值，sp表示索引的中心像素点，sx表示对比像素点；

若8个对比像素点中的S_sp→sx连续6个d，则索引的中心像素点属于Pd类，若8个对比像素点中的S_sp→sx连续6个b，则sp属于Pb类；

S22：对图像在不同尺度下的尺度区域值计算尺度响应得分V，尺度响应得分具有两种情况的分别为候选特征点和非候选特征点，对于候选特征点的尺度响应得分V：

对于非候选特征点的尺度响应得分V计算方式为：

其中，S_bright表示中心像素点尺度值较对比的像素点的尺度值大的情况，S_dark表示中心像素点尺度值较对比的像素点的尺度值小的情况。

4.根据权利要求1所述的一种应用于图像匹配的尺度不变特征点提取方法，其特征在于，所述S3包括：

S31：对候选特征点进行在当前尺度与前后尺度下范围为(2σ+1)*(2σ+1)*3的非极大值抑制，挑选出尺度区域内响应得分最大的候选特征点；

S32：对筛选的候选特征点在当前尺度与前后尺度下进行亚尺度插值计算，并去掉偏移量大于0.5的候选特征点，剩余的候选特征点为尺度不变特征点。

5.根据权利要求1所述的一种应用于图像匹配的尺度不变特征点提取方法，其特征在于，所述方法还包括S4，对得到的尺度不变特征点结合Surf区域描述生成局部特征，对图像进行匹配实验得到匹配结果并分析。

Images