CN103208000B - 基于局部极值快速搜索的特征点提取方法 - Google Patents

Abstract

本发明提出一种基于局部极值快速搜索的特征点提取方法，通过改变局部极值的搜索方法，在保证算法鲁棒性的同时，避免局部极值的重复搜索过程，减少计算量，可以使得平均每个元素的搜索次数小于1.5次，并且与窗口大小无关，从而提高特征点的提取速度，特别是在大窗口中局部极值的提取过程更具有优势。本发明对特征提取、匹配的结果没有影响，可提高多种特征点提取算法的实时性。

Description

基于局部极值快速搜索的特征点提取方法

技术领域

本发明属于图像处理技术，具体地讲涉及基于局部极值快速搜索的特征点提取方法。

背景技术

特征点提取算法广泛应用于图像匹配、自主导航、三维重构、目标跟踪、动作捕捉等技术领域。大多数特征点提取算法如，Harris、SIFT、SURF、MOPS等都需要对在2D或3D空间中进行局部极值的搜索，即窗口中心元素比其周围元素值都要大，以确定候选特征点。而传统的搜索算法都采用逐一比较法，即每一个像素都要和它周围的像素值进行比较，而不考虑前面比较的结果，这显然会造成大量特征点的重复比较。特别是对于大窗口以及多尺度空间的局部极值搜索算法，如速度较快的SURF算法检测一幅1024×768像素的图像平均也需要几百毫秒，很多情况下不能满足大规模、高精度图像的实时应用需求，限制了这些算法的应用。

通常特征点局部极值的提取算法采用直接比较法与形态学滤波法。

直接比较法采用平移窗口历遍图像中的每个元素，将当前窗口中心元素与当前平移窗口中的各个元素相比较，如果发现某个周围元素的值大于等于中间的元素c，则c是一个非最大值元素，该算法就跳到下个元素进行比较。直接比较算法容易实现，但它计算时间较长。比如，图像灰度值在光栅扫描方向逐渐增大的最坏情况，对（2n+1）×（2n+1）窗口来说，直接比较算法需要对每个元素比较                                                次。最好的情况正好相反，对每个元素来说只需比较1次。平均起来，直接比较算法对每个元素需要O(n)次比较，且与搜索窗口大小有直接关系，即窗口越大，搜索次数越多。

形态学滤波法是图像滤波处理中常用的算法，其原理是将窗口内元素排序，并用其中最大值元素代替窗口内所有元素，如果窗口中心元素恰好是该最大值，则中心元素是所要求的极大值点。该算法的计算量也会随着窗口半径的增大而增大。

上述两种算法一个最大的缺点是没有对已经比较过的元素进行标记，从而重复比较次数较多，产生冗余计算，降低了局部极值的搜索效率。

发明内容

针对目前图像特征点提取算法计算量较大, 特别是针对局部极值搜索算法重复比较的过程, 本发明提出一种快速图像特征点局部极值搜索算法，其采用如下技术方案予以实现：

一种基于局部极值快速搜索的特征点提取方法，包括如下步骤：

A、1维2n+1窗口局部最大值搜索，n为正整数：

A1、利用差分得到当前行中局部最大值，作为2n+1窗口的候选最大值；

A2、取下个候选最大值元素；

A3、判断窗口中心元素是否为非最大值，若是，重复步骤A2，否则进入步骤A4；

A4、历遍后n个元素中的非递增的元素；

A5、判断是否大于后n个元素中未历遍元素，若否，标记窗口中心元素为非最大值，并返回步骤A2，若是，则标记当前被比较元素为非最大值，并执行步骤A6；

A6、历遍前n个元素中的非递增的元素；

A7、判断是否大于前n个元素中未历遍元素，若否，标记窗口中心元素为非最大值，并返回步骤A2，若是，则标记窗口中心元素为2n+1窗口内最大值；

A8、判断是否历遍当前行所有候选最大值，若否，返回步骤A2；若是，执行步骤A9；

A9、保存输出结果；

B、2维(2n+1)×(2n+1) 窗口局部最大值搜索：

B1、将每行(2n+1)窗口内最大值作为2维候选最大值；

B2、取下个2维候选最大值元素；

B3、判断窗口中心元素是否为非最大值，若是，重复步骤B2，否则进入步骤B4；

B4、与窗口内下一个候选最大值比较；

B5、判断是否大于被比较元素，若否，标记窗口中心元素为非最大值，并返回步骤B2，若是，则标记当前被比较元素为非最大值，并执行步骤B6；

B6、判断是否历遍窗口内1维最大值，若否，返回步骤B4；若是，执行步骤B7；

B7、历遍窗口其他元素,判断是否大于所有其他元素，若否，标记窗口中心元素和被比较过的元素为非最大值，并返回步骤B2；若是，执行步骤B8；

B8、标记窗口中心元素为(2n+1)×(2n+1) 窗口内最大值；

B9、判断是否历遍2维候选最大值；若否，返回步骤B2；若是，执行步骤B10；

B10、保存输出结果。

进一步地，所述B步骤后还包括步骤C、三维局部最大值搜索：

C1、将(2n+1)×(2n+1) 窗口内最大值作为3维候选最大值；

C2、取下个3维候选最大值元素；

C3、判断窗口中心元素是否为非最大值，若是，重复步骤C2，否则进入步骤C4；

C4、与底层候选最大值比较；

C5、判断是否大于被比较元素，若否，标记窗口中心元素为非最大值，并返回步骤C2，若是，则标记当前被比较元素为非最大值，并执行步骤C6；

C6、判断是否历遍下层内2维最大值，若否，返回步骤C4；若是，执行步骤C7；

C7、与顶层候选最大值比较；

C8、判断是否大于被比较元素，若否，标记窗口中心元素为非最大值，并返回步骤C2，若是，则标记当前被比较元素为非最大值，并执行步骤C9；

C9、判断是否历遍顶层内2维最大值，若否，返回步骤C7；若是，执行步骤C10；

C10、历遍其他元素，判断是否大于所有其他元素，若否，标记窗口中心元素和被比较过的元素为非最大值，并返回步骤C2；若是，执行步骤C11；

C11、标记窗口中心元素为3维窗口内最大值；

C12、是否历遍3维候选最大值，若否，返回步骤C2；若是，执行步骤C13；

C13、保存输出结果。

进一步地，所述A1步骤之前还包括如下步骤：

a1、判断n，当n=1时，执行步骤a2；否则执行步骤A1；

a2、先找到第一个局部最大值，将其右邻元素标注出来，其下一个元素在于上述被标记元素比较后，再从其开始找下一个局部最大值，并将其右邻元素标注出来，依次重复。

与现有技术相比，本发明的优点和积极效果如下：

本发明通过改变局部极值的搜索方法，在保证算法鲁棒性的同时，避免局部极值的重复搜索过程，减少计算量，可以使得平均每个元素的搜索次数小于1.5次，并且与窗口大小无关，从而提高特征点的提取速度，特别是在大窗口中局部极值的提取过程更具有优势。本发明对特征提取、匹配的结果没有影响，可提高多种特征点提取算法的实时性。

结合附图阅读本发明的具体实施方式后，本发明的其他特点和优点将变得更加清楚。

附图说明

图1为本发明1维3窗口局部极值搜索流程；

图2为差分求取最大值示意图；

图3为1维2n+1窗口局部最大值搜索流程图；

图4为2维窗口局部最大值搜索流程图；

图5为3维窗口局部最大值搜索流程图；

图6为是本发明算法、形态学滤波算法、直接算法在不同情况下进行3×3窗口中局部极值搜索，平均每个元素的比较次数对比图；

图7为本发明算法、形态学滤波算法、直接算法局部极值搜索时间的比较曲线；

图8为SIFT算法中进行3×3×3局部极值搜索过程中三种算法时间的比较结果。

具体实施方式

本发明提供一种对图像中特征点进行快速提取的方法。通过将局部极大值快速搜索算法结合到对图像中特征点的提取过程中，该发明的应用通用性强，可用于多种特征点提取算法，在不影响匹配结果的前提下，可大大减少比较次数，在不增加较多内存的情况下提高搜索速度。

本发明实施例中提到的特征点是指广义特征点，不仅包括具有常规属性意义的角点、交叉点等等，也包括满足一定特征条件或采用数学描述符描述的特征区域的位置，如SIFT、SURF等算法在3D尺度空间中提取的特征点等。因此根据不同特征点提取算法的不同，可分为在2D图像中提取以及在3D空间中提取两种情况，并假设平移搜索窗口的大小为(2n+1)×(2n+1)下面结合附图，对本发明的具体实施例进行说明。

步骤一：1维局部最大值搜索算法

（1）n=1的情况

搜索n=1时，1维窗口宽度内的局部极值，即要寻找图像中每行中比左右两边像素值都大的像素。如图1所示，箭头从一个像素指向另一个表示中心像素与它的右边元素进行一次比较。在这个序列[1,2,3,4,3,2,1,2,3]的开始时候，像素值是逐渐增大的趋势。因此，在当前元素值是一个非最大值时，它只需要与它右边元素比较一次。当这个增大趋势停止在一个局部最大值的时候（图中画圈的地方），它右邻元素被标记出来（用阴影表示），该元素（3）已经与前面元素比较，且小于前面元素值，因此它肯定不是局部最大值，所以要继续比较下面没有标记的元素，在图1中是2。此时，由于当前元素没有与左面元素3相比，它也可能是一个候选最大值点，因此需要将此元素与左右两边元素都要进行比较。同样的，当发现右面元素1比当前元素小的话，也会被标记出来。这种1维搜索最大值算法对每一个元素来说需要比较1次。如此进行下去，直到将行中该行中所有局部最大值都搜索到。

（2）n>1的情况

当n>1时，由于不能通过n=1的算法，即相邻元素的比较，直接得出元素的增减趋势。因此这里采用差分形式得到窗口内元素的增减变化趋势，从而检测1D扫描线上的局部最大值，原理如图2所示。

先求出当前图像某一行（列）元素f的一阶向前差分，并用g表示该有限差分的符号，即

则等于-1，0或者1，取决于f的局部斜率。

然后再对g求解一阶差分的值h，

显然在局部最大值时等于-2（图中用圆圈圈住的五角星表示），在局部最小值时等于+2。在得到h的情况下，每一个1D局部极大值与它的(2n+1)的邻近元素进行比较。邻近元素值如果是从局部最大值连续非增的情形（也就是{x|h(x)= -1，1, 0}），则被标记成比当前元素小，这样的元素后面将不会重复比较，从而减少了比较次数。只有在搜索窗口范围内，当前极小值之外的元素才会重新比较，如图两个圆圈表示的元素。如果当前比较元素比窗口内的元素都大，则被确定为1维（2n+1）窗口内的最大值元素，否则标记为非局部最大值，后面2维或3维窗口搜索时，会跳过该元素，从而减少比较次数。另外，在比较次序上，要先比较后面没有比较过的元素，再比较前面元素。这是因为，当前中心元素在前面比较的时候没有被标记（Flag=0），它可能比前面被比较的元素大，或者前面被比较元素已经被标记为非最大值元素（Flag=1）。在第一种情形中，如果前面元素已经与当前元素比较过，因此再与前面元素进行比较是多余的；在第二种情形中，因为前面的元素已经被跳过比较，它们更可能是数值比较小的元素，这样，相当于先与后面可能较大的元素比较，同样可以减少当前元素是非最大值检测的比较次数。具体流程见图3。

001、利用差分得到当前行中局部最大值，作为2n+1窗口的候选最大值；

002、取下个候选最大值元素；

003、判断窗口中心元素是否为非最大值即Flag是否为1？若是，重复步骤002，否则进入步骤004；

004、历遍后n个元素中的非递增的元素；

005、判断是否大于后n个元素中未历遍元素，若否，标记窗口中心元素为非最大值，并返回步骤002，若是，则执行步骤006；

006、标记当前被比较元素为非最大值，Flag=1，并执行步骤007；

007、历遍前n个元素中的非递增的元素；

008、判断是否大于前n个元素中未历遍元素，若否，标记窗口中心元素为非最大值，并返回步骤002，若是，执行步骤009；

009、标记窗口中心元素为2n+1窗口内最大值；

010、判断是否历遍当前行所有候选最大值，若否，返回步骤002；若是，执行步骤011；

011、保存输出结果，结束。

步骤二：2维局部最大值搜索算法

在1维窗口搜索局部最大值的基础上，可以采用下面的算法进行2维窗口，即（2n+1）×（2n+1）窗口局部最大值的搜索。本发明提出一种快速搜索算法，可以改变比较次序来减少直接比较算法的复杂度。该算法可以用于Harris、MOPS等特征点提取算法的计算过程。

该算法先在搜索出每行（2n+1）1维窗口最大值的基础上进行进一步排除。首先要保证要比较的2维中心元素是（2n+1）1维窗口内的最大值，这已经在上一步骤里实现。其次要保证该中心元素比（2n+1）×（2n+1）窗口内所有1维局部候选最大值都大，即先要与窗口内的等于-2的元素（除去当前行的元素）比较。由于2维窗口内的局部最大值通常来说比较少，（2n+1）×（2n+1）内的局部最大值的个数会随着n的增大而迅速减少。因此要尽量先与较大的值比较，减少比较次数。若当前元素是非最大值元素时，该算法可以快速排除当前元素，并跳过该元素继续比较下一个候选最大值元素。另外，在比较次序上，与1维检测一样，也应先比较后面没有比较过的元素，再比较前面元素，尽可能减少比较次数。因此，由于可以跳过前面已经比较过的元素，且尽量从较大的元素开始比较，本发明的算法不管窗口的大小，平均对每个元素的比较次数的复杂度大约是个常数，通常情况O(n)≤2，而直接比较法，平均每个元素需要比较次。该算法流程如图4所示。

101、将每行(2n+1)窗口内最大值作为2维候选最大值；

102、取下个2维候选最大值元素；

103、判断窗口中心元素是否为非最大值，即Flag是否为1、若是，重复步骤102，否则进入步骤104；

104、与窗口内下一个候选最大值比较；

105、判断是否大于被比较元素，若否，标记窗口中心元素为非最大值，并返回步骤102，若是，执行步骤106；

106、标记当前被比较元素为非最大值，即Flag=1；

107、判断是否历遍窗口内1维最大值，若否，返回步骤104；若是，执行步骤107；

108、历遍窗口其他元素，判断是否大于所有其他元素，若否，标记窗口中心元素和被比较过的元素为非最大值，并返回步骤102；若是，执行步骤109；

109、标记窗口中心元素为(2n+1)×(2n+1) 窗口内最大值；

110、判断是否历遍2维候选最大值；若否，返回步骤102；若是，执行步骤111；

111、保存输出结果。

步骤三：3维局部最大值搜索算法

多尺度特征点提取算法，如SIFT、SURF、ASIFT算法等需要对三维空间中3×3×3进行局部最大值的搜索，同样可以根据上面算法的思想进行3维窗口最大值的搜索。即尽量避免重复比较，比较的时候先与值较大的元素进行比较，跳过先前已经标记为不是最大值的元素，从而减少搜索次数。具体算法如图5所示。

201、将(2n+1)×(2n+1) 窗口内最大值作为3维候选最大值；

202、取下个3维候选最大值元素；

203、判断窗口中心元素是否为非最大值，若是，重复步骤202，否则进入步骤204；

204、与底层候选最大值比较；

205、判断是否大于被比较元素，若否，标记窗口中心元素为非最大值，并返回步骤202，若是执行步骤206；

206、标记当前被比较元素为非最大值，即Flag=1；

207、判断是否历遍下层内2维最大值，若否，返回步骤204；若是，执行步骤208；

208、与顶层候选最大值比较；

209、判断是否大于被比较元素，若否，标记窗口中心元素为非最大值，并返回步骤202，若是，执行步骤210；

210、标记当前被比较元素为非最大值，Flag=1；

211、判断是否历遍顶层内2维最大值，若否，返回步骤208；若是，执行步骤212；

212、历遍其他元素，判断是否大于所有其他元素，若否，标记窗口中心元素和被比较过的元素为非最大值，并返回步骤202；若是，执行步骤213；

213、标记窗口中心元素为3维窗口内最大值；

214、是否历遍3维候选最大值，若否，返回步骤202；若是，执行步骤215；

215、保存输出结果。

将本发明的算法与之前的直接算法、形态学滤波算法进行比较。运行环境为INTEL E2140（1.6GHz×2），内存2G，编程环境Matlab2010b。对Matlab自带图像Lena(512×512)、Pentagon(1024×1024) 等多幅图像采用不同的窗口宽度，进行Harris角点检测，以对比不同算法的运行结果。采用本发明的算法与直接算法、形态学滤波等算法所提取的特征点集是一致的，首先保证了所有算法运行结果的正确性。

从比较次数来看，图6是本发明算法、形态学滤波算法、直接算法在不同情况下进行3×3窗口中局部极值搜索，平均每个元素的比较次数。由于形态学滤波算法要对每个元素都要与其周围元素做灰度膨胀，因此每个元素比较次数为8。直接比较算法的比较次数与元素值大小排列有关：最好情况比较1次即可（元素值递增变化），最坏情况平均每元素需比较约5次，而对于一般图像来说，比较次数接近于2.5。本发明提出的算法平均每个元素的比较次数在1.2次左右。

图7是几种算法在不同窗口大小下对Lena图像（512×512）进行harris角点提取，进行局部极值搜索运行时间的比较曲线。从图中可以看出，由于形态学滤波算法对每个元素都要进行 (2n+1)×(2n+1)-1次比较，因此，其运行时间和窗口大小直接相关，窗口越大，运行时间越长。而直接比较算法与本发明算法的运行时间与窗口大小无关，但本发明算法由于对已经比较过的元素进行标记，从而减少了比较次数，运行时间只有直接比较算法的50%左右，从而在实时性方面进一步提高。

图8是SIFT算法中进行3×3×3局部极值搜索过程中三种算法运行时间的比较结果，从图中也可以看出，本发明算法的运行时间只有形态学滤波算法的15%，直接算法的50%左右。

从运行结果上可以看出，利用本发明算法进行特征提取中的局部极值搜索，可较大程度的提高搜索速度，从而进一步满足图像实时处理的要求。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (3)

1.一种基于局部极值快速搜索的特征点提取方法，其特征在于包括如下步骤：

A、1维2n+1窗口局部最大值搜索，n为正整数：

A1、利用差分得到当前行中局部最大值，作为2n+1窗口的候选最大值；

A2、取下个候选最大值元素；

A3、判断窗口中心元素是否为非最大值，若是，重复步骤A2，否则进入步骤A4；

A4、历遍后n个元素中的非递增的元素；

A5、判断是否大于后n个元素中未历遍元素，若否，标记窗口中心元素为非最大值，并返回步骤A2，若是，则标记当前被比较元素为非最大值，并执行步骤A6；

A6、历遍前n个元素中的非递增的元素；

A7、判断是否大于前n个元素中未历遍元素，若否，标记窗口中心元素为非最大值，并返回步骤A2，若是，则标记窗口中心元素为2n+1窗口内最大值；

A8、判断是否历遍当前行所有候选最大值，若否，返回步骤A2；若是，执行步骤A9；

A9、保存输出结果；

B、2维(2n+1)×(2n+1) 窗口局部最大值搜索：

B1、将每行(2n+1)窗口内最大值作为2维候选最大值；

B2、取下个2维候选最大值元素；

B3、判断窗口中心元素是否为非最大值，若是，重复步骤B2，否则进入步骤B4；

B4、与窗口内下一个候选最大值比较；

B5、判断是否大于被比较元素，若否，标记窗口中心元素为非最大值，并返回步骤B2，若是，则标记当前被比较元素为非最大值，并执行步骤B6；

B6、判断是否历遍窗口内1维最大值，若否，返回步骤B4；若是，执行步骤B7；

B7、历遍窗口其他元素,判断是否大于所有其他元素，若否，标记窗口中心元素和被比较过的元素为非最大值，并返回步骤B2；若是，执行步骤B8；

B8、标记窗口中心元素为(2n+1)×(2n+1) 窗口内最大值；

B9、判断是否历遍2维候选最大值；若否，返回步骤B2；若是，执行步骤B10；

B10、保存输出结果。

2.根据权利要求1所述的特征点提取方法，其特征在于：所述B步骤后还包括步骤C、三维局部最大值搜索：

C1、将(2n+1)×(2n+1) 窗口内最大值作为3维候选最大值；

C2、取下个3维候选最大值元素；

C3、判断窗口中心元素是否为非最大值，若是，重复步骤C2，否则进入步骤C4；

C4、与底层候选最大值比较；

C5、判断是否大于被比较元素，若否，标记窗口中心元素为非最大值，并返回步骤C2，若是，则标记当前被比较元素为非最大值，并执行步骤C6；

C6、判断是否历遍下层内2维最大值，若否，返回步骤C4；若是，执行步骤C7；

C7、与顶层候选最大值比较；

C8、判断是否大于被比较元素，若否，标记窗口中心元素为非最大值，并返回步骤C2，若是，则标记当前被比较元素为非最大值，并执行步骤C9；

C9、判断是否历遍顶层内2维最大值，若否，返回步骤C7；若是，执行步骤C10；

C10、历遍其他元素，判断是否大于所有其他元素，若否，标记窗口中心元素和被比较过的元素为非最大值，并返回步骤C2；若是，执行步骤C11；

C11、标记窗口中心元素为3维窗口内最大值；

C12、是否历遍3维候选最大值，若否，返回步骤C2；若是，执行步骤C13；

C13、保存输出结果。

3.根据权利要求1或2所述的特征点提取方法，其特征在于：所述A1步骤之前还包括如下步骤：

a1、判断n，当n=1时，执行步骤a2；否则执行步骤A1；

a2、先找到第一个局部最大值，将其右邻元素标注出来，其下一个元素在于上述被标记元素比较后，再从其开始找下一个局部最大值，并将其右邻元素标注出来，依次重复。