CN102096817B - 图像稳定特征点的提取方法及其装置 - Google Patents

Abstract

本发明公开了一种图像稳定特征点的提取方法及其装置，涉及图像处理领域，能够实现量化出图像特征点的稳定性。方法包括：对读入的数字图像点阵数据进行滤波处理，构建图像尺度空间；通过区域阈值控制，获得尺度不变的图像特征点点集合；计算所述图像特征点的稳定因子，根据所述图像特征点的稳定因子通过阈值控制获得图像稳定特征点点集合。本发明应用于图像识别和图像特征的提取。

Description

图像稳定特征点的提取方法及其装置

技术领域

本发明涉及图像处理领域，尤其涉及一种图像稳定特征点的提取方法及其装置。 

背景技术

目前，数字图像是较为常用的信息载体。从图形的角度来说，若图像中的某一像素点是图像特征点，那么在某个距离内，该点必然在某方向或多个方向上的变化剧烈，例如“团渍”区域易提取图像特征点。在众多数字图像处理技术中，图像特征点如同“地标”，在图像局部区域定位上起到关键作用。以下列举的图像处理技术都是依靠图像特征点匹配或再同步来完成其重要环节上的工作，包括：图像识别技术、基于内容的图像检索技术、图像拼接技术、图像匹配技术和数字图像水印技术等。 

从图像特征点提取方法的角度看，如果某个点是图像特征点，则在其的某个方向上代价函数值的变化是最大的。因此，构造适当的代价函数，在不同的图像缩放尺度或图像内容背景上，能够较快地提取图像特征点，是图像特征点提取方法的重要内容。同时，也需要要求图像特征点方法能够抵抗常见的图像处理操作，如缩放图像，即提取的图像特征点具有尺度不变性。尺度在这里表示图像不同的大小比例。因此，建立在尺度空间理论上的图像特征点提取方法具有尺度不变的性质。 

现有技术提供以下几种图像特征点提取方法： 

(1)Moravec提取方法。该方法的滤波函数窗口是一个2值函数，很容易受到噪声的影响，该方法只考虑了每隔45度的方向变化，而没有在全部的方向 上进行考虑，该方法对于边缘的响应过于剧烈。 

(2)Harris角点方法对Moravec方法做了直接的改进，用高斯函数来作为滤波函数，用一阶泰勒展开式来表示在所有方向上的变化，但是Harris角点方法不支持图像的尺度变化，即图像的缩放。 

(3)Harris Laplacian方法是在Harris角点方法的基础上，利用尺度空间理论，寻找多尺度空间的最大响应点。该方法提取的图像特征点重现率较Harris角点方法高，同时具有尺度不变性，但缺点是迭代遍历尺度空间时的运算量大，这大大限制了其在实时性场合的应用。 

(4)SIFT(Scale Invariant Feature Transform)方法简化了Harris Laplacian方法中尺度空间的构造方式，采用差值滤波函数的局部极值来刻画图像特征点的尺度不变性，优点是运算速度较快，但缺点是图像特征点重现率较前者低，这同样限制了其在对重现率要求较高场合的应用。 

发明人在实现本发明的技术方案的同时发现现有技术至少存在以下缺陷：目前关于各类图像特征点的提取方法，都没有量化出图像特征点的稳定性。 

发明内容

本发明所要解决的技术问题在于提供一种图像稳定特征点的提取方法及其装置，能够实现量化出图像特征点的稳定性。 

为解决上述技术问题，本发明一种图像稳定特征点的提取方法及其装置采用如下技术方案： 

一种图像稳定特征点的提取方法，包括： 

对读入的数字图像点阵数据进行滤波处理，构建图像尺度空间； 

通过区域阈值控制，获得尺度不变的图像特征点点集合； 

计算所述图像特征点的稳定因子，根据所述图像特征点的稳定因子通过阈 值控制获得图像稳定特征点点集合。 

在所述对读入的数字图像点阵数据进行滤波处理，构建图像尺度空间之前，还包括： 

读入数字图像点阵数据。 

所述通过区域阈值控制，获得尺度不变的图像特征点点集合包括： 

遍历所述图像尺度空间，选取局部响应极值，获得所述尺度不变的图像特征点点集合。 

所述计算所述图像特征点的稳定因子，根据所述图像特征点的稳定因子通过阈值控制获得图像稳定特征点点集合包括： 

根据所述图像特征点在所述尺度空间的当前层的局部响应值，计算所述图像特征点的稳定因子； 

筛选出所述稳定因子大于某一阈值的图像特征点； 

获得图像稳定特征点点集合。 

所述阈值为0.1。 

一种图像稳定特征点的提取装置，包括：尺度空间生成模块、特征点检测模块和特征点量化模块，其中， 

所述尺度空间生成模块用于对读入的数字图像点阵数据进行滤波处理，构建图像尺度空间； 

所述特征点检测模块用于通过区域阈值控制，获得尺度不变的图像特征点点集合； 

所述特征点量化模块用于计算所述图像特征点的稳定因子，根据所述图像特征点的稳定因子通过阈值控制获得图像稳定特征点点集合。 

还包括：读取模块，所述读取模块用于读入数字图像点阵数据。 

所述特征点检测模块包括：计算子模块、筛选子模块和获得子模块，其中， 

所述计算子模块用于根据所述图像特征点在所述尺度空间的当前层的局部响应值，计算所述图像特征点的稳定因子； 

所述筛选子模块用于筛选出所述稳定因子大于某一阈值的图像特征点； 

所述获得子模块用于获得图像稳定特征点点集合。 

本发明提供的一种图像稳定特征点的提取方法及其装置，通过滤波后图像依次等比例缩小来构建图像的尺度空间，再通过检验图像尺度空间的局部区域极值点来获得图像特征点，通过图像特征点与二维高斯函数的乘积来量化其稳定性，并在阈值控制下，提取出具有尺度不变性质的图像稳定特征点，量化了图像特征点的稳定性。 

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。 

图1为本发明实施例一图像稳定特征点的提取方法的流程示意图； 

图2为本发明实施例一图像稳定特征点的提取装置的结构示意图； 

图3为本发明实施例二图像稳定特征点的提取方法的流程示意图； 

图4为本发明实施例二中尺度空间构建方法的结构示意图； 

图5为本发明实施例二中特征点检测方法的结构示意图； 

图6为本发明实施例二中稳定因子计算方法的结构示意图； 

图7为本发明实施例二中Lena图像中通过阈值控制获得的图像特征点集合示意图； 

图8为为本发明实施例二通过稳定因子阈值从图7所示的图像特征点集合中筛选出的图像稳定特征点示意图； 

图9为将图7缩小至原图大小的0.7倍后提取的图像特征点集合示意图； 

图10为将图7缩小至原图大小的0.7倍，再顺时针旋转30度后提取出的图像特征点集合示意图； 

图11为本发明实施例二图像稳定特征点的提取装置的结构示意图。 

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。 

本发明实施例提供一种图像稳定特征点的提取方法及其装置，量化了图像特征点的稳定性。 

实施例一 

本发明实施例提供一种图像稳定特征点的提取方法，如图1所示，该方法包括： 

步骤11、对读入的数字图像点阵数据进行滤波处理，构建图像尺度空间； 

步骤12、通过区域阈值控制，获得尺度不变的图像特征点点集合； 

步骤13、计算所述图像特征点的稳定因子，根据所述图像特征点的稳定因子通过阈值控制获得图像稳定特征点点集合。 

根据经典SIFT方法近似表示图像尺度空间的原理，构建同样具有尺度不变性质的图像特征点提取方法。概括地说，通过滤波后图像依次等比例缩小来构建图像的尺度空间，通过检验图像尺度空间的局部区域极值点来获得特征点， 通过图像特征点与2维高斯函数的乘积来量化其稳定性。在阈值控制下，提取出具有尺度不变性质的图像稳定特征点。 

本发明实施例提供一种图像稳定特征点的提取装置，如图2所示，该装置包括：尺度空间生成模块1、特征点检测模块2和特征点量化模块3。 

所述尺度空间生成模块1用于对对读入的数字图像点阵数据进行滤波处理，构建图像尺度空间；所述特征点检测模块2用于通过区域阈值控制，获得尺度不变的图像特征点点集合；所述特征点量化模块3用于计算所述图像特征点的稳定因子，根据所述图像特征点的稳定因子通过阈值控制获得图像稳定特征点点集合。 

本发明实施例提供的一种图像稳定特征点的提取方法及其装置，通过滤波后图像依次等比例缩小来构建图像的尺度空间，再通过检验图像尺度空间的局部区域极值点来获得图像特征点，通过图像特征点与二维高斯函数的乘积来量化其稳定性，并在阈值控制下，提取出具有尺度不变性质的图像稳定特征点，量化了图像特征点的稳定性。 

实施例二 

本发明实施例提供一种图像稳定特征点的提取方法，如图3所示，该方法包括： 

步骤21、读入数字图像点阵数据； 

首先，读入2维数字图像I(x，y)。 

步骤22、通过对过滤波后图像依次等比例缩小来构建图像的尺度空间。 

采用立方插值将I(x，y)扩大至2倍大小，记为I′₀(x，x)。将I′₀(x，y)分别与窗口为5×5的高斯滤波函数 $G(x,y,\mathrm{\σ})=\frac{1}{{2\mathrm{\π\σ}}^2}{e}^{-(x^2+y^2)}/2{\mathrm{\σ}}^2$ 进行卷积运算得到两个低通滤 波图像，记为L₀(x，y，σ)＝G(x，y，σ)*I′₀(x，y)，L′₀(x，y，σ²)＝G(x，y，σ²)*I′₀(x，y)，其中σ＝1.5。将滤波后图像L′₀向下采样缩小至1/1.5大小，记为I′₁；将I′₁分别与之前相同的高斯滤波函数进行卷积运算得到L₁，L′₁，将滤波后图像L′₁向下采样缩小至1/1.5大小，记为I′₂；直至迭代计算出L₁₀，L′₁₀。那么，我们知道L_i，L′_i和I′_i的图像尺寸是原始图像I大小的 

其中i＝0，1，K，10。 

然后，依次将每一组的L_i(x，y，σ)与L′_i(x，y，σ²)做差，记为D_i(x，y，σ)＝L′_i(x，y，σ²)-L_i(x，y，σ)，其中i＝0，1，K，10。称这一组D_i(x，y，σ)为关于图像I(x，y)的尺度空间，即高斯差值金字塔，如图4所示。其中，在1994年Lindeberg在其论文“Scale-space theory A basic tool for analyzing structures at differentscales，Journal of Applied Statistics，vol.21，no.2，pp.225-270，1994”证明了Laplacian算子的归一化函数 

是具有真正的尺度不变性质的，2001年Mikolajczyk在论文“Indexing based on scale invariant interest points，in Proc.IEEE Int.Conf.Computer Vision，vol.2，pp.525-531.Jul.2001”中阐述了通过计算 的最大最小值可以得到较其他方法更稳定的特征点。2004年David G.Lowe在其论文“Distinctive image features from scale-invariant keypoints，International Journal ofComputer Vision，60(2)，pp.91-110，2004”中给出经典的SIFT方法，其中D(x，y，σ)＝L(x，y，kσ)-L(x，y，σ)，因为 ${\mathrm{\σ}\▿}^{2}G=\frac{\∂G}{\∂\mathrm{\σ}}\≈\frac{G(x,y,\mathrm{k\σ})-G(x,y,\mathrm{\σ})}{\mathrm{k\σ}-\mathrm{\σ}},$ 则有： 

$G(x,y,\mathrm{k\σ})-G(x,y,\mathrm{\σ})\≈(k-1){\mathrm{\σ}}^2{\▿}^{2}G,$ 一般地令 $k=\sqrt{2}.$ 因而通过高斯滤波函数的差值来近似代替原有的Laplacian算子，同时降低了构建图像尺度空间的计算复杂程度。 

在本方法中，D(x，y，σ)＝L(x，y，σ^k)-L(x，y，σ^k-1)，同样有：  ${\mathrm{\σ}\▿}^{2}G=\frac{\∂G}{\∂\mathrm{\σ}}\≈\frac{G(x,y,{\mathrm{\σ}}^k)-G(x,y,{\mathrm{\σ}}^{k-1})}{{\mathrm{\σ}}^k-{\mathrm{\σ}}^{k-1}},$ 则有： 

$G(x,y,{\mathrm{\σ}}^k)-G(x,y,{\mathrm{\σ}}^{k-1})\≈({\mathrm{\σ}}^{k-1}-{\mathrm{\σ}}^{k-2}){\mathrm{\σ}}^2{\▿}^{2}G,$ 在这里k＝2，σ＝1.5，那么  $G(x,y,{\mathrm{\σ}}^k)-G(x,y,{\mathrm{\σ}}^{k-1})\≈\frac{1}{2}{\mathrm{\σ}}^2{\▿}^{2}G,$ 同样具有经典SIFT算子的尺度不变性质。这就是本发明技术方案要采取上述方式构建图像尺度空间的原因。 

步骤23、遍历所述图像尺度空间，选取局部响应极值，获得所述尺度不变的图像特征点点集合。 

采取遍历图像尺度空间的方式，选取局部响应极值来获得尺度不变图像特征点。具体地，如图5所示，固定窗口大小为9×9，采样点为其中心。在尺度空间中，该采样点的当前层、上层、下层均划定同样大小的窗口，这三个窗口组成该采样点的三维邻域。在上述尺度空间D₁层至D₉层中，如果采样点是其三维邻域内的极值，则标记该点为图像特征点，否则舍弃该点，进行下一个采样点。 

为了提取较稳定的图像特征点，在进行采样点的三维邻域极值比较时，令该采样点必须比同层区域点的值至少大C1或至少小C1，比其上、下层区域点的值至少大C2或至少小C2，其中C1、C2称为控制因子。在特征点检测阶段，令C1＝0.06，C2＝0.17。在特征点再同步阶段，C1＝0，C2＝0，或者依情况更小。 

步骤24、根据所述图像特征点在所述尺度空间的当前层的局部响应值，计算图像特征点的稳定因子； 

如图6所示，对于某一提取出的图像特征点(x₀，y₀)，根据该点所在尺度空间的当前层相应值D(x₀，y₀，σ)，计算该图像特征点的稳定因子S：  $S=\frac{1}{{(2R+1)}^2}\underset{x=x_0-R}{\overset{x_0+R}{\mathrm{\Σ}}}\underset{y=y_0-R}{\overset{y_0+R}{\mathrm{\Σ}}}D(x,y,\mathrm{\σ})\·G(x,y,\widehat{\mathrm{\σ}}),$ 其中R＝4， $\widehat{\mathrm{\σ}}=1.0.$

步骤25、筛选出所述稳定因子大于某一阈值的图像特征点； 

根据稳定因子筛选图像特征点。对所有提取的图像特征点进行如上操作， 根据S的值对图像特征点进行排序。一般地，S值较大的图像特征点的稳定性较高，这里当S值大于阈值0.1时，图像特征点的重现率较高。因而可以优先考虑基于该类点进行对应图像处理技术的后续操作。例如，在基于图像内容的水印技术中，以该类图像特征点作为水印嵌入区域的圆心，嵌入水印信息。 

步骤26、获得图像稳定特征点点集合。 

如图7-图10所示，图7为在分辨率为512*512的Lena灰度图像中通过阈值控制获得的尺度不变的图像特征点集合，图中以细线“十”字表示；图8为最终通过稳定因子阈值筛选，从图7所示的特征点集合中筛选出的图像稳定特征点，图中以粗线“十”字表示；图9为将图7缩小至原图大小的0.7倍后提取的图像特征点，其中以白色粗线“十”字表示与图8中再同步成功的图像特征点；图10为将图7缩小至原图大小的0.7倍，再顺时针旋转30度后提取出的图像特征点，其中以白色粗线“十”字表示与图8中再同步成功的图像特征点。从上述图中可以看到，图像稳定特征点具有较好的抵抗旋转、缩放、裁剪等组合攻击的能力，这为基于特征点的图像处理技术提供了较好的支持。 

针对重现率较高的图像特征点，可以通过局部加强的方式提高该图像特征点的S值，使得在再同步提取图像特征点时，该图像特征点的S值更加高。具体做法可以使用Winer滤波以增强局部对比度等方式。 

在经典SIFT方法中，针对图像特征点的筛选过程，主要有二个步骤，第一，通过Hessian矩阵来去除响应值高的边缘点。第二，通过高斯差值函数的泰勒展开式再化简来消除地对比度的点。在我们改进的方法中，省去了这些筛选过程，取而代之的是，在提取阶段的控制因子筛选，同时提取后通过S值的量化。通过控制因子可以简单有效的控制边界点产生，S值可以有效地将低对比度点通过阈值筛选掉，同时可以量化出较稳定的特征点。在达到基本相同的筛选效果的 前提下，我们的改进方法在筛选过程的计算复杂度上远比经典SIFT方法低，所以具有更高的运行效率。 

由于本发明提供的方法过程较经典SIFT方法中多次滤波后缩放简洁，构建尺度空间的运算速度更快，这大大提升了方法的处理效率。同时，本发明在检测图像特征点过程中增加了控制因子，这是各类经典图像特征点方法中所没有的。通过控制因子，可以在再同步提取图像特征点中避免之前所选图像特征点的丢失。同时，本发明还提出通过高斯模板乘积的大小，量化了当前图像特征点与模板相似程度，以达到量化稳定性的目的。因此，本发明具有比经典SIFT方法更高的计算效率，同时还具备了再同步提取成功率高的优点。 

本发明实施例提供一种图像稳定特征点的提取装置，如图11所示，该装置包括：尺度空间生成模块1、特征点检测模块2和特征点量化模块3。 

所述尺度空间生成模块1用于对读入的数字图像点阵数据进行滤波处理，构建图像尺度空间；所述特征点检测模块2用于通过区域阈值控制，获得尺度不变的图像特征点点集合；所述特征点量化模块3用于计算所述图像特征点的稳定因子，根据所述图像特征点的稳定因子通过阈值控制获得图像稳定特征点点集合。 

进一步地，该装置还包括读取模块4，所述读取模块4用于读入数字图像点阵数据。 

进一步地，所述特征点检测模块2包括：计算子模块21、筛选子模块22和获得子模块23，其中， 

所述计算子模块21用于根据所述图像特征点在所述尺度空间的当前层的局部响应值，计算所述图像特征点的稳定因子；所述筛选子模块22用于筛选出所述稳定因子大于某一阈值的图像特征点；所述获得子模块23用于获得图像稳定 特征点点集合。 

本发明实施例提供的一种图像稳定特征点的提取方法及其装置，通过滤波后图像依次等比例缩小来构建图像的尺度空间，再通过检验图像尺度空间的局部区域极值点来获得图像特征点，通过图像特征点与二维高斯函数的乘积来量化其稳定性，并在阈值控制下，提取出具有尺度不变性质的图像稳定特征点，量化了图像特征点的稳定性。 

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。 

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。 

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。 

Claims (5)

1.一种图像稳定特征点的提取方法，其特征在于，包括：

对读入的数字图像点阵数据进行滤波处理，通过对过滤波后图像依次等比例缩小来构建图像的尺度空间；

遍历所述图像尺度空间，选取局部响应极值，获得尺度不变的图像特征点点集合；

根据所述图像特征点在所述尺度空间的当前层的局部响应值，计算图像特征点的稳定因子；筛选出所述稳定因子大于某一阈值的图像特征点；获得图像稳定特征点点集合。

2.根据权利要求1所述的方法，其特征在于，在所述对读入的数字图像点阵数据进行滤波处理，构建图像尺度空间之前，还包括：

读入数字图像点阵数据。

3.根据权利要求1所述的方法，其特征在于，所述阈值为0.1。

4.一种图像稳定特征点的提取装置，其特征在于，包括：尺度空间生成模块、特征点检测模块和特征点量化模块，其中，

所述尺度空间生成模块用于对读入的数字图像点阵数据进行滤波处理，通过对过滤波后图像依次等比例缩小来构建图像的尺度空间；

所述特征点检测模块用于遍历所述图像尺度空间，选取局部响应极值，获得尺度不变的图像特征点点集合；

所述特征点量化模块用于根据所述图像特征点在所述尺度空间的当前层的局部响应值，计算图像特征点的稳定因子；筛选出所述稳定因子大于某一阈值的图像特征点；获得图像稳定特征点点集合。

5.根据权利要求4所述的装置，其特征在于，还包括：读取模块，所述读取模块用于读入数字图像点阵数据。

Images