CN105550381A - 一种基于改进sift特征的高效图像检索方法 - Google Patents

Abstract

一种基于改进SIFT特征的高效图像检索方法，本发明涉及图像处理和计算机视觉领域，属于基于内容的图像检索方法。本方法的流程如下，高斯差分尺度空间的建立；在尺度空间检测极值点作为特征点；计算特征点的方向及方向上的梯度模值；利用地理统计方法生成图像特征点的全局特征向量；全局特征向量相似性匹配完成粗检索；在粗检索的基础上生成特征描述子；特征描述子的匹配完成精检索；本发明提出的创新性图像检索方法比传统的SIFT算法优秀，比现有的检索算法更适用于数字出版物中图像侵权审查的要求。

Description

一种基于改进SIFT特征的高效图像检索方法

技术领域

本发明涉及图像处理和计算机视觉领域，属于基于内容的图像检索方法。

技术背景

随着计算机技术、通讯技术、网络技术、流媒体技术和存储技术等高新技术的飞速发展，数字出版蓬勃发展，成为新闻出版业的战略性新兴产业和出版业发展的主要方向。同时，数字出版带来的知识产权的保护问题引起了社会的高度重视。如果对于版权问题的审查不全面或者不深入，将很有可能导致数字出版物在传播后引发版权纠纷，所以数字出版物出版前的侵权问题审核成为了数字出版社的重要工作。而现实中，数字出版物的侵权审查工作主要依靠人工来完成，耗费了大量的人力物力。因此，数字出版物侵权审查工作的智能化具有重大的实际应用价值。数字出版物的内容可以分为文本、图像、音频、视频和应用程序等，其中图像是数字出版物的重要内容之一。数字出版物中图像侵权审查的智能化具有很大的研究价值。

为实现智能化的图像侵权审查，需依托于图像检索技术。将数字出版物中的参考图像作为待检索图像，将数字出版社提供的有版权图像库作为检索图库，利用图像检索技术从检索图库中检索出与待检索图像高度相似的图像作为检索结果。最后，检索结果再经进一步的人工认定来最终确定是否存在图像侵权行为。

与数字出版社有版权图片库中具有版权的正规清晰图片相比，数字出版物中提取出的待检索图像很可能是这些有版权图片的变形，如尺寸变化、亮度变化、目标的旋转、平移、仿射变换、模糊化等。然而，目前主流的基于内容的图像检索方法多利用颜色，纹理，形状以及空间关系等图像的底层特征来描述图像，这些特征对图像目标亮度、尺寸变化、目标旋转以及仿射变换等比较敏感，不能很好的适用于数字出版社版权图片的检索。所以研究改进得到一种能够应对图像尺度、方向、亮度以及仿射变化的检索算法很有必要。

SIFT(ScaleInvariantFeatureTransformation),即尺度不变特征变换，是由加拿大英属哥伦比亚大学的DavidLowe教授于1999年提出的，并于2004年对其进行了进一步的改进和完善。SIFT是一种基于尺度空间的，对图像的缩放、平移、旋转，光照变化保持很好的不变性，对仿射变换、目标遮挡、噪声也保持了很好稳定性的一种局部特征。SIFT特征很好地满足了基于数字出版物版权审核的图像检索的鲁棒性要求，但是SIFT特征也存在很多不足之处，如算法的复杂度较高，提取的特征点数太多，模板太大，占用太多内存；在特征描述子生成时产生了128维的特征描述子，运算时间较长；SIFT算法匹配完成后，存在特征点误匹配情况。若要提高检索精度，并且提高检索速率，必须对SIFT算法的不足之处进行改进。

鉴于此，本发明提出了一种基于改进SIFT特征的高效图像检索方法，将SIFT算法过程首创性地分为两个阶段，分别用于实现粗检索和精检索。在粗检索过程中，创新性地引入地理统计(GeographicalStatistics,GeoStat)方法来描述图像中不同方向特征点的全局空间关系，然后生成一个144维的特征向量来表示每张图像，并通过比较图像间该特征向量的相似性来完成粗检索。在精检索过程中，只考虑粗检索的结果中与待检索图像相似度比较高的部分图像作为精检索的图像库，并改进算法的索引和匹配过程中，通过增加一个图像间的特征点数目比值的判断过程来提高匹配速度，降低误匹配率。实验结果表明，与原始的SIFT算法相比，本发明提出的改进算法具有更高的检索速度和更高的检索精度。该算法也更适用于数字出版物中的参考图像的侵权检索过程。

发明内容

本发明提出了一种基于改进SIFT特征的高效图像检索方法，旨在将数字出版物中参考图像的侵权审查过程智能化，其系统结构如图1所示。

该系统由图像预处理模块、图像检索模块和图像检索结果分析及显示模块三部分组成；图像预处理模块、图像检索模块和图像检索结果分析及显示模块依次相连。所述图像预处理模块主要包括图像的彩色与灰度空间转换、图像的尺寸调整两个子模块；所述图像检索模块主要包括图像特征提取及特征向量生成、特征库生成、索引结构建立及特征匹配三个子模块；所述图像检索结果分析及显示模块，主要将图像检索结果根据相似度从高到低排序显示出来，该结果用于判断参考图像是否存在侵权行为。该系统的核心是图像检索模块。

基于上述系统，本发明提出了一种基于改进SIFT特征的高效图像检索方法，其方法流程图如图2所示。该方法的具体步骤描述如下：

S1：高斯差分尺度空间的建立

为了保证提取的图像特征具有尺度不变性和高度稳定性，SIFT算法在高斯差分尺度空间上进行特征点的定位。

S2：在尺度空间检测极值点作为特征点

SIFT算法将特征点定义为高斯差分尺度空间内的局部极值点，该局部极值的概念包含了两方面涵义：一是图像空间极值，即此极值点是在与其同层的3×3邻域的9个点内的局部极值点；二是尺度空间极值，即该点与其两个相邻层内对应点的3×3邻域共27个点内的局部极值点。经过极值点的检测可以初步定位特征点的位置和所在的尺度。

高斯差分尺度算子会产生较强的边缘响应，为了增强匹配的稳定性，提高抗噪声能力，需要进一步精确定位极值点，去除低对比度的特征点和不稳定的边缘响应点。SIFT算法采用了Brown提出的三维二次函数拟合DOG空间的局部极值点，计算极值点插值后的位置，来精确定位极值点，并将修正后的新特征点带入尺度空间函数在原极值点处的二级泰勒展开式中，当得到的值的绝对值小于某一阈值时，则认为该极值点的对比度低，舍去该极值点。将大曲率的边缘点作为不稳定的边缘响应点筛选掉，其中主曲率可以通过一个2×2的Hessian矩阵求出。

S3：计算特征点的方向及方向上的梯度模值

为了保证特征点及后边生成的特征描述子的旋转不变性，SIFT算法利用特征点邻域像素的梯度分布特性给每个特征点赋一个方向。本发明在此提出了改进思路，不仅给每个特征点赋予一个方向，还为每个特征点赋予该方向上的梯度模值。这两个特征值为下一步引入地理统计(GeographicalStatistics,GeoStat)方法来描述图像中不同方向特征点的全局空间关系做准备。

S4：利用地理统计(GeoStat)方法生成图像特征点的全局特征向量

本发明创新性地提出了改进的地理统计(GeoStat)方法来描述图像特征点的分布特征，并生成144维的特征向量来表示每幅图像。

S5：全局特征向量相似性匹配完成粗检索

参考传统地理统计(GeoStat)方法中的相似性度量准则，本发明提出了一种改进的相似性度量准则。利用该准则，将待检索图像的全局特征向量分别和图库中图像的全局特征向量进行相似性度量，并将图像按其相似度由高到低排序。本发明中，将相似度排名靠前的图像作为粗检索的结果，并将这些粗检索结果图像生成新的图片库，用于完成之后的精检索。

S6：在粗检索的基础上生成特征描述子

在粗检索结果的基础上，为待检索图像和筛选的得到的相似图像进行更加精准的描述来实现精细筛选。对于每张图像，为了更加细致地描述特征点的特征，使匹配更加精准，为图片中的每个特征点计算其相应的128维的特征描述子。

S7：特征描述子的匹配完成精检索

SIFT算法将欧式距离作为特征向量间的相似性判定准则，采用的基于特征点的最近邻次近邻距离比的BBF搜索算法进行两幅图像间的特征匹配判定。本发明在此基础上创新性地增加了一个图像间的特征点数目比值的判断过程来提高匹配速度，降低误匹配率。

分别计算出待检索图像与新的图片库中的每个参考图像间的匹配点数目，并将该匹配点数目作为相似度衡量准则，两张图像间的匹配点数目越多，则认为这两张图像越相似。根据与待检索图像间的匹配点数目，将新的图片库中的参考图像由高到低排序，匹配点数越多排名越高。最后，将排名靠前的一定数目的图像作为精检索结果，也是本发明的最终检索结果。

本发明提出的创新性图像检索方法比传统的SIFT算法优秀，比现有的检索算法更适用于数字出版物中图像侵权审查的要求。

附图说明

图1为图像检索系统结构图。

图2为本发明所涉及的方法流程图。

具体实施方式

为了使本发明的目的、发明内容及优点更加清楚明白，以下结合下面结合附图1-2和实施例对本发明做进一步详细说明。

在实施方式中，选用在Oxford图片库和Zurich建筑图片库基础上的拓展图库作为参考图片库，该图库中有8000张图片。该图库既包含50种不同类别的图像及他们的不同种类的变形图像，如旋转变换，尺度变换，光照变换，仿射变换等，又包括一些多种多样的其它图像来丰富图像库的多样性。该实施方式中将50种不同类别的图像依次作为待检索图像。本发明的具体实施步骤如下：

S1：图片预处理

将待检索图像和图像库里的参考图像的尺寸调整为1024*800大小。并将它们均转换为灰度图像。

S2：高斯差分尺度空间的建立

分别为待检索图像和图像库里的参考图像建立高斯差分尺度空间。高斯差分尺度空间的建立的具体步骤如下：

1)输入图像依次与一系列尺度值递增的高斯函数(如公式(1)所示)进行卷积滤波运算(如公式(2)所示)，对应生成一系列尺度递增的高斯图像，将其作为第一组高斯图像；

$G(x,y,\mathrm{\σ})=\frac{1}{2{\mathrm{\π\σ}}^2}{e}^{\frac{-(x^2+y^2)}{2{\mathrm{\σ}}^2}}---\left(1\right)$

$L(x,y,\mathrm{\σ})=G(x,y,\mathrm{\σ})\⊗I(x,y),L(x,y,0)=I(x,y)---\left(2\right)$

2)将第一组高斯图像中尺度为初始图像尺度2倍的图像，即第一组最上层的图像，按因子2做下采样处理，并将其作为下一组高斯图像的初始输入图像，然后按照步骤1)，生成后续其它组的高斯图像，最终建立高斯尺度空间；

3)依次将高斯尺度空间中同一层相邻的两幅高斯图像作差，即得到了高斯差分尺度空间。

D(x,y,σ)＝L(x,y,kσ)-L(x,y,σ)(3)

S3：在尺度空间检测极值点作为特征点

分别提取待检索图像和图像库里的参考图像的高斯差分尺度空间内的局部极值点作为图像的特征点，记录这些特征点的位置和所在的尺度。在此基础上，采用Brown提出的三维二次函数拟合DOG空间的局部极值点，计算极值点插值后的位置，来精确定位极值点，并将修正后的新特征点带入尺度空间函数在原极值点处的二级泰勒展开式中，当得到的值的绝对值小于某一阈值时，则认为该极值点的对比度低，舍去该极值点。将大曲率的边缘点作为不稳定的边缘响应点筛选掉，其中主曲率可以通过一个2×2的Hessian矩阵求出。

S4：计算特征点的梯度方向及该方向上的梯度模值

利用特征点邻域像素的梯度分布特性，分别为待检索图像和图像库里的参考图像的每个特征点赋予一个方向(即邻域梯度直方图的主方向)，还为每个特征点赋予该方向上的梯度模值。特征点的方向和该方向上的梯度模值的计算步骤如下：

1)选取距离特征点的尺度最近的高斯图像L(x,y)，并选取以特征点为中心的邻域窗口(SIFT算法采用半径为3×1.5×σ的邻域窗口)，然后计算该高斯图像上该邻域窗口内的每个像素点的梯度方向θ(x,y)和梯度模值m(x,y)。计算公式如下：

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/(L(x＋1,y)-L(x-1,y)))(4)

$m(x,y)=\sqrt{{\left(L\right(x+1,y)-L(x-1,y\left)\right)}^2+{\left(L\right(x,y+1)-L(x,y-1\left)\right)}^2}---\left(5\right)$

2)利用上述求得的特征点的领域窗口内的所有像素点的梯度方向和梯度模值，构建特征点的邻域梯度直方图。该直方图横轴表示梯度方向，其范围为(0°,360°)，并被均匀地划分为36段；纵轴表示加权梯度模值m1(x,y)，加权是为了表征不同距离的点对特征点的贡献不同。其公式如下：

$m1(x,y)=G(x,y,\frac{3}{2}\mathrm{\σ})m(x,y)---\left(6\right)$

其中，σ为特征点的尺度，为尺度为的高斯函数。

3)在特征点的邻域梯度直方图中，找到最大的加权梯度模值所对应的方向，将其作为特征点的方向，并将该方向对应的加权梯度模值作为该方向上的梯度模值。另外，当存在另一个大于等于主峰值80％能量的峰值时，则该峰值对应的梯度方向被认为是特征点的辅方向。所以，一个特征点可能会被指定多个方向，即一个主方向，多个辅方向。相当于同一个位置有多个特征点，这些特征点的位置、尺度相同，只是方向和方向上梯度模值不同而已。这样的做法，增强了特征点的匹配鲁棒性。

至此，图像中的每个特征点都有四个关键信息：位置、尺度、方向和方向梯度模值。

S5：利用地理统计(GeoStat)方法生成图像特征点的全局特征向量

利用改进的地理统计(GeoStat)方法来分别描述待检索图像和图像库里的参考图像的图像特征点的分布特征，并分别生成144维的特征向量来表示每幅图像。具体步骤如下：

1)特征点方向空间量化。特征点的方向变化范围从0到360，取值范围很广而且取值多样化，这不利于对特征点进行统计分析。

因此，将特征点的取值空间均匀量化为36段。量化公式为：

其中ori为原始方向值，Ori为量化后的方向值。

2)全局特征向量生成。利用改进的地理统计(GeoStat)方法来计算图像不同方向(量化为36个方向)特征点的直方图特征(o_i,m_i)和空间分布特征(Lo_i,Lm_i)。其中，o_i表示方向为i的特征点数目占图像中所有特征点数目的比例，m_i表示方向为i的特征点的方向梯度模值累加和占图像中所有特征点的方向梯度模值累加和的比例，Lo_i表示方向为i的特征点的几何分布特征，Lm_i表示方向为i的特征点的方向梯度模值的离散程度。具体公式如下：

$\begin{array}{cc}{o}_i=\frac{\left|O_i\right|}{\underset{i=0}{\overset{N}{\Σ}}\left|O_i\right|}& N=35\end{array}---\left(8\right)$

$\begin{array}{cc}{m}_i=\frac{\left|M_i\right|}{\underset{i=0}{\overset{N}{\Σ}}\left|M_i\right|}& N=35\end{array}---\left(9\right)$

$\left|M_i\right|={\underset{p(x,y)\∈}{\Σ}}_{O_i}mag(x,y)---\left(10\right)$

${\mathrm{Lo}}_i=\frac{1}{|O_i{|}^2}2\mathrm{\π}\underset{p\∈O_i}{\Σ}d{(p,{\mathrm{Co}}_i)}^2---\left(11\right)$

${\mathrm{Lm}}_i=\frac{1}{|O_i{|}^2}2\mathrm{\π}\underset{p\∈O_i}{\Σ}d{(p,{\mathrm{Cm}}_i)}^2---\left(12\right)$

$d(p,{\mathrm{Co}}_i)=\sqrt{{(x-x_i)}^2+{(y-y_i)}^2}---\left(13\right)$

$d(p,{\mathrm{Cm}}_i)=\sqrt{{\left(mag\right(x,y)-{\mathrm{Cm}}_i)}^2}---\left(14\right)$

$x_i=\frac{1}{\left|O_i\right|}\underset{(x,y)\∈O_i}{\Σ}x;y_i=\frac{1}{\left|O_i\right|}{\underset{(x,y)\∈}{\Σ}}_{O_i}y---\left(15\right)$

${\mathrm{Cm}}_i=\frac{\left|M_i\right|}{\left|O_i\right|}---\left(16\right)$

其中，N为方向的量化级数，O_i是方向为i的特征点集，|O_i|为方向为i的特征点的数目，p(x,y)代表坐标为(x,y)的特征点，mag(x,y)代表坐标为(x,y)的特征点的方向梯度模值，Co_i＝(x_i,y_i)为方向为i的特征点集合的几何中心，d(p,Co_i)是每个特征点距其几何中心的欧氏距离，Cm_i为方向为i的特征点集中所有特征点方向梯度模值的均值，d(p,Cm_i)表示每个特征点的方向梯度模值距其均值的离散程度。

如上所述，每张图像都可以被一个36×4维的特征向量描述，

记为：

(o₀,Lo₀,m₀,Lm₀,o₁,Lo₁,m₁,Lm₁,...,o_k,Lo_k,m_k,Lm_k,...,o₃₅,Lo₃₅,m₃₅,Lm₃₅)。

该向量对尺度变换、平移变换、光照变换等有很好的鲁棒性。

3)设置全局特征向量的主方向。如上所述，全局向量由36个方向的特征点的分布向量构成。为了确保该全局向量的旋转不变性。本发明将直方图特征o_i的最大值所在的方向定为36个方向的主方向。然后，将该方向上的直方图特征(o_i,m_i)和分布特征(Lo_i,Lm_i)循环左移到全局特征向量的开头位置。即，假设方向5为36个方向的主方向，则全局变量将被调整为：

(o₅,Lo₅,m₅,Lm₅,o₆,Lo₆,m₆,Lm₆,o₇,Lo₇,m₇,Lm₇,...,o₃₅,Lo₃₅,m₃₅,Lm₃₅,o₀,Lo₀,m₀,Lm₀,...,o₄,Lo₄,m₄,Lm₄)。此外，如果存在不小于主方向能量80％的方向，该方向则被定义为全局向量的辅方向。因此，一个全局向量可能会有不止一个主方向，相应地会被调整为不同的形式。全局向量的多个主方向增强了向量匹配的鲁棒性。

S6：全局特征向量相似性匹配完成粗检索

用上述步骤中求得的144维全局特征向量代表每张图像(待检索图像和图像库中8000张的参考图像)，利用改进的相似性度量准则来计算待检索图像的144维全局特征向量和图像库中每张的参考图像的144维全局特征向量的距离来代表待检索图像与图像库中每张参考图像的相似性。图像Q和I的相似性公式描述如下：

$d_d(Q,I)=\frac{1}{0.1+d_o(Q,I)+d_m(Q,I)}---\left(17\right)$

$d_o\left(Q,I\right)=\underset{k=0}{\overset{M}{\Σ}}\min \left(o_k^Q,o_k^I\right)\×\frac{\min \left({\mathrm{Lo}}_k^Q,{\mathrm{Lo}}_k^I\right)}{\max \left({\mathrm{Lo}}_k^Q,{\mathrm{Lo}}_k^I\right)},M=35---\left(18\right)$

$d_m(Q,I)=\underset{k=0}{\overset{M}{\Σ}}min(m_k^Q,m_k^I)\×\frac{min({\mathrm{Lm}}_k^Q,{\mathrm{Lm}}_k^I)}{max({\mathrm{Lm}}_k^Q,{\mathrm{Lm}}_k^I)},M=35---\left(19\right)$

其中，和衡量了两个图像特征点直方图特征的相似性；和衡量了两个图像特征点离散分布特征的相似性。只有当直方图特征和离散分布特征均相似时，才能认为两张图像是相似的。d_o(Q,I)和d_m(Q,I)取值均从1到0，值越趋近于1，两张图像的相似度越高。为了更直观的描述两张图像的相似性，d_d(Q,I)被用来替代d_o(Q,I)和d_m(Q,I)。d_d(Q,I)的取值从0.476190趋向于无穷大，值越大，两张图像的相似度越低。

在此，将待检索图像的全局特征向量分别和图库中图像的全局特征向量进行相似性度量，并将图像按其相似度由高到低排序。将相似度排名靠前的占检索图库10％数量的图像(即800张图像)作为粗检索的结果，并将这些粗检索结果图像作为新的图片库，用于完成之后的精检索。

S7：生成特征描述子

分别为待检索图像和新的图片库中的800张图像中的每个特征点计算其相应的128维特征描述子。

对于图像中的每个特征点，先将坐标轴旋转为特征点的方向以确保特征描述子的旋转不变性，然后计算以特征点为中心的16×16窗口内所有像素点的梯度模值和梯度方向，并将该区域划分为4×4个子区域，每个子区域生成一个8方向的梯度直方图，一共可以生成16个这样的梯度直方图，合计为128维的特征向量。这样，每个关键点处就生成了一个128维的特征向量作为特征描述子。此时的SIFT特征描述子已经具有了尺度不变和旋转不变性，并且具有一定的抗噪声能力，再对其进行向量归一化，则可以具有光照不变性。

S8：特征描述子的匹配完成精检索

待检索图像与新的图片库中的800张图像分别组成800个图片对进行800次匹配。对于每个图像对，计算参考图像与待检索图像的特征点数目比值，如果这个比值小于设定阈值(本发明的实验过程中，该阈值设定为0.5)，则交换两个图像的身份(即原来的待检索图像变为参考图像，原来的数据库中的参考图像变为待检索图像)。否则，保持原来身份。然后利用BBF搜索匹配算法，将待检索图像中的特征点作为目标特征点，利用参考图像的特征点集建立k-d树用于搜索目标特征点的匹配点，最后统计两张图像间的匹配点数目，进而衡量两个图像的相似度。

这样，待检索图像与新的图片库中的所有参考图像完成特征点匹配，分别计算出待检索图像与新的图片库中的每个参考图像间的匹配点数目，并将该匹配点数目作为相似度衡量标准：两张图像间的匹配点数目越多，则认为这两张图像越相似。根据与待检索图像间的匹配点数目，将新的图片库中的参考图像由高到低排序，匹配点数越多排名越靠前。最后，将新的图片库中排名靠前的20张图像作为精检索结果，也是本发明的最终检索结果。

最后，利用检索效率(查全率和查准率)和检索时间两个标准来比较本发明中的创新性检索算法和经典SIFT算法及其他SIFT改进算法，证明了本发明算法在检索效率和检索时间上都要优于经典SIFT算法。并且，与其他SIFT改进算法相比，本发明中提出的方法尤其适用于数字出版物中参考图像的版权审查。

Claims (3)

1.一种基于改进SIFT特征的高效图像检索系统，其特征在于：该系统由图像预处理模块、图像检索模块和图像检索结果分析及显示模块三部分组成；图像预处理模块、图像检索模块和图像检索结果分析及显示模块依次相连；所述图像预处理模块主要包括图像的彩色与灰度空间转换、图像的尺寸调整两个子模块；所述图像检索模块主要包括图像特征提取及特征向量生成、特征库生成、索引结构建立及特征匹配三个子模块；所述图像检索结果分析及显示模块，主要将图像检索结果根据相似度从高到低排序显示出来，该结果用于判断参考图像是否存在侵权行为；该系统的核心是图像检索模块。

2.利用权利要求1所述系统进行的一种基于改进SIFT特征的高效图像检索方法，其特征在于：本方法提出了一种基于改进SIFT特征的高效图像检索方法，该方法的具体步骤描述如下：

S1：高斯差分尺度空间的建立

为了保证提取的图像特征具有尺度不变性和高度稳定性，SIFT算法在高斯差分尺度空间上进行特征点的定位；

S2：在尺度空间检测极值点作为特征点

SIFT算法将特征点定义为高斯差分尺度空间内的局部极值点，该局部极值的概念包含了两方面涵义：一是图像空间极值，即此极值点是在与其同层的3×3邻域的9个点内的局部极值点；二是尺度空间极值，即该点与其两个相邻层内对应点的3×3邻域共27个点内的局部极值点；经过极值点的检测可以初步定位特征点的位置和所在的尺度；

高斯差分尺度算子会产生较强的边缘响应，为了增强匹配的稳定性，提高抗噪声能力，需要进一步精确定位极值点，去除低对比度的特征点和不稳定的边缘响应点；SIFT算法采用了Brown提出的三维二次函数拟合DOG空间的局部极值点，计算极值点插值后的位置，来精确定位极值点，并将修正后的新特征点带入尺度空间函数在原极值点处的二级泰勒展开式中，当得到的值的绝对值小于某一阈值时，则认为该极值点的对比度低，舍去该极值点；将大曲率的边缘点作为不稳定的边缘响应点筛选掉，其中主曲率可以通过一个2×2的Hessian矩阵求出；

S3：计算特征点的方向及方向上的梯度模值

为了保证特征点及后边生成的特征描述子的旋转不变性，SIFT算法利用特征点邻域像素的梯度分布特性给每个特征点赋一个方向；本方法在此提出了改进思路，不仅给每个特征点赋予一个方向，还为每个特征点赋予该方向上的梯度模值；这两个特征值为下一步引入地理统计方法来描述图像中不同方向特征点的全局空间关系做准备；

S4：利用地理统计方法生成图像特征点的全局特征向量

本方法创新性地提出了改进的地理统计方法来描述图像特征点的分布特征，并生成144维的特征向量来表示每幅图像；

S5：全局特征向量相似性匹配完成粗检索

参考传统地理统计方法中的相似性度量准则，本方法提出了一种改进的相似性度量准则；利用该准则，将待检索图像的全局特征向量分别和图库中图像的全局特征向量进行相似性度量，并将图像按其相似度由高到低排序；本方法中，将相似度排名靠前的图像作为粗检索的结果，并将这些粗检索结果图像生成新的图片库，用于完成之后的精检索；

S6：在粗检索的基础上生成特征描述子

在粗检索结果的基础上，为待检索图像和筛选的得到的相似图像进行更加精准的描述来实现精细筛选；对于每张图像，为了更加细致地描述特征点的特征，使匹配更加精准，为图片中的每个特征点计算其相应的128维的特征描述子；

S7：特征描述子的匹配完成精检索

SIFT算法将欧式距离作为特征向量间的相似性判定准则，采用的基于特征点的最近邻次近邻距离比的BBF搜索算法进行两幅图像间的特征匹配判定；本方法在此基础上创新性地增加了一个图像间的特征点数目比值的判断过程来提高匹配速度，降低误匹配率；

分别计算出待检索图像与新的图片库中的每个参考图像间的匹配点数目，并将该匹配点数目作为相似度衡量准则，两张图像间的匹配点数目越多，则认为这两张图像越相似；根据与待检索图像间的匹配点数目，将新的图片库中的参考图像由高到低排序，匹配点数越多排名越高；最后，将排名靠前的一定数目的图像作为精检索结果，也是本方法的最终检索结果。

3.根据权利要求2所述的一种基于改进SIFT特征的高效图像检索方法，选用在Oxford图片库和Zurich建筑图片库基础上的拓展图库作为参考图片库，该图库中有8000张图片；该图库既包含50种不同类别的图像及他们的不同种类的变形图像，又包括一些多种多样的其它图像来丰富图像库的多样性；该实施方式中将50种不同类别的图像依次作为待检索图像；其特征在于：本方法的具体实施步骤如下，

S1：图片预处理

将待检索图像和图像库里的参考图像的尺寸调整为1024*800大小；并将它们均转换为灰度图像；

S2：高斯差分尺度空间的建立

分别为待检索图像和图像库里的参考图像建立高斯差分尺度空间；高斯差分尺度空间的建立的具体步骤如下：

1)输入图像依次与一系列尺度值递增的高斯函数(如公式(1)所示)进行卷积滤波运算(如公式(2)所示)，对应生成一系列尺度递增的高斯图像，将其作为第一组高斯图像；

$G(x,y,\mathrm{\σ})=\frac{1}{2{\mathrm{\π\σ}}^2}{e}^{\frac{-(x^2+y^2)}{2{\mathrm{\σ}}^2}}---\left(1\right)$

$L(x,y,\mathrm{\σ})=G(x,y,\mathrm{\σ})\⊗I(x,y),L(x,y,0)=I(x,y)---\left(2\right)$

2)将第一组高斯图像中尺度为初始图像尺度2倍的图像，即第一组最上层的图像，按因子2做下采样处理，并将其作为下一组高斯图像的初始输入图像，然后按照步骤1)，生成后续其它组的高斯图像，最终建立高斯尺度空间；

3)依次将高斯尺度空间中同一层相邻的两幅高斯图像作差，即得到了高斯差分尺度空间；

D(x,y,σ)＝L(x,y,kσ)-L(x,y,σ)(3)

S3：在尺度空间检测极值点作为特征点

分别提取待检索图像和图像库里的参考图像的高斯差分尺度空间内的局部极值点作为图像的特征点，记录这些特征点的位置和所在的尺度；在此基础上，采用Brown提出的三维二次函数拟合DOG空间的局部极值点，计算极值点插值后的位置，来精确定位极值点，并将修正后的新特征点带入尺度空间函数在原极值点处的二级泰勒展开式中，当得到的值的绝对值小于某一阈值时，则认为该极值点的对比度低，舍去该极值点；将大曲率的边缘点作为不稳定的边缘响应点筛选掉，其中主曲率可以通过一个2×2的Hessian矩阵求出；

S4：计算特征点的梯度方向及该方向上的梯度模值

利用特征点邻域像素的梯度分布特性，分别为待检索图像和图像库里的参考图像的每个特征点赋予一个方向(即邻域梯度直方图的主方向)，还为每个特征点赋予该方向上的梯度模值；特征点的方向和该方向上的梯度模值的计算步骤如下：

1)选取距离特征点的尺度最近的高斯图像L(x,y)，并选取以特征点为中心的邻域窗口(SIFT算法采用半径为3×1.5×σ的邻域窗口)，然后计算该高斯图像上该邻域窗口内的每个像素点的梯度方向θ(x,y)和梯度模值m(x,y)；计算公式如下：

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))(4)

$m\left(x,y\right)=\sqrt{{\left(L\left(x+1,y\right)-L\left(x-1,y\right)\right)}^2+{\left(L\left(x,y+1\right)-L\left(x,y-1\right)\right)}^2}---\left(5\right)$

2)利用上述求得的特征点的领域窗口内的所有像素点的梯度方向和梯度模值，构建特征点的邻域梯度直方图；该直方图横轴表示梯度方向，其范围为(0°,360°)，并被均匀地划分为36段；纵轴表示加权梯度模值m1(x,y)，加权是为了表征不同距离的点对特征点的贡献不同；其公式如下：

$m1(x,y)=G(x,y,\frac{3}{2}\mathrm{\σ})m(x,y)---\left(6\right)$

其中，σ为特征点的尺度，为尺度为的高斯函数；

3)在特征点的邻域梯度直方图中，找到最大的加权梯度模值所对应的方向，将其作为特征点的方向，并将该方向对应的加权梯度模值作为该方向上的梯度模值；另外，当存在另一个大于等于主峰值80％能量的峰值时，则该峰值对应的梯度方向被认为是特征点的辅方向；所以，一个特征点可能会被指定多个方向，即一个主方向，多个辅方向；相当于同一个位置有多个特征点，这些特征点的位置、尺度相同，只是方向和方向上梯度模值不同而已；这样的做法，增强了特征点的匹配鲁棒性；

至此，图像中的每个特征点都有四个关键信息：位置、尺度、方向和方向梯度模值；

S5：利用地理统计方法生成图像特征点的全局特征向量

利用改进的地理统计方法来分别描述待检索图像和图像库里的参考图像的图像特征点的分布特征，并分别生成144维的特征向量来表示每幅图像；具体步骤如下：

1)特征点方向空间量化；特征点的方向变化范围从0到360，取值范围很广而且取值多样化，这不利于对特征点进行统计分析；

因此，将特征点的取值空间均匀量化为36段；量化公式为：

其中ori为原始方向值，Ori为量化后的方向值；

2)全局特征向量生成；利用改进的地理统计(GeoStat)方法来计算图像不同方向(量化为36个方向)特征点的直方图特征(o_i,m_i)和空间分布特征(Lo_i,Lm_i)；其中，o_i表示方向为i的特征点数目占图像中所有特征点数目的比例，m_i表示方向为i的特征点的方向梯度模值累加和占图像中所有特征点的方向梯度模值累加和的比例，Lo_i表示方向为i的特征点的几何分布特征，Lm_i表示方向为i的特征点的方向梯度模值的离散程度；具体公式如下：

$\begin{array}{cc}{o}_i=\frac{\left|O_i\right|}{\underset{i=0}{\overset{N}{\Σ}}\left|O_i\right|}& N=35\end{array}---\left(8\right)$

$\begin{array}{cc}{m}_i=\frac{\left|M_i\right|}{\underset{i=0}{\overset{N}{\Σ}}\left|M_i\right|}& N=35\end{array}---\left(9\right)$

$\left|M_i\right|={\underset{p(x,y)\∈}{\Σ}}_{O_i}mag(x,y)---\left(10\right)$

${\mathrm{Lo}}_i=\frac{1}{|O_i{|}^2}2\mathrm{\π}\underset{p\∈O_i}{\Σ}d{(p,{\mathrm{Co}}_i)}^2---\left(11\right)$

${\mathrm{Lm}}_i=\frac{1}{|O_i{|}^2}2\mathrm{\π}\underset{p\∈O_i}{\Σ}d{(p,{\mathrm{Cm}}_i)}^2---\left(12\right)$

$d(p,{\mathrm{Co}}_i)=\sqrt{{(x-x_i)}^2+{(y-y_i)}^2}---\left(13\right)$

$d(p,{\mathrm{Cm}}_i)=\sqrt{{\left(mag\right(x,y)-{\mathrm{Cm}}_i)}^2}---\left(14\right)$

$x_i=\frac{1}{\left|O_i\right|}{\underset{(x,y)\∈}{\Σ}}_{O_i}x;y_i=\frac{1}{\left|O_i\right|}{\underset{(x,y)\∈}{\Σ}}_{O_i}y---\left(15\right)$

${\mathrm{Cm}}_i=\frac{\left|M_i\right|}{\left|O_i\right|}---\left(16\right)$

其中，N为方向的量化级数，O_i是方向为i的特征点集，|O_i|为方向为i的特征点的数目，p(x,y)代表坐标为(x,y)的特征点，mag(x,y)代表坐标为(x,y)的特征点的方向梯度模值，Co_i＝(x_i，y_i)为方向为i的特征点集合的几何中心，d(p,Co_i)是每个特征点距其几何中心的欧氏距离，Cm_i为方向为i的特征点集中所有特征点方向梯度模值的均值，d(p,Cm_i)表示每个特征点的方向梯度模值距其均值的离散程度；

如上所述，每张图像都可以被一个36×4维的特征向量描述，记为：

(o₀,Lo₀,m₀,Lm₀,o₁,Lo₁,m₁,Lm₁,...,o_k,Lo_k,m_k,Lm_k,...,o₃₅,Lo₃₅,m₃₅,Lm₃₅)；该向量对尺度变换、平移变换、光照变换等有很好的鲁棒性；

3)设置全局特征向量的主方向；如上所述，全局向量由36个方向的特征点的分布向量构成；为了确保该全局向量的旋转不变性；本方法将直方图特征o_i的最大值所在的方向定为36个方向的主方向；然后，将该方向上的直方图特征(o_i,m_i)和分布特征(Lo_i,Lm_i)循环左移到全局特征向量的开头位置；即，假设方向5为36个方向的主方向，则全局变量将被调整为：

(o₅,Lo₅,m₅,Lm₅,o₆,Lo₆,m₆,Lm₆,o₇,Lo₇,m₇,Lm₇,...,o₃₅,Lo₃₅,m₃₅,Lm₃₅,o₀,Lo₀,m₀,Lm₀,...,o₄,Lo₄,m₄,Lm₄)；此外，如果存在不小于主方向能量80％的方向，该方向则被定义为全局向量的辅方向；因此，一个全局向量可能会有不止一个主方向，相应地会被调整为不同的形式；全局向量的多个主方向增强了向量匹配的鲁棒性；

S6：全局特征向量相似性匹配完成粗检索

用上述步骤中求得的144维全局特征向量代表每张图像(待检索图像和图像库中8000张的参考图像)，利用改进的相似性度量准则来计算待检索图像的144维全局特征向量和图像库中每张的参考图像的144维全局特征向量的距离来代表待检索图像与图像库中每张参考图像的相似性；图像Q和I的相似性公式描述如下：

$d_d(Q,I)=\frac{1}{0.1+d_o(Q,I)+d_m(Q,I)}---\left(17\right)$

$d_o(Q,I)=\underset{k=0}{\overset{M}{\Σ}}min(o_k^Q,o_k^I)\×\frac{min({\mathrm{Lo}}_k^Q,{\mathrm{Lo}}_k^I)}{max({\mathrm{Lo}}_k^Q,{\mathrm{Lo}}_k^I)},M=35---\left(18\right)$

$d_m(Q,I)=\underset{k=0}{\overset{M}{\Σ}}min(m_k^Q,m_k^I)\×\frac{min({\mathrm{Lm}}_k^Q,{\mathrm{Lm}}_k^I)}{max({\mathrm{Lm}}_k^Q,{\mathrm{Lm}}_k^I)},M=35---\left(19\right)$

其中，和衡量了两个图像特征点直方图特征的相似性；和衡量了两个图像特征点离散分布特征的相似性；只有当直方图特征和离散分布特征均相似时，才能认为两张图像是相似的；d_o(Q,I)和d_m(Q,I)取值均从1到0，值越趋近于1，两张图像的相似度越高；为了更直观的描述两张图像的相似性，d_d(Q,I)被用来替代d_o(Q,I)和d_m(Q,I)；d_d(Q,I)的取值从0.476190趋向于无穷大，值越大，两张图像的相似度越低；

在此，将待检索图像的全局特征向量分别和图库中图像的全局特征向量进行相似性度量，并将图像按其相似度由高到低排序；将相似度排名靠前的占检索图库10％数量的图像(即800张图像)作为粗检索的结果，并将这些粗检索结果图像作为新的图片库，用于完成之后的精检索；

S7：生成特征描述子

分别为待检索图像和新的图片库中的800张图像中的每个特征点计算其相应的128维特征描述子；

对于图像中的每个特征点，先将坐标轴旋转为特征点的方向以确保特征描述子的旋转不变性，然后计算以特征点为中心的16×16窗口内所有像素点的梯度模值和梯度方向，并将该区域划分为4×4个子区域，每个子区域生成一个8方向的梯度直方图，一共可以生成16个这样的梯度直方图，合计为128维的特征向量；这样，每个关键点处就生成了一个128维的特征向量作为特征描述子；此时的SIFT特征描述子已经具有了尺度不变和旋转不变性，并且具有一定的抗噪声能力，再对其进行向量归一化，则可以具有光照不变性；

S8：特征描述子的匹配完成精检索

待检索图像与新的图片库中的800张图像分别组成800个图片对进行800次匹配；对于每个图像对，计算参考图像与待检索图像的特征点数目比值，如果这个比值小于设定阈值(本发明的实验过程中，该阈值设定为0.5)，则交换两个图像的身份(即原来的待检索图像变为参考图像，原来的数据库中的参考图像变为待检索图像)；否则，保持原来身份；然后利用BBF搜索匹配算法，将待检索图像中的特征点作为目标特征点，利用参考图像的特征点集建立k-d树用于搜索目标特征点的匹配点，最后统计两张图像间的匹配点数目，进而衡量两个图像的相似度；

这样，待检索图像与新的图片库中的所有参考图像完成特征点匹配，分别计算出待检索图像与新的图片库中的每个参考图像间的匹配点数目，并将该匹配点数目作为相似度衡量标准：两张图像间的匹配点数目越多，则认为这两张图像越相似；根据与待检索图像间的匹配点数目，将新的图片库中的参考图像由高到低排序，匹配点数越多排名越靠前；最后，将新的图片库中排名靠前的20张图像作为精检索结果，也是本方法的最终检索结果；

最后，利用检索效率和检索时间两个标准来比较本方法中的创新性检索算法和经典SIFT算法及其他SIFT改进算法，证明了本方法算法在检索效率和检索时间上都要优于经典SIFT算法。