CN102945289A - 基于cgci-sift局部特征的图像检索方法 - Google Patents

Abstract

基于CGCI-SIFT局部特征的图像检索方法，本发明公开了一种图像检索方法，基于CGCI-SIFT实现，从邻域像素对关键点的影响强弱及分布入手，通过灰度纹理对比强度信息构建外围局部特征描述子，然后结合对中心特征点描述较强的方向梯度信息构建中心局部描述子形成最终的描述，CGCI-SIFT利用局部区域的对比性质结合了原SIFT算法的梯度信息，而不是像SIFT那样单纯地存储的梯度的权值大小和方向，使得CGCI-SIFT具有更加全面的几何和光学变换不变性。灰度纹理对比强度信息的使用使得CGCI-SIFT的计算简单，因此更加高效，更适合实时性的应用。实验结果表明，本发明的检索方法性能稳定，检索时间短，检索效果明显提升。

Description

基于CGCI-SIFT局部特征的图像检索方法

技术领域

本发明涉及一种图像检索的方法，具体涉及一种基于特征的图像检索方法，尤其是使用一种新的局部特征描述信息用于图像检索的方法，属于图像检索领域。

背景技术

局部特征描述方法是图像匹配中一种非常稳定的方法。局部特征描述方法冗余性低、无需预先对图像进行分割、具有多种变换下的不变性，使得局部特征描述方法得到广泛的应用，例如基于内容的大规模检索，视频分析，重复检测，物体识别，旅游拍照，3D重建与检索等。

好的局部图像特征方法应具有以下特点：不需要预先分割图像，特征检测重复率高，特征描述符维度低，易于实现快速匹配，对光照、旋转、视点变化等图像变换具有鲁棒性等。局部特征描述方法经过不断发展，已经成为图像配准技术的主流方向。如2004年提出的SIFT方法，该方法不仅具有尺度变换、旋转变换、仿射变换、光照变化的多种不变性，而且在目标遮挡、噪声干扰的情况下也能保持较好的匹配效果。

但是，现有的局部特征描述方法都存在各种各样的问题，如SIFT描述子维度过高以及单纯地使用梯度直方图构建描述子，限制了其在实时及某些特殊专业方面的中应用。为了提高匹配精度，增强鲁棒性，同时减少匹配时间，希望能够发明更好的局部特征描述方法，以更好地满足人们对图像检索效果的需求。

发明内容

本发明的发明目的是提供一种基于CGCI-SIFT局部特征的图像检索方法，利用CGCI-SIFT对图像进行描述，CGCI对于图像的模糊、光照、JPEG压缩具有更好的不变性，对图像特征进行聚类后进行图像检索，以获得更好的检索效果，更贴近检索用户的需求。

为达到上述发明目的，本发明采用的技术方案是：一种基于CGCI-SIFT局部特征的图像检索方法，提供用于检索的图像库和待检索的图片，将图片转换成灰度图，先对用于检索的图像库进行局部特征描述处理，再进行图像检索，包括下列步骤：

（1）对于图像库中的每一张图片采用DOG算法检测特征点；

（2）对于每一个留下来的特征点，首先将该点的外周区域的像素点进行零均值规范化，所述外周区域为以特征点为中心，边长为2R+1的方形区域，零均值规范化的公式如下所示：

$I^{\′}(x,y)=\frac{I(x,y)-\frac{1}{\mathrm{NumC}-1}\underset{i=1}{\overset{\mathrm{NumC}}{\mathrm{\Σ}}}\left(I(x_i,y_i)\right)}{\mathrm{\Φ}}---\left(1\right)$

$\mathrm{\Φ}=\sqrt{\frac{1}{\mathrm{NumC}-1}\underset{i=1}{\overset{\mathrm{NumC}}{\mathrm{\Σ}}}{(I(x_i,y_i)-\frac{1}{\mathrm{NumC}-1}\underset{i=1}{\overset{\mathrm{NumC}}{\mathrm{\Σ}}}I(x_i,y_i))}^2}---\left(2\right)$

式中I(x,y)与I'(x,y)分别表示原图形像素强度以及规范化后的像素强度，(x,y)为进行零均值规范化的像素点在图片中的位置，R为12～20的整数，NumC表示像素点周边涉及计算的像素个数，NumC=R²；

（3）确定特征点的主方向，方法是：在以特征点为中心的圆形邻域窗口中计算每个像素的梯度方向和梯度模值，

$m(x,y)=\sqrt{{(I(x+1,y)-I(x-1,y))}^2+{(I(x,y+1)-I(x,y-1))}^2}---\left(3\right)$

θ(x,y)=arctan{[I(x,y+1)-I(x,y-1)]/[I(x+1,y)-I(x-1,y)]}    （4）

其中，m(x,y)是像素点(x,y)的梯度模值，θ(x,y)是像素点(x,y)的梯度方向，梯度直方图的范围是0～360°，每10°代表一个方向,总共36个方向，直方图的峰值即代表该特征点的主方向，所述圆形邻域窗口的半径为8；

（4）以特征点为中心，特征点的主方向为0°方向，建立极坐标系，以特征点为中心，R为半径的区域为兴趣区域，在此极坐标系中,将兴趣区域划分为内围区域和外围区域，内围区域的半径为4，周向均分为τ块，τ取1或4，外围区域分为2层，每层周向均分为δ+1块，δ取3、7或15；从内围区域中的块开始计数，分别定义每个块为R_i，内围区域为R₀至R_τ-1，外围区域为R_τ至R_τ+2δ+1；

(5)对特征点外围区域的每个块，分别计算其正向强度对比值和负向强度对比值，如下：

正向强度对比值 $H_{R_i}P=\frac{\mathrm{\Σ}\left\{(I\left(p\right)-I\left(p_k\right))\right|p\∈R_i\mathrm{andD}\left(p\right)\≥0\}}{{\mathrm{NumR}}_{i+}}---\left(5\right)$

负向强度对比值 $H_{R_i}N=\frac{\mathrm{\&Sigma;}\left\{(I\left(p_k\right)-I\left(p\right))\right|p\&Element;R_i\mathrm{andD}\left(p\right)<0\}}{\mathrm{Num}{R}_{i-}}---\left(6\right)$

式中p_k为特征点，R_i表示外围区域中的第i个块，定义同步骤(4)，p表示外围区域的该块中的像素点，NumR_i+,NumR_i-分别代表块R_i中像素强度大于和小于特征点P_k的像素点的个数，D(p)=I(p)-I(p_k)，I(p)是点p的像素强度，I(p_k)是点p_k的像素强度；

(6)对特征点的内围区域的每个像素点，采用公式（3）（4）获得梯度模值和梯度方向，然后统计内围区域中R_i块内的梯度值，并绘制梯度直方图，梯度直方图分为8个单元，每45°为一个单元，每个块产生8个方向的梯度直方图值，每个块的方向梯度直方图值表示为G_Rid_j(i∈{0,…,τ-1}且j∈{0,…,7})，式中，G_Rid_j表示块中属于同一45°方向单元的像素的模值的和，i表示所在的块，j表示方向单元；

（7）分别对步骤(5)和(6)获得的外围区域和内围区域的描述子进行整体归一化，使得整体描述子对光照变化具有不变性，公式如下：

$G_{R_i}{{d_j}^{\&prime;}=G}_{R_i}{d}_j/\sqrt{\underset{i=0}{\overset{i\&le;\mathrm{\&tau;}-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{j\&le;7}{\mathrm{\&Sigma;}}}{G}_{R_i}{d_j}^2}---\left(7\right)$

$H_{R_i}{P}^{\&prime;}=H_{R_i}P/\sqrt{\underset{i=\mathrm{\&tau;}}{\overset{\mathrm{\&tau;}+2\mathrm{\&delta;}+1}{\mathrm{\&Sigma;}}}(H_{R_i}{P}^2+H_{R_i}{N}^2)}---\left(8\right)$

$H_{R_i}{N}^{\&prime;}=H_{R_i}N/\sqrt{\underset{i=\mathrm{\&tau;}}{\overset{\mathrm{\&tau;}+2\mathrm{\&delta;}+1}{\mathrm{\&Sigma;}}}(H_{R_i}{P}^2+H_{R_i}{N}^2)}---\left(9\right)$

式子中G_Rid_j'以及H_RiP'，H_RiN'分别表示归一化后的方向梯度直方图值以及强度对比值；

（8）将两个部分的归一化后的描述子组合成一维向量，表示为：

$\mathrm{CGCI}=(G_{R_0}{d_0}^{\&prime;},G_{R_0}{d_1}^{\&prime;},\&CenterDot;\&CenterDot;\&CenterDot;,G_{R_{\mathrm{\&tau;}-1}}{d_7}^{\&prime;},H_{\mathrm{R\&tau;}}{P}^{\&prime;},H_{\mathrm{R\&tau;}}{N}^{\&prime;},\&CenterDot;\&CenterDot;\&CenterDot;,H_{R_{\mathrm{\&tau;}+2\mathrm{\&delta;}+1}}{P}^{\&prime;},H_{R_{\mathrm{\&tau;}+2\mathrm{\&delta;}+1}}{N}^{\&prime;})---\left(10\right)$

描述子维度Dimen为：Dimen=8×τ+2×2×δ     （11）

重复（2）到（8），至所有特征点都处理完；

（9）采用K-Means聚类方法将图像库中的图片进行特征点聚类，聚类结果生成K个子节点，计算出每个子节点的中心向量C_i，对新生成的每个子节点再进行K-Means聚类，以生成下一层的子节点，不断重复直到树的深度达到预设值P，构造出CGCI-SIFT词汇树，其中，K为5～10的整数，P为3～6的整数；

(10)将图像库中的图片与词汇树进行关联：词汇树的叶节点个数为M=k^P-1，每个叶节点具有中心向量C_m，其中，m为1～M的整数，将每个叶节点称为一个视觉词汇单词W_m，图像库中的总图片数为N，其中每个图片称为一个文档F_i，i是1～N的整数，则文档F_i和视觉词汇单词W_m的相关度为Weight(i,m)=NUM_im×idf_m，式中，NUM_im表示视觉词汇单词W_m在图片文档F_i中出现的次数，

N_m表示视觉词汇单词W_m一共包含的图片文档数目；计算每个图片与词汇树的每个叶节度的相关度，完成图片与词汇树的关联；

（11）进行图片检索，将待查询图片的CGCI-SIFT特征量化到CGCI-SIFT词汇树的M个视觉词汇单词上，形成一个M维的特征向量V={v₁,v₂......v_M}，具体方法为：

首先提取待查询图片的CGCI-SIFT特征点向量，对提取到的CGCI-SIFT特征点向量与步骤(9)中获得的词汇树的节点逐层进行欧氏距离计算，找到一层上最相近的节点作为匹配节点，再从这些匹配节点的子节点分别向下搜索，直至找到叶节点中的各匹配节点，得到特征向量V={v₁,v₂......v_M}；

(12)利用在视觉词汇层上量化后的特征向量V={v₁,v₂......v_M}，对图像库中所有图片在视觉词汇层上量化结果进行欧氏距离计算，和图像库量化后的每张图片V'={v₁',v₂'......v_M'}得到一个匹配值Wt₁；

$\mathrm{Wt}1=\sqrt{(v_1-{v_1}^{\&prime;})\&times;(v_1-{v_1}^{\&prime;})+(v_2-{v_2}^{\&prime;})\&times;(v_2-{v_2}^{\&prime;})+......+(v_M-{v_M}^{\&prime;})\&times;(v_M-{v_M}^{\&prime;})}$

将结果按Wt₁由小到大排序后输出，完成图像检索。

上述技术方案中，所述步骤(9)中，词汇树的构建方法是：设定聚类个数K，树的深度P，对步骤(1)获得的特征集合进行分层聚类，第一层获得K个聚类，作为词汇树的K个子节点，计算出每个子节点的中心向量；对每个子节点分别进行聚类，每一子节点生成K个下一层的子节点，并计算出每个子节点的中心向量；不断重复直到树的深度达到预设值P，获得SIFT词汇树。

由于上述技术方案运用，本发明与现有技术相比具有下列优点：

1、本发明引入了极坐标分块的描述算法，和现有方法中使用矩形分块的方法相比，分块更加科学，检索结果对于图像的变换更加有效。

2、本发明同时使用两种不同的方法对区域进行描述，和现有方法中使用一种的方法相比，检索结果更为有效。

3、本发明通过简洁地计算对特征的进行描述，并且产生的描述子维度更低，因为计算时间更短，时效性更强。

4、本发明对于采用了CGCI，因而在对具有光照、模糊、缩放变换的图片进行检索时，效果更强。

附图说明

图1是实施例中构建CGCI-SIFT局部描述子的示意图。

图2是实施例中作为待检索图片的恐龙样例图。

图3是恐龙图片作为检索例，传统的算法检索结果图。

图4是恐龙图片作为检索例，本发明的算法的检索结果图。

图5是实施例中作为待检索图片的花朵样例图。

图6是花朵图片作为检索例，传统的算法检索结果图

图7是花朵图片作为检索例，本发明的算法的检索结果图

图8是整个技术方案流程图。

具体实施方式

下面结合附图及实施例对本发明作进一步描述：

实施例：一种基于CGCI-SIFT局部特征的图像检索方法。首先提取图像包含颜色信息的CGCI-SIFT特征来构造图像库的特征词汇树，整个方法过程按如下步骤处理：

(1)图片库分10类，每类图片有100幅相同语义的图像，所以我们在检索过程中统计前80幅图像的查询结果。对于每一张库中得图片采用DOG算法检测特征点。图2中检测出的点坐标如下所示：

（82,434）（83,6）（85,413）（89,273）（91,338）（96,399）（96,341）（97,361）（97,385）（97,414）（101,315）（102,347）（102,431）（103,302）（110,362）（111,124）（121,363）（32,291）（153,146）（158,322）（164,128）（164,299）（164，341）（165,316）（165,367）（69,323）（170,310）（171,184）（173,394）（175,336）（180,311）（184,369）（193,228）（98,300）（199,73）（200,458）（201,421）（204,132）（210,262）（211,401）（212,47）（214,439）（219,444）（229,452）（231,492）（233,53）（233,157）（237,423）（245,414）（249,339）（250,114）（255,434）（260,270）（264，421）（271,230）（272,142）（277,166）（280,470）（281,261）（281,490）（282,394）（285,415）（290,134）（293,243）（299,161）（299,237）（309,490）（324,382）（29,482）（32,124）（35,88）（37,109）（49,116）（67,15）（77,414）（83,379）（90,381）（94,253）（95,435）（97,354）（102,419）（104,118）（105,288）（108,96）（126,429）（137,320）（139,216）（143,481）（154,47）（158,293）（161，94）（165,486）（190,484）（192,305）（196,142）（207,416）（210,148）（218,233）（219,398）（222,49）（223,406）（229,223）（230,148）（244,180）（244,288）（250,114）（251,200）（253,100）（256,172）（256,415）（257,426）（264,70）（269,321）（277,293）（281,214）（285,275）（289,483）（293,144）（294,117）（295,102）（298，250）（333,342）（9,43）（17,44）（20,240）（45,196）（59,210）（74,87）（79,122）（80,112）（83,225）（90,244）（96,122）（96,220）（99,85）（101,100）（104,167）（104,208）（108,211）（116,96）（117,225）（118,120）（122,95）（124,75）（126,93）（137,217）（138，147）（139,234）（141,121）（142,97）（143,86）（30,60）（39,198）（73,103）（77,243）（87,193）（88,202）（90,104）（90,114）（93,89）（97,159）（102,244）（118,107）（127,110）（129,242）（132,146）（136,101）（137,92）（142,54）（155,119）（6,63）（12,97）（34,31）（62,51）（75,176）（76,199）（87,176）（105,113）（128,165）（132,174）（134,153）（138,168）（138,240）（140,19）（140,138）（16,22）（23,101）（32,100）（42,48）（48,114）（56,48）（58,25）（57,80）（58,85）（61,35）（65,71）（35,47）（45,28）（51,81）（52,41）（59,66）（64,63）（31,72）（77,116）（25,15）（19,41）（19,52）（7,27）（12,13）（16,22）（34,53）（9,23）（15,7）（15,18）；

（2）对于每一个留下来的特征点，首先将该点的外围区域零均值规范化，公式如下所示：

$I^{\&prime;}(x,y)=\frac{I(x,y)-\frac{1}{\mathrm{NumC}-1}\underset{i=1}{\overset{\mathrm{NumC}}{\mathrm{\&Sigma;}}}\left(I(x_i,y_i)\right)}{\mathrm{\&Phi;}}---\left(1\right)$

$\mathrm{\&Phi;}=\sqrt{\frac{1}{\mathrm{NumC}-1}\underset{i=1}{\overset{\mathrm{NumC}}{\mathrm{\&Sigma;}}}{(I(x_i,y_i)-\frac{1}{\mathrm{NumC}-1}\underset{i=1}{\overset{\mathrm{NumC}}{\mathrm{\&Sigma;}}}I(x_i,y_i))}^2}---\left(2\right)$

式子中I(x,y)与I'(x,y)分别表示原图形像素强度以及预处理规范化后的像素强度，NumC表示像素点周边涉及计算的像素个数，NumC取144到400。

（3）接下来确定主方向，以特征点为中心的圆形邻域窗口计算每个像素的梯度方向和模值如公式（3）（4）所示，

$m(x,y)=\sqrt{{(I(x+1,y)-I(x-1,y))}^2+{(I(x,y+1)-I(x,y-1))}^2}---\left(3\right)$

θ(x,y)=arctan{[L(x,y+1)-L(x,y-1)]/[L(x+1,y)-L(x-1,y)]}      （4）

梯度直方图的范围是0～360°，每10°代表一个方向,总共36个方向，

直方图的峰值即代表该特征点的主方向，此处圆形区域半径去8。

（4）以特征点为中心建立极坐标系，极径和极角分别为

在此极坐标系中,将兴趣区域划分为若干个不相交的子区域:R₀,R₁,R₂….R_S。极坐标中极径r=4,6,8；极角θ=0,...δ，用τ表示中心区域分块数，取4，δ取7。

(5)外围区域采用强度对比直方图表示，对于每个特征点P_k，采用极坐标将外围区域进一步分块后，我们计算外围区域每个点p与特征点的差异值：D(p)=I(p)-I(p_k)，I(p)表示点p的像素强度，D(p)表示像素间强度的差值，然后将每小块中每个像素和特征点像素进行强度比较，将正向强度和负向强度对比值分别作为计算结果，公式定义如下（6）（7）所示：

$H_{R_i}P=\frac{\mathrm{\&Sigma;}\left\{(I\left(p\right)-I\left(p_k\right))\right|p\&Element;R_i\mathrm{andD}\left(p\right)\&GreaterEqual;0\}}{{\mathrm{NumR}}_{i+}}---\left(5\right)$

$H_{R_i}N=\frac{\mathrm{\&Sigma;}\left\{(I\left(p_k\right)-I\left(p\right))\right|p\&Element;R_i\mathrm{andD}\left(p\right)<0\}}{\mathrm{Num}{R}_{i-}}---\left(6\right)$

式中R_i表示外围区域分块后的子区域，NumR_i+,NmR_i-分别代表子区域R_i中像素强度大于和小于特征点P_k的点的个数，D(p)和上文的一致，表示的是p点和关键点的像素强度差。

一个特征点的32维对比强度，如下所示：

0.00000017.0000000.00000017.0000000.0000008.0000000.00000018.0000000.00000015.0000000.0000007.000000

0.0000008.0000000.00000015.0000000.00000011.0000000.00000018.0000000.00000010.0000000.00000014.000000

0.0000000.0000000.00000010.0000000.00000010.0000000.00000011.000000。

(6)内围区域采用梯度公式（4）（5）来产生描述子。采用极坐标对内围区域分块后，对于每个内围子区域R_i，首先计算每个像素的邻域梯度方向和大小，然后统计R_i区域内的梯度值，并绘制梯度直方图。梯度直方图分为8个单元，每45度一个单元，每个区域可产生8个方向的梯度直方图值，每个区域的方向梯度直方图值表示为(i∈{0,1,2,η}andj∈{0,1,2,3...7})

一个特征点的32维梯度直方图信息，如下图所示

0.3443490.0451170.0067700.0062040.0588850.0658350.0049790.0469000.065822

0.0058670.0004980.0063290.2492710.2446650.0123690.0363380.3483980.055346

0.0070990.0139950.0447070.0076780.0013000.0179170.0528760.0193650.007479

0.0321710.2956460.0747010.0058060.007663。

（7）分别对内外围描述子进行整体归一化，使得整体描述子对光照变化具有不变性，公式如下：

$G_{\mathrm{Ri}}{d_j}^{\&prime;}=G_{\mathrm{Ri}}{d}_j/\sqrt{\underset{i=0,j=0}{\overset{i<=\mathrm{\&eta;},j<=7}{\mathrm{\&Sigma;}}}{G}_{\mathrm{Ri}}{d_j}^2}---\left(7\right)$

$H_{\mathrm{Ri}}{P}^{\&prime;}=H_{\mathrm{Ri}}P/\sqrt{\underset{i=\mathrm{\&eta;}+1}{\overset{\mathrm{\&eta;\&delta;}}{\mathrm{\&Sigma;}}}(H_{\mathrm{Ri}}{P}^2+H_{\mathrm{Ri}}{N}^2)}---\left(8\right)$

$H_{\mathrm{Ri}}{N}^{\&prime;}=H_{\mathrm{Ri}}N/\sqrt{\underset{i=\mathrm{\&eta;}+1}{\overset{\mathrm{\&eta;\&delta;}}{\mathrm{\&Sigma;}}}(H_{\mathrm{Ri}}{P}^2+H_{\mathrm{Ri}}{N}^2)}---\left(9\right)$

式子中G_Rid_j'以及H_RiP'，H_RiN'分别表示归一化后的方向梯度直方图值以及对比强度值

（8）将两个部分的归一化后的描述子组合成一维向量，可以表示为：

GCCI=(G_R0d₀',G_R0d₁',..G_Rηd₇',H_R(η+1)P',H_R(η+1)N'...H_RηδP',H_RηδN′)（10）

极坐标中极径η表示内外围圈数，取3；极角θ＝0,...δ，描述子维度Dimen可以表示为：

Dimen＝8×τ+2×((η-1)×(δ+1))              （11）

重复（2）到（8）过程，至所有特征点都处理完。

一个特征点的64维的整合后的描述子维度信息如下所示：

0.00000017.0000000.00000017.0000000.0000008.0000000.00000018.0000000.00000015.0000000.0000007.000000

0.0000008.0000000.00000015.0000000.00000011.0000000.00000018.0000000.00000010.0000000.00000014.000000

0.0000000.0000000.00000010.0000000.00000010.0000000.00000011.000000。

（9）采用K-Meαns聚类方法将图像库中的图片进行聚类，K-Means有比较好的伸缩性，聚类速度相对较快。聚类结果生成K个子节点(本例中K取6)，计算出每个子节点的中心向量C_i，同样地，对新生成的每个子节点再进行K-Means聚类，以生成下一层的子节点，不断重复直到树的深度达到我们的预设值P(本例中P=4)。这样最终会构造出一个完整的CGCI-SIFT词汇树。

(10)将图像库中的图片与词汇树进行关联：词汇树的叶节点个数为M=Pk-1，每个叶节点具有中心向量Cm，其中，m为1～M的整数，将每个叶节点称为一个视觉词汇单词Wm，图像库中的总图片数为N，其中每个图片称为一个文档Fi，i是1～N的整数，则文档Fi和视觉词汇单词Wm的相关度为Weight(i,m)=NUM_im×idf_m，式中，NUM_im表示视觉词汇单词W_m在图片文档F_i中出现的次数，

N_m表示视觉词汇单词W_m一共包含的图片文档数目；计算每个图片与词汇树的每个叶节度的相关度，完成图片与词汇树的关联；

（11）将查询图片的CGCI-SIFT特征量化到CGCI-SIFT词汇树的M个视觉词汇单词上，形成一个M维的特征向量V={v₁,v₂......v_M}，具体方法为：

对查询图片提取到的CGCI-SIFT特征点向量对词汇树逐层的节点进行欧氏距离计算，找到一层上最相近的节点作为匹配节点，再从这些点的子节点向下搜索。

(12)利用在视觉词汇层上量化后的特征向量V={v₁,v₂......v_M}，对图像库中所有图片在视觉词汇层上量化结果进行欧氏距离计算，这样就会和图像库量化后的每张图片V'={v₁',v₂'......v_M'}得到一个匹配值Wt₁。

$\mathrm{Wt}1=\sqrt{(v_1-{v_1}^{\&prime;})\&times;(v_1-{v_1}^{\&prime;})+(v_2-{v_2}^{\&prime;})\&times;(v_2-{v_2}^{\&prime;})+......+(v_M-{v_M}^{\&prime;})\&times;(v_M-{v_M}^{\&prime;})}$

将结果按Wt₁由小到大排序后输出。

Claims (2)

1.一种基于CGCI-SIFT局部特征的图像检索方法，提供用于检索的图像库和待检索的图片，其特征在于，将图片转换成灰度图，先对用于检索的图像库进行局部特征描述处理，再进行图像检索，包括下列步骤：

（1）对于图像库中的每一张图片采用DOG算法检测特征点；

（2）对于每一个留下来的特征点，首先将该点的外周区域的像素点进行零均值规范化，所述外周区域为以特征点为中心，边长为2R+1的方形区域，零均值规范化的公式如下所示：

$I^{\&prime;}(x,y)=\frac{I(x,y)-\frac{1}{\mathrm{NumC}-1}\underset{i=1}{\overset{\mathrm{NumC}}{\mathrm{\&Sigma;}}}\left(I(x_i,y_i)\right)}{\mathrm{\&Phi;}}---\left(1\right)$

$\mathrm{\&Phi;}=\sqrt{\frac{1}{\mathrm{NumC}-1}\underset{i=1}{\overset{\mathrm{NumC}}{\mathrm{\&Sigma;}}}{(I(x_i,y_i)-\frac{1}{\mathrm{NumC}-1}\underset{i=1}{\overset{\mathrm{NumC}}{\mathrm{\&Sigma;}}}I(x_i,y_i))}^2}---\left(2\right)$

式中I(x,y)与I'(x,y)分别表示原图形像素强度以及规范化后的像素强度，(x,y)为进行零均值规范化的像素点在图片中的位置，R为1 2～20的整数，NumC表示像素点周边涉及计算的像素个数，NumC=R²；

（3）确定特征点的主方向，方法是：在以特征点为中心的圆形邻域窗口中计算每个像素的梯度方向和梯度模值，

$m(x,y)=\sqrt{{(I(x+1,y)-I(x-1,y))}^2+{(I(x,y+1)-I(x,y-1))}^2}---\left(3\right)$

θ(x,y)=arctan{[I(x,y+1)-I(x,y-1)]/[I(x+1，y)-I(x-1，y)]}    （4）

其中，m(x,y)是像素点(x,y)的梯度模值，θ(x,y)是像素点(x,y)的梯度方向，梯度直方图的范围是0～3 60°，每1 0°代表一个方向,总共3 6个方向，直方图的峰值即代表该特征点的主方向，所述圆形邻域窗口的半径为8；

（4）以特征点为中心，特征点的主方向为0°方向，建立极坐标系，以特征点为中心，R为半径的区域为兴趣区域，在此极坐标系中,将兴趣区域划分为内围区域和外围区域，内围区域的半径为4，周向均分为τ块，τ取1或4，外围区域分为2层，每层周向均分为δ+1块，δ取3、7或15；从内围区域中的块开始计数，分别定义每个块为R_i，内围区域为R₀至R_τ-1，外围区域为R_τ至R_τ+2δ+1；

(5)对特征点外围区域的每个块，分别计算其正向强度对比值和负向强度对比值，如下：

正向强度对比值 $H_{R_i}P=\frac{\mathrm{\&Sigma;}\left\{(I\left(p\right)-I\left(p_k\right))\right|p\&Element;R_i\mathrm{andD}\left(p\right)\&GreaterEqual;0\}}{{\mathrm{NumR}}_{i+}}---\left(5\right)$

负向强度对比值 $H_{R_i}N=\frac{\mathrm{\&Sigma;}\left\{(I\left(p_k\right)-I\left(p\right))\right|p\&Element;R_i\mathrm{andD}\left(p\right)<0\}}{\mathrm{Num}{R}_{i-}}---\left(6\right)$

式中p_k为特征点，R_i表示外围区域中的第i个块，定义同步骤(4)，p表示外围区域的该块中的像素点，NumR_i+,NumR_i-分别代表块R_i中像素强度大于和小于特征点p_k的像素点的个数，D(p)=I(p)-I(p_k)，I(p)是点p的像素强度，I(p_k)是点p_k的像素强度；

(6)对特征点的内围区域的每个像素点，采用公式（3）（4）获得梯度模值和梯度方向，然后统计内围区域中R_i块内的梯度值，并绘制梯度直方图，梯度直方图分为8个单元，每45°为一个单元，每个块产生8个方向的梯度直方图值，每个块的方向梯度直方图值表示为G_Rid_j(i∈{0,…,τ-1}且j∈{0,…,7})，式中，G_Rid_j表示块中属于同一45°方向单元的像素的模值的和，i表示所在的块，j表示方向单元；

（7）分别对步骤(5)和(6)获得的外围区域和内围区域的描述子进行整体归一化，使得整体描述子对光照变化具有不变性，公式如下：

$G_{R_i}{d_j}^{\&prime;}=G_{R_i}{d}_j/\sqrt{\underset{i=0}{\overset{i\&le;\mathrm{\&tau;}-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{j\&le;7}{\mathrm{\&Sigma;}}}{G}_{R_i}{d_j}^2}---\left(7\right)$

$H_{R_i}{P}^{\&prime;}=H_{R_i}P/\sqrt{\underset{i=\mathrm{\&tau;}}{\overset{\mathrm{\&tau;}+2\mathrm{\&delta;}+1}{\mathrm{\&Sigma;}}}(H_{R_i}{P}^2+H_{R_i}{N}^2)}---\left(8\right)$

$H_{R_i}{N}^{\&prime;}=H_{R_i}N/\sqrt{\underset{i=\mathrm{\&tau;}}{\overset{\mathrm{\&tau;}+2\mathrm{\&delta;}+1}{\mathrm{\&Sigma;}}}(H_{R_i}{P}^2+H_{R_i}{N}^2)}---\left(9\right)$

式子中G_Rid_j'以及H_RiP'，H_RiN'分别表示归一化后的方向梯度直方图值以及强度对比值；

（8）将两个部分的归一化后的描述子组合成一维向量，表示为：

$\mathrm{CGCI}=(G_{R_0}{d_0}^{\&prime;},G_{R_0}{d_1}^{\&prime;},\&CenterDot;\&CenterDot;\&CenterDot;,G_{R_{\mathrm{\&tau;}-1}}{d_7}^{\&prime;},H_{\mathrm{R\&tau;}}{P}^{\&prime;},H_{\mathrm{R\&tau;}}{N}^{\&prime;},\&CenterDot;\&CenterDot;\&CenterDot;,H_{R_{\mathrm{\&tau;}+2\mathrm{\&delta;}+1}}{P}^{\&prime;},H_{R_{\mathrm{\&tau;}+2\mathrm{\&delta;}+1}}{N}^{\&prime;})---\left(10\right)$

描述子维度Dimen为：Dimen=8×τ+2×2×δ    （11）

重复（2）到（8），至所有特征点都处理完；

（9）采用K-Means聚类方法将图像库中的图片进行特征点聚类，聚类结果生成K个子节点，计算出每个子节点的中心向量C_i，对新生成的每个子节点再进行K-Means聚类，以生成下一层的子节点，不断重复直到树的深度达到预设值P，构造出CGCI-SIFT词汇树，其中，K为5～10的整数，P为3～6的整数；

(10)将图像库中的图片与词汇树进行关联：词汇树的叶节点个数为M=k^P-1，每个叶节点具有中心向量C_m，其中，m为1～M的整数，将每个叶节点称为一个视觉词汇单词W_m，图像库中的总图片数为N，其中每个图片称为一个文档F_i，i是1～N的整数，则文档F_i和视觉词汇单词W_m的相关度为Weight(i,m)=NUM_im×idf_m，式中，NUM_im表示视觉词汇单词W_m在图片文档F_i中出现的次数，

N_m表示视觉词汇单词W_m一共包含的图片文档数目；计算每个图片与词汇树的每个叶节度的相关度，完成图片与词汇树的关联；

（11）进行图片检索，将待查询图片的CGCI-SIFT特征量化到CGCI-SIFT词汇树的M个视觉词汇单词上，形成一个M维的特征向量V={v₁,v₂......v_M}，具体方法为：

首先提取待查询图片的CGCI-SIFT特征点向量，对提取到的CGCI-SIFT特征点向量与步骤(9)中获得的词汇树的节点逐层进行欧氏距离计算，找到一层上最相近的节点作为匹配节点，再从这些匹配节点的子节点分别向下搜索，直至找到叶节点中的各匹配节点，得到特征向量V={v₁,v₂......v_M}；

(12)利用在视觉词汇层上量化后的特征向量V={v₁,v₂......v_M}，对图像库中所有图片在视觉词汇层上量化结果进行欧氏距离计算，和图像库量化后的每张图片V'={v₁',v₂'......v_M'}得到一个匹配值Wt₁；

$\mathrm{Wt}1=\sqrt{(v_1-{v_1}^{\&prime;})\&times;(v_1-{v_1}^{\&prime;})+(v_2-{v_2}^{\&prime;})\&times;(v_2-{v_2}^{\&prime;})+......+(v_M-{v_M}^{\&prime;})\&times;(v_M-{v_M}^{\&prime;})}$

将结果按Wt₁由小到大排序后输出，完成图像检索。

2.根据权利要求1所述的基于CGCI-SIFT局部特征的图像检索方法，其特征在于：所述步骤(9)中，词汇树的构建方法是：设定聚类个数K，树的深度P，对步骤(1)获得的特征集合进行分层聚类，第一层获得K个聚类，作为词汇树的K个子节点，计算出每个子节点的中心向量；对每个子节点分别进行聚类，每一子节点生成K个下一层的子节点，并计算出每个子节点的中心向量；不断重复直到树的深度达到预设值P，获得SIFT词汇树。

Images