CN101526944A - 图像检索比对方法 - Google Patents

Abstract

本发明属于特别适用于特定功能的数据处理方法技术领域。解决如何对图像进行存储、表达和组织，并且快速、准确地找到自己所需要的图像信息。所述的图像检索比对方法，是在一个图像区域R内利用相邻的两列或者两行像素集合之间的最大分裂权值的分裂线将图像区分成M个不可分裂图像区域，再合并成N个不可合并图像区域，计算不可合并图像区域的视觉感兴趣权值确定显著区域、无显著区域，根据显著区域构建第一图像台阶，第二图像台阶，确定特征点，利用特征点、梯度直方图确定特征点的主方向，进行归一化处理，确定特征点的特征向量，找出两副图像的匹配点进行比对，在无显著区域的图像中，将两幅图像中的K维的特征向量进行匹配，判定相似程度。

Description

图像检索比对方法

技术领域

本发明属于特别适用于特定功能的数据处理方法技术领域，是一种图像检索比对方法

背景技术

自90年代以来，随着计算机技术、多媒体技术和互联网技术的迅猛发展，越来越多的人能够更加方便、快捷、经济地接触和应用到数字多媒体。同时全世界数字图像的数量正以惊人的速度增长，图像的来源不断扩大，我们每天都会获得数以千兆字节的数字图像信息。然而目前人们面临的问题已经不再是缺少图像内容，而是如何对其进行存储、表达和组织，如何在浩如烟海的数字图像数据中快速、准确地找到自己所需要的图像信息。图像检索技术就是在这种背景下产生的新兴研究邻域，对它的研究具有十分重要的意义。

早期的图像检索系统采用传统的文本检索技术，该方法简单但不能充分描述图像的丰富内涵，存在无法克服的缺点。人们提出了基于内容的图像检索方法，其主要思想是使用图像的视觉特征来描述图像的内容，进行图像信息的检索。在建立图像数据库时，对输入图像所包含的颜色、纹理、形状等底层图像特征进行特征提取，表示为特征向量的形式，在图像入库时同时存入输入图像及其对应的特征向量。在进行图像检索时，通过将待查图像的特征向量与数据库中图像的特征向量采用一定的匹配策略进行匹配，然后根据匹配结果返回最相似的若干图像给用户。由于利用图像本身的物理内容描述图像，而且特征的提取可以用计算机自动实现，因此避免了人工标注的主观性，大大减少了工作量，很好地解决了基于文本检索中存在的问题。

根据图像特征的作用域，基于内容的图像检索技术(CBIR)可以分为两类：其一，基于全局特征的图像检索；其二，基于局部特征的图像检索。基于全局特征的方法不区分图像前景和背景，提取整幅图像的内容特征用于相似比较。该方法无法描述图像内容在空间上的差异，不能体现图像的空间关系，通常很难或不能反映图像真实的内容，只能比较图像全局的统计相似性，不能在物体层次上比较图像的相似性，检索效率不高。同时，在相当多的情况下用户并不关心图像全局的相似性，而是更多关注于图像中能够明显表达图像内容的区域，人们需要找到包含特定目标(对象)的图像，如检索出包含大象的图像。因此，为了克服全局特征在描述图像内容上的不足，人们开发出基于局部特征的图像检索技术。

基于局部特征的检索方法是一种能产生较精确检索结果的策略，该方法不是把图像看成是一个不可分的整体，而是看成由一些子区域(对象)组。首先需要预先对图像进行分割把图像分成若干个区域，如果分割效果理想，这些区域将对应于一个个对象，然后提取各个区域的颜色、纹理、形状等特征，则一幅图像的特征由这些区域对象的特征综合而成。然后根据一定的区域匹配准则，计算待查图像的各个区域与数据库图像的各个区域之间的相似度，将其综合可得到图像之间的相似度。基于局部特征的检索方法，针对具有前景非常明显的图像具有很高的查准率，而针对前景和背景界线比较模糊的图像，其查准率是非常低的。基于局部特征的检索方法针对每个区域都进行一次特征提取和特征匹配工作，而没有充分考虑影响人类对图像视觉注意力的众多因素，这样就会增加了与人类视觉注意力无关的特征处理工作，也就会增加检索所需要空间和时间，也会影响检索结果的查准率。尺度不变量特征算法SIFT是目前最好的不变局部特征提取算法。然而SIFT算法的特征维数高，匹配耗时。不过对同一个物体在不同场景，不同视角下照的相片具有很高的查准率。

发明内容

本发明的目的在于提供一种充分利用了影响人类对图像视觉注意力的众多因素，通过图像分割，从图像中自动提取出用户最感兴趣区域即显著区域，将这些提取出来的显著区域的特征与图像特征库中区域特征部分进行匹配的图像检索比对方法。

为实现本发明的目的，所述的一种图像检索比对方法，

1)在一个图像区域R内，当图像区域的像素I(i，j)的均方误差S_R大于设定值时，利用相邻的两列或者两行像素集合之间的最大分裂权值的分裂线将一个图像区域分裂成两个，依此，对分裂后的图像区域再一分为二，直至分成M个不可分裂图像区域；

2)在合并权值大于0的条件下，将最大的合并权值对应的相邻的不可分裂图像区域合并成一个图像区域，依此，将合并后成一个图像区域作为一个不可分裂图像区域，直至合并成N个不可合并图像区域；

3)计算不可合并图像区域的视觉感兴趣权值visualW_R，如果最大的视觉感兴趣权值所对应的不可合并图像区域的外接矩形最小边的像素大于或者等于2^τ+1个，其中τ是自定义的取值，τ为自然数，则该不可合并图像区域为显著区域，其余的则为无显著区域；

4)根据显著区域的外接矩形，通过亚抽样构建第一图像台阶，根据第一图像台阶中同一阶层的相邻层的差分图建立第二图像台阶，在第二台阶中求出具有局部极值的点确定特征点；

5)在所述的第一图像台阶中，利用特征点所在层的邻域像素的梯度方向分布特性为每个特征点指定主方向，计算各个邻域像素的梯度，把梯度直方图中具有最大幅值的柱所代表的方向作为特征点的主方向；

6)根据所述的梯度直方图的

个幅度值表示的向量进行归一化处理，将归一化处理后的向量的最大分量排在这个向量的第一个分量里，其余分量按照位置依次作相应移动，最后得到的向量即该特征点的特征向量。

7)设要检验是否匹配的两个特征点的特征向量分别为F，F′，则这两个特征向量的欧氏距离D(F，F)，利用欧氏距离D(F，F)对要匹配的两个显著区域中的特征点进行两两距离计算，取以上计算的候选匹配点的交集为两副图像的匹配点，两幅图像的匹配点越多，就表示两副图像越相似；

8)在无显著区域的图像中，利用由Stricker提出的分块颜色矩算法，提取图像的全局特征，得到K维的特征向量，将两幅图像中的K维的特征向量进行匹配，判定无显著区域图像的相似程度。

大部分人使用图像检索系统，都是提供能够表达自己检索意愿的样本图像，也就是说，样本图像中显著区域最能表达出用户的检索意愿。我们综合利用影响人类视觉的各种因素，从样本图像中提取出图像的显著区域，在显著区域中求出具有尺度不变性的特征点，把特征点的邻域像素的梯度方向分布特性作为该特征点的特征，这些特征对区域的尺度变化和旋转是不变的，而且对光照的变化和区域变形具有较强的适应性。同时这种特征还具有较高的辨别能力，有利于后续的匹配，从而提高图像比对的准确率和效率。

本图像对比方法利用了图像的显著区域，把特征集中在显著区域，把图像的特征与人类视觉特性相结合，这些特征更能准确地表达人们对图像的视觉感受。本图像对比方法不受图像尺度变化和旋转的影响，而且对光照的变化和区域变形具有较强的适应性。

附图说明

附图的图面说明如下：

图1为像区域R内两行水平分裂线L_K，K+1，L_r，r+1的示意图。

图2为像区域R内两列垂直分裂线L_K，K+1，L_c，c+1的示意图。

图3为一个图像区域R分解成2个图像区域R1、R2的示意图。

图4为不可合并图像区域的外接矩形示意图。

图5为第一图像台阶、第二图像台阶示意图。

图6为特征点圆形窗口示意图。

图7为θ为30度时的梯度直方图示意图。

具体实施方式

下面结合附图，对本发明图像检索比对方法的具体实施例作进一步详述：

本发明所述的图像检索比对方法包括。

计算区域像素平均值AreaV_R：

$\mathrm{Area}{V}_R=\frac{\underset{P\∈R}{\mathrm{\Σ}}I(i,j)}{n}$ 公式(1)

计算区域均方误差S_R：

$S_R=\frac{\underset{P\∈R}{\mathrm{\Σ}}{[I(i,j)-\mathrm{Area}{V}_R]}^2}{n}$ 公式(2)

公式(1)和公式(2)中p为区域R内的像素，n为区域R内的像素个数。

在区域R中，把任意相邻的两行的像素集合L_r和L_r+1之间的一条虚直线设定为水平分裂线L_r，r+1，如图1所示。则L_r，r+1的分裂权值为：

${\mathrm{splitW}}_{r,r+1}^{\mathrm{horizontal}}=\underset{P\∈(L_r\∪L_{r+1})}{\mathrm{\Σ}}{[I(i,j)-I(i,j+1)]}^2$ 公式(3)

在区域R中，把任意相邻的两列的像素集合L_c和L_c+1之间的一条虚直线设定为垂直分裂线L_c，c+1，如图2所示。则L_c，c+1的分裂权值为：

${\mathrm{splitW}}_{c,c+1}^{\mathrm{vertical}}=\underset{P\∈(L_c\∪L_{c+1})}{\mathrm{\Σ}}{[I(i,j)-I(i+1,j)]}^2$ 公式(4)

分裂权值反映了分裂线两边的像素灰度值的反差程度。

图像区域分裂方法：

传统的Split-Merge算法的分割只能分成大小相等的一分为四的矩形，分割区域的边界位置不准确。为了解决这个缺点，利用计算分裂权值的方法求得最优的分割位置。在本方法中，最优表示分裂线的分裂权值最大。

步骤一：设定允许误差阀值ε＝T，其中T∈(0，255)；

步骤二：判定图像区域R是否可以再分裂。

通过公式(1)和公式(2)求得区域R的均方误差S_R。如果S_R＞ε则图像区域R可再分裂，如果S_R≤ε则图像区域R不可再分裂。

步骤三：根据步骤二，若图像区域R可再分裂，则在图像区域R中选择一条分裂权值splitW_k，k+1最大的分裂线L_k，k+1，以分裂线L_k，k+1为分裂位置，把图像区域R分裂为两个子区域R_new1，R_new2，如图3所示。

将第一幅图像作为一个图像区域。按照图像区域分裂法可以分裂成两个子图像区域，再将子图像区域作为一个图像区域，再按照图像区域分裂法又可以分裂成两个相对应的子图像区域。如此按照图像分裂方法进行分裂，直至无法分裂，得到m个不可分裂图像区域。同理，将第二幅图像分裂成n个不可分裂图像区域。

相邻区域定义：把与区域R有公共边(不包括一个像素)的区域定义为区域R的相邻区域。

两个相邻不可分裂区域R_k和R_l的合并权值：

$\mathrm{merge}{W}_{k,l}=S_{R_k}+S_{R_l}+\mathrm{\φ}\×c_{k,l}-S_{R_{k,l}}$ 公式(5)

其中，

为区域R_k和R_l的均方误差，

为区域R_k和R_l合并区域的均方误差。c_k，l是区域R_k和R_l之间的公共边的像素个数，参数φ可用来调节长度项的作用，φ＞1。

在m个不可分裂图像区域中，通过公式(5)计算出所有相邻不可分裂图像区域的相对应的合并权值，在所有大于零的合并权值中，把最大的合并权值相对应的相邻区域合并生成一个图像区域，在合并后的所有图像区域中，利用刚才的方法进行合并处理，直到所有的相邻区域的合并权值都不大于0，最后合并成M个不可合并图像区域。

计算不可合并图像区域的对比度因子：

$\mathrm{contrast}{F}_R=\mathrm{Area}{V}_R-\mathrm{Area}{V}_{R_{\mathrm{NE}}}$ 公式(6)

其中AreaV_R为不可合并图像区域R的像素平均值，

是把与图像区域R相邻的所有区域组成的图像区域的像素平均值。

计算不可合并图像区域的尺寸因子：

$\mathrm{size}{F}_R=\mathrm{MAX}(\frac{A{\mathrm{rea}}_R}{\mathrm{AR}},1)$ 公式(7)

其中Area_R是不可合并图像区域R内的像素个数，AR是整幅图像像素个数的1％。MAX(M，N)表示取M，N中较大的那个数。

计算不可合并图像区域的形状因子：

$\mathrm{shape}{F}_R=\frac{{\left[B{\mathrm{order}}_R\right]}^p}{{\mathrm{Area}}_R}$ 公式(8)

其中，Border_R是不可合并图像区域R的边界像素个数，Area_R是图像区域R内的像素个数，1＜p＜3，实验表明把p取值为1.75时，合并效果好很多。

图像中央cp％范围：以图像中央为中心并且高和宽分别是图像的高和宽的

的图像区域所包含的像素集合。其中1≤cp≤25。

计算不可合并图像区域的位置因子

对于任何图像区域R，把图像区域R中处于图像中央cp％范围之内的像素个数Center_R除以图像区域R的总像素个数所得的值设定为图像区域R的位置因子positionF_R，则

$\mathrm{position}{F}_R=\frac{{\mathrm{Center}}_R}{{\mathrm{Area}}_R}$ 公式(9)

其中，Center_R是不可合并图像区域R中处于图像中央25％范围之内的像素个数，Area_R是图像区域R内的像素个数。

不可合并图像区域R的背景因子：

$\mathrm{background}{F}_R=\mathrm{MIN}(\frac{{\mathrm{RBorder}}_R}{\mathrm{imageBorder}},1)$ 公式(10)

其中RBorder_R是不可合并图像区域R与整幅图像边界接壤的像素个数，imageBorder是图像边界的像素个数。MIN(M，N)表示取M，N中较小的那个数。

计算区域的前景因子：

foregroundF_R＝(1-backgroundF_R)公式(11)

其中，backgroundF_R是不可合并图像区域R的背景因子。

计算不可合并图像区域的视觉感兴趣权值：

visualW_R＝contrastF_R ²+sizeF_R ²

+shapeF_R ²+positionF_R ²公式(12)

+foregroundF_R ²

其中contrastF_R、sizeF_R、shapeF_R、positionF_R和foregrounF_R分别是不可合并区域R的对比度因子、计算区域的尺寸因子、计算区域的形状因子、计算区域的位置因子和前景因子。

视觉感兴趣权值综合考虑了影响人类视觉注意力的低层次因素，能够比较准确地表达了人类对图像的各个不同区域的注意程度。

图像区域R的最小外接矩形的构造方法。通过图像区域R的最上，最下的两个边界象素点(P_mosttop和P_mostbottom)的两条水平线与通过图像区域R最左，最右的两个边界象素点(P_mostleft和P_mostright)的两条竖直线相交得到四个交点P_lefttop，P_leftbottom，P_righttop，P_rightbottom，这四个交点就是最小外接矩形的四个顶点。(如图4所示)

找显著区域方法：

针对整幅图像，利用图像区域分裂方法可以把图像分裂为n₁个相互独立的区域，然后，利用图像区域与其相邻区域的合并方法把n₁个相互独立的区域最终合并成n₂个区域。如果N＝1，则认为图像没有显著区域，否则通过公式(12)计算出

n₂个区域的视觉感兴趣权值，在这n₂个区域的视觉感兴趣权值中，如果最大的视觉感兴趣权值对应的区域的最小外接矩形的最小边长大于或等于2^τ+1个像素(其中τ是自定义的取值，一般取τ＝2，与公式(15)中的τ取值一致)，则该区域为图像的显著区域；如果最大的视觉感兴趣权值对应的所有区域的最小外接矩形的最小边长小于2^τ+1个像素，图像没有显著区域。

通过找出图像的显著区域，能够从客观上把握大部分用户对同一幅图像所关注的区域，这样就可以避免处理一些不必要的信息，从而提高图像检索方法的效率。

在显著区域中提取特征点的特征向量方法。

步骤一、构造显著区域salienceR最小外接矩形Rect_min。

步骤二、根据步骤一，针对最小外接矩形Rect_min代表的图像进行以下的处理过程：

(1)、设最小外接矩形Rect_min代表的图像区域为子图像I_R(x，y)，对I_R(x，y)构建本文描述的第一图像台阶。图像台阶的结构如下(如图5所示)：它由一系列图像组成，具有相同分辨率的S幅图像组成一阶，即阶有S层，每层对应相应的图像；图像台阶有V阶，随着阶数的递增，图像分辨率不断减少。本文描述的第一图像台阶具体构建过程描述如下：第v阶第s层(下标从0算起)图像L_v，s(x，y)：

L_v，s(x，y)＝G(x，y，σ₀2^v+s/(S-3))*I_R，v(x，y)(v＝0，1，2，3，...，V-1；s＝0，1，2，3...，S-1；S＞3；^*表示卷积运算；σ₀是自定义的初始值)公式(13)

其中I_R，0(x，y)＝I_R(x，y)，I_R，1(x，y)是图像L_0，S-3(x，y)通过在x和y方向上进行1∶2的亚抽样得到，I_R，2(x，y)是图像L_1，S-3(x，y)通过在x和y方向上进行1∶2的亚抽样得到，其余依次类推。而G表示高斯函数，标准差为σ的高斯函数是：

$G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-(x^2+y^2)}/2{\mathrm{\σ}}^2$ 公式(14)

设I_R(x，y)分辨率为Height×Width，则阶数V：

V＝log₂(MIN(Height，Width))/log₂ 2-τ公式(15)

其中τ是可自定义的取值，其大小决定了第(V-1)阶上图像的分辨率。

根据以上方法，就得到了第一图像台阶。

(2)、建立第二图像台阶。根据步骤(1)所建立的第一图像台阶，求同一阶中的相邻层L_v，s(x，y)，L_v，s+1(x，y)的差分图：

D_v，s(x，y)＝L_v，s+1(x，y)-L_v，s(x，y)公式(16)

所有差分图组成本文描述的第二图像台阶，如图5所示。

步骤三、寻找候选特征点。根据步骤二产生的第二图像台阶，在第二图像台阶里寻找具有局部极值(极大值和极小值)的点作为候选特征点。

寻找方法如下：在同一阶里的每一层图像(除去同阶里最上和最下两层不处理)，对图像中的每个像素(边界上的像素不处理)，如果此像素的像素值同时都大于或同时都小于同层周围8个邻域像素的像素值和相邻的上下两层图像对应位置各9个像素的像素值(一共比较26个像素值)，则此像素点作为候选特征点。(如图5所示)

步骤四、本文描述的第二图像台阶里的每一个像素，可以由阶数v，层数s和同层里的位置坐标(x，y)唯一确定。而阶数v，层数s唯一确定了与图像进行卷积运算的高斯函数的σ的值，即σ＝σ₀2^v+s/(S-3)。所以D_v，s(x，y)是关于x，y，σ的函数，设为D(x，y，σ)，则通过拟和三维二次函数把第二图像台阶里的图像拟和成空间连续的曲面，以便在亚像素精度上精确确定候选特征点的位置和σ的值。候选特征点附近区域的曲面是通过在候选特征点处的泰勒展开式(展开到2阶为止)表示的：

$D\left(X\right)=D+\frac{\∂D^T}{\∂X}X+\frac{1}{2}{X}^T\frac{{\∂}^{2}D}{\∂X^2}X$ 公式(17)

上式中，X＝(xyσ)^T，D是D(x，y，σ)在候选特征点处的值。令 $\frac{\∂D\left(X\right)}{\∂X}=0,$ 可以得到该候选特征点的精确位置和σ的偏移：

$\hat{X}=-{\left(\frac{{\∂}^{2}D}{\∂X^2}\right)}^{-1}\frac{\∂D}{\∂X}$ 公式(18)

设 $\hat{X}={\left(\begin{array}{ccc}\mathrm{\Δ\σ}& \mathrm{\Δy}& \mathrm{\Δ\σ}\end{array}\right)}^T,$ 则该候选特征点的精确位置和σ是(x+Δx，y+Δy，σ+Δσ)，将公式(18)代入公式(17)式得： $D\left(\hat{X}\right)=D+\frac{1}{2}\frac{\∂D^T}{\∂X}\hat{X};$

可以用来衡量该候选特征点与周围象素点的差异程度，即如果 $\left|D\left(\hat{X}\right)\right|\≤c,$ 则该候选特征点与周围象素点差异不明显，把该候选特征点从侯选特征点集中除去。(c是自定义阀值)

步骤五、去除不稳定的候选特征点(由步骤三产生第二台阶的方法会产生较强的边缘响应，即使很弱的噪声也会导致边缘上的候选特征点很不稳定)。不稳定的候选特征点在横跨边缘的地方有较大的主曲率，而在垂直边缘的方向有较小的主曲率。主曲率通过一个2×2的Hessian矩阵H求出：

$H=\left[\begin{array}{cc}{D}_{\mathrm{xx}}& D_{\mathrm{xy}}\\ D_{\mathrm{xy}}& D_{\mathrm{yy}}\end{array}\right]$

其中 $D_{\mathrm{xx}}=\frac{{\∂}^{2}D}{\∂x^2},$ $D_{\mathrm{yy}}=\frac{{\∂}^{2}D}{\∂y^2},$ $D_{\mathrm{xy}}=\frac{{\∂}^{2}D}{\∂x\∂y}$

D的主曲率和矩阵H的特征值成正比，令α为最大特征值，β为最小的特征值，则

矩阵H的迹：Tr(H)＝D_xx+D_yy＝α+β

矩阵H的行列式：Det(H)＝D_xxD_yy-(D_xy)²＝αβ

令α＝γβ，则：

$\frac{\mathrm{Tr}{\left(H\right)}^2}{\mathrm{Det}\left(H\right)}=\frac{{(\mathrm{\α}+\mathrm{\β})}^2}{\mathrm{\α\β}}=\frac{{(\mathrm{\γ\β}+\mathrm{\β})}^2}{{\mathrm{\γ\β}}^2}=\frac{{(r+1)}^2}{r},$

的值在两个特征值相等的时候最小，随着r的增大而增大，因此，为了检测主曲率是否在某阀值r下，只需检测

$\frac{\mathrm{Tr}{\left(H\right)}^2}{\mathrm{Det}\left(H\right)}<\frac{{(r+1)}^2}{r}.$ 公式(19)

对每一个候选特征点，都构造一个2×2的Hessian矩阵H，如果矩阵满足公式(19)，则该候选特征点就成为特征点。

步骤六、求特征点的主方向。在上文描述的第一图像台阶中，利用特征点所在层的邻域像素的梯度方向分布特性为每个特征点指定主方向。邻域范围采用特征点为中心的圆形窗口来确定(如图6所示)，圆形窗口的半径为自定义长度。在此圆形窗口范围的像素点(x，y)的梯度幅值：

$m_{v,s}(x,y)=\sqrt{{(L_{v,s}(x+1,y)-L_{v,s}(x-1,y))}^2+{(L_{v,s}(x,y+1)-L_{v,s}(x,y-1))}^2}$ 公式(20)

此圆形窗口范围的像素点(x，y)的梯度方向：

θ_v，s(x，y)＝arctan((L_v，s(x，y+1)-L_v，s(x，y-1)/(L_v，s(x+1，y)-L_v，s(x-1，y)))    公式(21)

使用以上公式的时候，如果特征点的圆形窗口范围越出特征点所在层图像的边界，则忽略此特征点。

在以特征点为中心的圆形窗口范围内进行计算：通过公式(20)和(21)，计算圆形窗口范围内所有像素的梯度，在圆形窗口范围内的各梯度幅值还需要进行高斯平滑，以突出靠近特征点像素所占的比重而减少远离特征点像素所占的比重。然后对计算的结果用梯度直方图统计梯度方向。梯度直方图角度的范围是0～360度，设每θ度一个柱，则共有

个柱。把梯度直方图中具有最大幅值的柱所代表的方向作为特征点的主方向，如图7所示。

步骤七、计算特征点的特征向量。

设根据步骤六计算的某特征点的梯度直方图的

个幅度值表示的向量的形式为 $F=(f_1,f_2,...f_{\frac{360}{\mathrm{\&theta;}}}),$ 其中

表示0～360度各个方向的幅度值。对此向量进行归一化处理，归一化后得到：

$\stackrel{\&OverBar;}{F}=\frac{F}{\sqrt{\underset{i=1}{\overset{\frac{360}{\mathrm{\&theta;}}}{\mathrm{\&Sigma;}}}{f}_i^2}}=(\stackrel{\&OverBar;}{f_1},\stackrel{\&OverBar;}{f_2},...\stackrel{\&OverBar;}{f_{\frac{360}{\mathrm{\&theta;}}}})$ 公式(22)

设f_i是中的最大值，即f_i代表了步骤六所描述的特征点的主方向的幅度值，使f_i排在向量的第一个分量里，其余分量按照位置依次作相应移动，最后就形成了该特征点的特征向量： $F^{\&prime;}=(f_i,f_{i+1},...f_{\frac{360}{\mathrm{\&theta;}}},f_1,f_2...f_{i-1}).$ 即每个特征点向量是

维的向量。

在无显著区域的图像中找K维的特征向量方法。

利用由Stricker提出的分块颜色矩算法提取图像的全局特征，得到K维的特征向量(E_l，i，δ_l，i，S_l，i)，K＝5×3×颜色通道个数ch，其中l∈[1，5]，i∈[1，ch]。K维的特征向量(E_l，i，δ_l，i，S_l，i)展开如下：

(E_1，1，δ_1，1，S_1，1，...，E_1，ch，δ_1，ch，S_1，ch，...，E_5，ch，δ_5，ch，S_5，ch)

由分块颜色矩算法产生的K维的特征向量(E_l，i，δ_l，i，S_l，i).的匹配方法。

设查询图像与目标图像分别为q和t。其颜色矩特征分别为： $D_{\mathrm{5,5}}(q,t)=\underset{i=1}{\overset{\mathrm{ch}}{\mathrm{\&Sigma;}}}\left({\mathrm{\&omega;}}_{i1}\right|E_{l_1,i}-E_{l_2,i}|+{\mathrm{\&omega;}}_{i2}|{\mathrm{\&delta;}}_{l_1,i}-{\mathrm{\&delta;}}_{l_2,i}|+{\mathrm{\&omega;}}_{i3}|S_{l_1,i}-S_{l_2,i}\left|\right)$ 和

则图像q的区域l₁与图像t的区域l₂的距离为：

$D_{l_1,l_2}(q,t)=\underset{i=1}{\overset{\mathrm{ch}}{\mathrm{\&Sigma;}}}\left({\mathrm{\&omega;}}_{i1}\right|E_{l_1,i}-E_{l_2,i}|+{\mathrm{\&omega;}}_{i2}|{\mathrm{\&delta;}}_{l_1,i}-{\mathrm{\&delta;}}_{l_2,i}|+{\mathrm{\&omega;}}_{i3}|S_{l_1,i}-S_{l_2,i}\left|\right)$ 公式(23)

这里ω_i1，ω_i2，ω_i3为权重，以下为在HSV颜色空间中所使用的权值：

	E	δ	S
				h	3	3	1

s	2	1	1
				v	1	1	1

通过以上方法，把输入图像的全局特征与特征库中的全局特征比较，生成五个距离，分别为：

D_1，1(q，t)，D_2，2(q，t)，D_3，3(q，t)，D_4，4(q，t)，D_5，5(q，t)。

设

$S_v=\sqrt{{D^2}_{\mathrm{1,1}}(q,t)+{D^2}_{\mathrm{2,2}}(q,t)+{D^2}_{\mathrm{3,3}}(q,t)+{D^2}_{\mathrm{4,4}}(q,t)+{D^2}_{\mathrm{5,5}}(q,t)}$ 公式(24)

S_v越小就越相似。

显著区域特征点的匹配方法。

设要检验是否匹配的两个特征点的特征向量分别为：F＝(f₁，f₂，...f_n)F′＝(f′₁，f′₂，...f′_n) $n=\frac{360}{\mathrm{\&theta;}};$ 则这两个特征向量的欧氏距离D(F，F′)，

$D(\stackrel{\&OverBar;}{F},\stackrel{\&OverBar;}{F^{\&prime;}})=\sqrt{{(f_1-f_1^{\&prime;})}^2+{(f_2-f_2^{\&prime;})}^2+...+{(f_n-f_n^{\&prime;})}^2}$ 公式(25)

利用公式(25)对要匹配的两个显著区域中的特征点进行两两距离计算。

设P和Q分别是两副图像的各自显著区域的特征点的特征向量集合。先对P中的任一特征向量F_i，在Q中与F_i的特征向量的欧氏距离最小的两个特征向量为q_j，q′_j，对应的欧氏距离为dist_j，dist′_j，且dist_j≤dist′_j，如果dist_j＜dist′_j×ψ，则F_i与q_j为对应的候选匹配点，ψ是0＜ψ＜1范围内预先设定的一个阀值。然后对Q中的任一特征向量F_k，在P中与F_k的特征向量的欧氏距离最小的两个特征向量为p_l，p′_l，对应的欧氏距离为dist_l，dist′_l且dist_l≤dist′_l，如果dist_l＜dist′_l×ψ，则F_k与p_l为对应的候选匹配点。取以上计算的候选匹配点的交集为两副图像的匹配点。

通过以上的匹配方法，两幅图像的匹配点越多，就表示两副图像越相似。

利用上述对一幅图像的特征提取方法，分别对第一幅图像和第二幅图像进行特征提取。会出现以下三种情况：

(1)两幅图像都有显著区域。那么这两幅图像就用显著区域特征点的匹配方法进行匹配。

(2)两幅图像都没有显著区域。那么这两幅图像就用由分块颜色矩算法产生的K维的特征向量(E_l，i，δ_l，i，S_l，i)的匹配方法进行匹配。

(3)在两幅图像中，有一幅是有显著区域，另一没有显著区域。我们可以判定，这两幅图像是完全不同类别的图像，是完全不相似的。

Claims (4)

1.一种图像检索比对方法，其特征是：

1)在一个图像区域R内，当图像区域的像素I(i，j)的均方误差S_R大于设定值时，利用相邻的两列或者两行像素集合之间的最大分裂权值的分裂线将一个图像区域分裂成两个，依此，对分裂后的图像区域再一分为二，直至分成M个不可分裂图像区域；

2)在合并权值大于0的条件下，将最大的合并权值对应的相邻的不可分裂图像区域合并成一个图像区域，依此，将合并后成一个图像区域作为一个不可分裂图像区域，直至合并成N个不可合并图像区域；

3)计算不可合并图像区域的视觉感兴趣权值visualW_R，如果最大的视觉感兴趣权值所对应的不可合并图像区域的外接矩形最小边的像素大于或者等于2^τ+1个，其中τ是自定义的取值，τ为自然数，则该不可合并图像区域为显著区域，其余的则为无显著区域；

4)根据显著区域的外接矩形，通过亚抽样构建第一图像台阶，根据第一图像台阶中同一阶层的相邻层的差分图建立第二图像台阶，在第二台阶中求出具有局部极值的点确定特征点；

5)在所述的第一图像台阶中，利用特征点所在层的邻域像素的梯度方向分布特性为每个特征点指定主方向，计算各个邻域像素的梯度，把梯度直方图中具有最大幅值的柱所代表的方向作为特征点的主方向；

6)根据所述的梯度直方图的个幅度值表示的向量进行归一化处理，将归一化处理后的向量的最大分量排在这个向量的第一个分量里，其余分量按照位置依次作相应移动，最后得到的向量即该特征点的特征向量。

7)设要检验是否匹配的两个特征点的特征向量分别为F，F′，则这两个特征向量的欧氏距离D(F，F′)，利用欧氏距离D(F，F′)对要匹配的两个显著区域中的特征点进行两两距离计算，取以上计算的候选匹配点的交集为两副图像的匹配点，两幅图像的匹配点越多，就表示两副图像越相似；

8)在无显著区域的图像中，利用由Stricker提出的分块颜色矩算法，提取图像的全局特征，得到K维的特征向量，将两幅图像中的K维的特征向量进行匹配，判定无显著区域图像的相似程度。

2.根据权利要求1所述的图像检索比对方法，其特征是所述的视觉感兴趣权值visualW_R＝contrastF_R ²+sizeF_R ²

+shapeF_R ²+positionF_R ²

+foregroundF_R ²

其中contrastF_R、sizeF_R、shapeF_R、positionF_R和foregroundF_R分别是不可合并区域R的对比度因子、计算区域的尺寸因子、计算区域的形状因子、计算区域的位置因子和前景因子。

3.根据权利要求1所述的图像检索比对方法，其特征是所述的相邻的两行像素集合之间的分裂权值为：

${\mathrm{splitW}}_{r,r+1}^{\mathrm{horizontal}}=\underset{P\&Element;(L_r\&cup;L_{r+1})}{\mathrm{\&Sigma;}}{[I(i,j)-I(i,j+1)]}^2$

所述的相邻的两列像素集合之间的分裂权值为：

${\mathrm{splitW}}_{c,c+1}^{\mathrm{vertical}}=\underset{P\&Element;(L_c\&cup;L_{c+1})}{\mathrm{\&Sigma;}}{[I(i,j)-I(i+1,j)]}^2$

其中L_r和L_r+1为相邻的两行的像素集合，L_c和L_c+1为相邻的两列的像素集合，p为区域R内的像素。

4.根据权利要求1所述的图像检索比对方法，其特征是所述的均方误差

$S_R=\frac{\underset{P\&Element;R}{\mathrm{\&Sigma;}}{[I(i,j)-{\mathrm{AreaV}}_R]}^2}{n}$

其中，区域像素平均值 ${\mathrm{AreaV}}_R=\frac{\underset{P\&Element;R}{\mathrm{\&Sigma;}}I(i,j)}{n},$ p为区域R内的像素，n为区域R内的像素个数。

Images