CN104361096A - 一种基于特征富集区域集合的图像检索方法 - Google Patents

Abstract

本发明公开了一种基于特征富集区域的图像检索方法，首先通过计算Hessian矩阵及非极大值抑制获得候选特征点集合，利用三维线性插值法得到亚像素级的特征点集合。根据得到图像特征点的坐标位置，计算特征点的分布矩阵和适应矩阵，利用最大子矩阵和算法求出适应矩阵的子矩阵，即特征点分布最密集的区域，作为图像的特征富集区域。对特征富集区域选择形状、纹理和颜色三个底层特征，最后根据高斯非线性距离函数进行相似性度量，按照相似度升序排列，实现图像的快速检索。本发明能有效降低图像检索计算复杂度，提高图像检索的运算效率和准确率。

Description

一种基于特征富集区域集合的图像检索方法

技术领域

本发明属于图像检索技术领域，主要涉及一种基于特征富集区域的图像检索方法。

背景技术

图像检索的研究最早可以追溯到二十世纪七十年代。早期的图像检索技术是基于图像的文本标注，即基于文本的图像检索(Text-based Image Retrieval，TBIR)。到了上个世纪90年代，大型图像数据库逐步成为主流，如果仍然沿用传统的方法，就会给图像检索工作带来巨大的工作量。为了对大量的图像做出高效的处理，基于内容的图像检索技术(Content BasedImage Retrieval，CBIR)被研究者关注。区别于原有系统中TBIR对图像进行人工标注的做法，基于内容的检索技术自动提取每幅图像的视觉内容特征作为其索引，如色彩、纹理、形状等。这样，除了文本标注外，用户还可以利用图像的视觉特征来实现查询。由于利用图像本身的物理内容描述对象，而且特征的提取和索引的建立都可以使用计算机自动实现，避免了人工标注的主观性，大大减少了工作量，很好地解决了基于文本检索中存在的问题。

传统的图像检索系统一般是对整幅图像进行特征提取，与图像内容无关，通常人们在判别图像的相似性时并非建立在图像低层视觉特征的相似上，而是建立在对图像所描述的对象或事件的语义理解的基础上，正是由于人对图像相似性的判别依据与计算机对相似性的判别依据之间的不同，所以会导致由于计算机获取图像的视觉信息与用户对图像理解的语义信息的不一致性而产生的低层和高层检索需求间的鸿沟。

此外，图像中的不同区域的重要程度不同，而除图像主题内容之外的背景信息往往占据图像的很大一部分，在提取特征的过程中对主要对象的特征造成影响，不仅会使得图像检索算法计算复杂度高，运算效率低下，而且会导致检索结果准确性差等问题。

发明内容

本发明是为避免现技术所存在的不足之处，提出一种基于特征富集区域集合的图像检索方法，以期能有效降低图像检索计算复杂度，提高图像检索的运算效率和准确率。

本发明为解决技术问题采用如下技术方案：

本发明一种基于特征富集区域集合的图像检索方法，是利用检索图像E对存储在数据库中的候选图像集{T_t|t＝1,2,…,M}进行相似性匹配，并返回与所述检索图像E最相似的J个候选图像作为图像检索结果；M表示所述候选图像的总数；其特点是：所述方法按如下步骤进行：

步骤1、以所述检索图像E的任一顶点作为原点O，以与所述原点O相邻的两条边分别作为X轴和Y轴，建立坐标系XOY；在所述坐标系XOY中，将所述检索图像E转换为灰度图像G，并利用式(1)获得所述灰度图像G的积分图像I：

$(x,y)=\underset{0\≤i^{\′}\≤x,0\≤j^{\′}\≤y}{\mathrm{\Σ}}G(i^{\′},j^{\′})---\left(1\right)$

式(1)中，I(x,y)表示所述积分图像I中任一像素点p(x,y)的值，G(i',j')表示所述灰度图像G中位于坐标(i',j')上的像素值；式(1)表示所述积分图像I中像素点p(x,y)的值是从所述灰度图像G的原点O到像素点p(x,y)所构成的矩形区域内所有像素点的灰度值之和：

步骤2、计算所述积分图像I的Hessian矩阵，获取所述积分图像I的特征点集合F_p；

步骤2.1、利用高斯滤波器获得所述灰度图像G在不同尺度下的图像集合1≤τ≤n；σ_τ表示第τ层的尺度值，从而构建n层图像金字塔；表示所述图像金字塔中尺度值为σ_τ的第τ层图像；

步骤2.2、利用式(2)计算所述第τ层图像中像素点p(x,y)的Hessian矩阵H(p,σ_τ)：

$H(p,{\mathrm{\σ}}_{\mathrm{\τ}})=\left[\begin{array}{cc}{L}_{\mathrm{xx}}(p,{\mathrm{\σ}}_{\mathrm{\τ}})& L_{\mathrm{xy}}(p,{\mathrm{\σ}}_{\mathrm{\τ}})\\ L_{\mathrm{xy}}(p,{\mathrm{\σ}}_{\mathrm{\τ}})& L_{\mathrm{yy}}(p,{\mathrm{\σ}}_{\mathrm{\τ}})\end{array}\right]---\left(2\right)$

式(2)中，L_xx(p,σ_τ)、L_xy(p,σ_τ)和L_yy(p,σ_τ)分别表示所述第τ层图像与高斯二阶滤波器和的卷积；并有： $g(x,y,{\mathrm{\σ}}_{\mathrm{\τ}})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}_{\mathrm{\τ}}}{e}^{-\frac{(x^2+y^2)}{2{\mathrm{\σ}}_{\mathrm{\τ}}}};$

步骤2.3、并利用式(3)所示的Hessian矩阵H(p,σ_τ)的判别式Det(H(p,σ_τ))判断所述第τ层图像的像素点p(x,y)是否为极值点，将Det(H(p,σ_τ))＞0时的像素点作为候选特征点A_k：

Det(H(p,σ_τ))＝L_xx(p,σ_τ)L_yy(p,σ_τ)-L_xy(p,σ_τ)²     (3)

步骤2.4、遍历所述图像金字塔中的每一层图像中的每个像素点，并利用式(3)进行判断，从而获得候选特征点集合A＝{A₁,A₂,…,A_k,…,A_K}；1≤k≤K，K表示所述候选特征点的个数；

步骤2.5、定义所述第σ层图像中像素点p(x,y)的三维N阶邻域集合为U(p,τ)＝{U_τ-1,U_τ,U_τ+1}；U_τ-1表示在第τ-1层图像中，与像素点p(x,y)对应的像素点p'(x,y)及其相邻的N²-1个像素点的集合；U_τ+1表示在第τ+1层图像中，与像素点p(x,y)对应的像素点p″(x,y)及其相邻的N²-1个像素点的集合；U_τ表示在第τ层图像中与像素点p(x,y)相邻的N²-1个像素点的集合；

步骤2.6、遍历所述候选特征点集合A中每个候选特征点，若任一候选特征点A_k的灰度值大于其三维N阶邻域集合中所有的3N²-1像素点的灰度值或是小于其三维N阶邻域集合中所有的3N²-1像素点的灰度值，则将候选特征点A_k作为特征点，从而获得特征点集合；

步骤3、依据所述特征点集合，计算特征点分布矩阵C和适应矩阵B，从而获得所述检索图像E的特征富集区域集合1≤z≤Z，Z表示所述检索图像E的特征富集区域个数；

步骤3.1、对所述检索图像E进行分块，获得W×H个子块构成的子块集合SUB＝{s₁₁,s₁₂,…,s_wh,…,s_WH}；1≤w≤W；1≤h≤H；

步骤3.2、定义特征点分布矩阵为C；所述特征点分布矩阵C中的元素C[w][h]为任一子块s_wh内包含的特征点的数量；

步骤3.3、定义所述特征点分布矩阵C的适应因子d为所述特征点分布矩阵C中所有元素的平均值；将所述特征点分布矩阵C中的每一个元素减去所述适应因子d，从而获得适应矩阵B；

步骤3.4、利用最大子矩阵和算法计算所述适应矩阵B的最大子矩阵，从而获得所述检索图像E的特征富集区域

步骤3.5、判断所述特征富集区域中所包含的特征点的数量是否大于所述特征点分布矩阵C中所有特征点数量的50％；若大于，则获得所述检索图像E的特征富集区域集合否则，将所述特征富集区域加入所述特征富集区域集合FSR_E，并将所述特征富集区域包含的特征点的数量置为0，并重复步骤3.4执行；

步骤4、构建所述特征富集区域集合FSR_E的特征向量集合F，所述特征向量集合F为所述特征富集区域集合FSR_E的形状特征集合、纹理特征集合和颜色特征集合；

步骤4.1、通过二阶和三阶归一化中心矩构造七个Hu不变矩M₁,M₂…M₇，以所述七个Hu不变矩M₁,M₂…M₇作为所述形状特征集合；

步骤4.2、利用局部算子LBP对所述特征富集区域集合FSR_E进行纹理特征提取，从而获得直方图特征向量，以所述直方图特征向量作为所述纹理特征集合；

步骤4.3、将所述检索图像E从RGB通道转换到HSV通道，从而获得色调分量H、亮度分量V和饱和度分量S；

统计所述色调分量H、亮度分量V和饱和度分量S的像素个数占所述特征富集区域集合FSR中像素总数的比重，分别获得所述色调分量H、亮度分量V和饱和度分量S的直方图，以所述直方图作为所述颜色特征集合；

步骤5、对存储在数据库中的候选图像集{T_t|t＝1,2,…,M}中的每一幅候选图像按照步骤1至步骤4进行计算，从而获得候选图像集的特征富集区域集合的特征向量并保存至数据库；

步骤6、采用高斯非线性距离度量所述检索图像E和候选图像集{T_t|t＝1,2,…,M}中每个候选图像的相似度：

步骤6.1、将所述检索图像E的特征富集区域集合FSR_E中特征富集区域的特征向量表示为并计算所述特征向量值的均值和标准差q；

步骤6.2、利用式(4)对所述特征向量进行归一化处理，获得归一化后的特征向量

$F_z^{\′E}=\frac{F_z^E-\stackrel{\‾}{m}}{q}---\left(4\right)$

步骤6.3、对所述特征富集区域集合FSR_E中的每个特征富集区域以及所述候选图像集的特征富集区域集合中的每个特征富集区域按照步骤6.1和步骤6.2执行，从而分别获得所述特征富集区域集合FSR_E的特征向量集合F'^E和所述特征富集区域集合的特征向量集合

步骤6.4、利用式(5)获得所述检索图像E的特征富集区域集合FSR_E中第i个特征富集区域和候选图像集的特征富集区域集合中第j个特征富集区域之间的非线性高斯距离

$D(R_i^E,R_j^{T_t})=\underset{\mathrm{\μ}=1}{\overset{g}{\mathrm{\Σ}}}[-\frac{{(f_{i_{\mathrm{\μ}}}^E-f_{j_{\mathrm{\μ}}}^{T_t})}^2}{{2\mathrm{\σ}}_{\mathrm{\μ}}^2}]---\left(5\right)$

式(5)中，表示所述检索图像E的特征富集区域集合FSR_E中第i个特征富集区域的第μ维特征向量；表示所述特征富集区域集合中第j个特征富集区域的第μ维特征向量；1≤i≤Z，g为特征向量的维数；1≤j≤m；m表示所述候选图像T_t的特征富集区域总数；

步骤6.5、利用式(6)获得所述第i个特征富集区域的最小特征距离从而获得所述检索图像E的最小特征距离集合

${\mathrm{dis}}_i^E=\underset{1\≤j\≤m}{\min }D(R_i^E,R_j^{T_t})---\left(6\right)$

式(6)表示所述第i个特征富集区域与所述特征富集区域集合中的每个特征富集区域之间的非线性高斯距离的最小值；

步骤6.6、利用式(7)获得所述第j个特征富集区域的最小特征距离从而获得所述候选图像T_t的最小特征距离集合

${\mathrm{dis}}_j^{T_t}=\underset{1\≤i\≤n}{\min }D(r_j^{T_t},r_i^E)---\left(7\right)$

式(7)表示所述第j个特征富集区域与检索图像E中所有的特征富集区域之间的非线性高斯距离的最小值；

步骤6.7、利用式(8)获得所述检索图像E与候选图像T_t的相似度D(E,T_t)，从而获得所述检索图像E与所述候选图像集中每个候选图像的相似度构成的相似度集合：

$D(E,T_t)=\frac{1}{Z}\underset{i=1}{\overset{Z}{\mathrm{\Σ}}}{\mathrm{dis}}_i^E+\frac{1}{m}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{dis}}_j^{T_t}---\left(8\right)$

步骤6.8、对所述相似度集合进行升序排序，选取前J个相似度所对应的候选图像作为图像检索结果。

本发明所述的基于特征富集区域集合的图像检索方法的特点也在于，所述步骤4.2是按如下步骤进行：

步骤4.2.1、判断所述特征富集区域内任一像素点v的灰度值是否大于与其邻域内的其他像素点的灰度值，若大于，则将邻域内的像素点标记为0，否则标记为1，从而获得由邻域内的像素点构成的一组二进制序列；

步骤4.2.2、将所述二进制序列转换为十进制值并作为所述像素点v的灰度值；

步骤4.2.3、遍历所述特征富集区域集合FSR_E中的每一个特征富集区域中的每个像素点，并按照步骤4.2.1和步骤4.2.2更新所述特征富集区域集合FSR_E中的每个像素点的灰度值，从而获得LBP特征富集区域集合

步骤4.2.4、计算所述LBP特征富集区域集合中的每一个LBP特征富集区域的直方图并进行量化，从而获得直方图特征向量集合。

与现有技术相比，本发明的有益效果在于：

1、本发明充分利用了图像特征富集区域的图像特征丰富，可有效表征图像内容的特点，提取图像的主要内容是通过诸多特征表现的先验信息，确定图像特征的富集区域，与传统基于ROI的图像检索方法相比更贴近人类视觉对图像所描述对象的语义理解，缩小语义鸿沟，提高检索准确程度。

2、本发明通过针对先验的特征富集区域进行形状、纹理及颜色的底层特征提取，避免了对整幅图像中其余背景图像及非主体内容的冗余处理，在降低了计算复杂度的同时提高了检索效率，排除了冗余信息对检索过程所带来的干扰，使得检索的结果更符合人类感官。

3、本发明利用Hessian矩阵提取图像的特征点，并通过最大子矩阵和算法来计算特征点分布矩阵中特征点最密集的区域，通过多次迭代计算得到多个特征富集区域，将特征富集区域集合作为后续检索的显著性区域，该方法能完整地提取特征富集区域及主体目标内容，且计算效率高。

附图说明

图1为本发明方法总体流程图；

图2为本发明特征富集区域检索设计方法流程图；

图3a为本发明特征富集区域计算输入示例图；

图3b为本发明特征富集区域计算结果示意图。

具体实施方式

本实施例中，一种基于特征富集区域集合的图像检索方法，是利用检索图像E对存储在数据库中的候选图像集{T_t|t＝1,2,…,M}进行相似性匹配，并返回与检索图像E最相似的J个候选图像作为图像检索结果；M表示候选图像的总数；如图1所示，一种基于特征富集区域集合的图像检索方法是首先通过计算Hessian矩阵及非极大值抑制获得候选特征点集合，利用三维线性插值法得到亚像素级的特征点集合。根据得到图像特征点的坐标位置，计算特征点的分布矩阵和适应矩阵，利用最大子矩阵和算法求出适应矩阵的子矩阵，即特征点分布最密集的区域，作为图像的特征富集区域。对特征富集区域选择形状、纹理和颜色三个常用的底层特征，最后根据高斯非线性距离函数进行相似性度量，按照相似度升序排列，实现图像的快速检索。具体地，是按照如下步骤进行：

步骤1、如图2所示，以检索图像E的左上角顶点作为原点O，以与原点O相邻的两条边分别作为X轴和Y轴，建立坐标系XOY；在坐标系XOY中，将检索图像E转换为灰度图像G，并利用式(1)获得灰度图像G的积分图像I：

$(x,y)=\underset{0\≤i^{\′}\≤x,0\≤j^{\′}\≤y}{\mathrm{\Σ}}G(i^{\′},j^{\′})---\left(1\right)$

式(1)中，I(x,y)表示积分图像I中任一像素点p(x,y)的值，G(i',j')表示灰度图像G中位于坐标(i',j')上的像素值；式(1)表示积分图像I中像素点p(x,y)的值是从灰度图像G的原点O到像素点p(x,y)所构成的矩形区域内所有像素点的灰度值之和：

步骤2、计算积分图像I的Hessian矩阵，获取积分图像I的特征点集合F_p；

步骤2.1、利用高斯滤波器即二阶标准高斯函数，获得灰度图像G在不同尺度下的图像集合1≤τ≤n；σ_τ表示第τ层的尺度值，从而构建n层图像金字塔；表示图像金字塔中尺度值为σ_τ的第τ层图像；本实施例中，不通过降采样改变图像大小，而是利用改变高斯模糊的尺寸获得图像金字塔不同层的图像，从而提高处理速度与效率；

步骤2.2、利用式(2)计算第τ层图像中像素点p(x,y)的Hessian矩阵H(p,σ_τ)：

$H(p,{\mathrm{\σ}}_{\mathrm{\τ}})=\left[\begin{array}{cc}{L}_{\mathrm{xx}}(p,{\mathrm{\σ}}_{\mathrm{\τ}})& L_{\mathrm{xy}}(p,{\mathrm{\σ}}_{\mathrm{\τ}})\\ L_{\mathrm{xy}}(p,{\mathrm{\σ}}_{\mathrm{\τ}})& L_{\mathrm{yy}}(p,{\mathrm{\σ}}_{\mathrm{\τ}})\end{array}\right]---\left(2\right)$

式(2)中，L_xx(p,σ_τ)、L_xy(p,σ_τ)和L_yy(p,σ_τ)分别表示第τ层图像与高斯二阶滤波器和的卷积；并有： $g(x,y,{\mathrm{\σ}}_{\mathrm{\τ}})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}_{\mathrm{\τ}}}{e}^{-\frac{(x^2+y^2)}{2{\mathrm{\σ}}_{\mathrm{\τ}}}};$ 对于离散的像素点采用模板卷积完成高斯平滑及二阶求导的过程；

步骤2.3、并利用式(3)所示的Hessian矩阵H(p,σ_τ)的判别式Det(H(p,σ_τ))判断第τ层图像的像素点p(x,y)是否为极值点，若判别式Det(H(p,σ_τ))＞0，则为极值点，否则为非极值点，将Det(H(p,σ_τ))＞0时的像素点作为候选特征点A_k：

Det(H(p,σ_τ))＝L_xx(p,σ_τ)L_yy(p,σ_τ)-L_xy(p,σ_τ)²    (3)

步骤2.4、遍历图像金字塔中的每一层图像中的每个像素点，并利用式(3)进行判断，从而获得候选特征点集合A＝{A₁,A₂,…,A_k,…,A_K}；1≤k≤K，K表示候选特征点的个数；

步骤2.5、定义第σ层图像中像素点p(x,y)的三维N阶邻域集合为U(p,τ)＝{U_τ-1,U_τ,U_τ+1}；本实施例中，N＝3，U_τ-1表示在第τ-1层图像中，与像素点p(x,y)对应的像素点p'(x,y)及其相邻的N²-1个像素点的集合；U_τ+1表示在第τ+1层图像中，与像素点p(x,y)对应的像素点p″(x,y)及其相邻的N²-1个像素点的集合；U_τ表示在第τ层图像中与像素点p(x,y)相邻的N²-1个像素点的集合，本实施例中，三维三阶邻域集合中共有包括第τ层中8个点和在第τ-1层及第τ+1层中各9个点，共26个像素点；

步骤2.6、遍历候选特征点集合A中每个候选特征点，若任一候选特征点A_k的灰度值大于其三维N阶邻域集合中所有的3N²-1，本实施例中为26个像素点的灰度值或是小于其三维N阶邻域集合中所有的3N²-1，即为26个像素点的灰度值，则将候选特征点A_k作为特征点，再通过三维线性插值法得到亚像素级的特征点，利用已设置的过滤阈值，过滤部分相对较弱的特征点，从而获得特征点集合，利用积分图像I能快速获得特征点在检索图像E中的对应位置；

步骤3、依据特征点集合，计算特征点分布矩阵C和适应矩阵B，从而获得检索图像E的特征富集区域集合1≤z≤Z，Z表示检索图像E的特征富集区域个数；如图3a所示为检索示例图像，图3b为特征点集合及特征富集区域计算结果示意图，黑色小圈表示检测到的特征点，黑色矩形框表示特征富集区域；从图3b中可以看出，示例图中有2个特征富集区域；

步骤3.1、对检索图像E进行分块，区域子块大小视实际情况而定，获得W×H个子块构成的子块集合SUB＝{s₁₁,s₁₂,…,s_wh,…,s_WH}；1≤w≤W；1≤h≤H；

步骤3.2、定义特征点分布矩阵为C；特征点分布矩阵C中的元素C[w][h]为任一子块s_wh内包含的特征点的数量；

步骤3.3、对于一个元素都是自然数的特征点分布矩阵来讲，最大子矩阵和始终是分布矩阵自身。因此需要对分布矩阵进行特殊的处理，使得到的矩阵元素有正有负，本实施例中采用的方式是将分布矩阵中的每一个元素减去一个常数。定义特征点分布矩阵C的适应因子d为特征点分布矩阵C中所有元素的平均值；将特征点分布矩阵C中的每一个元素减去适应因子d，从而获得适应矩阵B；

步骤3.4、利用最大子矩阵和算法计算适应矩阵B的最大子矩阵，从而获得检索图像E的特征富集区域

步骤3.4.1、遍历适应矩阵B中所有两个行的组合B[i]和B[j]之间的元素，将当前两行B[i]和B[j]之间的各列元素相加后存储在一维数组D[w]中；

步骤3.4.2、遍历一维数组D[w]中的每个元素，并依次进行相加；记录当前值Current和当前最大值Max及其区间[k,l]，每加上一个元素，对比当前值Current与Max，若大于Max则将Current赋值给Max，并更新区间[k,l]；若Current小于0，则将Current清零重新计算；最终得到以B[i][k]为左上角，B[j][l]为右下角的区域为图像检索的特征富集区域

步骤3.5、判断特征富集区域中所包含的特征点的数量是否大于特征点分布矩阵C中所有特征点数量的50％；若大于，则可以认为当前特征富集区域已经囊括图像的主体内容，无需继续寻找富集区域，并获得检索图像E的特征富集区域集合否则，认为图像依然有特征集中的区域未被包括在特征富集区域集合中，并将特征富集区域加入特征富集区域集合FSR_E，并将特征富集区域包含的特征点的数量置为0，并重复步骤3.4执行；

步骤4、构建特征富集区域集合FSR_E的特征向量集合F，特征向量集合F为特征富集区域集合FSR_E的形状特征集合、纹理特征集合和颜色特征集合；

步骤4.1、通过二阶和三阶归一化中心矩构造七个Hu不变矩M₁,M₂…M₇，以七个Hu不变矩M₁,M₂…M₇作为形状特征集合，七个Hu不变矩的计算由Hu MING-KUEI在Information Theory,IRE Transactions on,1962,8(2):179-187的《Visual pattern recognition bymoment invariants》一文中提出；

步骤4.2、利用局部算子LBP对特征富集区域集合FSR_E进行纹理特征提取，从而获得直方图特征向量，以直方图特征向量作为纹理特征集合；

步骤4.2.1、判断特征富集区域内任一像素点v的灰度值是否大于与其邻域内的其他像素点的灰度值，本实施例中，邻域为像素点v周围的8个像素点，若大于，则将邻域内的像素点标记为0，否则标记为1，从而按任一特定顺序获得由邻域内的像素点构成的一组二进制序列；

步骤4.2.2、将二进制序列转换为十进制值并作为像素点v的灰度值；

步骤4.2.3、遍历特征富集区域集合FSR_E中的每一个特征富集区域中的每个像素点，并按照步骤4.2.1和步骤4.2.2更新特征富集区域集合FSR_E中的每个像素点的灰度值，从而获得LBP特征富集区域集合

步骤4.2.4、计算LBP特征富集区域集合中的每一个LBP特征富集区域的直方图并进行量化，统计各灰度值区间内的像素个数占特征富集区域集合FSR中像素总数的比重，本实施例中将直方图量化降维至64维，从而获得直方图特征向量集合。

步骤4.3、将检索图像E从RGB通道转换到HSV通道，从而获得色调分量H、亮度分量V和饱和度分量S；本实施例中，将色调分量量化为8个等级，亮度和饱和度分量量化为4个等级，从而加速计算，提高效率；

统计色调分量H、亮度分量V和饱和度分量S的像素个数占特征富集区域集合FSR中像素总数的比重，分别获得色调分量H、亮度分量V和饱和度分量S的直方图，以直方图作为颜色特征集合；

步骤5、对存储在数据库中的候选图像集{T_t|t＝1,2,…,M}中的每一幅候选图像按照步骤1至步骤4进行计算，从而获得候选图像集的特征富集区域集合的特征向量并保存至数据库；

步骤6、采用高斯非线性距离度量检索图像E和候选图像集{T_t|t＝1,2,…,M}中每个候选图像的相似度：

步骤6.1、将检索图像E的特征富集区域集合FSR_E中特征富集区域的特征向量表示为g为特征向量的维数，本实施例中，特征向量包括形状特征向量7维，纹理特征向量64维，颜色特征向量128维总数199维，并计算特征向量值的均值和标准差q；

步骤6.2、由于不同特征的物理意义不同，取值范围也常大相径庭，这样不同的特征不直接具有可比性。为此，在综合利用不同特征进行检索时，需要对其进行归一化，利用式(4)对特征向量进行归一化处理，获得归一化后的特征向量

$F_z^{\′E}=\frac{F_z^E-\stackrel{\‾}{m}}{q}---\left(4\right)$

步骤6.3、对特征富集区域集合FSR_E中的每个特征富集区域以及候选图像集的特征富集区域集合中的每个特征富集区域按照步骤6.1和步骤6.2执行，从而分别获得特征富集区域集合FSR_E的特征向量集合F'^E和特征富集区域集合的特征向量集合

步骤6.4、利用式(5)获得检索图像E的特征富集区域集合FSR_E中第i个特征富集区域和候选图像集的特征富集区域集合中第j个特征富集区域之间的非线性高斯距离

$D(R_i^E,R_j^{T_t})=\underset{\mathrm{\μ}=1}{\overset{g}{\mathrm{\Σ}}}[-\frac{{(f_{i_{\mathrm{\μ}}}^E-f_{j_{\mathrm{\μ}}}^{T_t})}^2}{{2\mathrm{\σ}}_{\mathrm{\μ}}^2}]---\left(5\right)$

式(5)中，表示检索图像E的特征富集区域集合FSR_E中第i个特征富集区域的第μ维特征向量；表示特征富集区域集合中第j个特征富集区域的第μ维特征向量；1≤i≤Z，Z表示所述检索图像E的特征富集区域个数；g为特征向量的维数；1≤j≤m；m表示候选图像T_t的特征富集区域总数；

步骤6.5、每一个特征富集区域与最小特征距离一一对应，对于检索图像E而言，存在一个最小特征距离集合，利用式(6)获得第i个特征富集区域的最小特征距离从而获得检索图像E的最小特征距离集合

${\mathrm{dis}}_i^E=\underset{1\≤j\≤m}{\min }D(R_i^E,R_j^{T_t})---\left(6\right)$

式(6)表示第i个特征富集区域与特征富集区域集合中的每个特征富集区域之间的非线性高斯距离的最小值；

步骤6.6、对数据库中的候选图像集也进行相同的操作，利用式(7)获得第j个特征富集区域的最小特征距离从而获得候选图像T_t的最小特征距离集合 ${\mathrm{DIS}}^{T_t}=\{{\mathrm{dis}}_1^{T_t},{\mathrm{dis}}_2^{T_t},...{\mathrm{dis}}_m^{T_t}\}:$

${\mathrm{dis}}_j^{T_t}=\underset{1\≤i\≤n}{\min }D(r_j^{T_t},r_i^E)---\left(7\right)$

式(7)表示第j个特征富集区域与检索图像E中所有的特征富集区域之间的非线性高斯距离的最小值；

步骤6.7、定义检索图像E的最小特征距离集合DIS^E与候选图像T_t的最小特征距离集合中最小特征距离的平均值之和作为检索图像E与候选图像T_t的相似度，特征距离越小，相似度的值也越小，说明两幅图片越相似，利用式(8)获得检索图像E与候选图像T_t的相似度D(E,T_t)，从而获得检索图像E与候选图像集中每个候选图像的相似度构成的相似度集合：

$D(E,T_t)=\frac{1}{Z}\underset{i=1}{\overset{Z}{\mathrm{\Σ}}}{\mathrm{dis}}_i^E+\frac{1}{m}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{dis}}_j^{T_t}---\left(8\right)$

步骤6.8、对相似度集合进行升序排序，选取前J个相似度所对应的候选图像作为图像检索结果。

Claims (2)

1.一种基于特征富集区域集合的图像检索方法，是利用检索图像E对存储在数据库中的候选图像集{T_t|t＝1,2,…,M}进行相似性匹配，并返回与所述检索图像E最相似的J个候选图像作为图像检索结果；M表示所述候选图像的总数；其特征是：所述方法按如下步骤进行：

步骤1、以所述检索图像E的任一顶点作为原点O，以与所述原点O相邻的两条边分别作为X轴和Y轴，建立坐标系XOY；在所述坐标系XOY中，将所述检索图像E转换为灰度图像G，并利用式(1)获得所述灰度图像G的积分图像I：

$I(x,y)=\underset{0\≤i^{\′}\≤x,0\≤j^{\′}\≤y}{\mathrm{\Σ}}G(i^{\′},j^{\′})---\left(1\right)$

式(1)中，I(x,y)表示所述积分图像I中任一像素点p(x,y)的值，G(i',j')表示所述灰度图像G中位于坐标(i',j')上的像素值；式(1)表示所述积分图像I中像素点p(x,y)的值是从所述灰度图像G的原点O到像素点p(x,y)所构成的矩形区域内所有像素点的灰度值之和：

步骤2、计算所述积分图像I的Hessian矩阵，获取所述积分图像I的特征点集合F_p；

步骤2.1、利用高斯滤波器获得所述灰度图像G在不同尺度下的图像集合1≤τ≤n；σ_τ表示第τ层的尺度值，从而构建n层图像金字塔；表示所述图像金字塔中尺度值为σ_τ的第τ层图像；

步骤2.2、利用式(2)计算所述第τ层图像中像素点p(x,y)的Hessian矩阵H(p,σ_τ)：

$H(p,{\mathrm{\σ}}_{\mathrm{\τ}})=\left[\begin{array}{cc}{L}_{\mathrm{xx}}(p,{\mathrm{\σ}}_{\mathrm{\τ}})& L_{\mathrm{xy}}(p,{\mathrm{\σ}}_{\mathrm{\τ}})\\ L_{\mathrm{xy}}(p,{\mathrm{\σ}}_{\mathrm{\τ}})& L_{\mathrm{yy}}(p,{\mathrm{\σ}}_{\mathrm{\τ}})\end{array}\right]---\left(2\right)$

式(2)中，L_xx(p,σ_τ)、L_xy(p,σ_τ)和L_yy(p,σ_τ)分别表示所述第τ层图像与高斯二阶滤波器和的卷积；并有： $g(x,y,{\mathrm{\σ}}_{\mathrm{\τ}})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}_{\mathrm{\τ}}}{e}^{-\frac{(x^2+y^2)}{2{\mathrm{\σ}}_{\mathrm{\τ}}}};$

步骤2.3、并利用式(3)所示的Hessian矩阵H(p,σ_τ)的判别式Det(H(p,σ_τ))判断所述第τ层图像的像素点p(x,y)是否为极值点，将Det(H(p,σ_τ))＞0时的像素点作为候选特征点A_k：

Det(H(p,σ_τ))＝L_xx(p,σ_τ)L_yy(p,σ_τ)-L_xy(p,σ_τ)²    (3)

步骤2.4、遍历所述图像金字塔中的每一层图像中的每个像素点，并利用式(3)进行判断，从而获得候选特征点集合A＝{A₁,A₂,…,A_k,…,A_K}；1≤k≤K，K表示所述候选特征点的个数；

步骤2.5、定义所述第σ层图像中像素点p(x,y)的三维N阶邻域集合为U(p,τ)＝{U_τ-1,U_τ,U_τ+1}；U_τ-1表示在第τ-1层图像中，与像素点p(x,y)对应的像素点p'(x,y)及其相邻的N²-1个像素点的集合；U_τ+1表示在第τ+1层图像中，与像素点p(x,y)对应的像素点p″(x,y)及其相邻的N²-1个像素点的集合；U_τ表示在第τ层图像中与像素点p(x,y)相邻的N²-1个像素点的集合；

步骤2.6、遍历所述候选特征点集合A中每个候选特征点，若任一候选特征点A_k的灰度值大于其三维N阶邻域集合中所有的3N²-1像素点的灰度值或是小于其三维N阶邻域集合中所有的3N²-1像素点的灰度值，则将候选特征点A_k作为特征点，从而获得特征点集合；

步骤3、依据所述特征点集合，计算特征点分布矩阵C和适应矩阵B，从而获得所述检索图像E的特征富集区域集合1≤z≤Z，Z表示所述检索图像E的特征富集区域个数；

步骤3.1、对所述检索图像E进行分块，获得W×H个子块构成的子块集合SUB＝{s₁₁,s₁₂,…,s_wh,…,s_WH}；1≤w≤W；1≤h≤H；

步骤3.2、定义特征点分布矩阵为C；所述特征点分布矩阵C中的元素C[w][h]为任一子块s_wh内包含的特征点的数量；

步骤3.3、定义所述特征点分布矩阵C的适应因子d为所述特征点分布矩阵C中所有元素的平均值；将所述特征点分布矩阵C中的每一个元素减去所述适应因子d，从而获得适应矩阵B；

步骤3.4、利用最大子矩阵和算法计算所述适应矩阵B的最大子矩阵，从而获得所述检索图像E的特征富集区域

步骤3.5、判断所述特征富集区域中所包含的特征点的数量是否大于所述特征点分布矩阵C中所有特征点数量的50％；若大于，则获得所述检索图像E的特征富集区域集合否则，将所述特征富集区域加入所述特征富集区域集合FSR_E，并将所述特征富集区域包含的特征点的数量置为0，并重复步骤3.4执行；

步骤4、构建所述特征富集区域集合FSR_E的特征向量集合F，所述特征向量集合F为所述特征富集区域集合FSR_E的形状特征集合、纹理特征集合和颜色特征集合；

步骤4.1、通过二阶和三阶归一化中心矩构造七个Hu不变矩M₁,M₂…M₇，以所述七个Hu不变矩M₁,M₂…M₇作为所述形状特征集合；

步骤4.2、利用局部算子LBP对所述特征富集区域集合FSR_E进行纹理特征提取，从而获得直方图特征向量，以所述直方图特征向量作为所述纹理特征集合；

步骤4.3、将所述检索图像E从RGB通道转换到HSV通道，从而获得色调分量H、亮度分量V和饱和度分量S；

统计所述色调分量H、亮度分量V和饱和度分量S的像素个数占所述特征富集区域集合FSR中像素总数的比重，分别获得所述色调分量H、亮度分量V和饱和度分量S的直方图，以所述直方图作为所述颜色特征集合；

步骤5、对存储在数据库中的候选图像集{T_t|t＝1,2,…,M}中的每一幅候选图像按照步骤1至步骤4进行计算，从而获得候选图像集的特征富集区域集合的特征向量并保存至数据库；

步骤6、采用高斯非线性距离度量所述检索图像E和候选图像集{T_t|t＝1,2,…,M}中每个候选图像的相似度：

步骤6.1、将所述检索图像E的特征富集区域集合FSR_E中特征富集区域的特征向量表示为并计算所述特征向量值的均值和标准差q；

步骤6.2、利用式(4)对所述特征向量进行归一化处理，获得归一化后的特征向量

$F_z^{\′E}=\frac{F_z^E-\stackrel{\‾}{m}}{q}---\left(4\right)$

步骤6.3、对所述特征富集区域集合FSR_E中的每个特征富集区域以及所述候选图像集的特征富集区域集合中的每个特征富集区域按照步骤6.1和步骤6.2执行，从而分别获得所述特征富集区域集合FSR_E的特征向量集合F^'E和所述特征富集区域集合的特征向量集合

步骤6.4、利用式(5)获得所述检索图像E的特征富集区域集合FSR_E中第i个特征富集区域和候选图像集的特征富集区域集合中第j个特征富集区域之间的非线性高斯距离

$D(R_i^E,R_j^{T_t})=\underset{\mathrm{\μ}=1}{\overset{g}{\mathrm{\Σ}}}[-\frac{{(f_{i_{\mathrm{\μ}}}^E-f_{j_{\mathrm{\μ}}}^{T_t})}^2}{2{\mathrm{\σ}}_{\mathrm{\μ}}^2}]---\left(5\right)$

式(5)中，表示所述检索图像E的特征富集区域集合FSR_E中第i个特征富集区域的第μ维特征向量；表示所述特征富集区域集合中第j个特征富集区域的第μ维特征向量；1≤i≤Z，g为特征向量的维数；1≤j≤m；m表示所述候选图像T_t的特征富集区域总数；

步骤6.5、利用式(6)获得所述第i个特征富集区域的最小特征距离从而获得所述检索图像E的最小特征距离集合

${\mathrm{dis}}_i^E=\underset{1\≤j\≤m}{\mathrm{mn}}D(R_i^E,R_j^{T_t})---\left(6\right)$

式(6)表示所述第i个特征富集区域与所述特征富集区域集合中的每个特征富集区域之间的非线性高斯距离的最小值；

步骤6.6、利用式(7)获得所述第j个特征富集区域的最小特征距离从而获得所述候选图像T_t的最小特征距离集合

${\mathrm{dis}}_j^{T_t}=\underset{1\≤i\≤n}{\min }D(r_j^{T_t},r_i^E)---\left(7\right)$

式(7)表示所述第j个特征富集区域与检索图像E中所有的特征富集区域之间的非线性高斯距离的最小值；

步骤6.7、利用式(8)获得所述检索图像E与候选图像T_t的相似度D(E,T_t)，从而获得所述检索图像E与所述候选图像集中每个候选图像的相似度构成的相似度集合：

$D(E,T_t)=\frac{1}{Z}\underset{i=1}{\overset{Z}{\mathrm{\Σ}}}{\mathrm{dis}}_i^E+\frac{1}{m}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}\mathrm{di}{s}_j^{T_t}---\left(8\right)$

步骤6.8、对所述相似度集合进行升序排序，选取前J个相似度所对应的候选图像作为图像检索结果。

2.根据权利要求1所述的基于特征富集区域集合的图像检索方法，其特征是，所述步骤4.2是按如下步骤进行：

步骤4.2.1、判断所述特征富集区域内任一像素点v的灰度值是否大于与其邻域内的其他像素点的灰度值，若大于，则将邻域内的像素点标记为0，否则标记为1，从而获得由邻域内的像素点构成的一组二进制序列；

步骤4.2.2、将所述二进制序列转换为十进制值并作为所述像素点v的灰度值；

步骤4.2.3、遍历所述特征富集区域集合FSR_E中的每一个特征富集区域中的每个像素点，并按照步骤4.2.1和步骤4.2.2更新所述特征富集区域集合FSR_E中的每个像素点的灰度值，从而获得LBP特征富集区域集合

步骤4.2.4、计算所述LBP特征富集区域集合中的每一个LBP特征富集区域的直方图并进行量化，从而获得直方图特征向量集合。