CN101930452A - 基于智能计算的多粒度图像检索方法 - Google Patents

Abstract

本发明涉及一种基于智能计算的多粒度图像检索方法，属于图像处理、模式识别、人工智能、检索技术和数据库等多个技术领域。本发明对图像进行合理的多粒度划分，针对图像在不同粒度下的表现得到不同粒度下的特征，获得不同的粒度表现，然后应用智能计算理论对已得到的不同特征进行综合处理，进而以合成后的属性函数来完成图像检索。主要包括：图像的多粒度划分；图像多粒度特征的选取；智能计算下多粒度特征的合成；多粒度特征合成中的智能自适应参数优化；构建智能化的自适应的图像检索系统。与采用单一属性特征的图像检索方法相比，基于智能计算多粒度合成的图像检索方法能够更大程度上的利用图像自身所提供的信息，实现图像内容的全面表达。

Description

基于智能计算的多粒度图像检索方法

技术领域

本发明涉及一种基于智能计算的多粒度图像检索方法，属于图像处理、模式识别、人工智能、检索技术和数据库等多个技术领域。

背景技术

人类对物质世界的感知过程中，大部分的信息来源于视觉图像。图像作为一种重要的信息载体，具有形象直观、内容丰富等特点。如果没有对图像及视频数据的自动和有效的描述，大量信息将淹没在信息的海洋之中，无法在需要时被检索出来。因此，如何快速有效地存储，浏览，检索图像信息成为目前迫切需要解决的问题。由于图像不同于文本，文本本身就可以说明其内容，而图像则要靠人们各自的理解来说明其含义，因而图像检索比起文本要困难很多，图像检索的研究也成为信息检索领域的研究热点。基于内容的图像检索技术(Content-Based Image Retrieval，CBIR)也就应运而生，涉及计算机视觉、图像处理、图像理解、人工智能、机器学习、统计学、数据库及心理学等众多领域的技术，是具有广阔发展前途的研究方向，而且CBIR技术的研究必将推动相关领域技术的发展。哥伦比亚大学和麻省理工大学分别研制出了图像检索系统VisualSEEK和photobook，IBM也研制了一个典型的图像管理系统QBIC。我国的数字图书馆工程现阶段只是解决了信息的数字化、数据的压缩与存储、中文全文检索系统平台和搜索引擎问题。

基于内容的图像检索技术的基本思想是根据图像所包含的颜色、纹理、形状及对象的空间关系等信息，建立图像的特征矢量，这样一幅图像可以用一个高维特征向量来表示，然后可以根据图像的多维特征矢量进行相似性匹配。由于目前图像认知的局限性，提取的视觉特征与人的理解仍然有很大距离，也就是计算机所能识别的图像低层内容特征并不能有效地描述人类对图像的高层语义的认知。而且，随着应用越来越复杂，特征比较单一的分析方法越发显示出其局域性。这些已有的图像检索方法只能对图像进行简单分析，提取一些低层次的特征，如颜色、纹理、形状等。这些方法基本上都是针对图像的某一特征的某一侧面进行分析和考虑的，并没有全面有效地利用图像自身所提供的全部信息，而要实现有效的图像检索需要更高层次、全面的、不同角度的内容特征，这也符合人类对事物的认识过程。

为了全面有效的反应图像的自身信息进而达到理想的图像检索效果，本发明专利将智能计算理论引入到图像检索领域，提出了基于内容的多粒度图像检索技术；提出了可用于图像检索领域的多目标粒子群优化算法、微分进化算法、模糊神经网络等优化技术。

发明内容

本发明需要解决的问题是应用智能计算计算理论，研究多粒度下的基于内容的图像检索，从而提出一种能有效地提高系统的查全率和查准率的图像检索方法。本发明的结构示意图见图1。

智能计算理论是从若干个不同的侧面来获得目标事物的信息，再将所获得的信息经过一定的逻辑或者丰富的想象综合起来得到完整的概念。目前已有的图像检索算法基本上都是针对图像的某一特征的某一侧面进行分析和考虑的，并没有全面有效的利用图像自身所提供的所有信息。本发明对图像进行合理的多粒度划分，针对图像在不同粒度下的表现得到不同粒度下的特征，获得不同的粒度表现，然后根据智能计算理论对已得到的不同特征进行综合处理，进而以合成后的属性函数来完成图像检索。主要包括：图像的多粒度划分；图像多粒度特征的选取；智能计算理论下多粒度特征的合成；多粒度特征合成中的智能自适应参数优化；构建智能化的自适应的图像检索系统。与采用单一属性特征的图像检索方法相比，基于智能计算理论的图像检索方法能够更大程度上的利用图像自身所提供的信息，实现图像内容的全面表达。

附图说明

图1为本发明的流程图。

具体实施方法

1.图像的多粒度划分

对一个图像处理问题可以用(X，f，T)这样一个三元组来表示。当(X，f，T)和一个等价关系R给定之后，可以得到(X，f，T)对应于等价关系R的粒度表示([X]，[f]，[T])，其中R对应于一定的粒度。也就是，对于图像检索问题而言，在某个粒度下，如果X为图像中的像素，T为像素间的相似关系结构，f为图像在该粒度下的特征属性函数，则图像在该特征粒度下对应的粒度表现为([X]，[f]，[T])。其定义如下：

[X]：定义[X]为对应于等价关系R的商集。

[T]：设T是拓扑，则定义商拓扑[T]：{u|p^-1(u)∈T，u∈[X]}，p：X→[X]是自然投影。

[f]：设属性函数f：X→Y，定义[f]：[X]→Y。

2.图像多粒度特征的选取

在图像检索领域中，粒度的选择和等价关系的构造关键在于对属性函数f取不同的粒度来实现颗粒化，即图像的特征提取算法的设计和选择。本发明针对图像检索的实际应用问题，提出不同粒度空间下的特征提取算法。

(1)针对图像的局部颜色粒度空间，提出在子块分割和区域划分的基础上，利用快速离散余弦变换(DCT)和特殊奇异值分解(SVD)对图像进行特征提取的算法。

(2)针对图像自相似粒度，提出图像的自相似特征提取算法，并构造该粒度下的等价关系。其具体做法为：

①值域块和定义域块的划分

以大小为M×N×3的RGB彩色图像P为例.首先对彩色图像P进行值域块的划分，将其分割成n个互不相交的值域块

n＝(M×N)/(L×L)，每个值域块的大小为L×L×3，则图像

且R_i∩R_j＝φ，i≠j.再将图像P划分为大小相同的可以相互交错的定义域块

m＝(M-L+1)(N-L+1)，其大小也为L×L×3.

②自相似特征编码

对于任意值域块R_i，在所有的定义域块中寻找除自身以外与其最相似的定义域块D_j.这种映射关系用一个三元组(Δx_i，Δy_i，n_i)标记，其中(Δx_i，Δy_i)为D_j相对于R_i的左上角相对坐标，n_i为旋转、反射变换的编号.

设值域块R_i中各像素点的RGB分量分别为r_r＝(r_r1，r_r2，…r_rk)^T，r_g＝(r_g1，r_g2，…r_gk)^T，r_b＝(r_b1，r_b2，…r_bk)^T，定义域块D_j中各像素点的RGB分量分别为d_r＝(d_r1，d_r2，…d_rk)^T，d_g＝(d_g1，d_g2，…d_gk)^T，d_b＝(d_b1，d_b2，…d_bk)^T，定义评测指标E为

E(R_i，D_j)＝‖d_r-r_r‖₁+‖d_g-r_g‖₁+‖d_b-r_b‖₁

其中‖·‖₁为向量的1-范数.这里对R_i和D_j的操作都是三维的，即对于子块的RGB分量看作一个整体同时进行操作。对于每个R_i根据评测指标E搜索具有最小E值的定义域块D_j，这样就得到了彩色图像P的自相似特征编码，记为

ω_i＝(Δx_i，Δy_i，n_i)，这将作为对彩色图像P进行自相似特征提取的依据。

③中心扩散算法

块匹配的计算量是惊人的，对于每一个值域块R_i，其要进行的定义域块的匹配次数为m，则n个值域块的匹配次数为m×n次.对于一幅256×256的图像来说，若取L＝4，则要完成的匹配次数为262180864.对于传统的灰度图像分形编码来说，图像中的许多子块具有“近距自相似性”，据此，对于彩色图像和本文提出的自相似特征编码方法，提出中心扩散算法来减少计算量。中心扩散算法能够在保证一定匹配误差的基础上使匹配速度得到显著提高。与局部搜索不同的是，当全图中没有满足误差条件的匹配块时，算法返回的是具有最小误差的匹配块，即最优匹配块，而对于满足误差条件的D块，则在宽泛的误差下完成匹配，这对检索效果几乎没有影响。

④基于自相似特征编码的特征提取

本发明提出对自相似特征编码进行特殊奇异值分解(SVD)来提取特征向量的方法，对图像P按照如下算法进行特征向量的提取：

(a)将图像P的自相似特征编码

n＝(M×N)/(L×L)，ω_i＝(Δxy_i，Δy_i，n_i)中的Δx_i，Δy_i分量按照R块的划分方法分别组成矩阵X，Y；

(b)对X，Y分别进行奇异值分解得到奇异值向量C_X，C_Y，并将C_X，C_Y首尾相接组成特征向量其中

为奇异值向量C_X的第k个分量，k＝1，2，…，L，

同理。

3.智能计算属性合成最优准则函数的设计

对于已获得的不同粒度下的属性函数，要结合图像检索问题本身进行最优准则函数的设计和选择，属性函数合成必须满足如下合成原则：

设已知(X₁，f₁，T₁)和(X₂，f₂，T₂)，求其合成粒度(X₃，f₃，T₃)，即要求属性函数满足如下条件：

①p_if₃＝f_i，i＝1，2

p_i：(X₃，f₃，T₃)→(X_i，f_i，T_i)是投影，i＝1，2；

②设D(f，f₁，f₂)是某一给定的最优判别准则，则有

D(f₃，f₁，f₂)＝minD(f，f₁，f₂)

           或＝maxD(f，f₁，f₂)

其中min(max)是对一切满足上式的X₃上的一切属性函数f取的。

对于更一般的情况，即所得信息有误差的情况，令Y_i是X_i上一切属性函数组成的函数空间，并设Y_i上有一距离d_i，使(Y_i，d_i)是一距离空间，i＝1，2，3，则

D(f₃，f₁，f₂)＝minD(f，f₁，f₂)

              ＝min(d₁(p₁f-f₁)²+d₂(p₂f-f₂)²)

其中min是对Y₃上一切函数f取的。

4.采用多目标优化算法对多粒度表现进行参数优化

在获得图像不同粒度下的表现后，如何构造并优化参数使最优准则函数达到最优，最终将归结为多目标优化问题。本发明针对多粒度下的不同表现，提出粒子群多目标优化算法、微分进化算法，将多个粒度表示作为目标进行参数优化，充分发挥不同粒度下的最大优势，在最大程度上体现图像的内容特征，以实现更优的图像检索效果。

5.多粒度特征的最优化整合

利用模糊神经网络对多粒度特征描述进行最优化整合，不同的特征整合方法将在不同场景发挥各自的优势，根据各种不同场景的需求，利用模糊神经网络对多粒度特征描述进行最优化整合，是实现最终检索结果的重要环节，需要根据不同的场景优化不同的参数，从而达到最优的检索效果。本发明将个体多粒度特征的模糊空间划分及其生成的模糊规则库转换成等价的神经网络形式。本发明从解释性角度出发，选择包含变量选择的网格划分方法进行输入输出模糊空间划分，同时将改进的Mamdani模糊推理法即广义模糊加权推理法转换成等价的神经网络形式。两者通过模糊规则生成策略构建的初始模糊系统是一个新颖的模型，为模糊系统精确性和解释性折中问题的研究搭建了一个很好的平台。

Claims (6)

1.基于智能计算的多粒度图像检索方法，包括如下步骤：

步骤1：对图像进行多粒度划分

步骤2：图像多粒度特征的选取

步骤3：设计多粒度属性合成中的最优准则函数

步骤4：采用多目标优化算法对多粒度进行参数优化

步骤5：利用模糊神经网络对多粒度特征进行描述进行最优化整合

2.根据权利要求1所述的基于智能计算的多粒度图像检索方法，其特征在于：将粒计算应用于图像检索领域，全面有效地更大程度上的利用图像自身所提供的信息，实现有效的图像检索需要更高层次、全面的、不同角度的内容特征，完成图像内容的全面表达，进而达到理想的图像检索效果。

3.根据权利要求1所述的不同粒度下的特征提取算法，其特征如下：针对图像的局部颜色粒度，提出在子块分割和区域划分的基础上，利用快速离散余弦变换(DCT)和特殊奇异值分解(SVD)对图像进行特征提取的算法，从而构造该粒度下的等价关系；

针对图像自相似粒度表现，提出图像的自相似特征提取算法，并构造该粒度下的等价关系，其具体做法是：

步骤一：值域块和定义域块的划分，以大小为M×N×3的RGB彩色图像P为例.首先对彩色图像P进行值域块的划分，将其分割成n个互不相交的值域块

n＝(M×N)/(L×L)，每个值域块的大小为L×L×3，则图像

且R_i∩R_j＝φ，i≠j.再将图像P划分为大小相同的可以相互交错的定义域块

m＝(M-L+1)(N-L+1)，其大小也为L×L×3；

步骤二：自相似特征编码：对于任意值域块R_i，在所有的定义域块中寻找除自身以外与其最相似的定义域块D_j.这种映射关系用一个三元组(Δx_i，Δy_i，n_i)标记，其中(Δx_i，Δy_i)为D_j相对于R_i的左上角相对坐标，n_i为旋转、反射变换的编号.

设值域块R_i中各像素点的RGB分量分别为r_r＝(r_r1，r_r2，…r_rk)^T，r_g＝(r_g1，r_g2，…r_gk)^T，r_b＝(r_b1，r_b2，…r_bk)^T，定义域块D_j中各像素点的RGB分量分别为d_r＝(d_r1，d_r2，…d_rk)^T，d_g＝(d_g1，d_g2，…d_gk)^T，d_b＝(d_b1，d_b2，…d_bk)^T，定义评测指标E为

E(R_i，D_j)＝‖d_r-r_r‖₁+‖d_g-r_g‖₁+‖d_b-r_b‖₁

其中‖·‖₁为向量的1-范数.这里对D_i和D_j的操作都是三维的，即对于子块的RGB分量看作一个整体同时进行操作。对于每个R_i根据评测指标E搜索具有最小E值的定义域块D_j，这样就得到了彩色图像P的自相似特征编码，记为

ω_i＝(Δx_i，Δy_i，n_i)，这将作为对彩色图像P进行自相似特征提取的依据；

步骤三：中心扩散算法：块匹配的计算量是惊人的，对于每一个值域块R_i，其要进行的定义域块的匹配次数为m，则n个值域块的匹配次数为m×n次.对于一幅256×256的图像来说，若取L＝4，则要完成的匹配次数为262180864.对于传统的灰度图像分形编码来说，图像中的许多子块具有“近距自相似性”，据此，对于彩色图像和本文提出的自相似特征编码方法，提出中心扩散算法来减少计算量。中心扩散算法能够在保证一定匹配误差的基础上使匹配速度得到显著提高。与局部搜索不同的是，当全图中没有满足误差条件的匹配块时，算法返回的是具有最小误差的匹配块，即最优匹配块，而对于满足误差条件的D块，则在宽泛的误差下完成匹配，这对检索效果几乎没有影响；

步骤四：基于自相似特征编码的特征提取：本发明提出对自相似特征编码进行奇异值分解(SVD)来提取特征向量的方法，对图像P按照如下算法进行特征向量的提取：

(a)将图像P的自相似特征编码n＝(M×N)/(L×L)，ω_i＝(Δx_i，Δy_i，n_i)中的Δx_i，Δy_i分量按照R块的划分方法分别组成矩阵X，Y；

(b)对X，Y分别进行奇异值分解得到奇异值向量C_X，C_Y，并将C_X，C_Y首尾相接组成特征向量

其中

为奇异值向量C_X的第k个分量，

同理。使用这些特征向量作为图像的自相似特征，得到图像的自相似特征粒度。

4.根据权利要求1所述的多利多属性合成中的最优准则函数，其特征在于：对于已获得的不同粒度的属性函数，要结合图像检索问题本身进行最优准则函数的设计和选择，属性函数合成必须满足如下合成原则：

设已知(X₁，f₁，T₁)和(X₂，f₂，T₂)，求其合成粒度(X₃，f₃，T₃)，即要求属性函数满足如下条件：

①p_if₃＝f_i，i＝1，2

p_i：(X₃，f₃，T₃)→(X_i，f_i，T_i)是投影，i＝1，2；

②设D(f，f₁，f₂)是某一给定的最优判别准则，则有

D(f₃，f₁，f₂)＝minD(f，f₁，f₂)

或＝maxD(f，f₁，f₂)

其中min(max)是对一切满足上式的X₃上的一切属性函数f取的。

对于更一般的情况，即所得信息有误差的情况，令Y_i是X_i上一切属性函数组成的函数空间，并设Y_i上有一距离d_i，使(Y_i，d_i)是一距离空间，i＝1，2，3，则

D(f₃，f₁，f₂)＝minD(f，f₁，f₂)

             ＝min(d₁(p₁f-f₁)²+d₂(p₂f-f₂)²)

其中min是对Y₃上一切函数f取的。

5.根据权利要求1所述的采用多目标优化算法对多粒度进行参数优化，其特征在于：采用了粒子群多目标优化算法、微分进化算法，将多个粒度作为多目标进行参数优化，充分发挥不同粒度下的最大优势，在最大程度上体现图像的内容特点，以实现更优的图像检索效果。

6.根据权利要求5所述的多粒度特征描述的最优化整合，其特征在于：从解释性角度出发，选择包含变量选择的网格划分法进行输入输出模糊空间划分，同时改进的Mamdani模糊推论法即广义模糊加权推论法转换成等价的神经网络形式。

Images