CN101038668A - 基于重要位平面的图像检索新方法 - Google Patents

Abstract

本发明涉及一种基于重要位平面的图像检索新方法，利用图像位平面原理，结合噪声攻击特点(对高位平面影响较小)，通过提取图像重要位平面的内容来检索相似图像。该发明主要包括如下特点：首先从原始图像中提取重要位平面；然后选取重要位平面图像的颜色直方图作为颜色特征，选取重要位平面图像的颜色标准偏差作为空间特征；最后综合利用上述颜色、空间两个特征计算图像间内容的相似度，根据相似度排序，输出相似图像集合。本发明所提出的图像检索方法不仅计算简单，而且具有较高的查准率和查全率，特别对光照、锐化、模糊等噪声攻击均具有较好的鲁棒性。

Description

基于重要位平面的图像检索新方法

技术领域

本发明涉及一种基于重要位平面的图像检索新方法，属于计算机视觉、模式识别以及图像检索等多个领域的交叉学科。

背景技术

自90年代以来，随着多媒体技术与网络技术(特别是Internet技术)的迅猛发展，数字图像的来源正在不断扩大。为了能够从大量的图像数据中快速、准确地找到用户所需内容，基于内容的图像检索(Content Based Image Retrieval)技术得到了广泛关注，并已成为国际学术界研究的一个热点。图像特征的提取与表达是基于内容图像检索技术的基础。图像的内容主要包括颜色、纹理、形状以及子对象空间位置关系等。由于颜色是图像最直观的特征，也是图像视觉重要的感知特性之一，其不仅与图像中的物体和场景密切相关，而且对图像本身尺寸、方向、视角的依赖性较小，因此基于颜色的图像查询是基于内容的图像检索中最基本和重要的方法。其中，颜色直方图(Color Histogram)更是以其特征提取与相似度计算简单、对图像尺度与旋转变化不敏感等优点，成为图像检索系统应用最为广泛的颜色特征。然而，理论分析和实验结果表明，传统颜色直方图检索技术普遍存在丢失颜色空间分布信息、特征维数过高、无法有效检索含噪声图像等问题。因此，为了克服颜色直方图检索技术存在的弊端，必须将颜色信息与空间信息进行结合，而这种结合要保证在不增加时间复杂度的情况下，进一步提高检索准确率，同时能够抵抗各种噪声的干扰。针对这一问题，人们已经陆续提出了一些方法：颜色直方图相交法，该方法虽具有特征提取和相似度计算简便的优点，但是在进行颜色量化时会丢失颜色信息，同时，全局颜色直方图只记录了全局的颜色统计信息，而丢失了颜色的空间分布信息；累加直方图方法，虽可通过累加方式来增加直方图的鲁棒性，但仍会丢失颜色的空间分布信息；类似纹理共生矩阵的方法虽然能在一定程度上提取图像的颜色信息和空间信息，但存在计算复杂度大等问题。另外，也有一些研究人员提出了颜色特征与空间特征进行结合的方法，这种方法虽然同时考虑了颜色信息与空间信息，但是计算量非常大，更重要的是对于含有噪声的图像库，检索准确率很低，即对含噪声的图片不具有鲁棒性。

[1]Ritendra Datta，Jia Li，James Z.Wang.Content-based image retrieval-approaches andtrends of the new age.Proc.International Workshop on Multimedia Information Retrieval，ACM，pp.253-262，Singapore，November 2005.

发明内容

为解决上述问题，本发明提出了一种基于重要位平面的图像检索新方法，与其它方法不同，我们认为重要位平面足以代表图像的主要信息，更重要的是能够避免噪声的干扰，在此基础上，对图像进行颜色特征与空间特征提取，然后综合这两种特征进行相似度测量，增加了检索的准确率。

大量的实验证明，本发明所提出的方法相对于其它方法，具有两个明显的优点：第一，对图像进行位平面分解，提取出图像的重要位平面，它们包含了图像的主要信息，而且计算简单；第二，在重要位平面的基础上进行图像信息提取，可以避免噪声的干扰，增强了图像检索的准确率。

本发明的基本思想是：图像的重要位平面可以很好的表征图像整体信息，而且忽略图像的低位平面可以抵抗噪声的干扰。所以，不是直接利用图像的信息进行检索，而是先选取图像的重要位平面，利用重要位平面中的信息来描述图像、检索图像。

本发明的技术特征在于：首先，对待查询图像进行位平面分解操作，选取重要的位平面代表图像的主要信息；然后，提取每个位平面上的颜色信息与空间信息，综合这些信息作为特征进行图像检索；最后，将待查询图像形成的特征与数据库中图像的特征进行匹配，根据相似度排序，输出检索集合。

由数字图像相关理论知：(1)图像数据是以多比特方式存储的。例如，对256级灰度图像来说，刻画表示一个象素需要8个信息位(每个信息位的取值为0或1)；而对于24位真彩色图像(RGB方式)来说，刻画表示一个象素需要24个信息位，且R、G和B三色各需要8个信息位(每个信息位的取值为0或1)；(2)不同信息位其权值也是不同的。

图像位平面是：将图像中每一个象素值分解为二进制值，而把所有具有相同权值的位所构成的平面称为位平面。对于256级灰度图像来说，每个象素占一个字节，即8个二进制位，按从高位到低位的排列为b7b6b5b4b3b2b1b0，那么所有象素的b0位就构成第0个位平面，b1位就构成第1个位平面等等，依此类推，该256级灰度图像共包含有8个位平面。我们同样可以把一幅24位真彩色图像分解成8个位平面，所不同的是，其每个位平面均由R，G，B三个分量的位平面复合而成。

从位平面分布特点可以看出，随着位平面从高位到低位(即从位平面7到位平面0)，位平面图像特征逐渐变得复杂，背景噪声(也称随机纹理)不断增加，原图轮廓逐渐变得模糊直至消失。到位平面0，纹理随机布满整个图片，单从该位平面图像已无法看出原图信息。这恰恰表明，不同信息位对数字图像的贡献是不同的，较高位平面(以下简称为“重要位平面”)反映原始图像的主要内容，而较低位平面所携带的原始信号能量极少，即忽略较低位平面对原图像质量没有太大影响。

噪声攻击特点：数字图像遭受噪声攻击(光照、锐化、模糊等)以后，其低位平面信息变化较大，而重要位平面信息几乎没有变化，也就是说噪声主要集中在较低位平面。

图像的重要位平面提取：对于一幅24位真彩色图像(RGB空间)，只需要提取其R，G，B分量的最高5个位平面(即重要位平面)就足以表达图像内容。则真彩色图像I的位平面分解可定义为：

其中，I(i，j)(0≤i＜M，0≤j＜N)代表原始彩色图像I的第i行、第j列象素的颜色值，p＝3，4…，7表示位平面(p＝3代表位平面3，p＝4代表位平面4，依此类推)：t＝1，2，3表示R，G，B三个分量；B_p，t(·)表示图像的位平面分解操作。经过以上位平面分解处理，真彩色图像I就被分解为15个位平面，并且这些位平面都是二值的(0或1)。

位平面的复合：考虑到真彩色图像的每个象素都是由R，G，B三个分量复合而成的，所以对图像进行位平面分解操作后，可将相同权值位平面对应的R，G，B三个分量重新组合成新象素，以形成新的位平面图像，这样由原来分解出的15个位平面图像最终转换成5个位平面图像(即重要位平面图像)。

因为R，G，B三个分量的每个分量取值都是0或1，所以重新组合后的重要位平面图像颜色值范围为0～7，通过统计每个重要位平面图像中各象素点颜色值的频数，就可以得到重要位平面图像的颜色直方图，为了使颜色直方图不随尺度变化，需要对其进行归一化处理。

另外，重要位平面图像颜色直方图虽很好地反映了图像的颜色信息，但其无法准确刻画图像颜色的空间分布特征。为此，结合空间矩理论，给出重要位平面图像的空间特征表示。

首先，计算出重要位平面图像D_p(i，j)中颜色k的空间分布重心O_p( i_p(k)， j_p(k))。

矩：对于图像I，它的二维p+q阶空间矩可定义为：

$M_{\mathrm{pq}}=\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{i}^p{j}^{q}I(i,j),p,q=\mathrm{0,1,2},\·\·\·$

重心坐标：图像I的重心坐标O( i， j)可定义为：

$(\stackrel{\‾}{i},\stackrel{\‾}{j})=(\frac{M_{10}}{M_{00}},\frac{M_{01}}{M_{00}})$

与此相对应，将重要位平面图像D_p(i，j)中颜色k的空间分布重心O_p( i_p(k)， j_p(k))定义为：

${\stackrel{\‾}{i}}_p\left(k\right)=\frac{1}{E_p\left(k\right)}\underset{(i,j)\∈A_p\left(k\right)}{\mathrm{\Σ}}i\×D_p(i,j),$ ${\stackrel{\‾}{j}}_p\left(k\right)=\frac{1}{E_p\left(k\right)}\underset{(i,j)\∈A_p\left(k\right)}{\mathrm{\Σ}}j\×D_p(i,j)$

其中，A_p(k)表示重要位平面图像D_p(i，j)中颜色值为k的象素点集合，而E_p(k)表示A_p(k)所包含的象素点数目。

然后，计算出重要位平面图像D_p(i，j)中颜色k相对其重心的标准偏差σ_p(k)，并将其作为空间特征。

${\mathrm{\σ}}_p\left(k\right)=\sqrt{\frac{\underset{(i,j)\∈A_p\left(k\right)}{\mathrm{\Σ}}{(i-{\stackrel{\‾}{i}}_p\left(k\right))}^2+{(j-{\stackrel{\‾}{j}}_p\left(k\right))}^2}{E_p\left(k\right)}}$

颜色k的标准偏差σ_p(k)很好地刻画了颜色k与其均值的偏差程度，反映了颜色的空间分布特性。

在图像匹配时，本发明将颜色与空间特征结合作为相似性测度，同时考虑到基于重要位平面的检索需要提取各个重要位平面图像的特征进行查询，所以将每一个位平面赋予权值，综合这些位平面的距离作为总的相似度。当距离足够小时，就认为两幅图像是相似的。通过计算数据库中每一幅图像与示例图像之间的相似度，然后按照相似度由大到小的顺序返回图像检索的查询结果。

附图说明

图1：本发明的基本流程图

图2：使用本发明完成的检索例子

图3：使用本发明完成的检索例子(图库中含噪声图像)

具体实施方式

现结合附图对本发明做进一步描述：

根据本发明提出的基于重要位平面的图像检索方法，我们用Visual C++6.0程序设计语言实现了该方法。选用SIMP LIcity系统使用的测试集(http：//wang.ist.psu.edu/docs/related)作为图像库，该测试集是从Corel图像库中选取的，共包含有10个语义类，包括汽车、马、花卉、大象、建筑物、海滩等。其中，每个语义类包含有100幅图像，共计1000幅图像(编号分别为0～999)。

为评价图像检索算法的效果，同时考虑到检索系统返回的相似图像数目(不是所有)不适宜采用常规的查准率(Precision)和查全率(Recall)评价指标，故本发明采用了Tan Kian-Lee等提出的“标准查准率(Normal Precision)”和“标准查全率(Normal Recall)”作为相似检索的评价准则。标准查准率P_Normal和标准查全率R_Normal的具体定义为：

$P_{\mathrm{Normal}}=1-\frac{\underset{i=1}{\overset{L}{\mathrm{\Σ}}}({\log r}_i-\log i)}{\log \frac{N!}{(N-L)!L!}},$ $R_{\mathrm{Normal}}=1-\frac{\underset{i=1}{\overset{L}{\mathrm{\Σ}}}(r_i-i)}{(N-L)L}$

其中，N为检索系统返回的图像数目(实验中N选取为20)，L是检索结果中与示例图像相关的图像数目，r_i是第i幅相关图像的排序。

假设示例图像为Q，数据库中待检索图像为I，则Q、I之间的重要位平面图像距离定义为：

$S_p(Q,I)=\underset{k=0}{\overset{7}{\mathrm{\Σ}}}|H_p^Q\left(k\right)-H_p^I\left(k\right)|\×\frac{\min ({\mathrm{\σ}}_p^Q\left(k\right),{\mathrm{\σ}}_p^I\left(k\right))}{\max ({\mathrm{\σ}}_p^Q\left(k\right),{\mathrm{\σ}}_p^I\left(k\right))}$

其中，H_p ^Q(k)和H_p ^I(k)分别是Q与I的重要位平面图像颜色特征，σ_p ^Q(k)和σ_p ^I(k)分别是Q与I的重要位平面图像空间特征，k＝0，1…，7表示颜色值，p＝3，4，…7代表重要位平面。

考虑到基于重要位平面的检索需要提取各个重要位平面图像的特征进行查询，所以图像Q与I间总的相似度为：

$S^{\′}(Q,I)=\underset{p=3}{\overset{7}{\mathrm{\Σ}}}{w}_p\×S_P(Q,I)$

其中，w_p为各个重要位平面的权值，将其统一设置为0.2，p＝3，4，…7代表重要位平面。

我们以SIMP LIcity系统使用的测试集作为测试平台，从中随机抽取50幅作为示例图像，其中每类5幅，每次查询返回前20幅最相似的图像作为检索结果，与传统方法相比，本发明对于图像检索很有效。

为了说明本发明的鲁棒性，我们首先从测试图像库的每类语义图像中随机抽取30幅图像(共计300幅)；然后对这300幅图像分别进行加噪处理(包括模糊、锐化、光照、滤波等)；最后将上述300幅含噪声图像(编号为1000～1229)与原来的1000幅图像集中在一起以构成新的测试图像库进行检索。我们发现：本发明不仅可以有效检索出示例图像所对应的含噪声图像，而且能够有效检索出同类图像所对应的含噪声图像，具有较好的鲁棒性。

Claims (7)

1、一种基于重要位平面的图像检索新方法，其特征在于：首先，对待查询图像进行重要位平面提取；然后提取重要位平面的颜色和空间信息作为检索特征；再利用上述颜色、空间两种特征计算图像间内容的相似度；最后将待查询图像与图像库中的图像进行特征匹配。

2、根据权利要求1所述的一种基于重要位平面的图像检索方法，其特征在于：提取真彩色图像的最高五个位平面作为重要位平面。

其中，I(i，j)(0≤i＜M，0≤j＜N)代表原始彩色图像I的第i行、第j列象素的颜色值，p＝3，4…，7表示位平面(p＝3代表位平面3，p＝4代表位平面4，依此类推)；t＝1，2，3表示R，G，B三个分量；B_p，t(·)表示图像的位平面分解操作。

3、根据权利要求1所述的一种基于重要位平面的图像检索方法，其特征在于：经图像位平面分解操作后，将具有相同权值位平面所对应的R，G，B三个分量重新组合成新象素，以形成新的位平面图像D_p(p＝3，4…7)，其中D_p＝{D_p(i，j)，0≤i＜M，0≤j＜N}。

4、根据权利要求3所述的一种基于重要位平面的图像检索方法，其特征在于：对于新的位平面图像R，G，B三个分量来说，每个分量的取值都是0或1，所以重新组合后的重要位平面图像的象素值范围为0～7。

5、根据权利要求1所述的一种基于重要位平面的图像检索方法，其特征在于：对重要位平面图像统计颜色直方图并进行归一化处理。

6、根据权利要求1所述的一种基于重要位平面的图像检索方法，其特征在于：计算重要位平面图像中颜色k相对其重心O_p( i_p(k)， j_p(k))的标准偏差σ_p(k)作为空间特征。

${\mathrm{\σ}}_p\left(k\right)=\sqrt{\frac{\underset{(i,j)\∈A_p\left(k\right)}{\mathrm{\Σ}}{(i-{\stackrel{\‾}{i}}_p\left(k\right))}^2+{(j-{\stackrel{\‾}{j}}_p\left(k\right))}^2}{E_p\left(k\right)}}$

其中，A_p(k)表示重要位平面图像D_p(i，j)中颜色值为k的象素点集合，而E_p(k)表示A_p(k)所包含的象素点数目。

7、根据权利要求1所述的一种基于重要位平面的图像检索方法，其特征在于：图像匹配是依据图像间的颜色和空间特征的相似性进行度量的，查询图像Q与数据库中图像I间的距离定义为：

$S_p(Q,I)=\underset{k=0}{\overset{7}{\mathrm{\Σ}}}|H_p^Q\left(k\right)-H_p^I\left(k\right)|\×\frac{\min ({\mathrm{\σ}}_p^Q\left(k\right),{\mathrm{\σ}}_p^I\left(k\right))}{\max ({\mathrm{\σ}}_p^Q\left(k\right),{\mathrm{\σ}}_p^I\left(k\right))}$

其中，H_p ^Q(k)和H_p ^I(k)分别是Q与I的重要位平面图像颜色特征，σ_p ^Q(k)和σ_p ^I(k)分别是Q与I的重要位平面图像空间特征。

考虑到基于重要位平面的检索需要提取各个重要位平面图像的特征进行查询，图像间总的相似度为：

$S^{\′}(Q,I)=\underset{p=3}{\overset{7}{\mathrm{\Σ}}}{w}_p\×S_P(Q,I)$

其中，w_p为各个重要位平面的权值。

Images