CN101551823B - 一种综合多特征图像检索方法 - Google Patents

Abstract

本发明涉及一种综合多特征图像检索方法，包括进行图像特征的提取、索引和特征匹配，所述图像特征包括颜色特征、纹理特征和形状特征，所述图像的颜色特征提取包括：(1)将图像规格化为128×128像素；(2)将一幅图像分成m×n个小块；(3)对于每一小块图像的每个像素计算得出C’值，选定主C’值，由各主C’值形成一个对应的二维矩阵A。本发明通过对传统图像颜色特征的提取方法做出了改进，改进了传统局部颜色直方图法，比一般的基于颜色的图像检索方法的查准率有了较大的提高；采用了融合颜色、纹理、形状多种图像特征的图像检索方法，能够有效地提高方法的查准率。

Description

一种综合多特征图像检索方法

(一)技术领域

本发明涉及一种综合多特征图像检索方法，具体涉及一种综合图像的颜色特征、纹理特征和形状特征的多特征图像检索方法。

(二)背景技术

随着信息技术的发展，人类累积了大量各种形式的信息，既有形式较简单的文字信息，又有图形图像、声音、视频等多媒体信息。在这种情况下，用户需要一个好的查找工具迅速找到他所需要的信息。当前文本信息的查询技术已相当成熟，各种实用的互联网搜索引擎如GOOGLE、BAIDU等都是基于文本查询技术。然而用户希望能进一步简单而全面的搜索和利用各样多媒体信息。图形图像信息作为多媒体信息中应用最广泛的一种类型，怎样对它进行有效迅速的检索是人们一直思考的问题。

图像不同于简单的文本，它在二维平面里展现内容，其包含的信息量远大于文本。特别是文本自身就拥有语义上的定义，而图像信息的表达必须通过图像本身来进行。由于基于文本的图像检索的固有缺陷，随着计算机技术的发展，人们继而把注意力转向基于图像本身对图像进行检索，也即基于内容的图像检索(content-based image retrieval，CBIR)。CBIR主要是指通过提取图像的内在特征进行匹配、查找。利用某些算法，进行特征提取和匹配。而这些步骤完全由机器自动完成，克服了手工注释的低效和二义性。按照提取的图像特征，CBIR可分为基于低层视觉特征(如颜色、纹理、形状、轮廓、图像内容的空间、时间关系等)的图像检索，和基于高层语义特征(人们对图像内容的概念级反映，一般是对图像内容的文字性描述)的图像检索。总之，基于内容的图像检索技术融合了低级的图像理解技术，从而可以提供更加有效的检索途径，而且还可以增加反馈环节，进一步修正和优化检索结果，具有很好的用户体验。如果基于内容的图像检索系统能实现，那么它无疑会大幅度节省用户检索时间，大大提高用户的图像检索效率。基于内容的图像检索技术其实是多媒体数据挖掘领域的一部分，它融合了数据库、人工智能、机器学习、统计学、计算机视觉等多个领域的理论和技术。

基于内容的图像检索是一种综合集成技术，包括图像特征提取、图像特征匹配、数据模型、高维索引、相关反馈、人机接口、检索性能评价等多项技术环节。每个方面都已进行了不同程度的研究，且都处在尚未成熟阶段。这儿主要介绍一下特征提取、特征匹配、图像索引的研究现状。

在特征提取方面，图像的内容特征可以分为两类：低层视觉内容和高层语义内容。低层视觉内容主要包括颜色、形状、纹理等特征；而高层语义内容则包含高层的概念级反映，需要对物体进行识别和解释，往往要借助人类的知识推理。由于目前计算机视觉和图像理解的发展水平所限，使得CBIR还无法真正支持基于语义的图像检索。所以，目前对图像特征提取算法的研究绝大部分是基于图像的低层特征的，即利用图像的颜色、纹理、形状等特征来检索图像。

已经被实践证明对图像检索比较有效的颜色特征的表达方法有：颜色直方图，颜色相关图，颜色矩，颜色一致性矢量等方法；图像颜色直方图可以分为全局颜色直方图和分块颜色直方图。全局颜色直方图对整幅图像的宏观颜色统计信息能很好的刻画，从而对图像的旋转、平移、缩放等有很好的鲁棒性，但对颜色的空间位置分布没有描述，会检索出许多不相关的图像；分块颜色直方图由于引入了位置信息，对图像的描述更加精细，但其只能对对应位置的颜色信息进行比较，对图像的旋转、平移、缩放等比较敏感，鲁棒性不好。如以图1为例，如用全局颜色直方图，则得出的结论是完全相似，但如用局部颜色直方图，则刚好得出相反的结论，即一点也不相似。而如果用人眼去判断，则得出一个部分相似的比较模糊的结论。由此可见，全局和局部颜色直方图都不能很好的刻画图像中颜色的分布情况。怎样既引入颜色的空间分布又不至于显著降低鲁棒性是本发明主要解决的技术问题。

纹理特征的表达方法包括：Tamura纹理表示，Gabor滤波器，多尺度子回归等方法，基于游程的纹理特征提取方法；形状特征的表达方法包括：边缘方向直方图，兴趣点，不变矩，傅立叶描述子，图像链码表示法等方法。

在特征匹配方面，一般来说，图像的内容含有语义信息(主观的)和视觉特征(客观的)。在语义信息上的相似性度量需要专家系统的帮助，这不属于CBIR系统的范围，因此，CBIR系统对相似性的度量应建立在图像视觉特征的基础上。通常将距离度量和角度度量作为图像的相似性度量。距离相似性度量是以查询目标与库中图像两个对象的特征值距离的大小为依据，距离度量函数一般有绝对值距离(也叫城市街区距离)、相交距离、欧几里德距离(欧氏距离)、二次距离度量方法等。

在特征索引方面，一般情况下，描述图像内容的特征集合可看作是高维空间中的一个向量，这样，基于内容检索(寻找与指定特征最相近的一组对象)就转化为高维空间点集的最近邻搜索问题。由于CBIR系统中往往含有海量图像，有必要在特征库中使用相似索引技术来建立特征索引结构，以支持对中、高维特征向量的基于相似性的查询。在特征匹配时，CBIR系统将计算出来的向量距离按由小到大的排序方法来决定返回的结果。结果的返回方式大致分成两类：k个最近邻居查询和球形范围查询，前者返回与查询向量的距离最小的k个特征向量所对应的图像：后者则返回与查询向量的距离小于一个阈值的所有图像。常见的索引结构是四叉树表示，此外，还有k-d树和R树等。

由于基于内容的图像检索较之以往的图像检索方法有效性、准确性、友好性都有较大的提高，所以国内外许多公司和学校、科研机构都纷纷投入人力物力进行研究。目前已有一些系统已进入了实际应用中，还有很多演示软件。比较有影响和有代表性的主要有以下几种：IBM开发的QBIC，Virage公司开发的一种基于内容的图像搜索引擎Virage，MIT多媒体实验室开发的一套用于浏览和搜索图像的交互式工具Photobook，哥伦比亚大学开发的VisualSEEK和WebSEEK，Excalibur公司开发的Retrieval Ware图像搜索引擎，美国伊利诺斯大学Urbana-Champain分校开发的MARS(multimedia analysis and retrieval system等。国内享有一定知名度的CBIR系统主要有中国科学院计算技术研究所研制的MIRES以及清华大学计算机系研制的ImgRetr。

(三)发明内容

本发明所要解决的技术问题在于提供一种能够有效地提高系统的查准率的图像检索方法。

一种综合多特征图像检索方法，包括进行图像特征的提取、索引和特征匹配，所述图像特征包括颜色特征、纹理特征和形状特征，所述图像的颜色特征提取包括：

(1)将图像规格化为128×128像素；

(2)将一幅图像分成m×n个小块，每一小块的大小为s×t个像素；m＝n＝16，s＝t＝8；

(3)对于每一小块图像的每个像素计算得出C’值，选定主C’值，由各主C’值形成一个对应的二维矩阵A，大小为m×n，表示为A＝{a_ij}  i＝1，2，…m；j＝1，2，…n；主C’值的选定原则是：将像素个数最多的C’值作为该小块图像的主C’值，如果多个C’值的像素个数相同且都最大时则取平均值后取整做为主C’值；

图像C’值的计算方法如下：

对图像选用HSV颜色空间，HSV各分量的范围为：h∈[0，360]，s∈[0，1]，v∈[0，1]，规定h、s、v为RGB空间颜色转换到HSV空间的连续值，H、S、V为h、s、v三个量量化后的离散值，量化方法如下式：

$S,V=\left\{\begin{array}{cc}0& s,v<0.2\\ 1& 0.2\&le;s,v<0.7\\ 2& s,v\&GreaterEqual;0.7\end{array}\right.---\left(2\right)$

量化后合成一维的颜色矢量C，合成方法如下：

①对于v≤0.2的颜色认为是黑色，C＝0；

②对于s≤0.1，且v＞0.2的颜色按亮度v划分为三种灰度，分别为：

v∈(0.2，0.5]深灰，v∈(0.5，0.8]浅灰和v∈(0.8，1]白色，C的相应值分别为C＝1，2，3；

③其它情况下由式(3)算出C：

C＝4+9H+3S+V                                             (3)

进而，C’取值如下式：

$C^{,}=\left\{\begin{array}{cc}H& C\&NotEqual;\mathrm{0,1,2,3}\\ 7& C=0\\ 8& C=\mathrm{1,2}\\ 9& C=3\end{array}\right.---\left(4\right)$

(4)建立一个k×k，k＝10的矩阵P，各元素初始值为0；将上步得到的矩阵A按Z字扫描顺序进行扫描得到扫描序列E，设E_i与E_i+1是扫描序列中的一对相继出现的颜色，E_i在E_i+1的前面，则P中相应元素P[E_i，E_i+1]自增1，反复直到扫描完成；

(5)建立k×k的矩阵D，D中元素的计算公式如下式：

$D_{i,j}=P_{i,j}/\underset{n=1}{\overset{k}{\mathrm{\&Sigma;}}}{P}_{i,n}---\left(5\right)$

则矩阵D就是该图像的颜色相邻矩阵；

所述图像的颜色特征匹配中，采用下述方法进行相似度表征：

设D_A，D_B分别表示两幅图像A，B的颜色相邻矩阵，大小皆为k×k，k＝10，则两幅图像间相似度定义如下式：

${\mathrm{Similarity}}_{12}(A,B)=\frac{\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{k}{\mathrm{\&Sigma;}}}(D_{A_{i,j}}-{\mathrm{\&mu;}}_A)(D_{B_{i,j}}-{\mathrm{\&mu;}}_B)}{\sqrt{\left(\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{k}{\mathrm{\&Sigma;}}}{(D_{A_{i,j}}-{\mathrm{\&mu;}}_A)}^2\right)\left(\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{k}{\mathrm{\&Sigma;}}}{(D_{B_{i,j}}-{\mathrm{\&mu;}}_B)}^2\right)}}---\left(6\right)$

其中，

${\mathrm{\&mu;}}_A=\frac{1}{k^2}\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{k}{\mathrm{\&Sigma;}}}{D}_{A_{i,j}}---\left(7\right)$

${\mathrm{\&mu;}}_B=\frac{1}{k^2}\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{k}{\mathrm{\&Sigma;}}}{D}_{B_{i,j}}---\left(8\right).$

进一步，所述图像检索方法包括下述步骤：

(1)将例图和当前检索图像大小规格化为128×128像素；

(2)将规格化后的图像颜色空间转换到HSV空间，同时进行量化，量化后共67级；

(3)将图像分成32×32大小的块共16块，得出每块的颜色直方图，同时将这些块继续分成8×8大小的小块，提取各小块的主C′值，得到整幅图形的二维矩阵；

(4)按分块颜色直方图相交法算出两幅图像的相似度Similarity₁₁，公式如下：

${\mathrm{Similarity}}_{11}=\frac{1}{16}\underset{i=1}{\overset{16}{\mathrm{\&Sigma;}}}\left\{\right[\underset{j=0}{\overset{66}{\mathrm{\&Sigma;}}}\min (a_{i,j},b_{i,j})]/(32\&times;32)\}---\left(9\right)$

其中a_i，j，b_i，j分别表示两幅图像的第i(1≤i≤16)块的C值为j(0≤j≤66)的像素个数；

(5)按顺序扫描步骤(3)得到的二维矩阵，得出图像的颜色相邻矩阵，并算出两幅图像的相似度Similarity₁₂；

(6)按下式(10)对similarity₁₁和similarity₁₂进行合成得到图像颜色特征相似度Similarity₁：

Similarity₁＝Similarity₁₁×0.6+Similarity₁₂×0.4                (10)

(7)首先将图像转换成灰度图，再由CANNY算子得出图像的边界曲线，然后得到图像链码直方图表示的形状特征，最后再按直方图相交法计算形状特征相似度Similarity₂；

(8)将步骤(7)中得到的图像边界曲线，提取出基于游程长度统计的图像纹理特征参数T₁，T₂，T₃，T₄，按下式(11)计算出两幅图像的纹理特征相似度Similarity₃：

${\mathrm{Similarity}}_3=1-\frac{1}{4}\underset{i=1}{\overset{4}{\mathrm{\&Sigma;}}}\left[\right|T_{a,i}-T_{b,i}|/\max (T_{a,i},T_{b,i})]---\left(11\right)$

其中T_a，i，T_b，i分别表示两幅图像的T_i值；

(9)将上面得到的图像颜色特征相似度Similarity₁、形状特征相似度Similarity₂、纹理特征相似度Similarity₃按下式(12)加权相加合成为两幅图像总的相似度：

$\mathrm{similarity}=\underset{i=1}{\overset{3}{\mathrm{\&Sigma;}}}{w}_i*{\mathrm{similarity}}_i---\left(12\right)$

(10)对图像库中的每幅图像重复以上步骤，计算出每幅图像与例图的相似度；

(11)将图像按相似度的逆序排列，返回给用户。

进一步，所述图像检索方法步骤(9)中w₁＝0.6，w₂＝0.2，w₃＝0.2。

步骤(7)可参考本领域技术人员公知的方法，如“Iivarinen Japer M，Srel J andVisa A.1997.Comparison of combined shape descriptors for irregular objects.In A FClark(ed)，Proceedings of the 8^th British Machine Vision Conference，B MVC Vol2，Essex，Great Britain，430-439”中描述的方法。

步骤(8)可参考本领域技术人员公知的方法，如“阮秋琦.2007.数字图像处理学(第二版)：417。北京：电子工业出版社”中描述的方法。

本发明的有效效果在于：

1、通过对传统图像颜色特征的提取方法做出了改进，改进了传统局部颜色直方图法，提出了颜色相邻矩阵来描绘图像像素颜色的相对分布情况，对该矩阵的相似性计算上采取了计算矩阵的相关系数的方法，实验证明综合颜色直方图法和颜色相邻矩阵法两种颜色子特征的基于颜色的图像检索方法比一般的基于颜色的图像检索方法的查准率有了较大的提高；

2、采用了融合颜色、纹理、形状多种图像特征的图像检索方法，能够有效地提高方法的查准率。

(四)附图说明

图1是图像颜色特征提取的示例图。

图2是Z字扫描顺序图。

图3是三种检索方法的形式化统计表。

图4是三种检索方法的准确率统计表。

图5检索例图为红色公汽时各种方法的检索结果图。

图6是检索例图为花时各种方法的检索结果图。

(五)具体实施方式

下面结合附图对本发明作进一步描述，但本发明的保护范围并不限于此。

一种综合多特征图像检索方法，包括进行图像特征的提取、索引和特征匹配，所述图像特征包括颜色特征、纹理特征和形状特征，所述图像的颜色特征提取包括：

(1)将图像规格化为128×128像素；

(2)将一幅图像分成m×n个小块，每一小块的大小为s×t个像素；m＝n＝16，s＝t＝8；

(3)对于每一小块图像的每个像素计算得出C’值，选定主C’值，由各主C’值形成一个对应的二维矩阵A，大小为m×n，表示为A＝{a_ij}  i＝1，2，…m；j＝1，2，…n；主C’值的选定原则是：将像素个数最多的C’值作为该小块图像的主C’值，如果多个C’值的像素个数相同且都最大时则取平均值后取整做为主C’值；

图像C’值的计算方法如下：

对图像选用HSV颜色空间，HSV各分量的范围为：h∈[0，360]，s∈[0，1]，v∈[0，1]，规定h、s、v为RGB空间颜色转换到HSV空间的连续值，H、S、V为h、s、v三个量量化后的离散值，量化方法如下式：

$S,V=\left\{\begin{array}{cc}0& s,v<0.2\\ 1& 0.2\&le;s,v<0.7\\ 2& s,v\&GreaterEqual;0.7\end{array}\right.---\left(2\right)$

量化后合成一维的颜色矢量C，合成方法如下：

①对于v≤0.2的颜色认为是黑色，C＝0；

②对于s≤0.1，且v＞0.2的颜色按亮度v划分为三种灰度，分别为：

v∈(0.2，0.5]深灰，v∈(0.5，0.8]浅灰和v∈(0.8，1]白色，C的相应值分别为C＝1，2，3；

③其它情况下由式(3)算出C：

C＝4+9H+3S+V                                             (3)

进而，C’取值如下式：

$C^{,}=\left\{\begin{array}{cc}H& C\&NotEqual;\mathrm{0,1,2,3}\\ 7& C=0\\ 8& C=\mathrm{1,2}\\ 9& C=3\end{array}\right.---\left(4\right)$

(4)建立一个k×k，k＝10的矩阵P，各元素初始值为0；将上步得到的矩阵A按Z字扫描顺序进行扫描得到扫描序列E，设E_i与E_i+1是扫描序列中的一对相继出现的颜色，E_i在E_i+1的前面，则P中相应元素P[E_i，E_i+1]自增1，反复直到扫描完成；

(5)建立k×k的矩阵D，D中元素的计算公式如下式：

$D_{i,j}=P_{i,j}/\underset{n=1}{\overset{k}{\mathrm{\&Sigma;}}}{P}_{i,n}---\left(5\right)$

则矩阵D就是该图像的颜色相邻矩阵；

如以下式表示的二维矩阵A为例，按图2所示进行Z型扫描，

$\left(\begin{array}{cccccccccccccccc}0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 1& 1& 1& 1& 1& 1& 1& 1& 1& 1& 1& 1& 1& 1& 1& 1\\ 2& 2& 2& 2& 2& 2& 2& 2& 2& 2& 2& 2& 2& 2& 2& 2\\ 3& 3& 3& 3& 3& 3& 3& 3& 3& 3& 3& 3& 3& 3& 3& 3\\ 4& 4& 4& 4& 4& 4& 4& 4& 4& 4& 4& 4& 4& 4& 4& 4\\ 5& 5& 5& 5& 5& 5& 5& 5& 5& 5& 5& 5& 5& 5& 5& 5\\ 6& 6& 6& 6& 6& 6& 6& 6& 6& 6& 6& 6& 6& 6& 6& 6\\ 7& 7& 7& 7& 7& 7& 7& 7& 7& 7& 7& 7& 7& 7& 7& 7\\ 8& 8& 8& 8& 8& 8& 8& 8& 8& 8& 8& 8& 8& 8& 8& 8\\ 9& 9& 9& 9& 9& 9& 9& 9& 9& 9& 9& 9& 9& 9& 9& 9\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 1& 1& 1& 1& 1& 1& 1& 1& 1& 1& 1& 1& 1& 1& 1& 1\\ 2& 2& 2& 2& 2& 2& 2& 2& 2& 2& 2& 2& 2& 2& 2& 2\\ 3& 3& 3& 3& 3& 3& 3& 3& 3& 3& 3& 3& 3& 3& 3& 3\\ 4& 4& 4& 4& 4& 4& 4& 4& 4& 4& 4& 4& 4& 4& 4& 4\\ 5& 5& 5& 5& 5& 5& 5& 5& 5& 5& 5& 5& 5& 5& 5& 5\end{array}\right)$

Z型扫描序列为E＝

001210012343210012345654321001234567876543210012 3456789098765432100123456789012109876543210012345678901234321098765432100123456789 012345543210 98765432123456789012345543210 9876543456789012345543210 987656789 012345543210 9878 9012345543210 9012345543212345543455，相应的P矩阵为：

$P=\left(\begin{array}{cccccccccc}8& 16& 0& 0& 0& 0& 0& 0& 0& 8\\ 14& 0& 18& 0& 0& 0& 0& 0& 0& 0\\ 0& 16& 0& 16& 0& 0& 0& 0& 0& 0\\ 0& 0& 14& 0& 18& 0& 0& 0& 0& 0\\ 0& 0& 0& 16& 0& 16& 0& 0& 0& 0\\ 0& 0& 0& 0& 14& 8& 9& 0& 0& 0\\ 0& 0& 0& 0& 0& 8& 0& 8& 0& 0\\ 0& 0& 0& 0& 0& 0& 7& 0& 9& 0\\ 0& 0& 0& 0& 0& 0& 0& 8& 0& 8\\ 9& 0& 0& 0& 0& 0& 0& 0& 7& 0\end{array}\right)$

从而得到的颜色相邻矩阵为：

$D=\left(\begin{array}{cccccccccc}\frac{1}{4}& \frac{1}{2}& 0& 0& 0& 0& 0& 0& 0& \frac{1}{4}\\ \frac{7}{16}& 0& \frac{9}{16}& 0& 0& 0& 0& 0& 0& 0\\ 0& \frac{1}{2}& 0& \frac{1}{2}& 0& 0& 0& 0& 0& 0\\ 0& 0& \frac{7}{16}& 0& \frac{9}{16}& 0& 0& 0& 0& 0\\ 0& 0& 0& \frac{1}{2}& 0& \frac{1}{2}& 0& 0& 0& 0\\ 0& 0& 0& 0& \frac{14}{31}& \frac{8}{31}& \frac{9}{31}& 0& 0& 0\\ 0& 0& 0& 0& 0& \frac{1}{2}& 0& \frac{1}{2}& 0& 0\\ 0& 0& 0& 0& 0& 0& \frac{7}{16}& 0& \frac{9}{16}& 0\\ 0& 0& 0& 0& 0& 0& 0& \frac{1}{2}& 0& \frac{1}{2}\\ \frac{19}{16}& 0& 0& 0& 0& 0& 0& 0& \frac{7}{16}& 0\end{array}\right)$

当然，如果觉得Z型扫描没能很好的刻画相邻像素的颜色关系，可以按水平、垂直、Z型、逆Z型四个方向扫描，得到四个颜色相邻矩阵然后加权求平均这样效果会更好。

所述图像的颜色特征匹配中，采用下述方法进行相似度表征：

设D_A，D_B分别表示两幅图像A，B的颜色相邻矩阵，大小皆为k×k，k＝10，则两幅图像间相似度定义如下式：

${\mathrm{Similarity}}_{12}(A,B)=\frac{\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{k}{\mathrm{\&Sigma;}}}(D_{A_{i,j}}-{\mathrm{\&mu;}}_A)(D_{B_{i,j}}-{\mathrm{\&mu;}}_B)}{\sqrt{\left(\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{k}{\mathrm{\&Sigma;}}}{(D_{A_{i,j}}-{\mathrm{\&mu;}}_A)}^2\right)\left(\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{k}{\mathrm{\&Sigma;}}}{(D_{B_{i,j}}-{\mathrm{\&mu;}}_B)}^2\right)}}---\left(6\right)$

其中，

${\mathrm{\&mu;}}_A=\frac{1}{k^2}\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{k}{\mathrm{\&Sigma;}}}{D}_{A_{i,j}}---\left(7\right)$

${\mathrm{\&mu;}}_B=\frac{1}{k^2}\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{k}{\mathrm{\&Sigma;}}}{D}_{B_{i,j}}---\left(8\right).$

所述图像检索方法包括下述步骤：

(1)将例图和当前检索图像大小规格化为128×128像素；

(2)将规格化后的图像颜色空间转换到HSV空间，同时进行量化，量化后共67级；

(3)将图像分成32×32大小的块共16块，得出每块的颜色直方图，同时将这些块继续分成8×8大小的小块，提取各小块的主C′值，得到整幅图形的二维矩阵；

(4)按分块颜色直方图相交法算出两幅图像的相似度Similarity₁₁，公式如下：

${\mathrm{Similarity}}_{11}=\frac{1}{16}\underset{i=1}{\overset{16}{\mathrm{\&Sigma;}}}\left\{\right[\underset{j=0}{\overset{66}{\mathrm{\&Sigma;}}}\min (a_{i,j},b_{i,j})]/(32\&times;32)\}---\left(9\right)$

其中a_i，j，b_i，j分别表示两幅图像的第i(1≤i≤16)块的C值为j(0≤j≤66)的像素个数；

(5)按顺序扫描步骤(3)得到的二维矩阵，得出图像的颜色相邻矩阵，并算出两幅图像的相似度Similarity₁₂；

(6)按下式(10)对similarity₁₁和similarity₁₂进行合成得到图像颜色特征相似度Similarity₁：

Similarity₁＝Similarity₁₁×0.6+Similarity₁₂×0.4                             (10)

(7)首先将图像转换成灰度图，再由CANNY算子得出图像的边界曲线，然后得到图像链码直方图表示的形状特征，最后再按直方图相交法计算形状特征相似度Similarity₂；

(8)将步骤(7)中得到的图像边界曲线，提取出基于游程长度统计的图像纹理特征参数T₁，T₂，T₃，T₄，按下式(11)计算出两幅图像的纹理特征相似度Similarity₃：

${\mathrm{Similarity}}_3=1-\frac{1}{4}\underset{i=1}{\overset{4}{\mathrm{\&Sigma;}}}\left[\right|T_{a,i}-T_{b,i}|/\max (T_{a,i},T_{b,i})]---\left(11\right)$

其中T_a，i，T_b，i分别表示两幅图像的T_i值；

(9)将上面得到的图像颜色特征相似度Similarity₁、形状特征相似度Similarity₂、纹理特征相似度Similarity₃按下式(12)加权相加合成为两幅图像总的相似度：

$\mathrm{similarity}=\underset{i=1}{\overset{3}{\mathrm{\&Sigma;}}}{w}_i*{\mathrm{similarity}}_i---\left(12\right)$

(10)对图像库中的每幅图像重复以上步骤，计算出每幅图像与例图的相似度；

(11)将图像按相似度的逆序排列，返回给用户。

所述图像检索方法步骤(9)中w₁＝0.6，w₂＝0.2，w₃＝0.2。

本实施例采用检索准确率和自定义的一个参数对检索结果进行评价。检索准确率P定义为某次检索中检索出的相关图像数与检索出的总图像数的比率。自定义参数描述如下：设在某次查询Q中，检索到的前n幅图像中有n₁幅是相关图像，分别为PR₁，PR₂，...PR_n1，在检索结果中相应的顺序号分别为

...

另前n幅图像中有n₂幅是不相关的，分别为PN₁，PN₂，...PN_n2，相应的序号分别为

n₁+n₂＝n定义：

$\mathrm{AvgP}=\frac{1}{2}+\frac{1}{n(n+1)}(\underset{i=1}{\overset{n_1}{\mathrm{\&Sigma;}}}(n+1-{\mathrm{No}}_{{\mathrm{PR}}_i})-\underset{i=1}{\overset{n_2}{\mathrm{\&Sigma;}}}(n+1-{\mathrm{No}}_{{\mathrm{PN}}_i}))---\left(13\right)$

当前n幅图像全部相关时AvgP取得最大值1，当前n幅图像都不相关时AvgP取得最小值0，其它情况介于0与1之间，越接近1说明效果越好，这样AvgP就能很好的刻画检索效果。本测试中n取30，即只显示前30幅图像，且以下各种参数计算也都只针对前30幅来进行。

用MATLAB实现本文提出的算法并在SIMPLIcity集的一个子集上进行了实验。SIMPLIcity测试集是从Corel图像库中选取的，共包含有10个语义类。10个语义类分别为：非洲人、海滩、建筑物、公共汽车、恐龙、大象、花、马、高山和食物。本文实验中在每个语义类中取前30幅图片，这样测试库由300幅图像组成。

下面比较了全局颜色直方图、分块颜色直方图和本发明的检索方法共3种方法的试验结果。具体测试时每种方法每个类别中取6幅图像作为例图检索，这样每种方法共进行60次检索，待比较的3种方法共进行180次检索。对于每类图像而言，计算其6次查询结果的检索准确率平均值和AvgP平均值，并将其作为该类图像的平均准确率和平均AvgP值。

表1用三种方法对所有类别图像进行检索时的评测值：

由于AvgP既考虑到相关图像在结果序列中的序号，又考虑到不相关图像的序号，所以它对检索结果的刻画相比于精度而言更全面，比一般的相关图像平均排序指标也更全面。相应的形式化统计表如图3所示，各种方法的准确率如图4所示。

应该要注意到，检索准确率只注意检出的相关图像与全部检出图像的比率，与图像排序位置无关。所以，准确率与参数AvgP存在不一致性，即有时某种方法准确率比其它方法高但AvgP反而低，反之亦然。

总体来说，恐龙图像比较简单，整幅图像可以很清楚的分为前景和背景两部分，从而各种方法都有较高的检索准确率；而建筑、高山、食物等主题的图像构成较复杂，所含对象也较多，提取的特征并不能很好的表征图像，所以各方法准确率也较低；而其它语义类的图像复杂度介于二者之间，准确率也介于它们之间。按方法来说，由于并没有对这些图像进行旋转、平移等变形，全局直方图相对于分块直方图鲁棒性好的优点没表现出来，故分块直方图法的效果要好于全局直方图法，而本文方法的检索效果又普遍好于以上两种方法。在检索恐龙时本文方法的准确率甚至达到了100％，比其它方法精度提高差不多20％。

图5是检索例图为红色公汽时各种方法的检索结果。在图4的检索结果中，全局直方图法由于对图像刻画得不够细致，导致误检率较高，前18幅图像中有4幅不相关；局部直方图由于结合了位置元素，对图像描述更加充分，从而效果有一定的提高，前18幅只有2幅不相关；而在本文方法中，既引入了绝对位置，又引入了相对位置，颜色量化也更科学，同时还结合了图像的粗略形状和纹理特征，对图像的刻画也更精细和全面，从而效果也进一步提高，前18幅图像只有1幅不相关，位置也很靠后，结果较令人满意。

图6是检索例图为花的检索结果。上面三行是全局直方图结果图像，中间三行是局部直方图结果图像，下面三行是本文中的综合方法图。由于花的形状较复杂，颜色分量在占有较大的分量则区分效果较好，形状分量和纹理分量作为适当的补充。很显然，最后一种方法取得较好的效果。

Claims (1)

1.一种综合多特征图像检索方法，包括进行图像特征的提取、索引和特征匹配，所述图像特征包括颜色特征、纹理特征和形状特征，其特征在于：所述图像检索方法包括下述步骤：

(1)将例图和当前检索图像大小规格化为128×128像素；

(2)将规格化后的图像颜色空间转换到HSV空间，同时进行量化，量化后共67级；

(3)将图像分成32×32大小的块共16块，得出每块的颜色直方图，同时将这些块继续分成8×8大小的小块，提取各小块的主C′值，得到整幅图形的二维矩阵；

每一小块图像的主C′值按下述方法提取：

对于每一小块图像的每个像素计算得出C’值，选定主C’值，由各主C’值形成一个对应的二维矩阵A，大小为m×n，表示为A＝{a_ij} i＝1，2，…m；j＝1，2，…n；主C’值的选定原则是：将像素个数最多的C’值作为该小块图像的主C’值，如果多个C’值的像素个数相同且都最大时则取平均值后取整做为主C’值；

图像C’值的计算方法如下：

对图像选用HSV颜色空间，HSV各分量的范围为：h∈[0，360]，s∈[0，1]，v∈[0，1]，规定h、s、v为RGB空间颜色转换到HSV空间的连续值，H、S、V为h、s、v三个量量化后的离散值，量化方法如下式：

$S,V=\left\{\begin{array}{cc}0& s,v<0.2\\ 1& 0.2\&le;s,v<0.7\\ 0& s,v\&GreaterEqual;0.7\end{array}\right.---\left(2\right)$

量化后合成一维的颜色矢量C，合成方法如下：

①对于v≤0.2的颜色认为是黑色，C＝0；

②对于s≤0.1，且v＞0.2的颜色按亮度v划分为三种灰度，分别为：

v∈(0.2，0.5]深灰，v∈(0.5，0.8]浅灰和v∈(0.8，1]白色，C的相应值分别为C＝1，2，3；

③其它情况下由式(3)算出C：

C＝4+9H+3S+V                                            (3)

进而，C’取值如下式：

$C^{,}=\left\{\begin{array}{cc}H& C\&NotEqual;\mathrm{0,1,2,3}\\ 7& C=0\\ 8& C=\mathrm{1,2}\\ 9& C=3\end{array}\right.---\left(4\right)$

(4)按分块颜色直方图相交法算出两幅图像的相似度Similarity₁₁，公式如下：

${\mathrm{Similarity}}_{11}=\frac{1}{16}\underset{i=1}{\overset{16}{\mathrm{\&Sigma;}}}\left\{\right[\underset{j=0}{\overset{66}{\mathrm{\&Sigma;}}}\min (a_{i,j},b_{i,j})]/(32\&times;32)\}---\left(9\right)$

其中a_i，j，b_i，j分别表示两幅图像的第i(1≤i≤16)块的C值为j(0≤j≤66)的像索个数；

(5)按顺序扫描步骤(3)得到的二维矩阵，得出图像的颜色相邻矩阵，并算出两幅图像的相似度Similarity₁₂，具体步骤如下：

(5.1)建立一个k×k，k＝10的矩阵P，各元素初始值为0；将上步得到的矩阵A按Z字扫描顺序进行扫描得到扫描序列E，设E_i与E_i+1是扫描序列中的一对相继出现的颜色，E_i在E_i+1的前面，则P中相应元素P[E_i，E_i+1]自增1，反复直到扫描完成；

(5.2)建立k×k的矩阵D，D中元素的计算公式如下式：

$D_{i,j}=P_{i,j}/\underset{n=1}{\overset{k}{\mathrm{\&Sigma;}}}{P}_{i,n}---\left(5\right)$

则矩阵D就是该图像的颜色相邻矩阵；

(5.3)采用下述方法进行相似度表征：

设D_A，D_B分别表示两幅图像A，B的颜色相邻矩阵，大小皆为k×k，k＝10，则两幅图像间相似度定义如下式：

${\mathrm{Similarity}}_{12}(A,B)=\frac{\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{k}{\mathrm{\&Sigma;}}}(D_{A_{i,j}}-{\mathrm{\&mu;}}_A)(D_{B_{i,j}}-{\mathrm{\&mu;}}_B)}{\sqrt{\left(\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{k}{\mathrm{\&Sigma;}}}{(D_{A_{i,j}}-{\mathrm{\&mu;}}_A)}^2\right)\left(\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{k}{\mathrm{\&Sigma;}}}{(D_{B_{i,j}}-{\mathrm{\&mu;}}_B)}^2\right)}}---\left(6\right)$

其中，

${\mathrm{\&mu;}}_A=\frac{1}{k^2}\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{k}{\mathrm{\&Sigma;}}}{D}_{A_{i,j}}---\left(7\right)$

${\mathrm{\&mu;}}_B=\frac{1}{k^2}\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{k}{\mathrm{\&Sigma;}}}{D}_{B_{i,j}}---\left(8\right)$

(6)按下式(10)对similarity₁₁和similarity₁₂进行合成得到图像颜色特征相似度Similarity₁：

Similarity₁＝Similarity₁₁×0.6+Similarity₁₂×0.4        (10)

(7)首先将图像转换成灰度图，再由CANNY算子得出图像的边界曲线，然后得到图像链码直方图表示的形状特征，最后再按直方图相交法计算形状特征相似度Similarity₂；

(8)将步骤(7)中得到的图像边界曲线，提取出基于游程长度统计的图像纹理特征参数T₁，T₂，T₃ T₄，按下式(11)计算出两幅图像的纹理特征相似度Similarity₃：

${\mathrm{Similarity}}_3=1-\frac{1}{4}\underset{i=1}{\overset{4}{\mathrm{\&Sigma;}}}\left[\right|T_{a,i}-T_{b,i}|/\max (T_{a,i},T_{b,i})]---\left(11\right)$

其中T_a，i，T_b，i分别表示两幅图像的T_i值；

(9)将上面得到的图像颜色特征相似度Similarity₁、形状特征相似度Similarity₂、纹理特征相似度Similarity₃按下式(12)加权相加合成为两幅图像总的相似度：

$\mathrm{similarity}=\underset{i=1}{\overset{3}{\mathrm{\&Sigma;}}}{w}_i*{\mathrm{similarity}}_i---\left(12\right)$

其中w₁＝0.6，w₂＝0.2，w₃＝0.2；

(10)对图像库中的每幅图像重复以上步骤，计算出每幅图像与例图的相似度；

(11)将图像按相似度的逆序排列，返回给用户。

Images