CN101763429B - 一种基于颜色和形状特征的图像检索方法 - Google Patents

Abstract

本发明公开了一种基于颜色和形状特征的图像检索方法。该方法包括：将示例图像进行颜色空间转换与量化；对量化后的图像进行图像分块；对每个子块图像的每个像素点计算颜色复杂度，得到视觉权值；对每个子块图像计算不同颜色的视觉权值在子块图像视觉权值所占的比例，得到加权颜色直方图，根据加权颜色直方图得到每个子块的颜色特征；对示例图像通过灰度处理进行轮廓提取；采用曲率尺度空间描述算子提取经过轮廓提取后的图像的形状特征；对提取的所述颜色特征和所述形状特征进行归一化处理，得到归一化后的图像特征；将归一化后的图像特征，利用索引并根据相似性度量的公式在图像特征库中进行匹配，得到检索结果。本发明的检索方法更为准确。

Description

一种基于颜色和形状特征的图像检索方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于颜色和形状特征的图像检索方法。

背景技术

近年来，随着计算机技术以及网络媒体技术的迅猛发展，信息表现方式由普遍的文本方式逐步变为以图形、图像、动画、视频等多媒体信息为主的表现形式。其中图像作为最广泛最基本的多媒体信息，已成为大众化数字信息的一种重要表现形式，也产生了大量的各式各样的图像数据库，使得图像管理和图像检索逐步发展成为极其重要的研究领域。

由于普通的基于文本的图像检索方法需要对图像进行注解，且图像注解带有主观性和不精确性，不同的人对于图像的理解也不相同，因此检索的结果不能很好地符合用户的需求。所以人们无法使用现有的高效的文本检索系统来查询图像。随着大规模的数字图像库的出现，上述的问题变得越来越尖锐。

因此，现有技术的图像检索方法准确率不高，使用也不方便。

发明内容

本发明要解决的技术问题提供一种基于颜色和形状特征图像检索方法，能够根据用户提供的图像信息，通过提取图像的颜色和形状特征，并综合颜色和形状特征与指定的图像特征库进行匹配，从而高效地检索出满足用户的图像，提高检索准确率，方便用户使用。

本发明提供一种基于颜色与形状特征图像检索方法，包括如下步骤：

将示例图像进行颜色空间转换与量化；

对量化后的图像进行图像分块；

对每个子块图像的每个像素点计算颜色复杂度，得到视觉权值；

对每个子块图像计算不同颜色的视觉权值在子块图像视觉权值所占的比例，得到加权颜色直方图，根据加权颜色直方图得到每个子块的颜色特征；

对示例图像通过灰度处理进行轮廓提取；

采用曲率尺度空间描述算子提取经过轮廓提取后的图像的形状特征；

对提取的所述颜色特征和所述形状特征进行归一化处理，得到归一化后的图像特征；

将归一化后的图像特征，利用索引并根据相似性度量的公式在图像特征库中进行匹配，得到检索结果；

其中，所述采用曲率尺度空间描述算子提取经过轮廓提取后的图像的形状特征的步骤包括：

通过拉普拉斯算子提取图像的轮廓曲线Γ，然后根据如下公式来获取图像的形状特征。

$k(t,\mathrm{\σ})=\frac{x^{\′}(t,\mathrm{\σ})y^{\′\′}(t,\mathrm{\σ})-x^{\′\′}(t,\mathrm{\σ})y^{\′}(t,\mathrm{\σ})}{{(x^{\′}{(t,\mathrm{\σ})}^2+y^{\′}{(t,\mathrm{\σ})}^2)}^{2/3}}$

其中t表示轮廓曲线Γ＝{(x(t)，y(t))|t∈[0，b]}的参数，b代表曲线参数的取值上限，σ代表高斯核的宽度，起始值设定为σ＝1，然后按照Δσ进行增长，直到曲率为0。这样得到的形状特征表示为K＝[K₁，K₂，...K_i，K_M]，M为特征维数。

优选的，所述将示例图像进行颜色空间转换具体为：从RGB空间转换到HSV空间。

优选的，所述对量化后的图像进行图像分块具体为：将量化后的图像进行3×3大小的分块。

优选的，所述得到视觉权值后，将视觉权值归一化到[0，1]区间。

优选的，所述对示例图像通过灰度处理进行轮廓提取具体为：

首先将示例图像进行灰度转化，将灰度图像进行二值转换，再采用拉普拉斯算子提取图像的形状轮廓信息。

优选的，所述将归一化后的图像特征，利用索引并根据相似性度量的公式在图像特征库中进行匹配，得到检索结果，具体为：

对图像特征库采用霍特林KL变换进行降维，并对示例图像特征采用R*树来对图像特征进行索引，根据相似性度量的公式选取相似度匹配较小的图像作为用户检索的结果。

上述技术方案可以看出，本发明实施例提供的检索方法避免了人工注释进行文本检索带来的主观性，检索也更准确，本发明的方法在颜色特征提取方面充分考虑到图像的视觉特性以及空间特性，采用分块的方法来满足图像的空间位置关系，并通过颜色复杂度的加权颜色直方图来深入提取图像的颜色特征，并融合了图像的形状特征，具有很强的鲁棒性，检索精度高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明的方法流程图；

图2是HSV颜色空间模型；

图3是彩色图像的HSV的三基色图；

图4是3×3分块示意图；

图5是像素点局部邻近区域图；

图6是HSV颜色空间图的加权颜色直方图；

图7是图像形状特征提取预处理过程图；

图8-1是本发明检索方法得到的检索结果示意图；

图8-2是一般颜色特征算法得到的检索结果示意图；

图8-3是一般形状特征算法得到的检索结果示意图；

图9是本发明方法与现有方法准确度检索率比较图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明提供一种基于颜色和形状特征图像检索方法，能够提高检索准确率，更方便用户使用。

颜色是图像最直观的特征，也是图像视觉重要的感知特征之一，其不仅与图像中的物体和场景密切相关，而且对图像本身尺寸、方向、视角的依赖性较小，而形状特征作为物体识别时所需要的另一关键信息，不随周围的环境如亮度等变化而变化，是比较稳定的信息。因此，本发明实施例提供一种高效精确的图像检索方法，能够通过提取图像的颜色和形状特征，设置颜色和形状特征的权重，综合颜色和形状特征与指定的图像特征库进行匹配，从而更准确检索出满足用户需求的图像。

本发明提供的基于颜色和形状特征的图像检索方法，包括两个部分：

第一部分为颜色特征与形状特征的提取，包括以下方面：(1)颜色空间转换与量化、图像分块、加权颜色直方图提取颜色特征(2)形状特征预处理、提取形状特征。

第二部分为图像特征的相似性匹配与图像结果查询，包括以下方面：图像特征的归一化、特征相似性匹配得到检索结果。

本发明方法的检索流程见附图1，现详细说明如下：

第一部分为颜色与形状特征的提取，具体包括下面几个步骤：

(一)颜色特征的提取

1、进行颜色空间转换与量化：

将原示例图RGB(Red红、Green绿、Blue蓝)颜色空间转换为HSV(Hue色相、Saturation饱和度、Value亮度)颜色空间中，参加附图2和3，附图2为HSV颜色空间模型图，附图3为彩色图像的HSV三基色图。

附图2及附图3给出了HSV颜色空间模型以及彩色图像HSV分量的示例，图3中，其中从左到右并从上到下依次为HSV图像、饱和度S分量、色调H分量和亮度V分量。

具体转换公式如下：

$H=\left\{\begin{array}{cc}\arccos \frac{(R-G)+(R-B)}{2\sqrt{{(R-G)}^2+(R-B)(G-B)}}& B\≤G\\ 2\mathrm{\π}-\arccos \frac{(R-G)+(R-B)}{2\sqrt{{(R-G)}^2+(R-B)(G-B)}}& B>G\end{array}\right.---(1-1)$

$S=\frac{\max (R,G,B)-\min (R,G,B)}{\max (R+G+B)}---(1-2)$

$V=\frac{\max (R,G,B)}{255}---(1-3)$

并根据色彩不同和主观颜色感知对HSV空间进行量化，公式如下：

$H=\left\{\begin{array}{ccc}0& \mathrm{if}& h\∈\left[\mathrm{316,20}\right]\\ 1& \mathrm{if}& h\∈\left[\mathrm{21,40}\right]\\ 2& \mathrm{if}& h\∈\left[\mathrm{41,75}\right]\\ 3& \mathrm{if}& h\∈\left[\mathrm{76,155}\right]\\ 4& \mathrm{if}& h\∈\left[\mathrm{156,190}\right]\\ 5& \mathrm{if}& h\∈\left[\mathrm{191,270}\right]\\ 6& \mathrm{if}& h\∈\left[\mathrm{271,295}\right]\\ 7& \mathrm{if}& h\∈\left[\mathrm{296,315}\right]\end{array}\right.---(1-4)$

$S=\left\{\begin{array}{ccc}0& \mathrm{if}& s\∈\left[\mathrm{0,0.2}\right]\\ 1& \mathrm{if}& s\∈\left[\mathrm{0.2,0.7}\right]\\ 2& \mathrm{if}& s\∈\left[\mathrm{0.7,1}\right]\end{array}\right.---(1-5)$

$V=\left\{\begin{array}{ccc}0& \mathrm{if}& v\∈\left[\mathrm{0,0.2}\right]\\ 1& \mathrm{if}& v\∈\left[\mathrm{0.2,0.7}\right]\\ 2& \mathrm{if}& v\∈\left[\mathrm{0.7,1}\right]\end{array}\right.---(1-6)$

按照上面的方法将颜色空间划分为72种颜色，这72种代表颜色的量化方法有效地压缩了颜色特征并且较好的符合人眼对颜色的感知。按照以上的量化级把3个颜色分量合成为一维特征矢量：G＝HQ_sQ_v+SQ_v+V，其中，Q_s和Q_v是分量S和V的量化级数，这里取Q_s＝3，Q_v＝3，那么此式变为：G＝9H+3S+V。

2、对图像分块；

考虑到图像子块区域空间信息及存储空间的大小，对图像进行3×3划分，参见附图4，为3×3分块示意图。

3、计算视觉权重；

对每个子块图像采用颜色复杂度来计算视觉权重，首先先构造出像素点(i，j)的局部邻近区域，以点(i，j)为中心的8个像素点作为邻近区域Ω，见附图5，附图5为像素点局部邻近区域示意图。

邻近区域的颜色平均值的计算公式为：

$\stackrel{\‾}{I_{(s,t)}}(i,j)=\frac{1}{N}\underset{x,y\∈\mathrm{\Ω}}{\mathrm{\Σ}}{I}_{(s,t)}(x,y)---(1-7)$

其中Ω为像素点(i，j)的邻域，N为邻域内像素个数，I_k(x，y)为第(s，t)个子块像素点(x，y)的颜色值。

像素点(i，j)的颜色复杂度计算公式如下：

这里G_α是高斯权值，经过变化可将颜色复杂度计算公式改写为如下公式：

其中γ是常量，E(I_(s，t)(i，j)，I_(s，t)(x，y))为HSV空间的欧氏距离，即

$E(I_{(s,t)}(i,j),I_{(s,t)}(x,y))=\sqrt{{(L_{\mathrm{ij}}-L_{\mathrm{xy}})}^2+{(a_{\mathrm{ij}}-a_{\mathrm{xy}})}^2+{(b_{\mathrm{ij}}-b_{\mathrm{xy}})}^2}---(1-10)$

根据颜色复杂度，可以按如下公式计算出每个像素点的视觉权值，即

其中

I_(s，t)为子块(s，t)图像的整个区域，c为常量。

由于在实际应用过程中，需要将所有像素点的视觉权值归一化到[0，1]区间，则像素点(i，j)的视觉权值表示为：

4、确定加权颜色直方图，提取颜色特征；

根据视觉权值来计算不同颜色在子块图像视觉权值所占的比例得到加权颜色直方图，其计算公式如下：

$I_{(s,t)}\left(k\right)=\frac{{\mathrm{\ω}}_n}{\underset{n=0}{\overset{M-1}{\mathrm{\Σ}}}{\mathrm{\ω}}_n}(n=\mathrm{0,1},...,M-1)---(1-13)$

其中n表示图像第n种颜色，M表示图像所包含的颜色数，ω_n表示图像中颜色值为n的像素点权值和，I_(s，t)表示第(s，t)个子块图像。

这样通过加权颜色直方图，计算颜色特征，得到的颜色特征表示为I＝[I₁，I₂，...I_i，I_N]，N＝9，I_i＝[I_i1，I_i2，...I_ij，I_iL]，L为子块特征向量维数。

附图6给出了HSV颜色空间图的加权颜色直方图，附图6中，左边为HSV图，右边为加权颜色直方图。

(二)形状特征的提取

1、灰度处理进行轮廓提取：

为了更精确获取图像形状信息特征，首先对原示例图像进行预处理，将其进行灰度转化，使得成为灰度图像，然后再对灰度图像进行二值转换成为二值图像，以便更好的提取形状轮廓信息。具体过程见附图7。

附图7，其中从左到右并从上到下依次为原始图像、灰度转换图像、二值转换图像、轮廓提取图像。

2、提取形状特征；

该步骤采用曲率尺度空间描述算子CSS(Curvature曲率、Scale尺度、Shape形状)提取形状特征。

在对图像进行预处理后，通过拉普拉斯算子提取图像的轮廓曲线Γ，然后根据如下公式来获取图像的形状特征。

$k(t,\mathrm{\σ})=\frac{x^{\′}(t,\mathrm{\σ})y^{\′\′}(t,\mathrm{\σ})-x^{\′\′}(t,\mathrm{\σ})y^{\′}(t,\mathrm{\σ})}{{(x^{\′}{(t,\mathrm{\σ})}^2+y^{\′}{(t,\mathrm{\σ})}^2)}^{2/3}}---\left(\text{1-14}\right)$

其中t表示轮廓曲线Γ＝{(x(t)，y(t))|t∈[0，b]}的参数，b代表曲线参数的取值上限，σ代表高斯核的宽度，起始值设定为σ＝1，然后按照Δσ进行增长，直到曲率为0。这样得到的形状特征表示为K＝[K₁，K₂，...K_i，K_M]，M为特征维数。

第二部分为图像的相似性匹配，根据图像索引检索得到检索结果，具体包括以下几个步骤：

1、进行特征归一化，得到归一化后的图像特征；

在进行相似性匹配之前，考虑到形状特征与颜色特征的物理意义以及取值范围不同，不能进行简单的匹配，需要对其进行特征向量的归一化。对颜色特征I＝[I₁，I₂，...I_i，I_N]以及其特征分量I_i＝[I_i1，I_i2，...I_ij，I_iL]，计算出其均值μ_i和σ_i，采用归一化公式I_i，j＝(I_i，j-m_j)/3σ_j使其保证将I_i，j归一化到[-1，1]之间。

对于形状特征，也一样做类似处理。

在对颜色特征与形状特征综合匹配时，同样需要进行综合归一化。通过计算两幅不同图像I和J的特征向量的相似距D(i，j)＝distance(F_i，F_j)i，j＝1，2，...，M以及M(M-1)/2个距离值的均值m_D和标准差σ_D，并进行D_i，j＝(I_i，j-m_j)/σ_j高斯归一化。

通过进行特征归一化后，得到归一化后的图像特征。

2、确定相似性度量的计算公式；

归一化图像特征向量后就需要进行图像之间的相似性度量，采用欧式距离的匹配方法计算公式如下：

$D_1=\sqrt{\underset{i=0}{\overset{N}{\mathrm{\Σ}}}{w}_i{(I_i^Q-I_i^T)}^2},$ $D_2=\sqrt{\underset{i=0}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\δ}}_i{(K_i^Q-K_i^T)}^2},$ $D=\sqrt{\underset{i=0}{\overset{2}{\mathrm{\Σ}}}{\mathrm{\ω}}_i{(D_i^Q-D_i^T)}^2}$

其中Q为示例图像，T为图像特征库图像，D1，D2，D为颜色形状特征分量相似性距离以及最终的相似性距离，I_i，K_i为归一化分量，w_i，δ_i，ω_i为归一化权重，根据图像特点而定，一般都取相等权值1。

3、将提取的图像特征，利用索引并根据相似性度量的公式在图像特征库中进行匹配，得到检索结果。

本发明在对示例图像以及检索库中图像提取了特征后，采用的是基于向量空间的索引结构。

对特征库使用霍特林(KL，Karhunen-Loeve Transform)变换来进行维数缩减，并对示例图像特征采用R*树来对图像特征进行索引，根据相似性度量的公式选取相似度匹配较小的图像作为用户检索的结果。

可以从检索结果中选取设定数目的图像作为查询结果，例如选取相似度顺序较小的前15张作为查询结果。或者，可以选取前20张。

本发明通过一定的实验说明了本发明检索方法的优越性，具体见以下描述：

附图8-1是本发明检索方法得到的检索结果示意图，附图8-2是一般颜色特征算法得到的检索结果示意图，附图8-3是一般形状特征算法得到的检索结果示意图。

上述是从Corel数据库中选取的10类中每类有20张且图像大小均为640*640的图像库中，以花卉为示例图进行检索得到的结果。可以发现，本发明在图像检索方面不仅具有颜色特性和形状特征，且同时具有一定的空间位置关系，充分考虑到了图像检索中的视觉特征，因此具有明显的检索效果，检索更准确。

附图9给出了不同检索算法的准确度检索率曲线图。图中的3条曲线，从上往下的顺序，分别是本发明方法的曲线，一般颜色特征方法的曲线和一般形状特征方法的曲线。可以发现，本发明方法检索更为准确。

由上述技术方案可以看出，本发明实施例提供的检索方法避免了人工注释进行文本检索带来的主观性，检索也更准确，本发明的方法在颜色特征提取方面充分考虑到图像的视觉特性以及空间特性，采用分块的方法来满足图像的空间位置关系，并通过颜色复杂度的加权颜色直方图来深入提取图像的颜色特征，并融合了图像的形状特征，具有很强的鲁棒性，检索精度高。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。

以上对本发明实施例所提供的一种基于颜色和形状特征的图像检索方法，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于颜色与形状特征图像检索方法，其特征在于，包括如下步骤：

将示例图像进行颜色空间转换与量化；

对量化后的图像进行图像分块；

对每个子块图像的每个像素点计算颜色复杂度，得到视觉权值；

对每个子块图像计算不同颜色的视觉权值在子块图像视觉权值所占的比例，得到加权颜色直方图，根据加权颜色直方图得到每个子块的颜色特征；

对示例图像通过灰度处理进行轮廓提取；

采用曲率尺度空间描述算子提取经过轮廓提取后的图像的形状特征；

对提取的所述颜色特征和所述形状特征进行归一化处理，得到归一化后的图像特征；

将归一化后的图像特征，利用索引并根据相似性度量的公式在图像特征库中进行匹配，得到检索结果；

其中，所述采用曲率尺度空间描述算子提取经过轮廓提取后的图像的形状特征的步骤包括：

通过拉普拉斯算子提取图像的轮廓曲线Γ，然后根据如下公式来获取图像的形状特征：

其中t表示轮廓曲线Γ＝{(x(t)，y(t))|t∈[0，b]}的参数，b代表曲线参数的取值上限，σ代表高斯核的宽度，起始值设定为σ＝1，然后按照Δσ进行增长，直到曲率为0，这样得到的形状特征表示为K＝{K₁，K₂，...K_i，K_M]，M为特征维数。

2.根据权利要求1所述的基于颜色与形状特征图像检索方法，其特征在于：

所述将示例图像进行颜色空间转换具体为：从RGB空间转换到HSV空间。

3.根据权利要求1所述的基于颜色与形状特征图像检索方法，其特征在于：

所述对量化后的图像进行图像分块具体为：将量化后的图像进行3×3大小的分块。

4.根据权利要求1至3任一项所述的基于颜色与形状特征图像检索方法， 其特征在于：

所述得到视觉权值后，将视觉权值归一化到[0，1]区间。

5.根据权利要求1至3任一项所述的基于颜色与形状特征图像检索方法，其特征在于：

所述对示例图像通过灰度处理进行轮廓提取具体为：

首先将示例图像进行灰度转化，将灰度图像进行二值转换，再采用拉普拉斯算子提取图像的形状轮廓信息。

6.根据权利要求1至3任一项所述的基于颜色与形状特征图像检索方法，其特征在于：

所述将归一化后的图像特征，利用索引并根据相似性度量的公式在图像特征库中进行匹配，得到检索结果，具体为：

对图像特征库采用霍特林KL变换进行降维，并对示例图像特征采用R*树来对图像特征进行索引，根据相似性度量的公式选取相似度匹配较小的图像作为用户检索的结果。 

Images