CN104915400A - 基于彩色直方图和nsct的模糊相关同步图像检索方法 - Google Patents

Abstract

本发明涉及图像检索方法，利用彩色直方图来提取图像的颜色特征，将彩色直方图的色彩矢量和色彩柱的高度这两个特征作为检索依据，利用模糊集理论中的模糊隶属函数计算相似度、α级模糊关系判定相似性，同时引入非下采样轮廓波变换(NSCT)来提取图像的纹理特征，利用NSCT变换对图像进行分解，提取不同层次多个方向上的子带系数的均值和标准方差为特征向量，作为图像库中图像的索引，并利用模糊集理论中的模糊隶属函数计算图像之间的相似度，由于其多尺度性、多方向性和平移不变性，分解后保留有强大的方向信息，可以更全面地描述图像的纹理特征，最后，将上述两种算法相结合，运用综合特征对图像进行检索。

Description

基于彩色直方图和NSCT的模糊相关同步图像检索方法

技术领域

本发明涉及图像检索方法，具体为一种利用彩色直方图提取的颜色特征和非下采样轮廓波变换提取的纹理特征进行综合特征的图像检索方法。

背景技术

一幅图像表述的内容是很丰富的，它包含了多个方面的特征，仅利用一种特征并不能够描述图像的全部内容。另外，人们对图像的理解是建立在人眼所能识别的全部特征之上的，对图像整体的理解，并不是只基于某一个特征，所以若仅从某一个方面来对图像进行描述，往往得不到全面的描述，而且在图像发生较大变化(放大、缩小、平移或旋转等)时常常不能取得理想的检索效果。

目前，单一特征的图像检索方法已经不能满足用户的要求，综合特征检索得到了广泛的应用。综合特征检索应用两个或多个特征对图像进行描述，要比单一的特征更能全面地描述图像的内容，使得每幅图像的差异就愈加明显，区分信息增加，根据它们得出的检索结果也更加准确。

发明内容

颜色和纹理是图像检索中最常用的两种特征，图像库中的图像数目众多，内容更是千差万别，颜色特征和纹理特征都仅能描述图像的部分属性，不同图像侧重的特征并不一定相同，为了能更加客观全面的描述图像的属性，得到更好的检索效果，本发明的目的在于提供一种综合彩色直方图提取的颜色特征和NSCT提取出的纹理特征进行综合特征图像检索方法。

本发明是采用如下技术方案实现的：

一种基于彩色直方图和NSCT的模糊相关同步图像检索方法，包括如下步骤：

(1)、对图像库中的任一幅图像P和待检索图像Q分别进行NSCT纹理特征提取，NSCT提取纹理特征方法如下：

将RGB图像转化为灰度图像，对灰度图像进行分解系数为{2,3,4}，子带数为4，8，16的三层NSCT变换，得到28条子带的子带系数，分别计算各子带系数的均值μ_i和标准方差σ_i，均值μ_i和标准方差σ_i的计算公式如下：

${\mathrm{\μ}}_k=\frac{1}{MN}\underset{i=1}{\overset{M}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}\left|C_k(i,j)\right|\mathrm{...}\left(1\right)$

${\mathrm{\σ}}_k={\[\frac{1}{MN}\underset{i=1}{\overset{M}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}{\left(\right|C_k(i,j)|-{\mathrm{\μ}}_k)}^2\]}^{1/2}\mathrm{...}\left(2\right),$

其中，C_k(i,j)是第k个NSCT方向子带的系数，M×N是该子带的大小，μ_k是第k个方向子带的系数平均值，σ_k是第k个方向子带的系数标准方差；得到每幅图像的纹理特征向量为56维；

即图像P的纹理特征向量f＝(μ₁,σ₁,μ₂,σ₂,...,μ₂₈,σ₂₈)，

图像Q的纹理特征向量f′＝(μ₁′,σ₁′,μ₂′,σ₂′,...,μ′₂₈,σ′₂₈)。

(2)、对图像库中的任一幅图像P和待检索图像Q各自得到的56维纹理特征向量分别进行高斯归一化处理，将所有特征值都归一化到[-1,1]区间内，具体方法如下：

高斯归一化是在假定特征向量F的分布满足均值为μ、标准方差为σ的高斯分布的条件下，采用下式对特征向量进行归一化，

$F^{\′}-\frac{F-\mathrm{\μ}}{\mathrm{\σ}}\mathrm{...}\left(8\right),$

式(8)中，均值μ和标准方差σ表示特征向量F这个集合的均值和标准方差；

经过高斯归一化处理的图像P的纹理特征向量

f^P＝(μ_1P,σ_1P,μ_2P,σ_2P,...,μ_28P,σ_28P)，其中，等等依次计算得到f^P。

经过高斯归一化处理的图像Q的纹理特征向量

f′^Q＝(μ′_1Q,σ′_1Q,μ′_2Q,σ′_2Q,...,μ′_28Q,σ′_28Q)；其中，等等依次计算得到f′^Q。

对图像库中的任一幅图像P和待检索图像Q，两图像的相似度的计算公式如下：

${\mathrm{\μ}}_{\tilde{n}}(Q,P)=\exp \{-\underset{k=1}{\overset{28}{\Σ}}{(f_k^{\′Q}-f_k^P)}^2\}\mathrm{...}\left(7\right),$

其中，和分别为图像库中图像P和待检索图像Q分别经过高斯归一化处理后的第k个纹理特征分量值(包括均值μ_k和标准方差σ_k，那么式7中总共是56个数值的加和)。

(3)、对图像库中的任一幅图像P和待检索图像Q，将RGB图像的颜色量化为16维，分别提取彩色直方图，具体方法如下：

将三维色彩值(r,g,b)作为彩色直方图的横轴，该三维色彩值在整幅图像中出现的像素数作为纵轴，制作出图像P的彩色直方图和图像Q的彩色直方图，然后利用彩色直方图来提取颜色特征；

在计算彩色直方图时，对彩色直方图按色彩柱的高度从高到低逐级排序，并确定每一色彩柱的级次序号，将不同彩色直方图对应序号的色彩柱作为同一级特征，并进行相似性度量；

由于RGB空间色彩为三维，则假设图像P和图像Q的彩色直方图的对应某一级次的一对色彩矢量分别为：c_i(r_i,g_i,b_i)及c_j(r_j,g_j,b_j)，则其相似度用高斯隶属函数表示为：

${\mathrm{\μ}}_{\tilde{R}}(c_i,c_j)=e^{-\[{(r_j-r_i)}^2+{(g_j-g_i)}^2+{(b_j-b_i)}^2\]}\mathrm{...}\left(5\right),$

上式的隶属函数将两个色彩矢量的相似程度映射到[0,1]闭区间内。

对对应级次色彩柱的高度进行相似性判断，对应色彩柱的高度h_i和h_j的相似度表示为：

${\mathrm{\μ}}_{\tilde{S}}(h_i,h_j)=min(h_i,h_j)/max\left(h_{i,h}\right)\mathrm{...}\left(6\right),$

上式将色彩柱高度的相关性映射到[0,1]闭区间内，越接近1，两个对应柱的高度越接近，当值为1时，高度相等，两色彩柱完全相同。

(4)、设定颜色特征中色彩矢量相似度的权重为0.6，颜色特征中色彩柱高度相似度的权重为0.1，纹理特征相似度的权重为0.3，得出综合相似度μ_R，如下式：

${\mathrm{\μ}}_R={\mathrm{\μ}}_{\tilde{R}}(c_i,c_j)\×0.6+{\mathrm{\μ}}_{\tilde{S}}(h_i,h_j)\×0.1{\mathrm{\μ}}_{\tilde{n}}(Q,P)\×\mathrm{0.3...}\left(10\right).$

(5)、利用α级模糊关系判定相关性，如下：

将步骤(10)得到的μ_R代入下式，利用α级关系模糊匹配得出检索结果，阈值ɑ的取值可以根据实验结果确定；

当μ_R大于等于阈值ɑ时，取值为1，认为图像P和图像Q特征相似；否则，取值为0，认为图像P和图像Q特征不相似；

(6)、将待检索图像Q和图库中的每一幅图像均经过步骤(1)至步骤(5)的处理后，得出输出检索结果1的所有图像，同步综合检索结束。

下面对本发明方法中用到的一些原理阐述如下。

1、关于彩色直方图提取颜色特征的原理如下：

彩色直方图的概念是在某一个颜色模型中，统计不同颜色在整幅图像中出现的频率，常被用来描述图像颜色的统计特征。但是彩色直方图并没有考虑每种色彩所处的空间位置，仅记录了各种色彩出现的像素个数，也就是说无法使用彩色直方图来描述图像中的对象或物体。在该方法中将三维色彩值(r,g,b)作为彩色直方图的横轴，该三维色彩值在整幅图像中出现的像素数作为纵轴，然后利用彩色直方图来提取颜色特征。

2、关于NSCT提取纹理特征的原理如下：

基于NSCT的多尺度性和多方向性等特点，采用如下算法。首先将彩色图像转化为灰度图像，然后通过非下采样轮廓波变换(Non-Subsampled Contourlet Transform，NSCT)变换对灰度图像进行分解，得到不同尺度下、不同方向上的子带系数C_k(i,j)，各子带的系数代表了图像的能量，将均值μ_i和标准方差σ_i作为图像的纹理特征。实验过程中对灰度图像进行三层NSCT分解。取分解系数为{2,3,4}，则各层方向子带数分别为4，8，16；计算各子带的均值和标准方差作为图像NSCT变换得到的纹理特征，每幅图像的纹理特征向量为56(＝(4+8+16)*2)维。纹理特征向量f₁＝(μ₁,σ₁,μ₂,σ₂,...,μ₂₈,σ₂₈)，均值μ_i和标准方差σ_i的计算公式如下：

${\mathrm{\μ}}_k=\frac{1}{MN}\underset{i=1}{\overset{M}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}\left|C_k(i,j)\right|\mathrm{...}\left(1\right)$

${\mathrm{\σ}}_k={\[\frac{1}{MN}\underset{i=1}{\overset{M}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}{\left(\right|C_k(i,j)|-{\mathrm{\μ}}_k)}^2\]}^{1/2}\mathrm{...}\left(2\right),$

其中，C_k(i,j)是第k个NSCT方向子带的系数，M×N是该子带的大小，μ_k是第k个方向子带的系数平均值，σ_k是第k个方向子带的系数标准方差。

3、关于图像特征的模糊相关的原理如下：

假设集合X＝R⁺，Y＝R，则模糊关系xSy的模糊隶属函数用高斯型函数表示为：

${\mathrm{\μ}}_S-e^{-{(y-x)}^2}\mathrm{...}\left(3\right);$

以上可以计算出两特征矢量的相似程度，在判定整幅图像的特征相似与否时，常常需要简明的表示出“是”或“否”两个确定值，这时需要从图像的特征集中抽取一部分与已知特征相似的特征，而去除不相似的特征，这个过程在模糊数学中被称为去模糊化或清晰化过程。采用模糊关系中的ɑ级关系可以实现这一目的，从而判定特征相似与否：

其中c∈C，C是图像特征集；ɑ是阈值，用来判定两种特征相似与否。当μ_R(C,C_i)大于等于阈值ɑ时，取值为1，认为两特征相似，否则，认为两特征不相似。

3.1、彩色直方图的模糊相关

通常计算两个彩色直方图的相似程度，就是要计算每一对色彩柱的相似程度再进行统计。不同彩色图像的彩色直方图不同，但是每一幅彩色图像的主色调会在彩色直方图中有所体现。在计算彩色直方图时，对彩色直方图按色彩柱的高度从高到低逐级排序，并确定每一色彩柱的级次序号，将不同彩色直方图对应序号的色彩柱作为同一级特征，并进行相似性度量。

这里由于不同图像的主色调并不一定相同，即不同彩色直方图对应级次的色彩柱的色彩值(横坐标)不一定相互匹配，因此，对彩色直方图进行相似性度量时，就需要先判断彩色直方图对应级次色彩柱的横坐标即色彩的对应关系，然后再判断对应色彩柱的高度的相似程度。

由于RGB空间色彩为三维，则假设两个彩色直方图的某一级次的一对色彩矢量分别为：c_i(r_i,g_i,b_i)及c_j(r_j,g_j,b_j)，则其相似度用高斯隶属函数表示为：

${\mathrm{\μ}}_{\tilde{R}}(c_i,c_j)=e^{-\[{(r_j-r_i)}^2+{(g_j-g_i)}^2+{(b_j-b_i)}^2\]}\mathrm{...}\left(5\right),$

上式的隶属函数将两个色彩矢量的相似程度映射到[0,1]闭区间内。

对对应级次色彩柱的高度进行相似性判断，对应色彩柱的高度h_i和h_j的相似度表示为：

${\mathrm{\μ}}_{\tilde{S}}(h_i,h_j)=min(h_i,h_j)/max\left(h_{i,h}\right)\mathrm{...}\left(6\right),$

上式将色彩柱高度的相关性映射到[0,1]闭区间内，越接近1，两个对应柱的高度越接近，当值为1时，高度相等，两色彩柱完全相同。

若对上述颜色特征进行相似性判断，可利用模糊关系中的ɑ级关系即式(4)，其中α值由实验获得。

3.2、NSCT的模糊相关

对图像进行NSCT变换，分解层数为3，各层分解系数分别为{2,3,4}，计算各子带的均值和标准方差作为图像NSCT变换的纹理特征向量f＝(μ₁,σ₁,μ₂,σ₂,...,μ₂₈,σ₂₈)，对于图像库中的任一幅图像P和待检索图像Q，两图像的相似度的计算公式如下：

${\mathrm{\μ}}_{\tilde{n}}(Q,P)=\exp \{-\underset{k=1}{\overset{28}{\Σ}}{(f_k^Q-f_k^P)}^2\}\mathrm{...}\left(7\right),$

其中，和分别为图像库中图像P和待检索图像Q的第k个纹理特征分量值(即每个k值均对应一个均值μ_k和一个标准方差σ_k)。通过计算待检索图像与图像库中图像的模糊隶属函数得到其相似度，按照相似度从大到小的顺序对图像库中图像进行排序，函数值越接近1，则图像越相似。

若对上述纹理特征进行相似性判断，可利用模糊关系中的ɑ级关系即式(4)，其中α值由实验获得。

4、关于特征向量的归一化

进行综合特征的检索时，由于要考虑到两个或两个以上数目的特征，就不得不注意到不同特征在物理含义和数值上的差异。而这些差异常常会导致检索误差，为了避免这方面的影响，就需要对特征向量进行归一化处理。特征向量的归一化一般分为两类：特征向量的内部归一化和特征向量的外部归一化。

(1)、特征向量的内部归一化主要针对某一特征向量中的各个分量，通过将其归一化到某一特定范围内来使得各个分量对最终检索结果的贡献相同。

图像颜色特征提取的是图像的彩色直方图的色彩柱的色彩值及高度，它们分别作为特征，各自代表的含义相同，取值范围变化也不大，因此不需要进行内部归一化。

图像纹理特征提取的是通过NSCT变换得到的各子带系数的均值μ和标准方差σ，由于经NSCT变换所得的均值μ和标准方差σ数量级的差距较大，这里需要用到特征向量的内部归一化，由于这一特征满足高斯分布，因此用高斯归一化公式对其进行高斯归一化，将所有特征值都归一化到[-1,1]区间内。高斯归一化是在假定特征向量F的分布满足均值为μ，标准方差为σ的高斯分布的条件下，由下式对特征向量进行的归一化，

$F^{\′}-\frac{F-\mathrm{\μ}}{\mathrm{\σ}}\mathrm{...}\left(8\right),$

(2)、特征向量的外部归一化主要针对多个特征向量，通过归一化来确保各个特征向量的重要性，也可以通过改变权重来侧重某一特征。

由于从X到Y的一个模糊关系S是X×Y到[0,1]的一个映射，所以基于彩色直方图的相似度和基于NSCT的相似度都分布在[0,1]区间内，它们的物理意义相同，取值范围也确定在[0,1]区间内，所以均不需要进行特征向量的外部归一化。

总之，本方法设计合理，利用彩色直方图来提取图像的颜色特征，将彩色直方图的色彩矢量和色彩柱的高度这两个特征作为检索依据，利用模糊集理论中的模糊隶属函数计算相似度、α级模糊关系判定相似性，同时引入非下采样轮廓波变换(Non-Subsampled ContourletTransform，NSCT)来提取图像的纹理特征，利用NSCT变换对图像进行分解，提取不同层次多个方向上的子带系数的均值和标准方差为特征向量，作为图像库中图像的索引，并利用模糊集理论中的模糊隶属函数计算图像之间的相似度，由于其多尺度性、多方向性和平移不变性，分解后保留有强大的方向信息，可以更全面地描述图像的纹理特征，最后，将上述两种算法相结合，运用综合特征对图像进行检索。这种基于综合特征的方法中对权值的设定会影响图像检索的效果，使得颜色和纹理特征能够优势互补，提高图像的检索精度。这种综合特征方法不仅比单一特征的检索方法有更好的检索精度，由于其在特征提取和相似性度量方面的改进，使得其较之其它的综合特征方法也更有优势。

附图说明

图1表示本发明方法的流程示意图。

图2表示Corel图像库示例。

图3表示待检索图像马。

图4表示关于待检索图像马，采用不设定阈值的颜色特征检索的返回30幅图像。

图5表示关于待检索图像马，采用不设定阈值的NSCT提取纹理特征检索的返回30幅图像。

图6表示关于待检索图像马，采用不设定阈值的同步综合检索到的图像。

图7表示关于待检索图像马，设定阈值的颜色特征检索到的图像。

图8表示关于待检索图像马，设定阈值的NSCT提取纹理特征检索到的图像。

图9表示关于待检索图像马，采用发明方法检索到的图像。

图10表示待检索图像恐龙。

图11表示关于待检索图像恐龙，本发明所述的NSCT-color按阈值返回结果示例。

图12表示关于待检索图像恐龙，NSCT-color检索结果示例

图13表示关于待检索图像恐龙，CT-color检索结果示例。

具体实施方式

下面结合附图对本发明的具体实施例进行详细说明。

一种基于彩色直方图和NSCT的模糊相关同步图像检索方法，如图1所示，包括如下步骤：

(1)、对图像库中的任一幅图像P和待检索图像Q分别进行NSCT纹理特征提取，NSCT提取纹理特征方法如下：

将RGB图像转化为灰度图像，对灰度图像进行分解系数为{2,3,4}，子带数为4，8，16的三层NSCT变换，得到28条子带的子带系数，分别计算各子带系数的均值μ_i和标准方差σ_i，均值μ_i和标准方差σ_i的计算公式如下：

${\mathrm{\μ}}_k=\frac{1}{MN}\underset{i=1}{\overset{M}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}\left|C_k(i,j)\right|\mathrm{...}\left(1\right),$

${\mathrm{\σ}}_k={\[\frac{1}{MN}\underset{i=1}{\overset{M}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}{\left(\right|C_k(i,j)|-{\mathrm{\μ}}_k)}^2\]}^{1/2}\mathrm{...}\left(2\right),$

其中，C_k(i,j)是第k个NSCT方向子带的系数，M×N是该子带的大小，μ_k是第k个方向子带的系数平均值，σ_k是第k个方向子带的系数标准方差；得到每幅图像的纹理特征向量为56维；

即图像P的纹理特征向量f＝(μ₁,σ₁,μ₂,σ₂,...,μ₂₈,σ₂₈)，

图像Q的纹理特征向量f′＝(μ₁′,σ₁′,μ₂′,σ₂′,...,μ′₂₈,σ′₂₈)。

(2)、对图像库中的任一幅图像P和待检索图像Q各自得到的56维纹理特征向量分别进行高斯归一化处理，将所有特征值都归一化到[-1,1]区间内，具体方法如下：

高斯归一化是在假定特征向量F的分布满足均值为μ、标准方差为σ的高斯分布的条件下，采用下式对特征向量进行归一化，

$F^{\′}-\frac{F-\mathrm{\μ}}{\mathrm{\σ}}\mathrm{...}\left(8\right),$

式(8)中，均值μ和标准方差σ表示特征向量F这个集合的均值和标准方差；

经过高斯归一化处理的图像P的纹理特征向量

f^P＝(μ_1P,σ_1P,μ_2P,σ_2P,...,μ_28P,σ_28P)，其中，等等依次计算得到f^P。

经过高斯归一化处理的图像Q的纹理特征向量

f′^Q＝(μ′_1Q,σ′_1Q,μ′_2Q,σ′_2Q,...,μ′_28Q,σ′_28Q)；其中，等等依次计算得到f′^Q。

对图像库中的任一幅图像P和待检索图像Q，两图像的相似度的计算公式如下：

${\mathrm{\μ}}_{\tilde{n}}(Q,P)=\exp \{-\underset{k=1}{\overset{28}{\Σ}}{(f_k^{\′Q}-f_k^P)}^2\}\mathrm{...}\left(7\right),$

其中，和分别为图像库中图像P和待检索图像Q分别经过高斯归一化处理后的第k个纹理特征分量值(包括均值μ_k和标准方差σ_k)。

(3)、对图像库中的任一幅图像P和待检索图像Q，将RGB图像的颜色量化为16维，分别提取彩色直方图，具体方法如下：

将三维色彩值(r,g,b)作为彩色直方图的横轴，该三维色彩值在整幅图像中出现的像素数作为纵轴，制作出图像P的彩色直方图和图像Q的彩色直方图，然后利用彩色直方图来提取颜色特征；

在计算彩色直方图时，对彩色直方图按色彩柱的高度从高到低逐级排序，并确定每一色彩柱的级次序号，将不同彩色直方图对应序号的色彩柱作为同一级特征，并进行相似性度量；

由于RGB空间色彩为三维，则假设图像P和图像Q的彩色直方图的对应某一级次(优选为第一级次，即高度最高的级次)的一对色彩矢量分别为：c_i(r_i,g_i,b_i)及c_j(r_j,g_j,b_j)，则其相似度用高斯隶属函数表示为：

${\mathrm{\μ}}_{\tilde{R}}(c_i,c_j)=e^{-\[{(r_j-r_i)}^2+{(g_j-g_i)}^2+{(b_j-b_i)}^2\]}\mathrm{...}\left(5\right),$

上式的隶属函数将两个色彩矢量的相似程度映射到[0,1]闭区间内。

对对应级次色彩柱的高度进行相似性判断，对应色彩柱的高度h_i和h_j的相似度表示为：

${\mathrm{\μ}}_{\tilde{S}}(h_i,h_j)=min(h_i,h_j)/max(h_i,h_j)\mathrm{...}\left(6\right),$

上式将色彩柱高度的相关性映射到[0,1]闭区间内，越接近1，两个对应柱的高度越接近，当值为1时，高度相等，两色彩柱完全相同。

(4)、设定颜色特征中色彩矢量相似度的权重为0.6，颜色特征中色彩柱高度相似度的权重为0.1，纹理特征相似度的权重为0.3，得出综合相似度μ_R，如下式：

${\mathrm{\μ}}_R={\mathrm{\μ}}_{\tilde{R}}(c_i,c_j)\×0.6+{\mathrm{\μ}}_{\tilde{S}}(h_i,h_j)\×0.1+{\mathrm{\μ}}_{\tilde{n}}(Q,P)\×\mathrm{....}\left(10\right),$

(5)、利用α级模糊关系判定相关性，如下：

将步骤(4)得到的μ_R代入下式，利用α级关系模糊匹配得出检索结果，阈值ɑ的取值可以根据实验结果确定；

当μ_R大于等于阈值ɑ时，取值为1，认为图像P和图像Q特征相似；否则，取值为0，认为图像P和图像Q特征不相似；其中，经过申请人多次实验确定阈值ɑ为0.85。

(6)、将待检索图像Q和图库中的每一幅图像均经过步骤(1)至步骤(5)的处理后，得出输出检索结果1的图像，同步综合检索结束。

下面通过具体的实验结果来分析本发明方法的技术效果。

如图2所示，实验所用的图像库是从美国斯坦福大学的Corel图库中的10类彩色图像，每类100幅，共1000幅图像。

检索系统为“基于NSCT&Color模糊相关的图像检索系统”，用上述图像库进行实验，评价标准选择查准率，分别从每类图像中随机选出5幅图像作为待检索图像，分别计算对每幅图像的查准率，然后计算对每一类图像的平均检索查准率。

第一组实验：单一特征和综合特征对检索结果影响的对比实验

实验中将①单一的颜色特征检索方式；②单一的纹理特征检索方式；③颜色特征和纹理特征的同步综合检索组合，即NSCT变换提取的纹理特征和彩色直方图提取的色彩矢量和色彩柱高度三种特征的组合，权重取为0.3，0.6，0.1；三种检索算法进行比较。

该组实验检索结果如表1和表2。

表1检索算法性能比较(按阈值返回图像的平均查准率)

表2检索算法性能比较(按相似度大小返回30幅图像的平均查准率)

测试图像集	颜色特征检索	纹理特征检索	同步综合检索
				非洲生活	62.1％	57％	74％
海滩	74.5％	60.7％	74.6％
				建筑	57.7％	75.3％	76％
汽车	75％	70.9％	80.5％
				恐龙	98.9％	92.6％	99％
大象	69.9％	60.7％	70.3％
				花	87.3％	92.3％	93.5％
马	94％	79.7％	94.6％
				山	54.3％	51.3％	55.3％
食物	59.1％	67.7％	70％

从表1可以看出，同步综合检索算法对所有类型图像的检索查准率都比较高。阈值的设定使得系统更容易给出期望的结果。

从表2可以看出，综合特征检索算法对背景简单的图像如恐龙和马等的检索查准率较之单一特征算法的提高较多。对内容复杂的如非洲生活和海滩等，检索查准率的提高则较少。

总的来说，由于融合了彩色直方图和NSCT变换及模糊集理论三者的优点，本发明方法的综合特征算法对每一类图像的检索性能都比对比实验算法要好。

另外，结合附图3-9说明以马为待检索图像的基于不同特征的检索结果。

从图6中可以看出，同步综合检索的结果中有3幅是不相关的大象图像，其他相关图像也都是以绿色草地为背景的马的图像，而且只有一幅是一匹马，其它均为与待检索图像相似的两匹马图像，这说明了综合特征的算法是比单一特征算法更有效的一种算法，提高了图像检索的准确率。

图3是以绿色草地为背景的一大一小两匹棕红色马的图像；图4中有两幅是不相关的大象图像，剩余28幅中有15幅是两匹棕红色马的图像；图5中有六幅是不相关的图像，剩余24幅中几乎全是一大一小两匹马；图6中有3幅是不相关的大象图像，其余都是以绿色草地为背景的马的图像，而且只有一幅是一匹马，其它均为与待检索图像相似的两匹马图像，14幅是两匹红棕色马图像。对比可知综合特征的算法是比单一特征算法更有效的一种算法，提高了图像检索的准确率。

当按照阈值返回结果时，图7检索到的就是待检索图像本身；图8中包括待检索图像在内的5幅图像中全部为两匹马的图像，而且前三幅均为绿色草地背景的两匹棕红色马的图像，前两幅图像更是相当相似；图9中检索到的包括待检索图像在内的两幅图像肉眼几乎看不出有什么区别，非常相似。对比可知综合特征的算法是比单一特征算法更有效的一种算法，提高了图像检索的准确率。

当想要返回同一类图像时，可以直接按照相似度返回；若想要获得最相似的图像，则可以设定阈值。

第二组实验：不同特征提取技术的综合检索对检索结果影响的对比实验

该组实验中对NSCT变换提取的纹理特征和彩色直方图提取的颜色特征两种特征的组合，与CT变换提取的纹理特征和累积彩色直方图提取的颜色特征两种特征的组合，进行综合特征检索的对比试验。进行分解系数为{2,3,4}的3层CT变换，纹理和颜色的相似度的权重分别为0.3，0.7，简记为CT-Color。进行分解系数为{2,3,4}的3层NSCT变换，纹理和颜色的相似度的权重分别为0.3，0.6，0.1，简记为NSCT-Color。分别计算系统返回图像的平均查准率。检索结果如表3所示。

表3检索算法性能比较(平均查准率)

测试图像集	NSCT-Color按阈值	CT-Color	NSCT-Color返回
				非洲生活	87.7％	63.1％	74％
海滩	96.1％	42％	74.6％
				建筑	91.2％	60.6％	76％
汽车	96.9％	60.3％	80.5％
				恐龙	99.5％	96％	99％
大象	96.4％	61％	70.3％
				花	95.2％	87.3％	93.5％
马	95.6％	95％	95.2％
				山	96.8％	43％	55.3％
食物	90.9％	59％	70％

从表3可以看出，当按照相似度大小返回图像时，该算法的平均查准率均高于比较算法。对每类图像进行比较，对于背景简单的图像如恐龙和马等，该算法的查准率比较高；对于内容复杂的图像如海滩和山川等，该算法的查准率比较低。当按照阈值返回结果时，该算法对几乎所有类别的图像都可以获得相当高的查准率。

另外，结合附图10-13说明以恐龙为待检索图像的基于不同特征的检索结果。

从图12和13中可以看出，图12即本文算法检索结果中返回的30幅图像均为恐龙图像，检索结果全部正确，图13即对比算法检索结果中返回的30幅图像中有29幅是相关的恐龙图像，1幅是不相关的建筑图像。可见，本发明算法的性能要优于比较算法。

本发明方法提出了综合彩色直方图颜色特征和NSCT纹理特征的模糊相关图像检索方法，与单一的颜色特征检索和单一的纹理特征检索方式进行了比较，实验结果表明综合特征检索方法优于单一特征检索方法；并将综合特征检索方法与基于轮廓波变换和累积彩色直方图的欧氏距离相关图像检索方法进行了比较实验，由比较结果可知，综合特征的算法比单一特征的算法的检索效果好。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照本发明实施例进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明的技术方案的精神和范围，其均应涵盖本发明的权利要求保护范围中。

Claims (2)

1.一种基于彩色直方图和NSCT的模糊相关同步图像检索方法，其特征在于：包括如下步骤：

(1)、对图像库中的任一幅图像P和待检索图像Q分别进行NSCT纹理特征提取，NSCT提取纹理特征方法如下：

将RGB图像转化为灰度图像，对灰度图像进行分解系数为{2,3,4}，子带数为4，8，16的三层NSCT变换，得到28条子带的子带系数，分别计算各子带系数的均值μ_i和标准方差σ_i，均值μ_i和标准方差σ_i的计算公式如下：

${\mathrm{\μ}}_k=\frac{1}{MN}\underset{i=1}{\overset{M}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}\left|C_k(i,j)\right|\mathrm{...}\left(1\right),$

${\mathrm{\σ}}_k={\[\frac{1}{MN}\underset{i=1}{\overset{M}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}{\left(\right|C_k(i,j)|-{\mathrm{\μ}}_k)}^2\]}^{1/2}\mathrm{...}\left(2\right),$

其中，C_k(i,j)是第k个NSCT方向子带的系数，M×N是该子带的大小，μ_k是第k个方向子带的系数平均值，σ_k是第k个方向子带的系数标准方差；得到每幅图像的纹理特征向量为56维；M和N表示一帧图像的行列数；

即图像P的纹理特征向量f＝(μ₁,σ₁,μ₂,σ₂,…,μ₂₈,σ₂₈)，

图像Q的纹理特征向量f′＝(μ′₁,σ′₁,μ′₂,σ′₂,…,μ′₂₈,σ′₂₈)；

(2)、对图像库中的任一幅图像P和待检索图像Q各自得到的56维纹理特征向量分别进行高斯归一化处理，将所有特征值都归一化到[-1,1]区间内，具体方法如下：

高斯归一化是在假定特征向量F的分布满足均值为μ、标准方差为σ的高斯分布的条件下，采用下式对特征向量进行归一化，

$F^{\′}-\frac{F-\mathrm{\μ}}{\mathrm{\σ}}\mathrm{...}\left(8\right),$

式(8)中，均值μ和标准方差σ表示特征向量F这个集合的均值和标准方差；

经过高斯归一化处理的图像P的纹理特征向量

f^P＝(μ_1P,σ_1P,μ_2P,σ_2P,…,μ_28P,σ_28P)，

经过高斯归一化处理的图像Q的纹理特征向量

f′^Q＝(μ′_1Q,--_1Q,μ′_2Q,σ′_2Q,…,μ′_28Q,σ′_28Q)；

对图像库中的任一幅图像P和待检索图像Q，两图像的相似度的计算公式如下：

${\mathrm{\μ}}_{\tilde{n}}(Q,P)=\exp \{-\underset{k=1}{\overset{28}{\Σ}}{(f_k^{\′Q}-f_k^P)}^2\}\mathrm{...}\left(7\right),$

其中，和分别为图像库中图像P和待检索图像Q分别经过高斯归一化处理后的第k个纹理特征分量值；

(3)、对图像库中的任一幅图像P和待检索图像Q，将RGB图像的颜色量化为16维，分别提取彩色直方图，具体方法如下：

将三维色彩值(r,g,b)作为彩色直方图的横轴，该三维色彩值在整幅图像中出现的像素数作为纵轴，制作出图像P的彩色直方图和图像Q的彩色直方图，然后利用彩色直方图来提取颜色特征；

在计算彩色直方图时，对彩色直方图按色彩柱的高度从高到低逐级排序，并确定每一色彩柱的级次序号，将不同彩色直方图对应序号的色彩柱作为同一级特征，并进行相似性度量；

由于RGB空间色彩为三维，则假设图像P和图像Q的彩色直方图的对应某一级次的一对色彩矢量分别为：c_i(r_i,g_i,b_i)及c_jj(r_j,g_j,b_j)，则其相似度用高斯隶属函数表示为：

${\mathrm{\μ}}_{\tilde{R}}(C_i,C_j)=e^{-\[{(r_j-r_i)}^2+{(g_j-g_i)}^2+{(b_j-b_i)}^2\]}\mathrm{...}\left(5\right),$

对对应级次色彩柱的高度进行相似性判断，对应色彩柱的高度h_i和h_j的相似度表示为：

${\mathrm{\μ}}_{\tilde{S}}(h_i,h_j)=min(h_i,h_j)/max(h_i,h_j)\mathrm{...}\left(6\right),$

(4)、设定颜色特征中色彩矢量相似度的权重为0.6，颜色特征中色彩柱高度相似度的权重为0.1，纹理特征相似度的权重为0.3，得出综合相似度μ_R，如下式：

${\mathrm{\μ}}_R={\mathrm{\μ}}_{\tilde{R}}(c_i,c_j)\×0.6+{\mathrm{\μ}}_{\tilde{S}}(h_i,h_j)\×0.1+{\mathrm{\μ}}_{\tilde{n}}(Q,P)\×\mathrm{0.3...}\left(10\right),$

(5)、利用α级模糊关系判定相关性，如下：

将步骤(4)得到的μ_R代入下式，利用α级关系模糊匹配得出检索结果，

当μ_R大于等于阈值ɑ时，取值为1，认为图像P和图像Q特征相似；否则，取值为0，认为图像P和图像Q特征不相似；

(6)、将待检索图像Q和图库中的每一幅图像均经过步骤(1)至步骤(5)的处理后，得出输出检索结果1的所有图像，同步综合检索结束。

2.根据权利要求1所述的基于彩色直方图和NSCT的模糊相关同步图像检索方法，其特征在于：步骤(5)中的阈值ɑ为0.85。