CN102750385A - 基于标签检索的相关性—质量排序图像检索方法 - Google Patents

Abstract

本发明公开了一种基于标签检索的相关性—质量排序图像检索方法，首先，根据图像和标签的相关性对社会图像自动排序，用一个归一化框架融合图像之间的视觉一致性和图像与标签之间的语义相关性，然后用一种迭代算法来求解这个最优化问题，这样将会得到一个相关性排序；接下来，选择图像的明亮度、对比度和颜色多样性作为图像的质量特征来衡量上一步返回的图像，然后我们通过一个线性模型将相关性分值和质量分值叠加起来，再根据最后的总分值对图像进行重排序，由此便实现了相关性—质量排序算法。

Description

基于标签检索的相关性—质量排序图像检索方法

技术领域

本发明涉及一种计算机技术领域的图像检索排序算法，具体是一种基于标签查询的相关性—质量排序算法。

背景技术

近年来，全球信息化和经济全球化已成为时代的发展潮流，对急速膨胀的海量图像数据进行有效的检索处理是人们研究开发以图像/视频为主体的多媒体业务的首要问题。针对目前广泛使用的基于关键字检索(Keywords-Based Retrieval)的图像检索方法的种种不足，人们提出了基于内容的图像检索(Content-Based Image Retrieval,CBIR)技术。然而，对于基于内容的图像检索技术，一个严峻的问题就是图像低层视觉特征与高层语义之间存在着巨大的语义鸿沟(Semantic Gap)，用户对图像的理解或检索意图无法用图像处理算法提取的低层视觉特征来完全表达。如何克服语义鸿沟成为当今信息科学与技术中一个亟待解决的问题。

经对现有技术文献的检索发现，基于感兴趣区的图像检索方法和相关反馈对克服语义鸿沟起到了一定的作用。然而现有的感兴趣区检测的做法主要是通过用户人工指定或用图像分割算法，估计图像中的感兴趣对象或区域，人工指定感兴趣区存在主观性的问题，图像分割算法得到的感兴趣区从本质上说是通过图像低层视觉特征对用户实际兴趣的一种估计，也难以实现对感兴趣区的客观描述。相关反馈技术是一个交互式的渐进过程，把用户的参与引入到检索过程中，通过多次交互反馈信息，获取用户的查询意图，从而提高检索性能，这种人机交互方式费时费力，并不友好，导致反馈信息数量和质量上的不足，效果往往不佳。

分类模型是指一些通过分类的方法提取语义信息的模型，它主要是建立低层特征和图像类别语义的映射。社会媒体网络越来越多的允许用户使用标签对上传的多媒体数据进行标注，例如Flickr网。我们分析图像时这些标注可以弥补高层语义和低层视觉特征之间的语义鸿沟。标签检索是分类模型的一种重要方法，这种检索方法在一定程度上要优于前两种方法，特别是在探索索引标签和搜索大型的网络图像库上。对于标签检索，Li等人通过给每个标签设定一个相关性分值提出了一种标签相关性学习算法，并将其应用在标签图像检索中。Liu等人根据图像和标签之间的相关性分值提出了一种相关性排序算法，该算法同时使用了图像的视觉信息和语义信息。Yang和Wang提出了多样性相关性排序算法，它通过探索图像内容和图像标签之间的关系来实现图像多样性的重排序。

这些方法可以提高标签检索的性能，但我们认为查询标签和图像的相关性以及图像质量是用户对检索图像满意程度的两个重要的衡量标准，然而上述方法都未涉及图像质量问题。

发明内容

本发明所要解决的技术问题是对标签检索提出了相关性—质量排序算法,不仅使得检索返回给用户的图片与查询标签有较高的相关性，并且通过对图片质量的评估除去质量较差的图片。

本发明为解决上述技术问题采用以下技术方案：

一种基于标签检索的相关性—质量排序图像检索方法，包括以下步骤：

步骤1，已知查询标签为t_q，从标准图像库中抽取与查询标签t_q相关的图像集D={x₁,x₂,…,x_n}形成子图像库，然后提取子图像库的图像特征，所述图像特征包括颜色特征、纹理特征、语义特征、质量特征；其中：

1-1，颜色特征提取方法如下：

采用颜色矩特征来描述颜色特征，设图像的第I个颜色分量在第J个像素处的值是P_IJ，那么该图像颜色分量的索引项为：

$\begin{array}{c}{\mathrm{\μ}}_I=\frac{1}{N}\underset{J=1}{\overset{N}{\mathrm{\Σ}}}{P}_{\mathrm{IJ}}\\ {\mathrm{\σ}}_I=\left(\frac{1}{N}\underset{J=1}{\overset{N}{\mathrm{\Σ}}}{(P_{\mathrm{IJ}}-{\mathrm{\μ}}_I)}^2\right)\\ s_I=\left(\frac{1}{N}\underset{J=1}{\overset{N}{\mathrm{\Σ}}}{(P_{\mathrm{IJ}}-{\mathrm{\μ}}_I)}^3\right)\end{array}---\left(1\right)$

其中，μ_I、σ_I和s_I分别为图像第I个颜色分量的一阶矩、二阶矩和三阶矩，N为图像的像素数目，I＝R,G，B，J＝1,2,…,N；对每幅图像提取225维颜色矩特征作为颜色特征，具体实现是将图像进行5×5分割取RGB空间每个颜色分量的前三阶矩；

1-2，纹理特征提取方法如下：

采用金字塔结构的小波变换方法和树状结构的小波变换方法对图像的频域谱特征在LL、LH、HL和HH这四个通道进行递归分解，得到完全的四叉树，形成一个128维的向量作为纹理特征；其中，LL表示水平和垂直方向上的低频分量，LH表示水平方向的低频分量和垂直方向上的高频分量，HL表示水平方向上高频分量和垂直方向上的低频分量，HH表示水平和垂直方向上的高频分量；

1-3，语义特征提取方法如下：

语义特征定义为图像x_i的标签集T_i={t₁,t₂,…,t_m}和查询标签t_q的相似性，由下式计算：

${\mathrm{sem}}_i=\mathrm{sem}(t_q,T_i)=\frac{1}{m}\underset{t\∈T_i}{\mathrm{\Σ}}s(t_q,t)---\left(2\right)$

上式中，m是图像x_i的标签数目；s(t_q，t)代表查询标签t_q和图像标签t之间的语义相关性，由下式计算：

$s(t_q,t)=\exp \{-\frac{\max [\log c\left(t_q\right),\log c\left(t\right)]-\log c(t_q,t)}{\log \left(n\right)-\min [\log c\left(t_q\right),\log c\left(t\right)]}\}---\left(3\right)$

其中，c(t_q)表示标注有查询标签t_q的图像数目，c(t)表示标注有图像标签t的图像数目，c(t_q，t)指同时标注有查询标签t_q和图像标签t的图像数目，n指与查询标签相关的图像集中所有图像数目；

1-4，质量特征的提取方法如下：

由明亮度、对比度和色彩多样性分值的线性组合来计算图像的质量特征q(x_i)：

q(x_i)=ω₁m+ω₂μ₂+ω₃En                (4)

其中：ω₁、ω₂和ω₃是分别是明亮度、对比度和色彩多样性的权重，且ω₁+ω₂+ω₃=1；m表示图像平均灰度水平，反映图像的明亮程度；μ₂表示图像的方差，反映图像的对比度；En表示颜色熵，它是RGB颜色空间中三个颜色分量熵的乘积，反映图像的颜色多样性；

$m=\underset{k=0}{\overset{L-1}{\mathrm{\Σ}}}{z}_{k}p\left(z_k\right)---\left(5\right)$

${\mathrm{\μ}}_2\left(z\right)=\underset{k=0}{\overset{L-1}{\mathrm{\Σ}}}{(z_k-m)}^{2}p\left(z_k\right)---\left(6\right)$

$\mathrm{En}\left(I\right)=-\frac{1}{\log L}\underset{k=0}{\overset{L-1}{\mathrm{\Σ}}}p\left(k\right)\log p\left(k\right)---\left(7\right)$

$p\left(k\right)=\frac{\mathrm{hist}\left(k\right)}{\underset{J=0}{\overset{N-1}{\mathrm{\Σ}}}\mathrm{hist}\left(k\right)}---\left(8\right)$

其中，z_k是灰度级范围[0，L-1]中的第k个灰度级对应的归一化像素值，p(z_k)=n_k/N，n_k为灰度级为k的像素数目，k=0,1,…,L-1，L一般取值为256；p(k)表示灰度级为k的像素在图像RGB分量中出现的概率；En(I)代表一个RGB分量的颜色熵，I表示RGB空间一个分量，即I=R,G，B；hist(k)代表灰度级范围为[0，L-1]数字图像的直方图；

步骤2，视觉相似性评估；

设W为相似性矩阵，W_ij表示图像x_i和x_j之间的视觉相似性矩阵，由高斯核函数来计算：

$W_{\mathrm{ij}}=\exp (-\frac{{\left|\right|{\hat{x}}_i-{\hat{x}}_j\left|\right|}^2}{{2\mathrm{\σ}}^2})---\left(9\right)$

其中

和

表示两幅图像的低层特征向量，该向量是353维的列向量，由步骤1-1中提取的225维颜色矩特征和步骤1-2中提取的128维小波纹理特征组成，‖·‖²表示l₂范数，半径参数σ表示图像x_i和x_j间欧式距离的中值；

步骤3，相关性排序算法；

根据图像和标签的相关性对图像集自动排序，利用一个归一化框架融合图像之间的视觉一致性和图像与标签之间的语义相关性，该代价函数定义为：

$Q\left(r\right)=\underset{i,j=1}{\overset{n}{\mathrm{\Σ}}}{W}_{\mathrm{ij}}{(\frac{r_i}{\sqrt{D_{\mathrm{ii}}}}-\frac{r_j}{\sqrt{D_{\mathrm{jj}}}})}^2+\mathrm{\λ}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(r_i-{\mathrm{sem}}_i)}^2---\left(10\right)$

其中，λ>0是归一化参数，r_i是图像x_i和查询标签t_q的相关性分值，r_j是图像x_j和查询标签t_q的相关性分值，

n代表与查询标签相关的图像集中所有图像数目；因此该代价函数可以视为解决优化问题r^*=argminQ(r)；

步骤4，通过一个线性模型对上面的相关性分值和质量分值组合起来并重新排序：

R(x)=r^*(x)+q(x)                        (14)

步骤5，根据新的排序R将图像呈现给用户。

进一步的，本发明的一种基于标签检索的相关性-质量排序图像检索方法，步骤3所述解决优化问题r^*=argminQ(r)具体方法如下：

首先，将公式（10）用矩阵的形式来表达：

Q(r)=r^T(I-D-^1/2WD-^1/2)r+λ||r-sem||²                   (11)

其中，D＝Diag(D₁,D₂,…,D_nn)，sem=[sem(t_q,T_l),sem(t_q,T₂),…,sem(t_q，T_n)]^T,T₁，T₂，…，T_n分别为与查询标签相关的图像集中相应图像的标签集；

其次，对公式(11)进行推导可以得到：

$\frac{\∂Q}{\∂r}{|}_{r=r^{*}}=(I-D^{-1/2}{\mathrm{WD}}^{-1/2})r^{*}+\mathrm{\λ}(r^{*}-\mathrm{sem})=0---\left(12\right)$

$r^{*}=\frac{\mathrm{\λ}}{1+\mathrm{\λ}}{(I-\frac{1}{1+\mathrm{\λ}}{D}^{-1/2}{\mathrm{WD}}^{-1/2})}^{-1}\mathrm{sem}---\left(13\right)$

根据公式（13）得到图像库的最优化排序(r^*)。

作为本发明的一种基于标签检索的相关性质量排序图像检索方法的步骤3中解决优化问题r^*=argminQ(r)的进一步优化方案，可以由以下步骤来实现：

步骤1)，建立迭代公式 $r_{t+1}\left(x\right)=\frac{1}{1+\mathrm{\λ}}{D}^{-1/2}{\mathrm{WD}}^{-1/2}{r}_t\left(x\right)+\frac{\mathrm{\λ}}{1+\mathrm{\λ}}\mathrm{sem};$

步骤2)，初始化r₀(x)，r₀(x)为n维列向量，初始值不影响最终结果；

步骤3)：迭代 $r_{t+1}\left(x\right)=\frac{1}{1+\mathrm{\λ}}{D}^{-1/2}{\mathrm{WD}}^{-1/2}{r}_t\left(x\right)+\frac{\mathrm{\λ}}{1+\mathrm{\λ}}\mathrm{sem}$ 直到收敛，得到图像库的最优化排序(r^*)。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

本发明的相关性—质量排序算法同时考虑了图像与查询标签的相关性和图像质量，并且在计算图像相关性时不仅融合了图像的视觉信息也融合了图像的语义信息，这大大降低了图像低层特征和高层语义之间的语义鸿沟；计算图像质量时分别考虑了图像的明亮度、对比度和色彩多样性，使得排序在前的图像在外观上更吸引用户的注意力。

总之，本系统图像检索结果不仅与查询标签有较高的相关性，而且加入质量因子后的重排序过程除去了质量较差的图像。

附图说明

图1是本发明系统流程框图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

以下实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。具体实施步骤如下：

1.下载带有标签的图像库。

2.在图像检索界面输入要查询的标签，该系统则自动地对图像库中的相应图像进行匹配。

3.提取子库图像特征。

3.1.颜色特征

图像颜色因其缩放、平移和旋转不变性，因而在图像检索中具有广泛的应用。常用的颜色特征或描述包括颜色协方差矩阵、颜色直方图、颜色矩和颜色一致性向量。本系统采用颜色矩特征。设第I个颜色分量在第J个像素处的值是P_IJ，那么该颜色分量的索引项为：

$\left\{\begin{array}{c}{\mathrm{\μ}}_i=\frac{1}{N}\underset{j1}{\overset{N}{\mathrm{\Σ}}}{P}_{\mathrm{ij}}\\ {\mathrm{\σ}}_i={\left(\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(P_{\mathrm{ij}}-{\mathrm{\μ}}_i)}^2\right)}^{\frac{1}{2}}\\ s_i={\left(\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(P_{\mathrm{ij}}-{\mathrm{\μ}}_i)}^3\right)}^{\frac{1}{3}}\end{array}\right.---\left(1\right)$

其中，μ_I、σ_I和s_I分别为图像第I个颜色分量的一阶矩、二阶矩和三阶矩，N为图像的像素数目，I＝R,G，B，J＝1,2,…,N。我们对每幅图像提取225维颜色矩特征，具体实现是将图像进行5×5分割取RGB空间每个颜色分量的前三阶矩。

3.2.纹理特征

纹理特征在图像检索中最常用的是频域谱特征，例如Gabor滤波和小波变换得到的纹理特征。有两种类型的小波变换可以用于纹理分析，它们分别是金字塔结构的小波变换(pyramid-structured wavelet transform，PWT)和树状结构的小波变换(tree-structured wavelettransform，TWT)。PWT递归地分解LL波段。但是对于那些主要信息包含在中频段范围内的纹理特征，仅仅分解低频的LL(LL表示水平和垂直方向上的低频分量)波段是不够的。TWT区别于PWT的主要之处在于它除了递归分解LL波段之外，还会分解其他的LH(LH表示水平方向的低频和垂直方向上的高频分量)、HL(HL表示水平方向上高频和垂直方向上的低频分量)和HH(HH表示水平和垂直方向上的高频分量)波段。

小波变换表示的纹理特征可以用每个波段的每个分解层次上能量分布的均值和标准方差来表示。这对应于不同分辨率上沿水平、垂直和对角方向边缘的分布。三层TWT分解的纹理特征取决于每个子波段上不同层次的分解，我们对LL、LH、HL和HH四个通道进行递归分解，将会得到完全的四叉树，这时得到的特征向量将是一个128维的向量。

3.3.语义特征

语义特征定义为图像x_i的标签集T_i={t₁,t₂,…,t_m}和查询标签t_q的相似性，由下式计算：

${\mathrm{sem}}_i=\mathrm{sem}(t_q,T_i)=\frac{1}{m}\underset{t\∈T_i}{\mathrm{\Σ}}s(t_q,t)---\left(2\right)$

m是图像x_i的标签数目。

查询标签t_q和图像标签t之间的语义相关性s(t_q,t)可由下式计算：

$s(t_q,t)=\exp \{-\frac{\max [\log c\left(t_q\right),\log c\left(t\right)]-\log c(t_q,t)}{\log \left(n\right)-\min [\log c\left(t_q\right),\log c\left(t\right)]}\}---\left(3\right)$

其中，c(t_q)和c(t)指分别标注有t_q和t的图像数目，c(t_q,t)指同时标注有t_q和t的图像数目，n指与查询标签相关的图像集中所有图像数目。

3.4.质量特征

对于图像质量，我们分别使用全局均值和方差来衡量图像的明亮度和对比度，用颜色熵来描述图像的颜色。

灰度级范围为[0，L-l]数字图像的直方图为hist(z_k)=n_k，其中z_k是第k个灰度级，n_k为灰度级为z_k的像素数目。一个常用的方法是归一化直方图，即每个直方图值除以该图像的总像素数目n，归一化直方图可由p(z_k)=n_k/n,k=0,1,…,L-1来表示。严格地说，p(z_k)给了一个灰度级z_k出现次数的概率估计。

设z是灰度级范围[0，L-l]中的一个离散的随机变量，设m是z的均值(平均灰度水平)：

$m=\underset{k=0}{\overset{L-1}{\mathrm{\Σ}}}{z}_{k}p\left(z_k\right)---\left(4\right)$

从而方差公式如下：

${\mathrm{\μ}}_2\left(z\right)=\underset{k=0}{\overset{L-1}{\mathrm{\Σ}}}{(z_k-m)}^{2}p\left(z_k\right)---\left(5\right)$

设I(I=R,G,B)表示RGB空间一个分量的值，该分量的颜色熵可定义为：

$\mathrm{En}\left(I\right)=-\frac{1}{\log L}\underset{k=0}{\overset{L-1}{\mathrm{\Σ}}}p\left(k\right)\log p\left(k\right)---\left(6\right)$

其中，p(k)表示像素k在图像中出现的概率，它由归一化颜色直方图来计算：

$p\left(k\right)=\frac{\mathrm{hist}\left(k\right)}{\underset{J=0}{\overset{N-1}{\mathrm{\Σ}}}\mathrm{hist}\left(k\right)}---\left(7\right)$

RGB颜色熵En是三个分量熵的乘积，颜色熵越大，图像的色彩越丰富。

质量特征可由明亮度、对比度和色彩多样性分值的线性组合来计算：

q(x_j)=ω₁m+ω₂μ₂+ω₃En                  (8)

其中，ω₁、ω₂和ω₃是分别是亮度、对比度和色彩多样性的权重，且ω₁+ω₂+ω₃=1。

4.视觉相似性评估

已知查询标签为t_q，设D={x₁,x₂,…,x_n}为与查询标签相关的图像集。我们认为视觉相似的图像之间相关性分值应该接近。设W为相似性矩阵，W_ij表示图像x_i和x_j之间的视觉相似性，它可由高斯核函数来计算：

$W_{\mathrm{ij}}=\exp (-\frac{{\left|\right|{\hat{x}}_i-{\hat{x}}_j\left|\right|}^2}{{2\mathrm{\σ}}^2})---\left(9\right)$

其中

和

表示两幅图像的低层特征向量，该向量是353维的列向量，包含特征提取步骤中提取的225维颜色矩特征和128维小波纹理特征，‖·‖²表示l₂范数，半径参数σ表示图像间欧式距离的中值。

5.相关性—质量排序算法

相关性排序算法是基于图像的视觉一致性和标签的语义相关性，它们通过一个归一化框架组合在一起；该代价函数(与r相关)可定义为：

$Q\left(r\right)=\underset{i,j=1}{\overset{n}{\mathrm{\Σ}}}{W}_{\mathrm{ij}}{(\frac{r_i}{\sqrt{D_{\mathrm{ii}}}}-\frac{r_j}{\sqrt{D_{\mathrm{jj}}}})}^2+\mathrm{\λ}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(r_i-{\mathrm{sem}}_i)}^2---\left(10\right)$

其中，λ>0是归一化参数，r_j是图像x_j和查询标签t_q的相关性分值，

n为与查询标签相关的图像数目。因此该函数可以视为解决优化问题r^*=argminQ(r)；

上式可用矩阵的形式来表达：

Q(r)=r^T(I-D-^1/2WD-^1/2)r+λ||r-sem||²                   (11)

其中，D＝Diag(D₁,D₂,…,D_nn)，sem=[sem(t_q,T₁),sem(t_q,T₂),…,sem(t_q，T_n)]^T，且T₁，T₂，…，T_n分别为与查询标签相关的图像集中相应图像的标签集。

对公式(11)进行推导可以得到：

$\frac{\∂Q}{\∂r}{|}_{r=r^{*}}=(I-D^{-1/2}{\mathrm{WD}}^{-1/2})r^{*}+\mathrm{\λ}(r^{*}-\mathrm{sem})=0---\left(12\right)$

$r^{*}=\frac{\mathrm{\λ}}{1+\mathrm{\λ}}{(I-\frac{1}{1+\mathrm{\λ}}{D}^{-1/2}{\mathrm{WD}}^{-1/2})}^{-1}\mathrm{sem}---\left(13\right)$

为避免由公式(13)中矩阵求逆而带来的复杂计算，r^*由一种迭代的方法

来求，可以证明，当迭代次数t→∞时，该迭代公式与(13)同；

相关性排序算法可以由以下四步来实现：

1)：根据公式(3)计算语义相关分值。

2)：如果i≠j根据公式(9)计算图像仿射矩阵W，否则W_ii=0。

3)：初始化r₀(x)，r₀(x)为n维列向量。初始值不影响最终结果。

4)：迭代 $r_{t+1}\left(x\right)=\frac{1}{1+\mathrm{\λ}}{D}^{-1/2}{\mathrm{WD}}^{-1/2}{r}_t\left(x\right)+\frac{\mathrm{\λ}}{1+\mathrm{\λ}}\mathrm{sem}$ 直到收敛，我们将会得到图像库的最优化排序(r^*)。

接下来，我们通过一个线性模型对上面的相关性分值和质量分值组合起来并重新排序：

R(x)=r^*(x)+q(x)                        (14)

6.该算法根据新的排序R将图像呈现给用户。

Claims (3)

1.一种基于标签检索的相关性—质量排序图像检索方法，其特征在于，包括以下步骤：

步骤1，已知查询标签为t_q，从标准图像库中抽取与查询标签t_q相关的图像集D={x₁,x₂,…,x_n}形成子图像库，然后提取子图像库的图像特征，所述图像特征包括颜色特征、纹理特征、语义特征、质量特征；其中：

1-1，颜色特征提取方法如下：

采用颜色矩特征来描述颜色特征，设图像的第I个颜色分量在第J个像素处的值是P_IJ，那么该图像颜色分量的索引项为：

$\left\{\begin{array}{c}{\mathrm{\μ}}_I=\frac{1}{N}\underset{J=1}{\overset{N}{\mathrm{\Σ}}}{P}_{\mathrm{IJ}}\\ {\mathrm{\σ}}_I=\left(\frac{1}{N}\underset{J=1}{\overset{N}{\mathrm{\Σ}}}{(P_{\mathrm{IJ}}-{\mathrm{\μ}}_I)}^2\right)\\ s_I=\left(\frac{1}{N}\underset{J=1}{\overset{N}{\mathrm{\Σ}}}{(P_{\mathrm{IJ}}-{\mathrm{\μ}}_I)}^3\right)\end{array}\right.---\left(1\right)$

其中，μ_I、σ_I和s_I分别为图像第I个颜色分量的一阶矩、二阶矩和三阶矩，N为图像的像素数目，I＝R,G，B，J＝1,2,…,N；对每幅图像提取225维颜色矩特征作为颜色特征，具体实现是将图像进行5×5分割取RGB空间每个颜色分量的前三阶矩；

1-2，纹理特征提取方法如下：

采用金字塔结构的小波变换方法和树状结构的小波变换方法对图像的频域谱特征在LL、LH、HL和HH这四个通道进行递归分解，得到完全的四叉树，形成一个128维的向量作为纹理特征；其中，LL表示水平和垂直方向上的低频分量，LH表示水平方向的低频分量和垂直方向上的高频分量，HL表示水平方向上高频分量和垂直方向上的低频分量，HH表示水平和垂直方向上的高频分量；

1-3，语义特征提取方法如下：

语义特征定义为图像x_i的标签集T_i={t₁,t₂，...,t_m}和查询标签t_q的相似性，由下式计算：

${\mathrm{sem}}_i=\mathrm{sem}(t_q,T_i)=\frac{1}{m}\underset{t\∈T_i}{\mathrm{\Σ}}s(t_q,t)---\left(2\right)$

上式中，m是图像x_i的标签数目；s(t_q，t)代表查询标签t_q和图像标签t之间的语义相关性，由下式计算：

$s(t_q,t)=\exp \{-\frac{\max [\log c\left(t_q\right),\log c\left(t\right)]-\log c(t_q,t)}{\log \left(n\right)-\min [\log c\left(t_q\right),\log c\left(t\right)]}\}---\left(3\right)$

其中，c(t_q)表示标注有查询标签t_q的图像数目，c(t)表示标注有图像标签t的图像数目，c(t_q,t)指同时标注有查询标签t_q和图像标签t的图像数目，n指与查询标签相关的图像集中所有图像数目；

1-4，质量特征的提取方法如下：

由明亮度、对比度和色彩多样性分值的线性组合来计算图像的质量特征q(x_i)：

q(x_i)=ω₁m+ω₂μ₂+ω₃En                         (4)

其中：ω₁、ω₂和ω₃是分别是明亮度、对比度和色彩多样性的权重，且ω₁+ω₂+ω₃=1；m表示图像平均灰度水平，反映图像的明亮程度；μ₂表示图像的方差，反映图像的对比度；En表示颜色熵，它是RGB颜色空间中三个颜色分量熵的乘积，反映图像的颜色多样性；

$m=\underset{k=0}{\overset{L-1}{\mathrm{\Σ}}}{z}_{k}p\left(z_k\right)---\left(5\right)$

${\mathrm{\μ}}_2\left(z\right)=\underset{k=0}{\overset{L-1}{\mathrm{\Σ}}}{(z_k-m)}^{2}p\left(z_k\right)---\left(6\right)$

$\mathrm{En}\left(I\right)=-\frac{1}{\log L}\underset{k=0}{\overset{L-1}{\mathrm{\Σ}}}p\left(k\right)\log p\left(k\right)---\left(7\right)$

$p\left(k\right)=\frac{\mathrm{hist}\left(k\right)}{\underset{J=0}{\overset{N-1}{\mathrm{\Σ}}}\mathrm{hist}\left(k\right)}---\left(8\right)$

其中，z_k是灰度级范围[0，L-1]中的第k个灰度级对应的归一化像素值，p(z_k)=n_k/N，n_k为灰度级为k的像素数目，k＝0,1,…,L-1，L一般取值为256；p(k)表示灰度级为k的像素在图像RGB分量中出现的概率；En(I)代表一个RGB分量的颜色熵，I表示RGB空间一个分量，即I＝R,G,B；hist(k)代表灰度级范围为[0,L-1]数字图像的直方图；

步骤2，视觉相似性评估；

设W为相似性矩阵，W_ij表示图像x_i和x_j之间的视觉相似性矩阵，由高斯核函数来计算：

$W_{\mathrm{ij}}=\exp (-\frac{{\left|\right|{\hat{x}}_i-{\hat{x}}_j\left|\right|}^2}{{2\mathrm{\σ}}^2})---\left(9\right)$

其中

和

表示两幅图像的低层特征向量，该向量是353维的列向量，由步骤1-1中提取的225维颜色矩特征和步骤1-2中提取的128维小波纹理特征组成，‖·‖²表示l₂范数，半径参数σ表示图像x_i和x_j间欧式距离的中值；

步骤3，相关性排序算法；

根据图像和标签的相关性对图像集自动排序，利用一个归一化框架融合图像之间的视觉一致性和图像与标签之间的语义相关性，该代价函数定义为：

$Q\left(r\right)=\underset{i,j=1}{\overset{n}{\mathrm{\Σ}}}{W}_{\mathrm{ij}}{(\frac{r_i}{\sqrt{D_{\mathrm{ii}}}}-\frac{r_j}{\sqrt{D_{\mathrm{jj}}}})}^2+\mathrm{\λ}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(r_i-{\mathrm{sem}}_i)}^2---\left(10\right)$

其中，λ＞0是归一化参数，r_i是图像x_i和查询标签t_q的相关性分值，r_j是图像x_j和查询标签t_q的相关性分值，

n代表与查询标签相关的图像集中所有图像数目；因此该代价函数可以视为解决优化问题r^*=argminQ(r)；

步骤4，通过一个线性模型对上面的相关性分值和质量分值组合起来并重新排序：

R(x)=r^*(x)+q(x)                                        (14)

步骤5，根据新的排序R将图像呈现给用户。

2.根据权利要求1所述的一种基于标签检索的相关性—质量排序图像检索方法，其特征在于：步骤3所述解决优化问题r^*=argminQ(r)具体方法如下：

首先，将公式（10）用矩阵的形式来表达：

Q(r)=r^T(I-D-^1/2WD-^1/2)r+λ||r-sem||²                   (11)

其中，D=Diag(D₁,D₂，...,D_nn)，sem=[sem(t_q，T₁),sem(t_q，T₂),…,sem(t_q,T_n)]^T，T₁，T₂，…，T_n分别为与查询标签相关的图像集中相应图像的标签集；

其次，对公式(11)进行推导可以得到：

$\frac{\∂Q}{\∂r}{|}_{r=r^{*}}=(I-D^{-1/2}{\mathrm{WD}}^{-1/2})r^{*}+\mathrm{\λ}(r^{*}-\mathrm{sem})=0---\left(12\right)$

$r^{*}=\frac{\mathrm{\λ}}{1+\mathrm{\λ}}{(I-\frac{1}{1+\mathrm{\λ}}{D}^{-1/2}{\mathrm{WD}}^{-1/2})}^{-1}\mathrm{sem}---\left(13\right)$

根据公式（13）得到图像库的最优化排序(r^*)。

3.根据权利要求1所述的一种基于标签检索的相关性质量排序图像检索方法，其特征在于：步骤3中所述解决优化问题r^*=argminQ(r)由以下步骤来实现：

步骤1)，建立迭代公式 $r_{t+1}\left(x\right)=\frac{1}{1+\mathrm{\λ}}{D}^{-1/2}{\mathrm{WD}}^{-1/2}{r}_t\left(x\right)+\frac{\mathrm{\λ}}{1+\mathrm{\λ}}\mathrm{sem};$

步骤2)，初始化r₀(x)，r₀(x)为n维列向量，初始值不影响最终结果；

步骤3)：迭代 $r_{t+1}\left(x\right)=\frac{1}{1+\mathrm{\λ}}{D}^{-1/2}{\mathrm{WD}}^{-1/2}{r}_t\left(x\right)+\frac{\mathrm{\λ}}{1+\mathrm{\λ}}\mathrm{sem}$ 直到收敛，得到图像库的最优化排序(r^*)。

Images