CN101556600B - 一种dct域上的图像检索方法 - Google Patents

Abstract

本发明为一种DCT域上的图像检索方法，其特征在于包括以下步骤：确定主颜色模糊隶属度函数和纹理模糊隶属度函数；选取拟检索图像的主颜色特征块；根据主颜色模糊隶属度函数和主颜色特征块，提取主颜色模糊直方图特征，得到主颜色特征向量K；选取纹理特征块；根据纹理模糊隶属度函数和纹理特征块，提取纹理模糊直方图特征，得到纹理特征向量TK；综合主颜色特征向量和纹理特征向量，得到表达图像检索特征的综合向量Key＝[K，TK]；以拟检索图像的图像检索特征为索引，与图像库中的图像进行匹配检索。本发明检索特征表达简单、计算量少、适用性强，可应用于基于内容的图像检索。

Description

一种DCT域上的图像检索方法

技术领域

本发明涉及计算机视觉、图像处理领域，特别涉及一种DCT(离散余弦变换)域上的图像检索方法。

背景技术

自1990年以来，人们提出了基于内容的图像检索(Content Based ImageRetrieval，简称CBIR)技术，即由计算机自动提取图像内容的特征，如颜色、纹理、形状等，根据这些特征编制图像索引，计算查询图像和数据库中图像的相似距离，按相似性匹配进行检索。

颜色信息是在图像检索中应用最广泛的底层特征，Swain于1991年提出了基于颜色特征的图像检索，其核心思想是在某个颜色空间上对图像中各种颜色出现的频数进行统计，然后采用颜色直方图来度量两幅图像颜色的相似性。Pass等人提出了以图像的颜色聚合矢量CCV(Color Coherence Vector)作为图像的特征。它是图像直方图的一种演变，其主要思想是：如果图像中相近的颜色像素所占据的连续区域的面积大于给定的阈值时，该区域中的像素为聚合像素，否则为不聚合像素，然后统计图像中每种颜色的这两种类型的像素所占的比例，形成颜色聚合向量，作为图像的索引。Stricker和Orengo提出累计颜色直方图方法，并且提出了颜色矩(color moments)方法，他们认为颜色分布信息主要集中在低阶矩，因此主要采用颜色的一阶矩(mean)、二阶矩(variance)和三阶矩(skewness)来表达图像的颜色分布。

以上方法提取的是整幅图像的颜色分布信息，都用到直方图技术，但是这种直方图过于粗糙，也没有利用到图库中图像颜色的分布信息。

纹理是重要的视觉特征之一，它反映了图像可视表面的基本性质。有几种经典的图像纹理分析方法：空间自相关函数法、傅立叶功率谱法、灰度共生矩阵法，除此之外，Tamura等发展了一种心理学中重要的纹理视觉特征的计算方法。这些纹理特征包括：粗糙度、对比度、方向性、似线性、规则性和非光滑性。在过去的20多年里，随机场模型、特别是马尔可夫模型是非常流行的研究纹理特征的方法。SAR纹理就是一种基于马尔可夫模型的纹理特征。Gaborfilter纹理分析法，该方法是使用Gobor变换后提取图像的纹理特征。小波纹理分析法，一般的，先将图像转为灰度图然后对此灰度图进行小波变换。之后，可以简单的取变换后图的每个子块的方差组成小波纹理特征。

上述纹理特征的表达方法都是在图像的空间域上提取纹理特征，而大量的图像以压缩的形式储存，把图像从压缩域转换到空间域上进行特征提取的方法复杂性很高。

发明内容

为克服现有技术的缺陷，本发明的目的在于提出一种DCT域上图像检索的方法，在DCT域上提取主颜色和纹理特征，将主颜色特征和纹理特征综合，表达拟检索图像的图像检索特征；图像检索特征表达简单，计算量少，检索效率高，检索结果准确。

本发明的目的通过下述技术方案实现：一种DCT域上的图像检索方法，其特征在于包括以下步骤：步骤1，确定主颜色模糊隶属度函数和纹理模糊隶属度函数；步骤2，选取拟检索图像的主颜色特征块；步骤3，求步骤2所选取的主颜色特征块的Y、Cr、Cb三个空间的颜色均值，代入步骤1中所确定的主颜色模糊隶属度函数，得到函数值，提取主颜色模糊直方图特征，得到主颜色特征向量K；步骤4，选取拟检索图像的纹理特征块；步骤5，求步骤4所选取的纹理特征块的竖直、水平、对角三个方向的频率变换幅度，代入步骤1中所确定的纹理模糊隶属度函数，得到函数值，提取纹理模糊直方图特征，得到纹理特征向量TK；步骤6，综合步骤3得到的主颜色特征向量和步骤5得到的纹理特征向量，得到表达图像检索特征的综合向量Key＝[K，TK]；步骤7，以拟检索图像的图像检索特征为索引，与图像库中的图像进行匹配检索；

步骤1包括以下步骤：步骤11，选取训练图库，分别确定Y、Cb及Cr空间分量的主颜色方差阈值T(Y)、T(Cb)、T(Cr)，在Y空间颜色方差阈值T(Y)基础上，确定纹理方差阈值T(TY)＝T(Y)-100；步骤12，选取Y、Cr及Cb空间分量方差都分别小于T(Y)、T(Cr)、T(Cb)的DCT子块，计算并保留该子块的Y空间颜色均值m₁、Cb空间颜色均值m₂、Cr空间颜色均值m₃，进一步得到各自的主颜色聚类中心；步骤13，Y、Cr及Cb空间分量分别以各自的主颜色聚类中心构造主颜色模糊隶属度函数；步骤14，选取Y空间分量方差大于纹理方差阈值T(TY)的子块，分别求该子块在水平、竖直和对角三个方向的频率变化幅度t₁、t₂、t₃，进一步得到各自的纹理聚类中心；步骤15，在竖直、对角和水平三个方向分别以各自的纹理聚类中心构造纹理模糊隶属度函数；

步骤2为：选取Y、Cr及Cb空间分量方差都分别小于主颜色方差阈值T(Y)、T(Cr)、T(Cb)的DCT子块，作为主颜色特征块；

步骤4为：选取Y空间分量方差大于纹理方差阈值T(TY)的DCT子块，作为纹理特征块。

本发明的检索原理为：考虑到以下因素：(1)每个图库都有自己的颜色和纹理分布特点，所以利用抽取部分图片作为训练集来确定方差阈值和各个聚类中心，(2)用模糊逻辑更符合人的判断方式，(3)纹理特征的提取是用模糊直方图来描述水平、竖直、对角三个方向的频率变化特征。因而在获取图像检索特征进而检索图像时，首先通过计算找到拟检索图像在DCT域上的主颜色块和纹理块，然后对主颜色块，计算其YCrCb三个子空间的颜色均值，以分块的方差作为筛选的标准，进一步用基于聚类的模糊直方图来刻画主颜色特征；对DCT纹理子块，计算其水平、竖直、对角三个方向的频率变化幅度，用基于聚类的模糊直方图来刻画纹理特征；将主颜色特征向量和纹理特征向量综合，表达拟检索图像的图像检索特征；最后以拟检索图像的图像检索特征为索引，与图像库中的图像进行匹配检索。

从以上技术方案和检索原理可知，本发明与现有技术相比具有如下的优点及有益效果：

(1)本发明将聚类和模糊隶属度函数引入检索特征的提取中，图像检索特征表达简单，计算量少。与传统图像检索特征表达方法相比，本方法直接，计算简单，效率较高，避免了由DCT域到空间域上的IDCT过程。

(2)由于在特征提取开始之前，先在图像库中选取图片进行训练，使得后面阈值的确定，和模糊直方图的构造更考虑到图库中图像颜色和纹理的分布特征，可应用于基于内容的图像检索。

(3)由于引进了模糊逻辑，使得在提取直方图特征的时候更加精细。

(4)综合利用了图像的主颜色特征和纹理特征，使得图像检索结果更准确。

(5)本方法通过java实现，适应性强，便于推广和移植。

附图说明

图1是本发明的基本流程图；

图2是Y空间的模糊隶属度函数；

图3是Cr、Cb空间的模糊隶属度函数；

图4是8*8DCT块的左上角4*4的AC系数矩阵；

图5是纹理特征三个方向的模糊隶属度函数；

图6是用于图像检索的一个查询接口；

图7是使用本发明完成的一个查询实例；

图8是使用本发明完成的另一个查询实例；

图9是使用本发明完成的50个查询示例的统计表。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

本发明为一种DCT域上的图像检索方法，其基本流程如图1所示，实施过程具体包括下述步骤：

步骤1，确定主颜色模糊隶属度函数和纹理模糊隶属度函数。本步骤又分为如下步骤11-15：

步骤11，选取训练图库，确定主颜色方差阈值和纹理方差阈值。

首先，从图像库中随机选取n张图片，其中

而m为图像库中图像的数目。如果图像库有特定的类别，则最好是每个类选n₁张，其中

m₁为该类别的数目。

接下来，以DCT块的方差统计直方图：将Y空间方差空间分为[0，200]、[200，300]、[300，400]、[400，500]、[500，600]、[600，+∞)6个子空间。然后对训练图库中的每幅图片的Y空间分量的DCT子块计算其方差，其中方差计算公式为：

${\mathrm{\μ}}_1=\frac{1}{64}\underset{\underset{u*v\≠0}{u=0,v=0}}{\overset{7}{\mathrm{\Σ}}}{C}^2(u,v)$

其中C(u，v)就是8*8矩阵DCT子块的u行v列对应的系数。方差落在哪个空间，那么该空间的计数就加1。最后得到Y空间直方图：

[YH₁，YH₂，YH₃，YH₄，YH₅，YH₆]

其中YH_i(1≤i≤6)代表着训练图库中，所有Y空间方差的值落在第i个子空间的子块总数。另有：

y₁，y₂，y₃，y₄，y₅，y₆

其中y₁＝0，y₂＝200，y₃＝300，y₄＝400，y₅＝500，y₆＝600。此时，将直方图从前往后累加，直到前面的累加结果所占的比重大于0.7，进而确定Y空间分量的主颜色方差阈值T(Y)为：

同样可以确定Cr和Cb空间分量的主颜色方差阈值T(Cr)、T(Cb)。然后对方差小于方差阈值T(Y)、T(Cr)、T(Cb)的子块保留用于主颜色特征的提取。由于Y空间包含了图像的大部分能量，在Y空间的颜色方差阈值基础上，确定纹理方差阈值T(TY)为：

T(TY)＝T(Y)-100

然后对方差大于方差阈值T(TY)的子块保留用于纹理特征提取。设定这样的阈值主要是为了能够根据图像库的纹理分布特性，自动的去确定。

步骤12，确定主颜色聚类中心。

在上面训练图库中，以Y空间为例，依次求出每幅图像的每个DCT子块的方差。选取Y空间分量方差小于Y空间主颜色方差阈值T(Y)的子块，计算该子块的颜色均值m₁，计算公式为：m₁＝C(0，0)/8，其中C(0，0)为DCT子块Y空间分量上的左上角的值。然后，保留该子块的Y空间的颜色均值，作为聚类样本集的一个样本。在这个样本集上聚类，将样本聚成7个类，最后得到7个Y空间聚类中心：YC₁、YC₂、YC₃、YC₄、YC₅、YC₆、YC₇。

同样求出DCT子块在Cr空间分量上的颜色均值m₂，然后将它们作为Cr空间样本集的一个样本；同样求出DCT子块在Cb空间分量上的颜色均值m₃，然后将它们作为Cb空间样本集的一个样本。只不过这两个空间分量就只聚成3个类，得到3个Cr空间聚类中心：CrC₁、CrC₂、CrC₃；和3个Cb空间聚类中心：CbC₁、CbC₂、CbC₃。

步骤13，确定主颜色模糊隶属度函数。

Y、Cr、Cb三个空间分量分别以各自的聚类中心构造隶属度函数，Y空间的模糊隶属度函数如图2所示，Cr、Cb的模糊隶属度函数如图3所示。具体做法以Y空间为例来说，在步骤12所得到的7个Y空间聚类中心中，取三个相邻的聚类中心YC_i-1、YC_i、YC_i+1，并令：

那么隶属度函数就为：

$y=f\left(x\right)=\left\{\begin{array}{cc}0& 0\&le;x<a\\ (x-a)/(b-a)& a\&le;x<b\\ 1& b\&le;x<c\\ (d-x)/(d-c)& c\&le;x<d\\ 0& x\&GreaterEqual;d\\ & \end{array}\right.$

对于最左边的模糊隶属度函数，取最左边的两个中心YC₁、YC₂，计算a、b，方法同上，隶属度函数为：

$y=f\left(x\right)=\left\{\begin{array}{cc}1& 0\&le;x<a\\ (x-a)/(b-a)& a\&le;x<b\\ 0& x\&GreaterEqual;b\end{array}\right.$

对于最右边的模糊隶属度函数，取最左边的两个中心YC₆、YC₇，计算c、d，方法同上，隶属度函数为：

$y=f\left(x\right)=\left\{\begin{array}{cc}0& 0\&le;x<c\\ (d-x)/(d-c)& c\&le;x<d\\ 1& x\&GreaterEqual;d\end{array}\right.$

步骤14，确定纹理聚类中心。

在训练图库中，在Y空间上，选取DCT子块的Y空间分量方差大于纹理阈值的子块，取其左上角的15个参数，分为水平、竖直和对角三个方向，求频率变换幅度t₁，t₂，t₃：

$t_1=\sqrt{A{C}_{01}^2+A{C}_{02}^2+{\mathrm{AC}}_{03}^2+{\mathrm{AC}}_{12}^2+{\mathrm{AC}}_{13}^2}/5;$

$t_2=\sqrt{A{C}_{11}^2+A{C}_{22}^2+{\mathrm{AC}}_{23}^2+{\mathrm{AC}}_{32}^2+{\mathrm{AC}}_{33}^2}/5;$

$t_3=\sqrt{A{C}_{10}^2+A{C}_{20}^2+{\mathrm{AC}}_{30}^2+{\mathrm{AC}}_{21}^2+{\mathrm{AC}}_{31}^2}/5;$

其中，AC₀₁、AC₀₂、AC₀₃、AC₁₁、AC₁₂、AC₁₃、AC₁₀、AC₂₀、AC₃₀、AC₂₁、AC₂₂、AC₂₃、AC₃₁、AC₃₂、AC₃₃为该DCT子块左上角4*4矩阵的15个AC系数，如图4所示；AC₀₁、AC₀₂、AC₀₃、AC₁₂、AC₁₃刻画8*8子块的水平方向频率变化特征，AC₁₀、AC₂₀、AC₃₀、AC₂₁、AC₃₁刻画子块的竖直方向频率变化特征，用AC₁₁、AC₂₂、AC₂₃、AC₃₂、AC₃₃刻画子块在对角方向上的频率变化特征。

然后将所有t₁，t₂，t₃作为训练样本，将这三个样本集各自聚类，在竖直、对角和水平三个方向上各得到4个聚类中心：ThC₁、ThC₂、ThC₃、ThC₄；TvC₁、TvC₂、TvC₃、TvC₄；TdC₁、TdC₂、TdC₃、TdC₄。

步骤15，确定纹理模糊隶属度函数。

竖直、对角和水平三个方向分别以各自的4个聚类中心构造隶属度函数，如图5所示，得到12个隶属度函数。模糊隶属度函数的确定方法与确定主颜色模糊隶属度函数方法一样。

步骤2，选取拟检索图像的主颜色特征块。

对拟检索图像的DCT子块，计算出所有DCT子块对应于Y空间、Cr空间，Cb空间三分量的方差，方差计算方法与步骤11中方法一样；然后选取三个方差都分别小于T(Y)、T(Cr)、T(Cb)的DCT子块，并保留下来，作为主颜色特征块，用于提主颜色特征。

步骤3，提取主颜色模糊直方图特征。

对图像中被保留下来的DCT子块，求该DCT子块的颜色均值m₁、m₂、m₃。将m₁代入Y空间的7个隶属度函数，得到在各个隶属度函数上的取值：Y₁、Y₂、Y₃、Y₄、Y₅、Y₆、Y₇。将m₂代入Cr空间的3个隶属度函数，得到在各个隶属度函数上的取值：Cr₁、Cr₂、Cr₃。将m₃代入Cb空间的3个隶属度函数，得到在各个隶属度函数上的取值：Cb₁、Cb₂、Cb₃。

这样，特征向量的第(i-1)*3*3+(j-1)*3+k个分量就加上Y_i*Cr_j*Cb_k的1/3次方。这样对一幅图片就可以提取一个63维的特征向量，记主颜色特征向量为K＝[k₁，k₂，…，k₆₃]。

步骤4，选取纹理特征块。

对拟检索图像的DCT子块，计算出所有DCT子块在Y空间上的方差，保留方差大于纹理阈值T(TY)的DCT子块，用于提取纹理特征。

步骤5，提取纹理模糊直方图特征。

对图像中被保留下来的纹理子块，求竖直、水平、对角三个方向频率变化幅度t₁，t₂，t₃；将t₁代入竖直方向的四个隶属度函数，得到在各个隶属度函数上的取值：tv₁、tv₂、tv₃、tv₄。将t₂代入水平方向的四个隶属度函数，得到在各个隶属度函数上的取值：th₁、th₂、th₃、th₄。将t₃代入对角方向的四个隶属度函数，得到在各个隶属度函数上的取值：td₁、td₂、td₃、td₄。

这样，特征向量的第(i-1)*4*4+(j-1)*4+k个分量就加上tv_i*th_j*td_k的1/3次方，这样对一幅图片就可以提取一个64维特征向量，记纹理特征向量为TK＝[tk₁，tk₂，…，tk₆₄]。

步骤6，综合主颜色特征向量和纹理特征向量，表达图像检索特征。

用上面得到的主颜色特征向量和纹理特征向量合成一个127维的综合向量Key＝[K，TK]，即Key＝[k₁，k₂，…，k₆₃，tk₁，tk₂，…，tk₆₄]，表达图像检索特征。将本发明方法用于基于内容的图像检索，定义相似度为：

$\mathrm{Dist}({\mathrm{Key}}_A,{\mathrm{Key}}_B)=(1-\mathrm{op})*\underset{i=1}{\overset{63}{\mathrm{\&Sigma;}}}\min (\frac{k_i^A}{\underset{i=1}{\overset{63}{\mathrm{\&Sigma;}}}{k}_i^A},\frac{k_i^B}{\underset{i=1}{\overset{63}{\mathrm{\&Sigma;}}}{k}_i^B})+\mathrm{op}*\underset{i=1}{\overset{64}{\mathrm{\&Sigma;}}}\min (\frac{{\mathrm{tk}}_i^A}{\underset{i=1}{\overset{64}{\mathrm{\&Sigma;}}}{\mathrm{tk}}_i^A},\frac{{\mathrm{tk}}_i^B}{\underset{i=1}{\overset{64}{\mathrm{\&Sigma;}}}{\mathrm{tk}}_i^B})$

其中op为一个0到1的数，即0≤op≤1，在表达图像检索特征时，用于确定两个特征的权重。其中，对向量进行了归一化处理，使方法具有尺度不变性。

步骤7，以拟检索图像的图像检索特征为索引，与图像库中的图像进行匹配检索。

考虑到运行效率和移植性，本发明选择java和jsp来实现，不过也非常容易用其他开发语言来实现。图6是采用本发明开发的一个交互界面，通过上传查询图和确定主颜色特征和纹理特征的比重op，进行查询。用于实施本发明的硬件环境是CPU Pentium(R)4、512M内存，运行环境是WindowXP、java、jsp，数据库是SQLServer 2000。使用的图像是用爬虫程序在新浪新闻上爬取10000张图片。

采用本发明开发的检索系统中，只返回相似度大于0.8的前20个结果，如果比20个结果少，那么就只返回相似度大于0.8的结果。图7为本发明用于图像检索的一个查询示例，左上角为查询图片，下面的16张为返回的16个结果，op取1，为只用纹理特征表达查询。图8为本发明用于图像检索的一个查询示例，左上角为查询图片，下面的10张为返回的10个结果，op取0.3，综合使用主颜色和纹理特征表达查询。此外，采用本发明开发的检索系统，还在具有1000张图片、十个类别的图库中，对图像进行了检索(图库来源：http://wang.ist.psu.edu/docs/related/)：在该图库上每个类选取5张图片，共50张图片作为查询图，权重取0.3，查询结构统计表如图9所示。从图7-9所示的检索效果来看，本发明方法对于图像检索很有效。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (2)

1.一种DCT域上的图像检索方法，其特征在于包括以下步骤：

步骤1，确定主颜色模糊隶属度函数和纹理模糊隶属度函数；

步骤2，选取拟检索图像的主颜色特征块；

步骤3，求步骤2所选取的主颜色特征块的Y、Cr、Cb三个空间的颜色均值，代入步骤1中所确定的主颜色模糊隶属度函数，得到函数值，提取主颜色模糊直方图特征，得到主颜色特征向量K；

步骤4，选取拟检索图像的纹理特征块；

步骤5，求步骤4所选取的纹理特征块的竖直、水平、对角三个方向的频率变换幅度，代入步骤1中所确定的纹理模糊隶属度函数，得到函数值，提取纹理模糊直方图特征，得到纹理特征向量TK；

步骤6，综合步骤3得到的主颜色特征向量和步骤5得到的纹理特征向量，得到表达图像检索特征的综合向量Key＝[K，TK]；

步骤7，以拟检索图像的图像检索特征为索引，与图像库中的图像进行匹配检索；

步骤1包括以下步骤：

步骤11，选取训练图库，分别确定Y、Cb及Cr空间分量的主颜色方差阈值T(Y)、T(Cb)、T(Cr)，在Y空间主颜色方差阈值T(Y)基础上，确定纹理方差阈值T(TY)＝T(Y)-100；

步骤12，选取Y、Cr及Cb空间分量方差都分别小于T(Y)、T(Cr)、T(Cb)的DCT子块，计算并保留该子块的Y空间颜色均值m₁、Cb空间颜色均值m₂、Cr空间颜色均值m₃，得到各自的主颜色聚类中心；

步骤13，Y、Cr及Cb空间分量分别以各自的主颜色聚类中心构造主颜色模糊隶属度函数；

步骤14，选取Y空间分量方差大于纹理方差阈值T(TY)的子块，分别求该子块在水平、竖直和对角三个方向的频率变换幅度t₁、t₂、t₃，得到各自的纹理聚类中心；

步骤15，在竖直、对角和水平三个方向分别以各自的纹理聚类中心构造纹理模糊隶属度函数；

步骤2为：选取Y、Cr及Cb空间分量方差都分别小于主颜色方差阈值T(Y)、T(Cr)、T(Cb)的DCT子块，作为主颜色特征块；

步骤4为：选取Y空间分量方差大于纹理方差阈值T(TY)的DCT子块，作为纹理特征块。

2.根据权利要求1所述的DCT域上的图像检索方法，其特征在于：主颜色特征向量为K＝[k₁，k₂，…，k₆₃]，纹理特征向量为TK＝[tk₁，tk₂，…，tk₆₄]，Key＝[k₁，k₂，…，k₆₃，tk₁，tk₂，…，tk₆₄]；图像相似度定义为：

$\mathrm{Dist}({\mathrm{Key}}_A,{\mathrm{Key}}_B)=(1-\mathrm{op})*\underset{i=1}{\overset{63}{\mathrm{\&Sigma;}}}\min (\frac{k_i^A}{\underset{i=1}{\overset{63}{\mathrm{\&Sigma;}}}{k}_i^A},\frac{k_i^B}{\underset{i=1}{\overset{63}{\mathrm{\&Sigma;}}}{k}_i^B})+\mathrm{op}*\underset{i=1}{\overset{64}{\mathrm{\&Sigma;}}}\min (\frac{{\mathrm{tk}}_i^A}{\underset{i=1}{\overset{64}{\mathrm{\&Sigma;}}}{\mathrm{tk}}_i^A},\frac{{\mathrm{tk}}_i^B}{\underset{i=1}{\overset{64}{\mathrm{\&Sigma;}}}{\mathrm{tk}}_i^B})$

其中0≤op≤1。

Images