CN103699578B - 一种基于谱图分析的图像检索方法 - Google Patents

Abstract

本发明提供一种基于谱图分析的图像检索方法，包括五个步骤：基于线性迭代的层次化超像素分割，通过层次化超像素分割提取和去除图像的冗余，减少图像处理的复杂性；二维图像上的双调和距离定义，通过统计图像的双调和距离分布来描述图像的局部结构特征；基于谱聚类的图像子块划分，通过谱聚类方法可融入更多的图像内蕴结构特征信息，得到的图像子块划分比单纯的超像素更具视觉意义；基于词袋模型的图像描述子设计，通过对图像特征出现的频率进行统计分析来描述图像的组成成分及其整体结构。基于谱图分析图像描述子的检索，通过实际的图像检索结果来验证本发明的有效性。本发明设计的图像检索方法，具有区分能力好，灵活性强的特点。

Description

一种基于谱图分析的图像检索方法

技术领域

本发明通过将局部特征度量与图像的全局谱图分析相结合，设计一种融合物体信息和图像全局信息图像描述子的图像检索方法，并使得该描述子具有尺度不变性和非刚性形变不变性，以满足图像检索和匹配的需求。

背景技术

人类获取的信息有83%来自视觉，11%来自听觉，其他来自嗅觉、触觉和味觉，并且人们对图像所传达的丰富信息接受的最为充分、保持的记忆时间也最长。虽然图像包罗万象、种类繁多，但是人们一般可以本能地分析出图像的内容结构并对其加以利用，在生物医学、安保、刑事侦查、平面设计和媒体娱乐等领域，人们已经在潜移默化地利用蕴含在图像集间的内容相关性，来辅助图像分割、病灶匹配、视频监控、对象跟踪识别和图像检索等“读图”分析工作。

特别地，随着X光、CT、MRI、PET等医学成像技术的快速发展，在日常的临床诊断中，每天都会产生和涉及大量的医学图像。例如：医生在根据医学图像进行病情研究时，往往需要检索出相关病因的临床医学图像进行比对分析；同一病人在不同时期所产生临床影像也需要进行配准，以便医生能更直观、准确的判断病情的发展变化；不同病人同类病灶的成因和特点分析需要能自动从医学图像中检测出相关的病灶区域。

但是在目前的医疗诊断中，病原体主要通过医生的经验来发现，工作量大，且诊断结果与医生的临床经验密切相关。而借助计算机的辅助，对这些医学影像进行处理，可以为医生的诊断和治疗工作提供很大的帮助。在计算机辅助手术中，外科医生可以根据配准的CT/MR/DSA图像精确定位病灶及周围相关的解剖结构信息，设计出缜密的手术计划。因而，从计算机辅助诊断角度而言，这在图像检索、图像配准及病灶的计算机辅助诊断等领域对物理意义明确且具有强区分能力的图像描述子的设计提出了迫切的需求。

然而，从图像描述子的设计角度来看，尽管以SIFT（Scale Invariant FeatureTransform）、SURF（Speeded Up Robust Features）、HOG（Histograms of OrientedGradients）为代表的图像局部特征描述子已经可以取得较为精确的特征配准和匹配效果，但是这类描述子大都是针对图像的像素特征进行设计的，描述子中只编码了图像的局部信息分布，因而很难直接用于描述病灶、甚至整张图像这类大尺度对象。同时，由于采集设备、物体非刚性形变、尺度差异、局部遮挡和噪声干扰等因素的影响，这要求描述子必须能够对图像中物体的非刚性形变进行支持。因此，这势必要求在对图像描述子的设计过程中，要能够将图像的局部特征和全局特征进行融合，并将其以一种不变量的形式定量编码到图像描述子中。

在此背景下，结合课题组已有的相关技术基础，本发明以设计紧凑、鲁棒、信息量丰富的图像描述子为目标，并以自然图像集的检索应用作为描述子的验证手段，通过算法集成来设计并实现一个自然图像检索工具，可为将来先验知识融合的医学图像描述子设计提供总体算法思路的前期验证。同时，本发明的研究与实现，对以更加智能化的方式，辅助人们实现对图像信息的感知、分析、探索和洞悉具有重要的实际意义。

发明内容

本发明解决的技术问题是：克服了现有的局部描述子特征描述能力的不足，并通过结合使用词袋模型的方法，设计一种特征描述子，并提供了一种基于谱图分析的图像检索方法。满足了对图像检索的需要。

本发明采用的技术方案为：一种基于谱图分析的图像检索方法，包括以下五个步骤：

步骤（1）、基于线性迭代聚类的层次化超像素分割：超像素分割将在颜色和空间上相似的点聚集在一起。在本发明中使用两种分割数目的超像素。一种超像素分割为物体级别分割，用来为谱聚类的构建相似度矩阵，另一种为细节级别分割，用来计算双调和距离构成每一部分的特征描述；

步骤（2）、基于双调和距离度量的图像特征描述：与常用的测地距离、扩散距离等相比，双调和距离不仅可以获取局部的拓扑结构，而且可以得到全局的形状。因此我们使用超像素之间的双调和距离作为特征的度量；

步骤（3）、基于谱聚类的图像特征分析：基于之前物体级别的超像素，使用谱聚类来对超像素进行聚类，得到更加具有语义级别的分类；

步骤（4）、基于词袋模型的图像描述子设计：将图像作为“文档”，图像中的每一部分作为一个“词”，通过对许多图像中的“词”进行分类，构建“词典”，其中每个“词”都属于一个词典。对每一幅图像进行词频的统计，得到图像描述子；

步骤（5）、图像检索实验：对图像库中的图像进行计算，每一幅图像都获得一个图像描述子。给定一张新的图像，通过上述方法对图像进行计算，得到新的描述子。然后将描述子与图像库中的描述子进行距离度量，来检索与新图像最为匹配的图像。

本发明的原理在于：

（1）为了提取和去除图像的冗余，大幅度地减少随后图像处理任务的复杂性，本发明通过线性迭代聚类的层次化超像素分割来从图像中物体的整体特征和图像的细节特征描述图像，同时为下面图像的处理打好基础。

（2）为了描述物体级别的图像特征，本发明通过使用双调和距离来衡量超像素之间的相似性，并使用谱聚类的方法将相似的超像素聚集在一起，形成描述的整体，并构成图像内部的描述子。

（3）为了对图像的整体进行描述，本发明通过使用词袋模型的方法，将文章检索的思路应用到图像检索中，通过对图像局部特征的统计，设计出一种更加紧凑和有意义的描述子，利用描述子进行图像之间的比较。

本发明与现有技术相比的有点在于：

1、本发明提出的基于线性迭代聚类的谱聚类层次化方法，一方面实现简单，速度快，并且能够控制分割超像素的数目，另一方面也为后续图像处理步骤打下了基础。

2、对比已有的图像检索方法，本发明提出的基于谱图分析的图像检索方法，通过定义具有等距形变不变性和鲁棒性的双调和距离度量，并将其与词袋模型相结合，设计并实现了一种紧凑的图像描述子，该描述子可将图像的局部结构信息及其全局概率分布进行充分融合，描述图像的内容分布。

3、本发明提出的基于双调和距离的谱聚类分析，通过描绘局部和全局信息的双调和距离，分析超像素之间的相似性，谱聚类将相邻且相似的超像素聚集在一起，形成更具视觉意义的图像分块。

附图说明

图1为基于谱图分析的图像检索方法的处理流程图；

图2为超像素分割的流程图；

图3为超像素分割的效果示意图；

图4为三角化效果示意图；

图5为双调和距离效果示意图；

图6为谱聚类效果示意图；

图7为基于词袋模型的算法处理流程图；

图8为图像词频统计示意图；

图9为最终图像检索结果的示意图。

具体实施方式

图1给出了基于谱图分析的图像检索方法的总体处理流程，下面结合其他附图及具体实施方式进一步说明本发明。

本发明提供一种基于谱图分析的图像检索方法，主要步骤介绍如下：

1、基于线性迭代聚类的层次化超像素分割

基于线性迭代的超像素分割，根据颜色的相似性和图像平面位置的相近性，不断通过简单的线性聚类，将图像划分为多个子区域，构成超像素。

为了考虑图像颜色和平面位置的相似性，使用五维空间（Labxy）来进行线性迭代聚类。其中Lab为像素点在CIELAB色彩空间的颜色向量，它的特点是在颜色接近的情况下数值能够均匀变化，而xy为像素所在的平面位置。在此基础之上，根据Labxy的五维向量空间，通过不断聚集颜色和空间相似的像素点来达到划分超像素的目的。

首先，在基于线性迭代聚类的超像素分割方法中，我们需要指定划分超像素的大致数目K，对于一幅有N个像素点的图像，每个超像素大致包含N/K个像素点。对于大致相等大小的超像素，在每个网格间隔上放置一个中心点。初始情况下，根据网格间隔在图像中平均放置指定个数的中心点。将中心点移动到一个3×3领域内最低梯度的位置，这样可以避免将中心点放在边界或者噪声点的位置。图像梯度可以通过如下公式计算。其中I(x,y)为位于平面位置(x,y)相应的像素点的Lab向量。

G(x，y)=‖I(x+1，y)-I(x-1，y)‖²+‖(I(x，y+1)-I(x，y-1)‖²

其中G(x,y)为x,y坐标位置下图像的梯度，I(x,y)为在x,y坐标位置下图像的lab色彩空间的向量。

我们以计算出的中心点位置作为初始中心点x、y的值，以中心点位置对应像素点的颜色作为初始中心点的L、a、b值。

由于空间中任意超像素的范围大致为S²，因此我们可以放心地假设跟中心点相关的像素点都在一个2S×2S的xy平面区域内。在之后我们进行超像素聚类的过程中，2S×2S的xy平面区域将成为最靠近每一个中心点的相似点的搜索区域。

在基于线性迭代聚类的超像素分割方法中，我们通过五维空间的欧拉距离来度量像素点之间的距离，距离D_s可以通过如下公式得到：

$d_{\mathrm{lab}}=\sqrt{{(l_k-l_t)}^2+{(a_k-a_t)}^2+{(b_k-b_t)}^2}$

$d_{\mathrm{xy}}=\sqrt{{(x_k-x_t)}^2+{(y_k-y_t)}^2}$

$D_s=d_{\mathrm{lab}}+\frac{m}{S}{d}_{\mathrm{xy}}$

其中d_lab为lab色彩空间的距离，d_xy为图像平面坐标位置的距离，D_s为度量的像素点之间的距离。l、a、b分别为lab色彩空间的三个值，x、y分别为像素的平面坐标值。m为超像素的紧凑性，m越大，则空间距离的紧凑性越大，S为网格间隔。

我们将每一个像素点都划分到指定的类别。对于每一个类别，我们通过计算所属类别的像素集颜色和空间坐标的平均值，即Lab色彩空间的L、a、b值和平面空间的x、y值的平均，作为新中心点的颜色和位置。

为了描述图像的整体构造，我们对超像素进行层次化分割，其中较为精细的超像素分割，主要是为了在后续进行谱聚类后，用于描述图像子块的纹理结构。多个细致分割的超像素可以看作一个粗糙分割超像素的整体，是一对多的关系。在后续中，我们将用多个细致分割的超像素来描述图像一部分的特征。

2、基于双调和距离度量的图像特征描述

首先，为了计算超像素的双调和距离，构建三角形辅助网格。对于每一个超像素，都有一个中心点，每个中心点代表该超像素的颜色和位置。每一个中心点的坐标x、y，以中心点的颜色为z轴，构建三维网格，将所有超像素中心点三角化。

得到的三维网格后，计算超像素之间的双调和距离。双调和距离的描述子类似于扩散距离和通勤时间距离，但是建立在双调和差分公式的格林函数基础上。双调和距离的平方可以简单地使用Laplace-Beltrami算子的特征向量和特征值定义如下：

d_B(x,y)为x,y之间的双调和距离，为x处第k个特征向量，λ_k为第k个特征值。

展开后，我们得到如下公式：

$=g_B(x,x)+g_B(y,y)-2g_B(x,y)$

g_B(x,y)为x和y之间的使用双调和算子△²的格林函数。

为了近似双调和距离，我们可以按照扩散距离的标准方法近似，也就是，通过取前K个公式中的被加数来近似d_B(x，y)。在最后，我们计算离散拉普拉斯的前K个特征向量，也就是求解广义特征值的问题距离d_B(x，y)使用截断总和可近似为如下公式：

由于双调和距离描述图像局部和全局的距离度量，因此使用超像素的双调和距离的概率分布作为图像描述的度量。

3、基于谱聚类的图像特征分析

得到了图像的双调和距离之后，我们将图像的每一个超像素看作图中的一个节点，而超像素与超像素之间的关系看作连接节点之间带权重的边，用双调和距离和颜色作为权重代表超像素之间的相似性公式如下：

w_lm＝exp(-λ_d‖d^m-d^l‖²-λ_c‖c^m-c^l‖²)

其中d^m为超像素m的双调和距离概率分布向量，c^m代表超像素m的颜色，为R、G、B颜色向量。λ_d为双调和距离概率分布参数，λ_c为颜色参数。在具体的实验中，我们设置λ_d和λ_c分别0.5、0.5，即双调和距离和颜色的影响基本相同。

根据公式建立图像的相似性矩阵及拉普拉斯矩阵，使用雅克比方法求解拉普拉斯矩阵L的特征值和特征向量，在这里选择得到前k个按特征值从小到大排列的对应的特征向量排列在一起组成一个N×k的矩阵，其中每一行看作k维空间中的一个向量。对向量进行k-means聚类，聚类的结果中每一行所属的类别就是原来相似度矩阵中的节点，即最初图像中N个超像素所属的类别。

最后，计算属于同一部分任意两个超像素的距离。图像的一部分包含N个超像素，则我们需要统计距离的数目为并对所有距离做概率分布统计，作为该部分的描述子。为了进一步体现颜色的影响，我们将颜色也放入描述子中，作为描述图像特征的一部分。

4、基于词袋模型的图像描述子设计

在词袋模型中，首先，将图像库中的所有图片进行特征提取和描述聚类，得到中心点。然后根据中心点为每一张图像生成向量直方图。给定一张新的图像进行特征提取与描述，与中心点进行比较得到向量直方图。最后根据生成的向量直方图来进行图像的检索。

对于图像库中的每一幅图像，我们已经进行了分割，并且每一部分都计算得到一个描述子作为图像每一部分的特征描述。为了在所有图像中提取有代表性的特征，我们对所有图像的所有特征进行k-means聚类。通过k-means聚类，我们得到指定类别数的中心点作为有代表性的特征，即作为词袋模型中的词典。对于每一幅图像的若干部分，都根据中心点划分到了指定的类别中。

得到每一幅图像中每一部分所属类别后，对每一幅图像，我们统计每一个类别在图像中出现的次数，即在词袋模型中，统计每一个文档中的词频数。对于一个划分为N类的图像库，每一幅图像得到一个N维的描述子。

因此，我们可以通过以上方法为图像库中的每一幅图像生成一个描述子，并将其保存在文件中，同时保存一个存有图像特征中心点的词典，作为图像检索的词典。

5、图像检索测试

选择指定数目的图像作为图像检索的库。对每一张图像进行超像素分割、双调和距离计算、谱聚类分析的步骤，为每一个图像的每一块构造一个描述子。

将图像库中图像的所有描述子进行词袋模型统计，得到一个词典和每一幅图像中每一部分所属类别。对每一幅图像，我们统计每一个类别在图像中出现的次数，即在词袋模型中，统计每一个文档中的词频数。

对于一个划分为N类的图像库，每一幅图像得到一个N维的描述子，存储在文件中作为检索的图像库描述子。

给定一张新的图像，按照同样的处理方式进行超像素分割、双调和距离计算、谱聚类分析的步骤，为每一个图像的每一块构造一个描述子。与词袋模型统计后得到的词典进行比较，得到词典每一个类别在图像中出现的次数，计算出该图像的描述子。

将图像的描述子与图像库中的描述子进行比较，描述子最相近的图像为检索到最相似的图像。

本发明未详细阐述的技术内容属于本领域技术人员的公知技术。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (5)

1.一种基于谱图分析的图像检索方法，其特征在于包括以下五个步骤：

步骤(1)、基于线性迭代聚类的层次化超像素分割：超像素分割将在颜色和空间上相似的点聚集在一起；使用两种分割数目的超像素；一种超像素分割为物体级别分割，用来为谱聚类的构建相似度矩阵，另一种为细节级别分割，用来计算双调和距离构成每一部分的特征描述；

步骤(2)、基于双调和距离度量的图像特征描述：双调和距离通过下面公式进行计算：

其中d_B(x,y)为x,y之间的双调和距离，φ_k(x)为x处第k个特征向量，λ_k为第k个特征值,得到图像的局部和全局拓扑结构；接下来使用超像素之间的双调和距离作为特征的度量；

步骤(3)、基于谱聚类的图像特征分析：基于之前物体级别的超像素，使用谱聚类来对超像素进行聚类，得到更加具有语义级别的分类；

步骤(4)、基于词袋模型的图像描述子设计：将图像作为“文档”，图像中的每一部分作为一个“词”，通过对许多图像中的“词”进行分类，构建“词典”，其中每个“词”都属于一个词典；对每一幅图像进行词频的统计，得到图像描述子；

步骤(5)、图像检索测试：对图像库中的图像进行计算，每一幅图像都获得一个图像描述子；给定一张新的图像，通过步骤(1)-(3)对图像进行计算，得到新的描述子；然后将新的描述子与图像库中的描述子进行距离度量，来检索与新图像最为匹配的图像。

2.根据权利要求1所述的基于谱图分析的图像检索方法，其特征在于：步骤(1)中所述基于线性迭代聚类的层次化超像素分割，根据图像颜色的相似性和图像平面位置的相近性，使用线性迭代聚类方法利用五维空间，即lab色彩空间和xy的代表的平面位置来聚集相似的像素点，使用不同数目对图像进行超像素分割，通过层次化的超像素分割实现对图像物体级别和细节级别的特征描述；即将图像分割为数目较少的超像素描述图像物体级别的特征，与此同时，将图像分割为数目较多的超像素描述图像的细节级别特征。

3.根据权利要求1所述的基于谱图分析的图像检索方法，其特征在于：步骤(2)中所述的基于双调和距离度量的图像特征描述，对图像超像素之间进行双调和距离度量，用于描述图像超像素之间的结构关系，不仅可以表示出局部的拓扑结构，而且可以获取全局形状感知；因此，使用超像素之间的双调和距离作为图像特征的度量。

4.根据权利要求1所述的基于谱图分析的图像检索方法，其特征在于：步骤(3)中所述的基于谱聚类的图像特征分析，首先将图像看作一个图的结构，超像素看作图的结点，根据双调和距离构建图的相似度矩阵，从而将聚类问题转化为图分割的问题；根据相似度矩阵建立拉普拉斯矩阵进行特征向量分解，对特征向量进行k-means聚类得到分类结果。

5.根据权利要求1所述的基于谱图分析的图像检索方法，其特征在于：步骤(4)中所述的基于词袋模型的图像描述子设计，将图像看作一个文档，图像中的每一部分看作一个单词，通过统计每一部分出现词的频率来推测图像的内容，并得到图像的描述子。