CN101692224A - 融合空间关系语义的高分辨率遥感图像检索方法 - Google Patents

Abstract

本发明公开了一种融合空间关系语义的高分辨率遥感图像检索方法，它包括遥感图像的离线处理和遥感图像的在线检索两个部分。在离线处理部分，方法首先提取遥感图像的视觉特征和空间对象语义、空间关系语义特征并存储于关系数据库中。在在线检索部分，方法首先根据图像的对象语义特征进行检索，得到粗检索结果。然后从粗检索结果中选择模板图像，根据模板图像的视觉特征以及空间关系语义特征，对粗检索结果进行进一步的检索，返回在视觉特征以及空间语义特征上和所选模板图像相似的图像集合，完成检索过程。由于该方法综合利用了图像的视觉特征以及空间对象语义、空间关系语义特征，为此能够获得较高的检索精度。

Description

融合空间关系语义的高分辨率遥感图像检索方法

技术领域

本发明涉及一种对高空间分辨率遥感图像(以下简称高分辨率遥感图像)进行查询检索的方法，具体说是一种融合空间关系语义和图像视觉特征的高分辨率遥感图像检索方法，属于遥感图像处理与信息提取领域。

技术背景

遥感图像检索(或者称为遥感图像查询)是从遥感图像数据库中查找用户感兴趣的图像或图像序列的过程。随着遥感图像数据量的急剧增加，如何对庞大的图像库进行有效管理，对图像信息进行快速准确地查询检索便成为急待解决的问题。总结目前研究进展，遥感图像检索主要有以下三种方法：

(1)基于文本的图像检索(Text-Based Image Retrieval，TBIR)：该检索方式根据人对图像的理解添加一定的标注或描述性文本，检索的时候以这些人工注释的文本信息为索引对图像进行查询检索。此类方法主要存在如下几个方面的问题：1)人工注释工作量太大；2)人工注释具有主观性和不确定性。不同的观察者或者同一观察者在不同条件下对同一幅图像的描述可能会有不同，因而不够客观和准确；3)文本无法完全概括图像内容。

(2)基于内容的图像检索(Content-Based Image Retrieval，CBIR)：该检索方式首先提取图像的视觉特征(主要包括颜色、纹理、形状等)，然后根据这些视觉特征进行图像间相似性判断，从而实现检索过程。然而，目前CBIR由于往往仅仅利用了图像的较低层次的特征，即视觉特征进行检索，而人对图像内容的描述以及图像之间的相似性的判断则往往依据图像所蕴含的高层语义，如对象、场景以及对象行为特征等等，这种图像低层视觉特征与人们对图像的理解之间的差异(有人称其为“语义鸿沟”问题)使得CBIR的检索结果有时不那么尽如人意。

(3)基于语义的图像检索(Semantic-Based Image Retrieval，SBIR)：所谓图像语义，是指图像内容的本质，是对图像表达内容的高度抽象。该类检索方法的主要思路是首先提取图像中所包含的高层语义信息，然后以这些语义信息为索引进行图像检索。根据图像中各语义要素的抽象程度，可将图像的语义信息分成6个层次(分别是特征语义、对象语义、空间关系语义、场景语义、行为语义、情感语义)，称为图像层次化语义模型(图1)。

基于语义信息的图像检索被认为是当前最具发展前景的图像检索方式。但是，无论从生物视觉还是计算机视觉来说，人们对视觉理解的认识还远非深刻，计算机自动从图像中准确抽取语义描述就目前的技术手段来说还是一个非常困难的课题。因此此类方法目前是相关研究领域的热点和难点，有待进一步的研究和发展。

Jiang Li等人在《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》2004年4月第42卷第4期“Integrated Spectral and Spatial InformationMining in Remote Sensing Imagery”一文中提出了一种基于Gabor纹理特征和图像对象语义的遥感图像检索方法。其思路是用支持向量机(Support VectorMachine，SVM)方法对遥感图像进行分类，将图像分成水、草地、林地等8个类别。用户检索的时候，可以从图像库中选择一幅图像作为模板也可以直输入一幅图像作为模板。如果是用户从数据库中选择的图像，系统会根据该图像中地物的类型、面积和每种地物的Gabor纹理特征，从数据库中查找与其最接近的图像集合。如果是用户导入的图像，系统会在线提取该图像所包含的地物类型、面积，以及图像的Gabor纹理特征，然后和图像库中的图像进行相似性计算，寻找与其最接近的图像序列。该方法利用了图像视觉特征和对象语义信息，但是没有考虑对象间的空间关系语义，为此，检索精度仍有待提高。

汪彦龙等人在《计算机工程技术与发展》2006年1月第16卷第1期“基于对象空间关系的图像检索方法研究”一文中提出了一种基于对象空间关系的图像检索方法。他们提出了用一个

四元组表示图像中地物之间空间关系的方法，其中δ表示对象之间的拓扑关系。χ和

分别表示两对象在X轴和Y轴投影的间隔关系，θ表示两对象的角度关系。该方法首先提取图像的空间关系特征，并用四元组进行表达和存储，然后用空间关系的相似性表达两图像间的相似性。这种对象空间关系的表达方法对于背景单一，对象目标数目较少的常规图像(普通多媒体、医学图像等)来说能取得不错的检索效果，但是不太适用于遥感图像。这是因为遥感图像和普通多媒体以及医学图像相比，地物类型多样，分布非常复杂，相互之间的空间关系组合非常复杂，很难用以上的四元组方法描述清楚。为此，需要寻找更适合遥感图像的空间关系表达、度量和检索的方法。

发明内容

本发明的目的在于克服现有技术存在的缺陷，提出一种融合图像视觉特征和空间语义特征的高分辨率遥感图像检索方法。该方法首先提取遥感图像的视觉特征和对象语义、空间关系语义特征并存储于关系数据库中。而后根据图像的对象语义特征进行检索，得到粗检索结果。然后从粗检索结果中选择模板图像，根据模板图像的视觉特征以及空间关系语义特征，对粗检索结果进行进一步的检索，返回在视觉特征以及空间语义特征上相似的图像集合，完成检索过程。该方法综合利用了图像的视觉特征以及空间对象语义、空间关系语义特征，为此能够获得较高的检索精度。

本发明方法的原理与基本步骤

本发明的基本步骤包括两个主要部分：

(1)离线数据准备步骤。它又包括<1>基于五叉树的图像分解与视觉特征提取；<2>基于四叉树的图像分解及SVM分类获取空间对象语义、空间关系语义；<3>特征入库3个步骤；

(2)在线图像检索步骤。它又包括<1>语义粗检索；<2>结合空间关系语义和视觉特征的精检索两个步骤。

下面分别对发明中所使用的主要现有技术，包括图像的四叉树，五叉树分解，图像主成分变换(又称为PCA变换)，Gabor纹理特征提取，SVM非线性图像分类，直方图相似性计算的基本原理进行介绍，并据此给出方法的详细步骤。(1)图像的四叉树、五叉树分解(也称为四叉树、五叉树分块)

四叉树分解：四叉树图像分解方法(图2)是一种图像的自适应分块方法。它将图像表示成一棵四叉树，树根就是原图像本身。除叶节点外，树中每个非叶节点均有4个子节点，分别对应于原图像(或子图像)分解的4个次一级层次的子图像(以下也称其为图像子块，或子块)。为保证图像的分解效果同时减少分块数，在分解图像(N×N像元，其中N是2的整数次幂，不足的添0补足)之前，需要设定图像块的最小尺寸和其他不需要继续分解的标准(如图像块内灰度值方差的最小阈值)。四叉树分解的结果可能包括多种不同尺寸(或称尺度)的图像子块，创建的四叉树的节点则代表各图像子块。

进行四叉树分解的具体过程如下：

第一步：设定分解的最小块尺寸参数，或块内灰度值方差阈值，并初始化树。

第二步：将图像分解成四个大小相同的图像子块，判断每个图像子块是否达到不继续分解的要求(如已达到最小尺寸，或块内灰度值方差小于阈值)。

第三步：如果某子块达到不继续分解的要求，对应四叉树上的节点就标为叶子节点；否则对应四叉树上的节点就标为非叶节点，转到第二步，继续对其进行分解。

五叉树分解：五叉树分解法(图3)和四叉树分解法过程类似，可以看作是在四叉树分解的基础上，增添了一个中央子块。具体的分解过程为：首先需将原图像(N×N像元，其中N是2的整数次幂，不足的添0补足)分解成5个子块；然后在进行下一层次的分解时，由于中央子块(子块4)的4个次一层次的子块分别与其余4个子块中的一个次一层次的子块重合，因此，只需将除子图像块4(中央子块)以外的4个子块各分解为5个次一层次的子块即可。以此类推，层层分解图像，直至某一子块尺寸小于等于m×m为止(m可以由用户自己设定，默认值是16，对于高分辨率遥感图像而言，反复试验结果表明，m取16为好)。

(2)图像PCA变换

遥感图像与普通多媒体图像一个重要区别就是遥感图像一般具有多个波段。针对该特点，采用PCA对遥感图像进行预处理，然后对第一主成分图像进行特征提取。这样就可以实现对任意波段数的图像进行处理。图像经过PCA变换之后第一主成分集中了图像90％以上的信息。以下称第一主成分图像为PCA图像。

PCA的主要原理如下：对某一n个波段的多波段图像实行一个线性变换，即对该多波段图像组成的光谱空间X乘以一个线性变换矩阵A，产生一个新的光谱空间Y，即产生一幅新的n个波段的多波段图像。其表达式为

Y＝AX                    (1)

公式(1)中X为变换前多波段空间的像元矢量；Y为变换后多波段空间的像元矢量，也即多波段图像；A为X的特征向量矩阵的转置矩阵。然后我们提取Y的第一主成分图像，作为PCA图像。

(3)图像Gabor纹理特征提取

本发明利用GABOR滤波方法提取图像的纹理特征。我们采用的GABOR滤波器如下所示：

$h_{[u,v]}(x,y)=\frac{k_u^2}{{\mathrm{\&sigma;}}^2}\exp (-\frac{k_u^2}{2{\mathrm{\&sigma;}}^2}(x^2+y^2))$

$\{\cos \left(k_u(x\cos {\mathrm{\&phi;}}_v+y\sin {\mathrm{\&phi;}}_v)\right)-\exp (-\frac{{\mathrm{\&sigma;}}^2}{2})\}---\left(2\right)$

其中u代表了滤波器的尺度，v代表方向。如取

则共有12个滤波模板。多通道Gabor纹理特征提取步骤如下：

1)利用以上12个滤波器模板和PCA图像进行卷积操作，得到该图像的每个像素的12个滤波输出特征；

2)计算经五叉树分解后各子图像的12个滤波输出特征值的均值和方差，作为该子图像的纹理特征，为此共计24维纹理特征向量。

(4)支撑向量机(SVM)图像分类

支持向量机(Support Vector Machine，SVM)是一种处理非线性分类问题的有效工具。其基本思想可以概括为：通过某种事先选择的非线性映射函数将输入空间向量x映射到高维特征空间Z，然后在这个新空间中求取最优线性分类面实现分类的过程，而这种非线性映射是通过定义适当的核函数实现的。目前，所使用的核函数有主要如下几种(x，y代表向量)：

1.多项式形式核函数

K(x，y)＝[(x·y)+1]^d            (3)

(x·y)代表向量间的内积运算，d为特征调节参数，d越大映射的维数越高，计算量也越大.

2.高斯径向基核函数

$K(x,y)=\exp [-\frac{{(x-y)}^2}{2{\mathrm{\&sigma;}}^2}]---\left(4\right)$

参数σ控制着基函数的作用半径。

3.指数径向基核函数

$K(x,y)=\exp [-\frac{|x-y|}{2{\mathrm{\&sigma;}}^2}]---\left(5\right)$

4.Sigmoid核函数

K(x，y)＝tanh[scale(x·y)-offset]                            (6)

这时SVM实现的就是包含一个隐层感知器，隐层结点数是由算法自动确定的。scale代表输入节点的权值，offset是一个控制参数。

本方法采用的核函数是高斯径向基函数。

(5)直方图相似性计算

本方法中，计算两直方图之间的相似度主要采用直方图相交法，其基本原理如下：

令H_Q和H_I分别为图像Q和图像I的某一特征向量的频数直方图，则两直方图之间的相似性P(Q，I)可记为：

$P(Q,I)=\frac{\underset{i=0}{\overset{L}{\mathrm{\&Sigma;}}}\min [H_Q\left(i\right),H_I\left(i\right)]}{\underset{i=0}{\overset{L}{\mathrm{\&Sigma;}}}{H}_Q\left(i\right)}---\left(7\right)$

其中L为直方图的分级数。min[H_Q(i)，H_I(i)]为两直方图对应的区间频数的较小值。

融合空间关系语义的高分辨率遥感图像检索方法：

如图4，该方法包括了两个主要部分，分别称之为遥感图像的离线处理和遥感图像的在线检索(在线处理)。离线处理部分首先对一幅遥感图像进行PCA变换，获得PCA图像，然后利用五叉树分解法对其进行分解并提取图像的视觉特征。接着对PCA图像进行四叉树分解以及SVM分类，然后对分类结果进行分类后处理(去除细小图斑并创建图斑间拓扑关系)，获取图像的对象语义以及对象之间的空间关系语义特征并将所有特征存入数据库中。在线处理部分又主要包含两个步骤。第一步是语义粗检索，即通过用户指定的语义信息遍历图像数据库，将所有包含用户指定类别的遥感图像返回；第二步对粗检索结果进行进一步检索，从粗检索步骤返回的图像中选择模板图像，然后根据模板图像的视觉特征以及其包含对象之间的空间关系特征为检索依据，和粗检索结果进行进一步的检索匹配，得到最终检索结果。各个步骤的详细过程如下：

遥感图像的离线处理

(1)主成分变换

对于一幅多波段图像，采用PCA变换对图像进行处理，获取PCA图像(第一主成分图像)，然后对PCA图像进行纹理、色调等视觉特征的提取。

(2)基于五叉树的图像分解与视觉特征提取

由于遥感图像一般是大尺度的复杂图像，遥感图像检索实际上是查询模板影像和待查询的目标影像局部区域之间的相似性匹配，这就决定了遥感图像检索任务大多是面向子图像的检索。因此，必须对待查询的遥感图像进行分块处理(图像分解)。为保证检索精度，需要保证一定的分块重叠率。如图5所示，重叠率是指图像经过某级分块后，从图像中任意提取的与该级块大小相同的一幅图像(称为兴趣图像)占所有该级块面积的比率的最大值。图5中，假设图像尺寸为2L×2L，分成4个子块1、2、3、4，M是一幅兴趣图像，M与原图像左上点的横向与纵向距离分别为x(x＜L/2)，y(y＜L/2)，显然M由子块1覆盖的面积最大，所以M的块重叠率为(L-x)(L-x)/(L×L)×100％。

五叉树分解法能确保分块重叠率50％～100％，并且具有分解过程层次清晰、检索算法简单等特点。本方法中先对PCA图像利用上述五叉树分解法进行分块。分块之后，提取每个叶子节点图像的视觉特征(颜色特征、纹理特征)。下面分别介绍这两种特征的提取过程与使用方法。

颜色特征提取与使用：假设某图像经过分块之后得到的子图像大小为16×16像素，共计256个像元。计算这些像元灰度值的二阶、三阶矩。记为：F_color＝(σ，s)

其中：

$\mathrm{\&mu;}=\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{P}_{(x,y)}$

$\mathrm{\&sigma;}={\left(\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{(P_{(x,y)}-\mathrm{\&mu;})}^2\right)}^{\frac{1}{2}}$

$s={\left(\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{(P_{(x,y)}-\mathrm{\&mu;})}^3\right)}^{\frac{1}{3}}---\left(8\right)$

μ为子图像的像元灰度的平均值，σ为子图像的所有像元灰度值的二阶矩，s为子图像所有像元灰度值的三阶矩，图像大小为n×n，此时n＝16。

用该二阶、三阶矩表征子图像的颜色特征。对于一整幅影像，经五叉树分解，其颜色特征可以由所有叶节点图像的颜色特征所构成的颜色特征直方图来描述。例如，一幅1024×1024的遥感图像分解之后得到一系列叶节点图像，以所有叶节点图像的颜色特征来构建整幅影像的颜色特征直方图(如图6就是某两幅不同影像二阶颜色矩生成的特征直方图)，本方法颜色特征包括二阶、三阶颜色矩，所以颜色特征直方图有2个。检索的时候，用直方图相交方法计算模板图像和待检索图像二阶、三阶直方图之间的相似性。该二阶、三阶特征相似性的平均值就是两幅影像的颜色特征的相似性大小。

纹理特征提取与使用：本方法中纹理特征的提取是通过Gabor滤波器与图像进行卷积，得到3个尺度4个方向共12维滤波输出特征，然后分别计算该12维Gabor特征值的平均值和方差得到最后24维的特征向量，并用它们表征该图像的纹理特征。同时，对于一整幅遥感图像，经五叉树分解后，其纹理特征又可以由其所有叶节点图像的纹理特征所组成的纹理特征直方图来描述。检索的时候，通过直方图相交法考察两幅图像的24个纹理特征直方图的相似性来评价它们的纹理相似性。

(3)基于四叉树的图像分解以及SVM分类

在本方法中，图像空间语义特征是通过结合图像四叉树分块、以及支撑向量机分类获取的。遥感图像的分类技术目前主要包括基于像素的分类和基于图斑的分类(也称为面向对象的分类技术)两大类方法。基于像素的分类将像元孤立化分析，斑点噪声难以消除。而面向对象分类技术把影像分解成内部同质均一的图斑，然后进行分类。该类方法能够使用的特征较多，比较适合高分辨率遥感图像。但我们通过试验发现，采用面向对象分类技术非常容易产生由于和周围地物差异明显，很难被归类的细小图斑，而这些图斑会对后续空间关系的分析带来严重影响。因此我们设计了一种不同的分类模式。我们首先对PCA图像进行四叉树分块，再利用SVM对分块后的叶节点图像进行分类。这是和Li等人分类方法的明显不同。具体过程如下：

第一步：采用四叉树分解法对PCA图像进行图像分解。设定最小尺度阈值和最小方差阈值，默认值为16和6.0。首先将PCA图像分成四个大小相同的图块，如果各分块的尺度值小于等于最小尺度阈值则不再分块，对应四叉树的节点标记为叶子节点，否则计算块内像素灰度值的方差，如果小于等于最小方差阈值则不再分块，对应四叉树的节点标记为叶子节点，否则对该子块继续分块处理，对应四叉树的节点标记为非叶子节点。以上过程递归进行，直到每子块均不能再分解。

第二步：SVM图像分类。对PCA图像进行四叉树分解以后，我们利用SVM对分块后的图像进行分类。为SVM选择高斯径向基函数并进行样本采集和SVM分类器训练(所用特征为样本的各个波段的灰度平均值)，而后遍历四叉树，求得叶节点图像所对应的原始图像的各波段灰度均值，根据SVM训练得到的分类模型，判断该子块所属类别，完成分类过程。该过程可见示意图(图7)。

第三步：分类后处理。在进行图像分类之后，得到由多种类型的图斑所组成的分类图。此时还需对其进行一定的后处理。主要目的是去除某些较小图斑，而这些小图斑会对地物之间的空间关系描述有干扰作用。其过程如下：根据一定的面积阈值寻找所有的细小图斑，遍历所有相邻的图斑，如果与其相邻的所有图斑地物类型一致，则将该小图斑的地物类型修改成其周围图斑类型。

(4)特征入库

分别将提取的24维图像的纹理特征和2维的图像颜色特征经过归一化处理之后入库。本方法采用的是极值归一化(见公式9)。将各特征向量的值都映射到[0，1]区间。

$V_{\mathrm{new}}=\frac{V_{\mathrm{old}}-\min \left(V_{\mathrm{old}}\right)}{\max \left(V_{\mathrm{old}}\right)-\min \left(V_{\mathrm{old}}\right)}---\left(9\right)$

式中，V_new表示归一化后的向量值，V_old表示归一化前的向量值，min(V_old)、max(V_old)分别表示某一特征向量在数据库中的最小值，最大值。

对于语义特征，在对PCA图像利用四叉树分解和SVM分类以及分类处理之后，我们得到一张分类结果图，该分类结果图是由分类后的图斑组成的。将PCA图像经五叉树分解之后尺寸大于256×256的子图像与该分类结果图进行空间叠置，即可以得到每个子图像所包含的分类图斑信息。我们据此即可获得该子图像的空间对象语义。我们用一个二进制串来存储该子图像的对象语义信息。例如“01001”的意思就是代表该子图像中包含了第2种和第5种地物类别。

此外，为获取该子图像的空间关系语义特征，我们对分类的图斑给予唯一标识(ID号)，并建立、存储图斑间的拓扑邻接关系信息。例如，假设与某个图斑相邻的图斑有两个，其ID分别为35和78，则用一个字符串“35*78*”来表示该图斑的邻居拓扑信息。

此外，我们还存储分类图中每个图斑占该子图像的面积比(相对面积)供后续语义分析使用。

在特征入库阶段，采用如下(表1、表2、表3)的库、表结构对视觉特征、语义特征进行存储。在本方法中，服务于图像检索的特征库主要包括视觉特征和语义特征，所以整个特征库是由2张表组成的，分别存储对应的视觉特征和语义特征。

表1图像特征库结构及其说明

表名	ImageInfo	SemanticInfo
			说明	主要存储了图像的视觉特征	主要存储了图像的语义特征

表2视觉特征表结构(ImageInfo)

字段名	类型	说明
			ID	字符型	ID是子图像的标识符
Fea_1_Mean	浮点型	1尺度0度方向Gabor滤波器与图像卷积的能量值的平均值
			Fea_1_Var	浮点型	1尺度0度方向Gabor滤波器与图像卷积的能量值的方差
Fea_2_Mean	浮点型	1尺度45度方向Gabor滤波器与图像卷积的能量值的平均值
			Fea_2_Var	浮点型	1尺度45度方向Gabor滤波器与图像卷积的能量值的方差
Fea_3_Mean	浮点型	1尺度90度方向Gabor滤波器与图像卷积的能量值的平均值
			Fea_3_Var	浮点型	1尺度90度方向Gabor滤波器与图像卷积的能量值的方差
Fea_4_Mean	浮点型	1尺度135度方向Gabor滤波器与图像卷积的能量值的平均值
			Fea_4_Var	浮点型	1尺度135度方向Gabor滤波器与图像卷积的能量值的方差
Fea_5_Mean	浮点型	2尺度0度方向Gabor滤波器与图像卷积的能量值的平均值
			Fea_5_Var	浮点型	2尺度0度方向Gabor滤波器与图像卷积的能量值的方差
Fea_6_Mean	浮点型	2尺度45度方向Gabor滤波器与图像卷积的能量值的平均值
			Fea_6_Var	浮点型	2尺度45度方向Gabor滤波器与图像卷积的能量值的方差
Fea_7_Mean	浮点型	2尺度90度方向Gabor滤波器与图像卷积的能量值的平均值
			Fea_7_Var	浮点型	2尺度90度方向Gabor滤波器与图像卷积的能量值的方差
Fea_8_Mean	浮点型	2尺度135度方向Gabor滤波器与图像卷积的能量值的平均值
			Fea_8_Var	浮点型	2尺度135度方向Gabor滤波器与图像卷积的能量值的方差
Fea_9_Mean	浮点型	3尺度0度方向Gabor滤波器与图像卷积的能量值的平均值
			Fea_9_Var	浮点型	3尺度0度方向Gabor滤波器与图像卷积的能量值的方差
Fea_10_Mean	浮点型	3尺度45度方向Gabor滤波器与图像卷积的能量值的方差
			Fea_10_Var	浮点型	3尺度90度方向Gabor滤波器与图像卷积的能量值的平均值
Fea_11_Mean	浮点型	3尺度90度方向Gabor滤波器与图像卷积的能量值的方差
			Fea_11_Var	浮点型	3尺度135度方向Gabor滤波器与图像卷积的能量值的平均值
Fea_12_Mean	浮点型	3尺度135度方向Gabor滤波器与图像卷积的能量值的方差

字段名	类型	说明
			Fea_12_Var	浮点型	3尺度0度方向Gabor滤波器与图像卷积的能量值的平均值
Color_2	浮点型	图像的二阶颜色矩
			Color_3	浮点型	图像的三阶颜色矩
Left	整型	子图像左上角的横坐标
			Top	整型	子图像左上角的纵坐标
Size	整型	子图像的大小
			nLayer	整型	子图像所处的五叉树分解的层数
number	整型	子图像所处的某次五叉树分解后的图块序号，5个分块分别用0、1、2、3、4来表示
			semantic	字符型	子图像所保护对象语义的信息
Area_scale_0	浮点型	子图像中水体占图像的面积比值
			Area_scale_1	浮点型	子图像中人工地物占图像的面积比值
Area_scale_2	浮点型	子图像中植被占图像的面积比值
			Area_scale_3	浮点型	子图像中裸的占图像的面积比值
Area_scale_4	浮点型	子图像中云雾占图像的面积比值

表3语义特征表结构(SemanticInfo)

字段名	类型	说明
			ID	字符型	图像中对象的编号
ClassID	整型	对象对应的对象语义的类别信息
			CentX	浮点	对象中心点的X坐标
CentY	浮点	对象中心点的Y坐标
			Area	浮点	对象占图像的面积比
MeetObjectID	字符型	和该对象相邻的所有图斑的图斑ID号
			parent	整型	表示该对象所属的图像的ID号，该ID是表2(ImagInfo)中的ID号

遥感图像的在线检索，具体步骤为：

(1)基于对象语义的语义粗检索

第一步：语义查询。在本发明中，我们用一个字符串来表示图像包含的对象语义信息。对应着数据库中ImageInfo表中的semantic字段，该字段为一个长度为5的字符串，从左至右，分别代表“水体”、“人工地物”、“植被”、“裸地”、“云雾”。用1来表示包含，0表示不包含。例如假设表示某幅遥感图像包含对象语义信息的字符串为“10101”，其物理含义就表示该图像包含了“水体”、“植被”、“云雾”。如用户从“水体”、“人工地物”、“植被”、“裸地”、“云雾”5种指定地物中选择感兴趣的地物类别。如选择了“水体”、“人工地物”，那么他的查询就转换成一个查询字符串“11***”，即包含水体和人工地物，其他地物类别任意，可包含也可不包含。

第二步：语义解析。根据用户指定的对象语义信息遍历图像数据库，进行字符串匹配，检索出包含了用户指定的对象语义信息(对象类别)的所有图像。

第三步：结果显示。返回结果列表，供用户进行选择和下一步精检索。

(2)基于空间关系语义和视觉特征的精检索

第一步：选择模板图像。即根据步骤(1)粗检索的结果，用户从粗检索出的所有图像中选择一幅图像作为模板图像。

第二步：视觉特征匹配。分别从数据库中读取模板图像和数据库中待匹配图像的视觉特征(2维颜色特征以及24维纹理特征)，并建立对应的直方图。根据直方图相交计算原理，计算两幅图像的视觉特征的相似性大小。图6为两幅遥感图像二阶矩的直方图示意图，根据公式(7)，利用直方图相交方法可以获取两幅遥感图像二阶颜色矩的相似性，纹理特征的相似性也同样采用公式(7)，利用直方图相交方法进行计算。

第三步：空间关系语义匹配。通过SVM分类，我们已获取了四叉树中每个子块的语义类别，且存储了子块内的图斑间邻接关系，为此可以根据这些信息计算图像之间的空间关系相似性。具体过程如下：设定分类类别数，建立空间关系直方图，其横轴表示对象类别组合，纵轴表示面积累加值；对于每个待考察图斑，获取其对象类别，遍历所有与其具有相邻关系的图斑，同样获取这些图斑的类别信息；将相邻图斑的面积加到空间关系直方图对应对象类别组合的柱子上；依次考察每个图斑，执行上述操作；对所有图斑遍历一次，就可得到该图像的空间关系直方图；分别构建模板图像和待匹配图像(即语义粗检索结果返回的图像集中的某幅图像)所包含对象之间的空间关系直方图，最后同样利用直方图相交方法计算两者的空间关系的相似性。

如图9所示，因为事先预定义了影像一共被分为5类地物，分别用A、B、C、D、E表示。我们建立如图9所示的空间关系直方图，横轴表示对象组合，纵轴表示面积(注意面积是指该图斑占该图像的相对面积，以下面积均指相对面积)的累加值。注意直方图中“AB”柱代表A类和B类地物具有相邻关系的面积统计，“BA”柱代表B类地物和A类相邻的面积统计。在本方法中它们的物理含义不同。假设当前考察的某个图斑(图斑甲)对应的对象语义信息为A，则遍历所有与其具有相邻关系的图斑(该信息已经用字符串存储在数据库中)，获取这些图斑的类别信息。例如，假定图斑乙和图斑甲相邻，图斑乙的类别为B类，则在直方图的AB柱上加上一次图斑甲的面积。同样道理，如果图斑甲还和类别为C的图斑丙相邻，则在AC柱上加上一次A的面积。依次考察每个图斑，执行上述操作，注意当考察对象为乙的时候，由于它和甲是相邻的，为此需要在BA柱上加上一次图斑乙的面积。对所有图斑遍历一次，就可得到该图像的空间关系直方图。分别构建模板图像和待匹配图像(即语义粗检索结果返回的图像集中的某幅图像)所包含地物对象之间的空间关系直方图，最后同样利用公式(7)，即直方图相交方法计算两者的空间关系的相似性。

第四步：综合两幅图像的视觉相似性和空间关系相似性，用两者的加权平均值(默认权重均为0.5)来表示两幅图像的综合(视觉和语义)相似性大小，指定某个相似性阈值(默认0.6)，将语义粗检索返回的结果图像(即语义粗检索结果)中与用户选择的模板图像相似性大于该阈值的图像返回，完成整个检索过程。

本发明方法具有以下优点：

(1)融合了遥感图像的视觉特征和语义特征，从某种程度上填补了一定的“语义鸿沟”。本方法通过构建低层视觉特征和高层语义信息之间的联系来获取图像的语义信息，从一定程度上客服了传统的基于视觉特征检索所面临的“语义鸿沟”问题。从而提高了检索的准确度。

(2)检索效率高。本方法的检索有两步，第一步进行语义粗检索，然后再对粗检索的结果进行更加进一步的检索。这种方法能够极大的缩小检索的范围，提高了检索的效率。

附图说明

图1：图像语义层次模型

图2：图像四叉树分解过程示意图

图3：图像五叉树分解模型示意图

图4：方法流程图

图5：图像分解后子块的重叠率示意图

图6：两张不同遥感图像二阶矩特征的直方图，其中：(a)是第一幅遥感图像的二阶矩直方图；(b)是第二幅遥感图像的二阶矩直方图

图7：基于四叉树分解的SVM图像分类。(a)原始图像；(b)样本采集示意图；(c)图像四叉树分解；(d)分类结果

图8：分类结果处理前后示意图，其中，(a)是初始分类结果(b)是进行了分类后处理的结果。

图9：空间关系直方图

具体实施方式

下面结合附图和实施例，对本发明作进一步详细说明。

数据准备：实验数据为50幅大小为1024×1024的10米分辨率的SPOT-5图像。该遥感图像为多光谱图像，具有4个波段。

遥感图像的离线处理部分：

(1)主成分变换

对所有图像进行PCA变换，获取对应的PCA图像。

(2)基于五叉树的图像分解与视觉特征提取

对PCA图像进行五叉树分解，将图像分成一系列的子图像。图像分块主要是有两个目的，一是为了得到不同尺寸的遥感图像和一定程度的影像重叠率。这些都是组成检索的图像数据库的基础。二是为了能够将图像分成叶节点图像进行特征提取，各个大尺度的图像特征都是由这些叶节点图像的特征来描述。

此外，由于分解后的子图像如果太小，检索价值不大，我们将所有尺寸大于等于256×256的子图像作为检索过程可返回的结果图像。因此，实验数据中每幅图像可被分成25幅256×256的子图像，5幅512×512的子图像，因此，最后整个数据库中包含50幅1024×1024子图像、250幅512×512子图像、1250幅256×256子图像。

颜色特征提取：利用公式(8)分别计算分块后生成的所有叶节点图像像元灰度值的二阶、三阶矩作为子图像的颜色特征。

纹理特征提取：利用二维Gabor滤波和PCA图像进行卷积得到该图像的12维纹理特征。计算分块后生成的所有叶子节点对应的子图像的12维纹理特征的平均值、方差作为该子图像的24维纹理特征。

(3)基于四叉树的图像分解以及SVM分类

用SVM对PCA图像进行分类，分类的对象是是经过四叉树分解后的一系列叶子节点对应的图块。详细步骤如下：

第一步：样本采集。首先要进行的是样本采集样本，分别采集“水体”、“人工地物”、“植被”、“裸地”、“云雾”地物的样本。

第二步：四叉树分解。将原始图像逐步分成小块，操作的目标是将具有一致性的像素分到同一小块中。

第三步：SVM分类。利用SVM支持向量机对分块后的所有叶子节点子块图像进行分类。分类的对象是经过四叉树分块之后生成的一系列的子图像。经过这步处理之后，我们就得到了该图像所包含的对象语义信息。

第四步：分类后处理。如图8(a)所示，经过四叉树分解以及SVM分类后，分类效果还并不那么令人满意。我们发现中间有一些细小图斑，如图8(a)所示。为了去除细类似这样的小图斑以及获取图像中更加准确的对象空间关系，必须对分类结果进行后处理。首先要挑选出所有细小图斑，这可以通过设定面积参数实现，当面积小于设定的参数就认为是细小图斑(默认是四叉树分解之后最小图块面积的2倍)，然后对这些细小图斑遍历其相邻的所有图斑，如果与这些小图斑相邻的图斑的地物类型是一致的，则将该小图斑的类型修改成与其相邻图斑一样，完成合并过程。处理后的结果如图8(b)所示。

(4)特征入库

经过上述4步处理之后，我们可以得到图像的视觉特征和对象语义特征以及对象空间关系语义特征。

对于图像的视觉特征，我们利用公式(9)将这些特征进行归一化处理，将各特征向量的值都映射到[0，1]区间。

对于语义特征，我们分别将五叉树分解之后尺寸大于256×256像素的子图像与利用四叉树分解和SVM分类后的结果图像进行叠置，即可以得到这些子图像所包含的对象语义信息。存储的时候用一个字符串来表示，对应着数据库中ImageInfo表中的Semantic字段。假设某张子图像该字段为“01001”，即代表该图像中包含了第2种和第5种地物(该字符串从左至右分别代表水体、人工地物、植被、裸地、云雾，1表示包含，0表示不包含)。

对于空间关系语义特征，我们存储了图像中每个对象占图像的面积比以及每个对象中心的坐标的X，Y分别与图像宽和长的比值以及和该对象具有相邻关系的所有图斑。用一个字符串记录所有和某个图斑相邻的图斑ID号，经过四叉树分解和SVM分类能够得到一张分类结果图像，该图像中存储的是一个个分类后的图斑，每个图斑对应着一种地物。我们给每个图斑一个ID号作为该图斑的唯一标识。存储图像空间关系的时候，我们遍历所有图斑，假设与某个图斑相邻关系的图斑ID分别为35和78，则用字符串“35*78*”来表示，即代表和该图斑相邻的ID号为35和78。

遥感图像的在线检索部分：

(1)基于对象语义的语义粗检索

第一步：语义查询。用户从“水体”、“人工地物”、“植被”、“裸地”、“云雾”5种地物中选择感兴趣的地物类别。本案例中我们选择“水体”、“人工地物”、“裸地”三种地物。

第二步：语义解析。根据用户选择的地物信息，我们可以得知，用户需要选择的图像是数据库中ImageInfo表中字段semantic为“11*1*”的图像。由于在本方法中我们还设定了一个面积阈值参数和图像尺寸阈值参数，即要求检索的地物占图像面积比的最小值，默认值0.01。也就是说，在本例中，要求检索的“水体”、“人工地物”、“裸地”三种地物任何一种地物占图像总面积的比例不能小于0.01。图像尺寸阈值就是要求被检索的图像最小尺寸值，默认为512。即要求所有返回的图像的长和宽都必须大于512。根据以上要求遍历图像数据库，将所有符合要求的图像返回。这个结果称为语义检索粗结果。

第三步：将结果返回，供用户进行下一步检索。

(2)基于空间关系语义和视觉特征的精检索

第一步：选择模板图像。所有包含了用户选择的“水体”、“人工地物”、“裸地”三种地物的图像均已返回，它们被称为语义粗检索结果。用户通过浏览此语义粗检索结果，从中选择一幅感兴趣的图像作为模板图像进行进一步的检索。

第二步：视觉特征匹配。分别从数据库中读取模板图像和待匹配图像(即语义粗检索结果)的颜色和纹理视觉特征，建立类似于图(6)的对应的直方图。根据直方图相交原理，计算得到两幅图像的纹理特征和颜色特征的相似性大小。并利用权重值进行线性加权(公式10)，其结果就是查询图像Q与数据库中图像I的视觉特征相似性大小。

S(Q，I)＝W_textureS_texture+W_colorS_color            (10)

公式(10)中，S(Q，I)就是两幅遥感图像的视觉特征的相似度，S_texture和S_color分别是两幅图像之间的纹理特征向量和颜色特征向量之间的相似度。W_texture和W_color分别为两者的权重，可以由用户手动输入也可以利用默认值，W_texture和W_color的默认值分别为0.5、0.5。本案例中，使用默认值。

第三步：空间关系语义匹配，即建立模板图像和待检索图像的空间关系特征直方图，然后根据直方图相交的原理来计算两幅图像的空间关系相似性。具体原理部分已经在前面给出。本案例中需要统计的空间关系具体为“水体和人工地物”、“水体和裸地”、“人工地物和水体”、“人工地物和裸地”、“裸地和水体”、“裸地和人工地物”。为此该直方图有6个柱。分别遍历模板图像中的“水体”、“人工地物”、“裸地”三种地物的所有图斑以及与其相邻的所有图斑，然后按方法详细步骤中空间关系语义直方图的构建方法，累计各个柱的面积，完成直方图构建，并用直方图相交法进行相似性判断。

第四步：综合两幅图像的视觉相似性和空间关系相似性，得到两幅图像的总体相似性大小。我们将视觉特征相似性和空间关系相似性进行加权求和，两者的权重各为0.5，得到最后的总体相似性。然后我们将相似性大于0.6的所有图像返回，完成检索。

Claims (2)

1.融合空间关系语义的高分辨率遥感图像检索方法，包括遥感图像的离线处理和遥感图像的在线检索两部分；其中：

遥感图像的离线处理，其步骤是：

(a)主成分变换

将多波段图像，采用PCA变换对图像进行处理，获取PCA图像；

(b)基于五叉树的图像分解与视觉特征提取

对PCA图像采用五叉树分解法进行图像分块；分块之后，提取每个叶子节点图像的颜色特征、纹理特征；

(c)基于四叉树的图像分解以及SVM分类

首先对PCA图像进行四叉树分块，再利用SVM对分块后的叶节点图像进行分类；具体过程如下：

第一步：对PCA图像采用四叉树分解法进行图像分解：设定最小尺度阈值和最小方差阈值，默认值为16和6.0；首先将PCA图像分成四个大小相同的图块，如果各分块的尺度值小于等于最小尺度阈值则不再分块，对应四叉树的节点标记为叶子节点，否则计算块内像素灰度值的方差，如果小于等于最小方差阈值则不再分块，对应四叉树的节点标记为叶子节点，否则对该子块继续分块处理，对应四叉树的节点标记为非叶子节点；以上过程递归进行，直到每子块均不能再分解；

第二步：SVM图像分类：对PCA图像进行四叉树分解以后，利用SVM对分块后的图像进行分类；为SVM选择高斯径向基函数并进行样本采集和SVM分类器训练，而后遍历四叉树，求得叶节点图像所对应的原始图像的各波段灰度均值，根据SVM训练得到的分类模型，判断该子块所属类别，完成分类过程；

第三步：分类后处理：在进行图像分类之后，得到由多种类型的图斑所组成的分类图，然后对分类图进行后处理，即去除较小图斑，其过程如下：根据面积阈值寻找所有的细小图斑，遍历所有相邻的图斑，如果与其相邻的所有图斑地物类型一致，则将该小图斑的地物类型修改成其周围图斑类型；

(d)特征入库

分别将提取的24维图像的纹理特征和2维的图像颜色特征经过归一化处理之后入库；所述归一化处理为极值归一化：

$V_{\mathrm{new}}=\frac{V_{\mathrm{old}}-\min \left(V_{\mathrm{old}}\right)}{\max \left(V_{\mathrm{old}}\right)-\min \left(V_{\mathrm{old}}\right)}$

式中，V_new表示归一化后的向量值，V_old表示归一化前的向量值，min(V_old)、max(V_old)分别表示某一特征向量在数据库中的最小值，最大值；通过上式将各特征向量的值都映射到[0，1]区间；

对于语义特征，对PCA图像利用四叉树分解和SVM分类以及分类处理之后，得到分类结果图，该分类结果图是由分类后的图斑组成的；将PCA图像经五叉树分解之后尺寸大于256×256的子图像与该分类结果图进行空间叠置，即可以得到每个子图像所包含的分类图斑信息；据此即可获得该子图像的空间对象语义；用一个二进制串来存储该子图像的对象语义信息；

此外，为获取该子图像的空间关系语义特征，对分类的图斑给予唯一标识，并建立、存储图斑间的拓扑邻接关系信息；还存储分类图中每个图斑占该子图像的面积比供后续语义分析使用；

在特征入库阶段，采用关系数据库对视觉特征、语义特征进行存储；

遥感图像的在线检索，其步骤为：

(a)基于对象语义的语义粗检索：

第一步：语义查询：用一个字符串来表示图像包含的对象语义信息；

第二步：语义解析：根据用户指定的对象语义信息遍历图像数据库，进行字符串匹配，检索出包含了用户指定的对象类别的所有图像；

(b)基于空间关系语义和视觉特征的精检索

第一步：选择模板图像，即从语义粗检索出的所有图像中选择一幅图像作为模板图像；

第二步：视觉特征匹配：分别从数据库中读取模板图像和数据库中待匹配图像的视觉特征，建立对应的直方图；根据直方图相交计算原理，计算两幅图像的视觉特征的相似性大小；

第三步：空间关系语义匹配：通过SVM分类，已获取了四叉树中每个子块的语义类别，且存储了子块内的图斑间邻接关系，为此可以根据这些信息计算图像之间的空间关系相似性；

具体过程如下：设定分类类别数，建立空间关系直方图，其横轴表示对象类别组合，纵轴表示面积累加值；对于每个待考察图斑，获取其对象类别，遍历所有与其具有相邻关系的图斑，同样获取这些图斑的类别信息；将相邻图斑的面积加到空间关系直方图对应对象类别组合的柱子上；依次考察每个图斑，执行上述操作；对所有图斑遍历一次，就可得到该图像的空间关系直方图；分别构建模板图像和待匹配图像所包含对象之间的空间关系直方图，最后同样利用直方图相交方法计算两者的空间关系的相似性；

第四步：综合两幅图像的视觉相似性和空间关系相似性，用两者的加权平均值来表示两幅图像的综合相似性大小，指定相似性阈值，将粗检索结果中与用户选择的模板图像相似性大于该阈值的图像返回，完成整个检索过程。

2.根据权利要求1所述融合空间关系语义的高分辨率遥感图像检索方法，其特征是：

所述基于五叉树的图像分解与视觉特征提取，其中：颜色特征提取过程为：假设某图像经过分块之后得到的子图像大小为16×16像素，共计256个像元；计算这些像元灰度值的二阶、三阶矩，记为：

F_color＝(σ，s)

其中：

$\mathrm{\&mu;}=\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{P}_{(x,y)}$

$\mathrm{\&sigma;}={\left(\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{(P_{(x,y)}-\mathrm{\&mu;})}^2\right)}^{\frac{1}{2}}$

$s={\left(\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{(P_{(x,y)}-\mathrm{\&mu;})}^3\right)}^{\frac{1}{3}}$

μ为子图像的像元灰度的平均值，σ为子图像的所有像元灰度值的二阶矩，s为子图像所有像元灰度值的三阶矩，图像大小为n×n，此时n＝16；

用该二阶、三阶矩表征子图像的颜色特征，对于一整幅影像，经五叉树分解，其颜色特征由所有叶节点图像的颜色特征所构成的颜色特征直方图来描述；

纹理特征提取：通过Gabor滤波器与图像进行卷积，得到3个尺度4个方向共12维滤波输出特征，然后分别计算该12维Gabor特征值的平均值和方差得到最后24维的特征向量，并用它们表征该图像的纹理特征；对于一整幅遥感图像，经五叉树分解后，其纹理特征由其所有叶节点图像的纹理特征所组成的纹理特征直方图来描述。

Images