CN106570123A - 基于邻接对象关联规则的遥感图像检索方法及系统 - Google Patents

Abstract

本发明提供的基于邻接对象关联规则的遥感图像检索方法及系统，对所述影像库里的每一幅影像进行分割，得到若干对象；根据所述对象的属性，计算每个对象的属性量化值；利用对象与其邻接对象的属性量化值构建邻接对象事务集，计算所述邻接对象事务集的关联规则；基于关联规则，计算待检索影像与影像库中所有影像的相似度并输出检索结果，与目前检索方法使用低层视觉特征不同，本发明提供的基于邻接对象关联规则的遥感图像检索方法及系统，利用关联规则挖掘方法进行影像检索的思路，从遥感影像中提取隐含的深层次的信息(即关联规则)作为特征，为遥感影像检索提供一个新的途径。

Description

基于邻接对象关联规则的遥感图像检索方法及系统

技术领域

本发明涉及遥感图像检索技术领域，尤其是涉及一种基于邻接对象关联规则的遥感图像检索方法及系统。

背景技术

遥感影像具有影像幅面大，影像内容多且复杂的特点，“同物异谱”和“异物同谱”的现象很普遍，给遥感影像的检索带来较大的难度。影像检索即搜索数据库中含有指定特征或具有相似内容的影像，当前主流的基于内容的影像检索(Content-Based ImageRetrieval，CBIR)方法能综合影像处理、信息检索、机器学习、计算机视觉、人工智能等诸多领域的知识，借助从影像中自动提取的视觉特征作为影像内容的描述；目前，基于内容的影像检索取得了大量的研究成果。

视觉特征提取在影像检索中具有重要作用，可以分为两个研究方向，一是研究影像的光谱、纹理、形状等低层视觉特征的提取及相似度度量，包括基于光谱曲线吸收特征提取的高光谱影像检索、利用颜色空间、颜色矩提取颜色特征、利用小波变换、Contourlet变换、Gabor小波、广义高斯模型、纹理谱等方法描述影像的纹理特征、基于像元形状指数、PHOG(Pyramid Histogram of Oriented Gradients，分层梯度方向直方图)形状与小波金字塔的遥感影像形状特征描述方法等。这类低层视觉特征的应用比较成熟，但是无法描述描述影像的语义信息，其提供的检索结果往往和人脑对遥感影像的认知有相当的差距，并不能完全令人满意。

针对这一问题，另一个研究方向即是建立低层视觉特征与语义的映射模型，在语义层次提高影像检索的准确率。主要研究成果包括基于统计学习的语义检索方法，如贝叶斯分类器模型上下文语境的贝叶斯网络、贝叶斯网络与EM(最大期望)参数估计等；基于语义标注的检索方法，如语言索引模型、概念语义分布模型等；基于GIS(地理信息系统，Geographic Information System)辅助的语义检索方法，如利用GIS数据中矢量要素的空间和属性信息引导语义赋予的方法；基于本体论的语义检索方法，如基于视觉对象领域本体的方法、GeoIRIS等。这类方法能够在一定程度上反映人脑对于影像检索的语义理解过程，具有较高的准确率，是未来影像检索的发展趋势。然而目前的语义检索方法往往过于关注低层视觉特征与语义映射模型的构建过程，忽略了所采用的低层视觉特征的种类、语义学习方法等因素，最终影响到语义检索的查准率。

近年来，人类视觉感知特性被引入到影像检索领域中，受到广泛的关注，但是这类方法尚处于起步阶段，还有许多问题有待解决：如人眼视觉系统的生理过程、更符合人眼视觉的特征描述方法、自底向上的感知模型、显著特征提取与度量、自顶向下的视觉注意机制等等。另外，针对遥感影像数据检索的典型成果主要包括瑞士RSIAII+III项目，研究基于光谱和纹理特征的多分辨率遥感影像数据的描述和检索；Berkeley数字图书馆项目开发的原型系统Blobworld，它以航空影像、USGS正射影像和地形图，SPOT卫星影像等作为数据源，让用户能够直观地改进检索结果；新加坡南洋理工大学的(RS)2I项目，其研究内容涵盖了遥感影像特征提取与描述、多维索引技术及分布式体系结构设计的众多方面；斯坦福大学的SIMPLIcity，利用一种稳健的综合区域匹配方法(Integrated Region Matching，IRM)来定义影像间的相似度，在卫星基于数据挖掘的遥感影像检索中取得不错的结果；微软亚洲研究院的iFind，系统通过影像的标注信息构造语义网络，并在相关反馈中与影像的视觉特征相结合，有效地实现了在两个层次上的相关反馈。这些系统取得了重要成果，但是不论是在特征提取还是在代表性特征选择方面仍需要进一步深入研究。

综上所述，不管是基于像素还是面向对象的影像检索方法，大多都关注于影像整体或局部或对象区域的颜色、纹理、形状等低层特征的统计信息。直接基于低层特征的检索方法无法提取感兴趣的目标，缺乏对影像空间信息进行描述的能力，存在特征维数过高、描述不完整、准确性差、缺乏规律性、特征描述与人类认知存在语义差距等缺点。与此同时，基于高层语义信息的遥感影像检索又缺乏成熟的理论和方法。低层特征与高层语义信息之间的“语义鸿沟”，阻碍了遥感影像检索的发展及应用。

发明内容

有鉴如此，有必要针对现有技术中存在的缺陷，利用快速关联规则挖掘方法进行影像检索的思路提供一种基于邻接对象关联规则的遥感图像检索方法。

为实现上述目的，本发明采用下述技术方案：

一种基于邻接对象关联规则的遥感图像检索方法，包括下述步骤：

步骤S110：对所述遥感影像库中的每一幅影像进行分割，得到若干对象；

步骤S120：根据所述对象的属性，计算每个对象的属性量化值；

步骤S130：利用对象与其邻接对象的属性量化值构建邻接对象事务集；

步骤S140：计算所述邻接对象事务集的关联规则；

步骤S150：基于关联规则，计算待检索影像与影像库中所有影像的相似度并输出检索结果。

在一些实施例中，步骤S110中，采用Quick Shift分割算法对所述遥感影像库中的每一幅影像进行分割，得到若干对象。

在一些实施例中，采用Quick Shift分割算法对影像进行分割，得到一系列的对象，分割后影像上的每一个对象可以表达为：

O(OID,P,A)

其中OID是对象的编号，P是属性的集合，P＝{P₁,P₂,...,P_n}，n为属性的个数，A是邻接对象的集合，A＝{A₁,A₂,...,A_m}，m为邻接对象的个数。

在一些实施例中，步骤S120中，所述对象的属性包括：反映对象平均亮度的均值、反映对象纹理特征的标准差及反映了对象的颜色信息的色调。

在一些实施例中，步骤S120中，根据所述对象的属性采用均匀分段的方式，将各属性量化到[1,G]的范围，具体为：采用平均压缩的方法，将256个灰度级平均分配到若干个灰度级中，

其中G为最大灰度级，G＝8，ceil()是向上取整函数，g+1是为了使影像的灰度级被压缩为1～8。

在一些实施例中，步骤S120中，根据所述对象的属性采用均匀分段的方式，将各属性量化到[1,G]的范围，具体为，采用线性分段的方法进行压缩，首先计算影像的最大灰度级gMax和最小灰度级gMin，然后利用下式计算压缩后的灰度级：

其中G为最大灰度级，G＝8，ceil()是向上取整函数，g+1是为了使影像的灰度级被压缩为1～8。

在一些实施例中，步骤S140中：利用关联规则挖掘算法计算所述对象事务集的关联规则。

在一些实施例中，步骤S150中，具体按照下式计算两幅影像的相似度：

其中D_i为每一类关联规则的相似度，N为属性的个数，其中，其中r1和r2为两个规则向量，μ₁和μ₂是两幅影像的均值。

另外，本发明还提供了一种基于邻接对象关联规则的遥感图像检索系统，包括：

遥感图像分割单元：对遥感图像库中的每一幅影像进行分割，得到若干对象；

属性量化值计算单元：根据所述对象的属性，计算每个对象的属性量化值；

对象事务集构建单元：利用对象与其邻接对象的属性量化值构建邻接对象事务集；

关联规则计算单元：计算所述对象事务集的关联规则；

相似度计算单元：基于关联规则，计算待检索影像与影像库所有影像的相似度。

本发明采用上述技术方案的优点是：

本发明提供的基于邻接对象关联规则的遥感图像检索方法及系统，对所述遥感影像库中的每一幅影像进行分割，得到若干对象；根据所述对象的属性，计算每个对象的属性量化值；利用对象与其邻接对象的属性量化值构建邻接对象事务集，计算所述邻接对象事务集的关联规则；基于关联规则，计算待检索影像与影像库中所有影像的相似度并输出检索结果，与目前检索方法使用低层视觉特征不同，本发明提供的基于邻接对象关联规则的遥感图像检索方法及系统，利用关联规则挖掘方法进行影像检索的思路，从遥感影像中提取隐含的深层次的信息(即关联规则)作为特征，为遥感影像检索提供一个新的途径。

附图说明

图1为本发明实施例提供的基于邻接对象关联规则的遥感图像检索方法的步骤流程图。

图2是利用QuickShift算法对遥感影像库中的影像进行分割后的结果。

图3为本发明实施例提供的基于邻接对象关联规则的遥感图像检索系统的结构示意图。

图4中(a)、(b)、(c)、(d)、(e)分别表示为实施例1居民地、高速公路、疏林地、密林地及荒地四类地物检索结果的前16幅返回影像。

图5为本发明实施例1提供的QuickBird影像检索的查准率。

图6中(a)、(b)、(c)、(d)分别表示实施例2居房屋、广场、密林及水体四类地物检索结果的前16幅返回影像。

图7为本发明实施例2提供的WorldView-2影像检索查准率。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

在申请文件中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

请参考图1为本发明实施例提供的一种基于邻接对象关联规则的遥感图像检索方法，包括下述步骤：

步骤S110：对遥感图像库中的每一幅影像进行分割，得到若干对象；

采用分割算法对影像进行分割，得到一系列的对象，因此分割后影像上的每一个对象可以形式化地表达为：

O(OID,P,A)

其中OID是对象的编号，P是属性的集合，P＝{P₁,P₂,...,P_n}，n为属性的个数，A是邻接对象的集合，A＝{A₁,A₂,...,A_m}，m为邻接对象的个数。上式表明，每一个对象都具有一定的属性和一定的邻接对象，而每一个邻接对象同样具有属性和自己的邻接对象，由此整个影像即可看作是由若干个对象以及对象之间的关系网所构成。

可以理解，由于不需要进行对象的合并操作，因此对分割算法没有严格的要求，只需要分割算法能够将影像分割成若干个对象，在每个对象内部，像素的性质比较一致，大多数分割算法均能达到这一要求。

进一步地，本发明选用Quick Shift分割算法实现影像分割。

可以理解，Quick Shift是一种改进的快速均值漂移算法，综合利用了空间和颜色一致性进行影像分割，在遥感影像处理方面具有广阔应用前景。

给定N个点x₁,x₂,...,x_N∈R^d，一个模式搜索算法都需要计算以下的概率密度估计：

其中核函数k(x)可以是高斯窗或者其它窗函数，每个点x_i由y_i(0)＝x_i开始，依梯度形成的二次曲面限定的渐进轨迹y_i(t)，向模态P(x)移动。所有属于同一模态的点形成一个聚类。

在Quick Shift算法中，为搜寻密度为P(x)的模式，不需要采用梯度或者二次曲面，仅仅将每个点x_i移动到最邻近的模式，表达式为：

该算法具有快速简单、时间复杂度小等优势，核函数k(x)参数的选择可平衡“过分割”与“欠分割”现象，使得模式搜索更加高效。

请参阅图2是利用QuickShift算法对遥感影像库中的影像进行分割后的结果。可以理解，在进行Quick Shift分割时，需要设定一个最大距离，用于控制像素被合并为一个对象的最大L2距离。图2中，左边一列为遥感影像原图，中间一列是最大距离为5的分割结果，而右边一列是最大距离为10的分割结果。从分割后的影像可以看出，地物的颜色信息得到了很好的保留，结构信息也没有受到太大的损坏，但是随着距离的增大，更多的像素被合并为一个对象，每一个对象的面积也会随之增大。

步骤S120：根据所述对象的属性，计算每个对象的属性量化值；

优选地，步骤S120中，所述对象的属性包括：反映对象平均亮度的均值、反映对象纹理特征的标准差及反映了对象的颜色信息的色调。

以下对上述三种属性进行详细描述。

均值：反映了对象的平均亮度，计算公式如下：

其中f表示原始的三个波段的影像，(x,y)为像素坐标，I为均值影像，μ为均值，N为对象内像素的个数，I(i)为对象内某个像素的灰度值。

标准差：反映了对象的纹理特征，标准差越大，说明对象内像素灰度值的差异程度越高，计算公式如下：

其中各变量的定义跟均值中的定义是一样的。

色调：反映了对象的颜色信息，本发明使用HSI色彩空间的色调分量来描述对象的色调属性，其表达式如下：

其中R、G、B分别为对象在三个波段上的均值。

进一步地，步骤S120中，根据所述对象的属性采用均匀分段的方式，将各属性量化到[1,G]的范围，具体为：采用平均压缩的方法，将256个灰度级平均分配到若干个灰度级中，

其中G为最大灰度级，G＝8，ceil()是向上取整函数，g+1是为了使影像的灰度级被压缩为1～8。

或者，采用线性分段的方法进行压缩，首先计算影像的最大灰度级gMax和最小灰度级gMin，然后利用下式计算压缩后的灰度级：

压缩后的灰度级越多，则进行关联规则挖掘的计算量越大，但反映出的像素之间的关系越接近于真实；反之灰度级越少，压缩后像素之间的差异会越小，越不利于挖掘出有意义的关联规则，因此选择一个合适的灰度级非常重要。本发明中的灰度级选定为8，采用的压缩方式为平均压缩：

其中G为最大灰度级，本发明中G＝8，ceil()是向上取整函数，g+1是为了使影像的灰度级被压缩为1～8。

步骤S130：利用对象与其邻接对象的属性量化值构建邻接对象事务集；

优选地，所述邻接对象事务集，主要通过下述方案实现：

邻接关联模式反映了在某一个特定的属性下，对象与对象之间的关联关系，因此为了获取影像的邻接关联规则，需要选择合适的属性。为简单起见，本发明仍然选用色调、均值和方差这三个属性。邻接关联模式的阶数也很重要，在满足最小支持度和置信度阈值的前提下，阶数越高，表明对象之间的约束力越强，该关联模式所反映出的语义信息越准确。但在实际情况下，阶数越高，其支持度会越低，检索时相似度匹配的计算量也会越大，因此需要选择合适的阶数。考虑到计算量，本发明选择2阶邻接关联模式，具体请参阅下表：

表5-2事务集中的部分事务

序号	项	支持度(面积)
			1	89	156
2	55	235

其中项表示两个对象的色调，而支持度表示这两个对象的面积的最小值，反映了这个事务在整个影像中所占的面积。由于在影像分割的过程中，没有对对象进行合并，因此难免会出现一些面积非常小的对象，鉴于此，本发明做了一个限定，当两个对象的面积的最小值与最大值的比值小于0.1时，就不加入到事务集中。三阶的事务集与此类似，只是项变为3个。

步骤S140：计算所述对象事务集的关联规则；

可以理解，由于每个属性的邻接关系是分别存储的，因此，针对每一个属性的事务集，利用关联规则挖掘算法生成该事务的关联规则。有多少个属性，就会生成多少个事务集，就会挖掘出多少组关联规则。

步骤S150：基于关联规则，计算待检索影像与影像库中每一幅影像的相似度并输出检索结果；

在邻接关联模式的检索中，由于与属性相关每一类关联规则单独存储，因此，在计算整幅影像的相似度时，每一类关联规则需要单独计算相似度，然后按照下式计算整体相似度：

其中D_i为每一类关联规则的相似度，N为属性的个数。

其中，按照下式计算两幅影像的相似度：

其中r1和r2为两个规则向量，μ₁和μ₂是两幅影像的均值。如果两个规则向量越接近，同时两幅影像的均值越接近，则D的值越小，相似度越高。

请参阅图3，本发明还提供了一种基于邻接对象关联规则的遥感图像检索系统，包括：遥感图像分割单元110对遥感图像库中的每一幅影像进行分割，得到若干对象；属性量化值计算单元120根据所述对象的属性，计算每个对象的属性量化值；对象事务集构建单元130利用对象与其邻接对象的属性量化值构建邻接对象事务集；关联规则计算单元140计算所述邻接对象事务集的关联规则；相似度计算单元150基于关联规则，计算待检索影像与影像库中所有影像的相似度并输出检索结果。

详细方案已在上文描述，这里不再赘述。

本发明提供的基于邻接对象关联规则的遥感图像检索方法及系统，对所述遥感影像库中的每一幅影像进行分割，得到若干对象；根据所述对象的属性，计算每个对象的属性量化值；利用对象与其邻接对象的属性量化值构建邻接对象事务集，计算所述邻接对象事务集的关联规则；基于关联规则，计算待检索影像与影像库中所有影像的相似度并输出检索结果，与目前检索方法使用低层视觉特征不同，本发明提供的基于邻接对象关联规则的遥感图像检索方法及系统，利用关联规则挖掘方法进行影像检索的思路，从遥感影像中提取隐含的深层次的信息(即关联规则)作为特征，为遥感影像的检索提供一个新的途径。

以下结合具体实施例说明：

实施例1

利用生成的QuickBird影像库进行实验，支持度设置为0.015，置信度为0.3。由于地物类型较多，本发明仅选择疏林地、居民地、高速公路、密林地、荒地这五类易区分的地物，每类地物随机选择8幅分块影像作为待检索影像，分别统计前8、前16、前24、前32、前40、前48、前56、前64幅返回影像中的正确影像，取8幅影像的平均查准率作为最终的查准率，限于篇幅，本实施例仅给出四类地物检索结果的前16幅返回影像，详见图4中(a)、(b)、(c)、(d)分别表示居民地、高速公路、疏林地及密林地四类地物检索结果的前16幅返回影像。

请参阅图5，表示整体检索结果，从图5可以看出，与之前的实验结果类似，高速公路的平均查准率非常低，这是因为，高速公路本身在影像中所占的比例就不高，高速公路周围一般有大片的裸露荒地，而且高速公路的亮度值非常高，其对象的属性在量化后与其它地物比较类似，因此导致平均查准率降低。疏林地的情况与高速公路类似，其结果容易与裸露荒地混淆。而房屋、密林地、荒地的平均查准率比较高，该结果与这些地物的均一化程度有很大的关系。地物越一致，平均查准率越高。

实施例2

利用生成的WorldView-2影像库进行实验，支持度设置为0.015，置信度为0.8。本发明仅选择房屋、广场、森林和水体这四类易区分的地物，每类地物随机选择8幅分块影像作为待检索影像，分别统计前8、前16、前24、前32、前40、前48、前56、前64幅返回影像中的正确影像，取8幅影像的平均查准率作为最终的查准率。限于篇幅，本实施例仅给出四类地物检索结果的前16幅返回影像，详见图6中(a)、(b)、(c)、(d)分别表示居房屋、广场、密林及水体四类地物检索结果的前16幅返回影像。

请参阅图7，表示整体检索结果，从图7可以看出，水体仍然有100％的平均查准率，房屋的平均查准率比较低，森林和广场的居中。出现此结果的原因，与QuickBird影像检索实验类似。

当然本发明的基于邻接对象关联规则的遥感图像检索方法还可具有多种变换及改型，并不局限于上述实施方式的具体结构。总之，本发明的保护范围应包括那些对于本领域普通技术人员来说显而易见的变换或替代以及改型。

Claims (9)

1.一种基于邻接对象关联规则的遥感图像检索方法，其特征在于，包括下述步骤：

步骤S110：对遥感图像库中的每一幅影像进行分割，得到若干对象；

步骤S120：根据所述对象的属性，计算每个对象的属性量化值；

步骤S130：利用对象与其邻接对象的属性量化值构建邻接对象事务集；

步骤S140：计算所述邻接对象事务集的关联规则；

步骤S150：基于关联规则，计算待检索影像与影像库中所有影像的相似度并输出检索结果。

2.根据权利要求1所述的基于邻接对象关联规则的遥感图像检索方法，其特征在于，步骤S110中，采用Quick Shift分割算法对所述影像库中的每一幅影像进行分割，得到若干对象。

3.根据权利要求2所述的基于邻接对象关联规则的遥感图像检索方法，其特征在于，采用Quick Shift分割算法对影像进行分割，得到一系列的对象，分割后影像上的每一个对象可以表达为：

O(OID,P,A)

其中OID是对象的编号，P是属性的集合，P＝{P₁,P₂,...,P_n}，n为属性的个数，A是邻接对象的集合，A＝{A₁,A₂,...,A_m}，m为邻接对象的个数。

4.根据权利要求1所述的基于邻接对象关联规则的遥感图像检索方法，其特征在于，步骤S120中，所述对象的属性包括：反映对象平均亮度的均值、反映对象纹理特征的标准差及反映了对象的颜色信息的色调。

5.根据权利要求4所述的基于邻接对象关联规则的遥感图像检索方法，其特征在于，步骤S120中，根据所述对象的属性采用均匀分段的方式，将各属性量化到[1,G]的范围，具体为：采用平均压缩的方法，将256个灰度级平均分配到若干个灰度级中，

$g^{\′}=ceil(\frac{g+1}{256}*G),$

其中G为最大灰度级，G＝8，ceil()是向上取整函数，g+1是为了使影像的灰度级被压缩为1～8。

6.根据权利要求4所述的基于邻接对象关联规则的遥感图像检索方法，其特征在于，步骤S120中，根据所述对象的属性采用均匀分段的方式，将各属性量化到[1,G]的范围，具体为，采用线性分段的方法进行压缩，首先计算影像的最大灰度级gMax和最小灰度级gMin，然后利用下式计算压缩后的灰度级：

$g^{\&prime;}=\left\{\begin{array}{cc}1& g\&le;gMin+\left(gMax-gMin\right)/G\\ n& gMin+\left(n-1\right)\left(gMax-gMin\right)/G<g<gMin+n\left(gMax-gMin\right)/G\\ G& g\&GreaterEqual;gMin+\left(G-1\right)\left(gMax-gMin\right)/G\end{array}\right.$

其中G为最大灰度级，G＝8，ceil()是向上取整函数，g+1是为了使影像的灰度级被压缩为1～8。

7.根据权利要求1所述的基于邻接对象关联规则的遥感图像检索方法，其特征在于，步骤S140中：利用关联规则挖掘算法计算所述对象事务集的关联规则。

8.根据权利要求1所述的基于邻接对象关联规则的遥感图像检索方法，其特征在于，步骤S150中，具体按照下式计算整体相似度：

$D=\frac{1}{N}\underset{i=1}{\overset{N}{\&Sigma;}}{D}_i$

其中D_i为每一类关联规则的相似度，N为属性的个数，其中，其中r1和r2为两个规则向量，i表示某一类关联规则，j表示规则向量中的某一个值，M表示规则向量的长度，μ₁和μ₂是两幅影像的均值。

9.一种基于邻接对象关联规则的遥感图像检索系统，其特征在于，包括：

遥感图像分割单元：对遥感图像库中的所有影像进行分割，得到若干对象；

属性量化值计算单元：根据所述对象的属性，计算每个对象的属性量化值；

对象事务集构建单元：利用对象与其邻接对象的属性量化值构建邻接对象事务集；

关联规则计算单元：计算所述邻接对象事务集的关联规则；

相似度计算单元：基于关联规则，计算待检索影像与影像库中所有影像的相似度并输出检索结果。