CN106570127B - 基于对象属性关联规则的遥感图像检索方法及系统 - Google Patents

Abstract

本发明提供的基于对象属性关联规则的遥感图像检索方法及系统，对所述影像库中的每一幅影像进行分割，得到若干对象；根据所述对象的属性，计算每个对象的属性量化值；针对每个对象的属性量化值构建对象属性事务集，计算所述对象属性事务集的关联规则，得到描述每一幅影像内容的关联规则，根据影像的关联规则，计算待检索影像与影像库中所有影像的相似度，输出检索结果，与目前检索方法使用低层视觉特征不同，本发明提供的基于对象属性关联规则的遥感图像检索方法及系统，利用关联规则挖掘方法进行影像检索的思路，从遥感影像中提取隐含的深层次的信息(即关联规则)作为特征，为遥感影像的检索提供一个新的途径。

Description

基于对象属性关联规则的遥感图像检索方法及系统

技术领域

本发明涉及遥感图像检索技术领域，尤其是涉及一种基于对象属性关联规则的遥感图像检索方法及系统。

背景技术

遥感影像具有影像幅面大，影像内容多且复杂的特点，“同物异谱”和“异物同谱”的现象很普遍，给遥感影像的检索带来较大的难度。影像检索即搜索数据库中含有指定特征或具有相似内容的影像，当前主流的基于内容的影像检索(Content-Based ImageRetrieval，CBIR)方法能综合影像处理、信息检索、机器学习、计算机视觉、人工智能等诸多领域的知识，借助从影像中自动提取的视觉特征作为影像内容的描述；目前，基于内容的影像检索取得了大量的研究成果。

视觉特征提取在影像检索中具有重要作用，可以分为两个研究方向，一是研究影像的光谱、纹理、形状等低层视觉特征的提取及相似度度量，包括基于光谱曲线吸收特征提取的高光谱影像检索、利用颜色空间、颜色矩提取颜色特征、利用小波变换、Contourlet变换、Gabor小波、广义高斯模型、纹理谱等方法描述影像的纹理特征、基于像元形状指数、PHOG(Pyramid Histogram of Oriented Gradients，分层梯度方向直方图)形状与小波金字塔的遥感影像形状特征描述方法等。这类低层视觉特征的应用比较成熟，但是无法描述描述影像的语义信息，其提供的检索结果往往和人脑对遥感影像的认知有相当的差距，并不能完全令人满意。

针对这一问题，另一个研究方向即是建立低层视觉特征与语义的映射模型，在语义层次提高影像检索的准确率。主要研究成果包括基于统计学习的语义检索方法，如贝叶斯分类器模型上下文语境的贝叶斯网络、贝叶斯网络与EM(最大期望)参数估计等；基于语义标注的检索方法，如语言索引模型、概念语义分布模型等；基于GIS(地理信息系统，Geographic Information System)辅助的语义检索方法，如利用GIS数据中矢量要素的空间和属性信息引导语义赋予的方法；基于本体论的语义检索方法，如基于视觉对象领域本体的方法、GeoIRIS等。这类方法能够在一定程度上反映人脑对于影像检索的语义理解过程，具有较高的准确率，是未来影像检索的发展趋势。然而目前的语义检索方法往往过于关注低层视觉特征与语义映射模型的构建过程，忽略了所采用的低层视觉特征的种类、语义学习方法等因素，最终影响到语义检索的查准率。

近年来，人类视觉感知特性被引入到影像检索领域中，受到广泛的关注，但是这类方法尚处于起步阶段，还有许多问题有待解决：如人眼视觉系统的生理过程、更符合人眼视觉的特征描述方法、自底向上的感知模型、显著特征提取与度量、自顶向下的视觉注意机制等等。另外，针对遥感影像数据检索的典型成果主要包括瑞士RSIAII+III项目，研究基于光谱和纹理特征的多分辨率遥感影像数据的描述和检索；Berkeley数字图书馆项目开发的原型系统Blobworld，它以航空影像、USGS正射影像和地形图，SPOT卫星影像等作为数据源，让用户能够直观地改进检索结果；新加坡南洋理工大学的(RS)2I项目，其研究内容涵盖了遥感影像特征提取与描述、多维索引技术及分布式体系结构设计的众多方面；斯坦福大学的SIMPLIcity，利用一种稳健的综合区域匹配方法(Integrated Region Matching，IRM)来定义影像间的相似度，在卫星基于数据挖掘的遥感影像检索中取得不错的结果；微软亚洲研究院的iFind，系统通过影像的标注信息构造语义网络，并在相关反馈中与影像的视觉特征相结合，有效地实现了在两个层次上的相关反馈。这些系统取得了重要成果，但是不论是在特征提取还是在代表性特征选择方面仍需要进一步深入研究。

综上所述，不管是基于像素还是面向对象的影像检索方法，大多都关注于影像整体或局部或对象区域的颜色、纹理、形状等低层特征的统计信息。直接基于低层特征的检索方法无法提取感兴趣的目标，缺乏对影像空间信息进行描述的能力，存在特征维数过高、描述不完整、准确性差、缺乏规律性、特征描述与人类认知存在语义差距等缺点。与此同时，基于高层语义信息的遥感影像检索又缺乏成熟的理论和方法。低层特征与高层语义信息之间的“语义鸿沟”，阻碍了遥感影像检索的发展及应用。

发明内容

有鉴如此，有必要针对现有技术中存在的缺陷，利用关联规则挖掘方法进行影像检索的思路提供一种基于对象属性关联规则的遥感图像检索方法。

为实现上述目的，本发明采用下述技术方案：

一种基于对象属性关联规则的遥感图像检索方法，包括下述步骤：

步骤S110：对所述影像库中的每一幅影像进行分割，得到若干对象；

步骤S120：根据所述对象的属性，计算每个对象的属性量化值；

步骤S130：针对每个对象的属性量化值构建对象属性事务集；

步骤S140：计算所述对象属性事务集的关联规则，得到描述每一幅影像内容的关联规则；

步骤S150：根据影像的关联规则，计算待检索影像与影像库中所有影像的相似度，输出检索结果。

在一些实施例中，步骤S110中，采用Quick Shift分割算法对所述影像库中的每一幅影像进行分割，得到若干对象。

在一些实施例中，采用Quick Shift分割算法对影像进行分割，得到一系列的对象，分割后影像上的每一个对象可以表达为：

O(OID,P,A) (5-1)

其中OID是对象的编号，P是属性的集合，P＝{P₁,P₂,...,P_n}，n为属性的个数，A是邻接对象的集合，A＝{A₁,A₂,...,A_m}，m为邻接对象的个数。

在一些实施例中，步骤S120中，所述对象的属性包括：反映对象平均亮度的均值、反映对象纹理特征的标准差及反映了对象的颜色信息的色调。

在一些实施例中，步骤S120中，根据所述对象的属性采用均匀分段的方式，将各属性量化到[1,G]的范围，具体为：采用平均压缩的方法，将256个灰度级平均分配到若干个灰度级中，

其中G为最大灰度级，G＝8，ceil()是向上取整函数，g+1是为了使影像的灰度级被压缩为1～8。

在一些实施例中，步骤S120中，根据所述对象的属性采用均匀分段的方式，将各属性量化到[1,G]的范围，具体为，采用线性分段的方法进行压缩，首先计算影像的最大灰度级gMax和最小灰度级gMin，然后利用下式计算压缩后的灰度级：

其中G为最大灰度级，G＝8，ceil()是向上取整函数，g+1是为了使影像的灰度级被压缩为1～8。

在一些实施例中，步骤S140中：利用关联规则挖掘算法计算所述对象属性事务集的关联规则。

在一些实施例中，步骤S150中，通过下述公式计算两幅影像的相似度；

其中r1和r2为两个规则向量，μ₁和μ₂是两幅影像的均值。

另外，本发明还提供了一种基于对象属性关联规则的遥感图像检索系统，包括：

遥感图像分割单元：对所述遥感影像库中的每一幅影像进行分割，得到若干对象；

属性量化值计算单元：根据所述对象的属性，计算每个对象的属性量化值；

对象属性事务集构建单元：针对每个对象的属性量化值构建对象属性事务集；

关联规则计算单元：计算所述对象属性事务集的关联规则；

相似度计算单元：根据影像的关联规则，计算待检索影像与影像库中所有影像的相似度，并输出检索结果。

本发明采用上述技术方案的优点是：

本发明提供的基于对象属性关联规则的遥感图像检索方法及系统，对所述遥感影像库中的每一幅影像进行分割，得到若干对象；根据所述对象的属性，计算每个对象的属性量化值；针对每个对象的属性量化值构建对象属性事务集，计算所述对象属性事务集的关联规则，根据影像的关联规则，计算待检索影像与影像库中所有影像的相似度，与目前检索方法使用低层视觉特征不同，本发明提供的基于对象属性关联规则的遥感图像检索方法及系统，利用关联规则挖掘方法进行影像检索的思路，从遥感影像中提取隐含的深层次的信息(即关联规则)作为特征，通过概念提升形成语义，为遥感影像的语义检索提供一个新的途径。

附图说明

图1为本发明实施例提供的基于对象属性关联规则的遥感图像检索方法的步骤流程图。

图2是利用QuickShift算法对遥感影像库中的影像进行分割后的结果。

图3为本发明实施例提供的基于对象属性关联规则的遥感图像检索系统的接头的结构示意图。

图4中(a)、(b)、(c)、(d)分别表示为实施例1居民地、高速公路、疏林地及密林地四类地物检索结果的前16幅返回影像。

图5为本发明实施例1提供的QuickBird影像检索的查准率。

图6中(a)、(b)、(c)、(d)分别表示实施例2居房屋、广场、密林及水体四类地物检索结果的前16幅返回影像。

图7为本发明实施例2提供的WorldView-2影像检索查准率。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

在申请文件中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

请参考图1为本发明实施例提供的一种基于对象属性关联规则的遥感图像检索方法，包括下述步骤：

步骤S110：对所述影像库中的每一幅影像进行分割，得到若干对象；

采用分割算法对影像进行分割，得到一系列的对象，因此分割后影像上的每一个对象可以形式化地表达为：

O(OID,P,A)

其中OID是对象的编号，P是属性的集合，P＝{P₁,P₂,...,P_n}，n为属性的个数，A是邻接对象的集合，A＝{A₁,A₂,...,A_m}，m为邻接对象的个数。上式表明，每一个对象都具有一定的属性和一定的邻接对象，而每一个邻接对象同样具有属性和自己的邻接对象，由此整个影像即可看作是由若干个对象以及对象之间的关系网所构成。

可以理解，由于不需要进行对象的合并操作，因此对分割算法没有严格的要求，只需要分割算法能够将影像分割成若干个对象，在每个对象内部，像素的性质比较一致，大多数分割算法均能达到这一要求。

进一步地，本发明选用Quick Shift分割算法实现影像分割。

可以理解，Quick Shift是一种改进的快速均值漂移算法，综合利用了空间和颜色一致性进行影像分割，在遥感影像处理方面具有广阔应用前景。

给定N个点x₁,x₂,...,x_N∈R^d，一个模式搜索算法都需要计算以下的概率密度估计：

其中核函数k(x)可以是高斯窗或者其它窗函数，每个点x_i由y_i(0)＝x_i开始，依梯度

形成的二次曲面限定的渐进轨迹y_i(t)，向模态P(x)移动。所有属于同一模态的点形成一个聚类。

在Quick Shift算法中，为搜寻密度为P(x)的模式，不需要采用梯度或者二次曲面，仅仅将每个点x_i移动到最邻近的模式，表达式为：

该算法具有快速简单、时间复杂度小等优势，核函数k(x)参数的选择可平衡“过分割”与“欠分割”现象，使得模式搜索更加高效。

请参阅图2是利用QuickShift算法对遥感影像库中的影像进行分割后的结果。可以理解，在进行Quick Shift分割时，需要设定一个最大距离，用于控制像素被合并为一个对象的最大L2距离。图2中，左边一列为遥感影像原图，中间一列是最大距离为5的分割结果，而右边一列是最大距离为10的分割结果。从分割后的影像可以看出，地物的颜色信息得到了很好的保留，结构信息也没有受到太大的损坏，但是随着距离的增大，更多的像素被合并为一个对象，每一个对象的面积也会随之增大。

步骤S120：根据所述对象的属性，计算每个对象的属性量化值；

优选地，步骤S120中，所述对象的属性包括：反映对象平均亮度的均值、反映对象纹理特征的标准差及反映了对象的颜色信息的色调。

以下对上述三种属性进行详细描述。

均值：反映了对象的平均亮度，计算公式如下：

其中f表示原始的三个波段的影像，(x,y)为像素坐标，I为均值影像，μ为均值，N为对象内像素的个数，I(i)为对象内某个像素的灰度值。

标准差：反映了对象的纹理特征，标准差越大，说明对象内像素灰度值的差异程度越高，计算公式如下：

其中各变量的定义跟均值中的定义是一样的。

色调：反映了对象的颜色信息，本发明使用HSI色彩空间的色调分量来描述对象的色调属性，其表达式如下：

其中R、G、B分别为对象在三个波段上的均值。

进一步地，步骤S120中，根据所述对象的属性采用均匀分段的方式，将各属性量化到[1,G]的范围，具体为：采用平均压缩的方法，将256个灰度级平均分配到若干个灰度级中，

其中G为最大灰度级，G＝8，ceil()是向上取整函数，g+1是为了使影像的灰度级被压缩为1～8。

或者，采用线性分段的方法进行压缩，首先计算影像的最大灰度级gMax和最小灰度级gMin，然后利用下式计算压缩后的灰度级：

压缩后的灰度级越多，则进行关联规则挖掘的计算量越大，但反映出的像素之间的关系越接近于真实；反之灰度级越少，压缩后像素之间的差异会越小，越不利于挖掘出有意义的关联规则，因此选择一个合适的灰度级非常重要。本发明中的灰度级选定为8，采用的压缩方式为平均压缩：

其中G为最大灰度级，本发明中G＝8，ceil()是向上取整函数，g+1是为了使影像的灰度级被压缩为1～8。

步骤S130：针对每个对象的属性量化值构建对象属性事务集；

可以理解，在获取了影像的所有对象后，本发明利用对象的属性(本发明中使用均值、色调和标准差这三个属性)生成关联规则，比较关联规则的相似度，实现影像检索。

每一个对象在计算了三个属性之后，再进行量化，以此为基础构建事务集，每一个对象均构成一条事务，以该对象的面积作为该事务的支持度，具体事务结构如下表：

表5-1事务集中的部分事务

序号	项	面积(支持度)
			1	3 2 5	245
2	8 6 4	356

其中项的顺序依次表示了均值、色调和标准差量化之后的值，面积的单位为像素个数，用面积除以整个影像的大小，即为该对象在整个影像中的比例。

步骤S140：计算所述对象属性事务集的关联规则，得到描述每一幅影像内容的关联规则；

优选地，利用关联规则挖掘算法计算所述对象属性事务集的关联规则。

步骤S150：根据两幅影像的关联规则，计算待检索影像与影像库中所有影像的相似度，输出检索结果。

优选地，按照下式计算两幅影像的相似度：

其中r1和r2为两个规则向量，μ₁和μ₂是两幅影像的均值。如果两个规则向量越接近，同时两幅影像的均值越接近，则D的值越小，相似度越高。

请参阅图3，本发明还提供了一种基于对象属性关联规则的遥感图像检索系统，包括：遥感图像分割单元110根据所述遥感图像库中的每一幅影像进行分割，得到若干对象；属性量化值计算单元120根据所述对象的属性，计算每个对象的属性量化值；对象属性事务集构建单元130针对每个对象的属性量化值构建对象属性事务集；关联规则计算单元140计算所述对象属性事务集的关联规则；相似度计算单元150根据影像的关联规则，计算待检索影像与影像库中所有影像的相似度并输出检索结果。

详细方案已在上文描述，这里不再赘述。

本发明提供的基于对象属性关联规则的遥感图像检索方法及系统，根据所述遥感图像库中的每一幅影像进行分割，得到若干对象；根据所述对象的属性，计算每个对象的属性量化值；针对每个对象的属性量化值构建对象属性事务集，计算所述对象属性事务集的关联规则，根据影像的关联规则，计算待检索影像与影像库中所有影像的相似度，与目前检索方法使用低层视觉特征不同，本发明提供的基于对象属性关联规则的遥感图像检索方法及系统，利用关联规则挖掘方法进行影像检索的思路，从遥感影像中提取隐含的深层次的信息(即关联规则)作为特征，为遥感影像的检索提供一个新的途径。

以下结合具体实施例说明：

实施例1

利用QuickBird影像库进行实验，支持度设置为0.015，置信度为0.6。由于地物类型较多，本发明仅选择疏林地、居民地、高速公路和密林地这四类易区分的地物，每类地物随机选择8幅分块影像，以这8幅影像作为待检索影像。由于不知道影像库中每类影像的具体数目，因此无法使用查全率、漏检率等指标，而前N幅影像的平均查准率能够反映检索算法的检索性能，同时兼顾到用户的体验，因此本发明使用前64幅影像的平均查准率来衡量各检索算法的性能，本章其它实验采用类似的方法进行评价。计算时，分别统计前8、前16、前24、前32、前40、前48、前56、前64幅返回影像中的正确影像，取8幅影像的平均查准率作为最终的查准率，详见图4中(a)、(b)、(c)、(d)分别表示居民地、高速公路、疏林地及密林地四类地物检索结果的前16幅返回影像。

请参阅图5，表示整体检索结果，从图5可以看出，房屋和密林地的平均查准率很高，能达到90％以上，这是因为这些地物类型在视觉上纹理特征比较明显，因此分割出的对象在属性上具有很强的一致性，很容易与其它地物分开。但是对于疏林地，随着返回数量增加，平均查准率急剧降低，这是因为疏林地上只有少量的树木且有大量的空地，因此在对象的属性上，很容易与空地混淆，事实上，在返回的影像中，有大量空地影像被当作检索结果返回。同样的情况也出现在高速公路上，由于高速公路的亮度值很高，内部比较均一化，同时周围是大量的空地，而影像库中包含高速公路的影像又不多，因此其平均查准率比较低。事实上，有大量的空地和高亮度的房屋影像被当作检索结果返回。

实施例2

利用生成的WorldView-2影像库进行实验，支持度设置为0.015，置信度为0.8。本发明仅选择房屋、广场、森林和水体这四类易区分的地物，每类地物随机选择8幅分块影像作为待检索影像。由于不知道影像库中每类影像的具体数目，因此无法使用查全率、漏检率等指标，而前N幅影像的平均查准率能够反映检索算法的检索性能，同时兼顾到用户的体验，因此本发明使用前64幅影像的平均查准率来衡量各检索算法的性能，本章其它实验采用类似的方法进行评价。计算时，分别统计前8、前16、前24、前32、前40、前48、前56、前64幅返回影像中的正确影像，详见图6中(a)、(b)、(c)、(d)分别表示居房屋、广场、密林及水体四类地物检索结果的前16幅返回影像。

请参阅图7，表示整体检索结果，从图7可以看出，广场、森林、水体等视觉上纹理特征非常明显的地物的平均查准率很高，能达到95％以上。而对于房屋类型，由于房屋对象内部均值和方差的差异较大，同时房屋周围一般都会有树木和道路，色调偏绿或偏黑，因此很容易与森林或水体混淆，所以平均查准率没有前三类地物高。

当然本发明的基于对象属性关联规则的遥感图像检索方法还可具有多种变换及改型，并不局限于上述实施方式的具体结构。总之，本发明的保护范围应包括那些对于本领域普通技术人员来说显而易见的变换或替代以及改型。

Claims (8)

1.一种基于对象属性关联规则的遥感图像检索方法，其特征在于，包括下述步骤：

步骤S110：对影像库中的每一幅影像进行分割，得到若干对象；其中，在每个所述对象内部，像素的性质一致；

步骤S120：根据所述对象的属性，计算每个对象的属性量化值；

步骤S130：针对每个对象的属性量化值构建对象属性事务集；其中，每个所述对象均构成一条事务，以该对象的面积作为该事务的支持度；

步骤S140：计算所述对象属性事务集的关联规则，得到描述每一幅影像内容的关联规则；

步骤S150：根据影像的关联规则，计算待检索影像与影像库中所有影像的相似度，输出检索结果。

2.根据权利要求1所述的基于对象属性关联规则的遥感图像检索方法，其特征在于，步骤S110中，采用Quick Shift分割算法对所述影像库中的每一幅影像进行分割，得到若干对象。

3.根据权利要求2所述的基于对象属性关联规则的遥感图像检索方法，其特征在于，采用Quick Shift分割算法对影像进行分割，得到一系列的对象，分割后影像上的每一个对象表达为：

O(OID,P,A)

其中OID是对象的编号，P是属性的集合，P＝{P₁,P₂,...,P_n}，n为属性的个数，A是邻接对象的集合，A＝{A₁,A₂,...,A_m}，m为邻接对象的个数。

4.根据权利要求1所述的基于对象属性关联规则的遥感图像检索方法，其特征在于，步骤S120中，所述对象的属性包括：反映对象平均亮度的均值、反映对象纹理特征的标准差及反映了对象的颜色信息的色调。

5.根据权利要求4所述的基于对象属性关联规则的遥感图像检索方法，其特征在于，步骤S120中，根据所述对象的属性采用均匀分段的方式，将各属性量化到[1,G]的范围，具体为：采用平均压缩的方法，将256个灰度级平均分配到若干个灰度级中，

其中G为最大灰度级，G＝8，ceil()是向上取整函数，g+1是为了使影像的灰度级被压缩为1～8；

其中g’为压缩后的灰度级。

6.根据权利要求4所述的基于对象属性关联规则的遥感图像检索方法，其特征在于，步骤S120中，根据所述对象的属性采用均匀分段的方式，将各属性量化到[1,G]的范围，具体为，采用线性分段的方法进行压缩，首先计算影像的最大灰度级gMax和最小灰度级gMin，然后利用下式计算压缩后的灰度级：

其中G为最大灰度级，G＝8，ceil()是向上取整函数，g+1是为了使影像的灰度级被压缩为1～8；

其中g’为压缩后的灰度级，g为压缩前的灰度级。

7.根据权利要求1所述的基于对象属性关联规则的遥感图像检索方法，其特征在于，步骤S140中：利用关联规则挖掘算法计算所述对象属性事务集的关联规则。

8.一种基于对象属性关联规则的遥感图像检索系统，其特征在于，包括：

遥感图像分割单元：根据遥感图像的所属类别选择训练影像，并对影像库中的每一幅影像进行分割，得到若干对象；其中，在每个所述对象内部，像素的性质一致；

属性量化值计算单元：根据所述对象的属性，计算每个对象的属性量化值；

对象属性事务集构建单元：针对每个对象的属性量化值构建对象属性事务集；其中，每个所述对象均构成一条事务，以该对象的面积作为该事务的支持度；

关联规则计算单元：计算所述对象属性事务集的关联规则；

相似度计算单元：根据影像的关联规则，计算待检索影像与影像库中所有影像的相似度，并输出检索结果。

Images