CN104156964A - 一种综合mrf和贝叶斯网络的遥感影像区域分割方法 - Google Patents

Abstract

本发明公开了一种综合MRF和贝叶斯网络的遥感影像区域分割方法，主要用以解决传统MRF方法不能有效的描述有向信息的问题。先对遥感影像进行过分割，然后把从影像中所提取到区域、边界、顶点、语义特征及特征之间的关系分成无向与有向两种形式，再用典型的无向图模型——MRF对邻域像素标号的空间相互影响等无向关系进行建模，利用BN对边界的两边一般不属于同类、顶点是二条或多条边界的交叉点等有向关系进行建模，以克服单层MRF不便描述有向关系的缺点，最后借鉴气象领域中数据同化的思想综合MRF与BN，从而改善分割效果。本发明获取的分割结果具有较好的精度和区域一致性，可用于高分辨率遥感影像的分割。

Description

一种综合MRF和贝叶斯网络的遥感影像区域分割方法

技术领域

本发明属于影像处理技术领域，涉及一种综合MRF和贝叶斯网络的遥感影像区域分割方法。

背景技术

近年来，随着航空航天、计算机、通信和数据采集等技术的不断进步，高分辨率遥感技术得到了飞速发展。高分辨率遥感影像在森林资源调查、生态环境监测、城市规划、探矿、精细农业、自然灾害监测等领域有着广泛的应用价值。我国森林资源丰富，很多地方容易发生火灾，利用遥感影像来监测火灾易发地区，可减少火灾带来的损失；我国也是农业大国，遥感影像也可用来监测农作物的生长状态和土壤湿度变化等，可为农作物进行估产、病虫灾害防治、旱涝灾害评估等提供信息支持；遥感影像还可用来监测洞庭湖区的生态环境变化和为城市规划提供参考信息。这些应用都离不开影像信息的提取，这也说明了作为信息提取方法的影像分割对我国经济和社会发展的重要性。然而，面对海量对地观测数据，如何从中提取有用的信息仍是亟待解决的问题，世界各国都投入了大量的人力物力对此进行研究。我国在“十一五”期间也成立了相关的重大研究专项，高分辨率遥感影像的信息提取就是其中一个非常重要的组成部分，主要内容涉及影像处理、模式识别、人工智能和认知学等领域，是当前遥感影像解译研究的重点和热点。

高分辨率遥感影像的数据量大、细节信息丰富、地物语义层次分明、结构信息清楚、同物异谱和同谱异物现象严重。同一地物的光谱响应以及地物与地物之间的邻接关系等都具有很高的随机性，从影像数据的统计特征来看，高分辨率遥感影像属于高随机信号。因此，采用统计的方法来从高分辨率遥感影像中提取信息是一条有效的途径。

马尔可夫随机场(Markov Random Field，MRF)作为一种描述各种物理现象结构的概率模型，能够有效地描述影像的空间上下文关系并具有完备的理论基础而受到广泛关注。基于像素的MRF影像分割是此类方法的理论基础，该类方法首先使用MRF模型对影像进行统计建模，再在Bayesian框架下进行影像分割。针对地物影像具有的多尺度特性，近年来结合了多尺度分析的MRF模型成为了一个研究的重点。该类模型可以在低分辨率的大尺度上，分析影像宏观的纹理模式；在高分辨率的小尺度上，分析影像具体的细节信息。如Krishnamachari提出了一个用于纹理分割的多分辨率高斯马尔科夫随机场(GMRF)模型。Bouman等采用四叉树结构或金字塔结构表示尺度之间的状态转移关系，提出一个用于影像分割的多尺度随机场。Noda等在小波域利用MRF模型进行多尺度纹理分割时，考虑了更多邻域像素的影响。传统的MRF和多尺度MRF均以像素为基本单位，而这些像素级的MRF一般只能考虑像素光谱特征在小范围内的纹理表现，难以描述结构和语义等复杂信息，因此只能用于低层次的影像分析。

为了能够描述更高层次的影像信息，近年来一些研究人员以区域为研究对象，将MRF模型从像素级推广至区域级，对区域形状、上下文关系、语义等特征进行建模。如Kim等先对影像进行过分割，然后对过分割所得到的区域构造区域邻接图(Region Adjacency Graph，RAG)，再利用RAG对区域进行MRF建模，实现区域级的影像分割。Wang等提出了一个超像素MRF模型(Superpixel MRF，SMRF)，每一个超像素对应一个影像区域，并将MRF模型定义在区域邻接图上，通过将区域似然函数假设为高斯分布来实现区域级影像分割。Qin等人在利用MRF进行区域的增长的过程中，通过自适应的边界惩罚函数引入语义信息，但因影像中信息的冗余和矛盾，获得的初始区域精度不高，这约束了区域级MRF模型分割的精确性。Ciro等人提出了一个树结构化的MRF模型，并应用于监督方式的影像分割，可以将遥感影像本身所暗含的分层信息集成在影像分割过程中。Liu等人将树结构化的MRF模型与小波分解的多尺度表达结合在一起，提出了一种小波域的树结构化的MRF模型，并基于该模型进行了监督方式的影像分割。上述方法虽然能在一定程度上利用语义分层信息，但模型后验概率的选择方法有待进一步完善。Scarpa等人利用马氏链统计区域间的空间邻接性，然后通过概率转移矩阵刻画区域间的。

语义关系，但这种方法对细碎纹理和边界纹理的分割效果较差。

纵观现有的基于MRF影像分割分类方法，从光谱特征的描述到结构信息(纹理、形状指数等)的引入，从单一尺度的研究到多尺度的研究，从像素级的建模到区域级的建模，从单纯的影像数据建模到考虑影像语义的有关尝试，其研究的目标都是希望建立能够准确反映影像特征的统计模型。尽管目前的研究已经取得了很大的进展，但在高分辨率遥感影像分割中仍存在一些问题。

常用的遥感影像分割算法还有基于分水岭变换的分割算法]、基于脉冲耦合神经网络的分割算法、基于偏微分方程的分割算法、基于均值漂移的分割算法等。为了有效的分析地表地物的多层次的语义结构，需要建立多层次的方法来反映层次的地物语义结构。Mallinisa等采用多分辨率分割算法对希腊北部天然林区的Qucikbird影像建立多尺度的分割表达，并建立与之对应的森林系统分类的语义树，而后在不同的分割尺度上，根据相应的语义层次，通过句法模式识别的方法实现多层次分类，算法的整体分类精度低于80％。Bruzzone等采用多尺度形态开闭运算获得多层次影像区域分割结果，而后基于区域同质性的变化确定最有可能对应完整地物对象的区域基元，再采用潜在语义分析模型实现地物覆盖类型检测。这些研究通过不同的方式建立了影像的多尺度表达，其相似之处在于：1.均将某种特征的突变视为地物对象产生或消亡的标志(如区域方差的变化)；2.将待分类地物和某一固定的分割尺度相联系起来。然而，对于地物内部单元互异性较大的类别，往往很难通过特征的突变来判断是否发生了地物类别的更替；另一方面，当待分类地物仅与某一分割尺度相联系时，特征提取则仅限于当前分割层次，无法充分利用影像的多尺度的信息和不同层次间的语义联系，这往往导致分割精度的降低。

尽管现有的空间纹理特征和光谱特征的建模取得了较大的进展，提出了许多的方法，但仍有很多科学问题有待进一步的研究，其中主要的问题有：1.在描述不同尺度之间数据相关性方面，现有方法仅仅考虑了光谱特征的数据相关性，并且假定数据上相互独立来估计后验概率，这种假定在很多情况下的难以成立，从而导致分类性能下降。2.层次语义信息没有整合到影像多尺度分析过程中。现有的多尺度分割过程往往仅依据区域的光谱或空间统计量的变化来指导区域合并，然后从多层次区域提取特征，再采用智能分类器对区域进行分类。这种利用多尺度区域统计信息的分类方法往往对低层语义分类有较好的效果。但是由于忽略了不同层次区域间的语义联系，所以不符合多层次区域建立的初衷：建模多层次的地表景观结构。高分辨率遥感影像信息丰富，视觉模式复杂的特点使得信息提取算法比其他类型的影像理解面临更大的困难。深入研究高分辨率影像的特性，特别是统计特性和层次结构特性，探索新的信息提取理论和方法是解决上述问题的有效途径。

综合以上分析，我们认为：基于MRF随机场理论，对影像进行多层次分割是提高高分辨率遥感影像信息提取精度的有效途径。具体理由如下：1.高分辨率影像本质上是二维随机信号，这种随机性可以通过MRF模型得到精确描述；2.区域分割获得目标的形状、颗粒度等空间信息，可采用合适的概率表达形式，纳入到MRF的统一框架中，进而提高模型的准确性；3.多层次的分割结果可以同时捕捉不同尺度的信息，通过多尺度特征信息的融合，有利于信息提取精度的提高；4.层次的语义树模型整合到区域MRF框架下可实现特征层次与语义层次的互补。

为了充分利用像素的背景信息，纹理、结构等空间信息常和光谱信息一起组成多元特征，相关研究结果表明空间信息的加入可在一定程度上提高分割分类精度。但这类方法仅仅将光谱和空间特征简单的罗列在一起，割舍了光谱和空间特征之间的联系，对影像中的结构信息的描述仍达不到GIS或制图相关应用要求的精度。用于建模的特征和语义信息可分为有向信息和无向信息二种，MRF便于描述无向关系，但很难同时准确地描述有向关系，而贝叶斯网络(BayesianNetworks，BN)便于描述有向关系。

发明内容

本发明的目的在于克服上述技术存在的缺陷，提供一种综合MRF和贝叶斯网络的遥感影像区域分割方法，采用MRF和BN分别描述用于分割的无向信息和有向信息，再对MRF和BN进行综合，先把从影像中所提取到区域、边界、顶点、语义特征及特征之间的关系分成无向与有向两种形式，再用典型的无向图模型——MRF对邻域像素标号的空间相互影响等无向关系进行建模，利用BN对边界的两边一般不属于同类、顶点是二条或多条边界的交叉点等有向关系进行建模，以克服单层MRF不便描述有向关系的缺点，然后综合MRF与BN，从而改善了分割效果。其具体技术方案为：

一种综合MRF和贝叶斯网络的遥感影像区域分割方法，包括以下步骤：

(1)使用均值漂移Meanshift、几何流Geometric-flow和分水岭变换等算法对影像进行过分割，将影像分割成同质小区域；

(2)计算过分割所获得的各个区域的光谱、纹理及空间等特征；

(3)使用束波变换Beamlet transform、Canny算子等检测影像中的边界，提取边界的长度、方向等特征；根据边界交叉情况提取顶点的位置、类型等特征；

(4)把从影像中所提取到区域、边界、顶点、语义特征及特征之间的关系分成无向与有向两种形式；

(5)利用MRF和BN分别无向关系和有向关系进行建模；

(6)仿照数据同化系统综合其模型算子(预测数据)与观测算子(观测数据)的思想，来综合MRF与BN两者的优点，从而改善分割效果。

优选地，其中步骤(1)按如下过程执行：

(1a)选择小波变换层数J，对影像的各波段分别进行J层的小波分解；

(1b)根据J尺度上各波段的小波变换所得低频信息，计算每个像素的均值漂移权重；

(1c)利用变权重的均值漂移算法进行J尺度上的分割；

(1d)进行小波逆变换，将分割结果映射到原始尺度上，获得原始影像的过分割结果。

优选地，其中步骤(2)按如下过程执行：

(2a)利用均值漂移算法提取影像的光谱信息；

(2b)利用Gabor滤波器组对原始影像进行滤波，提取影像的纹理信息；

(2c)利用形态属性滤波器对影像进行属性滤波，提取影像的空间信息，具体过程如下：

将多波段影像的每个波段作为一幅灰度影像，再把灰度影像的每个灰度值依次作为阈值，对灰度影像进行阈值化得到一系列二值影像，记为：

记I为二值影像，x为I上的某一像素点，X包含x的连通域

则x处的开运算Γ_x(I)定义为

在开运算中加上属性约束T，就得到了连通域X的属性开运算Γ_T(X)：

其中T(X)是连通域X的某一属性，λ是属性阈值；整个二值影像的属性开变换Γ_T(I)为：

${\mathrm{\Γ}}_T\left(X\right)=\underset{x\∈I}{\∪}{\mathrm{\Γ}}_T\left[{\mathrm{\Γ}}_x\left(I\right)\right]$

再对每个二值影像Th_k(I)进行开运算，并且取其中满足约束条件的最大灰度级作为输出，就得到了灰度影像I的属性开运算γ^T(I)：

γ^T(I)(x)＝max{k：x∈Γ^T[Th_k(I)]}

类似的，灰度影像I的属性闭运算定义为：

其中Ψ^T(I)＝(Γ^T(I^c))^c为二值影像的属性闭运算；

对于影像I上的每一像素点x，根据不同的属性阈值T_λ做属性开和闭运算，就得到了x点处的属性开剖面∏(γ^T(I))(x)和闭剖面

选用了区域面积、区域外接矩形的对角线长度、一阶不变矩和区域内像素值的标准方差4种属性。

优选地，其中步骤(3)按如下过程执行：

(3a)利用束波变换(Beamlet transform)和Canny算子提取影像中的边界；

(3b)计算各边界的长度

(3c)根据边界上像素位置关系确定边界的方向，将多条边界交叉处作为顶点的位置，并根据顶点处交叉边界的条数确定该顶点的类型。

优选地，其中步骤(4)按如下过程执行：

(4a)相邻像素点的某种特征如果相互影响，就将此类特征定为无向特征，如纹理、形态剖面和灰度等特征；

(4b)相邻像素点的某种特征作用是单向的，就将此类特征定为无向信息，如边界的两边的像素一般不属于同类、顶点是二条或多条边界的交叉点等为有向信息。

优选地，，其中步骤(5)按如下过程执行：

(5a)利用MRF对邻域像素标号、Gabor纹理、形态剖面等相互影响的无向关系信息进行建模；

(5b)利用BN对边界的两边一般不属于同类、顶点是二条或多条边界的交叉点等有向关系进行建模。

优选地，其中步骤(6)按如下过程执行：

(6a)利用MRF，使用迭代条件模式，并根据极大后验概率准则获取影像的分割结果1；

(6b)利用BN获取影像分割结果2；

(6c)将定量评价分割结果的指标加权和作为目标函数，仿照数据同化系统综合预测数据与观测数据的思想，对MRF和BN两者的分割结果进行综合，从而改善分割效果。

与现有技术相比，本发明的有益效果为：本发明采用MRF和BN分别描述用于分割的无向信息和有向信息，再对MRF和BN进行综合，先把从影像中所提取到区域、边界、顶点、语义特征及特征之间的关系分成无向与有向两种形式，再用典型的无向图模型——MRF对邻域像素标号的空间相互影响等无向关系进行建模，利用BN对边界的两边一般不属于同类、顶点是二条或多条边界的交叉点等有向关系进行建模，以克服单层MRF不便描述有向关系的缺点，然后综合MRF与BN，从而改善了分割效果。本发明获取的分割结果具有较好的精度和区域一致性，可用于高分辨率遥感影像的分割。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实例进一步阐述本发明。

一种综合MRF和贝叶斯网络的遥感影像区域分割方法，包括以下步骤：

(1)使用均值漂移Meanshift、几何流Geometric-flow和分水岭变换等算法对影像进行过分割，将影像分割成同质小区域；

(2)计算过分割所获得的各个区域的光谱、纹理及空间等特征；

(3)使用束波变换Beamlet transform、Canny算子等检测影像中的边界，提取边界的长度、方向等特征；根据边界交叉情况提取顶点的位置、类型等特征；

(4)把从影像中所提取到区域、边界、顶点、语义特征及特征之间的关系分成无向与有向两种形式；

(5)利用MRF和BN分别无向关系和有向关系进行建模；

(6)仿照数据同化系统综合其模型算子(预测数据)与观测算子(观测数据)的思想，来综合MRF与BN两者的优点，从而改善分割效果。

其中步骤(1)按如下过程执行：

(1a)选择小波变换层数J，对影像的各波段分别进行J层的小波分解；

(1b)根据J尺度上各波段的小波变换所得低频信息，计算每个像素的均值漂移权重；

(1c)利用变权重的均值漂移算法进行J尺度上的分割；

(1d)进行小波逆变换，将分割结果映射到原始尺度上，获得原始影像的过分割结果。

其中步骤(2)按如下过程执行：

(2a)利用均值漂移算法提取影像的光谱信息；

(2b)利用Gabor滤波器组对原始影像进行滤波，提取影像的纹理信息；

(2c)利用形态属性滤波器对影像进行属性滤波，提取影像的空间信息，具体过程如下：

将多波段影像的每个波段作为一幅灰度影像，再把灰度影像的每个灰度值依次作为阈值，对灰度影像进行阈值化得到一系列二值影像，记为：

记I为二值影像，x为I上的某一像素点，X包含x的连通域

则x处的开运算Γ_x(I)定义为

在开运算中加上属性约束T，就得到了连通域X的属性开运算Γ_T(X)：

其中T(X)是连通域X的某一属性，λ是属性阈值；整个二值影像的属性开变换Γ_T(I)为：

${\mathrm{\Γ}}_T\left(X\right)=\underset{x\∈I}{\∪}{\mathrm{\Γ}}_T\left[{\mathrm{\Γ}}_x\left(I\right)\right]$

再对每个二值影像Th_k(I)进行开运算，并且取其中满足约束条件的最大灰度级作为输出，就得到了灰度影像I的属性开运算γ^T(I)：

γ^T(I)(x)＝max{k：x∈Γ^T[Th_k(I)]}

类似的，灰度影像I的属性闭运算定义为：

其中Ψ^T(I)＝(Γ^T(I^c))^c为二值影像的属性闭运算；

对于影像I上的每一像素点x，根据不同的属性阈值T_λ做属性开和闭运算，就得到了x点处的属性开剖面∏(γ^T(I))(x)和闭剖面

选用了区域面积、区域外接矩形的对角线长度、一阶不变矩和区域内像素值的标准方差4种属性。

其中步骤(3)按如下过程执行：

(3a)利用束波变换(Beamlet transform)和Canny算子提取影像中的边界；

(3b)计算各边界的长度

(3c)根据边界上像素位置关系确定边界的方向，将多条边界交叉处作为顶点的位置，并根据顶点处交叉边界的条数确定该顶点的类型。

其中步骤(4)按如下过程执行：

(4a)相邻像素点的某种特征如果相互影响，就将此类特征定为无向特征，如纹理、形态剖面和灰度等特征；

(4b)相邻像素点的某种特征作用是单向的，就将此类特征定为无向信息，如边界的两边的像素一般不属于同类、顶点是二条或多条边界的交叉点等为有向信息。

，其中步骤(5)按如下过程执行：

(5a)利用MRF对邻域像素标号、Gabor纹理、形态剖面等相互影响的无向关系信息进行建模；

(5b)利用BN对边界的两边一般不属于同类、顶点是二条或多条边界的交叉点等有向关系进行建模。

其中步骤(6)按如下过程执行：

(6a)利用MRF，使用迭代条件模式，并根据极大后验概率准则获取影像的分割结果1；

(6b)利用BN获取影像分割结果2；

(6c)将定量评价分割结果的指标加权和作为目标函数，仿照数据同化系统综合预测数据与观测数据的思想，对MRF和BN两者的分割结果进行综合，从而改善分割效果。

以上所述，仅为本发明最佳实施方式，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换均落入本发明的保护范围内。

Claims (7)

1.一种综合MRF和贝叶斯网络的遥感影像区域分割方法，其特征在于，包括以下步骤：

(1)使用均值漂移Meanshift、几何流Geometric-flow和分水岭变换等算法对影像进行过分割，将影像分割成同质小区域；

(2)计算过分割所获得的各个区域的光谱、纹理及空间等特征；

(3)使用束波变换Beamlet transform、Canny算子等检测影像中的边界，提取边界的长度、方向的特征；根据边界交叉情况提取顶点的位置、类型的特征；

(4)把从影像中所提取到区域、边界、顶点、语义特征及特征之间的关系分成无向与有向两种形式；

(5)利用MRF和BN分别无向关系和有向关系进行建模；

(6)仿照数据同化系统综合其模型算子与观测算子的思想，来综合MRF与BN两者的技术改善分割效果。

2.根据权利要求1所述的综合MRF和贝叶斯网络的遥感影像区域分割方法，其特征在于，其中步骤(1)按如下过程执行：

(1a)选择小波变换层数J，对影像的各波段分别进行J层的小波分解；

(1b)根据J尺度上各波段的小波变换所得低频信息，计算每个像素的均值漂移权重；

(1c)利用变权重的均值漂移算法进行J尺度上的分割；

(1d)进行小波逆变换，将分割结果映射到原始尺度上，获得原始影像的过分割结果。

3.根据权利要求1所述的综合MRF和贝叶斯网络的遥感影像区域分割方法，其特征在于，其中步骤(2)按如下过程执行：

(2a)利用均值漂移算法提取影像的光谱信息；

(2b)利用Gabor滤波器组对原始影像进行滤波，提取影像的纹理信息；

(2c)利用形态属性滤波器对影像进行属性滤波，提取影像的空间信息，具体过程如下：

将多波段影像的每个波段作为一幅灰度影像，再把灰度影像的每个灰度值依次作为阈值，对灰度影像进行阈值化得到一系列二值影像，记为：

记I为二值影像，x为I上的某一像素点，X包含x的连通域

则x处的开运算Γ_x(I)定义为

在开运算中加上属性约束T，就得到了连通域X的属性开运算Γ_T(X)：

其中T(X)是连通域X的某一属性，λ是属性阈值；整个二值影像的属性开变换Γ_T(I)为：

${\mathrm{\Γ}}_T\left(X\right)=\underset{x\∈I}{\∪}{\mathrm{\Γ}}_T\left[{\mathrm{\Γ}}_x\left(I\right)\right]$

再对每个二值影像Th_k(I)进行开运算，并且取其中满足约束条件的最大灰度级作为输出，就得到了灰度影像I的属性开运算γ^T(I)：

γ^T(I)(x)＝max{k：x∈Γ^T[Th_k(I)]}

类似的，灰度影像I的属性闭运算定义为：

其中Ψ^T(I)＝(Γ^T(I^c))^c为二值影像的属性闭运算；

对于影像I上的每一像素点x，根据不同的属性阈值T_λ做属性开和闭运算，就得到了x点处的属性开剖面∏(γ^T(I))(x)和闭剖面

选用了区域面积、区域外接矩形的对角线长度、一阶不变矩和区域内像素值的标准方差4种属性。

4.根据权利要求1所述的综合MRF和贝叶斯网络的遥感影像区域分割方法，其特征在于，其中步骤(3)按如下过程执行：

(3a)利用束波变换(Beamlet transform)和Canny算子提取影像中的边界；

(3b)计算各边界的长度

(3c)根据边界上像素位置关系确定边界的方向，将多条边界交叉处作为顶点的位置，并根据顶点处交叉边界的条数确定该顶点的类型。

5.根据权利要求1所述的综合MRF和贝叶斯网络的遥感影像区域分割方法，其特征在于，其中步骤(4)按如下过程执行：

(4a)相邻像素点的某种特征如果相互影响，就将此类特征定为无向特征，如纹理、形态剖面和灰度等特征；

(4b)相邻像素点的某种特征作用是单向的，就将此类特征定为无向信息，如边界的两边的像素一般不属于同类、顶点是二条或多条边界的交叉点等为有向信息。

6.根据权利要求1所述的综合MRF和贝叶斯网络的遥感影像区域分割方法，其特征在于，其中步骤(5)按如下过程执行：

(5a)利用MRF对邻域像素标号、Gabor纹理、形态剖面等相互影响的无向关系信息进行建模；

(5b)利用BN对边界的两边一般不属于同类、顶点是二条或多条边界的交叉点等有向关系进行建模。

7.根据权利要求1所述的综合MRF和贝叶斯网络的遥感影像区域分割方法，其特征在于，其中步骤(6)按如下过程执行：

(6a)利用MRF，使用迭代条件模式，并根据极大后验概率准则获取影像的分割结果1；

(6b)利用BN获取影像分割结果2；

(6c)将定量评价分割结果的指标加权和作为目标函数，仿照数据同化系统综合预测数据与观测数据的思想，对MRF和BN两者的分割结果进行综合，从而改善分割效果。