CN103208121A - 基于硬边界约束与两阶段合并的遥感图像分割方法 - Google Patents

Abstract

本发明公开了一种基于硬边界约束与两阶段合并的遥感图像分割方法。其主要步骤为：首先进行边缘约束的分水岭分割与边缘分配以获得亚基元；而后进行边缘约束的层次亚基元合并，使得亚基元在边缘控制下进行极限增长，得到所谓初始基元集合；在此基础上，舍弃边缘约束，进行第二次基元层次合并得到最终分割结果。在两步合并过程中，设计了可重复合并的基元合并策略以加快合并过程。相比eCognition软件的分型网络演化分割方法（FractalNetEvolutionApproach,FNEA）,本发明的方法具有如下优点：1）基元的边缘位置精度高；2）误分割率略小，过分割率则显著下降；3）对尺度参数的依赖程度低。

Description

基于硬边界约束与两阶段合并的遥感图像分割方法

技术领域

本发明涉及一种遥感图像分割方法，具体说是一种基于硬边界约束与两阶段合并的遥感图像分割方法，属于遥感图像处理与信息提取领域。

背景技术

高分辨率遥感图像呈现更多地物细节，但另一方面地物分布与结构非常复杂所带来的严重光谱混淆、地物相互遮挡、阴影、噪声干扰现象明显等特点，这对传统基于像元的图像分析技术带来严重挑战。与传统面向像元的分析方法不同，面向对象的遥感图像分析技术进行影像分析的最小单元不再是单一像素，而是相互之间具有联系的一组像素（也称其为特征基元，即进行特征提取、特征分析的基本单元），并在其基础上进行特征提取与分析，最终实现整个信息提取或分类过程。面向对象图像分析的优势在于其处理的对象从像元过渡到了图斑对象层次，更接近人们观测数据的思维逻辑，在可以参与后继分析的特征数量上远较前者丰富，因此也更易于地学知识的融合，并在解决椒盐噪声效应、提高结果可解释性上同样具有优势，为此被认为对中高分辨率遥感影像能够获得更好的信息提取效果。

目前主流面向对象遥感图像分析软件以Trimble（原Definiens）公司的eCognition为代表。其特色是采用各种图像分割等方法对图像进行分割获取分割图斑（即所谓特征基元，本发明中的术语“图斑”、“区域”、“特征基元”、“基元”内涵一致，本发明视上下文语境加以使用），而后进行其特征提取与分类完成信息提取过程。其中，所谓分型网络方法（Fractal Net EvolutionApproach,FNEA）是其核心技术，该方法是多精度分割方法，利用尺度阈值参数控制一个图斑层次合并过程。其优点是方法适用面较广，且具有较高分割精度与效率。然而，由于图像分割任务本身的复杂性，方法尚难称完美，其中尺度阈值参数选择是个棘手问题，此外，在分割正确率，包括错分割和过分割、图斑边缘精度上尚有很大的改善空间。

目前出现了一些将边缘和区域结合在一起进行图像分割，提高遥感图像分割精度的思路。Li等发表的论文“An edge embedded marker-based watershed algorithm for high spatial resolutionremote sensing image segmentation”(IEEE Transactions on Image Processing,2010,19(10):2781-2787)用嵌入置信度的边缘提取方法（edge detector embedded with confidence）提取边缘，并将边缘嵌入标记分水岭分割方法以分割遥感图像。实验表明，该方法能够保留图斑间的弱边缘和提高图斑位置精度，减少过分割。Chen等发表的论文“Edge-guided multiscale segmentationof satellite multispectral imagery”（IEEE Transactions on Geoscience and Remote Sensing,2012,50(11):4513-4520）中，利用Canny算子提取遥感图像边缘，并将边缘用于一个多尺度分割过程，图斑之间的合并受尺度参数和边缘强度作用，边缘强度则由所谓“相邻划分区域（adjacentpartitioned regions）”的光谱距离进行加权处理。以上研究表明，将边缘和区域结合是提高遥感图像分割精度的有效思路。但该类方法在噪声和弱边缘的平衡、边缘和区域的信息互补机制、过分割与欠分割的平衡、强纹理区域的有效分割以及尺度参数的自动确定等问题上，均有进一步深入挖掘的极大空间以提升方法性能。

发明内容

针对上述现有技术中存在的缺陷，本发明的目的在于提供一种适合于实现高空间分辨率遥感图像特征基元获取的新的遥感图像分割方法。

本发明的方法首先进行边缘约束的分水岭分割与边缘分配，从而获得所谓初始亚基元，亚基元是进行层次化合并（即多级合并）的基底。在此基础上，首先进行一次边缘约束的层次化基元合并，直到所有基元的合并代价均超过一个较大的合并阈值，该步骤实际是亚基元在边界控制下的极限增长，得到所谓初始基元集合。在此基础上，舍弃边缘约束，用一个较小尺度参数进行第二次层次化合并，直到所有基元的合并代价均超过此较小阈值，方法结束，输出最终分割结果。在此步中，小图斑相互间合并代价较小而有更大机会相互合并形成较大图斑，为此该步骤实际上是一个去小图斑的过程。

本发明采用的技术方案如下：

基于硬边界约束与两阶段合并的遥感图像分割方法，包括如下步骤：

（1）对于一幅多光谱遥感图像进行边缘约束的分水岭分割与边缘分配，获得亚基元；（2）进行边缘约束的层次化亚基元合并，直到所有基元的合并代价均超过一个较大的合并阈值，使得亚基元在边缘控制下进行极限增长，得到初始基元集合；（3）在步骤（2）的基础上，舍弃边缘约束，用一个较小的合并阈值进行第二次层次化亚基元合并，直到所有基元的合并代价均超过此较小的合并阈值，得到最终分割结果完成图像分割过程。

所述步骤（1）的具体步骤为：首先利用Canny算子对多光谱遥感图像分别进行每个波段的边缘提取，然后利用一个4×4窗口在每个边缘图像上移动，其中x和y方向移动步长为4，并统计窗口内边缘像素个数，将具有最大边缘像素数的边缘提取结果作为该区域的输出，直到图像末，得到最后提取的图斑结果，对图斑分配唯一编号，分配编号后的图斑即为亚基元。

所述步骤（2）和步骤（3）中的合并阈值采用尺度参数阈值来控制合并过程，有两个条件：1）图斑合并代价需要小于该参数阈值的平方，否则不进行合并；2）当某次合并过程中所有图斑和其待合并邻居的合并代价均大于该阈值的平方，则整个合并过程结束，完成图像分割，否则需要进行下一次合并，直到条件2）成立。

所述步骤（2）亚基元合并过程为边缘约束合并：将尺度参数阈值设为极大值，如相邻节点间的硬边界比率R=H/L超出该阈值，即使合并代价小于阈值，也不能合并，其中H为硬边界长度，L为基元间的总边界边长；所述步骤（3）亚基元合并过程为无约束合并：抛弃边缘约束，并采用较小的尺度参数阈值约束图斑合并过程，起到使得相邻小图斑合并和大图斑内部小图斑去除的作用。

相比eCognition软件的分型网络演化分割方法（Fractal Net Evolution Approach,FNEA）,本发明方法的特色在于用所谓硬边界约束亚基元的融合增长过程，并通过无约束合并进行结果的修正与完善。具有如下优点：1）基元的边缘位置精度高；2）误分割率略小，过分割率则显著下降；3）对尺度参数的依赖程度低。

附图说明

图1：本发明的分割方法流程图；

图2：本发明的边缘分配方式；（a）边缘分配前的结果（b）边缘分配后的结果；

图3：试验区分割结果:（a）航空影像原图（b）多光谱边缘提取（c）约束分水岭分割（d）10尺度分割结果；（e）20尺度分割结果；

图4：FNEA方法的分割结果（a）20尺度；（b）30尺度；

图5：（a）、（b）、（c）为图3（d）、图3（e）、图4（a）和图4（b）中的三个不同部位的局部放大图，其中编号包含1的结果图为本发明方法10尺度，编号包含2的结果图为本发明方法20尺度；编号包含3的结果图为FNEA方法20尺度，编号包含4的结果图为FNEA方法30尺度。

具体实施方式

下面结合附图和实施例来对本发明作进一步描述。

下面分别对发明中所使用的现有技术，包括图像分水岭分割、Canny边缘提取、合并代价函数、合并策略的基本原理进行介绍，并据此给出本发明方法的详细步骤。

（1）图像分水岭分割

在图像处理中引入分水岭概念时，常将灰度图像看成是假想的地形表面，每一个像元的灰度值表示该点的海拔高度。在实际应用中，分水岭变换所处理的一般不是原始图像而是其梯度图。以梯度为高程，梯度图像即为地形表面，高梯度的区域边缘对应于分水岭（线），而低梯度的区域内部对应于集水盆地。采用分水岭分割进行图像分割，可得到初始分割图斑，为后续图斑合并提供基底。

（2）Canny边缘提取

Canny边缘检测算子的基本思想是：首先对图像选择一定的高斯滤波器进行平滑滤波，用一阶偏导的有限差分来计算梯度的幅值和方向；对梯度幅值进行非极大值抑制；用双阈值算法检测和连接边缘。从本质上讲Canny边缘检测算子属于具有平滑功能的一阶微分算子。

（3）合并代价指标

Baatz和

在“Multiresolution Segmentation–an optimization approach for high qualitymulti-scale image segmentation”（见J.Strobl,T.Blaschke,G.Griesebner(Eds.),AngewandteGeographische Informations-Verarbeitung XII,Wichmann Verlag,Karlsruhe(2000),pp.12–23）一文中，提出一套集成图斑间光谱、形状特征异质性的合并代价指标，并据此进行图斑归并，实现图像分割。该函数由合并图斑的光谱异质性和形状异质性两部分构成：

f=w×h_color+(1-w)×h_shape (1)

其中w是光谱异质性权重，区间为[0，1]。

光谱异质性是合并后父图斑标准差与合并前两子图斑标准差之和的差，并按面积进行加权：

$h_{\mathrm{color}}=\underset{c}{\mathrm{\Σ}}(n_{\mathrm{Merge}}{\mathrm{\σ}}_c^{\mathrm{Merge}}-(n_1{\mathrm{\σ}}_c^1+n_2{\mathrm{\σ}}_c^2))---\left(2\right)$

其中c是波段总数，以此计算多波段图像中图斑合并的光谱异质性。

形状异质性又由紧致度异质性和光滑度异质性两部分加权构成：

h_shape=w_cmpct×h_cmpct+(1-w_cmpct)×h_smooth (3)

紧致度异质性则由以下公式计算：

$h_{\mathrm{cmpct}}=n_{\mathrm{Merge}}\·\frac{l_{\mathrm{Merge}}}{\sqrt{n_{\mathrm{Merge}}}}-(n_1\·\frac{l_1}{\sqrt{n_1}}+n_2\·\frac{l_2}{\sqrt{n_2}})---\left(4\right)$

光滑度异质性由以下公式计算：

$h_{\mathrm{smooth}}=n_{\mathrm{Merge}}\·\frac{l_{\mathrm{Merge}}}{b_{\mathrm{Merge}}}-(n_1\·\frac{l_1}{b_1}+n_2\·\frac{l_2}{b_2})---\left(5\right)$

以上公式中，l为对象实际周长，n为对象像元个数，b为对象的外接矩形的周长。紧致度异质性权重w_cmpct由用户设定。

（4）合并方式

首先需要将待合并的图斑抽象成最近邻图(Nearest Neighbor Graph,NNG)，图斑为NNG的节点，图斑的邻接关系则为节点间的边，由此在NNG图上进行节点合并过程。本发明采用汪闽等提出的两两合并、可重复合并的节点合并策略（论文见“光谱、形状特征结合的多精度遥感图像分割算法及应用”，地球信息科学学报，2010,12(2):261-268）。其特点是所有节点都有公平机会合并其他节点，尽可能保证节点均匀增长。该合并策略具有较高的运行效率。

本发明方法的详细步骤如下：

1、边缘约束的分水岭分割

其步骤是：对于一幅多光谱遥感图像，利用Canny算子分别进行每个波段的边缘提取。而后，利用一个4×4窗口在每个边缘图像上移动(x,y方向移动步长为4)，并统计窗口内边缘像素个数，将具有最大边缘像素数的边缘提取结果作为该区域的输出，直到图像末，得到最后提取结果。该方法的优点是利用了图像的原始波段信息进行边缘提取而定位准确，实现了波段间的信息互补并输出单像素边缘，可实现多光谱遥感图像中主要边缘的准确提取。

本发明将Canny边缘的嵌入标记分水岭方法进行图像分割。这模拟用边缘在梯度图像上建筑高坝，为此分割边界不能跨越Canny边缘。分水岭分割的优点是高效，分割边界较准确，但缺点是过分割效应明显。这往往会带来大小很不均匀的图斑，而这对后续基元合并有较大影响，会造成错误合并。为此本发明利用面积阈值打散分水岭分割得到的大图斑，控制所有图斑大小不超过32个像素，并对图斑分配唯一编号。分配编号后的图斑被称为亚基元，即有待合并的次一级基元。

2、边缘信息登记

如图2所示，分水岭分割得到的亚基元与Canny边缘的关系分为3种。A类边缘位于两大图斑的边界上（由于边缘提取往往不能保证100%准确，边缘线可能存在断裂），B类边缘位于某个图斑内部，围绕不同编号的较小图斑。C类边缘则为图斑内的孤立边缘点。

发明首先将Canny边缘分配到合适的亚基元中去。分配的思路是将边缘像素分配到和其具有最小光谱异质性的相邻亚基元。如图2(b)所示，边缘分配后，C类边缘自然归入2号图斑，在后续处理中不再考虑。可以发现，所剩下的A、B类边缘在分配后，均属于基元的边界像素（基元的边界像素定义为其4邻域（即上、下、左、右相邻像素）内有不同标号的像素）。

而后统计待合并基元间的总的边界边长L和Canny边缘像素所占据的边长，本发明称后者为“硬”边界长度H。总边界边长的剩余部分为“软”边界长度。软、硬边界之和为总边界边长。硬边界比例定义为：

R=H/L （6）

3、基元合并过程

本发明通过对亚基元的迭代式合并完成图像分割过程，需要考虑的因素，一是亚基元合并代价的计算方式，二是合并方式。合并代价采用发明内容小节中所介绍的Baatz和

所提出的合并代价指标，合并方式采用发明内容小节中所介绍的汪闽提出的两两合并、可重复合并的节点合并策略。

本发明采用尺度参数控制合并过程。该参数起到两个作用：1）图斑合并代价需要小于该阈值参数的平方，否则不进行合并（条件一）；2）当某次合并过程中所有图斑和其待合并邻居的合并代价均大于该阈值的平方，则整个合并过程结束，完成图像分割（条件二）。否则需要进行下一次合并，直到条件二成立。

本分割方法的基元合并过程分为两个阶段：1）边缘约束合并；2）无约束合并。在第一合并阶段，将尺度阈值（T_Max）设为极大值，为此第一阶段合并实际是基元在边缘约束下的极限增长。在第一合并阶段，如相邻节点间的硬边界比率超出该阈值，即使合并代价小于阈值，也不能合并。这保证了在两个基元间的边缘提取不完整的情况下，合并也能受边缘约束，防止跨边缘合并。

在无约束合并阶段，抛弃边缘约束，并采用较小的尺度阈值（T_Scale）约束图斑合并过程。由于第一次合并过程中图斑已尽可能增长，面积较大，为此它们和其它大图斑合并的代价也较大而一般不会合并，为此第二阶段的合并主要起到一个相邻小图斑合并、大图斑内部小图斑去除的作用。以上两阶段合并步骤相同，区别在于是否具有硬边界约束。

对于边缘约束分水岭分割，并经过图斑打散得到的亚基元，进行有（无）硬边界约束的图斑合并，得到新基元。本发明称该新基元为父层基元，所有父层基元构成父层基元集。由此，有（无）硬边界约束的图斑合并过程的步骤如下（所需输入条件为尺度参数阈值，即T_Max（约束合并）、T_Scale（无约束合并））：

第一步：设置最小合并代价COST为极大值T_Max的平方;

第二步：对于所有待合并的亚基元，根据公式1～5计算其最小合并代价邻居；

第三步：对于每个有待合并的亚基元A，进行如下判断，直到所有基元均被判断与处理：如果A的最小合并代价大于T_Max（有硬边界约束的合并）或T_Scale（无约束合并），则直接将A插入到父层基元集（情况1）；否则，判断A的最小合并代价邻居B是否被合并过，如果B被合并过，则将A合并到B的父基元中去（情况2）;否则，合并A、B为C，并将C插入父层基元集（情况3）；对于情况2、情况3，判断是否A、B的合并代价小于COST，如是则更新COST为A、B的合并代价；

第四步：判断COST是否已超过T_Max（有硬边界约束的合并）或T_Scale（无约束合并）的平方；如超过，输出父层基元集为分割结果；否则，在父层基元集上继续以上第二、三、四步，直到第四步条件满足。

实施例

数据准备：采用具有红、绿、蓝三波段的真彩色航空影像进行图像分割测试，图像的空间分辨率为0.3米。图像大小为664×905个像素。设定Canny边缘提取的参数为高斯滤波标准差为0.5；高阈值比率0.7；低阈值对高阈值的比率为0.6。硬边界比率为0.3，即两个图斑的硬边界比率大于30%则不能合并。T_Max设置为1000。最小无约束尺度参数T_Scale设置为10，其他尺度分割结果通过10尺度无约束合并而来。本发明方法所需的其他参数，光谱异质性权重w为0.7，紧致度异质性权重w_cmpct为0.5，即eCogntion5.0软件的默认参数设置。案例实施的详细过程如下：

第一步：多光谱边缘提取。即采用本发明的多光谱Canny算子提取该多光谱图像的边缘，得到如图3（b）的提取结果；

第二步：进行边缘约束的分水岭分割并进行图斑打散，得到如图3（c）的分割结果；

第三步：进行T_Max=1000,T_Scale=10的基元合并，得到如图3（d）的10尺度分割结果；

第四步：进行T_Scale=20的无边缘约束合并过程，得到如图3（e）的20尺度分割结果；

第五步：利用FNEA方法，进行20尺度、30尺度分割，得到20尺度（图4（a））、30尺度（图4（b））的分割结果。

对比本方法和FNEA方法的结果；可以得到如下结论：

1)FNEA存在错分割和过分割普遍共存的现象。图4中，FNEA的30尺度的建筑物等一方面部分出现了错分割，另一方面尚有许多处于过分割状态。边缘往往代表地物边界，具有强烈的语义内涵。而本方法由于加入了硬边界约束，图斑相互间最大程度地融合直到到达边界，其后，尺度再增长，图斑也不能再继续合并其他图斑，最终形成大小差异较大的基元分布格局。相比FNEA方法，本方法极大降低了对尺度阈值的依赖性。

2)本方法能显著抑制过分割。案例图中可看出，本方法相比FNEA方法过分割现象显著减少。此外，从图5放大对比图中可以看出，FNEA方法往往有一种在较大图斑边界处围绕一些细长图斑的过分割现象。而且，随着尺度增大，这些细长图斑有时会和其他地物合并，造成错分割。本方法没有这样的过分割现象。

3)从图5放大图中两种方法的屋脊线、道路斑马线、草坪等地物的分割结果，可以发现，FNEA存在明显的基元边界偏移真实边缘的缺陷。不准确的边界定位其实是一种错分割，这将为后续图像分析带来负面影响，而且比较难以处理。本方法中基元边缘定位比FNEA方法更为准确。

综上所述，本方法相比FNEA方法提供了更为准确的边缘，改善了错分割并显著压制了过分割，为此在分割精度上明显优于FNEA。

Claims (4)

1.基于硬边界约束与两阶段合并的遥感图像分割方法，包括如下步骤：

（1）对于一幅多光谱遥感图像进行边缘约束的分水岭分割与边缘分配，获得亚基元；

（2）进行边缘约束的层次化亚基元合并，直到所有基元的合并代价均超过一个较大的合并阈值，使得亚基元在边缘控制下进行极限增长，得到初始基元集合；

（3）在步骤（2）的基础上，舍弃边缘约束，用一个较小的合并阈值进行第二次层次化亚基元合并，直到所有基元的合并代价均超过此较小的合并阈值，得到最终分割结果完成图像分割过程。

2.根据权利要求1所述的基于硬边界约束与两阶段合并的遥感图像分割方法，其特征在于，所述步骤（1）的具体步骤为：首先利用Canny算子对多光谱遥感图像分别进行每个波段的边缘提取，然后利用一个4×4窗口在每个边缘图像上移动，其中x和y方向移动步长为4，并统计窗口内边缘像素个数，将具有最大边缘像素数的边缘提取结果作为该区域的输出，直到图像末，得到最后提取的图斑结果，对图斑分配唯一编号，分配编号后的图斑即为亚基元。

3.根据权利要求1或2所述的基于硬边界约束与两阶段合并的遥感图像分割方法，其特征在于，所述步骤（2）和步骤（3）中的合并阈值采用尺度参数阈值来控制合并过程，有两个条件：1）图斑合并代价需要小于该参数阈值的平方，否则不进行合并；2）当某次合并过程中所有图斑和其待合并邻居的合并代价均大于该阈值的平方，则整个合并过程结束，完成图像分割，否则需要进行下一次合并，直到条件2）成立。

4.根据权利要求3所述的基于硬边界约束与两阶段合并的遥感图像分割方法，其特征在于，所述步骤（2）亚基元合并过程为边缘约束合并：将尺度参数阈值设为极大值，如相邻节点间的硬边界比率R=H/L超出该阈值，即使合并代价小于阈值，也不能合并，其中H为硬边界长度，L为基元间的总边界边长；

所述步骤（3）亚基元合并过程为无约束合并：抛弃边缘约束，并采用较小的尺度参数阈值约束图斑合并过程，起到使得相邻小图斑合并和大图斑内部小图斑去除的作用。

Images