CN106780485A - 基于超像素分割和特征学习的sar图像变化检测方法 - Google Patents

Abstract

本发明公开一种基于超像素分割和特征学习的SAR图像变化检测算法，包括步骤：1)开始基于超像素分割和特征学习的SAR图像变化检测方法；2)对两幅配准后的同一地区不同时相的SAR图像进行超像素分割；3)应用差异度聚类法生成初始变化结果；4)根据初始变化检测结果在变化类和未变化类中选择相同数量的样本作为训练样本；5)将待训练样本输入到设计好的深度神经网络中进行训练；6)将两幅待检测的图像输入到训练好的深度神经网络中，得到最终的变化检测结果；7)结束。本发明以超像素块为基本处理单元，可以在一定程度上提高处理数据的时间，同时在很大程度上改善了噪声的敏感问题，显著的提高了检测效果及检测的正确率。

Description

基于超像素分割和特征学习的SAR图像变化检测方法

技术领域

本发明属于SAR图像变化检测技术领域，涉及超像素分割和深度神经网络的结合，具体提供了一种介于目标级别和像素级别之间的基于超像素分割和特征学习的SAR图像变化检测方法，通过无监督深度神经网络对超像素块的特征进行学习，实现对SAR图像的变化检测，可运用于环境监测、农业调查、救灾工作等SAR图像变化检测相关领域中。

背景技术

合成孔径雷达(Synthetic Aperture Radar,SAR)具有全天时、全天候、分辨率高等特点，相对于可见光、红外传感器等具有得天独厚的优势。变化检测是在遥感领域中最重要的应用，它通过联合分析同一地区在不同时刻的两幅或多幅图像，根据图像之间的差异来获得所需要的地物变化信息。随着遥感技术的不断发展，变化检测技术也得到了迅猛发展，被广泛应用于农业生产、科研和军事等领域。

SAR图像变化检测的过程可以被分为图像预处理过程和图像分析过程。图像的预处理过程包括图像配准、几何校正、图像增强等；图像的分析过程大体有两种类型的方法：(1)基于像素点的变化检测技术；(2)基于目标级别的变化检测技术。

基于像素点的图像变化检测技术是比较传统的变化检测方法，它是通过对两幅同一地区不同时间的SAR图像逐个像素点进行比较生成差异图，然后对差异图进行图像分割操作得到最终的只反映变化和未变化信息的二值图。传统的基于像素点的变化检测方法相对简单、快速、直接，但是由于SAR图像存在大量的相干斑噪声，基于像素点的变化检测方法对噪声非常敏感，导致误检或漏检的现象比较严重；另外由于基于像素点的方法要对图像中的每个像素点进行处理，因此会受限于速度，尤其是当处理分辨率特别大的SAR图像的时候，速度劣势更为明显。因此针对这一缺点，出现了一种新的基于目标的变化检测技术。

基于目标的变化检测技术是基于图像的光谱特性、形状、纹理、大小和其他拓扑特征将图像划分成许多有意义的均匀的区域，然后通过对这些区域的比较得到变化的结果，基于目标的变化检测方法已经成功的应用于土地利用和土地覆盖的分类等领域中。由于基于目标的变化检测融入了很多周围像素点的特征，且由于分割成了多个有意义的区域，因此它对于处理分辨率特别大的SAR图像在速度上和分类效果上都具有明显的优势。但是基于目标的变化检测技术需要很大程度的依赖于图像分割的结果，并且通常对细节保留做的不够好。

SAR图像变化检测的难点在于图像中存在大量的相干斑噪声，这些噪声难于处理，容易对结果产生很大的影响。国内外的学者在变化检测领域中做了大量的研究，一种就是针对噪声的特点设计算法，比如：Maoguo Gong等人针对SAR图像噪声的特点通过结合不同差异图的信息，设计了新的差异图生成方法，并且融入像素的邻域特征提出了新的图像聚类的技术，参见M.Gong,Z.Zhou,J.Ma.Change Detection in Synthetic Aperture RadarImages based on Image Fusion and Fuzzy Clustering.IEEE Transactions on ImageProcessing,Vol.21,No.4,2012:2141-2151.另外一种就是通过深度神经网络的训练使得变化检测结果对SAR图像的相干斑噪声具有鲁棒性，参见M.Gong,J.Zhao,J.Liu,Q.Miao,L.Jiao.Change Detection in Synthetic Aperture Radar Images Based on Deep Neural Networks.IEEE Transactions on Neural Networks and Learning Systems,Vol.27,No.1,2016:125-138.

由于基于像素点的变化检测技术和基于目标级别的变化检测技术都存在各自的优势和缺点，那么结合二者的优势摒除二者的缺点设计一种新的变化检测算法成为当务之急。

发明内容

本发明的目的在于克服上述已有技术的不足，提出一种基于超像素分割和特征学习的SAR图像变化检测方法，以实现在SAR图像变化检测中既能结合区域像素点的信息减少噪声影响，又能较好的保留变化检测结果图像的细节，还能在速度上相对于基于像素点的方法有一定的提升，使得SAR图像变化检测结果更稳定、边缘更平滑、区域一致性更好。

本发明的技术方案是：一种基于超像素分割和特征学习的SAR图像变化检测方法，包括如下步骤：

步骤101：开始基于超像素分割和特征学习的SAR图像变化检测方法；

步骤102：对两幅配准后的同一地区不同时相的SAR图像进行超像素分割；

步骤103：应用差异度聚类法生成初始变化结果；

步骤104：根据初始变化结果在变化类和未变化类中选择相同数量的样本作为训练样本；

步骤105：将训练样本输入到设计好的深度神经网络中进行训练；

步骤106：将两幅待检测的图像输入到训练好的深度神经网络中，得到最终的变化检测结果；

步骤107：结束基于超像素分割和特征学习的SAR图像变换检测方法。

上述的步骤102，包括如下步骤：

步骤201：对两幅配准后待检测的SAR图像应用对数比值算子生成差异图；

步骤202：对差异图应用超像素分割技术进行分割，用得到的分割结果去分割待检测的SAR图像，保证两幅SAR图像分割区域的一致性；

步骤203：结束输入SAR图像的超像素分割。

上述的步骤103，包括如下步骤：

步骤301：计算两幅图像I₁,I₂对应分割区域R_x的相似度

步骤302：不断重复步骤301，直到得到图像对中所有超像素块的相似度；

步骤303：运用模糊C均值聚类算法FCM将相似度分成3类，分别标记为变化类，未变化类和不确定类；若为变化类，则对应的超像素分割区域内像素值全部标记为0；若为未变化类，对应超像素分割区域内像素值全部标记为255；若为不确定类，对应超像素分割区域内像素值全部标记为125。

上述的步骤104，包括如下步骤：

步骤401：生成一个和超像素块数目一样的随机索引序列；

步骤402：找到对应标号的超像素块，若为变化类或未变化类则将超像素块和标签提取出来作为训练样本。

上述的步骤105，包括如下步骤：

步骤501：提取每一个超像素块的协方差特征，分别为均值F_μ，方差对数规范化标准偏差F_nsd和填充因子F_η；

步骤502：将待训练样本对应超像素块的协方差特征叠加起来作为输入样本，使用SAE预训练得到网络的初始权值和偏置，网络层数设为2个隐层，每一层的节点个数分别为100和20，SAE每层训练50代；

步骤503：使用最小交叉熵的共轭梯度BP神经网络对SAE预训练网络进行微调，训练代数为50代；

步骤505：获得最终训练好的神经网络。

本发明的有益效果：与现有的技术相比，本发明具有以下优点：

1.突破了传统的基于像素点和基于目标的变化检测方法，提供了一种介于像素级别和目标级别的超像素级别的变化检测的技术；

2.通过深度神经网络训练两幅SAR图像的非线性关系，可以对噪声有很强的鲁棒性，不需要在预处理过程中对图像进行滤波操作，避免了图像细节的丢失；

3.以超像素块为处理基准，通过特征提取的方法用超像素块的特征表征该块，应用堆叠自动编码器(SAE)进行训练，通过对特征的无监督学习得到一个可以处理两幅图像非线性关系的网络，使得结果更加稳定。

附图说明

图1是本发明实现步骤的流程框图；

图2是本发明对SAR图像进行超像素分割的子流程框图；

图3是差异度聚类算法的子流程框图；

图4是选择训练样本的子流程框图；

图5是训练深度神经网络的流程图；

图6是本发明实现步骤的整体框架；

图7是第一组实验仿真图，图7(a)和图7(b)的拍摄时间分别为1997.05和1997.08，大小均为290×350，图7(c)是参考图；

图8是第一组实验仿真图的超像素分割结果；

图9是运用差异度聚类法对第一组实验仿真图的初始分类结果；

图10是第一组实验的变化检测结果图；

图11是两种对比算法对于第一组实验的变化检测结果图，其中图11(a)是FCM算法对于第一组实验的变化检测结果；图11(b)是KI阈值算法对于第一组实验的变化检测结果；图11(c)是所提方法对第一组实验的变化检测结果；

图12是第二组实验仿真图，图12(a)和图12(b)为输入的同一地区不同时刻的SAR图像，大小均为290×350，图12(c)是参考图；

图13是第二组实验仿真图的超像素分割结果；

图14是运用差异度聚类法对第二组实验仿真图的初始分类结果；

图15是二组实验的变化检测结果图；

图16是两种对比算法对于第二组实验的变化检测结果图，其中图16(a)是FCM算法对于第二组实验的变化检测结果；图16(b)是KI阈值算法对于第二组实验的变化检测结果；图16(c)是所提方法对第二组实验的变化检测结果。

具体实施方式

本发明提出了一种基于超像素分割和特征学习的SAR图像变化检测算法，它属于神经网络和图像处理相结合的技术领域。主要提出了一种新的介于像素级别与目标级别的新的超像素级别的变化检测方法，对每个超像素块运用特征来描述，结合深度神经网络的学习得到学习好的特征网络，最后得到变化检测结果。本发明分为两大步，一是生成初始二值图，目的是获取深度神经网络的训练样本；二是训练深度神经网络，得到变化检测结果。

初始二值图的生成：首先对两幅待检测的SAR图像应用对数比值算子产生差异图，然后应用超像素分割技术(SLIC)对差异图进行分割，接着将差异图的分割对应到两幅原图中，这样就保证了两幅SAR图像具有相同的分割，对两幅SAR图像分割的对应分割区域进行差异度量，得到一系列差异度量值，对这些度量值应用模糊C均值聚类(FCM)分成三类，分别为变化类、未变化类、不确定类。

深度神经网络的训练：将差异图的分割对应到两幅原图和初始二值图中，提取相同数量的变化和未变化像素块作为训练样本，提取训练样本中的超像素块的特征和对应初始二值图的标签训练堆栈自动编码器(SAE)，提取两幅原图中所有超像素块的特征输入到训练好的网络中，得到最终的变化检测结果。

参照图1，本发明的具体实现步骤如下：

步骤1、开始基于超像素分割和特征学习的SAR图像变化检测方法。

步骤2、对两幅配准后的同一地区不同时相的SAR图像进行超像素分割。

2a)对两幅配准后的同一地区不同时相的SAR图像应用对数比值算子生成差异图，对数比值算子为：

2b)应用超像素分割技术对差异图进行分割，得到一个分割结果；

2c)用差异图的分割结果去分割原来的输入图像。

步骤3、应用差异度聚类法生成初始变化结果(分成三类：变化类、未变化类和不确定类，Ω＝{Ω¹,Ω²,Ω³})。

3a)用(1)计算两幅图像I₁,I₂对应分割区域R_x的相似度

其中R_x代表分割区域，N代表分割区域的像素点总数，I₁(i,j)和I₂(i,j)分别代表两幅SAR图像分割区域中的像素点灰度值。

3b)不断重复步骤302，直到得到图像对中所有超像素块的相似度；

3c)运用模糊C均值聚类算法(FCM)将相似度分成3类，分别标记为变化类，未变化类和不确定类。若为变化类，则对应的超像素分割区域内像素值全部标记为0；若为未变化类，对应超像素分割区域内像素值全部标记为255；若为不确定类，对应超像素分割区域内像素值全部标记为125。

步骤4、根据初始变化检测结果在变化类和未变化类中选择相同数量的样本作为训练样本。

4a)生成一个和超像素块数目一样的随机索引序列；

4b)找到对应标号的超像素块，若为变化类或未变化类则将超像素块和标签提取出来作为训练样本(选择的正负样例数相同)；

步骤5、将待训练样本输入到设计好的深度神经网络中进行训练。

5a)提取每一个超像素块的协方差特征，分别为均值F_μ，方差对数规范化标准偏差F_nsd和填充因子F_η:

5b)将待训练样本对应超像素块的协方差特征叠加起来作为输入样本，使用SAE预训练得到网络的初始权值和偏置，网络层数设为2个隐层，每一层的节点个数分别为100和20，SAE每层训练50代；

5c)使用最小交叉熵的共轭梯度BP神经网络对SAE预训练网络进行微调，训练代数为50代；

5d)获得最终训练好的神经网络。

步骤6、将两幅待检测的图像输入到训练好的深度神经网络中，得到最终的变化检测结果。

其中，图2是本发明对SAR图像进行超像素分割的子流程框图；

图3是差异度聚类算法的子流程框图；

图4是选择训练样本的子流程框图；

图5是训练深度神经网络的流程图；

图6是本发明实现步骤的整体框架。

本发明的效果可通过以下仿真进一步说明：

1.仿真条件及仿真内容：

本实例在Intel(R)Core(TM)2i7-5500U CPU@2.40GHz Windows 10系统下，Matlab(R2013a)运行平台上，完成本发明以及模糊C均值聚类(FCM)和KI阈值分割法的图像变化检测仿真实验。

2.仿真参数

对于具有参考图的实验仿真图通常应用定量的变化检测结果分析：

A.计算漏检个数：统计实验结果图中发生变化区域的像素个数，与参考图中变化区域的像素个数进行对比，把参考图中发生变化但实验结果图中检测为未变化的像素个数成为漏检个数FN；

B.计算错检个数：统计实验结果图中未发生变化区域的像素个数，与参考图中未变化区域的像素个数进行对比，把参考图中未发生变化但实验结果图中检测为变化的像素个数称为错检个数FP；

C.正确分类的概率PCC:PCC＝(TP+TN)/(TP+FP+TN+FN)；

D.衡量检测结果图与参考图一致性的Kappa系数：Kappa＝(PCC-PRE)/(1-PRE)，其中，

3.仿真实验内容

A.本发明图像变化检测方法的仿真

将本发明应用在如图7所示的Ottawa地区遭遇水灾前后的两幅SAR图像上，其大小均为290×350，图7(a)和图7(b)的拍摄时间分别为1997.05和1997.08。用步骤102的方法对两幅进行超像素分割，如图8(a)和图8(b)所示；接着用步骤103的方法生成初始二值图用来提取训练集，初始二值图如图9所示，其中黑色是未变化部分，白色是变化部分，灰色是不确定部分；然后训练网络，用步骤104，步骤105，步骤106的方法生成最终的变化检测结果，如图10所示，其中黑色部分表示未变化部分，白色部分表示变化部分。

将本发明应用在如图12所示的黄河内河河口的两幅SAR图像上，其大小均为444×291，图12(a)和图12(b)的拍摄时间分别为2008.07和2009.07。用步骤102的方法对两幅进行超像素分割，如图13(a)和图13(b)所示；接着用步骤103的方法生成初始二值图用来提取训练集，初始二值图如图14所示，其中黑色是未变化部分，白色是变化部分，灰色是不确定部分；然后训练网络，用步骤104，步骤105，步骤106的方法生成最终的变化检测结果，如图15所示，其中黑色部分表示未变化部分，白色部分表示变化部分。

B.现有FCM聚类法和KI阈值法图像变化检测方法的仿真

将现有的经典的SAR图像变化检测方法FCM聚类算法应用在如图7所示290×350的SAR图像上，仿真实验结果如图11(a)所示，其中黑色区域代表图像中未变化部分，白色区域代表图像中变化部分；将现有的KI阈值分割方法应用在如图7所示的SAR图像上，仿真实验结果如图11(b)所示，其中黑色区域代表图像中未变化部分，白色区域代表图像中变化部分。

将现有的经典的SAR图像变化检测方法FCM聚类算法应用在如图12所示444×291的SAR图像上，仿真实验结果如图16(a)所示，其中黑色区域代表图像中未变化部分，白色区域代表图像中变化部分；将现有的KI阈值分割方法应用在如图12所示的SAR图像上，仿真实验结果如图16(b)所示，其中黑色区域代表图像中未变化部分，白色区域代表图像中变化部分。

3.仿真实验结果

从两组实验对应的变化检测结果如图11和图16所示，本发明得到的仿真实验结果明显具有较好的主观视觉效果。第一组实验相对来说场景简单，变化明显，噪声因素影响不大，所以三组实验都能反映变化信息，但是FCM算法和KI阈值法不能有效的抑制相干斑噪声的影响，结果中存在很多噪声点，而本发明的得到的仿真实验结果明显对噪声具有鲁棒性，更接近于参考图；第二组实验场景复杂，噪声因素影响较大，所以可以看出来经典的方法不能很好的控制噪声，造成变化检测结果被严重污染，如图16(a)和图16(b)所示。为了进一步验证本发明的良好效果，在实验过程中还对所有变化检测结果进行了变化检测指标评价。表1和表2分别为两组实验的不同方法的指标。

表1 Ottawa实验集三组实验指标

第一组实验图像的指标如表1所示，由于像素点总数非常多，所以导致PCC的结果都很高，但是本发明的方法相对于对比实验有最高的PCC指标。Kappa指标能比较好的反映出结果差异的大小，我们可以看出来三种方法的Kappa指标都维持在了较高的水平，但是本发明的方法仍然得到了最好的效果。

表2 黄河内河河口实验集三组实验指标

第二组实验图像的指标如表2所示。本组实验由于场景复杂，相干斑噪声影响较大，所以实验结果差距比较大。从PCC可以看出，在总像素点很多的情况下结果仍然产生了较大的差距，就说明对比实验中的FCM算法和KI算法对噪声敏感，而本发明的方法对噪声有着很强的鲁棒性；从Kappa指标可以得出，本发明的方法要远好于传统的FCM算法和KI阈值算法。通过这些指标可以定量的看出本发明应用于SAR图像变化检测产生了较好的效果。

综上所述，与现有的技术相比，本发明具有以下优点：

1.突破了传统的基于像素点和基于目标的变化检测方法，提供了一种介于像素级别和目标级别的超像素级别的变化检测的技术；

2.通过深度神经网络训练两幅SAR图像的非线性关系，可以对噪声有很强的鲁棒性，不需要在预处理过程中对图像进行滤波操作，避免了图像细节的丢失；

3.以超像素块为处理基准，通过特征提取的方法用超像素块的特征表征该块，应用堆叠自动编码器(SAE)进行训练，通过对特征的无监督学习得到一个可以处理两幅图像非线性关系的网络，使得结果更加稳定。

本发明提出的介于像素级别和目标级别的超像素级别的SAR图像变化检测的效果明显优于经典的FCM聚类算法和KI阈值分割算法对于SAR图像变化检测的效果，能够更加有效的应用在SAR图像变化检测中。

本实施方式中没有详细叙述的部分属本行业的公知的常用手段，这里不一一叙述。以上例举仅仅是对本发明的举例说明，并不构成对本发明的保护范围的限制，凡是与本发明相同或相似的设计均属于本发明的保护范围之内。

Claims (5)

1.基于超像素分割和特征学习的SAR图像变化检测方法，其特征在于，包括如下步骤：

步骤101：开始基于超像素分割和特征学习的SAR图像变化检测方法；

步骤102：对两幅配准后的同一地区不同时相的SAR图像进行超像素分割；

步骤103：应用差异度聚类法生成初始变化结果；

步骤104：根据初始变化结果在变化类和未变化类中选择相同数量的样本作为训练样本；

步骤105：将训练样本输入到设计好的深度神经网络中进行训练；

步骤106：将两幅待检测的图像输入到训练好的深度神经网络中，得到最终的变化检测结果；

步骤107：结束基于超像素分割和特征学习的SAR图像变换检测方法。

2.根据权利要求1所述的基于超像素分割和特征学习的SAR图像变化检测方法，其特征在于，所述的步骤102，包括如下步骤：

步骤201：对两幅配准后待检测的SAR图像应用对数比值算子生成差异图；

步骤202：对差异图应用超像素分割技术进行分割，用得到的分割结果去分割待检测的SAR图像，保证两幅SAR图像分割区域的一致性；

步骤203：结束输入SAR图像的超像素分割。

3.根据权利要求1所述的基于超像素分割和特征学习的SAR图像变化检测方法，其特征在于，所述的步骤103，包括如下步骤：

步骤301：计算两幅图像I₁,I₂对应分割区域R_x的相似度

步骤302：不断重复步骤301，直到得到图像对中所有超像素块的相似度；

步骤303：运用模糊C均值聚类算法FCM将相似度分成3类，分别标记为变化类，未变化类和不确定类；若为变化类，则对应的超像素分割区域内像素值全部标记为0；若为未变化类，对应超像素分割区域内像素值全部标记为255；若为不确定类，对应超像素分割区域内像素值全部标记为125。

4.根据权利要求1所述的基于超像素分割和特征学习的SAR图像变化检测方法，其特征在于，所述的步骤104，包括如下步骤：

步骤401：生成一个和超像素块数目一样的随机索引序列；

步骤402：找到对应标号的超像素块，若为变化类或未变化类则将超像素块和标签提取出来作为训练样本。

5.根据权利要求1所述的基于超像素分割和特征学习的SAR图像变化检测方法，其特征在于，所述的步骤105，包括如下步骤：

步骤501：提取每一个超像素块的协方差特征，分别为均值F_μ，方差对数规范化标准偏差F_nsd和填充因子F_η；

步骤502：将待训练样本对应超像素块的协方差特征叠加起来作为输入样本，使用SAE预训练得到网络的初始权值和偏置，网络层数设为2个隐层，每一层的节点个数分别为100和20，SAE每层训练50代；

步骤503：使用最小交叉熵的共轭梯度BP神经网络对SAE预训练网络进行微调，训练代数为50代；

步骤505：获得最终训练好的神经网络。