CN112270285B - 一种基于稀疏表示和胶囊网络的sar图像变化检测方法 - Google Patents

Abstract

本发明提供一种基于稀疏表示和胶囊网络的SAR图像变化检测方法，实现步骤包括：(1)选取两幅多时相SAR图像X₁和X₂，利用邻域对数比算子获取差分图像；(2)通过稀疏表示的方法提取差分图上的稀疏特征,生成特征图；(3)通过模糊聚类的方法FCM获得初始分类的伪标签,采取高置信度样本的挑选原则,从所述特征图上挑选合适样本制作样本集；(4)构造改进的胶囊网络，输入通过稀疏表示提取的特征图，训练优化网络；(5)测试网络，生成变化检测图。本发明充分考虑了SAR图像的空间邻域信息，利用稀疏表示和胶囊网络相结合，不仅减少了散斑噪声的影响，而且提取到了图像的深层次特征，提高了SAR图像变化检测的精度和速度。

Description

一种基于稀疏表示和胶囊网络的SAR图像变化检测方法

技术领域

本发明涉及图像处理技术领域，特别是涉及一种基于稀疏表示和胶囊网络的SAR图像变化检测方法，在农业调查、森林监测、自然灾害预警等领域具有重要的研究价值。

背景技术

合成孔径雷达(Synthetic Aperture Radar,SAR)是一种主动式微波传感器，其成像技术是利用综合孔径的原理提高方位分辨率，进而捕获到大面积高分辨率的SAR图像。遥感中的变化检测是对同一地理区域内不同时间获取的两幅SAR图像进行分析，识别出其中的变化区域。SAR成像由于不受光照、天气等外在条件的影响，能够对地目标进行全天候、大面积的探测，使得SAR图像的变化检测在农业调查、森林监测、自然灾害预警等方面具有重要的研究意义。

传统的变化检测过程通常分为三个步骤：图像预处理；生成差异图；对差异图进行分析和处理。传统方法在抑制噪声和保留图像的细节信息上效果不佳，容易丢失图像边缘信息，忽略邻域信息，导致变化检测的精度不高。近几年随着人工智能和深度学习的不断发展和普及，许多学者利用深度学习中神经网络的知识，提出了新的变化检测方法，在很大程度上提高了变化检测的准确度。比如应用广泛的卷积神经网络、深度置信网络以及生成对抗网络等通过训练分类器提取样本中的特征及空间关系，学习不同类别的特征，进而区分开变化区域和未变化区域。虽然卷积神经网络在SAR图像变化检测任务中已经达到了较好的检测效果，但是对一些倾斜、旋转物体，CNN表现出来的效果都不是很令人满意。另外，卷积网络需要大量的数据来泛化，用于网络的学习，这对于SAR图像的变化检测任务是一大难点。

因此如何提供一种新的方法能够在保留SAR图像关键位置信息的基础上减少神经网络对数据集数量的要求，提高SAR图像变化检测的检测精度和速度是亟待解决的技术问题。

发明内容

为了克服现有技术的不足，本发明提供一种基于稀疏表示和胶囊网络的SAR图像变化检测方法，更加适用于小数据集上的变化检测任务，能够提高检测的精度和速度。

为实现上述目的，本发明提供了如下方案，包括以下步骤：

S1、选取同一地理区域在不同时刻t₁和t₂的两幅SAR图像，其中t₁时刻的SAR图像表示为X₁＝{X₁(i，j)，1≤i≤I，1≤j≤J}，t₂时刻的SAR图像表示为X₂＝{X₂(i，j)，1≤i≤I，1≤j≤J}，通过邻域对数比算子生成图像X₁和图像X₂的差分图像；

S2、通过KSVD方法从所述差分图像上学习字典，通过字典更新和稀疏编码获得所述差分图像上每个像素的稀疏特征，生成特征图；

S3、通过FCM方法从所述差分图像上获得初始分类结果，作为样本集的伪标签，稀疏表示之后的特征图作为样本，并采取一种高置信度样本的挑选原则，选择合适的样本作为训练集；

S4、构建一种改进的胶囊网络模型，输入所述训练集，来训练胶囊网络学习图像的深层特征；

S5、测试胶囊网络，输出预测标签结果，生成变化检测图。

优选地，S2中所述特征图的生成过程为：

从所述差分图像上以每个像素点为中心构造邻域大小为n×n的样本图像块，随机选取所述图像块将其拉成列向量，作为训练样本；通过KSVD方法从所述训练样本上学习字典，通过字典更新和稀疏编码获得所述差分图像上每个像素的稀疏特征，得到稀疏表示的特征图。

优选地，将S3中所述差分图像通过FCM方法生成预分类结果作为伪标签，所述伪标签中包含“0”和“1”两类，分别表示未变化类和变化类；将所述稀疏表示之后获得的每个像素的特征图作为样本集，采用高置信度样本选择方法，通过少数服从多数的策略从所述样本集中筛选合适的样本组成训练样本集。

优选地，S4中所述改进的胶囊网络模型包括四部分：卷积层、主胶囊层、路由胶囊层、数字胶囊层。

优选地，所述胶囊网络模型主要对卷积层进行了改进，将卷积层增加为三层，在保证能提取到关键特征的基础上，减少了网络的训练参数，降低了网络复杂度，加快了网络训练学习速度。

优选地，所述主胶囊层主要利用类卷积运算和压缩激活函数得到输出的胶囊向量，识别对象的判别特征；所述路由胶囊层采用动态路由机制，通过胶囊输出向量和预测向量间的点积运算来计算输入输出之间的相似性，进而更新网络的耦合系数；所述数字胶囊层设置了两个胶囊，每个胶囊代表一个类别，输出的胶囊向量的长度表示识别为某个类别的概率值。

优选地，所述S4中胶囊网络训练过程中保存损失值最小时的网络权值,将所述稀疏表示之后所有的特征图作为测试集,输入训练好的胶囊网络，调用训练好的权值，输出测试集对应的预测标签值。

本发明公开了以下技术效果：

本发明提出了改进的胶囊网络模型，设计了一种轻量级的胶囊网络，适合小样本数据集的学习；对主胶囊层之前的卷积层进行了改进，增加卷积层层数，减少卷积层的深度。采用三层卷积层，卷积核数量逐层增加，在保证能提取到关键特征的基础上，减少了网络的训练参数，降低了网络复杂度，加快了网络训练学习速度。

本发明还提出了一种稀疏表示和胶囊网络相结合的SAR图像变化检测方法。对差异图像通过稀疏表示的方法进行特征学习，将差异图上的像素信息转换到特征空间，可以进一步降低噪声的影响；将提取到的特征作为胶囊网络的输入，训练网络学习更深层的特征。本发明能够在提高变化检测准确度的同时，减少了网络的训练参数，提高了网络的训练速度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于稀疏表示和胶囊网络的SAR图像变化检测方法流程图；

图2为本发明中所用到的验证数据集伯尔尼数据集，图2(a)由欧洲遥感2号卫星SAR传感器于1999年4月在瑞士伯尔尼市附近地区获取的SAR图像，图2(b)为欧洲遥感2号卫星SAR传感器于1999年5月在瑞士伯尔尼市附近地区获取的SAR图像，

图2(c)为人工定义的参考图，

图2(d)为本发明提出方法的仿真变化检测结果图；

图3为本发明中所用到的验证数据集渥太华数据集，图3(a)1997年5月在加拿大渥太华市上空雷达卫星SAR传感器获得的图像，图3(b)为1997年8月在加拿大渥太华市上空雷达卫星SAR传感器获得的图像，

图3(c)为人工定义的参考图，

图3(d)为本发明提出方法的仿真变化检测结果图；

图4为本发明中所用到的验证数据集黄河数据集，图4(a)为2008年6月雷达2号卫星在中国黄河口地区获得的SAR图像，图4(b)为2009年6月雷达2号卫星在中国黄河口地区获得的SAR图像，

图4(c)为人工定义的参考图，

图4(d)为本发明提出方法的仿真变化检测结果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明

本发明提出的一种基于稀疏表示和胶囊网络的SAR图像变化检测方法，如图1所示。具体实现过程为：选取同一地理区域在不同时刻t₁和t₂的两幅SAR(Synthetic ApertureRadar)图像，其中t₁时刻的SAR图像表示为X₁＝{X₁(i，j)，1≤i≤I，1≤j≤J}，t₂时刻的SAR图像表示为X₂＝{X₂(i，j)，1≤i≤I，1≤j≤J}。然后应用邻域对数比算子生成差异图，邻域对数比算子DI定义如下：

其中，

DI(m，n)是差异图上(m，n)位置上的像素值，表示图像X₁和X₂之间的局部相似性，σ(m，n)表示(m，n)邻域内像素值的方差，μ(m，n)表示(m，n)邻域内的均值。系数θ为局部非均匀性的度量，较小的θ值表明局部区域是均匀的，较大的θ值表示局部区域是非均匀的。

然后通过KSVD方法从所述差分图像上学习字典，通过字典更新和稀疏编码获得所述差分图像上每个像素的判别特征。具体实现过程为：对差异图DI进行采样，得到以每个像素为中心的n×n的图像块，然后按列展开，形成h(h＝n×n)维的向量作为原始样本Y；从Y中随机挑选k个列向量{d₁，d₂，…，d_k}作为初始字典的原子，得到字典D；稀疏编码，利用OMP算法，计算稀疏编码矩阵X；使用SVD算法更新字典，循环更新字典和编码矩阵，直到达到指定的迭代步数或收敛到指定误差；最后使用更新完的字典计算稀疏编码矩阵得到特征图像。编码过程采用公式：

其中，D表示学习字典，X表示稀疏系数矩阵，Y表示样本集合，每一列均为一个样本，X_i表示第i个稀疏表示的系数向量，T₀表示X_i中非零元素个数的最大值。

其次，对上述差异图中的特征采用模糊C均值聚类方法将其分成变化类和未变化类两类，分别用“1”、“0”表示，作为预分类的伪标签。将所述经过稀疏表示之后获得的每个像素的特征图作为样本集。采用一种高置信度样本选择方法，通过少数服从多数的策略从样本集中筛选合适的样本组成训练样本集。高置信度样本选择过程如下：

假设BI(i，j)表示伪标签矩阵上位置(i，j)的像素点，其标签为L。以(i，j)为中心像素点取n×n大小的邻域，记为N_i，j，当N_i，j中大多数的像素点的标签和中心像素点BI(i，j)标签相同时，那么BI(i，j)像素点对应的特征图可以被选作训练样本；当N_i，j中仅有少量的像素点的标签和中心像素点BI(i，j)标签相同时，中心像素点BI(i，j)有很大的可能性被错误分类，选择样本时应尽量避开这些点。总的来说，如果一个像素点BI(i，j)满足以下公式，则该点的邻域特征图像块可以被选作训练样本。

其中，BI_x表示(i，j)像素点的标签，Q(BI_x＝BI(i，j))表示以(i，j)为中心的邻域中与(i，j)具有相同标签的像素数，n表示邻域大小。α表示用于控制样本的选择，其值大小会影响到最终的变化检测结果。根据实验分析，取邻域大小为：n＝7，α＝0.55。

之后，构建改进的胶囊网络，用来挖掘特征的空间关系，提取图像的深层特征。胶囊网络是2017年Hinton提出的一种新型的神经网络，可以解决卷积神经网络对方位变化物体识别精度低、对样本需求量大的问题。原始的胶囊网络采用两个卷积层，卷积层的卷积核数量为256，考虑到用于网络训练的样本均是从SAR图像上提取的邻域图像块，图像块的大小有限，其包含的信息也有限，较深的卷积层不仅对加大计算的复杂度，还容易造成过拟合。因此本发明提出了改进的胶囊网络，改进的胶囊网络模块由卷积层、主胶囊层、路由胶囊层和数字胶囊层四部分组成。首先，将卷积层增加到三层，卷积核大小为3×3，卷积核数量逐层增加，分别为8、16、32；在保证能提取到关键特征的基础上，减少了网络的训练参数，降低了网络复杂度，加快了网络训练学习速度。主胶囊层主要利用类卷积运算和压缩激活函数(squash)得到输出的胶囊向量。胶囊向量计算如下：

其中，s表示胶囊向量，压缩激活函数squash是一个归一化函数，能够将向量的长度归一化到0-1之间，表示实体的存在概率。向量的长度越长，表示该胶囊表征的特征越显著；胶囊向量的方向则用来表示当前描述对象的位置、大小等属性。卷积层提取到的特征作为主胶囊层的输入胶囊向量，生成4个8维的胶囊(即8个神经元组合在一起构成一个胶囊)，使得输出的胶囊包含识别对象的判别特征。路由胶囊层定义了用来更新耦合参数的动态路由机制，通过胶囊的输出向量和预测向量的点积运算来计算输入与输出之间的相似性，进而更新网络的耦合系数和权值，耦合系数之和为1，并通过softmax来确定。除此之外，网络的其他参数都需要损失函数进行更新，损失函数采用Margin loss，计算公式为：

L＝T_k max(0，m⁺-||v₀||)²+λ(1-T_k)max(0，||v₀||-m-)² (5)

其中k表示分类类别，k＝0表示未变化类，k＝1表示变化类；T_k表示k类是否出现，若k类别出现，T_k＝1，否则，T_k＝0。λ＝0.5用于约束主胶囊层向量的长度。m⁺＝0.9用于惩罚假阳性，表示k类存在，但是预测不存在；m^-＝0.1用于惩罚假阴性，表示k类不存在，但是预测其存在，这两种情况都会产生较大的损失值。数字胶囊层设置了两个胶囊，向量的维度为16维，每个胶囊代表一个类别。输出的向量的长度表示识别为某个类别的概率，用来检测特定实体的存在和属性；胶囊网络最后返回像素属于某个类别的概率值，计算得到最终的变化检测结果。

输入稀疏表示得到的稀疏特征训练胶囊网络，用于学习图像上每个像素的判别特征；网络训练过程中保存损失最小时的网络权值,将稀疏表示之后的特征图作为测试集，输入训练好的胶囊网络,调用训练好的权值，输出测试集对应的预测标签值。整合测试结果得到只包含“0”和“1”的变化检测二值图。其中，“0”代表未变化像素，“1”代表变化像素。

以下结合仿真实验，对本发明的仿真效果作进一步的说明：

1.仿真环境：

本发明的硬件测试平台是：处理器为Intel Core i5-7200，主频为2.5GHz，内存为4GB，软件平台为：Windows10系统、PyCharm2018和Matlab2016a平台。

2.仿真内容：

为了评估本发明提出方法在SAR图像上的有效性，以三个真实的SAR图像数据集为例，给出了本发明提出的方法与其他三种方法的对比试验。

第一个数据集表示两个C波段和分辨率为30m的VV极化SAR图像，是由欧洲遥感2号卫星SAR传感器分别在1999年4月和5月在瑞士伯尔尼市附近地区获取的，分别如图2(a)和(b)所示。两幅图像的大小为301×301像素。图2(c)示出了手动定义的参考图。图2(d)是经过本发明提出的基于稀疏表示和胶囊网络的SAR图像变化检测方法处理后得到的伯尔尼的变化检测图。

第二个数据集是两幅10m分辨率的SAR图像的一部分(290*350像素)，图3(a)和(b)分别是1997年5月和8月在加拿大渥太华市上空雷达卫星SAR传感器获得的图像，图3(a)和(b)显示了受洪水影响的区域。图3(c)所示的可用的地面参考图是通过带有图像解释的先验信息生成的。图3(d)是经过本发明提出的基于稀疏表示和胶囊网络的SAR图像变化检测方法处理后得到的渥太华的变化检测图。

第三个数据集是2008年6月和2009年6月雷达2号卫星在中国黄河口地区获得的分辨率为3m的黄河数据集的一部分，图像大小为257*289像素，如图4所示。由于两幅原始图像是单视图像和四视图像(如图4(a)和图4(b)所示)，因此散斑噪声对2009年采集图像的影响远大于2008年采集图像的影响。图4(c)示出了通过专家知识和地表信息的结合进行人工标记而生成的地面真实图像。图4(d)是经过本发明提出的基于稀疏表示和胶囊网络的SAR图像变化检测方法处理后得到的黄河口的变化检测图。

3.评价指标：

为了评估不同方法的性能，变化检测结果的定量分析如下。它们为误警(FA)、漏检(MA)、总体误差(OE)、正确分类百分比(PCC)和Kappa系数。假设N表示差异图DI中像素的数量。TP为正确检测为变化像素的像素总数；TN为正确检测为未变化像素的数量。指标描述如下：

(1)误警(FA):将未变化像素错误检测为变化的像素的数量；

(2)漏警(MA)：将变化像素错误检测为未变化像素的数量；

(3)总体误差(OE)：OE＝FA+MA；

(4)正确分类百分比(PCC):

(5)Kappa系数：用于测试变化检测图的精度，其值越高表明检测准确度越高，

其中：

4.仿真结果及分析：

从实验仿真结果来看，与传统的GKI-LN、CS-KSVD以及神经网络CNN的方法相比，本发明提出的一种基于稀疏表示和胶囊网络的SAR图像变化检测方法在三个数据集上的准确地都要优于其他三种方法。

表1伯尔尼数据集上的检测结果

方法	FA	MA	OE	Kappa	PCC
						GKI-LN	291	86	377	0.8480	99.58％
CS-KSVD	161	147	308	0.8657	99.66％
						CNN	310	60	370	0.8534	99.59％
本发明方法	256	67	323	0.8690	99.64％

表2渥太华数据集上的检测结果

方法	FA	MA	OE	Kappa	PCC
						GKI-LN	68	4183	4251	0.8244	95.81％
CS-KSVD	558	1929	2487	0.9047	97.55％
						CNN	568	782	1350	0.95	98.67％
本发明方法	456	494	950	0.9648	99.06％

表3黄河水域数据集上的检测结果

方法	FA	MA	OE	Kappa	PCC
						GKI-LN	172	6902	7074	0.6006	90.48％
CS-KSVD	2215	2697	4912	0.7736	93.39％
						CNN	1285	2139	3424	0.8506	95.36％
本发明方法	696	2033	2729	0.8710	96.33％

本发明提出了改进的胶囊网络模型，设计了一种轻量级的胶囊网络，适合小样本数据集的学习。对主胶囊层之前的卷积层进行了改进，增加卷积层层数，减少每层卷积核的数量。采用了三层卷积层，卷积核数量逐层增加，在保证能提取到关键特征的基础上，减少了网络的训练参数，降低了网络复杂度，加快了网络训练学习速度。

同时，本发明还提出了一种稀疏表示和胶囊网络相结合的SAR图像变化检测方法。对差异图像通过稀疏表示的方法进行特征学习，将差异图上的像素信息转换到特征空间，可以进一步降低噪声的影响；将提取到的稀疏特征作为胶囊网络的输入，训练网络学习更深层的特征。本发明能够在提高变化检测准确度的同时，减少了网络的训练参数，提高了网络的训练速度。

以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (4)

1.一种基于稀疏表示和胶囊网络的SAR图像变化检测方法，其特征在于，包括以下步骤：

S1、选取同一地理区域在不同时刻t₁和t₂的两幅SAR图像，其中t₁时刻的SAR图像表示为X₁＝{X₁(i,j),1≤i≤I,1≤j≤J}，t₂时刻的SAR图像表示为X₂＝{X₂(i,j),1≤i≤I,1≤j≤J}，通过邻域对数比算子生成图像X₁和图像X₂的差分图像；

S2、通过KSVD方法从所述差分图像上学习字典，通过字典更新和稀疏编码获得所述差分图像上每个像素的稀疏特征，生成特征图；

S3、通过FCM方法从所述差分图像上获得初始分类结果，作为样本集的伪标签，稀疏表示之后的特征图作为样本，并采取高置信度样本的挑选原则，选择合适的样本作为训练集；

S4、构建改进的胶囊网络模型，输入所述训练集，来训练胶囊网络学习图像的深层次特征；

S5、测试胶囊网络，输出预测标签结果，生成变化检测图；

所述步骤S4中所述改进的胶囊网络模型包括四部分：卷积层、主胶囊层、路由胶囊层、数字胶囊层；

所述改进的胶囊网络模型对卷积层进行了改进，将卷积层增加为三层，在保证能提取到关键特征的基础上，减少了网络的训练参数，降低了网络复杂度，加快了网络训练学习速度；

所述主胶囊层利用类卷积运算和压缩激活函数得到输出的胶囊向量，识别对象的判别特征；所述路由胶囊层采用动态路由机制，通过胶囊输出向量和预测向量间的点积运算来计算输入输出之间的相似性，进而更新网络的耦合系数；所述数字胶囊层设置了两个胶囊，每个胶囊代表一个类别，输出的胶囊向量的长度表示识别为某个类别的概率值。

2.根据权利要求1所述的基于稀疏表示和胶囊网络的SAR图像变化检测方法，其特征在于，所述步骤S2中所述特征图的生成过程为：

从所述差分图像上以每个像素点为中心构造邻域大小为n×n的样本图像块，随机选取所述图像块将其拉成列向量，作为训练样本；通过KSVD方法从所述训练样本上学习字典，通过字典更新和稀疏编码获得所述差分图像上每个像素的稀疏特征，得到稀疏表示的特征图。

3.根据权利要求1所述的基于稀疏表示和胶囊网络的SAR图像变化检测方法，其特征在于，将所述步骤S3中所述差分图像通过FCM方法生成预分类结果作为伪标签，所述伪标签中包含“0”和“1”两类，分别表示未变化类和变化类；将所述稀疏表示之后获得的每个像素的特征图作为样本集，采用高置信度样本选择方法，通过少数服从多数的策略从所述样本集中筛选合适的样本组成训练样本集。

4.根据权利要求1所述的基于稀疏表示和胶囊网络的SAR图像变化检测方法，其特征在于，所述步骤S4中胶囊网络训练过程中保存损失值最小时的网络权值,将所述稀疏表示之后所有的特征图作为测试集,输入训练好的胶囊网络，调用训练好的权值，输出测试集对应的预测标签值。

Images