CN109801305A - 基于深度胶囊网络的sar图像变化检测方法 - Google Patents

Abstract

本发明公开了一种基于深度胶囊网络结构的SAR图像变化检测方法，主要解决现有技术无法从图像中提取到更多有用特征信息及获取的训练样本中包含的有效图像信息不足的问题。其实现步骤是：获取两张SAR实验图像；根据实验图像的像素信息，获取像素间的相似度阈值和像素的差异值；用KI阈值法对实验图进行预分类，得到图像的标签；根据相似度阈值、像素的差异值及图像的标签，得到训练标签和训练样本并胶囊网络进行训练；再对的训练好网络进行层次加深；将实验图输入到深度胶囊网络中，得到变化检测结果图。本发明能从训练样本中得到更多有用的特征信息，提高了变化检测精度，可用于环境监测、农业调查和救灾工作的SAR图像变化检测中。

Description

基于深度胶囊网络的SAR图像变化检测方法

技术领域

本发明属于图像处理技术领域，特别涉及一种SAR图像变化检测方法，可用于环境监测、农业调查和救灾工作。

背景技术

合成孔径雷达SAR具有全天时、全天候、分辨率高等特点，相对于可见光、红外传感器具有得天独厚的优势。变化检测是在遥感领域中最重要的应用，它通过分析同一地区在不同时刻的两幅图像，根据图像之间的差异来获得所需要的地物变化信息。随着遥感技术的不断发展，变化检测技术也得到了迅猛发展，被广泛应用于农业生产和科研等领域。

SAR图像变化检测的过程可以被分为图像预处理过程和图像分析过程。图像的预处理过程包括图像配准、几何校正和图像增强；图像的分析过程大体有两种类型的方法：(1)有监督的SAR图像变化检测技术；(2)无监督的SAR图像变化检测技术。

虽然有监督的SAR图像变化检测技术有时可以获得比较理想的检测结果，但是要求知道真实变化信息，或者需要大量的有标记训练样本，而这些在实际应用中往往是很难做到的。所以无监督的SAR图像变化检测能更好的迎合实际工作的需要，具有重要意义。传统的无监督的SAR图像变化检测方法有图像差值法，图像比值法，后分类比较法，图像回归法，植被索引法等。这些变化检测方法实现简单，但通常对噪声非常敏感，导致误检或漏检的现象比较严重，近年来又有学者提出了基于深度学习的SAR图像变化检测算法。

基于深度学习的SAR图像变化检测技术是基于图像的光谱特性、形状、纹理、大小和其他拓扑特征将图像预分类数据输入到网络模型中，然后通过网络模型进行训练，根据训练好的网络模型来学习图像特征信息，通过分类器对图像特征信息进行分类得到最终变化的结果，基于深度学习的变化检测方法已经成功的应用于土地利用和土地覆盖的分类等领域中。由于基于深度学习的变化检测融入了很多周围像素点的特征，因此它对于处理分辨率特别大的SAR图像在分类效果上具有明显的优势。SAR图像变化检测的难点在于图像中存在大量的相干斑噪声，这些噪声难于处理，容易对结果产生很大的影响。国内外的学者在变化检测领域中做了大量的研究。

授权公告号为CN 103810699 B，名称为“基于无监督神经网络的SAR图像变化检测方法”的中国专利，公开了一种基于深度神经网络的变化检测方法，该方法基于对两幅配准后的同一地区不同时相的SAR图像进行模糊C均值联合分类获得粗糙的变化检测结果，根据初始的变化检测结果选择可能性大的非噪声点作为训练样本，将训练样本输入到神经网络中训练，将待检测图片输入到训练好的模型中得到最后的变化检测结果图。但这种方法的不足在于，无法充分地从获得的图像块中得到有用的信息，从而降低检测的精度，同时得到的预处理图像会影响得到的训练标签，进一步影响到SAR图像变化检测的结果。在深度学习方法中，卷积网络、深信度网络、玻尔兹曼机等深度神经网络被提出，广泛用于图像特征信息提取和分类，不同的神经网络提取图像特征信息的能力不同，从而影响最终的分类效果，其中：

胶囊网络是一种基于胶囊化的卷积网络和动态路由算法的深度神经网络，通过将处理后的图像作为标签来进行网络训练，实现无监督的深度学习SAR图像变化检测。通过胶囊化的卷积网络可以获取图像的有用的不同特征信息，同时获取的特征信息被组合成向量，并通过动态路由算法对这个向量进行归一化，归一化后的向量用来表征信息。这个向量的模的大小表示不同类别的概率，网络通过这个概率来进行分类。虽然胶囊网络处理后的特征信息可以取得不错的分类效果，但是网络不能够更有效地分类已获取的高级特征信息，从而降低检测精度，无法得到更好的变化检测结果。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于深度胶囊网络的SAR图像变化检测方法，以更好地对已筛选过的特征信息进行分类，提高SAR图像变化检测的精度。

为实现上述目的，本发明的技术方案包括如下：

(1)获取同一地区不同时相的两幅已配准SAR实验图像I1和I2，并用I1(i,j)表示图I1中在位置(i,j)处的像素灰度值，用I2(i,j)表示图I2中在位置(i,j)处的像素灰度值；

(2)根据SAR实验图获取胶囊网络训练的标签：

(2a)计算SAR实验图的像素间相似度S(i,j)：

(2b)用Otsu阈值法对获得的相似度进行分割，得到像素间相似度阈值T；

(2c)计算实验图像素的差异值δ：

其中w(i,j)表示像素灰度值的权值，G(i,j)表示加权灰度值，δ1(i,j)表示图像I1在位置(i,j)处的像素差异值，δ2(i,j)表示图像I2在位置(i,j)处的像素差异值；

(2d)根据相似度阈值和像素差异值δ获取胶囊网络训练标签label：

(2d1)用KI阈值法分别对这两张实验图进行聚类，得到两张二分类后的图像J1和J2；

(2d2)将第一张实验图在位置(i,j)处的像素差异值δ1(i,j)与第二张实验图I2在位置(i,j)处的像素差异值δ2(i,j)进行比较，获取两张实验图在位置(i,j)处的标签：

如果δ1(i,j)≤δ2(i,j)，则第一张实验图I1的标签label1(i,j)＝J1(i,j)，再将该位置处像素的相似度S(i,j)与相似度阈值T进行比较：若S(i,j)＜T，则第二张实验图I2的标签label2(i,j)＝label1(i,j)；否则，第二张实验图I2的标签label2(i,j)＝1-label1(i,j)；

如果δ1(i,j)＞δ2(i,j)，则第二张实验图I2的标签label2(i,j)＝J2(i,j)，再将该位置处像素的相似度S(i,j)与相似度阈值T进行比较：若S(i,j)＜T，则第一张实验图I1的标签label1(i,j)＝label2(i,j)；否则，第一张实验图I1的标签label1(i,j)＝1-label2(i,j)；

(2d3)根据两张实验图的标签获取训练标签：如果label1(i,j)＝label2(i,j)，则训练标签label(i,j)＝0；否则，此时训练标签label(i,j)＝1；

(3)根据获取的标签挑选胶囊网络的训练样本以及进行胶囊网络训练：

(3a)挑选胶囊网络的训练样本：

根据在第一张实验图I1中获得的标签label1(i,j)和第二张实验图I2中获得的标签label2(i,j)，分别在这两张实验图中得到位置(i,j)在7×7大小邻域内与(i,j)处标签相同的个数，计算标签相同个数占该邻域内标签总数的比例，并将比例大于0.5的7×7大小邻域选为训练样本；

(3b)网络训练：

将这两个实验图中挑选的大小训练样本连接组成7×14大小的图像，输入到网络中，并用训练样本中心位置(i,j)处的label(i,j)的标签进行训练，得到训练好的三层胶囊网络结构，即第一层和第二层都是卷积层，第三层是动态路由层；

(4)对训练好的胶囊网络进行层次加深：

从训练好的胶囊网络中的第三层得到m×n多维向量，将其转换为一维向量；再将该一维向量转换为k张a×a大小的图像，并输入到训练好的胶囊网络第二层，形成胶囊网络中新的网络层，在训练好的三层胶囊网络结构中增加3层新的网络层，形成一个六层的深度胶囊网络结构，其中，m＝10，n＝36，k＝10，a＝6；

(5)将两张实验图输入到深度胶囊网络结构中，得到变化检测结果图。

本发明与现有技术相比，具有以下优点：

第一，本发明用KI阈值法对实验图像进行处理，根据相似度和标签来挑选可靠的训练样本，与现有技术相比，训练样本中保留了尽可能多的SAR图像信息，提高了变化检测的精度。

第二，本发明将深度胶囊网络结构应用到SAR图像变化检测方法中，与现有技术相比，该网络结构可以从训练样本中得到更多有用的特征信息，提高了变化检测的精度。

附图说明

图1是本发明的实现流程图；

图2是本发明中使用同一地区不同时相的两幅已配准SAR图像I1和I2；

图3是用本发明和现有技术获取的SAR图像变化检测仿真图。

具体实施方式

下面结合附图和具体实施，对本发明作进一步详细描述：

参照图1，本实例的实现步骤如下：

步骤1，获取初始SAR图像。

获取同一地区不同时相的两幅已配准SAR图像I1和I2，如图2所示。

参照图2(a)，I1(i,j)表示图I1中位置(i,j)处像素点的灰度值。

参照图2(b)，I2(i,j)表示图I2中位置(i,j)处像素点的灰度值。

图像I1和I2的大小都是291×306，其中，1≤i≤291，1≤j≤306。

步骤2，根据SAR实验图获取胶囊网络训练的标签。

(2a)计算SAR实验图的像素间相似度S(i,j)：

S(i,j)表示在图像I1和I2同一位置(i,j)处像素间的相似度；

(2b)对相似度进行分割：

常用的分割方法有基于阈值的分割法，基于区域的分割法，基于边缘的分割法和基于基因编码的分割法。基于阈值的分割方法有Otsu阈值分割法，自适应阈值分割法，最大熵阈值分割法和迭代阈值分割法。本实例使用但不限于Otsu阈值分割法对获得的相似度S(i,j)进行分割，得到像素间相似度阈值T，其实现步骤如下：

(2b1)根据相似度S(i,j)，求出相似度中的最大值和最小值，分别记为S_max和S_min，初始阈值T₀＝(S_max+S_min)/2；

(2b2)根据该分割法得到的第k个阈值T_k将相似度分割为前景部分和背景部分，分别求出两者的平均值Z_O和Z_B；

(2b3)根据前景部分的平均值Z_O和背景部分的平均值Z_B求出新阈值

(2b4)将得到的第k个阈值T_k和新阈值T_k+1进行比较，若T_k＝T_k+1，则所得新阈值T_k+1即为最终的阈值T；否则，返回(2b2)，迭代计算得到最终的阈值T；

(2c)计算实验图像素的差异值δ：

(2c1)计算图像I1像素灰度值的权值w1(i,j)：

(2c2)计算图像I2像素灰度值的权值w2(i,j)：

(2c3)计算加权灰度值G(i,j)：

G(i,j)＝w1(i,j)×I1(i,j)+w2(i,j)×I2(i,j)；

(2c4)计算图像I1在位置(i,j)处的像素差异值δ1(i,j)：

δ1(i,j)＝w1(i,j)×(I1(i,j)-G(i,j))²；

(2c5)计算图像I2在位置(i,j)处的像素差异值δ2(i,j)：

δ2(i,j)＝w2(i,j)×(I2(i,j)-G(i,j))²；

(2d)根据相似度阈值T和像素差异值δ获取胶囊网络训练标签label：

(2d1)用KI阈值法分别对这两张SAR实验图进行聚类，得到两张二分类后的图像J1和J2；

(2d2)将第一张实验图在位置(i,j)处的像素差异值δ1(i,j)与第二张实验图I2在位置(i,j)处的像素差异值δ2(i,j)进行比较，获取两张实验图在位置(i,j)处的标签：

如果δ1(i,j)≤δ2(i,j)，则第一张实验图I1的标签label1(i,j)＝J1(i,j)，再将该位置处像素的相似度S(i,j)与相似度阈值T进行比较：若S(i,j)＜T，则第二张实验图I2的标签label2(i,j)＝label1(i,j)；否则，第二张实验图I2的标签label2(i,j)＝1-label1(i,j)；

如果δ1(i,j)＞δ2(i,j)，则第二张实验图I2的标签label2(i,j)＝J2(i,j)，再将该位置处像素的相似度S(i,j)与相似度阈值T进行比较：若S(i,j)＜T，则第一张实验图I1的标签label1(i,j)＝label2(i,j)；否则，第一张实验图I1的标签label1(i,j)＝1-label2(i,j)；

(2d3)根据两张实验图的标签获取训练标签：如果label1(i,j)＝label2(i,j)，则训练标签label(i,j)＝0；否则，此时训练标签label(i,j)＝1。

步骤3，根据获取的标签挑选胶囊网络的训练样本以及进行胶囊网络训练。

(3a)挑选胶囊网络的训练样本：

根据在第一张实验图I1中获得的标签label1(i,j)和第二张实验图I2中获得的标签label2(i,j)，分别在这两张实验图中得到位置(i,j)在7×7大小邻域内与(i,j)处标签相同的个数，计算标签相同个数占该邻域内标签总数的比例，并将比例大于0.5的7×7大小邻域选为训练样本；

(3b)网络训练：

将在两个实验图中挑选的7×7大小训练样本连接组成7×14大小的图像，输入到网络中，并用训练样本中心位置(i,j)处的label(i,j)标签进行训练，得到训练好的三层胶囊网络结构，即第一层和第二层都是卷积层，第三层是动态路由层；胶囊网络的第一层卷积核大小为3×3，卷积核的个数为256，卷积窗口滑动步长为1；第二层卷积核大小为3×3，卷积核的个数为32，卷积窗口滑动步长为1；第三层通过动态路由算法对胶囊网络第二层提取的特征信息进行2次循环归一化。

步骤4，对训练好的胶囊网络进行层次加深。

从训练好的胶囊网络中的第三层得到m×n多维向量，将其转换为一维向量；再将该一维向量转换为k张a×a大小的图像，并输入到训练好的胶囊网络第二层，形成胶囊网络中新的网络层，该新的网络层只包含一个卷积层，其层卷积核的大小为2×2，卷积核的个数为32，卷积窗口滑动步长为1；

在训练好的胶囊网络结构的第三层上面连续添加3层新的网络层，形成一个六层的深度胶囊网络结构，其中，m＝10，n＝36，k＝10，a＝6。

步骤5，将两张实验图输入到深度胶囊网络结构中，得到变化检测结果图。

以下结合仿真实验，对本发明的仿真效果作进一步说明：

1.仿真环境：

本发明的硬件测试平台是：处理器为Intel Core i5-6500，主频为3.20GHz，内存为8.00GB，软件平台为：Ubuntu14.04系统，matlab 2016b和python2.7平台。

2.仿真内容：

在仿真环境下，分别采用本发明及现有基于无监督神经网络的SAR图像变化检测方法对如图2所示同一地区不同时相的两幅已配准SAR图像I1和I2进行变化检测，结果如图3，其中：

图2(a)是第一张实验图I1，图2(b)是第二张实验图I2；

图3(a)是本实验的参考图；

图3(b)是采用本发明得到的变化检测结果图；

图3(c)是采用现有基于无监督神经网络的SAR图像变化检测方法得到的变化检测结果图。

3.评价指标：

将变化检测结果图和实验参考图进行比较，得到错检个数FP，漏检个数FN，正确分类的概率PCC和图像准确率Kappa，这些评价指标可以用来评估变化检测结果图的质量。FN和FP的值越低表示错误检测的个数越少，检测的精度越好，PCC和Kappa值越大表示分类的正确率越高，检测的精度越好。

4.仿真结果及分析：

参照图3(a)的实验参考图，图3(c)中的噪声点比图3(b)中的多，细节丢失严重，很多变化的区域没有检测出来，本发明方法变化检测结果图噪声点较少，从图像中得到更多有用信息，保留了检测图中更多细节处的信息，变化检测效果比较好。

将本发明和现有技术的变化检测结果图进行指标评价对比，结果如表1所示：

表1评价指标对比

从表1可以看出，相较于现有技术，本发明的漏检个数FN和错检个数FP都较低，错误检测的个数更少，PCC和Kappa也较现有技术要更高，分类效果更好，可见本发明方法提高了SAR图像变化检测的精度。

Claims (5)

1.一种基于深度胶囊网络的SAR图像变化检测方法,其特征在于，包括如下：

(1)获取同一地区不同时相的两幅已配准SAR实验图像I1和I2，并用I1(i,j)表示图I1中在位置(i,j)处的像素灰度值，用I2(i,j)表示图I2中在位置(i,j)处的像素灰度值；

(2)根据SAR实验图获取胶囊网络训练的标签：

(2a)计算SAR实验图的像素间相似度S(i,j)：

(2b)用Otsu阈值法对获得的相似度进行分割，得到像素间相似度阈值T；

(2c)计算实验图像素的差异值δ：

δ1(i,j)＝w1(i,j)×(I1(i,j)-G(i,j))²

δ2(i,j)＝w2(i,j)×(I2(i,j)-G(i,j))²

其中w(i,j)表示像素灰度值的权值，G(i,j)表示加权灰度值，δ1(i,j)表示图像I1在位置(i,j)处的像素差异值，δ2(i,j)表示图像I2在位置(i,j)处的像素差异值；

(2d)根据相似度阈值T和像素差异值δ获取胶囊网络训练标签label：

(2d1)用KI阈值法分别对这两张实验图进行聚类，得到两张二分类后的图像J1和J2；

(2d2)将第一张实验图在位置(i,j)处的像素差异值δ1(i,j)与第二张实验图I2在位置(i,j)处的像素差异值δ2(i,j)进行比较，获取两张实验图在位置(i,j)处的标签：

如果δ1(i,j)≤δ2(i,j)，则第一张实验图I1的标签label1(i,j)＝J1(i,j)，再将该位置处像素的相似度S(i,j)与相似度阈值T进行比较：若S(i,j)＜T，则第二张实验图I2的标签label2(i,j)＝label1(i,j)；否则，第二张实验图I2的标签label2(i,j)＝1-label1(i,j)；

如果δ1(i,j)＞δ2(i,j)，则第二张实验图I2的标签label2(i,j)＝J2(i,j)，再将该位置处像素的相似度S(i,j)与相似度阈值T进行比较：若S(i,j)＜T，则第一张实验图I1的标签label1(i,j)＝label2(i,j)；否则，第一张实验图I1的标签label1(i,j)＝1-label2(i,j)；

(2d3)根据两张实验图的标签获取训练标签：如果label1(i,j)＝label2(i,j)，则训练标签label(i,j)＝0；否则，此时训练标签label(i,j)＝1；

(3)根据获取的标签挑选胶囊网络的训练样本以及进行胶囊网络训练：

(3a)挑选胶囊网络的训练样本：

根据在第一张实验图I1中获得的标签label1(i,j)和第二张实验图I2中获得的标签label2(i,j)，分别在这两张实验图中得到位置(i,j)在7×7大小邻域内与(i,j)处标签相同的个数，计算标签相同个数占该邻域内标签总数的比例，并将比例大于0.5的7×7大小邻域选为训练样本；

(3b)网络训练：

将这两个实验图中挑选的7×7大小训练样本连接组成7×14大小的图像，输入到网络中，并用训练样本中心位置(i,j)处的label(i,j)的标签进行训练，得到训练好的三层胶囊网络结构，即第一层和第二层都是卷积层，第三层是动态路由层；

(4)对训练好的胶囊网络进行层次加深：

从训练好的胶囊网络中的第三层得到m×n多维向量，将其转换为一维向量；再将该一维向量转换为k张a×a大小的图像，并输入到训练好的胶囊网络第二层，形成胶囊网络中新的网络层，在训练好的三层胶囊网络结构中增加3层新的网络层，形成一个六层的深度胶囊网络结构，其中，m＝10，n＝36，k＝10，a＝6；

(5)将两张实验图输入到深度胶囊网络结构中，得到变化检测结果图。

2.根据权利要求1所述的方法，其特征在于：(2c)中第一张实验图I1像素灰度值的权值w1(i,j)，第二张实验图I2像素灰度值的权值w2(i,j)和加权灰度值G(i,j)，通过如下公式计算：

3.根据权利要求1所述的方法，其特征在于：(3b)中胶囊网络的第一层卷积核大小为3×3，卷积核的个数为256，卷积窗口滑动步长为1；第二层卷积核大小为3×3，卷积核的个数为32，卷积窗口滑动步长为1；第三层通过动态路由算法对胶囊网络第二层提取的特征信息进行2次循环归一化。

4.根据权利要求1所述的方法，其特征在于：(4)中所形成的新的网络层只包含一个卷积层，该层卷积核的大小为2×2，卷积核的个数为32，卷积窗口滑动步长为1。

5.根据权利要求1所述的方法，其特征在于：(4)中在训练好的三层胶囊网络结构中增加3层新的网络层，是在训练好的胶囊网络的第三层上面连续添加3层新的网络层。