CN109102015A - 一种基于复数神经网络的sar图像变化检测方法 - Google Patents

Abstract

本发明公开了一种基于复数神经网络的SAR图像变化检测方法，输入两幅原始SAR灰度图像，用传统方法得到初步差异图作为初步标签；根据初步标签，通过置信度检测筛选出两幅原始图像中部分像素块作为候选训练样本；构造一个包含3层复数全连接层和2层复数批归一化层的复数网络；从候选训练样本中按随机比例方法选出部分构造出复数训练样本，以此训练复数网络；利用已训练好的复数网络对两幅原始SAR图像直接构造出的测试复数样本进行测试，得到最终变化检测结果。本发明不仅充分利用了传统变化检测结果中的优势，而且表现了原始数据的特点，让神经网络更好学习到了两幅图像间的关系，从而得到了更好的变化检测结果。

Description

一种基于复数神经网络的SAR图像变化检测方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于复数神经网络的SAR图像变化检测方法。

背景技术

变化检测是一项重要的技术，通过分析在不同时间在同一地点拍摄的两幅图像来检测区域表面变化。它在土地覆盖变化，环境监测和城市扩张评估中获得了的广泛应用。因此变化检测在遥感社区中越来越受到重视。由于SAR传感器与太阳光，云层覆盖和天气条件无关，所以SAR图像是执行变化检测任务的理想来源。但是，由于存在散斑噪声，SAR图像变化检测往往比光学图像更困难。

随着Hinton在2006年提出逐层无监督预训练方法，深度学习逐渐受到人们重视。而在2012年的ImageNet挑战赛上，Alex使用卷积神经网络取得了突破性的精度提升，从此深度学习彻底爆发。由于深度学习的自动特征提取能力和对噪声良好的鲁棒性以及模仿人类大脑工作的结构，其已经在越来越多的场景取得了突破性的应用成果。Gong等人在2016年将深度学习应用在SAR图像变化检测上并取得了成功，随后在SAR影像变化检测研究中出现了越来越多基于深度学习的算法。但是目前的深度网络基本都是基于实数的，而复数神经网络虽然提出的时间较早，由于一直缺乏系统的研究，且复数与现实数据的关联比较晦涩，导致在实数网络取得突破性成功后人们也很少去研究复数网络。但今年出现的一篇论文提出了复数网络基本组件系统性的公式化推导，用实验证明了复数网络在实数数据集上具有和实数网络不相上下的表达能力，并在特殊的领域(如音乐预测和语音分析的数据含有振幅和频率，可用复数表示)取得了超越实数网络的效果。而变化检测领域中的原始数据包含两部分(两幅待比较的图像)，恰好可以自然的组成一组复数数据，并以此训练一个复数网络来完成变化检测的任务。我们猜测两幅相关的图像组合成复数后可以让网络在处理过程更好的学到图像之间相关的特征，并因此在比较变化时取得优于实数网络的结果。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于复数神经网络的SAR图像变化检测方法，解决SAR图像变化检测中检测精度不高以及变化检测中两幅原始图像的组合问题，将两幅图像数据构造为复数数据，以提高SAR图像变化检测的质量。

本发明采用以下技术方案：

一种基于复数神经网络的SAR图像变化检测方法，输入两幅原始SAR灰度图像，利用初步差异图作为初步标签；根据初步标签，通过置信度检测筛选出两幅原始图像中部分像素块作为候选训练样本；构造一个包含3层复数全连接层和2层复数批归一化层的复数网络；从候选训练样本中按随机比例方法选出部分构造出复数训练样本，以此训练复数网络；利用已训练好的复数网络对两幅原始SAR图像直接构造出的测试复数样本进行测试，得到最终变化检测结果。

具体的，两幅原始SAR灰度图像I₁和I₂的大小均为412*300，求取两幅原始图像在相关位置的灰度相似度以及全局相似度门限；然后对两幅原始图像在相关位置求取灰度方差；再对两幅图像进行联合C均值模糊聚类，聚类时的聚类原则依靠图像的灰度方差，一次聚类完成后，比较两幅聚类图像在相关位置的灰度相似度；直到聚类中心的变化程度小于预定参数或者达到迭代次数上限为止。

进一步的，相关位置的灰度相似度如下：

其中，S_ij代表两幅原始图像在第i行第j列的像素值灰度相似度，全局相似度门限如下：

T＝Otsu(I₁,I₂)

其中，I₁,I₂分别代表原始第一幅和第二幅图像，Otsu为一种图像二分阈值计算方法；

灰度方差如下：

其中，代表表示第t幅图像上第i行第j列的像素值，t＝1,2，代表两幅图像在第i行第j列的像素值灰度方差。

进一步的，比较两幅聚类图像在相关位置的灰度相似度S_ij如下：

如果则如果此时该联合分类器的参考点选择是依据最大方差原则，则被看作是参考点；

当S_ij≤T时，并且当S_ij＞T时，

当S_ij≤T时，并且当S_ij＞T时，

其中，和分别代表两幅原始图像上第i行第j列的像素值，和分别代表两幅原始图像上第i行第j列的像素值灰度方差，S_ij代表两幅原始图像在第i行第j列的像素值灰度相似度，T代表全局相似度门限；和分别代表两幅原始图像使用传统变化检测方法得到的初步标签。

具体的，根据初步标签，通过置信度检测筛选出两幅原始图像中部分像素块作为候选训练样本具体如下：

S201、假设在位置P(i,j)的像素P_ij在预分类结果图中的标签是Ω_ij，记N_ij为以(i,j)为中心周围n×n范围区域的邻居数目；

S202、如果点P_ij拥有的邻居P_ξη满足条件式如下：

其中Ω_ξη为P_ξη的标签；Q()代表统计满足条件的样本个数，则P_ij被选为用于训练深度网络的样本，即为可信样本x，α为设定的经验常数。

进一步的，三类点被作为中心考虑，具体如下：

a、处在变化或者非变化区域内的点，其所有邻居都与其拥有相同类别的标签；

b、处在变化区和非变化区交界处的点，其邻居基本一半标签与其相同，一半标签与其不同，这两类点都包含有正确的聚类信息，被选为训练样本；

c、被错误分类的点，其邻居很少甚至基本没有与其相同类别的标签，这类点应该被去除。

具体的，构造一个复数网络CVNet具体如下：

S301、首先生成每层复数全连接层的权值，其权值初始化方式为满足瑞利分布的随机初始化；

S302、然后生成每个批归一化层所需要的参数。

进一步的，每层复数全连接层的权值w如下：

w＝|w|e^iθ＝R{w}+iV{w}

Ε(w)＝0

其中，R{w}代表w的实部，V{w}代表w的虚部，Ε(w)代表w的均值，Var(w)代表w的方差，σ为指定的瑞利分布的参数；

复数全连接层的计算方式如下：

w·x＝(a·r-b·v)+i(b·r+a·v)

其中，x为前一层网络的输出，r和v分别为x的实部和虚部，a和b分别为w的实部和虚部；

每层的激活函数如下：

其中，z为激活函数的输入，ReLU(z)为最常用的实数限制线性单元激活函数，每层批归一化层所需要的参数如下：

其中，x为前一层的输出，γ_ri和β初始化为0；γ_rr和γ_ii初始化为V_ri和β的均值偏移量初始化为0，V_rr和V_ii的均值偏移量初始化为均值偏移量的动量为0.9。

具体的，从候选训练样本中按随机比例方法选出部分构造出复数训练样本，以此训练复数网络具体如下：

S401、根据筛选出的候选样本X'的初步标签Ω'将X'分为变化代表样本X_c和未变化代表样本X_uc两类，从X_c和X_uc中分别随机选取基于X'总量5％的样本量，混合为原始实数训练样本

S402、将中每个样本来自于不同原始图像的部分分开，拆分为来自于一幅图像的原始像素值和来自于另一幅图像的原始像素值将和组合成为一个复数作为输入网络的复数训练样本。

进一步的，迭代20000次训练网络，得到训练完成的复数网络CVNet。

与现有技术相比，本发明至少具有以下有益效果：

一种基于复数神经网络的SAR图像变化检测方法，输入两幅原始SAR灰度图像，用传统方法得到初步差异图作为初步标签；充分利用了变化检测问题中有两幅原始图像的特点，将两幅图像的组合问题自然转化为复数构造问题，利用了更多的图像的相关信息，提升了检测结果的准确性；根据初步标签，通过置信度检测筛选出两幅原始图像中部分像素块作为候选训练样本；构造一个包含3层复数全连接层和2层复数批归一化层的复数网络；将复数网络用在遥感影像的变化检测上，除了很好处理了原始数据组成的复数数据之外，得以利用复数网络更充分的数据表达能力发掘原始图像间的关联，让网络更容易学到图像间的对比关系；从候选训练样本中按随机比例方法选出部分构造出复数训练样本，以此训练复数网络；利用已训练好的复数网络对两幅原始SAR图像直接构造出的测试复数样本进行测试，得到最终变化检测结果；复数网络具有很灵活的扩展性，其所提出的复数网络框架可以直接用在其余数据源的变化检测任务上。具有准确区分出变化和未变化区域的优点，并且具有很好的扩展性，可以应用于各种类型数据源的变化检测问题。

进一步的，因为原始图像尺寸太大(7666*7692)，因此截取(412*300)使用，通过基于聚类的迭代方法可以较好的避免数据中噪声的影响，并可以通过多次聚类取均值来减少随机性的干扰。

进一步的，比较两幅图像在相关位置的灰度相似度来初步衡量两幅图像像素间的差异。

进一步的，通过置信度检测筛选可以提取出最有可能为变化和未变化的样本，确保了训练网络的样本的准确性，使得网络能够学习到正确的映射关系。

进一步的，因为在置信度检测时所有样本都可以被分为三类点中的某一类，因此用三类点作为中心考虑设置就保证了所有点都会被检测，体现出了该算法的严谨性和全面性。

进一步的，CVNet三层全连接层和两层批归一化层的结构设置参考了基于深度学习变化检测的常规设置，而批归一化层的加入很好的解决了梯度消失和梯度爆炸的问题，保证了网络的收敛。将来自两幅图的实数数据构造成复数数据可以充分利用复数的表示能力和复数网络优于实数网络的特征提取能力，将两幅图间的关系更好的学习到，从而进行更准确的变化检测。

进一步的，通过首先进行传统变化检测再训练深度网络的步骤设置不仅可以解决深度网络需要训练样本的问题，还可以利用深度网络强大的特征提取能力改善单纯使用传统方法得到的结果。

进一步的，迭代20000次的设置参考了基于深度学习的变化检测中的常用设置。

综上所述，本发明在一种效果良好的传统变化检测方法的基础上，将原始数据组合为复数后，使用复数网络进行特征提取和变化检测，不仅充分利用了传统变化检测结果中的优势，而且表现了原始数据的特点，让神经网络更好学习到了两幅图像间的关系，从而得到了更好的变化检测结果。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明的总流程图；

图2为本发明所进行的变化检测的一个数据集中SAR图像和对应的参考图，其中，(a)为第一幅原始图像，(b)为第二幅原始图像，(c)为两幅图像变化部分的参考图；

图3为本发明对图2中SAR图像进行传统变化检测的结果图；

图4为本发明中复数神经网络对图2进行变化检测的结果图；

图5为本发明所进行的变化检测的另一个数据集中SAR图像和对应的参考图，其中，(a)为第一幅原始图像，(b)为第二幅原始图像，(c)为两幅图像变化部分的参考图；

图6为本发明中复数神经网络对图5进行变化检测的结果图。

具体实施方式

本发明提供了一种基于复数神经网络的SAR图像变化检测方法，输入两幅原始SAR灰度图像，用传统方法得到初步差异图作为初步标签；根据初步标签，通过置信度检测筛选出两幅原始图像中部分像素块作为候选训练样本；构造一个包含3层复数全连接层和2层复数批归一化层的复数网络；从候选训练样本中按随机比例方法选出部分构造出复数训练样本，以此训练复数网络；利用已训练好的复数网络对两幅原始SAR图像直接构造出的测试复数样本进行测试，得到最终变化检测结果。本发明具有准确区分出变化和未变化区域的优点，并且具有很好的扩展性，可以应用于各种类型数据源的变化检测问题。

请参阅图1，本发明一种基于复数神经网络的SAR图像变化检测方法，包括以下步骤：

S1、获取两幅原始图像I₁和I₂，对原始图像使用传统变化检测方法得到初步差异图DI作为每个原始像素对应的初步标签Ω'；

请参阅2和图3，两幅原始图像I₁和I₂，大小均为412*300。

S101、求取两幅原始图像在相关位置的灰度相似度以及全局相似度门限；

相关位置的灰度相似度如下：

其中，和分别代表两幅原始图像上第i行第j列的像素值，S_ij代表两幅原始图像在第i行第j列的像素值灰度相似度。全局相似度门限如下：

T＝Otsu(I₁,I₂)

其中I₁和I₂分别代表原始第一幅和第二幅图像，Otsu为一种图像二分阈值计算方法；

S102、对两幅原始图像在相关位置求取灰度方差；

灰度方差如下：

其中，表示第t幅图像上第i行第j列的像素值，t＝1,2，代表两幅图像在第i行第j列的像素值灰度方差；

S103、对两幅图像进行联合C均值模糊聚类，聚类时的聚类原则依靠图像的灰度方差，一次聚类完成后，比较两幅聚类图像在相关位置的灰度相似度S_ij如下：

如果则如果此时该联合分类器的参考点选择是依据最大方差原则，则被看作是参考点；

当S_ij≤T时，并且当S_ij＞T时，

当S_ij≤T时，并且当S_ij＞T时，

其中，和分别代表两幅原始图像上第i行第j列的像素值，和分别代表两幅原始图像上第i行第j列的像素值灰度方差，S_ij代表两幅原始图像在第i行第j列的像素值灰度相似度，T代表全局相似度门限；和分别代表两幅原始图像使用传统变化检测方法得到的初步标签。

S104、重复以上步骤，直到聚类中心的变化程度小于预定参数或者达到迭代次数上限为止。

S2、将初步差异图通过置信度检测，筛选出所有高于置信度阈值α的可信样本x，作为接下来输入复数网络的候选训练样本X'；

S201、假设在位置P(i,j)的像素P_ij在预分类结果图中的标签是Ω_ij，记N_ij为以(i,j)为中心周围n×n范围区域的邻居数目；

有三类点可以被作为中心考虑，具体如下：

a、处在变化或者非变化区域内的点，其几乎所有邻居都与其拥有相同类别的标签。

b、处在变化区和非变化区交界处的点，其邻居基本一半标签与其相同，一半标签与其不同，这两类点都包含有正确的聚类信息，因此可以被选为训练样本。

c、被错误分类的点(也称为噪声)，其邻居很少甚至基本没有与其相同类别的标签，这类点应该被去除；

S202、如果点P_ij拥有的邻居P_ξη满足条件式如下：

其中，Ω_ξη为P_ξη的标签，Q()代表统计满足条件的样本个数，则P_ij可被选为用于训练深度网络的样本，即为可信样本x，其中α为设定的经验常数，通常0.45～0.7，此处设为0.6。

S3、构造一个复数网络CVNet，其包含3层复数全连接层FC(x)和2层复数批归一化层BN(x)；

S301、首先生成每层复数全连接层的权值，其权值初始化方式为满足瑞利分布的随机初始化；

每层复数全连接层的权值如下：

w＝|w|e^iθ＝R{w}+iV{w}

E(w)＝0

其中，R{w}代表w的实部，V{w}代表w的虚部，Ε(w)代表w的均值，Var(w)代表w的方差，σ为指定的瑞利分布的参数；

复数全连接层的计算方式如下：

w·x＝(a·r-b·v)+i(b·r+a·v)

其中，w为全连接层权值，x为前一层网络的输出(如果为第一层神经网络则为输入的数据)，r和v分别为x的实部和虚部，a和b分别为w的实部和虚部。

每层的激活函数如下：

其中，z为激活函数的输入；ReLU(z)为最常用的实数限制线性单元激活函数。

S302、然后生成每个批归一化层所需要的参数如下：

其中x为前一层的输出，V为x实部与虚部间的协方差，γ和β为批归一化的修正参数，γ_ri和β初始化为0；γ_rr和γ_ii初始化为并且为了使训练和测试时的批归一化效果一致，需要给一些参数加上均值偏移量，该均值偏移量会随着网络的学习而改变，其中V_ri和β的均值偏移量初始化为0，V_rr和V_ii的均值偏移量初始化为均值偏移量的动量为0.9。

S4、从步骤S2中筛选出的候选样本X’中进一步随机选出部分来构造复数训练样本训练步骤S3中复数网络CVNet；

S401、根据筛选出的候选样本X'的初步标签Ω'将X'分为变化代表样本X_c和未变化代表样本X_uc两类，从X_c和X_uc中分别随机选取基于X'总量5％的样本量，混合为原始实数训练样本

S402、将中每个样本来自于不同原始图像的部分分开，拆分为来自于一幅图像的原始像素值和来自于另一幅图像的原始像素值即每个分为和部分，将和组合成为一个复数，即作为输入网络的复数训练样本。迭代20000次训练网络，得到训练完成的复数网络CVNet。

S5、利用训练好的CVNet对两幅原始图像构造的复数测试样本进行检测，得到最终的变化检测结果图I_DI。

请参阅图4，从图4可以看出复数网络对SAR图像的变化检测取得了很好的效果。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了说明本发明的有效性和适应性，实验所使用的输入图像为另一个数据集中的两幅SAR图像，如图5所示。将提取过初步标签的图5中部分可信样本应用于训练本发明中的复数网络，并利用该训练好的网络对图5进行变化检测，结果如图6所示。从图6可以看出，用本发明的复数神经网络可以很好的作用在其他数据集上，同时可以看出，用本发明的复数神经网络做变化检测能够达到令人满意的效果。

综上所述，用本发明对两幅原始SAR图像组合为复数数据，并利用复数网络进行变化检测可以很好的消除SAR图像中噪点的干扰，同时可以让网络有效学习到图像间相同和差异的部分，最后可以得到很好的检测结果。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种基于复数神经网络的SAR图像变化检测方法，其特征在于，输入两幅原始SAR灰度图像，利用初步差异图作为初步标签；根据初步标签，通过置信度检测筛选出两幅原始图像中部分像素块作为候选训练样本；构造一个包含3层复数全连接层和2层复数批归一化层的复数网络；从候选训练样本中按随机比例方法选出部分构造出复数训练样本，以此训练复数网络；利用已训练好的复数网络对两幅原始SAR图像直接构造出的测试复数样本进行测试，得到最终变化检测结果。

2.根据权利要求1所述的一种基于复数神经网络的SAR图像变化检测方法，其特征在于，两幅原始SAR灰度图像I₁和I₂的大小均为412*300，求取两幅原始图像在相关位置的灰度相似度以及全局相似度门限；然后对两幅原始图像在相关位置求取灰度方差；再对两幅图像进行联合C均值模糊聚类，聚类时的聚类原则依靠图像的灰度方差，一次聚类完成后，比较两幅聚类图像在相关位置的灰度相似度；直到聚类中心的变化程度小于预定参数或者达到迭代次数上限为止。

3.根据权利要求2所述的一种基于复数神经网络的SAR图像变化检测方法，其特征在于，相关位置的灰度相似度如下：

其中，S_ij代表两幅原始图像在第i行第j列的像素值灰度相似度，全局相似度门限如下：

T＝Otsu(I₁,I₂)

其中，I₁,I₂分别代表原始的第一幅和第二幅图像，Otsu为一种图像二分阈值计算方法；

灰度方差如下：

其中，代表表示第t幅图像上第i行第j列的像素值，t＝1,2，代表两幅图像在第i行第j列的像素值灰度方差。

4.根据权利要求2或3所述的一种基于复数神经网络的SAR图像变化检测方法，其特征在于，比较两幅聚类图像在相关位置的灰度相似度S_ij如下：

如果则当此时该联合分类器的参考点选择是依据最大方差原则，则被看作为参考点；

当S_ij≤T时，并且当S_ij＞T时，

当S_ij≤T时，并且当S_ij＞T时，

其中，和分别代表两幅原始图像上第i行第j列的像素值，和分别代表两幅原始图像上第i行第j列的像素值灰度方差，S_ij代表两幅原始图像在第i行第j列的像素值灰度相似度，T代表全局相似度门限；和分别代表两幅原始图像使用传统变化检测方法得到的初步标签。

5.根据权利要求1所述的一种基于复数神经网络的SAR图像变化检测方法，其特征在于，根据初步标签，通过置信度检测筛选出两幅原始图像中部分像素块作为候选训练样本具体如下：

S201、假设在位置P(i,j)的像素P_ij在预分类结果图中的标签是Ω_ij，记N_ij为以(i,j)为中心周围n×n范围区域的邻居数目；

S202、如果点P_ij拥有的邻居P_ξη满足条件式如下：

其中Ω_ξη为P_ξη的标签；Q()代表统计满足条件的样本个数，则P_ij被选为用于训练深度网络的样本，即为可信样本x，α为设定的经验常数。

6.根据权利要求5所述的一种基于复数神经网络的SAR图像变化检测方法，其特征在于，三类点被作为中心考虑，具体如下：

a、处在变化或者非变化区域内的点，其所有邻居都与其拥有相同类别的标签；

b、处在变化区和非变化区交界处的点，其邻居基本一半标签与其相同，一半标签与其不同，这两类点都包含有正确的聚类信息，被选为训练样本；

c、被错误分类的点，其邻居很少甚至基本没有与其相同类别的标签，这类点应该被去除。

7.根据权利要求1所述的一种基于复数神经网络的SAR图像变化检测方法，其特征在于，构造一个复数网络CVNet具体如下：

S301、首先生成每层复数全连接层的权值，其权值初始化方式为满足瑞利分布的随机初始化；

S302、然后生成每个批归一化层所需要的参数。

8.根据权利要求7所述的一种基于复数神经网络的SAR图像变化检测方法，其特征在于，每层复数全连接层的权值w如下：

w＝|w|e^iθ＝R{w}+iV{w}

Ε(w)＝0

其中，R{w}代表w的实部，V{w}代表w的虚部，Ε(w)代表w的均值，Var(w)代表w的方差，σ为指定的瑞利分布的参数；

复数全连接层的计算方式如下：

w·x＝(a·r-b·v)+i(b·r+a·v)

其中，x为前一层网络的输出，r和v分别为x的实部和虚部，a和b分别为w的实部和虚部；

每层的激活函数如下：

其中，z为激活函数的输入，ReLU(z)为最常用的实数限制线性单元激活函数，每层批归一化层所需要的参数如下：

其中，x为前一层的输出，γ_ri和β初始化为0；γ_rr和γ_ii初始化为V_ri和β的均值偏移量初始化为0，V_rr和V_ii的均值偏移量初始化为均值偏移量的动量为0.9。

9.根据权利要求1所述的一种基于复数神经网络的SAR图像变化检测方法，其特征在于，从候选训练样本中按随机比例方法选出部分构造出复数训练样本，以此训练复数网络具体如下：

S401、根据筛选出的候选样本X'的初步标签Ω'将X'分为变化代表样本X_c和未变化代表样本X_uc两类，从X_c和X_uc中分别随机选取基于X'总量5％的样本量，混合为原始实数训练样本

S402、将中每个样本来自于不同原始图像的部分分开，拆分为来自于一幅图像的原始像素值和来自于另一幅图像的原始像素值将和组合成为一个复数作为输入网络的复数训练样本。

10.根据权利要求9所述的一种基于复数神经网络的SAR图像变化检测方法，其特征在于，迭代20000次训练网络，得到训练完成的复数网络CVNet。