CN112541904B - 一种无监督遥感图像变化检测方法、存储介质及计算设备 - Google Patents

Abstract

本发明公开了一种无监督遥感图像变化检测方法、存储介质及计算设备，构建多尺度图卷积神经网络；将双时相图像分别输入多尺度图卷积神经网络中，提取空间特征与谱间特征，共同计算生成初始伪标签；将双时相图像的两张图级联后输入多尺度图卷积神经网络中，对多尺度图卷积神经网络进行训练，生成2通道差异图；利用多尺度图卷积神经网络的度量学习模块更新初始伪标签作为2通道差异图的标签，对生成的2通道差异图进行训练；将训练完的2通道差异图的2通道进行比较得到与原图大小相同的二值变化图，完成图像变化检测。本发明能够以无监督的方式高效准确地获得一对双时相图像的变化检测图。

Description

一种无监督遥感图像变化检测方法、存储介质及计算设备

技术领域

本发明属于技术领域，具体涉及一种基于多尺度图卷积和度量学习的无监督遥感图像变化检测方法、存储介质及计算设备，可用于从两不同时间中获得的的多光谱图像中准确地检测出两张图片之间所发生的变化并生成相应的变化检测图。

背景技术

随着近年来遥感卫星数量的增多以及对地观测技术的提升，人们可以有更多的机会从太空中监测地球表面发生的变化，遥感图像变化检测任务也就由此产生。该任务在诸如土地覆盖监测、灾害管理、生态系统监视、城市规划等实际应用能起到至关重要的作用。为了实现变化检测，各种卫星平台在不断的工作中已经为变化检测数据库提供了大量的多时相遥感图像并且这些图像通常具有非常高的空间分辨率。为了达到更好的检测效果，一般的监督或半监督的训练方式需要大量的手工标注的数据才能保证变化检测的效果，而手工标注的过程是复杂而繁琐的，因此人们希望在无监督的条件下尽量精确地完成变化检测。然而由于遥感图像所含信息丰富以及空间细节复杂等特点，同时图像对间发生的变化也具有不可知性，这些都对遥感图像的变化检测带来了巨大的挑战。

现有一种基于主成分分析的无监督变化检测方法是一种后分类方法，它将通过结合Gabor小波和模糊c均值来训练鲁棒的SVM分类器，以区分变化的像素和未变化的像素。存在的不足之处是，仅使用了传统的特征提取手段来进行遥感图像的特征提取，该过程是通常是不充分的，只能提取到局部信息，缺乏全局信息与深度信息，导致检测精度不高。

还有一种基于深度学习的无监督遥感图像变化检测方法。该方法的实现步骤为：通过预训练的卷积神经网络进行深度特征提取并进行多层特征组合，通过基于方差度量的特征选择策略进行深度特征的比较与选择，设定阈值生成相对应得二值变化图。存在的不足之处是，过于依赖预训练得卷积神经网络，无法保证完整提取该双时相图像对中真正适合进行变化检测的特征，导致检测精度不高。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于多尺度图卷积和度量学习的无监督遥感图像变化检测方法、存储介质及计算设备，构建多尺度全卷积网络用于使深度特征图拥有不同尺度下各像素点间的空间关系，并利用图卷积网络生成的特征节点进行度量学习为无监督学习过程提供能随着学习过程不断更新的伪标签，从而不断提升变化检测的精确度和召回率。

本发明采用以下技术方案：

一种无监督遥感图像变化检测方法，构建多尺度图卷积神经网络；将双时相图像分别输入多尺度图卷积神经网络中，提取空间特征与谱间特征，共同计算生成初始伪标签；将双时相图像的两张图级联后输入多尺度图卷积神经网络中，对多尺度图卷积神经网络进行训练，生成2通道差异图；利用多尺度图卷积神经网络的度量学习模块更新初始伪标签作为2通道差异图的标签，对生成的2通道差异图进行训练；将训练完的2通道差异图的2通道进行比较得到与原图大小相同的二值变化图，完成图像变化检测。

具体的，多尺度图卷积神经网络的结构依次为：输入层→特征提取层→图卷积模块→度量学习模块→特征融合层→输出层。

进一步的，输入层在生成初始伪标签时的输入通道设置为4，在进行训练时的输入通道设置为8，输出通道设置为64；特征提取层的参数与VGG16的参数相同；图卷积模块中的图推理模块中使用的卷积层的卷积核大小均设置为3×3个像素，步长均设置为1×1个像素，填充设置为1个像素；度量学习模块包括一个相似性网络，能够计算所给的特征节点与类别中心的相似度，分类得到无监督学习的伪标签；特征融合层中使用的上采样方法为双线性插值法；输出层的卷积核大小设置为1×1个像素，步长为1×1个像素，填充设置为1个像素，输出通道为2；VGG16的网络参数中第二、三、四、五卷积模块的输入的特征映射图依次设置为64、128、256、512个，输出的特征映射图依次设置为128、256、512、512个。

具体的，双时相图像为一对多光谱卫星图像，数据集提供表示两时段间变化的参考图像；图像大小为480×480，通过将图像对中的每个像素点减去均值再除以标准差的方式对双时相图像进行标准化。

具体的，生成初始伪标签具体为：

提取第4个卷积模块生成的特征图作为空间特征，将原双时相图像降采样8倍作为谱间特征，通过空间特征与谱间特征计算得到3类初始伪标签。

进一步的，将空间特征与谱间特征融合得到显著性特征图

通过多维特征变化向量ρ衡量变化程度；将变化范围分为3类：无变化类ω_n，不确定类ω_u，变化类ω_C；将初始差异图上的每一个点的概率密度函数建模为高斯混合分布；通过贝叶斯决策理论中的期望最大化算法确定分离3个类别ω_n，ω_u和ω_c的阈值T₁和T₂；最终完成对初始差异图的分割，得到初始伪标签。

具体的，对多尺度图卷积神经网络进行训练具体为：

通过度量学习模块将图卷积得到的节点分成变化、不变和不确定3类，将变化和不变的两类作为训练时的伪标签；使用Adam优化算法，迭代地更新网络权重值，直到损失函数收敛，得到训练好的多尺度图卷积神经网络，将双时相的图像级联在一起输入多尺度图卷积神经网络中，经输出层卷积生成2通道差异图作为网络的预测差异图。

进一步的，使用Adam优化算法迭代地更新网络权重值具体为：

将一对双时相多光谱图像输入到多尺度图卷积神经网络中，更新网络的权重；重复将双时相多光谱图像输入到多尺度图卷积神经网络中，对权重值更新后的损失函数loss值进行更新。

本发明的另一个技术方案是，一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行所述的方法中的任一方法。

本发明的另一个技术方案是，一种计算设备，包括：

一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行所述的方法中的任一方法的指令。

与现有技术相比，本发明至少具有以下有益效果：

本发明一种无监督遥感图像变化检测方法，构建了一个无监督的多尺度图卷积变化检测网络，较浅层的卷积能够更好地把握遥感图像的纹理特征，较深层的卷积能够更好地把握遥感图像的语义特征。而两层图卷积的加入又使得网络能够在不同的尺度下捕获图中各像素点间的远程内容关系，使得特征图更好地表征各像素点间的联系。由于变化检测过程中变化像素占图中总像素的比例较少，远程联系的建立能更好地帮助网络学习到图中变化像素间的关系，提升网络的检测精度。构建了一种新的由两层动态图卷积构成的图卷积形式。第一层图卷积依赖于卷积层中的特征图，在原始特征空间中直接进行图推理，生成相应的邻接矩阵，能够更好地满足变化检测中所需的表征像素点间远程关系的任务，同时还能为伪标签的生成提供更好的距离度量。第二层图卷积则进一步计算第一层图卷积所得特征图各节点之间的临界矩阵，更加强化了远程节点间的联系。构建了一种能够随着网络训练不断更新的伪标签来满足无监督变化检测的需求。伪标签的生成依赖于初始伪标签和利用了图卷积节点特征的度量学习。初始伪标签生成时由于结合了空间与频谱间的特征，因此能够有效的突出变化区域并对噪声干扰保持更高的鲁棒性。而度量学习的引入将会在伪标签不断更新的过程中逐渐强化同类标签之间的共性，进一步提升伪标签的精度，从而有效的提升最终变化检测的效果。

进一步的，本发明构建了一种多尺度图卷积神经网络以及度量学习模块，其结构为：输入层→特征提取层→图卷积模块→度量学习模块→特征融合层→输出层。特征提取层能够提取双时相待检测图像的深度特征信息，多尺度图卷积神经网络能够把握不同尺度特征图中的远程语义特征，度量学习模块则能够使得伪标签在训练过程中得到不断更新，特征融合层能够将多尺度特征图进行融合保留更丰富的多尺度信息。该结构将提升变化检测网络的特征提取能力和空间表征范围，保证变化检测结果。

进一步的，本发明构建了多尺度图卷积神经网络，该网络通过卷积操作，能够不通过传统映射方式即可获得图像的图卷积邻接矩阵，使得邻接矩阵能够更好地表征图像中各像素点的位置关系，从而提高其远程空间特征信息提取和表示能力。

进一步的，本发明采用Onera Satellite Change Detection公开数据集中提供的Montpellier地区的双时相图像，为一对多光谱卫星图像。该图像对拥有高分辨率。将其大小调整为480×480保证了之后卷积和反卷积操作大小的一致性。标准化操作则使得图像对像素值分布符合数据分布规律，更容易取得训练之后的泛化效果。

进一步的，本发明构建了初始伪标签的生成和更新过程，初始伪标签是通过空间特征与谱间特征融合分析而得到的，且在伪标签的更新过程中也不断提升伪标签自身精度，从而保证了辅助结果生成的伪标签的可靠性。

进一步的，本发明将多尺度图卷积神经网络得到的图卷积特征引入度量学习模块，通过度量学习将其分为3类作为伪标签。在训练过程中伪标签与真实结果均能通过优化算法得到更新，使得训练过程更完全，并保证了多尺度图卷积神经网络和度量学习模块的能充分的发挥作用。

进一步的，本发明使用Adam优化算法进行网络权重值的更新，其对梯度的一阶矩估计和二阶矩估计进行综合考虑，更适用于梯度稀疏或梯度存在很大噪声的问题以及不稳定目标函数，能在本发明的无监督方式下发挥更好地作用。

进一步的，本发明将在伪标签的指导下生成二值变化图。由于伪标签的可更新性，保证了最终生成的二值变化图的精确度，使得二值变化图能够很好的体现出双时相图像对两幅图之间的变化情况。

综上所述，本发明能够以无监督的方式高效准确地获得一对双时相图像的变化检测图。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明的流程图；

图2为本发明的图卷积网络中的图推理模块示意图；

图3为本发明的多尺度图卷积神经网络及度量学习模块示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。

本发明提供了一种基于多尺度图卷积和度量学习的无监督遥感图像变化检测方法，通过构建多尺度图卷积神经网络；生成训练集；训练多尺度图卷积神经网络和度量学习模块；将经过训练的双时相图像对通过多尺度图卷积神经网络，生成二值变化图。本发明利用度量学习模块为无监督训练过程提供随着训练过程不断更新的伪标签，同时利用多尺度图卷积神经网络完成双时相图像对的训练与变化检测。本发明充分提取了图像对的多尺度特征，并充分利用了图像对中各像素点间的远程内容关系，使得最终的检测结果召回率高，鲁棒性强，检测精确度高。

请参阅图1，本发明一种基于多尺度图卷积和度量学习的无监督遥感图像变化检测方法，包括以下步骤：

S1、构建多尺度图卷积神经网络；

多尺度图卷积神经网络的结构依次为：输入层→特征提取层→图卷积模块→度量学习模块→特征融合层→输出层；

输入层与特征提取层为由五个串联的卷积模块组成的VGG16模型。

图卷积模块为两层动态图卷积结构，其中第一层图卷积的邻接矩阵由特征图经图推理模块获得，第二层图卷积的邻接矩阵由可通过学习环节。它们均可在学习过程中不断更新。

度量学习模块包括一个相似性网络，其能够计算所给的特征节点与类别中心的相似度从而对其分类得到无监督学习的伪标签。

特征融合层由4个串联的反卷积模块组成，将特征提取层中的卷积模块生成的特征图或经图卷积模块生成的特征图上采样，与前一层特征图通过级联融合。

输出层为单层卷积层。

VGG16模型中卷积核大小均设置为3×3个像素，步长均设置为1×1个像素，填充设置为1个像素，该模型采用在高光谱图像分类数据集Indian Pines上预先训练好的权重作为初始值。

请参阅图2，将图卷积模块中的两层动态图卷积结构做进一步的描述。

在图卷积模块中，生成第一层图卷积的邻接矩阵的图推理模块的计算公式如下：

其中，φ(X)与φ(X)^T为将输入图卷积模块的特征图经过1层卷积和2个并联的更改形状操作变为两个形状为HW×M和M×HW的嵌入单元。

为将输入图卷积模块的特征图经过全局平均池化，一层卷积和对角化操作得到一个形状为M×M的嵌入单元。图推理模块中的所使用的卷积的卷积核大小均设置为3×3个像素，步长均设置为1×1个像素，填充设置为1个像素，输出通道M均设置为64。

生成第二层图卷积的邻接矩阵的计算公式如下：

其中，

为一个sigmoid函数，P₁和P₂为两个可学习的映射矩阵，其可将输入特征的维度降低为M，M仍设置为64。

设置多尺度图卷积神经网络的参数；

将输入层在生成初始伪标签时的输入通道设置为4，在进行训练时的输入通道设置为8，输出通道设置为64。

将特征提取层的参数设置与VGG16的参数设置相同。

将图卷积模块中的图推理模块中使用的卷积层的卷积核大小均设置为3×3个像素，步长均设置为1×1个像素，填充设置为1个像素。

将特征融合层中所使用的上采样方法设置为双线性插值法。

将输出层的卷积核大小设置为1×1个像素，步长为1×1个像素，填充设置为1个像素，输出通道为2。

VGG16的网络参数中第二、三、四、五卷积模块的输入的特征映射图依次设置为64、128、256、512个，输出的特征映射图依次设置为128、256、512、512个。

S2、生成双时相图像对；

采用Onera Satellite Change Detection(OSCD)公开数据集中提供的Montpellier地区的双时相图像，其为一对多光谱卫星图像，由Sentinel-2卫星分别于2015年8月12日和2017年10月30日在Montpellier地区拍摄，空间分辨率为10米/像素，尺寸为451×426像素。数据集提供表示两时段间变化的参考图像。

本方法使用多光谱中的红色，绿色，蓝色和近红外四个光谱波段作为研究波段。

将这对图像调整大小为480×480，通过将图像对中的每个像素点减去均值再除以标准差的方式对双时相图像进行标准化。

S3、训练多尺度图卷积神经网络；

将每个时相的图像分别输入多尺度图卷积神经网络中，经特征提取层的第四个卷积模块得到用于伪标签生成的每个图像的空间特征。将每个时相的图像分别进行8倍平均降采样得到每个图像的谱间特征，通过空间特征与谱间特征计算得到3类初始伪标签(变化，不变，不确定)。

将得到的初始伪标签计算度量学习的中心，通过度量学习将图卷积得到的节点分成3类(变化，不变，不确定)，选择其中变化与不变的2类作为训练时的伪标签。

将双时相的图像级联在一起后输入多尺度图卷积神经网络中，将多尺度图卷积神经网络的输出图作为网络的预测差异图。

使用Adam优化算法，迭代地更新网络权重值，直到损失函数收敛，得到训练好的多尺度图卷积神经网络和度量学习模块。

初始伪标签的生成过程如下：

第一步，将得到的空间特征与谱间特征融合起来，融合过程的计算公式如下：

其中，F_t为双时相图像中的一张图像的空-谱融合特征。

表示零-均值规范化操作，旨在消除2种特征之间的差异。λ为平衡参数，经过实验验证，将λ设为0.55。经过特征融合，可得到显著性特征图/>

第二步，通过多维特征变化向量ρ来衡量变化程度，其计算公式如下：

其中，ρ值越大，代表两张图对应位置变化的可能性越大，所有位置的差异值ρ共同构成一张初始差异图。

为了将变化的像素与不变的像素区分开，获得更可靠的初始伪标签，此过程将变化范围分为3类：无变化类(ω_n)，不确定类(ω_u)，变化类(ω_C)。因此，可以将初始差异图上的每一个点的概率密度函数建模为高斯混合分布，其计算公式如下：

p(ρ)＝p(ρ|ω_n)p(ω_n)+p(ρ|ω_u)p(ω_u)+p(ρ|ω_c)p(ω_c)

其中，类条件概率密度的计算公式如下：

其中，

和/>

分别为相应区域的平均值和方差。

第三步，通过贝叶斯决策理论中的期望最大化算法确定分离3个类别ω_n，ω_u和ω_c的阈值T₁和T₂；最终完成对其初始差异图的分割，得到初始伪标签，分割形式如下：

度量学习模块包含节点中心选择和相似性学习两步。

在节点中心选择中，其通过对初始伪标签(第一次训练)或前一次训练得到的伪标签进行逐元素平均得到节点中心。节点中心选择的计算公式如下：

其中，v_k为初始伪标签中的节点，

为初始伪标签中的节点的经图卷积后得到的嵌入向量。共得到3类节点中心，分别代表无变化类(ω_n)，不确定类(ω_u)，变化类(ω_C)。

在相似性学习中，通过对当前训练阶段得到的节点向量计算与节点中心的相似度值，从而将当前训练阶段的未标记样本分配给具有最高相似度值的类。相似度计算公式如下：

其中，sim(·,·)为余弦相似度函数。

损失函数为Tversky loss损失函数，该损失函数利用了Tversky系数，其是Dice系数和Jaccard系数的一种推广。

通过调整公式中的α和β，控制假阳性和假阴性之间的平衡，Tversky loss损失函数计算公式如下：

其中，p为训练时使用的表示变化情况的伪标签，

为训练时预测的差异图，α+β的值为1。

使用Adam优化算法，迭代地更新网络权重值的步骤如下：

第一步，利用所给的一对双时相多光谱图像，将其输入到多尺度图卷积神经网络中，利用下述权值更新公式，更新该网络的权重值：

其中，W_new为更新后的权重值，W为多尺度图卷积神经网络的初始权重值，L为多尺度图卷积神经网络训练的学习率，该学习率的取值范围为[0.001-0.00001]，×表示相乘操作，

表示求偏导操作；

第二步，重复使用该对双时相多光谱图像，将其输入到多尺度图卷积神经网络中，对权重值更新后的损失函数loss值进行更新。

S4、生成二值变化图。

利用步骤S3训练得到的多尺度图卷积神经网络，输入对应的双时相图像对得到2通道预测差异图，选择2通道中像素点数值较大的通道作为该像素点的值，得到最终的大小为480×480的二值变化图。

请参阅图3，将提供的双时相图像分别输入构建好的多尺度图卷积神经网络中，提取第四个卷积模块生成的特征图作为空间特征，将原图降采样8倍作为谱间特征，空-谱特征共同作用生成初始伪标签。之后，将双时相图像的两张图级联后输入到多尺度图卷积神经网络中，得到2层图卷积特征图和3层卷积特征图。之后经过将不断将下一层的图卷积特征图或卷积特征图上采样与上一层的图卷积特征图或卷积特征图级联、卷积，将特征图扩大，直到输出特征大小与原图大小相同。之后经输出层卷积生成2通道差异图；然后将利用最后一层图卷积特征节点与初始伪标签进行度量学习生成的伪标签不断进行比较训练。最终将训练完成的差异图的2通道进行比较得到最终的与原图大小相同的二值变化图。

本发明再一个实施例中，提供了一种终端设备，该终端设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor、DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于基于多尺度图卷积和度量学习的无监督遥感图像变化检测的操作，包括：构建多尺度图卷积神经网络；将双时相图像分别输入多尺度图卷积神经网络中，提取空间特征与谱间特征，共同计算生成初始伪标签；将双时相图像的两张图级联后输入到构建好的多尺度图卷积神经网络中，对多尺度图卷积神经网络进行训练，生成2通道差异图；对生成的2通道差异图进行训练，利用多尺度图卷积神经网络的度量学习模块更新初始伪标签作为2通道差异图的标签；将训练完的2通道差异图的2通道进行比较得到与原图大小相同的二值变化图，完成图像变化检测。

本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是终端设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括终端设备中的内置存储介质，当然也可以包括终端设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。

可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关电网中长期检修计划的校核方法的相应步骤；计算机可读存储介质中的一条或一条以上指令由处理器加载并执行如下步骤：构建多尺度图卷积神经网络；将双时相图像分别输入多尺度图卷积神经网络中，提取空间特征与谱间特征，共同计算生成初始伪标签；将双时相图像的两张图级联后输入到构建好的多尺度图卷积神经网络中，对多尺度图卷积神经网络进行训练，生成2通道差异图；对生成的2通道差异图进行训练，利用多尺度图卷积神经网络的度量学习模块更新初始伪标签作为2通道差异图的标签；将训练完的2通道差异图的2通道进行比较得到与原图大小相同的二值变化图，完成图像变化检测。

下面结合仿真实验对本发明的效果做进一步的描述。

1.仿真条件

本发明的仿真实验的硬件平台为：CPU为Intel(R)Core(TM)i7-8700X，主频为3.2GHz，内存64GB，GPU为NVIDIA 2080Ti。

本发明的仿真实验的软件平台为：Ubuntu操作系统和python3.6。

2.仿真内容与结果分析

本发明的仿真实验是采用本发明构建的多尺度图卷积神经网络和度量学习模块和五个现有技术(鲁棒变化矢量分析方法，主成分分析网络方法，对称卷积耦合网络方法，深度变化矢量分析方法，深度置信网络方法)使用训练图像对分别进行无监督训练。在训练完成后对该对图像进行变化检测，得到针对这组图像的二值变化图。

本发明仿真实验所使用的双时相图像对来自Onera Satellite ChangeDetection(OSCD)数据集中的Montpellier地区的一组多光谱卫星图像。该组多光谱卫星图像由Sentinel-2卫星分别于2015年8月12日和2017年10月30日在Montpellier地区拍摄，空间分辨率为10米/像素，尺寸为451×426像素。数据集中共有13个光谱通道的图像，图像格式均为tif。该实验中我们选取其中红色，绿色，蓝色和近红外四个光谱波段作为研究波段。该对图像提供表示两时段间变化的参考图像，但其不参与到训练过程中，只在最后参与评价实验中各方法变化检测结果。

在仿真实验中，采用的五个现有技术是指：

现有技术鲁棒变化矢量分析方法是指，Thonfeld等人在其发表的论文“Robustchange vector analysis(RCVA)for multi-sensor very high resolution opticalsatellite data”(Int.J.Appl.Earth Observ.Geoinf.，2016)中提出的遥感图像变化检测方法，该方法使用像素点间的邻域信息进行无监督的变化检测，简称鲁棒变化矢量分析方法。

现有技术主成分分析网络方法是指，Gao等人在其发表的论文“Automatic changedetection in synthetic aperture radar images based on PCANet”(IEEEGeosci.Remote Sens.Lett.，2016)中提出的遥感图像变化检测方法，简称主成分分析网络方法。

现有技术对称卷积耦合网络方法是指，Liu等人在其发表的论文“A deepconvolutional coupling network for change detection based on heterogeneousoptical and radar images”(IEEE Trans.Neural Netw.Learn.Syst。，2018)中提出的遥感图像变化检测方法，该方法为一种深度特征变化为基础的方法，简称对称卷积耦合网络方法。

现有技术深度变化矢量分析方法是指，Saha等人在其发表的论文“Unsuperviseddeep change vector analysis for multiple-change detection in VHR images”(IEEETrans.Geosci.Remote Sens.，2019)中提出的遥感图像变化检测方法，该方法基于深度学习方法，能够通过基于变化矢量分析的结果进行直接的深度特征比较来检测图片对中发生的变化，简称深度变化矢量分析方法。

现有技术深度置信网络方法是指，Gong等人在其发表的论文“Change detectionin synthetic aperture radar images based on deep neural networks”(IEEETrans.Neural Netw.Learn.Syst.，2016)，该方法创建一个可以通过从初始分类结果中学习像素变化和像素不变的概念来预测每个空间位置标签的模型来完成无监督变化检测，简称深度置信网络方法。

利用4个评价指标(精确度Precision，召回率Recall，准确性Accuracy，Kappa系数)分别对四种方法获得的Montpellier地区的变化图与数据集提供的参考图像进行全面的比较。利用下面公式，计算精确度Precision，召回率Recall，准确性Accuracy，Kappa，将计算结果绘制成表1：

精确度

召回率

准确性

其中，

其中，TP表示变化图中被正确分类为变化类别的像素个数，TN表示变化图中被正确分类为不变类别的像素个数，FP表示变化图中被误分类为变化类别的像素个数，FN表示变化图中被误分类为不变类别的像素个数。

表1中的“本发明”代表本发明提出的基于基于多尺度图卷积和度量学习的无监督遥感图像变化检测方法，“RCVA”代表Thonfeld等人提出的鲁棒变化矢量分析方法，“PCANet”代表Gao等人提出的主成分分析网络方法，“SCCN”代表Liu等人提出的对称卷积耦合网络方法，，“DCVA”代表Saha等人提出的深度变化矢量分析方法，“DBN”代表Gong等人提出的深度置信网络方法。

表1本发明与现有无监督遥感图像变化检测方法性能评价表

结合表1可以看出，本发明对该组双时相遥感图像经过无监督学习后得到的二值变化图的精确度Precision为70.64％，召回率Recall为84.76％，准确性Accuracy为96.19％，Kappa系数为0.7089，这4个指标均高于仿真实验中的5种现有技术方法，这表明该方法可以得到较高的变化检测精度。

综上所述，本发明一种基于多尺度图卷积和度量学习的无监督遥感图像变化检测方法、存储介质及计算设备，利用搭建的多尺度图卷积神经网络，能够充分利用多尺度多层次的信息，利用在不同的尺度下的图卷积直接在原始特征空间中进行图推理，能够更好地捕获图中各像素点间的远程内容关系，使网络更好的注意到远程变化区域之间的相关性，解决了现有技术方法中因为对变化区域了解不完全而导致的召回率较低的问题。同时，方法利用空-谱特征结合生成的初始伪标签和搭建的能够充分利用多尺度图卷积的节点特征的度量学习模块，为图像对的无监督训练提供了不断更新的伪标签，使得深度网络能够提取到该图像对更充分且有效的特征，解决了现有技术方法中因为无法提取到有效特征或特征提取不充分而导致的检测精度低的问题；是一种非常实用的无监督遥感图像变化检测方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (9)

1.一种无监督遥感图像变化检测方法，其特征在于，构建多尺度图卷积神经网络；将双时相图像分别输入多尺度图卷积神经网络中，提取空间特征与谱间特征，共同计算生成初始伪标签；将双时相图像的两张图级联后输入多尺度图卷积神经网络中，对多尺度图卷积神经网络进行训练，生成2通道差异图；利用多尺度图卷积神经网络的度量学习模块更新初始伪标签作为2通道差异图的标签，对生成的2通道差异图进行训练；将训练完的2通道差异图的2通道进行比较得到与原图大小相同的二值变化图，完成图像变化检测；

多尺度图卷积神经网络的结构依次为：输入层→特征提取层→图卷积模块→度量学习模块→特征融合层→输出层；输入层与特征提取层为由五个串联的卷积模块组成的VGG16模型；图卷积模块为两层动态图卷积结构，其中第一层图卷积的邻接矩阵由特征图经图推理模块获得，第二层图卷积的邻接矩阵由可通过学习环节，均在学习过程中不断更新；度量学习模块包括一个相似性网络，其能够计算所给的特征节点与类别中心的相似度从而对其分类得到无监督学习的伪标签；特征融合层由4个串联的反卷积模块组成，将特征提取层中的卷积模块生成的特征图或经图卷积模块生成的特征图上采样，与前一层特征图通过级联融合；输出层为单层卷积层；

在图卷积模块中，生成第一层图卷积的邻接矩阵的图推理模块的计算公式如下：

其中，φ(X)与φ(X)^T为将输入图卷积模块的特征图经过1层卷积和2个并联的更改形状操作变为两个形状为HW×M和M×HW的嵌入单元，

为将输入图卷积模块的特征图经过全局平均池化，一层卷积和对角化操作得到一个形状为M×M的嵌入单元，图推理模块中的所使用的卷积的卷积核大小均设置为3×3个像素，步长均设置为1×1个像素，填充设置为1个像素，输出通道M均设置为64；

生成第二层图卷积的邻接矩阵的计算公式如下：

其中，

为一个sigmoid函数，P₁和P₂为两个可学习的映射矩阵，其可将输入特征的维度降低为M，M仍设置为64；

度量学习模块包含节点中心选择和相似性学习两步：

在节点中心选择中，其通过对初始伪标签或前一次训练得到的伪标签进行逐元素平均得到节点中心，节点中心选择的计算公式如下：

其中，v_k为初始伪标签中的节点，

为初始伪标签中的节点的经图卷积后得到的嵌入向量，共得到3类节点中心，分别代表无变化类ω_n，不确定类ω_u，变化类ω_C；

在相似性学习中，通过对当前训练阶段得到的节点向量计算与节点中心的相似度值，将当前训练阶段的未标记样本分配给具有最高相似度值的类; 相似度计算公式如下：

其中，sim(·,·)为余弦相似度函数。

2.根据权利要求1所述的方法，其特征在于，输入层在生成初始伪标签时的输入通道设置为4，在进行训练时的输入通道设置为8，输出通道设置为64；特征提取层的参数与VGG16的参数相同；图卷积模块中的图推理模块中使用的卷积层的卷积核大小均设置为3×3个像素，步长均设置为1×1个像素，填充设置为1个像素；度量学习模块包括一个相似性网络，能够计算所给的特征节点与类别中心的相似度，分类得到无监督学习的伪标签；特征融合层中使用的上采样方法为双线性插值法；输出层的卷积核大小设置为1×1个像素，步长为1×1个像素，填充设置为1个像素，输出通道为2；VGG16的网络参数中第二、三、四、五卷积模块的输入的特征映射图依次设置为64、128、256、512个，输出的特征映射图依次设置为128、256、512、512个。

3.根据权利要求1所述的方法，其特征在于，双时相图像为一对多光谱卫星图像，数据集提供表示两时段间变化的参考图像；图像大小为480×480，通过将图像对中的每个像素点减去均值再除以标准差的方式对双时相图像进行标准化。

4.根据权利要求1所述的方法，其特征在于，生成初始伪标签具体为：

提取第4个卷积模块生成的特征图作为空间特征，将原双时相图像降采样8倍作为谱间特征，通过空间特征与谱间特征计算得到3类初始伪标签。

5.根据权利要求4所述的方法，其特征在于，将空间特征与谱间特征融合得到显著性特征图

通过多维特征变化向量ρ衡量变化程度；将变化范围分为3类：无变化类ω_n，不确定类ω_u，变化类ω_C；将初始差异图上的每一个点的概率密度函数建模为高斯混合分布；通过贝叶斯决策理论中的期望最大化算法确定分离3个类别ω_n，ω_u和ω_c的阈值T₁和T₂；最终完成对初始差异图的分割，得到初始伪标签。

6.根据权利要求1所述的方法，其特征在于，对多尺度图卷积神经网络进行训练具体为：

通过度量学习模块将图卷积得到的节点分成变化、不变和不确定3类，将变化和不变的两类作为训练时的伪标签；使用Adam优化算法，迭代地更新网络权重值，直到损失函数收敛，得到训练好的多尺度图卷积神经网络，将双时相的图像级联在一起输入多尺度图卷积神经网络中，经输出层卷积生成2通道差异图作为网络的预测差异图。

7.根据权利要求6所述的方法，其特征在于，使用Adam优化算法迭代地更新网络权重值具体为：

将一对双时相多光谱图像输入到多尺度图卷积神经网络中，更新网络的权重；重复将双时相多光谱图像输入到多尺度图卷积神经网络中，对权重值更新后的损失函数loss值进行更新。

8.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1至7所述的方法中的任一方法。

9.一种计算设备，其特征在于，包括：

一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至7所述的方法中的任一方法的指令。

Images