CN115035334A - 多尺度融合双时相遥感图像的多分类变化检测方法及系统 - Google Patents

Abstract

本发明属于遥感图像处理技术领域，公开了一种多尺度融合双时相遥感图像的多分类变化检测方法及系统，所述多尺度融合双时相遥感图像的多分类变化检测方法包括：首先将两张单时相的图像放入第一阶段的ShelfNet网络当中提取各自的高层语义特征，然后将提取到的特征进行融合，映射到一个新的空间；在空间内构建第二阶段的语义分割网络PSPNet，将融合特征的深层次特征提取后进行相似性判断，使得未变化像素的相关性增大，变化像素之间的相关性减小，最后判定得出多分类变化检测的结果图。本发明加快了运行速度，减少了资源的消耗。

Description

多尺度融合双时相遥感图像的多分类变化检测方法及系统

技术领域

本发明属于遥感图像处理技术领域，尤其涉及一种多尺度融合双时相遥感图像的多分类变化检测方法及系统。

背景技术

目前，遥感图像的变化检测指根据从不同时段获取的遥感图像和相关地理数据，结合遥感成像机理与地物特征，利用图像图形和数学模型来确定并分析调查区域的地表覆盖的变化及变化类型。其研究目的是在过滤掉无关信息的同时，提取调查区域的变化信息。该技术目前已经在多个领域得到应用，如土地利用、城市扩张、农田变化、地质灾害监测、生态环境保护、湿地监测、森林防护等。在早期遥感图像变化检测中，提出了许多传统的遥感图像变化检测方法。其中，阈值法和聚类法是最流行的两种。在阈值法中，需要找到一个最优阈值，用于将每个像素正确划分为变化类及未变化类，如KI算法和EM算法。而聚类法的核心思想是最大化属于同一聚类的数据点之间的相似性的同时，尽量减少不同聚类之间的相似性，如FCM等算法。早期大多数遥感变化检测方法专注于二分类。然而，随着遥感技术的发展，只确定每个像素是否变化，在实际应用中显得有些局限。因此，进一步将变化区域划分为积极变化和消极变化更有意义。例如，在城市变化分析中，一些旧建筑被拆除，而其他区域建造了一些新建筑，有必要从双时相遥感图像中区分这两种不同的变化。由此诞生了许多三元变化检测方法，例如C2VA等算法。但效果并不理想，其原因一方面在于遥感图像容易受到噪声的影响，而传统方法不能很好地处理噪声；另一方面，原始像素及其邻域的信息表示能力仍然很有限，导致分类准确性受到影响。

近年来，深度学习由于其强大的表征学习能力而成为研究热点，得到了学术界广泛的关注。深度学习是一种通过建立多层神经网络，从输入数据中学习抽象特征表示的技术。其对数据集的表达更高效和准确，所提取的抽象特征鲁棒性更强，泛化能力更好，在遥感图像变化检测方面得到了广泛的应用。

在基于深度学习的遥感图像变化检测中，每个像素在图像中并不是空间无关而独立存在的，合适的图像特征提取尤为重要。ShelfNet是一种快速语义分割框架，不同于标准的编码器-解码器结构，它具有多个编码器-解码器分支对，每个空间级别上都有跳跃连接。该框架结构为信息流提供了多条路径，提高了分割精度。因此，ShelfNet具有获得更复杂特征和产生更高精度的潜力。不同尺度的特征融合是神经网络中提高分割性能的一个重要手段。低层特征分辨率更高，包含更多位置、细节信息，但是由于经过的卷积更少，其语义性更低，噪声更多。高层特征具有更强的语义信息，但是分辨率很低，对细节的感知能力较差。PSPNet的核心模块是金字塔池化模块，它能够聚合不同区域的上下文信息，从而提高获取全局信息的能力。多尺度特征融合无疑增加了计算量，但PSPNet通过引入辅助loss，在增加少量计算量的同时形成了最终的金字塔池化全局特征。

通过上述分析，现有技术存在的问题及缺陷为：现有技术中二分类或三分类的变化检测不能满足实际应用。同时在传统的神经网络中，原始像素及其邻域的信息表示能力仍然很有限，且下采样的过程中极容易丢失本身的主要特征信息。

发明内容

针对现有技术存在的问题，本发明提供了一种多尺度融合双时相遥感图像的多分类变化检测方法及系统。

本发明是这样实现的，一种多尺度融合双时相遥感图像的多分类变化检测方法，所述多尺度融合双时相遥感图像的多分类变化检测方法包括：

首先将两张单时相的图像放入第一阶段的ShelfNet网络当中提取各自的高层语义特征，然后将提取到的特征进行融合，映射到一个新的空间；在空间内构建第二阶段的语义分割网络PSPNet，将融合特征的深层次特征提取后进行相似性判断，使得未变化像素的相关性增大，变化像素之间的相关性减小，最后判定得出多分类变化检测的结果图。

进一步，所述多尺度融合双时相遥感图像的多分类变化检测方法具体过程为：

步骤一，选取公开数据集，并对数据集进行预处理；数据集的预处理使得训练的数据样本更加复杂，使得训练得到的网络结构有更强的健壮性和鲁棒性；

步骤二，构建基于ShelfNet的网络模型，提取双时相图像特征；

步骤三，构建基于多分类检测的网络模型和基于PSPNet的语义分割网络，进行区分不同的变化；

步骤四，选取训练样本对网络模型训练，并选取测试集对网络模型进行测试，验证提取出网络模型的有效性。

进一步，所述步骤一中，数据集进行预处理包括裁剪和图像增强。

进一步，所述步骤二中，提取双时相图像特征具体过程为：

在提取双时相图像特征阶段，采用ShelfNet作为基础网络提取特征；通过减少渠道的数量以提高速度，使用1×1卷积层后接BatchNormalization和Relu层，在空间水平上将通道的数量从256，512，1024，2048转变到64，128，256，512；输出的张量为提取的特征，在提取到的普遍特征的基础上自适应的调节参数，使得模型适合特定的数据集；

通过改进的残差块，减小模型尺寸并更有效地提取特征，同一块中的两个卷积层共享相同的权重，两个Normalization层不同；共享权重设计重用卷积的权重，并具有与递归卷积神经网络类似的特性；在两个卷积层之间添加一个脱落层，以避免过度拟合；共享权残差块结合跳跃连接、循环卷积和退出正则化，并且比标准残差块有更少的参数。

进一步，所述步骤三中，构建基于多分类检测的网络模型具体过程为：

将Shelf-Net网络提取到的双时相特征图进行融合；将融合的特征图通过PSPNet中金字塔池化模块收集不同尺度的语境信息并融合生成不同级别的特征图，最终被展平并拼接起来，然后输入到全连接层中进行分类，得出最后的多分类变化检测图。

进一步，所述步骤四中，选取训练样本对网络模型训练并选取测试集对网络模型进行测试，验证提取出网络模型的有效性具体过程为：

1)损失函数

通过结合Dice Loss和交叉熵损失CrossEntropy Loss，以解决二值分类中样本不平衡的情况；在实践中，将Dice损失与CrossEntropy损失结合使用，以提高模型训练的稳定性，总损失定义为式为：

Loss＝L_Dice+L_CrossEntropy (1)

2)评价标准

通过总体准确度和mIoU评估标准，评估不同变化检测算法的性能。

进一步，所述Dice损失具体为：

在进行多分类类变化检测时，首先获得二分类变化图，再在二分类变化图的指导下获得多分类类变化图，通过Dice损失来进行评价；

其中X为地面真值，Y为网络输出的预测结果；|X|+|Y|表示矩阵元素的和；X∩Y表示X和Y之间共有的元素数，实际上通过求两个矩阵的像素乘积的和来计算得到。

进一步，所述交叉熵损失具体为：

交叉熵损失判定实际的输出与期望的输出的接近程度，损失函数结合；预测分布越接近真实分布，交叉熵损失越小，预测分布越远离真实分布，交叉熵损失越大；对一个具有N个数据集，多标签为C分类任务的交叉熵损失函数的计算方法为：

其中y为地面真值，

为网络输出。

进一步，所述总体准确度具体为：

总体准确度中正确分类的双时态像素数除以测试样本数，测量分类性能，反映分正确的比例，评价变化检测算法为：

通过对所有的输出图片以及对应的变化标签进行统计，得到混淆矩阵M＝{Mij}，Mij表示被识别为第i个更改类型，实际属于第j个变化类型；N表示变更类型的总数；

mIoU具体为：

利用mIoU评价变化检测结果，结果给定一个混淆矩阵M，有：

其中IoU1评估未变化像素的提取效果，IoU2评估变化像素的提取效果，从而得到mIoU的定义为：

mIoU＝0.5*IoU₁+0.5*IoU₂ (7)。

本发明的另一目的在于提供一种实施所述多尺度融合双时相遥感图像的多分类变化检测方法的多尺度融合双时相遥感图像的多分类变化检测系统，所述多尺度融合双时相遥感图像的多分类变化检测系统包括：

数据集选取模块，用于选取公开数据集；

数据集预处理模块，用于对数据集进行裁剪以及图像增强的预处理；

图像特征提取模块，用于通过构构建基于ShelfNet的网络模型提取双时相图像特征；

网络模型构建模块，用于设计构建基于多尺度双重叠加的网络模型；

网络模型测试模块，用于选取训练样本对网络模型训练并选取测试集对网络模型进行测试。

结合上述的技术方案和解决的技术问题，请从以下几方面分析本发明所要保护的技术方案所具备的优点及积极效果为：

第一、针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造性的技术效果。具体描述如下：

本发明多尺度融合双时相遥感图像的多分类变化检测方法引入了ShelfNet对双时相图像提取特征，对两组特征进行融合，将融合以后的特征映射到特定的特征空间，通过PSPNet进行分割，同时将两种损失函数加权来解决类别不均衡的问题。

第二，把技术方案看做一个整体或者从产品的角度，本发明所要保护的技术方案具备的技术效果和优点，具体描述如下：

本发明主要利用ShelfNet、PSPNet网络对遥感图像进行变化检测，考虑了语义分割网络进行分割。同时考虑了类不平衡对检测结果的影响，在很大程度上加快了运行速度，减少了资源的消耗。

第三，作为本发明的权利要求的创造性辅助证据，还体现在以下几个重要方面：

(1)本发明的技术方案转化后的预期收益和商业价值为：

本发明技术方案在可运用在气候变化、环境保护、灾害监测等领域，在很多涉及国计民生的行业，都有广泛的用途。目前卫星图像的变化检测技术在全球商用领域的地位正在不断提高。而互联网和信息技术的发展，使得对地观测数据市场从单纯的政府性订单转向政府和企业的共同需求。例如我国在更新地图和支持地理信息方面的卫星图像潜力巨大，百度和腾讯等互联网公司每年投入大量资金用于遥感数据的更新和采购，这些企业性需求为遥感产业实现突破性发展奠定了非常扎实的市场基础。

(2)本发明的技术方案填补了国内外业内技术空白：

本发明技术在特征提取阶段利用最新的ShelfNet网络模型降低参数，提高了提取特征的精度，再利用PSPNet网络充分利用上下文关系进行融合生成最终的变化检测图。在这一点上我们采用将其两种不同模型的结合应用到双时图像的变化检测上。这在国内外图像的变化检测方面是一种大胆的创新和尝试。

(3)本发明的技术方案克服了技术偏见：

相较于之前的传统的变化检测方法，大多使用手工绘制的特征，这些特征在图像表示中较弱。近年来，随着深度学习不断发展，其在图像分析、等领域取得了传统方法无法比拟的优势，将深度学习用于遥感图像的变化检测是不可阻挡的趋势.与传统的手工特征分类算法相比，本发明使用卷积神经网络进行变化检测，具有更好的性能，它可以从大量的图像数据中自动学习复杂的特征空间.

附图说明

图1是本发明实施例提供的多尺度融合双时相遥感图像的多分类变化检测方法流程图；

图2是本发明实施例提供的多尺度融合双时相遥感图像的多分类变化检测系统结构示意图；

图3是本发明实施例提供的多尺度融合的双时相遥感图像的多分类变化检测系统结构框图；

图4是本发明实施例提供的整体网络框架图；

图5是本发明实施例提供的双时相图像取特征和多尺度融合网络模型框架图；

图中：图a、基于ShelfNet的网络模型提取双时相图像取特征的框架图；图b、基于PSPNet多尺度融合网络模型的框架图；

图6是本发明实施例提供的实验的结果示意图；

图7是本发明实施例提供的实验中各个模型对比定性分析图；

图中：1、数据集选取模块；2、数据集预处理模块；3、图像特征提取模块；4、网络模型构建模块；5、网络模型测试模块。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

一、解释说明实施例。为了使本领域技术人员充分了解本发明如何具体实现，该部分是对权利要求技术方案进行展开说明的解释说明实施例。

如图1所示，本发明实施例提供的多尺度融合双时相遥感图像的多分类变化检测方法包括：

S101：选取公开数据集，并对数据集进行预处理；数据集的预处理使得训练的数据样本更加复杂，使得训练得到的网络结构有更强的健壮性和鲁棒性。

S102：构建基于ShelfNet的网络模型，提取双时相图像特征。

S103：构建基于多分类检测的网络模型和基于PSPNet的语义分割网络，进行区分不同的变化。

S104：选取训练样本对网络模型训练，选取测试集对网络模型进行测试，验证提取出网络模型的有效性。

本发明实施例提供的S101中，数据集进行预处理包括裁剪和图像增强。

本发明实施例提供的S102中，提取双时相图像特征具体过程为：

在提取双时相图像特征阶段，采用ShelfNet作为基础网络提取特征；通过减少渠道的数量提高速度，使用1×1卷积层后接BatchNormalization和Relu层，在空间水平上将通道的数量从256，512，1024，2048转变(输出)到64，128，256，512。输出的张量就是提取的特征，在提取到的普遍特征的基础上自适应的调节参数，使得模型适合特定的数据集。

为了减小模型尺寸并更有效地提取特征，使用改进的残差块，同一块中的两个卷积层共享相同的权重，但两个Normalization层不同。共享权重设计重用卷积的权重，并具有与递归卷积神经网络(RCNN)类似的特性。在两个卷积层之间添加一个脱落层，以避免过度拟合。共享权残差块结合了跳跃连接、循环卷积和退出正则化的优点，并且比标准残差块具有更少的参数。

本发明实施例提供的S103中，构建基于多分类检测的网络模型具体过程为：

将Shelf-Net网络提取到的双时相特征图进行融合；将融合的特征图通过PSPNet中金字塔池化模块收集不同尺度的语境信息并融合生成不同级别的特征图，最终被展平并拼接起来，然后输入到全连接层中进行分类，得出最后的多分类变化检测图。

本发明实施例提供的S104中，选取训练样本对网络模型训练并选取测试集对网络模型进行测试，验证提取出网络模型的有效性具体过程为：

1)损失函数

通过结合Dice Loss和交叉熵损失CrossEntropy Loss这两个loss function，可以解决二值分类中样本不平衡的情况。在实践中，为了提高模型训练的稳定性，通常会将Dice损失与CrossEntropy损失结合使用，因此总损失定义为式为：

Loss＝L_Dice+L_CrossEntropy (1)

2)评价标准

通过总体准确度和mIoU评估标准，评估不同变化检测算法的性能。

本发明实施例提供的Dice损失具体为：

在进行多分类类变化检测时，首先获得二分类变化图，再在二分类变化图的指导下获得多分类类变化图，通过Dice损失来进行评价；

其中X为地面真值，Y为网络输出的预测结果；|X|+|Y|表示矩阵元素的和。X∩Y表示X和Y之间共有的元素数，实际上是通过求两个矩阵的像素乘积的和来计算的。

本发明实施例提供的交叉熵损失具体为：

交叉熵损失主要是用来判定实际的输出与期望的输出的接近程度，损失函数结合。预测分布越接近真实分布，交叉熵损失越小，预测分布越远离真实分布，交叉熵损失越大。对一个具有N个数据集，多标签为C分类任务的交叉熵损失函数的计算方法为：

其中y为地面真值，

为网络输出。

本发明实施例提供的总体准确度具体为：

总体准确度(OA)是指正确分类的双时态像素数除以测试样本数，它通常测量分类性能，能够直接反映正确的比例，计算非常简单，可用来评价变化检测算法OA的定义为：

通过对所有的输出图片以及对应的变化标签进行统计，得到混淆矩阵M＝{Mij}，Mij表示的是被识别为第i个更改类型，实际属于第j个变化类型；N表示变更类型的总数。

本发明实施例提供的mIoU具体为：

利用mIoU来评价变化检测结果，结果给定一个混淆矩阵M，有：

其中IoU1评估未变化像素的提取效果，IoU2评估变化像素的提取效果，从而得到mIoU的定义为：

mIoU＝0.5*IoU₁+0.5*IoU₂ (7)。

如图2所示，本发明实施例提供的多尺度融合双时相遥感图像的多分类变化检测系统包括：

数据集选取模块1，用于选取公开数据集；

数据集预处理模块2，用于对数据集进行裁剪以及图像增强的预处理；

图像特征提取模块3，用于通过构构建基于ShelfNet的网络模型提取双时相图像特征；

网络模型构建模块4，用于设计构建基于多尺度双重叠加的网络模型；

网络模型测试模块5，用于选取训练样本对网络模型训练并选取测试集对网络模型进行测试。

下面结合具体实施例对本发明的技术方案作详细的描述。

本发明提出了一种多尺度特征融合的网络结构。首先将双时相的图像提取各自的高层特征，然后进行特征的融合放入多尺度融合网络对融合的特征再次提取，最后获得多分类变化检测图。

如图3和图4所示，具体的实施过程包括以下步骤：

步骤1，选取公开数据集；

遥感数据集一共有4662组，其分辨率为0.5～3m，像素为512*512。前后时相的两张图片对应一张标注图，表示发生变化的区域以及该图片变化区域内的变化类型。注意的是，数据集的注释是高度不平衡的。未改变的像素占总像素的绝大部分，而改变的类型只占很小的比例。

步骤2，对数据集的预处理；

用于对数据集进行裁剪以及图像增强的预处理。

步骤3，构建基于ShelfNet的网络模型提取双时相图像特征，如图5(a)所示；

在提取双时相图像特征阶段，采用ShelfNet作为基础网络提取特征；通过减少渠道的数量提高速度，使用1×1卷积层后接BatchNormalization和Relu层，在空间水平上将通道的数量从256，512，1024，2048转变(输出)到64，128，256，512。输出的张量就是提取的特征，在提取到的普遍特征的基础上自适应的调节参数，使得模型适合特定的数据集。

为了减小模型尺寸并更有效地提取特征，使用改进的残差块，同一块中的两个卷积层共享相同的权重，但两个Normalization层不同。共享权重设计重用卷积的权重，并具有与递归卷积神经网络(RCNN)类似的特性。在两个卷积层之间添加一个脱落层，以避免过度拟合。共享权残差块结合了跳跃连接、循环卷积和退出正则化的优点，并且比标准残差块具有更少的参数。

步骤4，设计构建基于多分类检测的网络模型；设计构建基于多分类检测的网络模型用于区分不同的变化，如图5(b)所示；

(1)将ShelfNet网络提取到的双时相特征图进行融合。

(2)将融合的特征图通过PSPNet中金字塔池化模块收集不同尺度的语境信息并融合生成的不同级别的特征图，最终被展平并拼接起来，然后输入到全连接层中进行分类，得出最后的变化检测图。

步骤5，选取训练样本对网络模型训练并选取测试集对网络模型进行测试，用于验证提取出网络模型的有效性。

(1)损失函数

通过结合Dice Loss和交叉熵损失CrossEntropyLoss这两个loss function，可以解决二值分类中样本不平衡的情况。在实践中，为了提高模型训练的稳定性，通常会将Dice损失与CrossEntropy损失结合使用，因此总损失定义为式为：

Loss＝L_Dice+L_CrossEntropy (1)

所述Dice损失具体为：

在进行的多分类类变化检测时，首先获的二分类变化图，再在二分类变化图的指导下获得多分类类变化图，通过Dice损失来进行评价；

其中X为地面真值，Y为网络输出的预测结果，|X|+|Y|表示矩阵元素的和。X∩Y表示X和Y之间共有的元素数，实际上是通过求两个矩阵的像素乘积的和来计算的。

所述交叉熵损失具体为：

交叉熵损失主要是用来判定实际的输出与期望的输出的接近程度，损失函数结合。预测分布越接近真实分布，交叉熵损失越小，预测分布越远离真实分布，交叉熵损失越大。对一个具有N个数据即，多标签为C分类任务的交叉熵损失函数的计算方法为：

其中y为地面真值，

为网络输出。

(2)评价标准

为了评估不同变化检测算法的性能，使用以下评估标准：

a、总体准确度

总体准确度(OA)是指正确分类的双时态像素数除以测试样本数，它通常测量分类性能，能够直接反映分正确的比例，计算非常简单，可用来评价变化检测算法OA的定义为：

通过对所有的输出图片以及对应的变化标签进行统计，得到混淆矩阵M＝{Mij}，Mij表示的是被识别为第i个更改类型，实际属于第j个变化类型，N表示变更类型的总数。

b、mIoU具体过程为：

利用mIoU来评价变化检测结果，结果给定一个混淆矩阵M，有：

其中IoU1评估未变化像素的提取效果，IoU2评估变化像素的提取效果，从而得到mIoU的定义为：

mIoU＝0.5*IoU₁+0.5*IoU₂ (7)

最后在数据集上的变化检测结果图如图6所示。

二、应用实施例。为了证明本发明的技术方案的创造性和技术价值，该部分是对权利要求技术方案进行具体产品上或相关技术上的应用实施例。

本发明使用软件实现，实验在系统内存为64GB，显卡GeForce RTX2080Ti显卡，显卡内存为32GB的Windows系统上进行实现。

本发明的实施方式可以通过完全硬件、完全软件、或结合软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。

本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能.

本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

三、实施例相关效果的证据。本发明实施例在研发或者使用过程中取得了一些积极效果，和现有技术相比的确具备很大的优势，下面内容结合试验过程的数据、图表等进行描述。

为了验证提出的网络结构整体的有效性，将提出的网络和PSPNet、UNet++在相同的数据集上进行对比实验，实验结果如下图7所示。如图7所示，第一列和第二列为两个时间段拍摄的遥感图像，第三列是标签图，第四列是PSPNet的结果图，第五列是UNet++的结果图，第六列是提出方法的结果图。从第三组数据可以看出PSPNet和UNet++在检测的物体的大致轮廓不够完整，除此之外，在其余数据中，所有的方法都将变化的物体的基本轮廓都检测了出来，不同在于检测的物体的形状轮廓的精确度。从第六列数据可以看出，提出的方法相比于UNet++和PSPNet来说，检测的错误点更少。综上所述，提出的方法相比于其他方法更加细致，轮廓线更加清晰并且对噪声点的抗干扰性更强。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种多尺度融合双时相遥感图像的多分类变化检测方法，其特征在于，所述多尺度融合双时相遥感图像的多分类变化检测方法包括：

首先将两张单时相的图像放入第一阶段的ShelfNet网络当中提取各自的高层语义特征，然后将提取到的特征进行融合，映射到一个新的空间；在空间内构建第二阶段的语义分割网络PSPNet，将融合特征的深层次特征提取后进行相似性判断，使得未变化像素的相关性增大，变化像素之间的相关性减小，最后判定得出多分类变化检测的结果图。

2.如权利要求1所述多尺度融合双时相遥感图像的多分类变化检测方法，其特征在于，所述多尺度融合双时相遥感图像的多分类变化检测方法具体过程为：

步骤一，选取公开数据集，并对数据集进行预处理；数据集的预处理使得训练的数据样本更加复杂，使得训练得到的网络结构有更强的健壮性和鲁棒性；

步骤二，构建基于ShelfNet的网络模型，提取双时相图像特征；

步骤三，构建基于多分类检测的网络模型和基于PSPNet的语义分割网络，进行区分不同的变化；

步骤四，选取训练样本对网络模型训练，并选取测试集对网络模型进行测试，验证提取出网络模型的有效性。

3.如权利要求2所述多尺度融合双时相遥感图像的多分类变化检测方法，其特征在于，所述步骤一中，数据集进行预处理包括裁剪和图像增强。

4.如权利要求2所述多尺度融合双时相遥感图像的多分类变化检测方法，其特征在于，所述步骤二中，提取双时相图像特征具体过程为：

在提取双时相图像特征阶段，采用ShelfNet作为基础网络提取特征；通过减少渠道的数量以提高速度，使用1×1卷积层后接BatchNormalization和Relu层，在空间水平上将通道的数量从256，512，1024，2048转变到64，128，256，512；输出的张量为提取的特征，在提取到的普遍特征的基础上自适应的调节参数，使得模型适合特定的数据集；

通过改进的残差块，减小模型尺寸并更有效地提取特征，同一块中的两个卷积层共享相同的权重，两个Normalization层不同；共享权重设计重用卷积的权重，并具有与递归卷积神经网络类似的特性；在两个卷积层之间添加一个脱落层，以避免过度拟合；共享权残差块结合跳跃连接、循环卷积和退出正则化，并且比标准残差块有更少的参数。

5.如权利要求2所述多尺度融合双时相遥感图像的多分类变化检测方法，其特征在于，所述步骤三中，构建基于多分类检测的网络模型具体过程为：

将Shelf-Net网络提取到的双时相特征图进行融合；将融合的特征图通过PSPNet中金字塔池化模块收集不同尺度的语境信息并融合生成不同级别的特征图，最终被展平并拼接起来，然后输入到全连接层中进行分类，得出最后的多分类变化检测图。

6.如权利要求2所述多尺度融合双时相遥感图像的多分类变化检测方法，其特征在于，所述步骤四中，选取训练样本对网络模型训练并选取测试集对网络模型进行测试，验证提取出网络模型的有效性具体过程为：

1)损失函数

通过结合Dice Loss和交叉熵损失CrossEntropy Loss，以解决二值分类中样本不平衡的情况；在实践中，将Dice损失与CrossEntropy损失结合使用，以提高模型训练的稳定性，总损失定义为式为：

Loss＝L_Dice+L_CrossEntropy (1)

2)评价标准

通过总体准确度和mIoU评估标准，评估不同变化检测算法的性能。

7.如权利要求6所述多尺度融合双时相遥感图像的多分类变化检测方法，其特征在于，所述Dice损失具体为：

在进行多分类类变化检测时，首先获得二分类变化图，再在二分类变化图的指导下获得多分类类变化图，通过Dice损失来进行评价；

其中X为地面真值，Y为网络输出的预测结果；|X|+|Y|表示矩阵元素的和；X∩Y表示X和Y之间共有的元素数，实际上通过求两个矩阵的像素乘积的和来计算得到。

8.如权利要求6所述多尺度融合双时相遥感图像的多分类变化检测方法，其特征在于，所述交叉熵损失具体为：

交叉熵损失判定实际的输出与期望的输出的接近程度，损失函数结合；预测分布越接近真实分布，交叉熵损失越小，预测分布越远离真实分布，交叉熵损失越大；对一个具有N个数据集，多标签为C分类任务的交叉熵损失函数的计算方法为：

其中y为地面真值，

为网络输出。

9.如权利要求6所述多尺度融合双时相遥感图像的多分类变化检测方法，其特征在于，所述总体准确度具体为：

总体准确度中正确分类的双时态像素数除以测试样本数，测量分类性能，反映分正确的比例，评价变化检测算法为：

通过对所有的输出图片以及对应的变化标签进行统计，得到混淆矩阵M＝{Mij}，Mij表示被识别为第i个更改类型，实际属于第j个变化类型；N表示变更类型的总数；

mIoU具体为：

利用mIoU评价变化检测结果，结果给定一个混淆矩阵M，有：

其中IoU1评估未变化像素的提取效果，IoU2评估变化像素的提取效果，从而得到mIoU的定义为：

mIoU＝0.5*IoU₁+0.5*IoU₂ (7)。

10.一种实施如权利要求1～9任意一项所述多尺度融合双时相遥感图像的多分类变化检测方法的多尺度融合双时相遥感图像的多分类变化检测系统，其特征在于，所述多尺度融合双时相遥感图像的多分类变化检测系统包括：

数据集选取模块，用于选取公开数据集；

数据集预处理模块，用于对数据集进行裁剪以及图像增强的预处理；

图像特征提取模块，用于通过构构建基于ShelfNet的网络模型提取双时相图像特征；

网络模型构建模块，用于设计构建基于多尺度双重叠加的网络模型；

网络模型测试模块，用于选取训练样本对网络模型训练并选取测试集对网络模型进行测试。

Images