CN115035403A - 多通道u型深度网络的高分辨率遥感影像变化检测方法 - Google Patents

多通道u型深度网络的高分辨率遥感影像变化检测方法 Download PDF

Info

Publication number
CN115035403A
CN115035403A CN202210535619.7A CN202210535619A CN115035403A CN 115035403 A CN115035403 A CN 115035403A CN 202210535619 A CN202210535619 A CN 202210535619A CN 115035403 A CN115035403 A CN 115035403A
Authority
CN
China
Prior art keywords
channel
convolution
sampling
input
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210535619.7A
Other languages
English (en)
Inventor
邵攀
杜行奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Three Gorges University CTGU
Original Assignee
China Three Gorges University CTGU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Three Gorges University CTGU filed Critical China Three Gorges University CTGU
Priority to CN202210535619.7A priority Critical patent/CN115035403A/zh
Publication of CN115035403A publication Critical patent/CN115035403A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

一种多通道U型深度网络的高分辨率遥感影像变化检测方法，包括以下步骤：对两期影像进行预处理后输入所提出模型，通过三个采用不同策略的下采样通道提取两期影像的特征，并计算通道1和2下采样过程中各个尺度特征的差异特征；将三个通道通过下采样得到的最高层特征，以及通道1和2的最高层差异特征进行级联，作为上采样输入，并在上采样过程中将三通道各尺度的特征和通道1和2的各尺度差异特征，通过短连接级联到上采样镜像特征层，求解变化概率图；基于变化概率图和真实变化图计算损失，通过反向传播训练网络模型，并通过训练好模型生成变化检测结果图。本发明能够提取两时期影像更丰富的特征，得到更优的变化检测结果。

Description

多通道U型深度网络的高分辨率遥感影像变化检测方法
技术领域
本发明属于遥感技术领域，特别涉及一种多通道U型深度网络的高分辨率遥感影像变化检测方法。
背景技术
变化检测是遥感领域的一个重要研究方向，随着深度学习技术的发展，基于深度学习的变化检测技术不断出现，其中基于U型深度网络的变化检测是一个重要分支。目前基于U型深度网络的变化检测技术主要通过单通道或双通道提取特征，表现出不俗的性能。然而，单通道或双通道网络提取的特征有待进一步丰富，以便得到更高精度变化检测结果。
发明内容
鉴于背景技术所存在的技术问题，本发明提供了一种多通道U型深度网络的高分辨率遥感影像变化检测方法，本发明能够提取两时期影像更丰富的特征，得到更优的变化检测结果。
为了解决上述技术问题，本发明采取了如下技术方案来实现：
一种多通道U型深度网络的高分辨率遥感影像变化检测方法，包括
步骤1：对两期影像进行预处理，将两期影像输入所提出模型，通过三个通道提取两期影像的特征，将第一时期影像输入通道1，第二时期影像输入通道2，两期影像级联输入通道3，三个通道采用不同的下采样操作来提取影像特征；并在下采样过程中获取通道1和通道2中得到不同尺度的差异特征；
步骤2：将通道1、通道2和通道3通过下采样得到的最高层特征，以及通道1和通道2的最高层特征的差异特征进行级联，将级联后特征作为上采样输入，开始上采样操作；在上采样过程中，将三个下采样通道中各尺度特征、以及通道1和通道2各尺度特征的差异特征，通过短连接级联到上采样镜像特征层；
步骤3：上采样结束后，通过SoftMax层求解变化概率图，并使用基于二元交叉熵和Dice的混合损失函数，基于上述变化概率图和真实变化图计算损失，通过反向传播来迭代训练网络结构中参数，直到满足迭代停止条件时停止迭代，保存迭代停止时参数用于生成变化检测图。
优选地，在步骤1中，通过三个下采样通道来提取特征，并考虑通道1和通道2的差异特征，操作步骤如下：
步骤1.1：利用通道1提取第一时期影像X1的特征，依次通过五个卷积模块对X1进行下采样处理：将五个卷积模块记作Ai，i＝1，2，3，4，5，第i个卷积模块Ai的输入和输出分别记作Ai(in)和Ai(out)；第一个卷积模块A1的输入为X1，即A1(in)＝X1，后边卷积模块Ai的输入Ai(in)为BP(Ai-1(out))，其中i＝2,3,4,5，BP()表示包含最大池化和平均池化的双池化操作；
通道1所有卷积模块具有相同的操作，每个卷积模块包括两个卷积单元，每个卷积单元包括卷积层、批量归一化层和激活层三部分。
步骤1.2：利用通道2提取第二时期影像X2的特征，通道2与通道1具有相同的操作，区别在于通道2的输入为第二时期影像X2；将通道2的五个卷积模块记作Bi，i＝1，2，3，4，5，卷积模块Bi的输入和输出分别记作Bi(in)和Bi(out)；
步骤1.3：将X1和X2进行级联操作，利用通道3提取级联后影像的特征，依次通过五个卷积模块进行下采样操作；五个卷积模块记作Ci，i＝1，2，3，4，5；卷积模块Ci的输入和输出分别记作Ci(in)和Ci(out)，第一个卷积模块C1的输入为两期影像X1和X2的级联，即
Figure BDA0003647933440000021
后边卷积模块Ci的输入Ci(in)为B(Ci-1(out))，其中i＝2,3,4,5，B()表示最大池化操作；
通道3所有卷积模块具有相同的操作，每个卷积模块包括三个卷积单元，每个卷积单元包括卷积层、批量归一化层和激活层三部分。第一个卷积单元的卷积层采用大卷积核，后两个卷积单元的卷积层采用小卷积核，三个卷积单元的批量归一化层和激活层相同。需要指出的是，通道1、通道2和通道3的卷积模块个数，卷积模块包含的卷积单元、卷积单元中采用的卷积核大小、激活函数、以及卷积模块之间的池化方式，都可以根据具体应用进行调整。
优选地，步骤1中，由于两期影像的差异特征在变化检测问题中起着重要作用，为使提取的特征更加丰富，除通过上述三个下采样通道提取特征外，本发明所提出的技术方案还考虑通道1和通道2各个尺度特征的差异特征DIi，通过下式确定：
Figure BDA0003647933440000022
其中i＝1，2，3，4，5，Ai(out)为通道1第i个卷积模块的输出，Bi(out)为通道2第i个卷积模块的输出。
优选地，步骤2中，上采样过程为：
将通道1、通道2和通道3通过下采样得到的最高层特征A5(out)、B5(out)、C5(out)，以及通道1和通道2的最高层特征的差异特征DI5进行级联，得到级联特征FC，
Figure BDA0003647933440000031
将FC作为上采样的输入，依次经过4个反卷积模块来解码影像，并逐渐还原影像尺寸至输入大小；将4个反卷积模块记作Ui，i＝1，2，3，4，第i个反卷积模块Ui的输入和输出分别记作Ui(in)和Ui(out)。
优选地，每个反卷积模块Ui(i＝1，2，3，4)包含以下三个子步骤：
Ui-1)：对输入Ui(in)进行反卷积操作，将反卷积操作记作Q，则经过反卷积操作的输出为Q(Ui(in))；反卷积操作即按照一定的比例通过补0来扩大输入特征图的尺寸，接着旋转卷积核，再进行正向卷积；
Ui-2)：将下采样通道1、通道2和通道3的第5–i个卷积模块的输出A5-i(out)、B5-i(out)和C5-i(out)，下采样通道1和通道2的差异特征DI5-i，以及步骤Ui-1)的反卷积输出Q(Ui(in))进行级联，得到级联特征FC5–i，即
Figure BDA0003647933440000032
Figure BDA0003647933440000033
Ui-3)：将上述级联特征FC5–i依次通过两个卷积单元进行处理，每个卷积单元包括卷积层、批量归一化层和激活层三个部分；此处采用的卷积单元与下采样通道1和通道2采用的卷积单元相同；
经过步骤Ui-1)至Ui-3)，得到反卷积模块Ui的输出Ui(out)。
一种用于特征提取的多通道网络结构，其特征在于：包括三个下采样通道和一个差异特征生成模块；三个下采样通道分别为通道1、通道2和通道3；三个下采样通道中各尺度特征以及通道1和通道2各尺度特征的差异特征，通过短连接级联到上采样镜像特征层；上采样通道包括4个反卷积模块来解码影像；
通道1包括五个卷积模块，记作Ai，i＝1，2，3，4，5；每个卷积模块包括两个卷积单元，每个卷积单元包括卷积层、批量归一化层和激活层三个部分，通道1所有卷积模块具有相同的操作；每两个相邻卷积模块间包含一个双池化模块；将第i个卷积模块Ai的输入和输出分别记作Ai(in)和Ai(out)；第一个卷积模块A1的输入为X1，即A1(in)＝X1，后边卷积模块Ai的输入Ai(in)为BP(Ai-1(out))，其中i＝2,3,4,5，BP()表示包含最大池化和平均池化的双池化操作；
通道2与通道1结构相同，区别在于通道2的输入为第二时期影像X2；将通道2的五个卷积模块记作Bi，i＝1，2，3，4，5；卷积模块Bi的输入和输出分别记作Bi(in)和Bi(out)；
通道3包括五个卷积模块，记作Ci，i＝1，2，3，4，5；每个卷积模块包括三个卷积单元，每个卷积单元包括卷积层、批量归一化层和激活层三个部分；第一个卷积单元的卷积层采用大卷积核，后面的两个卷积单元采用小卷积核，三个卷积单元批量归一化层和激活层相同；每两个相邻卷积模块间包含一个最大池化模块；第i个卷积模块Ci的输入和输出分别记作Ci(in)和Ci(out)；第一个卷积模块C1的输入为两期影像X1和X2的级联，即
Figure BDA0003647933440000044
后边卷积模块Ci的输入Ci(in)为B(Ci-1(out))，其中i＝2,3,4,5，B()表示最大池化操作；通道3所有卷积模块具有相同的操作。
差异特征生成模块包括五个差异特征生成单元，分别计算通道1和通道2第i个卷积模块输出特征的差异特征DIi，通过下式确定：
Figure BDA0003647933440000041
其中i＝1，2，3，4，5，Ai(out)为通道1第i个卷积模块的输出，Bi(out)为通道2第i个卷积模块的输出；
通道1、通道2和通道3通过下采样得到的最高层特征A5(out)、B5(out)、C5(out)，以及通道1和通道2的最高层特征的差异特征DI5进行级联，得到级联特征FC，
Figure BDA0003647933440000042
Figure BDA0003647933440000043
将FC作为上采样的输入，依次经过4个反卷积模块来解码影像，并逐渐还原影像尺寸至输入大小；将4个反卷积模块记作Ui，i＝1，2，3，4，第i个反卷积模块Ui的输入和输出分别记作Ui(in)和Ui(out)。
本专利可达到以下有益效果：
本发明所提出的技术方案使用多个下采样通道提取两时期影像的特征，具有更强的特征提取能力，同时能够获取更加丰富的特征信息。与此同时，所提出技术方案还考虑下采样过程中通道1和通道2各个尺度的差异特征，使得提取的特征信息更加丰富。通过以上措施，本发明能够得到更优的变化检测结果。
附图说明
下面结合附图和实施例对本发明作进一步说明：
图1是本发明实施例的网络结构图；
图2是本发明实施例采用实验数据示例影像的第一时期影像X1；
图3是本发明实施例采用实验数据示例影像的第二时期影像X2；
图4是本发明实施例采用实验数据示例影像两期影像的真实变化图；
图5是本发明对照方法(Unet++_MSOF)所得到的采用实验数据示例影像的变化检测图。
图6是本发明对照方法(DASNet)所得到采用实验数据示例影像的变化检测图。
图7是本发明对照方法(DifUnet++)所得到的采用实验数据示例影像的变化检测图。
图8是本发明所得到的采用实验数据示例影像的变化检测图。
具体实施方式
现结合附图和实施例详细说明本发明技术方案。
本实施例采用由文献“Lebedev,M.A.and Vizilter,Y.V.and Vygolov,O.V.andKnyaz,V.A.and Rubis,A.Y.“CHANGE DETECTION IN REMOTE SENSING IMAGES USINGCONDITIONAL ADVERSARIAL NETWORKS”2018ISPRS-International Archives of thePhotogrammetry,Remote Sensing and Spatial Information Sciences.”公开的变化检测数据集进行实验，验证本发明提出方法的有效性。此数据集是变化检测领域最常用的数据集之一，包含13000幅大小为256×256像素的影像，每幅影像包括两时期的遥感影像及两时期遥感影像的真实变化图，空间分辨率为0.03米至1米，其中训练集为10000幅，测试集为3000幅。
如图1所示，为本发明所提出方法的主体框架结构图。本发明中的一种多通道U型深度网络的高分辨率遥感影像变化检测方法，包括以下步骤：
步骤1：对两期高分辨率遥感影像进行配准、辐射校正等预处理操作。将预处理后影像输入所提出模型，通过三个下采样通道提取两期影像的特征，并考虑通道1和通道2的差异特征，具体的：
通道1：利用通道1提取第一时期影像X1的特征，依次通过五个卷积模块对X1进行下采样处理。将五个卷积模块记作Ai，i＝1，2，3，4，5，第i个卷积模块Ai的输入和输出分别记作Ai(in)和Ai(out)。
在通道1中，相邻卷积模块之间使用双池化操作连接。也就是说，卷积模块Ai的输出Ai(out)在输入卷积模块Ai+1之前(i＝1,2,3,4)，需经过双池化操作，本发明采用的双池化操作为步长为2的最大池化和平均池化。需要指出的是，可根据具体应用对池化步长和方式进行调整。
通道1中第一个卷积模块A1的输入为X1，即A1(in)＝X1，后边卷积模块Ai的输入Ai(in)为BP(Ai-1(out))，其中i＝2,3,4,5，BP()表示前文所述的双池化操作，即最大池化和平均池化。
通道2：利用通道2提取第二时期影像X2的特征，通道2与通道1具有相同的操作，也包括五个卷积模块，相邻卷积模块之间也通过双池化操作连接，只是通道2处理的是第二时期影像X2。将通道2的五个卷积模块记作Bi，i＝1，2，3，4，5，卷积模块Bi的输入和输出分别记作Bi(in)和Bi(out)。
通道1和通道2中每个卷积模块包括两个相同的卷积单元，每个卷积单元包括卷积层、批量归一化层和激活层三个部分。表1给出本发明实施例通道1和通道2中每个卷积模块使用卷积单元的具体参数，包括卷积核大小、卷积核个数、卷积步长和激活函数。需要指出的是，通道1和通道2采用的卷积模块数、每个卷积模块采用的卷积单元数，每个卷积单元采用的卷积核大小、卷积核个数、卷积步长和激活函数等具体参数可根据具体应用进行调整。
表1本发明实施例中通道1和通道2中每个卷积模块使用卷积单元的具体参数
Figure BDA0003647933440000061
通道3：将X1和X2进行级联，利用通道3提取级联后影像的特征，依次通过五个卷积模块进行下采样。将五个卷积模块记作Ci，i＝1，2，3，4，5，第i个卷积模块Ci的输入和输出分别记作Ci(in)和Ci(out)。
通道3采用与通道1和通道2不同的策略，在通道3中，相邻卷积模块之间通过单池化操作连接。也就是说，卷积模块Ci的输出Ci(out)在输入卷积模块Ci+1之前(i＝1,2,3,4)，经过的是单池化操作，而不是双池化。本发明实施例中通道3采用的是步长为2的最大池化操作。需要指出的是，可根据具体应用对池化步长和方式进行调整。
通道3中第一个卷积模块C1的输入为两期影像X1和X2的级联，即
Figure BDA0003647933440000071
Figure BDA0003647933440000072
后边卷积模块Ci的输入Ci(in)为P(Ci-1(out))，其中i＝2,3,4,5，B()表示最大池化操作。
为提取更丰富的信息，通道3与通道1和通道2采用不同的卷积模块。通道3中所有卷积模块具有相同的操作，每个卷积模块包括三个卷积单元，每个卷积单元包括卷积层、批量归一化层和激活层三个部分。第一个卷积单元的卷积层采用大卷积核，后两个卷积单元的卷积层采用小卷积核，三个卷积单元的批量归一化层和激活层相同。
表2给出本发明实施例通道3中每个卷积模块使用卷积单元的具体参数，包括卷积核大小、卷积核个数、卷积步长和激活函数。需要指出的是，通道3采用的卷积模块数、每个卷积模块采用的卷积单元数，每个卷积单元采用的卷积核大小、卷积核个数、卷积步长和激活函数等具体参数可根据具体应用进行调整。
表2本发明实施例中通道3中每个卷积模块使用卷积单元的具体参数
Figure BDA0003647933440000073
差异特征生成：两期影像的差异特征在变化检测问题中起着重要作用，为使提取的特征更加丰富，除通过上述三个通道提取特征外，本发明所提出的技术方案还考虑通道1和通道2各个尺度特征的差异特征DIi，通过下式确定：
Figure BDA0003647933440000074
其中i＝1，2，3，4，5，Ai(out)为通道1第i个卷积模块的输出，Bi(out)为通道2第i个卷积模块的输出。
上式将差异特征划分为三部分，相当于一个预分类过程，将差异值大于等于0.9的部分直接设置为1，也就是将该部分直接划分为变化类；将差异值小于等于0.1的部分直接设置为0，也就是将该部分直接划分为未变化类；其他部分值保持不变。这种划分能够充分利用差异特征的如下性质：两期影像差异越大，发生变化的可能性就越大。
步骤2：将通道1、通道2和通道3通过下采样得到的最高层特征，以及通道1和通道2的最高层特征的差异特征进行级联，将级联后特征作为上采样输入，开始上采样操作；在上采样过程中，将三个下采样通道中各尺度特征以及通道1和通道2各尺度特征的差异特征，通过短连接级联到上采样镜像特征层。具体的：
首先，将通道1、通道2和通道3通过下采样得到的最高层特征A5(out)、B5(out)、C5(out)，以及通道1和通道2的最高层特征的差异特征DI5进行级联，得到级联特征FC，
Figure BDA0003647933440000081
其次，将FC作为上采样的输入，依次经过4个反卷积模块来解码影像，并逐渐还原影像尺寸至输入大小。将4个反卷积模块记作Ui，i＝1，2，3，4，第i个反卷积模块Ui的输入和输出分别记作Ui(in)和Ui(out)。需要指出的是，两个反卷积模块直接连接，不需经过其他操作。也就是说，当i＝1，2，3时，反卷积模块Ui的输出Ui(out)为反卷积模块Ui+1的输入Ui+1(in)，即Ui(out)＝Ui+1(in)。第一个反卷积模块的输入为所述FC，即U1(in)＝FC。
每个反卷积模块Ui(i＝1，2，3，4)包含以下三个子步骤：
Ui-1)：对输入Ui(in)进行反卷积操作，将反卷积操作记作Q，则经过反卷积操作的输出为Q(Ui(in))；反卷积操作即按照一定的比例通过补0来扩大输入特征图的尺寸，接着旋转卷积核，再进行正向卷积。反卷积具体细节可参见文献“Matthew D.Zeiler,and DilipKrishnan and Graham W.Taylor and Rob Fergus Dept,“DECONVOLUTIONAL NETWORKS”2010IEEE Computer Society Conference on Computer Vision and PatternRecognition.”。
Ui-2)：将下采样通道1、通道2和通道3的第5–i个卷积模块的输出A5-i(out)、B5-i(out)和C5-i(out)，下采样通道1和通道2的差异特征DI5-i，以及步骤Ui-1)的反卷积输出Q(Ui(in))进行级联，得到级联特征FC5–i，即
Figure BDA0003647933440000082
Figure BDA0003647933440000083
Ui-3)：将上述级联特征FC5–i依次通过两个卷积单元进行处理，每个卷积单元包括卷积层、批量归一化层和激活层三个部分。此处采用的卷积单元与下采样通道1和通道2采用的卷积单元相同。
经过步骤Ui-1)至Ui-3)，可得到反卷积模块Ui的输出Ui(out)。上采样结束后，得到上采样输出U4(out)，U4(out)的尺寸已恢复到与输入影像相同的尺寸。
步骤3：上采样结束后，通过SoftMax层求解变化概率图，并使用基于二元交叉熵和Dice系数的混合损失函数，基于上述变化概率图和真实变化图计算损失，通过反向传播来迭代训练网络结构中参数，直到满足迭代停止条件时停止迭代，保存迭代停止时参数用于生成变化检测图。
具体的，首先对U4(out)进行一次卷积操作：卷积核个数为2，卷积核的大小为2×2，步长为2；接着通过SoftMax层求解变化概率图。然后用基于二元交叉熵和Dice的混合损失函数L，基于上述变化概率图和真实变化图计算损失，最后通过反向传播来迭代训练网络结构中参数，学习率设置未10-5,使用Adam优化函数迭代训练，直到满足迭代停止条件时停止迭代，保存迭代停止时参数用于生成变化检测图。损失函数L通过下式确定：
L＝Lbce+λLdice
其中Lbce表示加权二元交叉熵损失函数，Ldice表示dice损失函数，λ表示平衡两个损失函数的系数。在本发明实施例中，令λ＝0.5。
Figure BDA0003647933440000091
其中β表示真实变化图中未变化类像素所占比重，Y+和Y-分别表示真实变化图中变化类像素和未变化类像素构成的集合，Pr(.)是像素j经过Sigmoid层后的输出类别概率，yj表示像素j的类别标签，yj＝1表示像素j属于变化类，yj＝0表示像素j属于未变化类。
Figure BDA0003647933440000092
其中Y和
Figure BDA0003647933440000093
分别表示模型预测的变化检测图和两期影像的真实变化图。
本发明提出一种多通道U型深度网络的高分辨率遥感影像变化检测技术，通过多个下采样通道提取两时期影像的特征，具有更强的特征提取能力，能够获取更丰富的信息。与此同时，所提出技术方案还考虑下采样过程中通道1和通道2各个尺度的差异特征，使得提取信息更加丰富。将差异特征划分为三个部分，这种划分能够充分利用差异特征的性质：两期影像差异越大，发生变化的可能性就越大。通过以上措施，本发明能够得到更优的变化检测结果。
为验证本发明的变化检测效果，本发明与3种先进水平的深度学习变化检测技术进行对比。3种对比技术分别为：多输出融合改进U型网络(Unet++_MSOF)，双注意力神经网络(DASNet)、基于差异特征的改进U型网络(DifUNet++)。采用3种应用广泛的定量指标来评估不同变化检测技术的性能，即精确率、召回率和F1值。图5-8给出Unet++_MSOF、DASNet、DifUNet++和本发明实施例得到的，采用实验数据示例影像的变化检测图。表3给出了不同变化检测技术的定量评价指标。
表3变化检测图的统计指标
Figure BDA0003647933440000101
从图5-8可知，与3种现有先进水平的深度学习变化检测技术相比，本发明得到了更优的变化检测图，本发明的变化检测图最接近真实变化图。从表3可知，本发明的三种定量评价指标均达到最优值，比如本发明的F1值为0.9736，比其他方法至少提高3.99％。
上述的实施例仅为本发明的优选技术方案，而不应视为对于本发明的限制，本发明的保护范围应以权利要求记载的技术方案，包括权利要求记载的技术方案中技术特征的等同替换方案为保护范围。即在此范围内的等同替换改进，也在本发明的保护范围之内。

Claims (6)

1.一种多通道U型深度网络的高分辨率遥感影像变化检测方法，其特征在于包括以下步骤：
步骤1：对两期影像进行预处理，将两期影像输入所提出模型，通过三个通道提取两期影像的特征，将第一时期影像输入通道1，第二时期影像输入通道2，两期影像级联输入通道3，三个通道采用不同的下采样操作来提取影像特征；并在下采样过程中获取通道1和通道2中得到不同尺度的差异特征；
步骤2：将通道1、通道2和通道3通过下采样得到的最高层特征，以及通道1和通道2的最高层特征的差异特征进行级联，将级联后特征作为上采样的输入，开始上采样操作；在上采样过程中，将三个下采样通道中各尺度特征、以及通道1和通道2各尺度特征的差异特征，通过短连接级联到上采样镜像特征层；
步骤3：上采样结束后，通过SoftMax层求解变化概率图，并使用基于二元交叉熵和Dice的混合损失函数，基于上述变化概率图和真实变化图计算损失，通过反向传播来迭代训练网络结构中参数，直到满足迭代停止条件时停止迭代，保存迭代停止时参数用于生成变化检测结果图。
2.根据权利要求1所述的多通道U型深度网络的高分辨率遥感影像变化检测方法，其特征在于：在步骤1中，通过三个下采样通道来提取特征，并考虑通道1和通道2的差异特征，操作步骤如下：
步骤1.1：利用通道1提取第一时期影像X1的特征，依次通过五个卷积模块对X1进行下采样处理：将五个卷积模块记作Ai，i＝1，2，3，4，5，第i个卷积模块Ai的输入和输出分别记作Ai(in)和Ai(out)；第一个卷积模块A1的输入为X1，即A1(in)＝X1，后边卷积模块Ai的输入Ai(in)为BP(Ai-1(out))，其中i＝2,3,4,5，BP()表示包含最大池化和平均池化的双池化操作；
步骤1.2：利用通道2提取第二时期影像X2的特征，通道2与通道1具有相同的操作，区别在于通道2的输入为第二时期影像X2；将通道2的五个卷积模块记作Bi，i＝1，2，3，4，5，卷积模块Bi的输入和输出分别记作Bi(in)和Bi(out)；
步骤1.3：将X1和X2进行级联操作，利用通道3提取级联后影像的特征，依次通过五个卷积模块进行下采样操作；五个卷积模块记作Ci，i＝1，2，3，4，5；卷积模块Ci的输入和输出分别记作Ci(in)和Ci(out)，第一个卷积模块C1的输入为两期影像X1和X2的级联，即
Figure FDA0003647933430000021
后边卷积模块Ci的输入Ci(in)为B(Ci-1(out))，其中i＝2,3,4,5，B()表示最大池化操作。
3.根据权利要求1所述的多通道U型深度网络的高分辨率遥感影像变化检测方法，其特征在于：步骤1中，由于两期影像的差异特征在变化检测问题中起着重要作用，为使提取的特征更加丰富，考虑通道1和通道2各个尺度特征的差异特征DIi，通过下式确定：
Figure FDA0003647933430000022
其中i＝1，2，3，4，5，Ai(out)为通道1第i个卷积模块的输出，Bi(out)为通道2第i个卷积模块的输出。
4.根据权利要求1所述的多通道U型深度网络的高分辨率遥感影像变化检测方法，其特征在于：步骤2中，上采样过程为：
将通道1、通道2和通道3通过下采样得到的最高层特征A5(out)、B5(out)、C5(out)，以及通道1和通道2的最高层特征的差异特征DI5进行级联，得到级联特征FC，
Figure FDA0003647933430000023
将FC作为上采样的输入，依次经过4个反卷积模块来解码影像，并逐渐还原影像尺寸至输入大小；将4个反卷积模块记作Ui，i＝1，2，3，4，第i个反卷积模块Ui的输入和输出分别记作Ui(in)和Ui(out)。
5.根据权利要求4所述的多通道U型深度网络的高分辨率遥感影像变化检测方法，其特征在于：每个反卷积模块Ui(i＝1，2，3，4)包含以下三个子步骤：
Ui-1)：对输入Ui(in)进行反卷积操作，将反卷积操作记作Q，则经过反卷积操作的输出为Q(Ui(in))；反卷积操作即按照一定的比例通过补0来扩大输入特征图的尺寸，接着旋转卷积核，再进行正向卷积；
Ui-2)：将下采样通道1、通道2和通道3的第5–i个卷积模块的输出A5-i(out)、B5-i(out)和C5-i(out)，下采样通道1和通道2的差异特征DI5-i，以及步骤Ui-1)的反卷积输出Q(Ui(in))进行级联，得到级联特征FC5–i，即
Figure FDA0003647933430000024
Figure FDA0003647933430000025
Ui-3)：将上述级联特征FC5–i依次通过两个卷积单元进行处理，每个卷积单元包括卷积层、批量归一化层和激活层三个部分；此处采用的卷积单元与下采样通道1和通道2采用的卷积单元相同；
经过步骤Ui-1)至Ui-3)，得到反卷积模块Ui的输出Ui(out)。
6.一种用于特征提取的多通道网络结构，其特征在于：包括三个下采样通道和一个差异特征生成模块；三个下采样通道分别为通道1、通道2和通道3；三个下采样通道中各尺度特征以及通道1和通道2各尺度特征的差异特征，通过短连接级联到上采样镜像特征层；上采样通道包括4个反卷积模块来解码影像；
通道1包括五个卷积模块，记作Ai，i＝1，2，3，4，5；每个卷积模块包括两个卷积单元，每个卷积单元包括卷积层、批量归一化层和激活层三个部分，通道1所有卷积模块具有相同的操作；每两个相邻卷积模块间包含一个双池化模块；将第i个卷积模块Ai的输入和输出分别记作Ai(in)和Ai(out)；第一个卷积模块A1的输入为X1，即A1(in)＝X1，后边卷积模块Ai的输入Ai(in)为BP(Ai-1(out))，其中i＝2,3,4,5，BP()表示包含最大池化和平均池化的双池化操作；
通道2与通道1结构相同，区别在于通道2的输入为第二时期影像X2；将通道2的五个卷积模块记作Bi，i＝1，2，3，4，5；卷积模块Bi的输入和输出分别记作Bi(in)和Bi(out)；
通道3包括五个卷积模块，记作Ci，i＝1，2，3，4，5；每个卷积模块包括三个卷积单元，每个卷积单元包括卷积层、批量归一化层和激活层三个部分；第一个卷积单元的卷积层采用大卷积核，后面的两个卷积单元采用小卷积核，三个卷积单元批量归一化层和激活层相同；每两个相邻卷积模块间包含一个最大池化模块；第i个卷积模块Ci的输入和输出分别记作Ci(in)和Ci(out)；第一个卷积模块C1的输入为两期影像X1和X2的级联，即
Figure FDA0003647933430000031
后边卷积模块Ci的输入Ci(in)为B(Ci-1(out))，其中i＝2,3,4,5，B()表示最大池化操作；通道3所有卷积模块具有相同的操作。
差异特征生成模块包括五个差异特征生成单元，分别计算通道1和通道2第i个卷积模块输出特征的差异特征DIi，通过下式确定：
Figure FDA0003647933430000032
其中i＝1，2，3，4，5，Ai(out)为通道1第i个卷积模块的输出，Bi(out)为通道2第i个卷积模块的输出；
通道1、通道2和通道3通过下采样得到的最高层特征A5(out)、B5(out)、C5(out)，以及通道1和通道2的最高层特征的差异特征DI5进行级联，得到级联特征FC，
Figure FDA0003647933430000041
Figure FDA0003647933430000042
将FC作为上采样的输入，依次经过4个反卷积模块来解码影像，并逐渐还原影像尺寸至输入大小；将4个反卷积模块记作Ui，i＝1，2，3，4，第i个反卷积模块Ui的输入和输出分别记作Ui(in)和Ui(out)。
CN202210535619.7A 2022-05-17 2022-05-17 多通道u型深度网络的高分辨率遥感影像变化检测方法 Pending CN115035403A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210535619.7A CN115035403A (zh) 2022-05-17 2022-05-17 多通道u型深度网络的高分辨率遥感影像变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210535619.7A CN115035403A (zh) 2022-05-17 2022-05-17 多通道u型深度网络的高分辨率遥感影像变化检测方法

Publications (1)

Publication Number Publication Date
CN115035403A true CN115035403A (zh) 2022-09-09

Family

ID=83120989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210535619.7A Pending CN115035403A (zh) 2022-05-17 2022-05-17 多通道u型深度网络的高分辨率遥感影像变化检测方法

Country Status (1)

Country Link
CN (1) CN115035403A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111382834A (zh) * 2018-12-29 2020-07-07 杭州海康威视数字技术股份有限公司 一种置信度比较方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111382834A (zh) * 2018-12-29 2020-07-07 杭州海康威视数字技术股份有限公司 一种置信度比较方法及装置

Similar Documents

Publication Publication Date Title
CN109255755B (zh) 基于多列卷积神经网络的图像超分辨率重建方法
CN111243579B (zh) 一种时域单通道多说话人语音识别方法与系统
CN112819910B (zh) 基于双鬼注意力机制网络的高光谱图像重建方法
CN113159051A (zh) 一种基于边缘解耦的遥感图像轻量化语义分割方法
CN111144329A (zh) 一种基于多标签的轻量快速人群计数方法
CN111709882B (zh) 基于亚像素卷积与特征分割的超分辨率融合的计算方法
CN113240683B (zh) 基于注意力机制的轻量化语义分割模型构建方法
CN112149720A (zh) 一种细粒度车辆类型识别方法
CN112131959A (zh) 一种基于多尺度特征强化的2d人体姿态估计方法
CN111161146A (zh) 一种由粗糙到精细的单张图像超分辨率重建方法
CN109785279B (zh) 一种基于深度学习的图像融合重建方法
CN111986092B (zh) 一种基于双重网络的图像超分辨率重建方法及系统
Qin et al. Lightweight hierarchical residual feature fusion network for single-image super-resolution
CN110866938A (zh) 一种全自动视频运动目标分割方法
CN115035403A (zh) 多通道u型深度网络的高分辨率遥感影像变化检测方法
CN113763251A (zh) 一种图像超分辨率放大模型及其方法
CN116188509A (zh) 一种高效率三维图像分割方法
CN110599495B (zh) 一种基于语义信息挖掘的图像分割方法
CN113409190B (zh) 一种基于多帧分组与反馈网络的视频超分辨率方法
CN115995002B (zh) 一种网络构建方法及城市场景实时语义分割方法
CN117351363A (zh) 基于Transformer的遥感影像建筑物提取方法
CN110458849B (zh) 一种基于特征修正的图像分割方法
CN115171052B (zh) 基于高分辨率上下文网络的拥挤人群姿态估计方法
CN116091763A (zh) 苹果叶部病害图像语义分割系统及分割方法、设备和介质
CN110569790B (zh) 基于纹理增强卷积网络的居民区要素提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination