CN112991257A - 基于半监督孪生网络的异质遥感图像变化快速检测方法 - Google Patents

基于半监督孪生网络的异质遥感图像变化快速检测方法 Download PDF

Info

Publication number
CN112991257A
CN112991257A CN202011496434.7A CN202011496434A CN112991257A CN 112991257 A CN112991257 A CN 112991257A CN 202011496434 A CN202011496434 A CN 202011496434A CN 112991257 A CN112991257 A CN 112991257A
Authority
CN
China
Prior art keywords
remote sensing
supervised
semi
heterogeneous remote
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011496434.7A
Other languages
English (en)
Other versions
CN112991257B (zh
Inventor
李刚
刘瑜
蒋骁
何友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Naval Aeronautical University
Original Assignee
Tsinghua University
Naval Aeronautical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Naval Aeronautical University filed Critical Tsinghua University
Priority to CN202011496434.7A priority Critical patent/CN112991257B/zh
Publication of CN112991257A publication Critical patent/CN112991257A/zh
Application granted granted Critical
Publication of CN112991257B publication Critical patent/CN112991257B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于半监督孪生网络的异质遥感图像变化快速检测方法，包括如下步骤：获取变化前后的两幅异质遥感图像并进行配准；以在ImageNet中预训练的两个相同结构的VGG子网络为基础构造半监督孪生神经网络；在两幅异质遥感图像的相同位置，分别提取少量以图像小块为单位的非变化区域，作为训练样本；构造损失函数，通过最小化损失函数，训练半监督孪生神经网络中的高层级特征以适应两幅异质遥感图像，获得两幅异质遥感图像的同质特征；以两幅异质遥感图像作为半监督孪生神经网络输入，提取变化差异图；利用Otsu算法对变化差异图二值化，得到最终的变化检测图。本发明能够准确检测异质遥感图像变化区且检测效率高。

Description

基于半监督孪生网络的异质遥感图像变化快速检测方法
技术领域
本发明涉及遥感图像融合目标检测技术领域，尤其是涉及一种基于半监督孪生网络的异质遥感图像变化快速检测方法。
背景技术
异质遥感图像的场景特指变化前后的遥感图像互为异质。异质遥感图像变化检测常应用于灾害监测、军事侦查等要求准确性和时效性的领域。因此，在异质遥感图像中快速和准确地检测变化区域是极具研究价值的问题。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明的一个目的在于提出一种基于半监督孪生网络的异质遥感图像变化快速检测方法，能够准确检测异质遥感图像变化区且检测效率高。
根据本发明实施例的基于半监督孪生网络的异质遥感图像变化快速检测方法，其特征在于，包括如下步骤：
获取变化前后的两幅异质遥感图像并进行配准；
以在ImageNet中预训练的两个相同结构的VGG子网络为基础构造所述半监督孪生神经网络，其中，两个所述VGG子网络在ImageNet中预训练后能够捕捉自然图像的低层级特征；
在两幅所述异质遥感图像的相同位置，分别提取少量以图像小块为单位的非变化区域，作为训练样本；
构造损失函数，通过最小化所述损失函数，训练所述半监督孪生神经网络中的高层级特征以适应两幅所述异质遥感图像，获得两幅所述异质遥感图像的同质特征；
以两幅所述异质遥感图像作为所述半监督孪生神经网络输入，提取变化差异图；
利用Otsu算法对所述变化差异图二值化，得到最终的变化检测图。
根据本发明实施例的基于半监督孪生网络的异质遥感图像变化快速检测方法，通过两个相同结构的VGG子网络预先在ImageNet数据集中进行训练，两个所述VGG子网络在ImageNet中预训练后能够捕捉自然图像的低层级特征，以这两个在ImageNet中预训练的VGG 子网络为基础构建半监督孪生神经网络，通过在两幅所述异质遥感图像的相同位置，分别提取少量以图像小块为单位的非变化区域，作为训练样本，并通过最小化损失函数和调节VGG 子网络中高层级特征训练所需的网络权重，来训练所述半监督孪生神经网络中的高层级特征，以适应两幅所述异质遥感图像；再以两幅所述异质遥感图像作为所述半监督孪生神经网络输入，提取变化差异图，利用Otsu算法对所述变化差异图二值化，得到最终的变化检测图，可以准确地反应异质遥感图像变化区域。此外，由于半监督孪生神经网络是由两个在 ImageNet中预训练的VGG子网络为基础构建的，这样，可以避免对半监督孪生网络中的低层级特征的网络参数的重复训练；由于高层级特征所需训练的网络权重，占VGG子网络整体权值的比例较小，这样，对高层级特征的训练能够节约大量运算，提高网络训练的效率；由此，本发明实施例的基于半监督孪生网络的异质遥感图像变化快速检测方法极大地缩短了检测的时间，提升了变化检测的效率。
根据本发明的一个实施例，所述VGG子网络具有多尺度多层次结构，以能够保证所述高层特征和所述低层级特征的分离。
根据本发明进一步的实施例，所述VGG网络具有如下三个特征：一是无全连接层，但具有图像局部信息的卷积层和池化层，用于提取具有局部信息的特征；二是两个所述VGG子网络的权值已预训练于ImageNet中，在ImageNet训练之后，两个所述VGG网络能够捕捉自然图像的低层级特征；三是将卷积层3-4、卷积层4-4和卷积层5-4作为同质变换特征输出的单元。
根据本发明再进一步的实施例，对所述卷积层3-4、所述卷积层4-4和所述卷积层5-4输出的所述同质变换特征进行批标准化处理。
根据本发明再进一步的实施例，将两个所述VGG子网络的所述卷积层3-4、所述卷积层4-4和所述卷积层5-4的权值设置为可调节。
根据本发明再进一步的实施例，所述损失函数为如下公式(1)：
Figure RE-GDA0003043468570000021
其中，
Figure RE-GDA0003043468570000022
表示BNn,m在第k个通道中(i,j)位置的输；Wm、Hm和Cm分别是BNn,m的宽度、高度和通道数。
根据本发明再进一步的实施例，所述变化差异图通过如下公式(2)和公式(3)得到，其中，所述公式(2)和所述公式(3)分别为
Figure RE-GDA0003043468570000031
其中，所述公式(2)中的m∈{3,4,5}；
Id＝D3+G(D4)+G(D5) (3)
其中，公式(3)中的Id为变化差异图，G(·)是双线性插值函数。
根据本发明再进一步的实施例，采用公式(4)进行二值化，所述公式(4)如下：
Ib＝Otsu(Id) (4)
其中，所述公式(4)中的Otsu(·)是Otsu二值化函数。
根据本发明的一个实施例，在发生变化的区域，利用天空基手段获取变化前后的两幅所述遥感异质图像。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明所提出的半监督孪生神经网络的结构细节示意图。
图2是半监督孪生神经网络训练样本的提取示意图。
图3是本发明提出的变化检测方法的工作流程图。
图4(a)～图4(c)是具体实施的实验所用的异质遥感图像数据，其中：图4(a)变化前图像；图4(b)变化后图像；图4(c)真值图像。
图5(a)～图5(d)是本发明具体实施的实验所得到的图像变化检测结果比较与相应的真值图像，其中：图5(a)变化检测方法SCCN；图5(b)变化检测方法HPT；图5(c)变化检测方法DHFF；图5(d)本发明的检测方法。
图6是本发明具体实施的实验中各个方法的结果的量化比较。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
本发明提出了一种新型的半监督孪生神经网络(Semi-Supervised SiameseNetwork, S3N)和相应的迁移学习策略提取图像的变化特征。半监督孪生神经网络的不同层分离了异质图像的高层级和低层级特征。通过在半监督孪生神经网络中嵌入预训练的卷积神经网络(Convolutional Neural Network,CNN)，本发明提出的迁移学习策略仅微调了少量的图像高层级特征，避免了大量的低层级特征的重复学习，提升了变化检测的效率。同时，由于预训练的CNN具有良好的低层级特征的表征能力，变化检测的准确率也能够得到保证。最终，本发明利用半监督孪生神经网络得到图像的变化特征差异图，并使用经典的Otsu算法进行二值化得到最终的变化检测结果。
下面结合图1至图6来描述本发明实施例的基于半监督孪生网络的异质遥感图像变化快速检测方法。
如图1至图3所示，根据本发明实施例的基于半监督孪生网络的异质遥感图像变化快速检测方法，包括如下步骤：
获取变化前后的两幅异质遥感图像并进行配准；
以在ImageNet中预训练的两个相同结构的VGG子网络为基础构造所述半监督孪生神经网络，其中，两个所述VGG子网络在ImageNet中预训练后能够捕捉自然图像的低层级特征；
在两幅所述异质遥感图像的相同位置，分别提取少量以图像小块为单位的非变化区域，作为训练样本；
构造损失函数，通过最小化所述损失函数，训练所述半监督孪生神经网络中的高层级特征以适应两幅所述异质遥感图像；
以两幅所述异质遥感图像作为所述半监督孪生神经网络输入，提取变化差异图；
利用Otsu算法对所述变化差异图二值化，得到最终的变化检测图。
具体地说，获取变化前后的两幅异质遥感图像，其中，变化前的一幅图像记为I1，变化后的一幅图像记为I2，并将这两幅图像进行配准。
以在ImageNet中预训练的两个相同结构的VGG子网络为基础构造所述半监督孪生神经网络，其中，两个所述VGG子网络在ImageNet中预训练后能够捕捉自然图像的低层级特征。可以理解的是，ImageNet是一个超过1400万幅自然图像的数据集，在ImageNet数据集训练之后，两个相同结构的VGG子网络能够捕捉自然图像的低层级特征；由于遥感图像和自然图像具有相同的低层级特征，因此，在半监督孪生网络中嵌入的这两个VGG子网络能够准确地描述异质遥感图像的低层级特征，从而避免对半监督孪生网络中的低层级特征的网络参数的重复训练。
在两幅所述异质遥感图像的相同位置，分别提取少量以图像小块为单位的非变化区域，作为训练样本，能够减少大部分用于高层级特征训练的运算量，提升了变化检测的效率。
构造损失函数，通过最小化所述损失函数，训练所述半监督孪生神经网络中的高层级特征以适应两幅所述异质遥感图像。可以理解的是，一方面，构造的损失函数描述了两幅异质遥感图像的相同位置的内容特征的差异，因此，通过选择两幅异质遥感图像I1和I2少量的不变区域作为训练样本，如图2所示。在这些不变的区域，图像的内容特征是一致的，因此，通过最小化损失函数和调节VGG子网络中高层级特征训练的网络权重，可以使得异质遥感图像高层级的内容特征得到合理表达，这意味着，非变化区域的内容特征接近，而变化区域的内容特征远离，这样，通过两个VGG子网络输出的差异，可以检测发生变化的区域；另一方面，由于高层级特征在自然图像和遥感图像之间存在较大的差异，因此，VGG子网络在ImageNet预训练的权重并不能在异质遥感图像的同质特征提取中使用；由于高层级特征所需训练的网络权重，占VGG子网络整体权值的比例较小，因而，对高层级特征的训练能够节约大量运算，提高网络训练的效率。
以两幅所述异质遥感图像作为所述半监督孪生神经网络输入，提取变化差异图。可以理解的是，在训练得到异质图像的同质特征后，使用两幅异质遥感图像分别作为半监督孪生神经网络中两个VGG子网络的输入，可以得到反应变化程度的变化差异图。
利用Otsu算法对所述变化差异图二值化，得到最终的变化检测图，最终的变化检测图可以准确地反应异质遥感图像变化区域。
根据本发明实施例的基于半监督孪生网络的异质遥感图像变化快速检测方法，通过两个相同结构的VGG子网络预先在ImageNet数据集中进行训练，两个所述VGG子网络在ImageNet中预训练后能够捕捉自然图像的低层级特征，以这两个在ImageNet中预训练的VGG 子网络为基础构建半监督孪生神经网络，通过在两幅所述异质遥感图像的相同位置，分别提取少量以图像小块为单位的非变化区域，作为训练样本，并通过最小化损失函数和调节VGG 子网络中高层级特征训练所需的网络权重，来训练所述半监督孪生神经网络中的高层级特征，以适应两幅所述异质遥感图像；再以两幅所述异质遥感图像作为所述半监督孪生神经网络输入，提取变化差异图，利用Otsu算法对所述变化差异图二值化，得到最终的变化检测图，可以准确地反应异质遥感图像变化区域。此外，由于半监督孪生神经网络是由两个在 ImageNet中预训练的VGG子网络为基础构建的，这样，可以避免对半监督孪生网络中的低层级特征的网络参数的重复训练；由于高层级特征所需训练的网络权重，占VGG子网络整体权值的比例较小，这样，对高层级特征的训练能够节约大量运算，提高网络训练的效率；由此，本发明实施例的基于半监督孪生网络的异质遥感图像变化快速检测方法极大地缩短了检测的时间，提升了变化检测的效率。
根据本发明的一个实施例，所述VGG子网络具有多尺度多层次结构，以能够保证所述高层特征和所述低层级特征的分离。可以理解的是，如图1所示，VGG子网络具有多尺度多层次的结构，也即络具有足够的深度，能够保证高层级和低层级特征的分离，便于后续迁移学习策略实施。
根据本发明进一步的实施例，所述VGG网络具有如下三个特征：一是无全连接层，但具有图像局部信息的卷积层和池化层，用于提取具有局部信息的特征；二是两个所述VGG子网络的权值已预训练于ImageNet中，在ImageNet训练之后，两个所述VGG网络能够捕捉自然图像的低层级特征；三是将卷积层3-4、卷积层4-4和卷积层5-4作为同质变换特征输出的单元。
具体地，本发明的半监督孪生神经网络的两个VGG子网络和现有的VGG网络不同，具有如下三个特征：
一、无全连接层。和VGG网络面向图像识别的任务不同，变化检测需要图像的局部信息。因此，作为丢弃图像局部信息的全连接层，并不具有实施变化检测的能力。因此，丢弃全连接层，保留具有图像局部信息的卷积层和池化层，用于提取具有局部信息的特征。
二、两个VGG子网络的权值已预训练于ImageNet。ImageNet是一个超过1400万幅自然图像的数据集。在ImageNet数据集训练之后，两个VGG子网络能够捕捉自然图像的低层级特征。由于遥感图像和自然图像具有相同的低层级特征，在S3N中嵌入的这两个VGG子网络能够准确地描述异质遥感图像的低层级特征，从而避免对S3N中低层级特征的网络参数的重复训练。
三、卷积层3-4、卷积层4-4和卷积层5-4作为同质变换特征输出。在前后变化的两幅异质遥感图像之间，检测的对象是图像内容的变化，而非纹理或像素值的变化。图像的内容是抽象特征，由VGG网络的深层神经元表示。因此，选择卷积层3-4、卷积层4-4和卷积层5-4，作为同质变换特征输出。没有选择卷积层1-2和卷积层2-2，这是因为的尺度卷积层1-2和卷积层2-2太小，不足以描述抽象的图像内容特征。
根据本发明再进一步的实施例，对所述卷积层3-4、所述卷积层4-4和所述卷积层5-4输出的所述同质变换特征进行批标准化处理。
具体地，利用批标准化(Batch Normalization,BN)生成异质遥感图像的同质特征差异，如图1所示。在VGG网络的不同尺度和不同层级中，网络权重的分布有较大差别。这导致了不同层级和不尺度的网络层有不同分布的输出，因而会产生如下两个问题：
一、不同卷积层输出值的分布有巨大差异，导致不同尺度的同质变换特征的能量变化极大。我们希望同质变换特征，即卷积层3-4、卷积层4-4和卷积层5-4，能够均衡地反映不同尺度的变化。然而，在实验中，卷积层3-4的输出值能量往往是卷积层4-4和5-4的数十倍。因此，卷积层3-4所反映的变化特征将淹没卷积层4-4和5-4反映的变化特征。这样导致变换信息损失，降低检测准确率。
二、训练过程中，损失函数的收敛困难，因而检测效率降低。损失函数含有不同分布的同质特征，在训练过程的后向误差传播中，容易造成内部协变量漂移(InternalCovariate Shift,ICS)。这将降低网络的收敛速度，影响检测效率。
因此，对卷积层3-4、4-4和5-4(同质变换特征)的输出进行BN操作。如图1所示，在差异计算部分，对于输出的同质变换特征，进行BN处理，输出BNn,m，其中n表示处理后的特征属于异质遥感图像In,n＝1,2，m＝3,4,5表示所属的尺度。通过BN的线性变换对卷积层3-4、4-4和5-4的输出进行平移和放缩，使得它们基本能够分布于同一范围。这样，卷积层3-4、4-4和5-4所输出的特征能够在损失函数中均衡分布，反映各个尺度的图像内容变化，提升变化检测的准确率。同时，ICS也可以避免，网络的收敛加速，检测效率提升。
根据本发明再进一步的实施例，将两个所述VGG子网络的所述卷积层3-4、所述卷积层4-4和所述卷积层5-4的权值设置为可调节；所述损失函数为如下公式(1)：
Figure RE-GDA0003043468570000071
其中，
Figure RE-GDA0003043468570000072
表示BNn,m在第k个通道中(i,j)位置的输；Wm、Hm和Cm分别是BNn,m的宽度、高度和通道数。
具体地，为高效训练半监督孪生神经网络，制定了新的迁移学习策略。该策略的核心是在训练过程将VGG子网络的各层级输出区分为高层级和低层级特征，并以不同的方式进行学习。这种有区分的学习策略能够减少大量参数的训练，提高训练的速度进而检测的效率。我们提出的迁移学习策略包含如下四个组成部分：
一、VGG子网络各层级的区分。将VGG子网络各层级的输出区分为高层级和低层级特征。高层级指的是卷积层3-4、4-4和5-4输出的内容特征，这部分特征是VGG子网络在第三、四和五尺度下输出的深层次特征。如前所述，第一和第二尺度由于尺度较小，并不具有内容的抽象表达能力，因此将其排除在高层级内容之外。除卷积层3-4、4-4和5-4之外的输出被归类为低层级特征，这部分特征侧重于图像纹理和像素值等底层信息的表达。
二、低层级特征的训练。由于低层级特征表述的是图像纹理和像素值等在自然图像和遥感图像中相同的信息，因此在自然图像中训练的特征能够直接运用于异质遥感图像变化检测的任务。我们采用的VGG子网络在大规模自然图像数据集ImageNet得到了充分的训练，可以认为这种预训练的VGG子网络能够准确地提取遥感图像中的低层级特征。因而，在训练过程中，只需要固定低层级特征的网络参数，即对应网络层的权重矩阵。
三、高层级特征的训练。和低层级特征不同，高层级特征在自然图像和遥感图像之间存在较大的差异。因此，VGG子网络在ImageNet预训练的权重并不能在异质遥感图像的同质特征提取中使用。在迁移学习过程中，将两个VGG子网络的卷积层3-4，卷积层4-4和卷积层5-4的权值设置为可调节，这样，在训练过程中，这些参数能够被调节以适应遥感图像的高层级特征。同时，由于高层级特征所需训练的网络权重，即卷积层3-4、卷积层4-4和卷积层5-4的权值，占VGG子网络整体权值的比例较小，因此对高层级特征的训练能够节约大量运算，提高网络训练的效率。
四、损失函数的构造。在训练过程中，构造的损失函数如下：
Figure RE-GDA0003043468570000081
其中，
Figure RE-GDA0003043468570000082
表示BNn,m在第k个通道中(i,j)位置的输出。Wm，Hm和Cm分别是BNn,m的宽度、高度和通道数。实际上，公式(1)描述了两幅异质遥感图像在对应区域的内容特征的差异。我们选择变化前后的两幅异质遥感图像I1和I2少量的不变区域作为训练样本，如图2所示。在这些不变的区域，图像的内容特征是一致的。因此，通过最小化公式(1)和调节VGG子网络卷积层3-4、卷积层4-4和卷积层5-4的参数，可以使得异质遥感图像高层级的内容特征得到合理表达。这意味着，非变化区域的内容特征接近，而变化区域的内容特征远离。这样，通过计算两个VGG子网络的卷积层3-4、卷积层4-4和卷积层5-4输出的差异，可以检测发生变化的区域。
在新的迁移学习策略中，半监督孪生神经网络仅有少量的VGG子网络的高层级特征参与训练，分别是卷积层3-4、卷积层4-4和卷积层5-4。除此之外，大部分低层级的特征的网络权值在原有的预训练VGG网络得到保持。因此，新的迁移学习策略能够减少大部分用于训练的运算量，提升了变化检测的效率，同时，保留了在大规模自然图像数据集中训练良好的低层级特征，用于同质特征提取，因而，可以在减少运算量的前提下仍然保持变化检测的准确率。
根据本发明的再进一步的实施例，所述变化差异图通过如下公式(2)和公式(3)得到，其中，所述公式(2)和所述公式(3)分别为
Figure RE-GDA0003043468570000091
其中，所述公式(2)中的m∈{3,4,5}；
Id＝D3+G(D4)+G(D5) (3)
其中，公式(3)中的Id为变化差异图，G(·)是双线性插值函数。
可以理解的是，在训练得到异质图像的同质特征后，使用异质遥感图像I1和I2分别作为 S3N中两个VGG子网络的输入，进而生成不同尺度(m∈{3,4,5})下内容特征的差异：
Figure RE-GDA0003043468570000092
为结合不同尺度下内容特征的差异，得到反映变化程度的差异图，通过双线性插值将 {Dm,m＝3,4,5}的大小进行归一化：
(m∈{3,4,5})
其中G(·)是双线性插值函数，目的是上采样D4和D5，使之与D3大小相同。
根据本发明再进一步的实施例，采用公式(4)进行二值化，所述公式(4)如下：
Ib＝Otsu(Id) (4)
其中，所述公式(4)中的Otsu(·)是Otsu二值化函数。
可以理解的是，在获得变化差异图之后，借助公式(4)对Id进行二值化，得到最终的变化检测图，可以准确地反应异质遥感图像变化区域。
根据本发明的一个实施例，在发生变化的区域，利用天空基技术获取变化前后的两幅所述遥感异质图像。
总之，本发明提出的一种基于半监督孪生网络的异质遥感图像变化检测方法，通过构造一种新的半监督孪生神经网络和相应的新的迁移学习策略，在保证检测准确率的前提下，极大地缩短了检测的时间，进而提升了检测效率。本发明利用了深度神经网络的深层次性，在新的迁移学习策略中将所构造网络的输出分离为高层级特征和低层级特征，并在训练过程中区别处理。低层级特征在自然图像和遥感图像中相同，因此可以直接使用在自然图像数据集中预训练的网络权值。高层级特征则需要进行进一步训练。由于低层级特征占据大部分网络权重，因此，本发明提出新的迁移学习策略能够节约大量的运算，降低训练的时间。同时，低层级特征已经得到充分的预训练，因此能够较好地描述图像的同质特征，保证检测的准确率。
下面介绍一下本发明基于半监督孪生神经网络的异质遥感图像变化快速变化检测方法的实验。
实验的研究场景设置为2017年6月24四川省阿坝州茂县叠溪镇新磨村发生的山体滑坡事件。山体滑坡后灾害救援要求灾区检测的时效性和准确性。变化前的极化合成孔径雷达 (Polarization Synthetic Aperture Radar,PolSAR)图像、变化后的光学图像和变化区域的真值如图4(a)至图4(c)所示，图像尺寸为2827×1333像素。可以看出，该大尺寸的异质遥感图像加剧了同质变换特征提取的难度，使得现有方法变化检测的效率降低。
这里，本发明的方法比较了三种最新的异质图像变化检测方法：对称卷积耦合网络 (SCCN)、同质像素变换(HPT)和深度同质特征融合(DHFF)。最终的检测结果和相应的真值图像如图5(a)至图5(d)及图6所示。在检测结果准确率方面，本发明采用了整体准确率(Overall Accuracy,OA)和卡帕系数(Kappa Coefficient,KC)衡量检测的结果。在检测结果的准确率上，本发明的检测方法取得了最好的结果。这说明了本发明提出的新的迁移学习策略的有效性。
同时，在附图6中，本分发明的检测方法的检测所耗费的时间是最少的，且远远小于其它三种变化检测方法的耗时，这说明了本发明的检测方法极大地提升了变化检测的效率。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (9)

1.一种基于半监督孪生网络的异质遥感图像变化快速检测方法，其特征在于，包括如下步骤：
获取变化前后的两幅异质遥感图像并进行配准；
以在ImageNet中预训练的两个相同结构的VGG子网络为基础构造所述半监督孪生神经网络，其中，两个所述VGG子网络在ImageNet中预训练后能够捕捉自然图像的低层级特征；
在两幅所述异质遥感图像的相同位置，分别提取少量以图像小块为单位的非变化区域，作为训练样本；
构造损失函数，通过最小化所述损失函数，训练所述半监督孪生神经网络中的高层级特征以适应两幅所述异质遥感图像，获得两幅所述异质遥感图像的同质特征；
以两幅所述异质遥感图像作为所述半监督孪生神经网络输入，提取变化差异图；
利用Otsu算法对所述变化差异图二值化，得到最终的变化检测图。
2.根据权利要求1所述的基于半监督孪生网络的异质遥感图像变化快速检测方法，其特征在于：所述VGG子网络具有多尺度多层次结构，以能够保证所述高层特征和所述低层级特征的分离。
3.根据权利要求2所述的基于半监督孪生网络的异质遥感图像变化快速检测方法，其特征在于，所述VGG网络具有如下三个特征：一是无全连接层，但具有图像局部信息的卷积层和池化层，用于提取具有局部信息的特征；二是两个所述VGG子网络的权值已预训练于ImageNet中，在ImageNet训练之后，两个所述VGG网络能够捕捉自然图像的低层级特征；三是将卷积层3-4、卷积层4-4和卷积层5-4作为同质变换特征输出的单元。
4.根据权利要求3所述的基于半监督孪生网络的异质遥感图像变化快速检测方法，其特征在于，对所述卷积层3-4、所述卷积层4-4和所述卷积层5-4输出的所述同质变换特征进行批标准化处理。
5.根据权利要求4所述的基于半监督孪生网络的异质遥感图像变化快速检测方法，其特征在于，将两个所述VGG子网络的所述卷积层3-4、所述卷积层4-4和所述卷积层5-4的权值设置为可调节。
6.根据权利要求5所述的基于半监督孪生网络的异质遥感图像变化快速检测方法其特征在于，所述损失函数为如下公式(1)：
Figure RE-FDA0003043468560000021
其中，
Figure RE-FDA0003043468560000022
表示BNn，m在第k个通道中(i，j)位置的输；Wm、Hm和Cm分别是BNn，m的宽度、高度和通道数。
7.根据权利要求6所述的基于半监督孪生网络的异质遥感图像变化快速检测方法，其特征在于，所述变化差异图通过如下公式(2)和公式(3)得到，其中，所述公式(2)和所述公式(3)分别为
Figure RE-FDA0003043468560000023
其中，所述公式(2)中的m∈{3，4，5}；
Id＝D3+G(D4)+G(D5) (3)
其中，公式(3)中的Id为变化差异图，G(·)是双线性插值函数。
8.根据权利要求7所述的基于半监督孪生网络的异质遥感图像变化快速检测方法，其特征在于，采用公式(4)进行二值化，所述公式(4)如下：
Ib＝Otsu(Id) (4)
其中，所述公式(4)中的Otsu(·)是Otsu二值化函数。
9.根据权利要求1所述的基于半监督孪生网络的异质遥感图像变化快速检测方法，其特征在于：在发生变化的区域，利用天空基手段获取变化前后的两幅所述遥感异质图像。
CN202011496434.7A 2020-12-17 2020-12-17 基于半监督孪生网络的异质遥感图像变化快速检测方法 Active CN112991257B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011496434.7A CN112991257B (zh) 2020-12-17 2020-12-17 基于半监督孪生网络的异质遥感图像变化快速检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011496434.7A CN112991257B (zh) 2020-12-17 2020-12-17 基于半监督孪生网络的异质遥感图像变化快速检测方法

Publications (2)

Publication Number Publication Date
CN112991257A true CN112991257A (zh) 2021-06-18
CN112991257B CN112991257B (zh) 2021-10-15

Family

ID=76345035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011496434.7A Active CN112991257B (zh) 2020-12-17 2020-12-17 基于半监督孪生网络的异质遥感图像变化快速检测方法

Country Status (1)

Country Link
CN (1) CN112991257B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926427A (zh) * 2022-05-13 2022-08-19 清华大学 一种异质遥感图像变化检测方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110659591A (zh) * 2019-09-07 2020-01-07 中国海洋大学 基于孪生网络的sar图像变化检测方法
CN110969088A (zh) * 2019-11-01 2020-04-07 华东师范大学 一种基于显著性检测与深度孪生神经网络的遥感影像变化检测方法
CN111161218A (zh) * 2019-12-10 2020-05-15 核工业北京地质研究院 一种基于孪生卷积神经网络的高分遥感影像变化检测方法
CN111723732A (zh) * 2020-06-18 2020-09-29 西安电子科技大学 一种光学遥感图像变化检测方法、存储介质及计算设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110659591A (zh) * 2019-09-07 2020-01-07 中国海洋大学 基于孪生网络的sar图像变化检测方法
CN110969088A (zh) * 2019-11-01 2020-04-07 华东师范大学 一种基于显著性检测与深度孪生神经网络的遥感影像变化检测方法
CN111161218A (zh) * 2019-12-10 2020-05-15 核工业北京地质研究院 一种基于孪生卷积神经网络的高分遥感影像变化检测方法
CN111723732A (zh) * 2020-06-18 2020-09-29 西安电子科技大学 一种光学遥感图像变化检测方法、存储介质及计算设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIAO JIANG 等: "Change Detection in Heterogeneous Optical and SAR Remote Sensing Images Via Deep Homogeneous Feature Fusion", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926427A (zh) * 2022-05-13 2022-08-19 清华大学 一种异质遥感图像变化检测方法、装置及存储介质
CN114926427B (zh) * 2022-05-13 2024-05-07 清华大学 一种异质遥感图像变化检测方法、装置及存储介质

Also Published As

Publication number Publication date
CN112991257B (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
CN110263705B (zh) 面向遥感技术领域两期高分辨率遥感影像变化检测系统
CN110135366B (zh) 基于多尺度生成对抗网络的遮挡行人重识别方法
CN111368896B (zh) 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法
CN105138973B (zh) 人脸认证的方法和装置
CN111523521A (zh) 一种双支路融合多尺度注意神经网络的遥感图像分类方法
CN111798469A (zh) 基于深度卷积神经网络的数字图像小数据集语义分割方法
CN114092793B (zh) 适用于复杂水下环境的端到端生物目标检测方法
CN109472733A (zh) 基于卷积神经网络的图像隐写分析方法
CN115311502A (zh) 基于多尺度双流架构的遥感图像小样本场景分类方法
CN113962281A (zh) 基于Siamese-RFB的无人机目标跟踪方法
CN114926693A (zh) 基于加权距离的sar图像小样本识别方法及装置
Zhou et al. MSAR‐DefogNet: Lightweight cloud removal network for high resolution remote sensing images based on multi scale convolution
Guan et al. NCDCN: multi-focus image fusion via nest connection and dilated convolution network
CN112991257B (zh) 基于半监督孪生网络的异质遥感图像变化快速检测方法
CN117765363A (zh) 一种基于轻量型记忆库的图像异常检测方法及系统
CN116977747B (zh) 基于多路多尺度特征孪生网络的小样本高光谱分类方法
CN117830835A (zh) 一种基于深度学习的卫星遥感图像分割方法
CN113627481A (zh) 一种面向智慧园林的多模型组合的无人机垃圾分类方法
CN117541535A (zh) 一种基于深度卷积神经网络的输电线路巡检图像检测方法
Cui et al. Double-branch local context feature extraction network for hyperspectral image classification
CN113313185B (zh) 一种基于自适应空谱特征提取的高光谱图像分类方法
Liang et al. Multi-perspective feature collaborative perception learning network for non-destructive detection of pavement defects
CN116152194A (zh) 一种物体缺陷检测方法、系统、设备及介质
CN114821098A (zh) 一种基于灰度梯度融合特征及cnn的高速路面破损检测算法
CN117437557A (zh) 一种基于双通道特征增强的高光谱图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant