CN114937204A - 一种轻量级多特征聚合的神经网络遥感变化检测方法 - Google Patents

一种轻量级多特征聚合的神经网络遥感变化检测方法 Download PDF

Info

Publication number
CN114937204A
CN114937204A CN202210476223.XA CN202210476223A CN114937204A CN 114937204 A CN114937204 A CN 114937204A CN 202210476223 A CN202210476223 A CN 202210476223A CN 114937204 A CN114937204 A CN 114937204A
Authority
CN
China
Prior art keywords
network
feature
remote sensing
training
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210476223.XA
Other languages
English (en)
Other versions
CN114937204B (zh
Inventor
翁理国
储圣光
夏旻
胡凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202210476223.XA priority Critical patent/CN114937204B/zh
Publication of CN114937204A publication Critical patent/CN114937204A/zh
Application granted granted Critical
Publication of CN114937204B publication Critical patent/CN114937204B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种轻量级多特征聚合的神经网络遥感变化检测方法，包括搭建并训练一个分割网络，输入双时像遥感图像，输出预测变化区域的预测模型，其特征在于，所述预测模型包括至少三个基础语义分割子模块：特征提取模块、细节特征引导模块、自注意力以及特征融合模块。该种轻量级多特征聚合的神经网络遥感变化检测方法，通过轻量级多特征融合网络在采用前述训练方法进行训练后即可用于遥感图像变化检测，对待处理图像先采用裁剪的方式输入至神经网络模型中，设置参数并进行多次迭代，得到变化检测遥感图像的预测结果，该预测的结果相对于采用传统的基础语义分割模型（例如UNet、FCN等）得到的结果，其预测准确率有明显的提升。

Description

一种轻量级多特征聚合的神经网络遥感变化检测方法
技术领域
本发明涉及计算机视觉与图像处理技术领域，具体为一种轻量级多特征聚合的神经网络遥感变化检测方法。
背景技术
随着空间科学技术的迅速发展，如何有效地将地物的变化信息从遥感图像中检测出来已成为一个重要的研究方向。现有主流的解决方案分为无监督和有监督两种。
传统的无监督方法主要有MAD、IR-MAD和PCA等。MAD分析方法的本质是多变量统计分析中的典型相关分析，但是由于该算法不能较好处理多元素遥感图像问题。因此研究并提出了IR-MAD算法。该算法的核心思想是把每个像素的初始权值都设为1，通过迭代给两幅图像中的像素一个新的权值。未发生变化的像素具有较大的权重，最终的权重值是决定各个像素是否发生改变的唯一依据。经过多次迭代，当每个像素的权重会逐渐趋于稳定直到不变，此时迭代停止。每个像素最终权值与阈值T比较，从而判断其属于变化像素还是未变化像素，最后提取未变化的像素作为特征像素。PCA是最著名的子空间学习算法之一，PCA通过线性变换将图像变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量。但是因为PCA依赖于图像的统计特征，因此变化区域和不变区域的数据是否平衡，将对模型的性能产生很大影响。
在有监督的方法中，大多数基于深度学习的遥感图像变化方法都与语义分割有关。随机森林(RFs)和卷积神经网络(CNNs)等都是传统的监督学习方法。但是它们没有针对变化检测任务特性，明确区别变化区域和不变区域。这使得在检测过程中边缘细节信息丢失严重。而且使用的主干网络大都由于结构冗余，不能对双时像遥感图像的特征信息进行高效提取。
由于遥感变化检测技术的应用范围更加广泛。因此所对应的遥感图像数据集，无论从图像的分辨率大小、数量以及图像的细节复杂程度的角度来说，相比之前都有很大提升。特别是因为双时相遥感图像中两幅图像拍摄时间不同，所以会存在拍摄角度不同、季节植被覆盖变化、光照阴影变化等问题。如果有一种网络既能够关注到变化区域的信息又能够在不损失精度的前提下尽可能地降低参数量，那么它就能满足大部分的场景需求。因此我们对此做出改进，提出一种轻量级多特征聚合的神经网络遥感变化检测方法。
发明内容
为了解决上述技术问题，本发明针对遥感图像变化检测的任务特性，提出了一种轻量级多特征融合网络。由于不同时间段获取的图像可能在不同的传感器视角下存在一定偏差，产生光的阴影折射，建筑角度偏差等因素，从而导致两幅图像的所有像素点不能够较好一一对应；现如今的遥感图像数据集大多较为复杂，提高模型的预测效率是一个十分重要的问题。对此我们设计了一个新的结构来对多尺度特征信息进行提取来解决因传感器拍摄角度不同产生的图像偏差问题，以获得具有更少参数的可变可伸缩接收字段，极大地提高了网络在遥感变化检测任务中的性能。现如今的遥感图像太多较为复杂，边缘细节较多。如果不对边缘的特征信息进行提取学习，这将导致边缘细节学习严重丢失，从而预测结果较差。因此为了解决边缘细节信息丢失的问题，发明了一个全新的模块来引导网络从而在不增加时间成本的情况下学习细节信息，将边缘特征信息最大程度还原。适用于变化检测任务的模型应该更加关注变化区域的特征信息，并给予这些区域更大的权重，这样可以增加模型的预测效果。对此发明了一个新的时空自主意模块，使网络自适应地关注变化区域，从而提升预测精度。在模型的最后，如果直接解码输出，则会导致提取的特征信息不能够较好的融合输出，将损失很多关键的特征信息。对此，发明了一个新的特征融合模块用于将多尺度的特征信息进行融合输出来最大程度还原预测图。本设计通提出的模型解决了变化检测任务中特征提取不完善，边缘细节效果不佳的问题，在提高了检测精度的同时，也降低了模型的参数量，增强了算法的普适性。
本发明为达上述目的提供了如下的技术方案：
本发明一种轻量级多特征聚合的神经网络遥感变化检测方法，包括搭建并训练一个分割网络，输入双时像遥感图像，输出预测变化区域的预测模型，所述预测模型包括至少三个基础语义分割子模块：特征提取模块、细节特征引导模块、自注意力以及特征融合模块，所述预测模型的训练过程包括如下步骤：
S1、将预先标注语义分割信息的训练图像输入到所述预测模型中，在编码过程中，利用轻量级征提取模块对多尺度特征信息进行提取处理；
S2、通过细节特征引导模块，引导网络学习底层的特征信息；
S3、将经过多尺度特征信息进一步输入至自注意模块中，提取出变化区域的关键信息，通过调节像素点与像素点以及通道与通道之间的权重来减少冗余信息的占比，使网络更加关注于变化区域的特征信息；
S4、在解码过程中，将提取的多尺度特征信息输入特征融合模块进行输出产生预测；
S5、利用若干训练图像不断迭代执行上述步骤S1至S4，直至所述模型的训练结果满足预设的收敛条件。
作为本发明的一种优选技术方案，所述分割网络的训练包括数据集的制作及训练调参过程，其整体流程主要由数据集制作，网络模型搭建和利用数据集进行网络训练三部分组成。
作为本发明的一种优选技术方案，所述数据集制作过程包括如下步骤：
S01、从谷歌地球软件上截取同一地区不同时间点的一对高分辨率遥感图像，图像主要分布在以下四种背景中，分别是建筑物，植被，河流以及荒地；
S02、对截取的图像进行准确地人工掩膜标注，标注类别总共分为两类：变化区域以及未变化区域；
S03、对标注完的高分辨率图像进行裁剪与筛选，最终获得N对512×512像素的双时像遥感图像对；
S04、对数据集进行随机切分，其中80％作为训练样本，20％作为验证样本。
作为本发明的一种优选技术方案，所述网络模型搭建是基于编码器解码器结构，并利用密集联接网络作为新的主干网络来对遥感图像的特征信息进行提取。
作为本发明的一种优选技术方案，所述密集联接网络的结构共有四个部分组成，其第一部分对输入图像的空间分辨率通过三个卷积分别进行步长为2的下采样处理；在第二和第三部分，每个部分对图像空间分辨率进行步长为2的下采样处理；第四部分通过全局平均池化进行输出，具体为：定义ConvXi表示第i部分的操作，即第i部分的输出计算如下：
xi＝ConvXi(xi-1,ki)
在上式中xi-1和xi分别是第i部分的输入和输出，ki为卷积层的内核大小，其中第一部分的卷积层内核大小为设为1，其他部分的卷积层内核大小都设置为3。
作为本发明的一种优选技术方案，所述网络模型搭建还包括建立细节特征引导模块，引导底层以单流方式学习细节特征信息，并将细节特征预测当作一个类不平衡问题来进行处理，具体如下：
定义一个新的损失函数Ld来处理这类不平衡的问题，若预测细节图的高位H，宽为W，则Ld表示如下：
Ld(xpd,xdg)＝Lbce(xpd,xdg)+Ldice(xpd,xdg)
其中xpd∈RH×W表示预测细节，xdg∈RH×W表示相应的特征图，Lbce表示二元交叉熵损失。
作为本发明的一种优选技术方案，所述网络模型搭建还包括建立用于遥感图像变化检测的时空自注意模块，该模块用于捕获整个时空中各个像素之间丰富的全局时空关系，使网络对重要区域的像素赋予更大的权重，并对需要注意的目标区域给予更多的注意。
作为本发明的一种优选技术方案，所述网络模型搭建还包括建立融合网络，具体为：定义w和h分别表示特征图的宽度和高度，首先对不同深度的堆叠特征层进行卷积操作，将不同通道实现信息交互叠加得到特征图U′，其方程为下所示：
U′＝ReLU(B(f3×3(U)))
上式中B为批量标准化运算，ReLU是激活函数修正线性单元，其功能在于使得每一层网络的输入都能保持相同的数据分布，并将其规范至均值与方差分别为0和1的正态分布中；然后利用向量来指导特征学习，增加一种注意机制，对特征映射中的数据U′进行重组得到t，激活函数Sigmoid和t的计算公式如下：
Figure BDA0003625680450000061
t＝Sigmoid(f1×1(ReLU(f1×1(Fgp(U')))))
上式中
Figure BDA0003625680450000062
Cn表示类别数，Fgp表示全局平均池化，f1×1表示卷积核为1的卷积操作，Sigmoid是线性激活函数，ReLU是激活函数修正线性单元，将Cn设置为2；最后将t与U′中对应通道数相乘实现对参数赋予权重的功能，并将获得的特征层与U′相加得到最终输出V：V＝tU′+U′。
作为本发明的一种优选技术方案，所述利用数据集进行网络训练的过程如下：
在获得数据集之后，将一部分数据集做数据增强，分别以0.2的概率对原图像及标签做水平翻转，镜像翻转以及-180°～+180°的旋转变换；
在迭代过程中采用学习率衰减策略来优化学习过程，此处使用的学习率衰减策略每3次迭代对当前学习率乘以值0.95，当迭代200次后学习率衰减为3.27×1e-5，满足收敛要求；
网络在初始收敛过程中，设置学习率预热阶段，即在最先的几次迭代中采用较小的学习率，然后逐步增大到标准水平。
作为本发明的一种优选技术方案，在利用数据集进行网络训练前，对网络权重做随机初始化，调整初始学习率为0.001，并采用利用训练数据集对变换检测网络进行训练时，每次输入一对原始遥感图片到当前网络中，并通过正向传播计算得到当前网络的预测图像，利用交叉熵损失函数，计算输出图片与其对应的人工标注的掩模图片之间的损失函数，利用链式法则将这个损失函数反向传播到网络中。
本发明的有益效果是：
该种轻量级多特征聚合的神经网络遥感变化检测方法，通过轻量级多特征融合网络在采用前述训练方法进行训练后即可用于遥感图像变化检测，对待处理图像先采用裁剪的方式输入至神经网络模型中，设置参数并进行多次迭代，得到变化检测遥感图像的预测结果，该预测的结果相对于采用传统的基础语义分割模型(例如UNet、FCN等)得到的结果，其预测准确率有明显的提升。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例的云检测流程图；
图2为一种轻量级多特征聚合的神经网络遥感变化检测方法网络结构图；
图3为同一地点不同时间段拍摄的遥感图像；
图4为本发明实施的轻量级主干网络示意图；
图5为本发明实施例的自注意模块示意图；
图6为本发明实施例的自注意模块分割结果示意图；
图7为本发明实施例的特征融合模块示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例：
本发明旨在提供一种轻量级多特征聚合的神经网络遥感变化检测方法，最主要的工作是搭建并训练一个分割网络，输入双时像遥感图像，输出预测变化区域的预测模型。利用深度学习平台实现所述网络的搭建，网络的训练包括数据集的制作及训练调参过程。其整体流程如图1所示，主要由数据集制作，网络模型搭建，利用数据集进行网络训练三部分组成。
一、数据集的制作过程：
步骤1、从谷歌地球软件上截取同一地区不同时间点的一对高分辨率遥感图像。从谷歌地球软件中导出的高分辨率遥感图像主要分布在以下四种背景中，分别是建筑物，植被，河流以及荒地。
步骤2、对截取的图像进行准确地人工掩膜标注，标注类别总共分为两类：变化区域以及未变化区域，该过程经过多人重复验证以保证数据集的准确性。
步骤3、为了满足实验网络的输入大小，对标注完的高分辨率图像进行裁剪与筛选，最终获得3400对512×512像素的双时像遥感图像对。
步骤4、对数据集进行随机切分其中80％作为训练样本，20％作为验证样本，最终训练集样本数为2720，验证集样本数为680。
二、建立网络模型：
如图2所示，本发明针对遥感变化检测任务特性提出了一种轻量级多特征聚合网络，该模型基于编码器解码器结构。提出了一个新的主干网络对双时序遥感图像进行多尺度特征提取来最大程度还原特征信息。在保证精度的前提下，降低计算成本。并发明了两个辅助模块分别来加强模型对变化区域和边缘细节的学习。并在模型的最后设计了一个多尺度融合模块来将多特征进行融合从而完成任务。
本发明在模型中设计了密集联接网络作为新的主干网络来对遥感图像的特征信息进行提取。由于双时态遥感图像拍摄于同一地点的不同时间段，会受到季节和光照等因素等影响。如图3所示，其中(a)，(b)和(c)，(d)分别为同一地点不同时间拍摄的遥感图像，可以明显发现同一地点不同时间段所拍摄的一对遥感图像像素点没有一一对应。这是由于卫星拍摄角度所引起的，为了解决这个问题：提出的主干网络采用跨级别的特征聚合方式来对多尺度特征信息进行提取，全局和局部信息相互辅助，从而解决像素点不一一对应的问题。
密集联接网络的结构共有4个部分组成。一般情况下，第一个部分对输入图像的空间分辨率通过三个卷积分别进行步长为2的下采样处理，在第二和第三部分，每个部分对图像空间分辨率进行步长为2的下采样处理。第四部分通过全局平均池化进行输出。通过实验仔细调整了每个部分的通道数以达到准确性和效率之间的最佳平衡。图4说明了该模块的布局。具体来说，被分成4个部分。我们用ConvXi表示第i部分的操作，即第i部分的输出计算如下：
xi＝ConvXi(xi-1,ki)
在上式中xi-1和xi分别是第i部分的输入和输出，ki为卷积层的内核大小，其中第一部分的卷积层内核大小为设为1，其他部分的卷积层内核大小都设置为3。由于在遥感变化检测任务中，通常更关注的是多尺度信息和可扩展的接受域。需要通过较多的通道数来编码低层信息中更细粒度的信息，通常低层的接受域较小。而接收域大的高层更注重高层信息的归纳总结。如果与低层设置相同的通道可能会造成信息冗余。因此下采样只发生在第二部分中。为了丰富特征信息，我们通过跳过路径的方式将第一到第四部分的输出映射作为密集连接模块的输出进行拼接。在那之后，它通过1×1卷积来恢复到原来的通道数。
如今的遥感数据背景大多比较复杂，边缘细节信息相比之前有了很大提升。因此如果单靠主网络来提取特征信息的话，这些细节特征将会被一定程度上的忽略，从而降低预测效果。针对这个问题，我们提出了一个细节特征引导模块，引导底层以单流方式学习细节特征信息。我们将数据集中的标签通过利用拉普拉斯算子生成特征图，然后让模型学习特征图信息，从而引导底层学习更多的细节特征信息。由于在实际的遥感图像变化检测任务中，细节特征信息对应的像素点的数量远小于非细节信息所对应像素点的数量，因此可以把细节特征预测当作一个类不平衡问题来进行处理。因此设计了一个新的损失函数Ld来处理这类不平衡的问题，若预测细节图的高位H，宽为W，则Ld表示如下：
Ld(xpd,xdg)＝Lbce(xpd,xdg)+Ldice(xpd,xdg)
其中xpd∈RH×W表示预测细节，xdg∈RH×W表示相应的特征图，Lbce表示二元交叉熵损失。
由于遥感图像数据量大、背景复杂、目标特征不明显等问题，如果不针对变化检测的任务特征明确区分需要注意的区域，网络将难以为每个像素分配准确的标签。通过利用同一类型物体在不同时间和地点之间的关系，建模相邻像素之间的时空关系。基于这一认识，我们设计了一个用于遥感图像变化检测的时空自注意模块。该模块捕获了整个时空中各个像素之间丰富的全局时空关系，使网络能够对重要区域的像素赋予更大的权重，并对我们需要注意的目标区域给予更多的注意。
图5说明了自注意模块的具体细节。我们提取双时态遥感图像的特征张量X∈RC ×H×W×2，其中C、H和W分别是特征张量的通道数，高度和宽度。然后将其输入到自主意模块中，生成新的特征张量Z∈RC×H×W×2进行输出。通过残差函数从输入的特征图X中推出新的特征图Z：Z＝G(X)+X，其中γ＝G(X)是待学习的X的残差映射。其计算的核心是从输入的张量中生成一组键向量，值向量和查询向量，并学习这些值的加权和来生成每个输出向量。其中查询和对应键的相似性决定了分配给每个值的权重。
图6显示了自注意模块的可视化结果。图6(a)和(b)为同一区域的双时点遥感图像，图6(c)为其标签图，图6(d)和(e)分别为有无该模块的热力图。我们清楚地发现，在网络中引入自注意模块后，网络对于一些先前不关心或不太关心的变化区域中的像素会赋予了更大的权重，即热图中的深色区域。
考虑到粗糙的直接融合会导致信息冗余，对预测结果产生负面影响。因此在对图像进行像素级分类时，通常需要在解码阶段与浅层信息进行融合，以弥补信息在传递过程中的丢失问题。但是如何进行有效的融合一直是需要探讨的问题。而本模型有多条支路输出。所以对每条支路的输出进行融合需要更加合理的设计，才能对提取的特征信息进行更好的处理，从而增加模型精度。其中一个解决方案就是将不同深度的信息进行叠加组成一个新的特征层，然后对新的特征层进行卷积运算，并对不同通道实行信息融合，融合网络的结构如图7所示。
w和h分别表示特征图的宽度和高度，首先对不同深度的堆叠特征层进行卷积操作，将不同通道实现信息交互叠加得到特征图U′，其方程为下所示：
U′＝ReLU(B(f3×3(U)))
上式中B为批量标准化运算，ReLU是激活函数修正线性单元，其功能在于使得每一层网络的输入都能保持相同的数据分布，并将其规范至均值与方差分别为0和1的正态分布中，避免因为过于靠近非线性区域而使得网络难以收敛。批标准化会计算上一个特征层的平均值μβ，然后通过μβ获得标准偏差σ2，最后通过如下公式可得归一化值
Figure BDA0003625680450000131
与yi。其中xi和m是输入特征的参数和参数的数量。ε'是一个非常小的值，以避免分母为零：
Figure BDA0003625680450000132
Figure BDA0003625680450000133
Figure BDA0003625680450000134
Figure BDA0003625680450000135
另一方面，为了让模型更好地获取全局信息，并利用向量来指导特征学习，增加了一种注意机制，对特征映射中的数据U′进行重组得到t，激活函数Sigmoid和t的计算公式如下：
Figure BDA0003625680450000141
t＝Sigmoid(f1×1(ReLU(f1×1(Fgp(U')))))
上式中
Figure BDA0003625680450000142
Cn表示类别数，Fgp表示全局平均池化，f1×1表示卷积核为1的卷积操作，Sigmoid是线性激活函数，ReLU是激活函数修正线性单元，在变化检测任务中因为只有变化与未变化区域的区别，所以将Cn设置为2；最后将t与U′中对应通道数相乘实现对参数赋予权重的功能，并将获得的特征层与U′相加得到最终输出V：V＝tU′+U′。
三、利用数据集进行网络训练的过程如下：
在获得数据集之后，本申请实施例将一部分数据集做数据增强，分别以0.2的概率对原图像及标签做水平翻转，镜像翻转以及-180°～+180°的旋转变换。其目的是为了解决样本数量不充分导致的过拟合现象，并且丰富数据集的多样性，增强网络模型的鲁棒性。
本申请实施例在训练开始前，对网络权重做随机初始化，调整初始学习率为0.001，并采用利用训练数据集对变换检测网络进行训练时，每次输入一对原始遥感图片到当前网络中，并通过正向传播计算得到当前网络的预测图像，利用交叉熵损失函数，计算输出图片与其对应的人工标注的掩模图片之间的损失函数，利用链式法则将这个损失函数反向传播到网络中。Adam优化算法是一种对随机梯度下降法的扩展，Adam优化器使用动量和自适应学习率来加快收敛速度，在反向传播的过程中，本发明使用Adam优化器对网络中的参数如卷积的权重、卷积的偏置等进行更新，此处Adam的超参数β1和β2分别设置为默认值0.9和0.999。
网络在收敛过程中不宜采用较大的学习率，较大的学习率容易使网络在收敛过程中产生震荡，从而偏离最优值，另一方面在深度神经网络中，随着层数的增多，在梯度下降的过程中，容易出现梯度消失或梯度爆炸。因此，本发明实施例在迭代过程中采用了学习率衰减策略来优化学习过程，此处使用的学习率衰减策略每3次迭代对当前学习率乘以值0.95，当迭代200次后学习率衰减为3.27×1e-5，满足收敛要求。
网络在初始收敛过程中，本发明实施例还设置了学习率预热阶段，即在最先的几次迭代中采用较小的学习率，然后逐步增大到标准水平，其意义在于，在模型训练的初始阶段：该模型对数据分布极为陌生，需要使用较小的学习率来逐步调整和修正权重分布，如果直接使用很大的学习率，有很大的概率会使训练结果偏离正确的梯度方向，从而导致梯度消失或者梯度爆炸，也可能间接导致过拟合。
为了验证本发明提出的方法的有效性，下面将与现有的模型进行对比。其中用于对比的模型包括SegNet、HRNet、Unet、FCN-8s、PSPNet和ICNet、BiseNet、BiseNetv2。数据集则使用上述的遥感变化检测数据集，评价标准采用广泛使用的像素精度(PA)、召回率(RC)、精确率(PR)、平均交并比(MIoU)作为评价指标，所得结果如表1所示。
表1中PA是使用最普遍地评价指标，表示正确预测的像素占所有像素的比例。RC表示在原始图像的变化区域中，被算法正确识别为变化区域的比例，PR表示在预测图中预测正确的变化区域像素数量占所有真实参考变化区域像素数量的比例。MIoU是计算两个集合的交集与并集之间的比例，表示变化检测任务中变化区域和不变区域。从表1中可以看出本发明的网络在各项指标上都优于其他网络。
表1评价结果
Figure BDA0003625680450000161
本发明基于现有的深度学习平台，提出了一种轻量级多特征聚合的神经网络来提升遥感变化检测的精度。该网络能够脱离人工设置的阈值直接完成端到端的训练，自动的对云层的边缘进行优化，解决了特征提取不完善，变化检测效果不佳的问题，提高了检测精度，增强了算法的普适性。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种轻量级多特征聚合的神经网络遥感变化检测方法，包括搭建并训练一个分割网络，输入双时像遥感图像，输出预测变化区域的预测模型，其特征在于，所述预测模型包括至少三个基础语义分割子模块：特征提取模块、细节特征引导模块、自注意力以及特征融合模块，所述预测模型的训练过程包括如下步骤：
S1、将预先标注语义分割信息的训练图像输入到所述预测模型中，在编码过程中，利用轻量级征提取模块对多尺度特征信息进行提取处理；
S2、通过细节特征引导模块，引导网络学习底层的特征信息；
S3、将经过多尺度特征信息进一步输入至自注意模块中，提取出变化区域的关键信息，通过调节像素点与像素点以及通道与通道之间的权重来减少冗余信息的占比，使网络更加关注于变化区域的特征信息；
S4、在解码过程中，将提取的多尺度特征信息输入特征融合模块进行输出产生预测；
S5、利用若干训练图像不断迭代执行上述步骤S1至S4，直至所述模型的训练结果满足预设的收敛条件。
2.根据权利要求1所述的一种轻量级多特征聚合的神经网络遥感变化检测方法，其特征在于，所述分割网络的训练包括数据集的制作及训练调参过程，其整体流程主要由数据集制作，网络模型搭建和利用数据集进行网络训练三部分组成。
3.根据权利要求2所述的一种轻量级多特征聚合的神经网络遥感变化检测方法，其特征在于，所述数据集制作过程包括如下步骤：
S01、从谷歌地球软件上截取同一地区不同时间点的一对高分辨率遥感图像，图像主要分布在以下四种背景中，分别是建筑物，植被，河流以及荒地；
S02、对截取的图像进行准确地人工掩膜标注，标注类别总共分为两类：变化区域以及未变化区域；
S03、对标注完的高分辨率图像进行裁剪与筛选，最终获得N对512×512像素的双时像遥感图像对；
S04、对数据集进行随机切分，其中80％作为训练样本，20％作为验证样本。
4.根据权利要求2所述的一种轻量级多特征聚合的神经网络遥感变化检测方法，其特征在于，所述网络模型搭建是基于编码器解码器结构，并利用密集联接网络作为新的主干网络来对遥感图像的特征信息进行提取。
5.根据权利要求4所述的一种轻量级多特征聚合的神经网络遥感变化检测方法，其特征在于，所述密集联接网络的结构共有四个部分组成，其第一部分对输入图像的空间分辨率通过三个卷积分别进行步长为2的下采样处理；在第二和第三部分，每个部分对图像空间分辨率进行步长为2的下采样处理；第四部分通过全局平均池化进行输出，具体为：定义ConvXi表示第i部分的操作，即第i部分的输出计算如下：
xi＝ConvXi(xi-1,ki)
在上式中xi-1和xi分别是第i部分的输入和输出，ki为卷积层的内核大小，其中第一部分的卷积层内核大小为设为1，其他部分的卷积层内核大小都设置为3。
6.根据权利要求4所述的一种轻量级多特征聚合的神经网络遥感变化检测方法，其特征在于，所述网络模型搭建还包括建立细节特征引导模块，引导底层以单流方式学习细节特征信息，并将细节特征预测当作一个类不平衡问题来进行处理，具体如下：
定义一个新的损失函数Ld来处理这类不平衡的问题，若预测细节图的高位H，宽为W，则Ld表示如下：
Ld(xpd,xdg)＝Lbce(xpd,xdg)+Ldice(xpd,xdg)
其中xpd∈RH×W表示预测细节，xdg∈RH×W表示相应的特征图，Lbce表示二元交叉熵损失。
7.根据权利要求4所述的一种轻量级多特征聚合的神经网络遥感变化检测方法，其特征在于，所述网络模型搭建还包括建立用于遥感图像变化检测的时空自注意模块，该模块用于捕获整个时空中各个像素之间丰富的全局时空关系，使网络对重要区域的像素赋予更大的权重，并对需要注意的目标区域给予更多的注意。
8.根据权利要求4所述的一种轻量级多特征聚合的神经网络遥感变化检测方法，其特征在于，所述网络模型搭建还包括建立融合网络，具体为：定义w和h分别表示特征图的宽度和高度，首先对不同深度的堆叠特征层进行卷积操作，将不同通道实现信息交互叠加得到特征图U′，其方程为下所示：
U′＝ReLU(B(f3×3(U)))
上式中B为批量标准化运算，ReLU是激活函数修正线性单元，其功能在于使得每一层网络的输入都能保持相同的数据分布，并将其规范至均值与方差分别为0和1的正态分布中；然后利用向量来指导特征学习，增加一种注意机制，对特征映射中的数据U′进行重组得到t，激活函数Sigmoid和t的计算公式如下：
Figure FDA0003625680440000041
t＝Sigmoid(f1×1(ReLU(f1×1(Fgp(U')))))
上式中
Figure FDA0003625680440000042
Cn表示类别数，Fgp表示全局平均池化，f1×1表示卷积核为1的卷积操作，Sigmoid是线性激活函数，ReLU是激活函数修正线性单元，将Cn设置为2；最后将t与U′中对应通道数相乘实现对参数赋予权重的功能，并将获得的特征层与U′相加得到最终输出V：V＝tU′+U′。
9.根据权利要求2所述的一种轻量级多特征聚合的神经网络遥感变化检测方法，其特征在于，所述利用数据集进行网络训练的过程如下：
在获得数据集之后，将一部分数据集做数据增强，分别以0.2的概率对原图像及标签做水平翻转，镜像翻转以及-180°～+180°的旋转变换；
在迭代过程中采用学习率衰减策略来优化学习过程，此处使用的学习率衰减策略每3次迭代对当前学习率乘以值0.95，当迭代200次后学习率衰减为3.27×1e-5，满足收敛要求；
网络在初始收敛过程中，设置学习率预热阶段，即在最先的几次迭代中采用较小的学习率，然后逐步增大到标准水平。
10.根据权利要求9所述的一种轻量级多特征聚合的神经网络遥感变化检测方法，其特征在于，在利用数据集进行网络训练前，对网络权重做随机初始化，调整初始学习率为0.001，并采用利用训练数据集对变换检测网络进行训练时，每次输入一对原始遥感图片到当前网络中，并通过正向传播计算得到当前网络的预测图像，利用交叉熵损失函数，计算输出图片与其对应的人工标注的掩模图片之间的损失函数，利用链式法则将这个损失函数反向传播到网络中。
CN202210476223.XA 2022-04-29 2022-04-29 一种轻量级多特征聚合的神经网络遥感变化检测方法 Active CN114937204B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210476223.XA CN114937204B (zh) 2022-04-29 2022-04-29 一种轻量级多特征聚合的神经网络遥感变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210476223.XA CN114937204B (zh) 2022-04-29 2022-04-29 一种轻量级多特征聚合的神经网络遥感变化检测方法

Publications (2)

Publication Number Publication Date
CN114937204A true CN114937204A (zh) 2022-08-23
CN114937204B CN114937204B (zh) 2023-07-25

Family

ID=82863695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210476223.XA Active CN114937204B (zh) 2022-04-29 2022-04-29 一种轻量级多特征聚合的神经网络遥感变化检测方法

Country Status (1)

Country Link
CN (1) CN114937204B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661694A (zh) * 2022-11-08 2023-01-31 国网湖北省电力有限公司经济技术研究院 一种聚焦关键特征的轻量型主变压器智能检测方法、系统、存储介质及电子设备
CN115761529A (zh) * 2023-01-09 2023-03-07 阿里巴巴（中国）有限公司 图像处理方法和电子设备
CN115908442A (zh) * 2023-01-06 2023-04-04 山东巍然智能科技有限公司 一种无人机海洋监测用图像全景分割方法及模型搭建方法
CN116091492A (zh) * 2023-04-06 2023-05-09 中国科学技术大学 一种图像变化像素级检测方法与系统
CN116152660A (zh) * 2023-02-14 2023-05-23 北京市遥感信息研究所 一种基于跨尺度注意力机制的广域遥感图像变化检测方法
CN116310851A (zh) * 2023-05-26 2023-06-23 中国科学院空天信息创新研究院 遥感图像变化检测方法
CN117408974A (zh) * 2023-10-26 2024-01-16 广州欧派集成家居有限公司 一种板式集成家具封边自动检测方法、装置及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016062610A (ja) * 2014-09-16 2016-04-25 株式会社リコー 特徴モデル生成方法及び特徴モデル生成装置
US20180144490A1 (en) * 2016-11-23 2018-05-24 Shenzhen University Method, Apparatus, Storage Medium and Device for Controlled Synthesis of Inhomogeneous Textures
CN108776772A (zh) * 2018-05-02 2018-11-09 北京佳格天地科技有限公司 一种跨时间建筑物变化检测建模方法以及检测装置、方法及存储介质
CN110263705A (zh) * 2019-06-19 2019-09-20 上海交通大学 面向遥感技术领域两期高分辨率遥感影像变化检测方法
CN111680667A (zh) * 2020-07-13 2020-09-18 北京理工大学重庆创新中心 一种基于深度神经网络的遥感图像地物分类方法
CN111797779A (zh) * 2020-07-08 2020-10-20 兰州交通大学 基于区域注意力多尺度特征融合的遥感图像语义分割方法
CN112577473A (zh) * 2020-12-21 2021-03-30 陕西土豆数据科技有限公司 一种双时相的高分辨率遥感影像变化检测算法
CN113609896A (zh) * 2021-06-22 2021-11-05 武汉大学 基于对偶相关注意力的对象级遥感变化检测方法及系统
CN113609889A (zh) * 2021-05-18 2021-11-05 武汉大学 基于敏感特征聚焦感知的高分辨遥感影像植被提取方法
CN113887459A (zh) * 2021-10-12 2022-01-04 中国矿业大学(北京) 一种基于改进Unet++的露天矿区采场变化区域检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016062610A (ja) * 2014-09-16 2016-04-25 株式会社リコー 特徴モデル生成方法及び特徴モデル生成装置
US20180144490A1 (en) * 2016-11-23 2018-05-24 Shenzhen University Method, Apparatus, Storage Medium and Device for Controlled Synthesis of Inhomogeneous Textures
CN108776772A (zh) * 2018-05-02 2018-11-09 北京佳格天地科技有限公司 一种跨时间建筑物变化检测建模方法以及检测装置、方法及存储介质
CN110263705A (zh) * 2019-06-19 2019-09-20 上海交通大学 面向遥感技术领域两期高分辨率遥感影像变化检测方法
CN111797779A (zh) * 2020-07-08 2020-10-20 兰州交通大学 基于区域注意力多尺度特征融合的遥感图像语义分割方法
CN111680667A (zh) * 2020-07-13 2020-09-18 北京理工大学重庆创新中心 一种基于深度神经网络的遥感图像地物分类方法
CN112577473A (zh) * 2020-12-21 2021-03-30 陕西土豆数据科技有限公司 一种双时相的高分辨率遥感影像变化检测算法
CN113609889A (zh) * 2021-05-18 2021-11-05 武汉大学 基于敏感特征聚焦感知的高分辨遥感影像植被提取方法
CN113609896A (zh) * 2021-06-22 2021-11-05 武汉大学 基于对偶相关注意力的对象级遥感变化检测方法及系统
CN113887459A (zh) * 2021-10-12 2022-01-04 中国矿业大学(北京) 一种基于改进Unet++的露天矿区采场变化区域检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHENGGUANG CHU ET AL.: "MFGAN: multi feature guided aggregation network for remote sensing image", 《NEURAL COMPUTING AND APPLICATIONS》, pages 10157 - 10173 *
李道纪;郭海涛;张保明;赵传;卢俊;余东行;: "结合双视觉全卷积网络的遥感影像地物提取", 中国图象图形学报, no. 03, pages 535 - 545 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661694A (zh) * 2022-11-08 2023-01-31 国网湖北省电力有限公司经济技术研究院 一种聚焦关键特征的轻量型主变压器智能检测方法、系统、存储介质及电子设备
CN115661694B (zh) * 2022-11-08 2024-05-28 国网湖北省电力有限公司经济技术研究院 一种聚焦关键特征的轻量型主变压器智能检测方法、系统、存储介质及电子设备
CN115908442A (zh) * 2023-01-06 2023-04-04 山东巍然智能科技有限公司 一种无人机海洋监测用图像全景分割方法及模型搭建方法
CN115761529A (zh) * 2023-01-09 2023-03-07 阿里巴巴（中国）有限公司 图像处理方法和电子设备
CN116152660A (zh) * 2023-02-14 2023-05-23 北京市遥感信息研究所 一种基于跨尺度注意力机制的广域遥感图像变化检测方法
CN116152660B (zh) * 2023-02-14 2023-10-20 北京市遥感信息研究所 一种基于跨尺度注意力机制的广域遥感图像变化检测方法
CN116091492A (zh) * 2023-04-06 2023-05-09 中国科学技术大学 一种图像变化像素级检测方法与系统
CN116091492B (zh) * 2023-04-06 2023-07-14 中国科学技术大学 一种图像变化像素级检测方法与系统
CN116310851A (zh) * 2023-05-26 2023-06-23 中国科学院空天信息创新研究院 遥感图像变化检测方法
CN116310851B (zh) * 2023-05-26 2023-08-15 中国科学院空天信息创新研究院 遥感图像变化检测方法
CN117408974A (zh) * 2023-10-26 2024-01-16 广州欧派集成家居有限公司 一种板式集成家具封边自动检测方法、装置及存储介质
CN117408974B (zh) * 2023-10-26 2024-04-26 广州欧派集成家居有限公司 一种板式集成家具封边自动检测方法、装置及存储介质

Also Published As

Publication number Publication date
CN114937204B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
CN114937204B (zh) 一种轻量级多特征聚合的神经网络遥感变化检测方法
CN110443818B (zh) 一种基于涂鸦的弱监督语义分割方法与系统
Yu et al. Underwater-GAN: Underwater image restoration via conditional generative adversarial network
CN107945204B (zh) 一种基于生成对抗网络的像素级人像抠图方法
US20230215166A1 (en) Few-shot urban remote sensing image information extraction method based on meta learning and attention
CN110909605B (zh) 基于对比相关的跨模态行人重识别方法
CN110598600A (zh) 一种基于unet神经网络的遥感图像云检测方法
CN112329760B (zh) 基于空间变换网络端到端印刷体蒙古文识别翻译的方法
CN115690479A (zh) 一种基于卷积Transformer的遥感图像分类方法及系统
CN108596243B (zh) 基于分级注视图和条件随机场的眼动注视图预测方法
CN105138973A (zh) 人脸认证的方法和装置
CN106339753A (zh) 一种有效提升卷积神经网络稳健性的方法
CN110826411B (zh) 一种基于无人机图像的车辆目标快速识别方法
CN112084895B (zh) 一种基于深度学习的行人重识别方法
CN110929080A (zh) 基于注意力和生成对抗网络的光学遥感图像检索方法
CN113628059A (zh) 一种基于多层图注意力网络的关联用户识别方法及装置
CN113989612A (zh) 基于注意力及生成对抗网络的遥感影像目标检测方法
CN115311502A (zh) 基于多尺度双流架构的遥感图像小样本场景分类方法
CN114943893A (zh) 一种土地覆盖分类的特征增强网络
CN113096070A (zh) 一种基于MA-Unet的图像分割方法
CN113065520A (zh) 一种面向多模态数据的遥感图像分类方法
CN115810123A (zh) 基于注意力机制和改进特征融合的小目标害虫检测方法
CN115965864A (zh) 一种用于农作物病害识别的轻量级注意力机制网络
CN107529647B (zh) 一种基于多层无监督稀疏学习网络的云图云量计算方法
CN111325259A (zh) 一种基于深度学习和二进制编码的遥感图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant