CN117152072A - 一种基于两阶段特征金字塔网络的遥感图像变化检测方法 - Google Patents

一种基于两阶段特征金字塔网络的遥感图像变化检测方法 Download PDF

Info

Publication number
CN117152072A
CN117152072A CN202311067434.9A CN202311067434A CN117152072A CN 117152072 A CN117152072 A CN 117152072A CN 202311067434 A CN202311067434 A CN 202311067434A CN 117152072 A CN117152072 A CN 117152072A
Authority
CN
China
Prior art keywords
level
feature map
change
initial
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311067434.9A
Other languages
English (en)
Inventor
陈禾
蔡妙鑫
庄胤
董珊
倪润峰
周天行
张志成
陈亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202311067434.9A priority Critical patent/CN117152072A/zh
Publication of CN117152072A publication Critical patent/CN117152072A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于两阶段特征金字塔网络的遥感图像变化检测方法，将两张不同时间同一地点的图像分别进行编码特征提取获得两个图像的编码特征图，将编码特征图进行相似性处理和自注意力空间增强处理获得初始差异注意力特征图，通过第一阶段特征金字塔处理和第二阶段特征金字塔处理获得重优化变化特征图，通过损失函数进行深度监督和优化获得优化后的两阶段特征金字塔网络模型，基于优化后的两阶段特征金字塔网络模型进行检测获得检测结果。本发明可以很好地在高分辨率遥感场景下进行变化检测，在面对类不平衡、目标尺度差异过大的遥感场景也能取得良好效果，提升了高分辨率遥感场景中变化检测的各类衡量指标。

Description

一种基于两阶段特征金字塔网络的遥感图像变化检测方法
技术领域
本发明涉及光学遥感图像处理的变化检测技术领域，具体涉及一种基于两阶段特征金字塔网络的遥感图像变化检测方法。
背景技术
光学遥感图像变化检测的目的是在不同时期的光学遥感图像中进行差异检测，获取地表感兴趣目标的变化信息，是遥感图像处理的一个重要研究方向。变化检测是获取土地利用的现状、进行地点和全球检测的一项重要技术，在快速发展的现代社会中具有广泛应用，如城市扩张检测、灾害评估、环境监测、气候监测，资源管理、公益诉讼取证、城市规划等。随着遥感技术的发展，对地观测具备了多平台、多分辨率、多时相等多重能力。同时随着近些年数据的积累，形成了天然的遥感大数据平台，传统的遥感人工判读和监督分类算法由于效率低、耗费的财力、物力巨大等缺陷，已经难以满足海量遥感数据的应用与信息服务需求，呈现出判读精度差、处理时效性低、鲁棒性差、难以进行长时间高强度的判读任务的弊端。因此，急需针对遥感大数据开展研究以解决现有技术中存在的问题。目前已经存在的方案大多是借助智能解译算法利用智能化算法将遥感大数据高效地转化为数据服务信息，减少对人工判读的依赖，促进遥感图像快速自动化评估。
传统的变化检测方法比如变化向量分析(CVA)、主成分分析(PCA)、多元变化检测(MAD)等主要通过提取遥感影像图像中的波谱信息来检测是否变化。然而这类方法需要人为在决策阶段设定判决界限，这需要大量的专家知识并且效率低下。而机器学习算法比如支持向量机、决策树、K近邻等，可以从大量有标签的样本中学习一个自动决策模型。因此机器学习算法被广泛应用于遥感影像变化检测。然而，这类方法非常依赖手工特征，这导致很难捕捉到高级特征表示，导致变化检测的性能低下。近年来，深度学习在图像分析、自然语言处理等领域取得了巨大的突破。随着图像处理器的改进、数据量的增加，使用了用于特征编码的深层网络的深度学习方法，大大减少了对专家知识和手工特征的需要，被广泛应用于变化检测等遥感任务，并取得了显著的成果。深度特征表达和非线性建模的特点使得基于深度学习的方法更加适合于复杂图像的特征提取，并且引起了遥感图像变化检测领域的关注。
近些年，基于FCN架构的语义分割网络被提出，并证明其对像素级变化检测任务是有效的。许多基于深度学习的遥感图像变化检测方法被不断提出，且性能优于传统方法。这些方法可以分为两类：基于度量学习的方法和基于语义分割的方法。前者一般使用不同特征提取器的孪生网络提取双时相特征后，进行度量学习来得到变化图，而后者则是采用语义分割的模型解决变化检测问题，将通道维级联的双时相图像送入语义分割网络中来预测变化区域。尽管上面方法取得了不错的变化检测效果，但是他们都忽略了不同尺度差异特征在空间信息和语义信息上的差异性引起的伪变化干扰，从而影响了遥感图像变化检测的性能。另外这些模型往往编码器复杂，解码器简单，不能充分利用编码器提取的多尺度特征。因此，亟需开展消除不同尺度特征语义差异和空间差异导致的伪变化干扰的方法研究，以及适合变化检测且充分利用编码器多尺度信息的特征金字塔网络设计。
发明内容
有鉴于此，本发明提供了一种基于两阶段特征金字塔网络的遥感图像变化检测方法，包括：将第一图像和第二图像分别进行编码特征提取，以获得第一图像编码特征图以及第二图像编码特征图；其中，所述第一图像和所述第二图像是位于同一地点的不同时间点的图像，所述第一图像编码特征图包括4个不同尺度的编码特征图，分别为第一图像第0级编码特征图、第一图像第1级编码特征图、第一图像第2级编码特征图和第一图像第3级编码特征图，所述第二图像编码特征图包括4个不同尺度的编码特征图，分别为第二图像第0级编码特征图、第二图像第1级编码特征图、第二图像第2级编码特征图和第二图像第3级编码特征图；将所述第一图像编码特征图以及所述第二图像编码特征图进行相似性处理，以获得初始差异特征图；其中，所述初始差异特征图包括4个不同尺度的初始差异特征图，分别为第0级初始差异特征图、第1级初始差异特征图、第2级初始差异特征图和第3级初始差异特征图；将所述第3级初始差异特征图进行自注意力空间增强处理，以获得初始差异注意力特征图；将所述第0级初始差异特征图、所述第1级初始差异特征图、所述第2级初始差异特征图以及所述初始差异注意力特征图进行第一阶段特征金字塔处理，以获得初始变化特征图；其中，所述初始变化特征图包括3级初始变化特征图，分别为第0级初始变化特征图、第1级初始变化特征图以及第2级初始变化特征图；将所述初始变化特征图进行第二阶段特征金字塔处理，以获得重优化变化特征图；其中，所述重优化变化特征图包括3级重优化变化特征图，分别为第0级重优化变化特征图、第1级重优化变化特征图以及第2级重优化变化特征图；基于所述重优化变化特征图对所述第一图像和所述第二图像进行变化预测；基于损失函数进行深度监督和优化，以获得优化后的两阶段特征金字塔网络模型；以及基于所述优化后的两阶段特征金字塔网络模型对第一待检测图像和第二待检测图像进行检测，以获得检测结果，所述检测结果指示所述第一待检测图像和所述第二待检测图像的变化情况，其中第一待检测图像和第二待检测图像是位于同一地点的不同时间点的图像。
进一步地，所述将所述第一图像编码特征图以及所述第二图像编码特征图进行相似性处理包括：相似性处理采用差分的形式计算：
Fi＝abs(Fi1-Fi2),i＝0,1,2,3
其中，Fi1表示所述第一图像第i级编码特征图，Fi2表示所述第二图像第i级编码特征图，Fi表示第i级初始差异特征图。
进一步地，所述将所述第3级初始差异特征图进行自注意力空间增强处理包括：对所述第3级初始差异特征图进行滤波处理，以获得第3级初始差异特征图的滤波结果；基于所述滤波结果生成初始差异注意力图：
A＝softmax(KTQ)
Fa＝VA
其中，A表示注意力图，K表示被查询特征图，Q表示查询特征图，T表示矩阵转置，V表示表征特征图，Fa表示初始差异注意力图。
进一步地，所述将所述第0级初始差异特征图、所述第1级初始差异特征图、所述第2级初始差异特征图以及所述初始差异注意力特征图进行第一阶段特征金字塔处理，包括：基于所述初始差异注意力特征图和第2级初始差异特征图，经过第2级双注意力处理，生成第2级初始变化特征图；基于所述第2级初始变化特征图和第1级初始差异特征图，经过第1级双注意力处理，生成第1级初始变化特征图；以及基于所述第1级初始变化特征图和第0级初始差异特征图，经过第0级双注意力处理，生成第0级初始变化特征图；其中，所述第2级双注意力处理、所述第1级双注意力处理以及所述第0级双注意力处理都包括双注意力处理。
进一步地，所述双注意力处理包括：对第一输入数据和第二输入数据在通道维度上进行压缩激活处理，以生成通道注意力图；对所述通道注意力图进行融合处理，以生成混合通道注意力图；基于所述混合通道注意力图对所述第一输入数据在通道上滤波，以生成通道特征图；对所述第二输入数据与通道特征图进行融合处理，以获得混合特征图；对所述混合特征图在空间维度进行压缩激活，以获得空间混合注意力图；使用所述空间混合注意力图对所述第二输入数据进行空间信息增强，以生成空间特征图；以及对所述通道特征图和所述空间特征图进行融合处理，以生成初始变化特征图。
所述将所述初始变化特征图进行第二阶段特征金字塔处理包括：基于所述初始差异注意力特征图与所述第2级初始变化特征图，通过第2级滤波融合处理，以生成第2级重优化变化特征图；基于所述第2级重优化变化特征图与所述第1级初始变化特征图，通过第1级滤波融合处理，以生成第1级重优化变化特征图；以及基于所述第1级重优化变化特征图与所述第0级初始变化特征图，通过第0级滤波融合处理，以生成所述第0级重优化变化特征图。
进一步地，所述第2级滤波融合处理表达式如下：所述第1级滤波融合处理表达式如下：/>所述第0级滤波融合处理表达式如下：/>其中，Fr,2表示所述第2级重优化变化特征图，Fr,1表示所述第1级重优化变化特征图，Fr,0表示所述第0级重优化变化特征图，FR,2表示所述第2级初始变化特征图，FR,1表示所述第1级初始变化特征图，FR,0表示所述第0级初始变化特征图，Fa表示所述初始差异注意力特征图。
进一步地，使用所述重优化变化特征图对所述第一图像和所述第二图像进行变化预测包括：对所述第2级重优化变化特征图进行滤波，以获得滤波后的第2级重优化变化特征图；并将滤波后的第2级重优化变化特征图放大到所述第一图像的大小，以获得第2级变化预测图；对所述第1级重优化变化特征图进行滤波，以获得滤波后的第1级重优化变化特征图；并将滤波后的第1级重优化变化特征图放大到所述第一图像的大小，以获得第1级变化预测图；以及对所述第0级重优化变化特征图进行滤波，以获得滤波后的第0级重优化变化特征图；并将滤波后的第0级重优化变化特征图放大到所述第一图像的大小，以获得第0级变化预测图。
进一步地，所述基于损失函数进行深度监督和优化包括：构建损失函数L，所述损失函数L包括二元交叉熵损失函数LBCE和Dice损失函数LDice：
L＝LDice+LBCE
其中，N是变化图中像素的数量，yn表示第n个像素的状态，n为图像像素位置的索引，yn＝1表示变化，yn＝0表示未变化，pn表示第n个像素变化的概率，Y为实际变化图，是变化预测图；
以及基于所述整体损失函数Ls对第2级变化预测图、第1级变化预测图以及第0级变化预测图进行深度监督，所述整体损失函数Ls表达式如下：
其中，Li表示第i级变化预测图与实际变化图计算的损失函数L。
本发明可以实现高效、高精度的高分辨光学遥感图像多时相遥感变化检测，可以缓解不同尺度语义差异特征带来的伪变化干扰和类不平衡、尺度差异过大带来的模型性能下降；可以在类不平衡、目标尺度差异过大的遥感场景取得不错的变化检测效果，可以缓解不同尺度特征语义差异导致的伪变化干扰。
应当理解，本发明内容部分中所描述的内容并非旨在限定本发明的实施例的关键特征或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的描述而变得容易理解。
附图说明
结合附图并参考以下详细说明，本发明各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
图1为本发明的方法流程图；
图2为本发明的第一阶段特征金字塔处理的流程图；
图3为本发明的第二阶段特征金字塔处理的流程图；
图4为本发明的整体结构示意图；
图5为自注意力机制模块结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的实施例。虽然附图中示出了本发明的一些实施例，然而应当理解的是，本发明可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反，提供这些实施例是为了更加透彻和完整地理解本发明。应当理解的是，本发明的附图及实施例仅用于示例性作用，并非用于限制本发明的保护范围。
在本发明的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“一些实施例”应当理解为“至少一些实施例”。下文还可能包括其它明确的和隐含的定义。
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。对于方法步骤的描述并无顺序要求，只要可以实现均在本发明保护范围之内。
本发明提出的一种基于两阶段特征金字塔网络的遥感图像变化检测方法，具体包括：
S101：将第一图像和第二图像分别进行编码特征提取，以获得第一图像编码特征图以及第二图像编码特征图，所述第一图像和所述第二图像是位于同一地点的不同时间点的图像。
一些实施例中，可以用孪生编码网络实现对图像的编码特征提取。孪生编码网络可采取ResNet、ResNeXt、DenseNet、Swin Transformer等层级式骨干网络作为特征提取器，对双时相图像使用相同的网络结构和参数进行多尺度特征提取。比如输入图像大小为3×H×W，则提取的多尺度特征大小可以分别为N×H/4×W/4，2N×H/8×W/8，4N×H/16×W/16，8N×H/32×W/32，本发明对此不做限定。
一些实施例中，可以采用ResNet18骨干网络作为两阶段特征金字塔网络模型整体框架，该网络训练速度较快，节省计算资源，防止模型过拟合，具有较强的泛化能力。结合图4，本发明涉及的两阶段特征金字塔网络模型由孪生编码网络、自注意力模块、第一阶段特征金字塔网络和第二阶段特征金字塔网络构成。将第一图像T1和第二图像T2输入两阶段特征金字塔网络模型，经过编码特征提取分别得到4个尺度的编码特征图。具体地，第一图像编码特征图包括4个不同尺度的编码特征图，分别为第一图像第0级编码特征图、第一图像第1级编码特征图、第一图像第2级编码特征图和第一图像第3级编码特征图；第二图像编码特征图包括4个不同尺度的编码特征图，分别为第二图像第0级编码特征图、第二图像第1级编码特征图、第二图像第2级编码特征图和第二图像第3级编码特征图。
S102：将所述第一图像编码特征图以及所述第二图像编码特征图进行相似性处理，以获得初始差异特征图，所述初始化差异特征图包括4个不同尺度的初始化差异特征图，分别为第0级初始差异特征图、第1级初始差异特征图、第2级初始差异特征图以及第3级初始差异特征图。
一些实施例中，相似性处理可以采用差分的形式执行，第i级初始差异特征图计算过程如下：
Fi＝abs(Fi1-Fi2),i＝0,1,2,3
其中，Fi1表示所述第一图像的第i级编码特征图，Fi2表示所述第二图像的第i级编码特征图，Fi表示第i级初始差异特征图。
S103：将所述第3级初始差异特征图进行自注意力空间增强处理，以获得初始差异注意力特征图。
一些实施例中，该步骤可以通过以下方式实施：
S1031：对所述第3级初始差异特征图进行滤波处理，以获得第3级初始差异特征图的滤波结果，所述滤波结果包括查询特征图Q、被查询特征图K和表征特征图V；以及
S1032：基于所述查询特征图Q、被查询特征图K生成注意力图A；基于所述注意力图A和所述表征特征图V，生成初始差异注意力特征图Fa，计算如公式下：
A＝softmax(KTQ)
Fα＝VA
S104：将所述第0级初始差异特征图、第1级初始差异特征图、第2级初始差异特征图以及初始差异注意力特征图进行第一阶段特征金字塔处理，以获得初始变化特征图，所述初始变化特征图包括3级初始变化特征图，分别为第0级初始变化特征图、第1级初始变化特征图以及第2级初始变化特征图。
一些实施例中，该步骤可以通过以下方式实现：
S1041：基于所述初始差异注意力特征图和第2级初始差异特征图，经过第2级双注意力处理，生成第2级初始变化特征图；
S1042：基于所述第2级初始变化特征图和第1级初始差异特征图，经过第1级双注意力处理，生成第1级初始变化特征图；
S1043：基于所述第1级初始变化特征图和第0级初始差异特征图，经过第0级双注意力处理，生成第0级初始变化特征图。
一些实施例中，该步骤还可以通过以下方式实施：
S1141：同时对所述初始差异注意力特征图Fa和所述第2级初始差异特征图F2压缩激活，生成所述初始差异注意力特征图的通道注意力图Aa：Aa＝σ(f1×1(GAP(Fa)))；和所述第2级初始差异特征图的通道注意力图A2：A2＝σ(f1×1(GAP(F2)))；
S1142：基于所述初始差异注意力特征图的通道注意力图Aa和所述第2级初始差异特征图的通道注意力图A2生成第2级混合通道注意力图Ac,2：
S1143：使用第2级混合通道注意力图Ac,2对所述第2级初始差异特征图F2在通道上滤波，生成了第2级初始差异注意力通道特征图Fc,2：
S1144：基于所述初始差异注意力特征图Fa与第2级初始差异注意力通道特征图Fc,2，得到第2级混合特征图
S1145：对第2级混合特征图在空间维度进行压缩激活，得到第2级空间混合注意力图As,2：/>
S1146：使用第2级空间混合注意力图As,2对所述初始差异注意力特征图Fa进行空间信息增强，生成第2级初始差异注意力空间特征图Fs,2：
S1147：基于第2级初始差异注意力通道特征图Fc,2和初始差异注意力空间特征图Fs,2，生成所述第2级初始变化特征图FR,2：FR,2＝Fs，2+Fc，2；
在获得第2级初始变化特征图之后继续进行后续处理：
S1148：对第2级初始变化特征图FR,2和所述第1级初始差异特征图F1压缩激活，生成所述第2级初始变化特征图的通道注意力图AR,2:：AR,2＝σ(f1×1(GAP(FR,2)))和所述第1级初始差异特征图的通道注意力图A1：A1＝σ(f1×1(GAP(F1)))；
S1149：基于所述第2级初始变化特征图的通道注意力图AR,2和所述第1级初始差异特征图的通道注意力图A1，生成第1级混合通道注意力图Ac,1：
S1150：使用第1级混合通道注意力图Ac,1对所述第1级初始差异特征图F1在通道上滤波，生成了第1级初始差异注意力通道特征图Fc,1：
S1151：基于所述第2级初始变化特征图FR,2与第1级初始差异注意力通道特征图Fc,1，得到第1级混合特征图
S1152：对第1级混合特征图在空间维度进行压缩激活，得到第1级空间混合注意力图As,1：/>
S1153：使用第1级空间混合注意力图As,1对所述第2级初始变化特征图FR,2进行空间信息增强，生成第1级初始差异注意力空间特征图Fs,1：
S1154：基于第1级初始差异注意力通道特征图Fc,1和第1级初始差异注意力空间特征图Fs,1，生成所述第1级初始变化特征图FR,1：FR，1＝Fs，1+Fc，1；
在获得第1级初始变化特征图之后继续进行后续处理：
S1155：对第1级初始变化特征图FR,1和所述第0级初始差异特征图F0压缩激活，所述第1级初始变化特征图的通道注意力图AR,1和所述第0级初始差异特征图的通道注意力图A0，其中：AR，1＝σ(f1×1(GAP(FR，1)))，A0＝σ(f1×1(GAP(F0)))；
S1156：基于所述第1级初始变化特征图的通道注意力图AR,1和所述第0级初始差异特征图的通道注意力图A0，生成第0级混合通道注意力图Ac,0：
S1157：最后使用第0级混合通道注意力图Ac,0对所述第0级初始差异特征图F0在通道上滤波，生成了第0级初始差异注意力通道特征图Fc,0：
S1158：基于所述第1级初始变化特征图FR,1与第0级初始差异注意力通道特征图Fc,0，得到第0级混合特征图
S1159：对第0级混合特征图在空间维度进行压缩激活，得到第0级空间混合注意力图As,0：/>
S1160：使用第0级空间混合注意力图As,0对所述第1级初始变化特征图FR,1进行空间信息增强，生成第0级初始差异注意力空间特征图Fs,0：
S1161：基于第0级初始差异注意力通道特征图Fc,0和第0级初始差异注意力空间特征图Fs,0，生成所述第0级初始变化特征图FR,0：FR,0＝Fs,0+Fc，0；
其中，GAP(.)表示全局平均池化，f1×1(.)表示1×1卷积，σ(.)表示sigmoid函数，up(.)表示2倍上采样，MAP(.)表示最大平均池化，表示像素级乘法，/>表示像素级加法。
S105：将所述初始变化特征图进行第二阶段特征金字塔处理，以获得重优化变化特征图，所述重优化变化特征图包括3级重优化变化特征图，分别为第0级重优化变化特征图、第1级重优化变化特征图以及第2级重优化变化特征图。
一些实施例中，该步骤可以通过以下方式实施：
S1051：基于所述初始差异注意力特征图Fa与所述第2级初始变化特征图FR,2，通过第2级滤波融合处理，以生成所述第2级重优化变化特征图Fr,2：
S1052：基于所述第2级重优化变化特征图Fr,2与所述第1级初始变化特征图FR.1，通过第1级滤波融合处理，以生成所述第1级重优化变化特征图Fr.1：
S1053：基于所述第1级重优化变化特征图Fr,1与所述第0级初始变化特征图FR.0，通过第0级滤波融合处理，以生成所述第0级重优化变化特征图Fr,0：
上述两阶段特征金字塔处理都可以通过解码器实现，本发明提出两阶段特征金字塔处理方式，充分利用编码器网络提取获得的多尺度特征，可以有效提高图片检测的精度。
S106：使用所述重优化变化特征图分别对所述第一图像和所述第二图像进行变化预测。
该步骤可以通过以下方式实施：
S1061：对所述第2级重优化变化特征图进行滤波，以获得滤波后的第2级重优化变化特征图；
S1062：将滤波后的第2级重优化变化特征图放大到所述第一图像的大小，以获得第2级变化预测图；
S1063：对所述第1级重优化变化特征图进行滤波，以获得滤波后的第1级重优化变化特征图；
S1064：将滤波后的第1级重优化变化特征图放大到所述第一图像的大小，以获得第1级变化预测图；
S1065：对所述第0级重优化变化特征图进行滤波，以获得滤波后的第0级重优化变化特征图；
S1066：将滤波后的第0级重优化变化特征图放大到所述第一图像的大小，以获得第0级变化预测图。
S107：基于损失函数L进行深度监督和优化，以获得优化后的两阶段特征金字塔网络模型。
损失函数L包括二元交叉熵损失函数LBCE和Dice损失函数LDice：
L＝LDice+LBCE
其中，N是变化图中像素的数量，yn表示第n个像素的状态，n为图像像素位置的索引，yn＝1表示变化，yn＝0表示未变化，pn表示第n个像素变化的概率，Y为实际的变化图，是变化预测图。
二元交叉熵函数被广泛应用于二值分类问题中，变化检测作为一个密集型二值分类任务，因此选择二元交叉熵损失函数LBCE作为损失函数的一部分；遥感图像中变化区域样本和不变区域样本存在分布严重不平衡的问题，而交叉熵损失是基于像素级损失，容易使模型偏向样本数较多的类别，影响网络训练最后的性能；因此引入Dice系数损失函数，Dice系数损失函数用于减弱样本不平衡带来的不利影响。
基于整体损失函数Ls，对变化预测图进行深度监督，整体损失函数Ls表达式如下：
其中，Li表示第i级变化预测图与实际变化图计算的损失函数L。
S108：基于所述优化后的两阶段特征金字塔网络模型对第一待检测图像和第二待检测图像进行检测，以获得检测结果，所述检测结果指示所述第一待检测图像和所述第二待检测图像的变化情况，其中第一待检测图像和第二待检测图像是位于同一地点的不同时间点的图像。
依据本发明的方案，输入图像在经过孪生编码特征提取阶段和第一阶段特征金字塔后，会获得多尺度的初始变化特征。由于初始变化特征是由初始差异特征融合产生，在第一阶段特征金字塔网络的由上而下的逐层融合过程中，通过引入浅层初始差异特征来弥补空间结构信息的缺失，但由于浅层初始差异特征中仍存在大量噪声和伪变化信息，生成的初始变化特征中不可避免仍存在一些伪变化噪声干扰。为进一步提高变化特征描述，通过第二阶段特征金字塔网络对多尺度的初始变化特征再进行一次自上而下的逐层融合，通过深层变化特征逐步剔除伪变化噪声干扰，对变化特征进行重优化。同时为了提高不同尺度变化目标的检测性能，在训练阶段对第二阶段特征金字塔网络生成的多级重优化变化特征图进行变化预测并以损失函数加权的方法进行深度监督。在测试时，只使用最高分辨率的预测结果(第0级变化预测图)作为最终变化检测预测结果。
本发明首先通过孪生编码网络提取双时相图像的编码特征并作差分运算，提取初始差异特征，随后将最后一级初始差异特征输入到自注意力模块中对变化区域信息进行结构性增强。接下来，将自注意力模块细化后的初始差异特征和孪生编码网络提取的多尺度特征输入双注意力模块引导的第一阶段特征金字塔网络，通过双注意力机制引导初始差异特征，使网络更加关注双时相图像中的真实变化区域，有效重建变化区域的空间结构信息和语义特征，进行特征在空间和语义上的交互，生成多尺度初始变化特征。在得到多尺度初始变化特征之后，将多尺度的初始变化特征输入第二阶段特征金字塔网络。第二阶段特征金字塔网络对重建后的多尺度的初始变化特征进行自下而上的逐层融合，对齐多尺度语义信息和多尺度空间信息，通过深度监督的方式剔除浅层特征中的伪变化噪声干扰。最后，通过建立二元交叉熵和Dice系数损失函数对两阶段特征金字塔网络模型进行训练，可以有效改善训练中样本不平衡和尺度差异影响模型性能的问题。
与现有技术相对比，本发明的有益效果是：
(1)本发明使用轻量化的骨干网络Resnet18作为孪生编码网络的子网，在很大程度上克服了梯度消失、模型性能退化等问题。
(2)本发明设计了一个双注意力引导的多尺度差异特征融合模块，通过空间-通道双重注意力机制引导初始差异特征，使网络更加关注双时相图像中的真实变化区域，有效重建变化区域的空间结构信息。对比现有的特征融合策略，双注意力融合模块，充分利用深层特征的语义信息和浅层特征的空间信息，在浅层特征上选择有效的变化语义信息，对深层特征上变化区域信息进行结构信息增强。
(3)本发明设计了一种两阶段特征金字塔网络模型，对双时相的多尺度编码特征提取变化特征，对多尺度特征的空间信息、语义信息进行对齐和配准，抑制伪变化噪声干扰。同时采用深度监督的方法提升模型不同尺度的变化检测性能。
(4)本发明能够显著提高光学遥感图像变化检测效果。特别是针对类不平衡、尺度差异过大的遥感变化检测场景，在提高检测率的基础上，提升了变化区域描述的精确程度。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换，而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (9)

1.一种基于两阶段特征金字塔网络的遥感图像变化检测方法，其特征在于，所述方法针对高分辨率多时相遥感数据，所述方法包括：
将第一图像和第二图像分别进行编码特征提取，以获得第一图像编码特征图以及第二图像编码特征图；其中，所述第一图像和所述第二图像是位于同一地点的不同时间点的图像，所述第一图像编码特征图包括4个不同尺度的编码特征图，分别为第一图像第0级编码特征图、第一图像第1级编码特征图、第一图像第2级编码特征图和第一图像第3级编码特征图，所述第二图像编码特征图包括4个不同尺度的编码特征图，分别为第二图像第0级编码特征图、第二图像第1级编码特征图、第二图像第2级编码特征图和第二图像第3级编码特征图；
将所述第一图像编码特征图以及所述第二图像编码特征图进行相似性处理，以获得初始差异特征图；其中，所述初始差异特征图包括4个不同尺度的初始差异特征图，分别为第0级初始差异特征图、第1级初始差异特征图、第2级初始差异特征图和第3级初始差异特征图；
将所述第3级初始差异特征图进行自注意力空间增强处理，以获得初始差异注意力特征图；
将所述第0级初始差异特征图、所述第1级初始差异特征图、所述第2级初始差异特征图以及所述初始差异注意力特征图进行第一阶段特征金字塔处理，以获得初始变化特征图；其中，所述初始变化特征图包括3级初始变化特征图，分别为第0级初始变化特征图、第1级初始变化特征图以及第2级初始变化特征图；
将所述初始变化特征图进行第二阶段特征金字塔处理，以获得重优化变化特征图；其中，所述重优化变化特征图包括3级重优化变化特征图，分别为第0级重优化变化特征图、第1级重优化变化特征图以及第2级重优化变化特征图；
基于所述重优化变化特征图对所述第一图像和所述第二图像进行变化预测；
基于损失函数进行深度监督和优化，以获得优化后的两阶段特征金字塔网络模型；
以及
基于所述优化后的两阶段特征金字塔网络模型对第一待检测图像和第二待检测图像进行检测，以获得检测结果，所述检测结果指示所述第一待检测图像和所述第二待检测图像的变化情况，其中第一待检测图像和第二待检测图像是位于同一地点的不同时间点的图像。
2.如权利要求1所述的方法，其特征在于，所述将所述第一图像编码特征图以及所述第二图像编码特征图进行相似性处理包括：
所述相似性处理采用差分的形式计算：
Fi＝abs(Fi1-Fi2)，i＝0，1，2，3
其中，Fi1表示所述第一图像第i级编码特征图，Fi2表示所述第二图像第i级编码特征图，Fi表示第i级初始差异特征图。
3.如权利要求1所述的方法，其特征在于，所述将所述第3级初始差异特征图进行自注意力空间增强处理包括：
对所述第3级初始差异特征图进行滤波处理，以获得第3级初始差异特征图的滤波结果；以及
基于所述滤波结果生成初始差异注意力图：
A＝softmax(KTQ)
Fa＝VA
其中，A表示注意力图，K表示被查询特征图，Q表示查询特征图，T表示矩阵转置，V表示表征特征图，Fa表示初始差异注意力图。
4.如权利要求1所述的方法，其特征在于，所述将所述第0级初始差异特征图、所述第1级初始差异特征图、所述第2级初始差异特征图以及所述初始差异注意力特征图进行第一阶段特征金字塔处理，包括：
基于所述初始差异注意力特征图和第2级初始差异特征图，经过第2级双注意力处理，生成第2级初始变化特征图；
基于所述第2级初始变化特征图和第1级初始差异特征图，经过第1级双注意力处理，生成第1级初始变化特征图；以及
基于所述第1级初始变化特征图和第0级初始差异特征图，经过第0级双注意力处理，生成第0级初始变化特征图；
其中，所述第2级双注意力处理、所述第1级双注意力处理以及所述第0级双注意力处理都包括双注意力处理。
5.如权利要求4所述的方法，其特征在于，所述双注意力处理包括：
对第一输入数据和第二输入数据在通道维度上进行压缩激活处理，以生成通道注意力图；
对所述通道注意力图进行融合处理，以生成混合通道注意力图；
基于所述混合通道注意力图对所述第一输入数据在通道上滤波，以生成通道特征图；
对所述第二输入数据与通道特征图进行融合处理，以获得混合特征图；
对所述混合特征图在空间维度进行压缩激活，以获得空间混合注意力图；
使用所述空间混合注意力图对所述第二输入数据进行空间信息增强，以生成空间特征图；以及
对所述通道特征图和所述空间特征图进行融合处理，以生成初始变化特征图。
6.如权利要求1所述的方法，其特征在于，所述将所述初始变化特征图进行第二阶段特征金字塔处理包括：
基于所述初始差异注意力特征图与所述第2级初始变化特征图，通过第2级滤波融合处理，以生成第2级重优化变化特征图；
基于所述第2级重优化变化特征图与所述第1级初始变化特征图，通过第1级滤波融合处理，以生成第1级重优化变化特征图；以及
基于所述第1级重优化变化特征图与所述第0级初始变化特征图，通过第0级滤波融合处理，以生成所述第0级重优化变化特征图。
7.如权利要求6所述的方法，其特征在于，
所述第2级滤波融合处理表达式如下：Fr,2＝f1×1(up(Fa)⊕FR,2)；
所述第1级滤波融合处理表达式如下：Fr,1＝f1×1(up(Fr,2)⊕FR,1)；
所述第0级滤波融合处理表达式如下：Fr,0＝f1×1(up(Fr,1)⊕FR,0)；
其中，Fr,2表示所述第2级重优化变化特征图，Fr,1表示所述第1级重优化变化特征图，Fr,0表示所述第0级重优化变化特征图，FR,2表示所述第2级初始变化特征图，FR,1表示所述第1级初始变化特征图，FR,0表示所述第0级初始变化特征图，Fa表示所述初始差异注意力特征图。
8.如权利要求1所述的方法，其特征在于，使用所述重优化变化特征图对所述第一图像和所述第二图像进行变化预测包括：
对所述第2级重优化变化特征图进行滤波，以获得滤波后的第2级重优化变化特征图；并将所述滤波后的第2级重优化变化特征图放大到所述第一图像的大小，以获得第2级变化预测图；
对所述第1级重优化变化特征图进行滤波，以获得滤波后的第1级重优化变化特征图；并将所述滤波后的第1级重优化变化特征图放大到所述第一图像的大小，以获得第1级变化预测图；以及
对所述第0级重优化变化特征图进行滤波，以获得滤波后的第0级重优化变化特征图；并将所述滤波后的第0级重优化变化特征图放大到所述第一图像的大小，以获得第0级变化预测图。
9.如权利要求1所述的方法，其特征在于，所述基于损失函数进行深度监督和优化包括：
构建损失函数L，所述损失函数L包括二元交叉熵损失函数LBCE和Dice损失函数LDice：
L＝LDice+LBCE
其中，N是变化图中像素的数量，yn表示第n个像素的状态，n为图像像素位置的索引，yn＝1表示变化，yn＝0表示未变化，pn表示第n个像素变化的概率，Y为实际变化图，是变化预测图；以及
基于整体损失函数Ls，对第2级变化预测图、第1级变化预测图以及第0级变化预测图进行深度监督，所述整体损失函数Ls表达式如下：
其中，Li表示第i级变化预测图与实际变化图计算的损失函数L。
CN202311067434.9A 2023-08-23 2023-08-23 一种基于两阶段特征金字塔网络的遥感图像变化检测方法 Pending CN117152072A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311067434.9A CN117152072A (zh) 2023-08-23 2023-08-23 一种基于两阶段特征金字塔网络的遥感图像变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311067434.9A CN117152072A (zh) 2023-08-23 2023-08-23 一种基于两阶段特征金字塔网络的遥感图像变化检测方法

Publications (1)

Publication Number Publication Date
CN117152072A true CN117152072A (zh) 2023-12-01

Family

ID=88911147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311067434.9A Pending CN117152072A (zh) 2023-08-23 2023-08-23 一种基于两阶段特征金字塔网络的遥感图像变化检测方法

Country Status (1)

Country Link
CN (1) CN117152072A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117830875A (zh) * 2024-03-05 2024-04-05 山东科技大学 一种基于时空鲁棒表征提取的遥感变化检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117830875A (zh) * 2024-03-05 2024-04-05 山东科技大学 一种基于时空鲁棒表征提取的遥感变化检测方法
CN117830875B (zh) * 2024-03-05 2024-05-24 山东科技大学 一种基于时空鲁棒表征提取的遥感变化检测方法

Similar Documents

Publication Publication Date Title
CN111062297B (zh) 基于eann深度学习模型的暴力异常行为检测方法
CN112215819B (zh) 基于深度特征融合的机场道面裂缝检测方法
CN111461083A (zh) 基于深度学习的快速车辆检测方法
CN107092884B (zh) 一种快速粗精级联行人检测方法
CN111898432B (zh) 一种基于改进YOLOv3算法的行人检测系统及方法
CN111461129B (zh) 一种基于上下文先验的场景分割方法和系统
CN116152254B (zh) 工业泄露目标气体检测模型训练方法、检测方法、电子设备
CN116342894B (zh) 基于改进YOLOv5的GIS红外特征识别系统及方法
CN117152072A (zh) 一种基于两阶段特征金字塔网络的遥感图像变化检测方法
CN110599459A (zh) 基于深度学习的地下管网风险评估云系统
CN115131747A (zh) 基于知识蒸馏的输电通道工程车辆目标检测方法及系统
CN114463340B (zh) 一种边缘信息引导的敏捷型遥感图像语义分割方法
CN116844126A (zh) 一种基于YOLOv7改进的复杂道路场景目标检测方法
CN115937736A (zh) 基于注意力和上下文感知的小目标检测方法
Yang et al. C-RPNs: Promoting object detection in real world via a cascade structure of Region Proposal Networks
Wu et al. M-FasterSeg: An efficient semantic segmentation network based on neural architecture search
CN116506210A (zh) 基于流量特征融合的网络入侵检测方法及系统
CN117197687A (zh) 一种面向无人机航拍密集小目标的检测方法
CN113283393B (zh) 基于图像组与两流网络的Deepfake视频检测方法
CN113344005B (zh) 一种基于优化小尺度特征的图像边缘检测方法
CN114463732A (zh) 一种基于知识蒸馏的场景文本检测方法及装置
Liu et al. Text detection based on bidirectional feature fusion and sa attention mechanism
CN111008986A (zh) 一种基于多任务半卷积的遥感图像分割方法
CN114298187B (zh) 一种融合改进注意力机制的目标检测方法
Gangyi et al. Small object detection via dual inspection mechanism for UAV visual images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination