CN116310692A - 多特征融合遥感图像变化检测方法及系统 - Google Patents

多特征融合遥感图像变化检测方法及系统 Download PDF

Info

Publication number
CN116310692A
CN116310692A CN202310340120.5A CN202310340120A CN116310692A CN 116310692 A CN116310692 A CN 116310692A CN 202310340120 A CN202310340120 A CN 202310340120A CN 116310692 A CN116310692 A CN 116310692A
Authority
CN
China
Prior art keywords
feature
layer
remote sensing
sensing image
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310340120.5A
Other languages
English (en)
Inventor
杨公平
冯明尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202310340120.5A priority Critical patent/CN116310692A/zh
Publication of CN116310692A publication Critical patent/CN116310692A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了多特征融合遥感图像变化检测方法及系统，所述方法，包括：获取待检测的双时相遥感图像；对待检测的双时相遥感图像进行预处理；将预处理后的双时相遥感图像，输入到训练后的遥感图像变化检测模型中，输出检测结果；其中，训练后的遥感图像变化检测模型，用于对输入的待检测双时相遥感图像进行初步特征提取，提取出若干个不同的初步特征，并对每个初步特征进一步提取特征图，然后对不同的特征图进行多特征融合得到融合特征，最后对融合特征进行预测输出变化图。通过并行使用Transformer和高分辨率卷积，可以在获得全局信息的同时提高变化区域的分割精度，从而有效地获得检测准确且边缘信息更好的变化图像。

Description

多特征融合遥感图像变化检测方法及系统
技术领域
本发明涉及图像处理、遥感图像变化检测技术，特别是涉及多特征融合遥感图像变化检测方法及系统。
背景技术
本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。
遥感图像变化检测是遥感图像领域中的应用，目的是识别双时相遥感图像之间的变化信息。通过对比相同区域在不同时间获取的遥感图像，为每个像素分配变化与不变的二进制标签，获得该区域的变化信息。这种技术被广泛运用于城市发展规划、土地管理、灾害评估等领域中用于分析和解决相应的具体问题。随着遥感卫星技术的发展，遥感数据的获取变得越发便利，遥感图像的相关领域也借此得到更好的发展。
在自然语言处理领域中的Transformer被迁移为视觉Transformer(ViT)应用在计算机图像处理领域中获得了相当不错的表现，通过采用自注意力的方式，使得模型更加关注全局信息，可以学习到整张图像中距离较远的像素关系。遥感图像中经常出现距离较远的物体却具有相似特征的情况，如不同位置的房屋、道路、树木等，因此Transformer的思路也被引入处理遥感图像相关领域的方向，并取得了不错的效果。由于Transformer采用了自注意力的方式，获得了更多的全局信息，虽然能使每个像素关注了与其他全部像素的信息关系，但模糊了相邻像素本应具有的大量相关性信息，导致细节信息的丢失，对变化物体边缘区域的分割不准确。
发明内容
为了解决现有技术的不足，本发明提供了多特征融合遥感图像变化检测方法及系统；通过并行使用Transformer和高分辨率卷积，可以在获得全局信息的同时提高变化区域的分割精度，从而有效地获得检测准确且边缘信息更好的变化图像。
第一方面，本发明提供了多特征融合遥感图像变化检测方法；
多特征融合遥感图像变化检测方法，包括：
获取待检测的双时相遥感图像；
对待检测的双时相遥感图像进行预处理；
将预处理后的双时相遥感图像，输入到训练后的遥感图像变化检测模型中，输出检测结果；
其中，训练后的遥感图像变化检测模型，用于对输入的待检测双时相遥感图像进行初步特征提取，提取出若干个不同的初步特征，并对每个初步特征进一步提取特征图，然后对不同的特征图进行多特征融合得到融合特征，最后对融合特征进行预测输出变化图。
第二方面，本发明提供了多特征融合遥感图像变化检测系统；
多特征融合遥感图像变化检测系统，包括：
获取模块，其被配置为：获取待检测的双时相遥感图像；
预处理模块，其被配置为：对待检测的双时相遥感图像进行预处理；
输出模块，其被配置为：将预处理后的双时相遥感图像，输入到训练后的遥感图像变化检测模型中，输出检测结果；
其中，训练后的遥感图像变化检测模型，用于对输入的待检测双时相遥感图像进行初步特征提取，提取出若干个不同的初步特征，并对每个初步特征进一步提取特征图，然后对不同的特征图进行多特征融合得到融合特征，最后对融合特征进行预测输出变化图。
第三方面，本发明还提供了一种电子设备，包括：
存储器，用于非暂时性存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，
其中，所述计算机可读指令被所述处理器运行时，执行上述第一方面所述的方法。
第四方面，本发明还提供了一种存储介质，非暂时性地存储计算机可读指令，其中，当非暂时性计算机可读指令由计算机执行时，执行第一方面所述方法的指令。
第五方面，本发明还提供了一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现上述第一方面所述的方法。
与现有技术相比，本发明的有益效果是：
提出了一种基于Transformer混合模型的多特征融合遥感图像变化检测网络结构，克服了变化检测网络在使用Transformer时存在缺少连续性信息的缺点，对变化信息的边缘有更好的精度；相较于现有的方法可以将不同维度所使用的Transformer关注的全局信息相结合，有效地增强了使用Transformer网络时的效果。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为实施例一的方法流程图；
图2为实施例一的遥感图像变化检测模型内部网络结构图；
图3为实施例一的Transformer模块结构图；
图4为实施例一的多特征融合模块结构图；
图5为实施例一的预测器结构示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
本实施例所有数据的获取都在符合法律法规和用户同意的基础上，对数据的合法应用。
对于使用了Transformer的遥感图像变化检测模型而言，结合具有不同分辨率的特征图补充模糊的边缘信息，达成对变化区域的判断就成为了一种简单有效的方法。通过将不同分辨率的特征图在上采样的过程中进行融合，并使用带有注意力模块的预测器，可以获得具有更准确分割效果的特征图，有效地学习到所丢失的相邻像素之间的语义关系与细节边缘信息，最终帮助分割出更加准确的变化区域。
Transformer混合模型为ViT模型中提到的Transformer模型的一种，与直接使用Transformer层替代原本深度学习中使用的卷积层不同，Transformer混合模型通过将卷积层与Transformer层串联的方式，达到与直接使用Transformer层相似的效果，且由于加入了标准的卷积结构，导致模型的可扩展性得以增强。
实施例一
本实施例提供了多特征融合遥感图像变化检测方法；
如图1所示，多特征融合遥感图像变化检测方法，包括：
S101：获取待检测的双时相遥感图像；
S102：对待检测的双时相遥感图像进行预处理；
S103：将预处理后的双时相遥感图像，输入到训练后的遥感图像变化检测模型中，输出检测结果；
其中，训练后的遥感图像变化检测模型，用于对输入的待检测双时相遥感图像进行初步特征提取，提取出若干个不同的初步特征，并对每个初步特征进一步提取特征图，然后对不同的特征图进行多特征融合得到融合特征，最后对融合特征进行预测输出变化图。
进一步地，所述S101：获取待检测的双时相遥感图像，是通过遥感卫星的拍照单元采集两个不同时间点的相同区域遥感影像数据并对数据进行配准获得的。
进一步地，所述S102：对待检测的双时相遥感图像进行预处理，包括：对图像划分为若干个尺寸一致的图像。
进一步地，如图2所示，所述训练后的遥感图像变化检测模型，包括：ResNet18网络，ResNet18网络包括依次连接的conv1层、conv2_x层、conv3_x层、conv4_x层、conv5_x层；
conv2_x层的输出端与第一Transformer层的输入端连接，第一Transformer层的输出端与第一串联拼接器的输入端连接，第一串联拼接器的输出端与第一多特征融合模块的输入端连接，第一多特征融合模块的输出端与第一预测器连接；
conv3_x层的输出端与第二Transformer层的输入端连接，第二Transformer层的输出端与第二串联拼接器的输入端连接，第二串联拼接器的输出端与第二多特征融合模块的输入端连接，第二多特征融合模块的输出端与第一串联拼接器的输入端连接；
conv4_x层的输出端与第三Transformer层的输入端连接，第三Transformer层的输出端与第三串联拼接器的输入端连接，第三串联拼接器的输出端与第三多特征融合模块的输入端连接；第三多特征融合模块的输出端与第二串联拼接器的输入端连接；
conv5_x层的输出端与第四Transformer层的输入端连接，第四Transformer层的输出端与第三串联拼接器的输入端连接。
进一步地，conv2_x层，包括两个卷积块，每个卷积块，包括两个依次连接的3*3卷积层，每个卷积层后都有批量归一化层和激活函数层与卷积层直接相连，然后通过一个跨层通路，跳过这两个卷积层，通过一个1*1卷积层将结果加在最后的激活函数层之前；
conv3_x层，包括两个卷积块，每个卷积块，包括两个依次连接的3*3卷积层，每个卷积层后都有批量归一化层和激活函数层与卷积层直接相连，然后通过一个跨层通路，跳过这两个卷积层，通过一个1*1卷积层将结果加在最后的激活函数层之前；
conv4_x层，包括两个卷积块，每个卷积块，包括两个依次连接的3*3卷积层，每个卷积层后都有批量归一化层和激活函数层与卷积层直接相连，然后通过一个跨层通路，跳过这两个卷积层，通过一个1*1卷积层将结果加在最后的激活函数层之前；
conv5_x层，包括两个卷积块，每个卷积块，包括两个依次连接的3*3卷积层，每个卷积层后都有批量归一化层和激活函数层与卷积层直接相连，然后通过一个跨层通路，跳过这两个卷积层，通过一个1*1卷积层将结果加在最后的激活函数层之前。
进一步地，所述对输入的待检测双时相遥感图像进行初步特征提取，提取出若干个不同的初步特征，是通过ResNet18网络的conv2_x层、conv3_x层、conv4_x层、conv5_x层来实现的；ResNet18网络的conv1层输入待检测双时相遥感图像，conv2_x层输出初步特征D1，conv3_x层输出初步特征D2，conv4_x层输出初步特征D3，conv5_x层输出初步特征D4。
应理解地，将双时相图像送入经过预训练的ResNet-18网络获取双时相遥感图像在不同维度的初步特征，本发明使用修改后的ResNet-18作为Transformer特征提取网络模型的编码器结构，并使用了ImageNet数据集中预训练获得的初始化模型参数。原本的ResNet-18含有5个阶段，如图2所示，每个阶段都会将图像的长宽下采样为1/2的大小。将ResNet-18的第五个阶段的卷积层步长修改为1，使第五个阶段不再将图像进行下采样操作。
将两张大小为256*256*3的同一区域的双时相遥感图像通过ResNet-18网络进行处理最终获得两个16*16*512大小的特征图，作为特征提取网络获取的初步特征信息。
因此遥感图像数据经过ResNet-18特征提取网络的conv1层、conv2_x层、conv3_x层、conv4_x层、conv5_x层，每一层输出特征图的尺寸分别为
Figure BDA0004157921780000081
以及
Figure BDA0004157921780000082
其中，H和W分别代表输入原始图像的高度和宽度。然后，将ResNet18特征提取网络中conv2_x层、conv3_x层、conv4_x层、conv5_x层提取出的每组双时相图像特征图在通道维度分别串接为64*64*128、32*32*256、16*16*512和32*32*1024大小的特征图D1、D2、D3、D4。
进一步地，所述对每个初步特征进一步提取特征图，是通过第一、第二、第三和第四Transformer层来实现的；第一Transformer层输入初步特征D1，第一Transformer层输出特征图D1’；第二Transformer层输入初步特征D2，第二Transformer层输出特征图D2’；第三Transformer层输入初步特征D3，第三Transformer层输出特征图D3’；第四Transformer层输入初步特征D4，第四Transformer层输出特征图D4’。
进一步地，所述第一、第二、第三和第四Transformer层内部结构是一致的。
进一步地，如图3所示，所述第一Transformer层，包括：依次串联的八个Transformer特征提取模块；每个Transformer特征提取模块，包括：输入层、第一层归一化模块、多头注意力机制模块、第一加法器、第二层归一化模块、多层感知机、第二加法器和输出层；所述输入层的输出端还与第一加法器的输入端连接；所述第一加法器的输出端还与第二加法器的输入端连接。
应理解地，将ResNet18网络中获得的每一组特征图分别送入Transformer层获得特征图；将ResNet-18网络中获得的特征图D1、D2、D3、D4分别送入Transformer层进行特征图提取，捕获对应维度的全局语义信息，获得与输入特征提取模块的特征图相同大小的特征图D1’、D2’、D3’、D4’。
Transformer特征提取层均由8个Transformer特征提取模块组成，每个Transformer特征提取模块由图3所示。
经过Transformer层后输出的特征图尺寸均与输入时相同，分别为
Figure BDA0004157921780000091
以及/>
Figure BDA0004157921780000092
其中H和W分别代表输入原始图像的高度和宽度。
进一步地，所述对不同的特征图进行多特征融合得到融合特征，是通过第一、第二和第三多特征融合模块来实现的，第一多特征融合模块对特征图D3’和特征图D4’的串联拼接结果进行特征融合，得到特征图D3”；
第二多特征融合模块对特征图D3”和特征图D2’的串联拼接结果进行特征融合，得到特征图D2”；
第三多特征融合模块对特征图D2”和特征图D1’的串联拼接结果进行特征融合，得到特征图D1”。
进一步地，所述第一、第二和第三多特征融合模块，其内部结构是一致的。
进一步地，如图4所示，所述第一多特征融合模块，包括：输入层；
所述输入层的输入端用于输入相应串联拼接器的输出结果；
所述输入层的输出端分别与第一、第二和第三分支的输入端口连接；
所述第一分支为1*1的卷积层；所述第二分支为平均池化层；所述第三分支为最大池化层；所述第二分支的输出端和第三分支的输出端，均与第三加法器的输入端连接；
第三加法器的输出端与激活函数层的输入端连接；激活函数层的输出端和第一分支的输出端均与第一乘法器的输入端连接，第一乘法器的输出端输出最后特征融合的结果。
应理解地，将Transformer特征提取网络获得的各组特征图送入特征融合模块，将Transformer特征提取网络中获得的特征图进行逐步上采样操作，每一次操作将特征图D1’、D2’、D3’、D4’中具有相同尺寸的特征图串接，并通过多特征融合模块将特征图融合，最后通过上采样操作获得更高尺寸的特征图。
进一步地，第一、第二和第三多特征融合模块，其工作过程是一致的；
所述第三多特征融合模块，工作过程为：
针对
Figure BDA0004157921780000101
以及/>
Figure BDA0004157921780000102
两个特征图，将这两个特征图串接为一个尺寸为/>
Figure BDA0004157921780000103
大小的特征图作为多特征融合模块的输入；如图4所示，将输入特征图分别通过平均池化层和最大池化层获得两个尺寸为/>
Figure BDA0004157921780000104
大小的特征图，将这两个特征图相加，并通过一个sigmoid激活函数，获得具有空间注意力的特征图E1；
同时，将输入特征图通过一个1*1卷积层降低通道数量，获得一个通道数大小为输入通道数
Figure BDA0004157921780000105
的特征图E2，E2是尺寸为/>
Figure BDA0004157921780000106
大小的特征图；
最后将E1与E2相乘，得到多特征融合模块的输出，输出与E2的尺寸相同，为
Figure BDA0004157921780000107
将该输出进行线性插值上采样操作，获得尺寸为/>
Figure BDA0004157921780000111
大小的新特征图，其中H和W分别代表输入原始图像的高度和宽度。
示例性地，所述第一、第二和第三多特征融合模块，整体流程为输入特征图D3’、D4’，获得尺寸为
Figure BDA0004157921780000112
大小的新特征图D3”；
再将D3”与特征图D2’送入多特征融合模块，获得尺寸为
Figure BDA0004157921780000113
的特征图D2”；
最后将D2”与特征图D1’送入多特征融合模块，获得尺寸为
Figure BDA0004157921780000114
的特征图D1”。
将D1”进行线性插值上采样操作，并通过一个1*1卷积层降低通道数量，得到上采样特征融合模块的输出D。
特征图D的尺寸为H×W×64，其中H和W分别代表输入原始图像的高度和宽度。
进一步地，所述对融合特征进行预测输出变化图，是通过预测器对特征图D1”进行预测，输出变化图。
示例性地，将两组目标分辨率特征图送入预测器获得变化图，将特征融合模块输出的尺寸为H×W×64大小的特征图送入一个带有注意力的全卷积网络预测器进行变化识别。如图5所示，预测器由一个注意力模块和一个全卷积网络层组成，输出的尺寸为H×W×2，其中H和W分别代表输入原始图像的高度和宽度。
注意力模块中，输入图像通过一个全局平均池化层和一个1*1卷积核的卷积层获取特征图的通道注意力信息，再通过一个sigmoid激活函数将输出特征控制在0，1之间，获得一个尺寸为H×W×1通道特征图F。通过将通道特征图F与输入图像相乘，获得具有通道注意信息的特征图，再与输入图像直接相加，避免注意力模块造成一定程度的信息损失，从而得到与输入图像相同尺寸H×W×32的特征图。
全卷积网络层由一个3*3卷积层、批归一化层、ReLU激活函数和一个3*3卷积层组成。其中，第一个卷积层的输出通道数量与输入的通道数量相同，而第二个卷积层的输出通道数为2，输出的尺寸为H×W×2，其中H和W分别代表输入原始图像的高度和宽度。得到的输出即为变化图，变化图中每个像素的两个通道分别代表该像素未变化情况与变化情况的概率，将二者较大的一方作为该像素实际状态进行输出。
进一步地，如图5所示，所述预测器，包括注意力模块和全卷积网络层；
所述注意力模块的输入端为预测器的输入端；
所述注意力模块，包括依次连接的平均池化层、1*1卷积层和激活函数层；
所述预测器的输入端和激活函数层的输出端均与第二乘法器的输入端连接；
所述第二乘法器的输出端和预测器的输入端均与第四加法器的输入端连接；
第四加法器的输出端与全卷积网络层的输入端连接；
全卷积网络层，包括：依次连接的3*3卷积层C1、批量归一化层、激活函数层和3*3卷积层C2；3*3卷积层C1作为全卷积网络层的输入端，3*3卷积层C2作为全卷积网络层的输出端，3*3卷积层C2作为预测器的输出端。
进一步地，所述训练后的遥感图像变化检测模型，训练过程包括：
构建数据集，将数据集按照比例划分为训练集、验证集和测试集，所述训练集为已知图像变化结果的双时相遥感图像；
将训练集输入到遥感图像变化检测模型中，对遥感图像变化检测模型进行训练，当遥感图像变化检测模型的损失函数值不再下降或者迭代次数超过设定阈值时，停止训练，得到训练后的遥感图像变化检测模型；
采用验证集，对每一次迭代中训练后的遥感图像变化检测模型进行验证，保留验证时具有最高分数的模型参数；
采用测试集，对全部迭代结束后的遥感图像变化检测模型进行测试。
进一步地，所述损失函数，采用交叉熵损失函数。通过预测器输出结果与像素真实标签的对比计算损失值，反向传播更新模型的参数。交叉熵损失函数如下：
Figure BDA0004157921780000131
其中，H和W分别代表输入原始图像的高度和宽度，Ph,w代表位置在(h,w)处像素的预测标签，Gh,w代表位置在(h,w)处像素的真实标签。
本发明将双时相图像送入经过预训练的ResNet18网络获取双时相遥感图像在不同维度的初步特征；将ResNet18网络中获得的每一组特征图分别送入Transformer特征提取模块获得特征图；将Transformer特征提取网络获得的各组特征图送入特征融合模块；将特征融合后的特征图送入预测器获取变化图。
示例性地，所述将数据集按照比例划分为训练集、验证集和测试集，是将原始数据集按照7：1：2的比例划分为训练集、验证集和测试集。
示例性地，所述构建数据集的过程中，对数据进行预处理，所述预处理包括：由于计算资源的限制，将原本每张1024*1024像素大小的遥感图像划分为16块256*256像素大小的图像。对划分后的每张图像进行随机的裁剪、旋转、翻转、高斯模糊等数据增强处理，使用处理后的图像作为数据集进行学习，最终得到的图像尺寸为256*256*3(长*宽*通道数)。
实施例二
本实施例提供了多特征融合遥感图像变化检测系统；
多特征融合遥感图像变化检测系统，包括：
获取模块，其被配置为：获取待检测的双时相遥感图像；
预处理模块，其被配置为：对待检测的双时相遥感图像进行预处理；
输出模块，其被配置为：将预处理后的双时相遥感图像，输入到训练后的遥感图像变化检测模型中，输出检测结果；
其中，训练后的遥感图像变化检测模型，用于对输入的待检测双时相遥感图像进行初步特征提取，提取出若干个不同的初步特征，并对每个初步特征进一步提取特征图，然后对不同的特征图进行多特征融合得到融合特征，最后对融合特征进行预测输出变化图。
此处需要说明的是，上述获取模块、预处理模块和输出模块对应于实施例一中的步骤S101至S103，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
所提出的系统，可以通过其他的方式实现。例如以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。
实施例三
本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的方法。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元及算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
实施例四
本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.多特征融合遥感图像变化检测方法，其特征是，包括：
获取待检测的双时相遥感图像；
对待检测的双时相遥感图像进行预处理；
将预处理后的双时相遥感图像，输入到训练后的遥感图像变化检测模型中，输出检测结果；
其中，训练后的遥感图像变化检测模型，用于对输入的待检测双时相遥感图像进行初步特征提取，提取出若干个不同的初步特征，并对每个初步特征进一步提取特征图，然后对不同的特征图进行多特征融合得到融合特征，最后对融合特征进行预测输出变化图。
2.如权利要求1所述的多特征融合遥感图像变化检测方法，其特征是，所述训练后的遥感图像变化检测模型，包括：ResNet18网络，ResNet18网络包括依次连接的conv1层、conv2_x层、conv3_x层、conv4_x层、conv5_x层；
conv2_x层的输出端与第一Transformer层的输入端连接，第一Transformer层的输出端与第一串联拼接器的输入端连接，第一串联拼接器的输出端与第一多特征融合模块的输入端连接，第一多特征融合模块的输出端与第一预测器连接；
conv3_x层的输出端与第二Transformer层的输入端连接，第二Transformer层的输出端与第二串联拼接器的输入端连接，第二串联拼接器的输出端与第二多特征融合模块的输入端连接，第二多特征融合模块的输出端与第一串联拼接器的输入端连接；
conv4_x层的输出端与第三Transformer层的输入端连接，第三Transformer层的输出端与第三串联拼接器的输入端连接，第三串联拼接器的输出端与第三多特征融合模块的输入端连接；第三多特征融合模块的输出端与第二串联拼接器的输入端连接；
conv5_x层的输出端与第四Transformer层的输入端连接，第四Transformer层的输出端与第三串联拼接器的输入端连接。
3.如权利要求2所述的多特征融合遥感图像变化检测方法，其特征是，所述对输入的待检测双时相遥感图像进行初步特征提取，提取出若干个不同的初步特征，是通过ResNet18网络的conv2_x层、conv3_x层、conv4_x层、conv5_x层来实现的；ResNet18网络的conv1层输入待检测双时相遥感图像，conv2_x层输出初步特征D1，conv3_x层输出初步特征D2，conv4_x层输出初步特征D3，conv5_x层输出初步特征D4。
4.如权利要求3所述的多特征融合遥感图像变化检测方法，其特征是，所述对每个初步特征进一步提取特征图，是通过第一、第二、第三和第四Transformer层来实现的；第一Transformer层输入初步特征D1，第一Transformer层输出特征图D1’；第二Transformer层输入初步特征D2，第二Transformer层输出特征图D2’；第三Transformer层输入初步特征D3，第三Transformer层输出特征图D3’；第四Transformer层输入初步特征D4，第四Transformer层输出特征图D4’。
5.如权利要求4所述的多特征融合遥感图像变化检测方法，其特征是，所述第一Transformer层，包括：依次串联的八个Transformer特征提取模块；每个Transformer特征提取模块，包括：输入层、第一层归一化模块、多头注意力机制模块、第一加法器、第二层归一化模块、多层感知机、第二加法器和输出层；所述输入层的输出端还与第一加法器的输入端连接；所述第一加法器的输出端还与第二加法器的输入端连接。
6.如权利要求4所述的多特征融合遥感图像变化检测方法，其特征是，所述对不同的特征图进行多特征融合得到融合特征，是通过第一、第二和第三多特征融合模块来实现的，第一多特征融合模块对特征图D3’和特征图D4’的串联拼接结果进行特征融合，得到特征图D3”；
第二多特征融合模块对特征图D3”和特征图D2’的串联拼接结果进行特征融合，得到特征图D2”；
第三多特征融合模块对特征图D2”和特征图D1’的串联拼接结果进行特征融合，得到特征图D1”；
所述第一多特征融合模块，包括：输入层；
所述输入层的输入端用于输入相应串联拼接器的输出结果；
所述输入层的输出端分别与第一、第二和第三分支的输入端口连接；
所述第一分支为1*1的卷积层；所述第二分支为平均池化层；所述第三分支为最大池化层；所述第二分支的输出端和第三分支的输出端，均与第三加法器的输入端连接；
第三加法器的输出端与激活函数层的输入端连接；激活函数层的输出端和第一分支的输出端均与第一乘法器的输入端连接，第一乘法器的输出端输出最后特征融合的结果。
7.如权利要求6所述的多特征融合遥感图像变化检测方法，其特征是，第一、第二和第三多特征融合模块，其工作过程是一致的；
所述第三多特征融合模块，工作过程为：
针对
Figure FDA0004157921770000031
以及/>
Figure FDA0004157921770000032
两个特征图，将这两个特征图串接为一个尺寸为/>
Figure FDA0004157921770000041
大小的特征图作为当前多特征融合模块的输入；将输入特征图分别通过平均池化层和最大池化层获得两个尺寸为/>
Figure FDA0004157921770000042
大小的特征图，将这两个特征图相加，并通过一个sigmoid激活函数，获得具有空间注意力的特征图E1；
同时，将输入特征图通过一个1*1卷积层降低通道数量，获得一个通道数大小为输入通道数
Figure FDA0004157921770000043
的特征图E2，E2是尺寸为/>
Figure FDA0004157921770000044
大小的特征图；
最后将E1与E2相乘，得到多特征融合模块的输出，输出与E2的尺寸相同，为
Figure FDA0004157921770000045
将该输出进行线性插值上采样操作，获得尺寸为/>
Figure FDA0004157921770000046
大小的新特征图，其中H和W分别代表输入原始图像的高度和宽度。
8.多特征融合遥感图像变化检测系统，其特征是，包括：
获取模块，其被配置为：获取待检测的双时相遥感图像；
预处理模块，其被配置为：对待检测的双时相遥感图像进行预处理；
输出模块，其被配置为：将预处理后的双时相遥感图像，输入到训练后的遥感图像变化检测模型中，输出检测结果；
其中，训练后的遥感图像变化检测模型，用于对输入的待检测双时相遥感图像进行初步特征提取，提取出若干个不同的初步特征，并对每个初步特征进一步提取特征图，然后对不同的特征图进行多特征融合得到融合特征，最后对融合特征进行预测输出变化图。
9.一种电子设备，其特征是，包括：
存储器，用于非暂时性存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，
其中，所述计算机可读指令被所述处理器运行时，执行上述权利要求1-7任一项所述的方法。
10.一种存储介质，其特征是，非暂时性地存储计算机可读指令，其中，当非暂时性计算机可读指令由计算机执行时，执行权利要求1-7任一项所述方法的指令。
CN202310340120.5A 2023-03-29 2023-03-29 多特征融合遥感图像变化检测方法及系统 Pending CN116310692A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310340120.5A CN116310692A (zh) 2023-03-29 2023-03-29 多特征融合遥感图像变化检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310340120.5A CN116310692A (zh) 2023-03-29 2023-03-29 多特征融合遥感图像变化检测方法及系统

Publications (1)

Publication Number Publication Date
CN116310692A true CN116310692A (zh) 2023-06-23

Family

ID=86794136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310340120.5A Pending CN116310692A (zh) 2023-03-29 2023-03-29 多特征融合遥感图像变化检测方法及系统

Country Status (1)

Country Link
CN (1) CN116310692A (zh)

Similar Documents

Publication Publication Date Title
US10614574B2 (en) Generating image segmentation data using a multi-branch neural network
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
CN113761976A (zh) 基于全局引导选择性上下文网络的场景语义解析方法
CN110781756A (zh) 基于遥感图像的城市道路提取方法及装置
CN112907530B (zh) 基于分组反向注意力的伪装物体检测方法及系统
CN113901900A (zh) 一种同源或异源遥感图像用无监督变化检测方法及系统
CN114549369B (zh) 数据修复方法、装置、计算机及可读存储介质
CN111914654A (zh) 一种文本版面分析方法、装置、设备和介质
CN111401421A (zh) 基于深度学习的图像类别判定方法、电子设备以及介质
CN114266901A (zh) 文档轮廓提取模型构建方法、装置、设备及可读存储介质
CN113643173A (zh) 水印去除方法、装置、终端设备及可读存储介质
CN116229406B (zh) 车道线检测方法、系统、电子设备及存储介质
CN116386023B (zh) 基于时空扩散的高位相机车牌识别方法、系统及电子设备
CN116310692A (zh) 多特征融合遥感图像变化检测方法及系统
CN112507933B (zh) 基于集中式信息交互的显著性目标检测方法及系统
CN114639004A (zh) 多聚焦图像融合方法及装置
CN114820755A (zh) 一种深度图估计方法及系统
CN113160217A (zh) 一种线路异物的检测方法、装置、设备及存储介质
CN113139617A (zh) 一种输电线路自主定位方法、装置及终端设备
CN112651926A (zh) 一种基于递归注意力机制的裂纹检测的方法及装置
CN113761961B (zh) 一种二维码识别方法和装置
CN116645524B (zh) 边缘检测方法及图像分割方法
CN116958954B (zh) 基于关键点与旁路矫正的车牌识别方法、装置及存储介质
CN112528900B (zh) 基于极致下采样的图像显著性物体检测方法及系统
CN111582021B (zh) 场景图像中的文本检测方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination