CN113469072A - 基于GSoP和孪生融合网络的遥感图像变化检测方法及系统 - Google Patents

基于GSoP和孪生融合网络的遥感图像变化检测方法及系统 Download PDF

Info

Publication number
CN113469072A
CN113469072A CN202110764181.5A CN202110764181A CN113469072A CN 113469072 A CN113469072 A CN 113469072A CN 202110764181 A CN202110764181 A CN 202110764181A CN 113469072 A CN113469072 A CN 113469072A
Authority
CN
China
Prior art keywords
module
twin
attention fusion
data set
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110764181.5A
Other languages
English (en)
Other versions
CN113469072B (zh
Inventor
陈璞花
孙杰
焦李成
刘芳
马文韬
张向荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110764181.5A priority Critical patent/CN113469072B/zh
Publication of CN113469072A publication Critical patent/CN113469072A/zh
Application granted granted Critical
Publication of CN113469072B publication Critical patent/CN113469072B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于GSoP和孪生融合网络的遥感图像变化检测方法及系统，制作训练数据集和测试数据集；构建孪生注意力融合网络模型，注意力融合模块包括孪生残差模块与GSoP模块，孪生残差模块位于两个分支网络的同一位置，GSoP模块用于将特征图像的每个通道视为一个随机变量，通过学习特征图像在各个通道之间的协方差矩阵获取特征图像在通道维度上的相关性信息，并为每个通道重新分配权重；将训练数据集输入孪生注意力融合网络模型中，对孪生注意力融合网络模型进行训练；将测试数据集输入训练后的孪生注意力融合网络模型中，验证测试数据集的变化检测结果，完成遥感图像变化检测。本发明能够极大的提升遥感图像的变化检测效果。

Description

基于GSoP和孪生融合网络的遥感图像变化检测方法及系统
技术领域
本发明属于遥感图像变化检测技术领域，具体涉及一种基于GSoP和孪生融合网络的遥感图像变化检测方法及系统。
背景技术
变化检测是指通过分析不同时刻拍摄到的同一地理区域的图像，确定地表地物变化信息，其研究的目的是找到感兴趣的变化信息，滤除以干扰因素出现的不相干变化信息。遥感图像存在诸多与感兴趣区域不相干的变化，造成这些变化的原因多种多样，例如太阳照射角度、地表湿度和多时相图像的拍摄季节等。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于GSoP和孪生融合网络的遥感图像变化检测方法及系统，使用两个结构相同、参数共享的分支网络分别提取双时相遥感图像块的特征，并通过GSoP模块融合两个分支网络的特征图像，筛选出对模型分类有益的通道，自适应地重新校准通道的特征响应。
本发明采用以下技术方案：
基于GSoP和孪生融合网络的遥感图像变化检测方法，包括以下步骤：
S1、制作训练数据集和测试数据集；
S2、构建孪生注意力融合网络模型，孪生注意力融合网络模型包括两个分支网络和一个分类器，两个分支网络之间构造有注意力融合模块，注意力融合模块包括孪生残差模块与GSoP模块，孪生残差模块位于两个分支网络的同一位置，GSoP模块用于将特征图像的每个通道视为一个随机变量，通过学习特征图像在各个通道之间的协方差矩阵获取特征图像在通道维度上的相关性信息，并为每个通道重新分配权重；
S3、将步骤S1制作的训练数据集输入步骤S2构建的孪生注意力融合网络模型中，对孪生注意力融合网络模型进行训练；
S4、将步骤S1制作的测试数据集输入步骤S3训练后的孪生注意力融合网络模型中，验证测试数据集的变化检测结果，完成遥感图像变化检测。
具体的，步骤S1中，使用随机采样的方式从双时相图像中筛选出2000对像素点，并为每对像素点标记标签信息；训练数据集以像素对为中心的成对图像块，测试数据集以双时相遥感图像的每个像素为中心的成对图像块，训练数据集和测试数据集的图像对的标签为数值0和1，分别代表图像对的中心像素点是未变化像素点或变化像素点。
进一步的，在生成测试数据集之前，按照顺序将遥感图像的前5行向上翻转、后5行向下翻转、左5列向左翻转、右5列向右翻转；从校正后的双时相遥感图像中裁剪尺寸均为10×10的图像块作为成对图像块。
具体的，步骤S2具体为：
S201、使用一对分支网络提取同一地点、不同时相遥感图像块的特征，两个分支网络的结构相同，参数共享；
S202、在步骤S201的两个分支网络之间构造注意力融合模块，注意力融合模块的输入数据分别为I1∈RH×W×D和I2∈RH×W×D，注意力融合模块的输出包含两个特征图像，分别为调整维度后的输入数据I′1、I′2与F′1、F′2相加；
S203、添加分类器，构建完成孪生注意力融合网络模型。
进一步的，步骤S201中，每个分支网络均由残差模块堆叠形成；在每个分支网络中，将输出相同尺寸特征图像的残差模块记为一组，使用的分支网络中包含3个组，每组包含5个残差模块。
进一步的，步骤S202具体为：
注意力融合模块使用两个1×1的卷积将特征图像F1和F2降维，输出特征图像为X1∈RH×W×C和X2∈RH×W×C；
注意力融合模块使用二阶池化模块计算X1和X2的协方差矩阵
Figure BDA0003150303580000031
和
Figure BDA0003150303580000032
然后变形为
Figure BDA0003150303580000033
和
Figure BDA0003150303580000034
Mat1的每个通道包含一个维度为C×1的特征向量，Mat1的第i个通道表示X1的第i个通道与所有通道之间的相关性信息，Mat2反应X2各个通道之间的相关性信息；
注意力融合模块将
Figure BDA0003150303580000035
和
Figure BDA0003150303580000036
融合为MatC×2×C；Mat的第i个通道是尺寸为C×2的特征图像，同时包含X1的第i个通道与X1中所有通道之间的相关性信息、X2的第i个通道与X2中所有通道之间的相关性信息；
注意力融合模块使用分组卷积和1×1的卷积学习通道之间的相关性关系，注意力融合模块将Mat输入含有C个分组的分组卷积，输出特征向量为
Figure BDA0003150303580000037
1×1的卷积将特征向量V1转换为特征图像为
Figure BDA0003150303580000038
注意力融合模块分别将F1和F2与V2相乘，将计算结果记为F′1和F′2。
进一步的，步骤S203中，分类器包括一层全连接层，全连接层的输出是维度为2的向量，表示输入数据的中心像素是未变化像素和变化像素的概率，将两个分支网络输出的特征图像通过全局平均池化，然后将输出沿通道维度拼接在一起后输入到分类器中。
具体的，步骤S3中，训练的初始学习率设定为0.001，batchsize设定为128，训练共迭代200次，学习率采用三段式的方式衰减，每隔80代，学习率衰减为原来的十分之一；使用交叉熵作为损失函数，使用Adam作为优化算法，卷积层后的激活函数均为ReLU，卷积层使用kaiming正态分布初始化。
本发明的另一技术方案是，一种基于GSoP和孪生融合网络的遥感图像变化检测系统，包括：
数据模块，制作训练数据集和测试数据集；
网络模块，构建孪生注意力融合网络模型，孪生注意力融合网络模型包括两个分支网络和一个分类器，两个分支网络之间构造有注意力融合模块，注意力融合模块包括孪生残差模块与GSoP模块，孪生残差模块位于两个分支网络的同一位置，GSoP模块用于将特征图像的每个通道视为一个随机变量，通过学习特征图像在各个通道之间的协方差矩阵获取特征图像在通道维度上的相关性信息，并为每个通道重新分配权重；
训练模块，将数据模块制作的训练数据集输入网络模块构建的孪生注意力融合网络模型中，对孪生注意力融合网络模型进行训练；
检测模块，将数据模块制作的测试数据集输入训练模块训练后的孪生注意力融合网络模型中，验证测试数据集的变化检测结果，完成遥感图像变化检测。
与现有技术相比，本发明至少具有以下有益效果：
本发明一种基于GSoP和孪生融合网络的遥感图像变化检测方法，使用孪生分支网络作为基础结构，分别提取同一地点、不同时间的遥感图像的特征，在分支网路中添加GSoP模块构建注意力融合模块，注意力融合模块通过融合两个分支网络的特征图像，显示的建模地建模两个分支网络中所有通道之间的相互依赖关系。通过不断的迭代训练，注意力融合模块能够筛选出表示变化的特征，并为其分配较大的权重，同时为表示不相干变化的特征分配较低的权重。这种模式的设计极大的增强了变化检测的检测精度。
进一步的，为了获取泛化能力更好的模型，步骤S1从双时相遥感图像中随机筛选出2000对像素制作训练数据集。为了更好的表示双时相遥感图像中某一对像素是否为变化像素，数据集为每对像素引入更多的邻域信息，即以筛选的像素对为中心，裁剪出一对10×10的图像块。
进一步的，为了使图像中每个像素都有10×10的邻域，在生成测试数据集之前，按照顺序将遥感图像的前5行向上翻转、后5行向下翻转、左5列向左翻转、右5列向右翻转。
进一步的，步骤S2提出了基于GSoP和孪生注意力融合网络。
进一步的，步骤S201使用参数共享的孪生网络分别提取双时相图像的特征。若双时相遥感图像的地物信息相同，则两个分支网络提取的特征也相同，若双时向图像的地物信息不同，则两个分支网络提取的特征也存在差异。该步骤有利于步骤S203中分类器判断输入图像对是否发生变化。
进一步的，步骤S202向孪生网络中添加GSoP模块，构建注意力融合模块。注意力融合模块通过分析分支网络中特征图像的协方差矩阵，为特征图像的每个通道重新分配权重，其中表示变化信息的特征被分配较大的权重，表示不相干变化信息的特征被分配较小的权重。
进一步的，步骤S203中分类器结合两个分支网络提取的特征，预测输入图像对的中心像素是未变化样本和变化样本的概率。
进一步的，步骤S3使用步骤S1生成的训练集数据训练模型，权利要求8详细介绍了网络训练的参数设置。
综上所述，本发明能够在不同程度上提升了变化检测结果的数值指标和视觉效果。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为注意力融合模块的网络结构图；
图2为GSoP-Siam-Resnet的网络结构图，其中每个Layer表示一层；
图3为每层Layer的网络结构图；
图4为第一组仿真实验结果图，其中，(a)为时相1的遥感图像，(b)为时相2的遥感图像，(c)为标签，(d)为实验结果；
图5为第二组仿真实验结果图，其中，(a)为时相1的遥感图像，(b)为时相2的遥感图像，(c)为标签，(d)为实验结果；
图6为第三组仿真实验结果图，其中，(a)为时相1的遥感图像，(b)为时相2的遥感图像，(c)为标签，(d)为实验结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
本发明提供了一种基于GSoP和孪生融合网络的遥感图像变化检测方法，首先制作训练数据集和测试数据集；构建孪生注意力融合网络GSoP-Siam-Resnet；训练深度模型；验证测试数据集的变化检测结果。使用参数共享的两个分支网络分别提取双时相遥感图像的特征，其中每个分支网络均由残差模块堆叠构成。为了进一步抑制噪声对变化细节的影响，通过GSoP模块建立注意力融合模块。注意力融合模块能够自适应的为分支网络中特征图像的每个通道分配权重，使得网络学习的特征能够降低遥感图像中不相干变化的干扰，增强对变化特征的提取。
本发明一种基于GSoP和孪生融合网络的遥感图像变化检测方法，包括以下步骤：
S1、制作训练数据集和测试数据集；
使用随机采样的方式从双时相图像中筛选出2000对像素点，并为每对像素点标记标签信息。其次，以筛选的2000个像素为中心，从校正后的双时相遥感图像中裁剪尺寸均为10×10的成对图像块，其中10×10的图像块表示中心像素点的邻域信息。
在生成测试数据集之前，按照顺序将遥感图像的前5行向上翻转、后5行向下翻转、左5列向左翻转、右5列向右翻转，这种方式可以保证翻转前的遥感图像的每个像素均可以作为10×10的图像块中心。测试数据集以翻转前的遥感图像的每个像素为中心裁剪成对的图像块，其图像块采样尺寸与训练数据集相同。训练数据集和测试数据集的图像对的标签为数值0和1，其分别代表图像对的中心像素点是未变化像素点或变化像素点。
S2、构建孪生注意力融合网络GSoP-Siam-Resnet；
孪生注意力融合网络GSoP-Siam-Resnet由提取特征的两个分支网络和一个分类器组成，包括：
S201、GSoP-Siam-Resnet使用参数共享的一对分支网络提取同一地点、不同时相遥感图像块的特征，提取特征的两个分支网络结构相同、参数共享；
每个分支网络均由残差模块堆叠形成；在每个分支网络中，将输出相同尺寸特征图像的残差模块记为一组，使用的分支网络中包含3个组，每组包含5个残差模块，单个层的网络结构如图3所示，单个层在GSoP-Siam-Resnet上对应图2中的一个Layer。
S202、GSoP-Siam-Resnet在两个分支网络之间构造注意力融合模块；
GSoP-Siam-Resnet提取特征的分支网络结构相同、参数共享，故两个分支网络的同一位置含有一对参数共享的残差模块，记参数共享的残差模块为孪生残差模块；孪生残差模块与GSoP模块共同构成了注意力融合模块。
GSoP模块将特征图像的每个通道视为一个随机变量，通过学习特征图像在各个通道之间的协方差矩阵获取特征图像在通道维度上的相关性信息，并为每个通道重新分配权重，其中对变化检测结果增益较大的特征被分配较大的权重，反之分配较小的权重。
请参阅图1，注意力融合模块的输入数据分别记为I1∈RH×W×D和I2∈RH×W×D，其中孪生残差模块中表示残差信息的特征图像分别为F1∈RH×W×C′和F2∈RH×W×C′。
第一步，注意力融合模块使用两个1×1的卷积将特征图像F1和F2降维，其输出特征图像为X1∈RH×W×c和X2∈RH×W×C。
第二步，注意力融合模块使用二阶池化模块计算X1和X2的协方差矩阵
Figure BDA0003150303580000091
和
Figure BDA0003150303580000092
并将其变形为
Figure BDA0003150303580000093
和
Figure BDA0003150303580000094
Mat1的每个通道包含一个维度为C×1的特征向量，Mat1的第i个通道表示X1的第i个通道与所有通道之间的相关性信息，同理，Mat2也反应X2各个通道之间的相关性信息。
第三步，注意力融合模块将
Figure BDA0003150303580000095
和
Figure BDA0003150303580000096
融合为MatC×2×C。Mat的第i个通道是尺寸为C×2的特征图像，其同时包含X1的第i个通道与X1中所有通道之间的相关性信息、X2的第i个通道与X2中所有通道之间的相关性信息。
第四步，注意力融合模块使用分组卷积和1×1的卷积学习通道之间的相关性关系。由于二次运算会更改数据的顺序，为保留固有的结构信息，注意力融合模块将Mat输入含有C个分组的分组卷积，其输出特征向量为
Figure BDA0003150303580000097
为了保证1×1的卷积输出的权重向量能与特征图像F1和F2相乘，1×1的卷积将特征向量V1转换为特征图像为
Figure BDA0003150303580000098
第五步，注意力融合模块分别将F1和F2与V2相乘，其计算结果记为F′1和F′2。
注意力融合模块的输出包含两个特征图像，分别为调整维度后的输入数据I′1、I′2与F′1、F′2相加。
S203、添加分类器。
GSoP-Siam-Resnet的分类器由一层全连接层组成，其输出是维度为2的向量，表示输入数据的中心像素是未变化像素和变化像素的概率，GSoP-Siam-Resnet先将两个分支网络输出的特征图像通过全局平均池化，然后将其输出沿通道维度拼接在一起后输入到分类器中，SE-Siam-Resnet的网络结构如图2所示。
S3、训练深度模型；
使用训练数据集输入网络中训练模型；模型训练时将初始学习率设定为0.001，batchsize设定为128。模型训练共迭代200次，学习率采用三段式的方式衰减，每隔80代，学习率衰减为原来的十分之一。模型使用交叉熵作为损失函数，使用Adam作为优化算法。Adam使用动量和自适应学习率加快收敛速度，本方法设计的模型中卷积层后的激活函数均为ReLU，故卷积层使用kaiming正态分布初始化。
S4、验证测试数据集的变化检测结果。
将测试数据集输入训练后的模型中，模型的输出表示输入遥感图像对的中心像素是未变化像素和变化像素的概率；若输入数据是变化像素的概率大于0.5，则将其归为变化像素，若输入数据是变化像素的概率小于0.5，则将其归为未变化像素。
本发明再一个实施例中，提供一种基于GSoP和孪生融合网络的遥感图像变化检测系统，该系统能够用于实现上述基于GSoP和孪生融合网络的遥感图像变化检测方法，具体的，该基于GSoP和孪生融合网络的遥感图像变化检测系统包括数据模块、网络模块、训练模块以及检测模块。
其中，数据模块，制作训练数据集和测试数据集；
网络模块，构建孪生注意力融合网络模型，孪生注意力融合网络模型包括两个分支网络和一个分类器，两个分支网络之间构造有注意力融合模块，注意力融合模块包括孪生残差模块与GSoP模块，孪生残差模块位于两个分支网络的同一位置，GSoP模块用于将特征图像的每个通道视为一个随机变量，通过学习特征图像在各个通道之间的协方差矩阵获取特征图像在通道维度上的相关性信息，并为每个通道重新分配权重；
训练模块，将数据模块制作的训练数据集输入网络模块构建的孪生注意力融合网络模型中，对孪生注意力融合网络模型进行训练；
检测模块，将数据模块制作的测试数据集输入训练模块训练后的孪生注意力融合网络模型中，验证测试数据集的变化检测结果，完成遥感图像变化检测。
本发明再一个实施例中，提供了一种终端设备，该终端设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor、DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于基于GSoP和孪生融合网络的遥感图像变化检测方法的操作，包括：
制作训练数据集和测试数据集；构建孪生注意力融合网络模型，孪生注意力融合网络模型包括两个分支网络和一个分类器，两个分支网络之间构造有注意力融合模块，注意力融合模块包括孪生残差模块与GSoP模块，孪生残差模块位于两个分支网络的同一位置，GSoP模块用于将特征图像的每个通道视为一个随机变量，通过学习特征图像在各个通道之间的协方差矩阵获取特征图像在通道维度上的相关性信息，并为每个通道重新分配权重；将训练数据集输入孪生注意力融合网络模型中，对孪生注意力融合网络模型进行训练；将测试数据集输入训练后的孪生注意力融合网络模型中，验证测试数据集的变化检测结果，完成遥感图像变化检测。
本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是终端设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括终端设备中的内置存储介质，当然也可以包括终端设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。
可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关基于GSoP和孪生融合网络的遥感图像变化检测方法的相应步骤；计算机可读存储介质中的一条或一条以上指令由处理器加载并执行如下步骤：
制作训练数据集和测试数据集；构建孪生注意力融合网络模型，孪生注意力融合网络模型包括两个分支网络和一个分类器，两个分支网络之间构造有注意力融合模块，注意力融合模块包括孪生残差模块与GSoP模块，孪生残差模块位于两个分支网络的同一位置，GSoP模块用于将特征图像的每个通道视为一个随机变量，通过学习特征图像在各个通道之间的协方差矩阵获取特征图像在通道维度上的相关性信息，并为每个通道重新分配权重；将训练数据集输入孪生注意力融合网络模型中，对孪生注意力融合网络模型进行训练；将测试数据集输入训练后的孪生注意力融合网络模型中，验证测试数据集的变化检测结果，完成遥感图像变化检测。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合仿真结果对本发明的效果做进一步说明；
1.实验平台
本发明的仿真试验硬件平台为：NVIDIA RTX 2060，6G显存。
本发明的软件平台为：Windows10操作系统、python3.6、pytorch1.4
2.实验数据集
图4是SZTAKI AirChange Benchmark数据集中的一组遥感图像，图像的尺寸为952×640，空间分辨率为1.5米，标签由专家手工绘制。图5是广东政务数据创新大赛提供的QuickBird数据集中的一组遥感图像，图像的尺寸均为512×512。图六是曙光村数据集，该数据集是异构数据集，两张不同时相下捕获的图像分别来自两个不同的传感器。曙光村数据集包含一张2008年拍摄的SAR图像和2012年拍摄的RGB图像，数据集尺寸为921×593。
3.仿真实验评价指标
Figure BDA0003150303580000141
Figure BDA0003150303580000142
Figure BDA0003150303580000143
Figure BDA0003150303580000144
其中，pre为查准率，rec为查全率，acc为预测准确率，F1为F1系数，TP是真正例，TN为真返例，FP为假正例，FN为假反例。
4.实验结果
表1
Figure BDA0003150303580000145
表2
Figure BDA0003150303580000151
表3
Figure BDA0003150303580000152
上述表格中，Resnet32是一个二分类网络，其将两张遥感图像块沿通道维度拼接在一起作为输入，输出为遥感图像块中心像素的变化概率。Siam-Resnet同样是一个二分类网络，包含两个结构相同、参数共享的分支网络。Siam-Resnet与GSoP-Siam-Resnet的区别在于不包含两个分支网络之间的GSoP模块，Siam-Resnet与Resnet32的区别在于将提取特征的网络转换成两个参数共享的分支。Siam-Resnet的两个分支网络分别处理一张遥感图像块。
表1代表图4所示数据在不同方法下的数值指标，表2代表图5所示数据在不同方法下的数值指标，表3代表图6所示数据在不同方法下的数值指标。
上述表格中字体加黑的部分，表示该数值在所有方法中最高。由图4、图5和图6可知，GSoP-Siam-Resnet算法在不同类型的数据上均有较好的表现，其变化检测结果从视觉效果上看均接近于标签图像。由表1、表2和表3可知，GSoP-Siam-Resnet算法在pre、rec、acc和F1指标上均高于其他两种对比算法。
综上所述，本发明一种基于GSoP和孪生融合网络的遥感图像变化检测方法及系统，能够极大的提升遥感图像的变化检测效果。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (9)

1.基于GSoP和孪生融合网络的遥感图像变化检测方法，其特征在于，包括以下步骤：
S1、制作训练数据集和测试数据集；
S2、构建孪生注意力融合网络模型，孪生注意力融合网络模型包括两个分支网络和一个分类器，两个分支网络之间构造有注意力融合模块，注意力融合模块包括孪生残差模块与GSoP模块，孪生残差模块位于两个分支网络的同一位置，GSoP模块用于将特征图像的每个通道视为一个随机变量，通过学习特征图像在各个通道之间的协方差矩阵获取特征图像在通道维度上的相关性信息，并为每个通道重新分配权重；
S3、将步骤S1制作的训练数据集输入步骤S2构建的孪生注意力融合网络模型中，对孪生注意力融合网络模型进行训练；
S4、将步骤S1制作的测试数据集输入步骤S3训练后的孪生注意力融合网络模型中，验证测试数据集的变化检测结果，完成遥感图像变化检测。
2.根据权利要求1所述的方法，其特征在于，步骤S1中，使用随机采样的方式从双时相图像中筛选出2000对像素点，并为每对像素点标记标签信息；训练数据集以像素对为中心的成对图像块，测试数据集以双时相遥感图像的每个像素为中心的成对图像块，训练数据集和测试数据集的图像对的标签为数值0和1，分别代表图像对的中心像素点是未变化像素点或变化像素点。
3.根据权利要求2所述的方法，其特征在于，在生成测试数据集之前，按照顺序将遥感图像的前5行向上翻转、后5行向下翻转、左5列向左翻转、右5列向右翻转；从校正后的双时相遥感图像中裁剪尺寸均为10×10的图像块作为成对图像块。
4.根据权利要求1所述的方法，其特征在于，步骤S2具体为：
S201、使用一对分支网络提取同一地点、不同时相遥感图像块的特征，两个分支网络的结构相同，参数共享；
S202、在步骤S201的两个分支网络之间构造注意力融合模块，注意力融合模块的输入数据分别为I1∈RH×W×D和I2∈RH×W×D，注意力融合模块的输出包含两个特征图像，分别为调整维度后的输入数据I′1、I′2与F′1、F′2相加；
S203、添加分类器，构建完成孪生注意力融合网络模型。
5.根据权利要求4所述的方法，其特征在于，步骤S201中，每个分支网络均由残差模块堆叠形成；在每个分支网络中，将输出相同尺寸特征图像的残差模块记为一组，使用的分支网络中包含3个组，每组包含5个残差模块。
6.根据权利要求4所述的方法，其特征在于，步骤S202具体为：
注意力融合模块使用两个1×1的卷积将特征图像F1和F2降维，输出特征图像为X1∈RH ×W×C和X2∈RH×W×C；
注意力融合模块使用二阶池化模块计算X1和X2的协方差矩阵
Figure FDA0003150303570000021
和
Figure FDA0003150303570000022
然后变形为
Figure FDA0003150303570000023
和
Figure FDA0003150303570000024
Mat1的每个通道包含一个维度为C×1的特征向量，Mat1的第i个通道表示X1的第i个通道与所有通道之间的相关性信息，Mat2反应X2各个通道之间的相关性信息；
注意力融合模块将
Figure FDA0003150303570000025
和
Figure FDA0003150303570000026
融合为MatC×2×C；Mat的第i个通道是尺寸为C×2的特征图像，同时包含X1的第i个通道与X1中所有通道之间的相关性信息、X2的第i个通道与X2中所有通道之间的相关性信息；
注意力融合模块使用分组卷积和1×1的卷积学习通道之间的相关性关系，注意力融合模块将Mat输入含有C个分组的分组卷积，输出特征向量为
Figure FDA0003150303570000027
1×1的卷积将特征向量V1转换为特征图像为
Figure FDA0003150303570000031
注意力融合模块分别将F1和F2与V2相乘，将计算结果记为F′1和F′2。
7.根据权利要求4所述的方法，其特征在于，步骤S203中，分类器包括一层全连接层，全连接层的输出是维度为2的向量，表示输入数据的中心像素是未变化像素和变化像素的概率，将两个分支网络输出的特征图像通过全局平均池化，然后将输出沿通道维度拼接在一起后输入到分类器中。
8.根据权利要求1所述的方法，其特征在于，步骤S3中，训练的初始学习率设定为0.001，batchsize设定为128，训练共迭代200次，学习率采用三段式的方式衰减，每隔80代，学习率衰减为原来的十分之一；使用交叉熵作为损失函数，使用Adam作为优化算法，卷积层后的激活函数均为ReLU，卷积层使用kaiming正态分布初始化。
9.一种基于GSoP和孪生融合网络的遥感图像变化检测系统，其特征在于，包括：
数据模块，制作训练数据集和测试数据集；
网络模块，构建孪生注意力融合网络模型，孪生注意力融合网络模型包括两个分支网络和一个分类器，两个分支网络之间构造有注意力融合模块，注意力融合模块包括孪生残差模块与GSoP模块，孪生残差模块位于两个分支网络的同一位置，GSoP模块用于将特征图像的每个通道视为一个随机变量，通过学习特征图像在各个通道之间的协方差矩阵获取特征图像在通道维度上的相关性信息，并为每个通道重新分配权重；
训练模块，将数据模块制作的训练数据集输入网络模块构建的孪生注意力融合网络模型中，对孪生注意力融合网络模型进行训练；
检测模块，将数据模块制作的测试数据集输入训练模块训练后的孪生注意力融合网络模型中，验证测试数据集的变化检测结果，完成遥感图像变化检测。
CN202110764181.5A 2021-07-06 2021-07-06 基于GSoP和孪生融合网络的遥感图像变化检测方法及系统 Active CN113469072B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110764181.5A CN113469072B (zh) 2021-07-06 2021-07-06 基于GSoP和孪生融合网络的遥感图像变化检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110764181.5A CN113469072B (zh) 2021-07-06 2021-07-06 基于GSoP和孪生融合网络的遥感图像变化检测方法及系统

Publications (2)

Publication Number Publication Date
CN113469072A true CN113469072A (zh) 2021-10-01
CN113469072B CN113469072B (zh) 2024-04-12

Family

ID=77878608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110764181.5A Active CN113469072B (zh) 2021-07-06 2021-07-06 基于GSoP和孪生融合网络的遥感图像变化检测方法及系统

Country Status (1)

Country Link
CN (1) CN113469072B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022793A (zh) * 2021-10-28 2022-02-08 天津大学 一种基于孪生网络的光学遥感图像变化检测方法
CN114066831A (zh) * 2021-11-04 2022-02-18 北京航空航天大学 一种基于两阶段训练的遥感图像镶嵌质量无参考评价方法
CN114708260A (zh) * 2022-05-30 2022-07-05 阿里巴巴（中国）有限公司 图像检测方法
CN114743110A (zh) * 2022-03-01 2022-07-12 西北大学 多尺度嵌套的遥感图像变化检测方法、系统及计算机终端
CN116363526A (zh) * 2023-04-07 2023-06-30 河海大学 MROCNet模型构建与多源遥感影像变化检测方法及系统
CN116403064A (zh) * 2023-06-07 2023-07-07 苏州浪潮智能科技有限公司 图片处理方法、模型、基本块结构、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018214195A1 (zh) * 2017-05-25 2018-11-29 中国矿业大学 一种基于卷积神经网络的遥感图像桥梁检测方法
CN110659591A (zh) * 2019-09-07 2020-01-07 中国海洋大学 基于孪生网络的sar图像变化检测方法
CN111161218A (zh) * 2019-12-10 2020-05-15 核工业北京地质研究院 一种基于孪生卷积神经网络的高分遥感影像变化检测方法
CN111539316A (zh) * 2020-04-22 2020-08-14 中南大学 基于双注意力孪生网络的高分遥感影像变化检测方法
CN111723732A (zh) * 2020-06-18 2020-09-29 西安电子科技大学 一种光学遥感图像变化检测方法、存储介质及计算设备
WO2020244261A1 (zh) * 2019-06-05 2020-12-10 中国科学院长春光学精密机械与物理研究所 高分辨率遥感图像的场景识别系统及模型生成方法
CN112348849A (zh) * 2020-10-27 2021-02-09 南京邮电大学 一种孪生网络视频目标跟踪方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018214195A1 (zh) * 2017-05-25 2018-11-29 中国矿业大学 一种基于卷积神经网络的遥感图像桥梁检测方法
WO2020244261A1 (zh) * 2019-06-05 2020-12-10 中国科学院长春光学精密机械与物理研究所 高分辨率遥感图像的场景识别系统及模型生成方法
CN110659591A (zh) * 2019-09-07 2020-01-07 中国海洋大学 基于孪生网络的sar图像变化检测方法
CN111161218A (zh) * 2019-12-10 2020-05-15 核工业北京地质研究院 一种基于孪生卷积神经网络的高分遥感影像变化检测方法
CN111539316A (zh) * 2020-04-22 2020-08-14 中南大学 基于双注意力孪生网络的高分遥感影像变化检测方法
CN111723732A (zh) * 2020-06-18 2020-09-29 西安电子科技大学 一种光学遥感图像变化检测方法、存储介质及计算设备
CN112348849A (zh) * 2020-10-27 2021-02-09 南京邮电大学 一种孪生网络视频目标跟踪方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
向阳;赵银娣;董霁红;: "基于改进UNet孪生网络的遥感影像矿区变化检测", 煤炭学报, no. 12 *
孟琮棠;赵银娣;向阳;: "基于卷积神经网络的遥感图像变化检测", 现代测绘, no. 05 *
董吉富;刘畅;曹方伟;凌源;高翔;: "基于注意力机制的在线自适应孪生网络跟踪算法", 激光与光电子学进展, no. 02 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022793A (zh) * 2021-10-28 2022-02-08 天津大学 一种基于孪生网络的光学遥感图像变化检测方法
CN114022793B (zh) * 2021-10-28 2024-06-04 天津大学 一种基于孪生网络的光学遥感图像变化检测方法
CN114066831A (zh) * 2021-11-04 2022-02-18 北京航空航天大学 一种基于两阶段训练的遥感图像镶嵌质量无参考评价方法
CN114066831B (zh) * 2021-11-04 2024-07-02 北京航空航天大学 一种基于两阶段训练的遥感图像镶嵌质量无参考评价方法
CN114743110A (zh) * 2022-03-01 2022-07-12 西北大学 多尺度嵌套的遥感图像变化检测方法、系统及计算机终端
CN114708260A (zh) * 2022-05-30 2022-07-05 阿里巴巴（中国）有限公司 图像检测方法
CN116363526A (zh) * 2023-04-07 2023-06-30 河海大学 MROCNet模型构建与多源遥感影像变化检测方法及系统
CN116363526B (zh) * 2023-04-07 2024-04-19 河海大学 MROCNet模型构建与多源遥感影像变化检测方法及系统
CN116403064A (zh) * 2023-06-07 2023-07-07 苏州浪潮智能科技有限公司 图片处理方法、模型、基本块结构、设备及介质
CN116403064B (zh) * 2023-06-07 2023-08-25 苏州浪潮智能科技有限公司 图片处理方法、系统、设备及介质

Also Published As

Publication number Publication date
CN113469072B (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
CN113469072A (zh) 基于GSoP和孪生融合网络的遥感图像变化检测方法及系统
CN113469074B (zh) 基于孪生注意力融合网络的遥感图像变化检测方法及系统
CN109101975B (zh) 基于全卷积神经网络的图像语义分割方法
CN107316066B (zh) 基于多通路卷积神经网络的图像分类方法及系统
CN108876792B (zh) 语义分割方法、装置和系统及存储介质
CN111199214B (zh) 一种残差网络多光谱图像地物分类方法
CN110909790A (zh) 图像的风格迁移方法、装置、终端及存储介质
CN112561027A (zh) 神经网络架构搜索方法、图像处理方法、装置和存储介质
CN111797983A (zh) 一种神经网络构建方法以及装置
CN110717527A (zh) 结合空洞空间金字塔结构的目标检测模型确定方法
CN111652054A (zh) 关节点检测方法、姿态识别方法及装置
CN109886264A (zh) 一种文字检测方法、设备及计算机可读存储介质
CN113761359B (zh) 数据包推荐方法、装置、电子设备和存储介质
CN111783779A (zh) 图像处理方法、装置和计算机可读存储介质
CN113869282A (zh) 人脸识别方法、超分模型训练方法及相关设备
CN113759338A (zh) 一种目标检测方法、装置、电子设备及存储介质
CN115984701A (zh) 一种基于编解码结构的多模态遥感图像语义分割方法
CN113994364A (zh) 单或多模态风格转移系统及方法与用其的随机风格化系统
CN112257727A (zh) 一种基于深度学习自适应可变形卷积的特征图像提取方法
CN110782430A (zh) 一种小目标的检测方法、装置、电子设备及存储介质
CN117131376A (zh) 一种基于视变换结合生成对抗网络进行持续学习的高光谱跨域鲁棒异常检测方法、系统、设备及介质
CN111709415A (zh) 目标检测方法、装置、计算机设备和存储介质
CN110222778B (zh) 基于深度森林的在线多视角分类方法、系统、装置
CN112967200B (zh) 图像处理方法、装置、电子设备、介质和计算机程序产品
CN114219960A (zh) 基于多学习器优化的XGBoost的小样本条件下空间目标ISAR图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant