CN115457390A - 遥感影像变化检测方法、装置、计算机设备和存储介质 - Google Patents
遥感影像变化检测方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN115457390A CN115457390A CN202211112588.0A CN202211112588A CN115457390A CN 115457390 A CN115457390 A CN 115457390A CN 202211112588 A CN202211112588 A CN 202211112588A CN 115457390 A CN115457390 A CN 115457390A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- feature
- network
- neural network
- training sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008859 change Effects 0.000 title claims abstract description 141
- 238000001514 detection method Methods 0.000 title claims abstract description 92
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 199
- 238000013528 artificial neural network Methods 0.000 claims abstract description 115
- 238000000605 extraction Methods 0.000 claims abstract description 70
- 238000000034 method Methods 0.000 claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000004927 fusion Effects 0.000 claims description 57
- 230000006870 function Effects 0.000 claims description 47
- 230000009977 dual effect Effects 0.000 claims description 28
- 238000010586 diagram Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000002372 labelling Methods 0.000 claims description 11
- 230000002441 reversible effect Effects 0.000 claims description 9
- 230000002776 aggregation Effects 0.000 claims description 8
- 238000004220 aggregation Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 230000036961 partial effect Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 abstract description 11
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 abstract 1
- 238000012360 testing method Methods 0.000 description 12
- 238000013135 deep learning Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000009826 distribution Methods 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 108091026890 Coding region Proteins 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005242 forging Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000000819 phase cycle Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请涉及遥感数据处理技术领域的一种遥感影像变化检测方法、装置、计算机设备和存储介质。所述方法中构建的用于遥感影像变化检测的孪生神经网络包括两条由结构和参数均相同的DeepLabv3+模型的骨干网络、ASPP模块以及双重注意力模块组成的特征提取支路，输出网络，本网络模型采用了残差连接、双注意力机制等一系列先进的网络模块，可以有效增强网络的特征表达能力，模型训练时的各种数据增强进一步增强了网络对色彩变化、阴影遮挡等因素的抗干扰能力，提高了模型的泛化能力，使得变化检测模型可以稳定、鲁棒地对有效地物变化进行高层次语义特征表达，实现对地形要素的高质量变化检测。
Description
技术领域
本申请涉及遥感数据处理技术领域，特别是涉及一种遥感影像变化检测方法、装置、计算机设备和存储介质。
背景技术
随着遥感大数据与人工智能技术的发展，传统的基于像元的分类、基于面向对象分析等方法对影像进行地物分类并对比分类后结果得到变化信息的方法已经难以满足当前对目标变化信息的精度和速度要求，而利用深度学习神经网络模型对遥感影像进行自动化智能解译，相较传统差值法、面向对象、机器学习等方法具有更高的精度、效率。
目前已有的利用深度学习算法应用于遥感影像的变化检测技术大多是利用深层神经网络强大的特征提取能力分别对前后时相影像特征提取，由前后时相特征图构造差异图，通过差异图提取变化区域。基于深度学习的变化检测将不同时相的影像组合叠加作为网络模型的输入，对于多种类别的变化地物来说，图像的差异性会从网络的浅层开始混淆，导致不同时相影像特征会互相影响，原始影像的高维特征难以保持。这种方法对分类结果依赖性高，低精度分类结果将对变化信息提取产生很大影响，进而影响到检测精度，且过程繁琐。
针对上述问题，本发明通过基于遥感数据进行快速高效的地物变化目标区域检测的方法，解决同一地物在不同时相影像上呈现出不同的效果如色彩变化、阴影等对地物变化目标检测造成干扰的问题，保持原始影像变化区域的高维特征。
发明内容
基于此，有必要针对上述技术问题，提供一种遥感影像变化检测方法、装置、计算机设备和存储介质。
一种遥感影像变化检测方法，所述方法包括：
获取不同时间覆盖同一地区的两个多源遥感影像，并对所述多源遥感影像进行标注，并对标注后结果进行数据增强，得到训练样本。
构建用于遥感影像变化检测的孪生神经网络；所述孪生神经网络包括：两条由结构和参数均相同的DeepLab v3+模型的骨干网络、ASPP模块以及双重注意力模块组成的特征提取支路，输出网络；所述特征提取支路用于采用DeepLab v3+模型的骨干网络和ASPP模块对训练样本进行特征提取，然后采用双重注意力模块中并联的空间注意力模块以及通道注意力模块对提取得到的特征进行特征聚合，得到融合特征图；所述输出网络用于对两条特征提取支路输出的所述融合特征图进行卷积和上采样操作，得到训练样本的变化检测预测结果图。
利用训练样本的标注和将训练样本输入到孪生神经网络得到的训练样本的变化检测预测结果图对孪生神经网络进行训练，得到训练好的孪生神经网络。
采用训练好的孪生神经网络对不同时间覆盖同一地区的待测多源遥感影像进行检测，得到遥感影像变化检测结果。
在其中一个实施例中，获取不同时间覆盖同一地区的两个多源遥感影像，并对所述多源遥感影像进行标注，并对标注后结果进行数据增强，得到训练样本，包括：
获取不同时间覆盖同一地区的多源遥感影像，并对所述多源遥感影像进行数据栅格转化、深度转换以及裁剪得到符合模型输入尺寸的数据集，并对所述数据集进行标注。
采用多种数据增强方式对标注后的数据集进行处理，得到训练样本。
在其中一个实施例中，所述训练样本包括：第一多源遥感影像训练样本和第二多源遥感影像训练样本。
利用训练样本的标注和将训练样本输入到孪生神经网络得到的训练样本的变化检测预测结果图对孪生神经网络进行训练，得到训练好的孪生神经网络，包括：
将所述第一多源遥感影像训练样本和第二多源遥感影像训练样本输入到分别输入到两条特征提取支路中，得到第一融合特征和第二融合特征。
将所述第一融合特征和所述第二融合特征输入到输出网络中，得到训练样本的变化检测预测结果图。
根据训练样本的变化检测预测结果图和训练样本的标注对所述孪生神经网络进行反向训练，得到训练好的孪生神经网络。
在其中一个实施例中，将所述第一多源遥感影像训练样本和第二多源遥感影像训练样本输入到分别输入到两条特征提取支路中，得到第一融合特征和第二融合特征，包括：
将所述第一多源遥感影像训练样本输入到所述第一条特征提取支路的DeepLabv3+模型的骨干网络中进行特征提取，并将得到的特征利用ASPP模块对多尺度信息进行提取，得到第一语义特征信息。
将所述第一语义特征信息输入到第一条特征提取支路的所述双重注意力模块中，得到第一融合特征。
将所述第二多源遥感影像训练样本输入到所述第二条特征提取支路，得到第二融合特征。
在其中一个实施例中，所述双重注意力模块包括：并联的空间注意力模块以及通道注意力模块。
将所述第一语义特征信息输入到第一条特征提取支路的所述双重注意力模块中，得到第一融合特征，包括：
将所述第一语义特征信息输入到第一条特征提取支路的所述双重注意力模块的空间注意力模块中，在空间上对所述第一语义特征信息进行两次的扁平化处理，得到第一特征和第二特征，并将转置后的所述第一特征与所述第二特征相乘，并将得到的结果通过Softmax激活函数，得到第一语义特征信息的特征权重矩阵，然后将所述特征权重矩阵与所述第一语义特征信息进行融合，得到第一空间注意力特征。
将所述第一语义特征信息输入到第一条特征提取支路的所述双重注意力模块的通道注意力模块中，得到第一通道注意力特征；所述通道注意力模块与所述空间注意力模块结构相似，唯一的区别点在于通道注意力模块没有进行两次扁平化处理。
将所述第一空间注意力特征和所述第一通道注意力特征相加融合后，得到第一融合特征。
在其中一个实施例中，将所述第一融合特征和所述第二融合特征输入到输出网络中，得到训练样本的变化检测预测结果图，包括：
将所述第一融合特征和所述第二融合特征输入到输出网络中，对所述第一融合特征和所述第二融合特征进行上采样，并将上采样后的2×2区域中的空值补成适当的特征值，然后进行卷积操作，得到训练样本的变化检测预测结果图。
在其中一个实施例中，根据训练样本的变化检测预测结果图和训练样本的标注对所述孪生神经网络进行反向训练，得到训练好的孪生神经网络，包括：
构建孪生神经网络的损失函数和重构网络的损失函数，并将孪生神经网络的损失函数和重构网络的损失函数的加权和作为总损失函数；所述孪生神经网络的损失函数：
其中，Ls为孪生神经网络的损失，
为检测网络发生的变化的二进制映射，θs、θc、lbce分别为共享部分网络的参数、变化检测右上分支的参数和是第k个patch对中的(i，j)处的像素的二进制交叉熵损失，上标s为孪生神经网络；下标k为第k个patch。
所述重构网络的损失函数为：
其中，Lt为重构网络的损失，r(i,j)为利用log-ratio求取的差分图像，
为重构的版本，lsqr为重构目标域在r时每个像素的平方损失，上标t为重构网络。
所述总损失函数为：
Lpre＝αLs+(1-α)Lt
其中，Lpre为总损失，α是个恒定的参数，
根据训练样本的变化检测预测结果图、训练样本的标注、总损失函数对所述孪生神经网络进行反向训练，得到训练好的孪生神经网络。
一种遥感影像变化检测装置，所述装置包括：
训练样本确定模块，用于获取不同时间覆盖同一地区的两个多源遥感影像，并对所述多源遥感影像进行标注，并对标注后结果进行数据增强，得到训练样本。
用于遥感影像变化检测的孪生神经网络构建模块，用于构建用于遥感影像变化检测的孪生神经网络；所述孪生神经网络包括：两条由结构和参数均相同的DeepLab v3+模型的骨干网络、ASPP模块以及双重注意力模块组成的特征提取支路，输出网络；所述特征提取支路用于采用DeepLab v3+模型的骨干网络和ASPP模块对训练样本进行特征提取，然后采用双重注意力模块中并联的空间注意力模块以及通道注意力模块对提取得到的特征进行特征聚合，得到融合特征图；所述输出网络用于对两条特征提取支路输出的所述融合特征图进行卷积和上采样操作，得到训练样本的变化检测预测结果图。
网络训练模块，用于利用训练样本的标注和将训练样本输入到孪生神经网络得到的训练样本的变化检测预测结果图对孪生神经网络进行训练，得到训练好的孪生神经网络。
遥感影像变化检测模块，用于采用训练好的孪生神经网络对不同时间覆盖同一地区的待测多源遥感影像进行检测，得到遥感影像变化检测结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取不同时间覆盖同一地区的两个多源遥感影像，并对所述多源遥感影像进行标注，并对标注后结果进行数据增强，得到训练样本。
构建用于遥感影像变化检测的孪生神经网络；所述孪生神经网络包括：两条由结构和参数均相同的DeepLab v3+模型的骨干网络、ASPP模块以及双重注意力模块组成的特征提取支路，输出网络；所述特征提取支路用于采用DeepLab v3+模型的骨干网络和ASPP模块对训练样本进行特征提取，然后采用双重注意力模块中并联的空间注意力模块以及通道注意力模块对提取得到的特征进行特征聚合，得到融合特征图；所述输出网络用于对两条特征提取支路输出的所述融合特征图进行卷积和上采样操作，得到训练样本的变化检测预测结果图。
利用训练样本的标注和将训练样本输入到孪生神经网络得到的训练样本的变化检测预测结果图对孪生神经网络进行训练，得到训练好的孪生神经网络。
采用训练好的孪生神经网络对不同时间覆盖同一地区的待测多源遥感影像进行检测，得到遥感影像变化检测结果。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取不同时间覆盖同一地区的两个多源遥感影像，并对所述多源遥感影像进行标注，并对标注后结果进行数据增强，得到训练样本。
构建用于遥感影像变化检测的孪生神经网络；所述孪生神经网络包括：两条由结构和参数均相同的DeepLab v3+模型的骨干网络、ASPP模块以及双重注意力模块组成的特征提取支路，输出网络；所述特征提取支路用于采用DeepLab v3+模型的骨干网络和ASPP模块对训练样本进行特征提取，然后采用双重注意力模块中并联的空间注意力模块以及通道注意力模块对提取得到的特征进行特征聚合，得到融合特征图；所述输出网络用于对两条特征提取支路输出的所述融合特征图进行卷积和上采样操作，得到训练样本的变化检测预测结果图。
利用训练样本的标注和将训练样本输入到孪生神经网络得到的训练样本的变化检测预测结果图对孪生神经网络进行训练，得到训练好的孪生神经网络。
采用训练好的孪生神经网络对不同时间覆盖同一地区的待测多源遥感影像进行检测，得到遥感影像变化检测结果。
上述遥感影像变化检测方法、装置、计算机设备和存储介质，所述方法中构建的用于遥感影像变化检测的孪生神经网络包括两条由结构和参数均相同的DeepLab v3+模型的骨干网络、ASPP模块以及双重注意力模块组成的特征提取支路，输出网络，本网络模型采用了残差连接、双注意力机制等一系列先进的网络模块，可以有效增强网络的特征表达能力，模型训练时的各种数据增强进一步增强了网络对色彩变化、阴影遮挡等因素的抗干扰能力，提高了模型的泛化能力，使得变化检测模型可以稳定、鲁棒地对有效地物变化进行高层次语义特征表达，实现对地形要素的高质量变化检测。
附图说明
图1为一个实施例中遥感影像变化检测方法的流程示意图；
图2为另一个实施例中用于遥感影像变化检测的孪生神经网络的结构图；
图3为一个实施例中双重注意力模块的结构图；
图4为另一个实施例中遥感影像变化检测装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
空间金字塔池化的英文全称为：Atrous Spatial Pyramid Pooling，简称：ASSP。
本方法针对土地利用动态、周期性变化检测的应用需求，基于历史矢量、基础地理信息数据以及最新遥感影像等多源数据，以及深度学习的土地利用变化信息提取方法，采用融合时空维度和光谱维度的注意力网络模型，以及孪生神经网络分支结构，分别对前时相和后时相影像进行层次化的语义特征抽取，来实现多时相序列高分遥感影像中土地利用变化信息的快速、高精度提取。其中光谱维度指的是波段信息的维度。
在一个实施例中，如图1所示，提供了一种遥感影像变化检测方法，该方法包括以下步骤：
步骤100：获取不同时间覆盖同一地区的两张多源遥感影像，并对多源遥感影像进行标注，并对标注后结果进行数据增强，得到训练样本。
具体的，变化检测的输入为不同时期覆盖同一地区的多源遥感影像和相关地理空间数据，在选取遥感影像数据时，使用相同传感器、在每年的相近日期、相似的气候条件下拍摄得到数据，采用相同的预处理方法，最大限度地消除几何和辐射差异引起的非显著变化是不同时相选择数据源的基本原则。
相关地理空间数据的作用是：为不同时期覆盖同一地区的多源遥感影像预处理的提供帮助，类似于辐射定标参数，采用配准的方式进行几何校正所需的遥感影像。
遥感影像一般都是覆盖面积较大的地理影像数据，深度学习神经网络模型训练样本数据时，由于内存空间的限制，需在网络训练开始之前对原始影像数据进行切片处理。采用多种数据扩增方式生成多种样式的影像数据集，构建完备紧致的变化目标样本库。
步骤102：构建用于遥感影像变化检测的孪生神经网络。
孪生神经网络包括：两条由结构和参数均相同的DeepLab v3+模型的骨干网络、ASPP模块以及双重注意力模块组成的特征提取支路，输出网络。
特征提取支路用于采用DeepLab v3+模型的骨干网络和ASPP模块对训练样本进行特征提取，然后采用双重注意力模块中并联的空间注意力模块以及通道注意力模块对提取得到的特征进行特征聚合，得到融合特征图。
输出网络用于对两条特征提取支路输出的融合特征图进行卷积和上采样操作，得到训练样本的变化检测预测结果图。
具体的，孪生神经网络是指一类包含两个或更多个相同子网络的神经网络架构。
DeepLab v3+模型的骨干网络是通过在由底向上的层次化特征图中加入横向连接，有效地融合高分辨低维语义特征和低分辨高维语义特征，更好的恢复不同尺度地物的边缘信息，保障了后续检测网络在不同分辨率影像中对不同尺度目标的检测能力，且保留了能够有效捕获多尺度信息的ASPP模块。
在遥感影像要素提取中，通过分别对时空维度和特征维度附加注意力机制，将两个注意力机制的输出相加来进一步改进特征表示，提高结果精度。空间注意力模块通过所有位置处的特征的加权和来选择性地聚合每个位置处的特征，无论距离如何，相似的特征都将彼此相关。通道注意力模块通过整合所有通道映射中的相关特征来选择性地强调相互依赖的通道映射。在神经网络中引入注意力机制，可以在众多的输入信息中聚焦于对当前任务更为关键的信息，降低对其他信息的关注度，甚至过滤掉无关信息，解决信息过载问题，提高任务处理的效率与准确率。注意力机制的主要思路为通过一系列的注意力分配系数，也就是一系列权重参数，可以用来强调或选择目标处理对象的重要信息，并且抑制一些无关的细节信息。
用于遥感影像变化检测的孪生神经网络的结构如图2所示。图中的解码区模块即为孪生神经网络的输出网络。
该孪生神经网络在设计上采用了残差连接、注意力机制等一系列先进的网络模块，可以有效增强网络的特征表达能力，模型训练时的各种数据增强进一步增强了网络对色彩变化、阴影遮挡等因素的抗干扰能力，提高了模型的泛化能力，使得变化检测模型可以稳定、鲁棒地对有效地物变化进行高层次语义特征表达，实现对地形要素的高质量变化检测。在网络设计上引入注意力机制相并联的方式，对由DeepLab v3+模型的骨干网络和ASPP模块组成的编码区模块提取的特征进行特征聚合，在经大量有标注样本数据训练后，得到验证优化后的地物变化检测模型，应用于待测卫星影像上，可实现对多时相遥感影像变化检测识别提取。
该网络采用全卷积网络，能适应不同尺寸大小的遥感影像输入，在不同分辨率多源遥感影像地物要素变化检测影像数据样本库的支撑下，通过模型训练验证，得到的地物变化检测智能解译模型能够适应不同空间分辨率的遥感影像。
步骤104：利用训练样本的标注和将训练样本输入到孪生神经网络得到的训练样本的变化检测预测结果图对孪生神经网络进行训练，得到训练好的孪生神经网络。
具体的，网络的训练过程包括：模型参数的配置、模型的训练调优以及模型的预测评估三个阶段。在模型参数的配置阶段，根据变化检测的样本数据集来配置算法模型中的各超参数和系统资源，使模型能够适用于本次样本数据的训练，达到更快的训练速度与更高的训练精度；模型的训练调优阶段，首先用初始样本数据训练用于变化检测的那部分网络，其次用待测试样本数据重构差分图像网络，两个网络底层部分参数共享，最后训练整个网络；在模型的预测评估：将测试数据输入训练好的网络模型中，得到测试数据中变化区域的识别结果。根据测试结果精度及人工判读效果，判断模型的检测性能与泛化性能，根据反馈的效果，不断调试训练以达到模型最好的效果。将最优模型保存为推荐模型，支持以插件形式可直接挂接到软件系统中，模型具有可扩充性和增广性。
步骤106：采用训练好的孪生神经网络对不同时间覆盖同一地区的待测多源遥感影像进行检测，得到遥感影像变化检测结果。
上述遥感影像变化检测方法中，所述方法中构建的用于遥感影像变化检测的孪生神经网络包括两条由结构和参数均相同的DeepLab v3+模型的骨干网络、ASPP模块以及双重注意力模块组成的特征提取支路，输出网络，本网络模型采用了残差连接、双注意力机制等一系列先进的网络模块，可以有效增强网络的特征表达能力，模型训练时的各种数据增强进一步增强了网络对色彩变化、阴影遮挡等因素的抗干扰能力，提高了模型的泛化能力，使得变化检测模型可以稳定、鲁棒地对有效地物变化进行高层次语义特征表达，实现对地形要素的高质量变化检测。
在其中一个实施例中，步骤100包括：获取不同时间覆盖同一地区的多源遥感影像，并对多源遥感影像进行数据栅格转化、深度转换以及裁剪得到符合模型输入尺寸的数据集，并对数据集进行标注；采用多种数据增强方式对标注后的数据集进行处理，得到训练样本。
在其中一个实施例中，训练样本包括：第一多源遥感影像训练样本和第二多源遥感影像训练样本；步骤104包括：将第一多源遥感影像训练样本和第二多源遥感影像训练样本输入到分别输入到两条特征提取支路中，得到第一融合特征和第二融合特征；将第一融合特征和第二融合特征输入到输出网络中，得到训练样本的变化检测预测结果图；根据训练样本的变化检测预测结果图和训练样本的标注对孪生神经网络进行反向训练，得到训练好的孪生神经网络。
在其中一个实施例中，步骤104还包括：将第一多源遥感影像训练样本输入到第一条特征提取支路的DeepLab v3+模型的骨干网络中进行特征提取，并将得到的特征利用ASPP模块对多尺度信息进行提取，得到第一语义特征信息；将第一语义特征信息输入到第一条特征提取支路的双重注意力模块中，得到第一融合特征；将第二多源遥感影像训练样本输入到第二条特征提取支路，得到第二融合特征。
在其中一个实施例中，双重注意力模块的结构如图3所示。双重注意力模块包括：并联的空间注意力模块以及通道注意力模块；步骤104还包括：将第一语义特征信息输入到第一条特征提取支路的双重注意力模块的空间注意力模块中，在空间上对第一语义特征信息进行两次的扁平化处理，得到第一特征和第二特征，并将转置后的第一特征与第二特征相乘，并将得到的结果通过Softmax激活函数，得到第一语义特征信息的特征权重矩阵，然后将特征权重矩阵与第一语义特征信息进行融合，得到第一空间注意力特征；将第一语义特征信息输入到第一条特征提取支路的双重注意力模块的通道注意力模块中，得到第一通道注意力特征；通道注意力模块与空间注意力模块结构相似，唯一的区别点在于通道注意力模块没有进行两次扁平化处理；将第一空间注意力特征和第一通道注意力特征相加融合后，得到第一融合特征。
具体的，在所有输入信息上计算注意力分布，注意力分布表示输入信息中每个信息与特定目标地物的相关程度，再根据注意力分布计算输入信息的加权平均得到权重值。通道注意力模块可随着训练的加深，获取到特征通道上的依赖关系。空间注意力模块可得到空间上的依赖关系。
在其中一个实施例中，步骤104还包括：将第一融合特征和第二融合特征输入到输出网络中，对第一融合特征和第二融合特征进行上采样，并将上采样后的2×2区域中的空值补成适当的特征值，然后进行卷积操作，得到训练样本的变化检测预测结果图。
在其中一个实施例中，步骤104还包括：构建孪生神经网络的损失函数和重构网络的损失函数，并将孪生神经网络的损失函数和重构网络的损失函数的加权和作为总损失函数；孪生神经网络的损失函数：
其中，Ls为孪生神经网络的损失，
为检测网络发生的变化的二进制映射，θs、θc、lbce分别为共享部分网络的参数、变化检测右上分支的参数和是第k个patch对中的(i，j)处的像素的二进制交叉熵损失，上标s为孪生神经网络；下标k为第k个patch。
重构网络的损失函数为：
其中，Lt为重构网络的损失，r(i,j)为利用log-ratio求取的差分图像，
为重构的版本，lsqr为重构目标域在r时每个像素的平方损失,上标t为重构网络,下标k为第k个patch。
总损失函数为：
Lpre＝αLs+(1-α)Lt (3)
其中，Lpre为总损失；α是个恒定的参数用于平衡变化检测和重建任务之间的重要性。
根据训练样本的变化检测预测结果图、训练样本的标注、总损失函数对孪生神经网络进行反向训练，得到训练好的孪生神经网络。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个具体的实施例中，获取的是高分系列影像数据，以此来作为样本数据，对沿海区域的监测目标进行地物变化检测，具体的实施流程步骤如下：
步骤1，样本数据集的处理：
模型训练是否能取得更好的效果，很大一部分取决于样本数据的质量和数量，模型的训练过程实际上就是让模型来“学习”各种场景、各种类型的目标物体的过程，高质量的样本数据会取得更好的效果。
变化检测的输入为不同时期覆盖同一地区的多源遥感影像和相关地理空间数据，在选取影像数据时，使用相同传感器、在每年的相近日期、相似的气候条件下拍摄得到数据，采用相同的预处理方法，最大限度地消除几何和辐射差异引起的非显著变化是不同时相选择数据源的基本原则。
通过对样本数据栅格转化、深度转换、裁剪等预处理得到符合模型输入尺寸的数据，之后根据不同的数据情况再对样本数据进行相应的数据增强处理如随机裁剪、缩放、色彩变幻等来提高样本数据的质量和数量。根据模型训练的目标，将样本数据切分为训练数据集和测试数据集。
步骤2，检测模型网络的构建：
孪生神经网络的构建是基于多个卷积神经网络结构的组合，根据不同的组合得到不同的网络。卷积神经网络结构一般由卷积神经层、ReLU层、Pooling层、规范化层构成。卷积神经层是通过卷积核对图像的每个像素点进行卷积运算，卷积核作为训练参数，经过不断地训练，能够提取出图像的特征值。
为了保证神经网络模型对不同尺度的变化目标均有较好的检测能力，本网络模型的特征提取过程是将DeepLab v3+模型的骨干网络与ASPP模块组成孪生神经网络，并看作编码区(encoder)，对输入的遥感影像进行特征提取。通过在由底向上的层次化特征图中加入横向连接，有效地融合高分辨低维语义特征和低分辨高维语义特征，更好的恢复不同尺度地物的边缘信息，保障了后续检测网络在不同分辨率影像中对不同尺度目标的检测能力，且保留了能够有效捕获多尺度信息的ASPP模块。为避免因神经网络模型权重过多，造成信息过载的问题，本发明提出对结合两时相影像提取出的特征图，分别通过空间注意力模块以及通道注意力模块进行处理，使神经网络模型获取到空间维与特征维的依赖信息。
将特征提取以及融合的结果后交给卷积层进行处理。上采样后的2×2区域只有一个前一层传来的1×1特征点，其余区域都是空值，卷积层将空值填补成适当的特征值，让这个区域变得完整并且平滑。从而使高层语义特征逐步恢复到输入影像的尺寸，并压缩特征通道，获得变化区域边缘信息。得到变化区域特征，通过损失函数计算推理出的变换区域与实际变化区域的损失。
为了从背景复杂的高分遥感影像中学习到变化区域的高层次特征表达，采用基于深度卷积网络的层次化特征学习模型在训练数据上进行特征提取。DeepLab v3+模型的骨干网络采用ResNet50，该网络在常规卷积网络中引入了残差结构，设X为残差模块的输入值，F(x)是经过第一层线性变化并激活后的输出，在第二层进行线性变化之后激活之前，F(x)加入了这一层输入值X，然后再进行激活后输出。在第二层输出值激活前加入X，这条路径称作shortcut连接。残差结构使得网络层数增加时，网络性能也不会显著下降，可以有效缓解深度网络训练时的退化问题。
在神经网络中引入注意力机制，可以在众多的输入信息中聚焦于对当前任务更为关键的信息，降低对其他信息的关注度，甚至过滤掉无关信息，解决信息过载问题，提高任务处理的效率与准确率。注意力机制的主要思路为通过一系列的注意力分配系数，也就是一系列权重参数，可以用来强调或选择目标处理对象的重要信息，并且抑制一些无关的细节信息。
在遥感影像要素提取中，通过分别对时空维度和特征维度附加注意力模块，将两个注意力模块的输出相加来进一步改进特征表示，提高结果精度。空间注意力模块通过所有位置处的特征的加权和来选择性地聚合每个位置处的特征，无论距离如何，相似的特征都将彼此相关。通道注意力模块通过整合所有通道映射中的相关特征来选择性地强调相互依赖的通道映射。
步骤3，模型参数的配置：
主要根据变化检测的样本数据集来配置算法模型中的各超参数和系统资源，主要有学习率、损失函数、训练批次、Batch Size、优化方法等超参数，使模型能够适用于本次样本数据的训练，达到更快的训练速度与更高的训练精度。
步骤4，模型的训练调优：
在样本数据与模型参数处理完成后开始训练整个算法模型，根据模型训练过程中反馈的损失值、训练精度等信息重新调整模型结构、模型参数再次运行训练。通过对训练模型、样本数据或者模型超参数的反复调整，使训练结果达到精度要求，将训练效果最好的模型保存下来用于测试。
损失函数定义：孪生神经网络的损失函数的表达式如式(1)所示。重构网络的损失函数的表达式如式(2)所示。整个孪生神经网络的总损失函数的表达式如式(3)所示。当重构网络损失趋于稳定时，停止对整个网络的训练。
模型微调(Fine-tune)阶段采用测试集作为训练数据，利用规则伪造测试集标签，之后对伪造的标签以像素为单位统计邻域内判断为变化的像素点的数量进行分类，筛选出伪标签质量高的patch(patch为神经网络内核的输入，不是一整张图片)进行模型微调，以拟合测试集数据，根据损失函数、精度信息以及测试结果来调整网络。
步骤5，模型的预测评估：
将从样本数据集中随机切分出的测试数据输入训练好的网络模型中，得到测试数据中变化区域的识别结果。模型训练的目的就是为了在预测新的样本数据时能够识别出目标物体且达到高精度识别结果，所以训练模型需要在新的样本数据集上表现出良好的识别性能，更低的泛化误差。因此测试数据集是在样本数据集中随机抽取的，通过预测结果中的准确率、召回率等参数对模型的性能进行评估，对误差进行分析，选择一个预测准确率最高的模型。
最后，通过基于深度学习的变化检测方法得到当期时相的变化图斑后，结合历史矢量和基础地理信息等数据，采用比对分析的方式，即可得到变化图斑的类别信息。也可将前期历史数据制作成深度学习数据集，训练得到变化图斑分类模型，实现从变化检测到图斑分类的全自动化流程。
以深度学习技术为核心，通过对遥感数据进行加工处理，训练检测模型，建立检测区域与特征空间中的区域联系，自动检测识别变化地物，提高变化检测的效率。利用人工智能的自动识别，减少人工手动勾绘时间，大幅提升变化检测的工作效率。经过大量样本数据训练过的模型能够快速且有效的识别出目标物体。
在一个实施例中，如图4所示，提供了一种遥感影像变化检测装置，包括：训练样本确定模块、用于遥感影像变化检测的孪生神经网络构建模块、网络训练模块和遥感影像变化检测模块，其中：
训练样本确定模块，用于获取不同时间覆盖同一地区的两个多源遥感影像，并对多源遥感影像进行标注，并对标注后结果进行数据增强，得到训练样本。
用于遥感影像变化检测的孪生神经网络构建模块，用于构建用于遥感影像变化检测的孪生神经网络；孪生神经网络包括：两条由结构和参数均相同的DeepLab v3+模型的骨干网络、ASPP模块以及双重注意力模块组成的特征提取支路，输出网络；特征提取支路用于采用DeepLab v3+模型的骨干网络和ASPP模块对训练样本进行特征提取，然后采用双重注意力模块中并联的空间注意力模块以及通道注意力模块对提取得到的特征进行特征聚合，得到融合特征图；输出网络用于对两条特征提取支路输出的融合特征图进行卷积和上采样操作，得到训练样本的变化检测预测结果图。
网络训练模块，用于利用训练样本的标注和将训练样本输入到孪生神经网络得到的训练样本的变化检测预测结果图对孪生神经网络进行训练，得到训练好的孪生神经网络。
遥感影像变化检测模块，用于采用训练好的孪生神经网络对不同时间覆盖同一地区的待测多源遥感影像进行检测，得到遥感影像变化检测结果。
在其中一个实施例中，训练样本确定模块，还用于获取不同时间覆盖同一地区的多源遥感影像，并对多源遥感影像进行数据栅格转化、深度转换以及裁剪得到符合模型输入尺寸的数据集，并对数据集进行标注；采用多种数据增强方式对标注后的数据集进行处理，得到训练样本。
在其中一个实施例中，训练样本包括：第一多源遥感影像训练样本和第二多源遥感影像训练样本；网络训练模块，还用于将第一多源遥感影像训练样本和第二多源遥感影像训练样本输入到分别输入到两条特征提取支路中，得到第一融合特征和第二融合特征；将第一融合特征和第二融合特征输入到输出网络中，得到训练样本的变化检测预测结果图；根据训练样本的变化检测预测结果图和训练样本的标注对孪生神经网络进行反向训练，得到训练好的孪生神经网络。
在其中一个实施例中，步骤104还包括：将第一多源遥感影像训练样本输入到第一条特征提取支路的DeepLab v3+模型的骨干网络中进行特征提取，并将得到的特征利用ASPP模块对多尺度信息进行提取，得到第一语义特征信息；将第一语义特征信息输入到第一条特征提取支路的双重注意力模块中，得到第一融合特征；将第二多源遥感影像训练样本输入到第二条特征提取支路，得到第二融合特征。
在其中一个实施例中，双重注意力模块包括：并联的空间注意力模块以及通道注意力模块；网络训练模块，还用于将第一语义特征信息输入到第一条特征提取支路的双重注意力模块的空间注意力模块中，在空间上对第一语义特征信息进行两次的扁平化处理，得到第一特征和第二特征，并将转置后的第一特征与第二特征相乘，并将得到的结果通过Softmax激活函数，得到第一语义特征信息的特征权重矩阵，然后将特征权重矩阵与第一语义特征信息进行融合，得到第一空间注意力特征；将第一语义特征信息输入到第一条特征提取支路的双重注意力模块的通道注意力模块中，得到第一通道注意力特征；通道注意力模块与空间注意力模块结构相似，唯一的区别点在于通道注意力模块没有进行两次扁平化处理；将第一空间注意力特征和第一通道注意力特征相加融合后，得到第一融合特征。
在其中一个实施例中，网络训练模块，还用于将第一融合特征和第二融合特征输入到输出网络中，对第一融合特征和第二融合特征进行上采样，并将上采样后的2×2区域中的空值补成适当的特征值，然后进行卷积操作，得到训练样本的变化检测预测结果图。
在其中一个实施例中，网络训练模块，还用于构建孪生神经网络的损失函数和重构网络的损失函数，并将孪生神经网络的损失函数和重构网络的损失函数的加权和作为总损失函数；孪生神经网络的损失函数的表达式如式(1)所示；重构网络的损失函数的表达式如式(2)所示；总损失函数的表达式如式(3)所示；根据训练样本的变化检测预测结果图、训练样本的标注、总损失函数对孪生神经网络进行反向训练，得到训练好的孪生神经网络。
关于遥感影像变化检测装置的具体限定可以参见上文中对于遥感影像变化检测方法的限定，在此不再赘述。上述遥感影像变化检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种遥感影像变化检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种遥感影像变化检测方法，其特征在于，所述方法包括：
获取不同时间覆盖同一地区的两个多源遥感影像，并对所述多源遥感影像进行标注，并对标注后结果进行数据增强，得到训练样本；
构建用于遥感影像变化检测的孪生神经网络；所述孪生神经网络包括：两条由结构和参数均相同的DeepLab v3+模型的骨干网络、ASPP模块以及双重注意力模块组成的特征提取支路，输出网络；所述特征提取支路用于采用DeepLab v3+模型的骨干网络和ASPP模块对训练样本进行特征提取，然后采用双重注意力模块中并联的空间注意力模块以及通道注意力模块对提取得到的特征进行特征聚合，得到融合特征图；所述输出网络用于对两条特征提取支路输出的所述融合特征图进行卷积和上采样操作，得到训练样本的变化检测预测结果图；
利用训练样本的标注和将训练样本输入到孪生神经网络得到的训练样本的变化检测预测结果图对孪生神经网络进行训练，得到训练好的孪生神经网络；
采用训练好的孪生神经网络对不同时间覆盖同一地区的待测多源遥感影像进行检测，得到遥感影像变化检测结果。
2.根据权利要求1所述的方法，其特征在于，获取不同时间覆盖同一地区的两个多源遥感影像，并对所述多源遥感影像进行标注，并对标注后结果进行数据增强，得到训练样本，包括：
获取不同时间覆盖同一地区的多源遥感影像，并对所述多源遥感影像进行数据栅格转化、深度转换以及裁剪得到符合模型输入尺寸的数据集，并对所述数据集进行标注；
采用多种数据增强方式对标注后的数据集进行处理，得到训练样本。
3.根据权利要求1所述的方法，其特征在于，所述训练样本包括：第一多源遥感影像训练样本和第二多源遥感影像训练样本；
利用训练样本的标注和将训练样本输入到孪生神经网络得到的训练样本的变化检测预测结果图对孪生神经网络进行训练，得到训练好的孪生神经网络，包括：
将所述第一多源遥感影像训练样本和第二多源遥感影像训练样本输入到分别输入到两条特征提取支路中，得到第一融合特征和第二融合特征；
将所述第一融合特征和所述第二融合特征输入到输出网络中，得到训练样本的变化检测预测结果图；
根据训练样本的变化检测预测结果图和训练样本的标注对所述孪生神经网络进行反向训练，得到训练好的孪生神经网络。
4.根据权利要求3所述的方法，其特征在于，将所述第一多源遥感影像训练样本和第二多源遥感影像训练样本输入到分别输入到两条特征提取支路中，得到第一融合特征和第二融合特征，包括：
将所述第一多源遥感影像训练样本输入到所述第一条特征提取支路的DeepLab v3+模型的骨干网络中进行特征提取，并将得到的特征利用ASPP模块对多尺度信息进行提取，得到第一语义特征信息；
将所述第一语义特征信息输入到第一条特征提取支路的所述双重注意力模块中，得到第一融合特征；
将所述第二多源遥感影像训练样本输入到所述第二条特征提取支路，得到第二融合特征。
5.根据权利要求4所述的方法，其特征在于，所述双重注意力模块包括：并联的空间注意力模块以及通道注意力模块；
将所述第一语义特征信息输入到第一条特征提取支路的所述双重注意力模块中，得到第一融合特征，包括：
将所述第一语义特征信息输入到第一条特征提取支路的所述双重注意力模块的空间注意力模块中，在空间上对所述第一语义特征信息进行两次的扁平化处理，得到第一特征和第二特征，并将转置后的所述第一特征与所述第二特征相乘，并将得到的结果通过Softmax激活函数，得到第一语义特征信息的特征权重矩阵，然后将所述特征权重矩阵与所述第一语义特征信息进行融合，得到第一空间注意力特征；
将所述第一语义特征信息输入到第一条特征提取支路的所述双重注意力模块的通道注意力模块中，得到第一通道注意力特征；所述通道注意力模块与所述空间注意力模块结构相似，唯一的区别点在于通道注意力模块没有进行两次扁平化处理；
将所述第一空间注意力特征和所述第一通道注意力特征相加融合后，得到第一融合特征。
6.根据权利要求3所述的方法，其特征在于，将所述第一融合特征和所述第二融合特征输入到输出网络中，得到训练样本的变化检测预测结果图，包括：
将所述第一融合特征和所述第二融合特征输入到输出网络中，对所述第一融合特征和所述第二融合特征进行上采样，并将上采样后的2×2区域中的空值补成适当的特征值，然后进行卷积操作，得到训练样本的变化检测预测结果图。
7.根据权利要求3所述的方法，其特征在于，根据训练样本的变化检测预测结果图和训练样本的标注对所述孪生神经网络进行反向训练，得到训练好的孪生神经网络，包括：
构建孪生神经网络的损失函数和重构网络的损失函数，并将孪生神经网络的损失函数和重构网络的损失函数的加权和作为总损失函数；所述孪生神经网络的损失函数：
其中，Ls为孪生神经网络的损失，
为检测网络发生的变化的二进制映射，θs、θc、lbce分别为共享部分网络的参数、变化检测右上分支的参数和第k个patch对中的(i，j)处的像素的二进制交叉熵损失，上标s为孪生神经网络；下标k为第k个patch；
所述重构网络的损失函数为：
其中，Lt为重构网络的损失，r(i,j)为利用log-ratio求取的差分图像，
为重构的版本，lsqr为重构目标域在r时每个像素的平方损失，上标t为重构网络；
所述总损失函数为：
Lpre＝αLs+(1-α)Lt
其中，Lpre为总损失，α是个恒定的参数；
根据训练样本的变化检测预测结果图、训练样本的标注、总损失函数对所述孪生神经网络进行反向训练，得到训练好的孪生神经网络。
8.一种遥感影像变化检测装置，其特征在于，所述装置包括：
训练样本确定模块，用于获取不同时间覆盖同一地区的两个多源遥感影像，并对所述多源遥感影像进行标注，并对标注后结果进行数据增强，得到训练样本；
用于遥感影像变化检测的孪生神经网络构建模块，用于构建用于遥感影像变化检测的孪生神经网络；所述孪生神经网络包括：两条由结构和参数均相同的DeepLab v3+模型的骨干网络、ASPP模块以及双重注意力模块组成的特征提取支路，输出网络；所述特征提取支路用于采用DeepLab v3+模型的骨干网络和ASPP模块对训练样本进行特征提取，然后采用双重注意力模块中并联的空间注意力模块以及通道注意力模块对提取得到的特征进行特征聚合，得到融合特征图；所述输出网络用于对两条特征提取支路输出的所述融合特征图进行卷积和上采样操作，得到训练样本的变化检测预测结果图；
网络训练模块，用于利用训练样本的标注和将训练样本输入到孪生神经网络得到的训练样本的变化检测预测结果图对孪生神经网络进行训练，得到训练好的孪生神经网络；
遥感影像变化检测模块，用于采用训练好的孪生神经网络对不同时间覆盖同一地区的待测多源遥感影像进行检测，得到遥感影像变化检测结果。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211112588.0A CN115457390A (zh) | 2022-09-13 | 2022-09-13 | 遥感影像变化检测方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211112588.0A CN115457390A (zh) | 2022-09-13 | 2022-09-13 | 遥感影像变化检测方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115457390A true CN115457390A (zh) | 2022-12-09 |
Family
ID=84302732
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211112588.0A Pending CN115457390A (zh) | 2022-09-13 | 2022-09-13 | 遥感影像变化检测方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115457390A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115984263A (zh) * | 2023-03-15 | 2023-04-18 | 三峡智控科技有限公司 | 基于改进型孪生神经网络的螺栓松动检测算法及检测系统 |
| CN116012364A (zh) * | 2023-01-28 | 2023-04-25 | 北京建筑大学 | Sar图像变化检测方法和装置 |
| CN116051519A (zh) * | 2023-02-02 | 2023-05-02 | 广东国地规划科技股份有限公司 | 双时相影像建筑物变化检测方法、装置、设备及存储介质 |
| CN116052007A (zh) * | 2023-03-30 | 2023-05-02 | 山东锋士信息技术有限公司 | 一种融合时间和空间信息的遥感图像变化检测方法 |
| CN116260765A (zh) * | 2023-05-11 | 2023-06-13 | 中国人民解放军国防科技大学 | 一种大规模动态路由网络数字孪生建模方法 |
| CN117314895A (zh) * | 2023-11-27 | 2023-12-29 | 北京阿丘科技有限公司 | 缺陷检测方法、设备及计算机可读存储介质 |
| CN117671437A (zh) * | 2023-10-19 | 2024-03-08 | 中国矿业大学(北京) | 基于多任务卷积神经网络的露天采场识别与变化检测方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112396002A (zh) * | 2020-11-20 | 2021-02-23 | 重庆邮电大学 | 一种基于SE-YOLOv3的轻量级遥感目标检测方法 |
| US20210089807A1 (en) * | 2019-09-25 | 2021-03-25 | Samsung Electronics Co., Ltd. | System and method for boundary aware semantic segmentation |
| CN113420662A (zh) * | 2021-06-23 | 2021-09-21 | 西安电子科技大学 | 基于孪生多尺度差异特征融合的遥感影像变化检测方法 |
| CN113569815A (zh) * | 2021-09-22 | 2021-10-29 | 速度时空信息科技股份有限公司 | 基于图像分割与孪生神经网络的遥感影像变化的检测方法 |
| CN114022788A (zh) * | 2022-01-05 | 2022-02-08 | 长沙理工大学 | 遥感图像变化检测方法、装置、计算机设备和存储介质 |
| WO2022160753A1 (zh) * | 2021-01-27 | 2022-08-04 | 上海商汤智能科技有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| CN114972989A (zh) * | 2022-05-18 | 2022-08-30 | 中国矿业大学(北京) | 一种基于深度学习算法的单幅遥感影像高度信息估算方法 |
-
2022
- 2022-09-13 CN CN202211112588.0A patent/CN115457390A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210089807A1 (en) * | 2019-09-25 | 2021-03-25 | Samsung Electronics Co., Ltd. | System and method for boundary aware semantic segmentation |
| CN112396002A (zh) * | 2020-11-20 | 2021-02-23 | 重庆邮电大学 | 一种基于SE-YOLOv3的轻量级遥感目标检测方法 |
| WO2022160753A1 (zh) * | 2021-01-27 | 2022-08-04 | 上海商汤智能科技有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| CN113420662A (zh) * | 2021-06-23 | 2021-09-21 | 西安电子科技大学 | 基于孪生多尺度差异特征融合的遥感影像变化检测方法 |
| CN113569815A (zh) * | 2021-09-22 | 2021-10-29 | 速度时空信息科技股份有限公司 | 基于图像分割与孪生神经网络的遥感影像变化的检测方法 |
| CN114022788A (zh) * | 2022-01-05 | 2022-02-08 | 长沙理工大学 | 遥感图像变化检测方法、装置、计算机设备和存储介质 |
| CN114972989A (zh) * | 2022-05-18 | 2022-08-30 | 中国矿业大学(北京) | 一种基于深度学习算法的单幅遥感影像高度信息估算方法 |
Non-Patent Citations (6)
| Title |
|---|
| HUIWEI JIANG ET AL.: "PGA-SiamNet Pyramid Feature-Based Attention-Guided Siamese Network for Remote Sensing Orthoimagery Building Change Detection", 《REMOTE SENSING》, vol. 12, pages 1 - 21 * |
| JIE CHEN ET AL.: "DASNet- Dual Attentive Fully Convolutional Siamese Networks for Change Detection in High-Resolution Satellite Images", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》, vol. 14, pages 1194 - 1206, XP011830817, DOI: 10.1109/JSTARS.2020.3037893 * |
| JIE CHEN ET AL.: "DASNet: Dual Attentive Fully Convolutional Siamese Networks for Change Detection in High-Resolution Satellite Images", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》, vol. 14, pages 1194 - 1206, XP011830817, DOI: 10.1109/JSTARS.2020.3037893 * |
| MEIJUAN YANG ET AL.: "Transferred Deep Learning-Based Change Detection in Remote Sensing Images", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》, vol. 57, pages 6960 - 6973, XP011742574, DOI: 10.1109/TGRS.2019.2909781 * |
| XUDONG YAO ET AL.: "Light-Weight Cloud Detection Network for Optical Remote Sensing Images with Attention-Based DeeplabV3+ Architecture", 《REMOTE SENSING》, pages 1 - 23 * |
| 赵祥 等: "基于改进DeepLabv3+孪生网络的遥感影像变化检测方法", 《地球信息科学》, vol. 24, pages 1604 - 1616 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116012364A (zh) * | 2023-01-28 | 2023-04-25 | 北京建筑大学 | Sar图像变化检测方法和装置 |
| CN116012364B (zh) * | 2023-01-28 | 2024-01-16 | 北京建筑大学 | Sar图像变化检测方法和装置 |
| CN116051519A (zh) * | 2023-02-02 | 2023-05-02 | 广东国地规划科技股份有限公司 | 双时相影像建筑物变化检测方法、装置、设备及存储介质 |
| CN116051519B (zh) * | 2023-02-02 | 2023-08-22 | 广东国地规划科技股份有限公司 | 双时相影像建筑物变化检测方法、装置、设备及存储介质 |
| CN115984263A (zh) * | 2023-03-15 | 2023-04-18 | 三峡智控科技有限公司 | 基于改进型孪生神经网络的螺栓松动检测算法及检测系统 |
| CN116052007A (zh) * | 2023-03-30 | 2023-05-02 | 山东锋士信息技术有限公司 | 一种融合时间和空间信息的遥感图像变化检测方法 |
| CN116052007B (zh) * | 2023-03-30 | 2023-08-11 | 山东锋士信息技术有限公司 | 一种融合时间和空间信息的遥感图像变化检测方法 |
| CN116260765A (zh) * | 2023-05-11 | 2023-06-13 | 中国人民解放军国防科技大学 | 一种大规模动态路由网络数字孪生建模方法 |
| CN116260765B (zh) * | 2023-05-11 | 2023-07-18 | 中国人民解放军国防科技大学 | 一种大规模动态路由网络数字孪生建模方法 |
| CN117671437A (zh) * | 2023-10-19 | 2024-03-08 | 中国矿业大学(北京) | 基于多任务卷积神经网络的露天采场识别与变化检测方法 |
| CN117314895A (zh) * | 2023-11-27 | 2023-12-29 | 北京阿丘科技有限公司 | 缺陷检测方法、设备及计算机可读存储介质 |
| CN117314895B (zh) * | 2023-11-27 | 2024-03-12 | 北京阿丘科技有限公司 | 缺陷检测方法、设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115457390A (zh) | 遥感影像变化检测方法、装置、计算机设备和存储介质 | |
| Hong et al. | SpectralGPT: Spectral remote sensing foundation model | |
| US11521379B1 (en) | Method for flood disaster monitoring and disaster analysis based on vision transformer | |
| US11875510B2 (en) | Generating refined segmentations masks via meticulous object segmentation | |
| CN111260055B (zh) | 基于三维图像识别的模型训练方法、存储介质和设备 | |
| CN116091497B (zh) | 遥感变化检测方法、装置、电子设备和存储介质 | |
| Samat et al. | Classification of VHR multispectral images using extratrees and maximally stable extremal region-guided morphological profile | |
| CN110807139B (zh) | 图片识别方法、装置、计算机可读存储介质和计算机设备 | |
| CN111967464B (zh) | 一种基于深度学习的弱监督目标定位方法 | |
| CN116524369B (zh) | 遥感影像分割模型构建方法、装置及遥感影像解译方法 | |
| Bhugra et al. | Deep convolutional neural networks based framework for estimation of stomata density and structure from microscopic images | |
| CN117765361B (zh) | 一种基于残差神经网络检测双时相遥感影像中建筑物变化区域的方法 | |
| CN115731220A (zh) | 坯布缺陷定位与分类方法、系统、设备及存储介质 | |
| Wang et al. | Fast spatial-spectral random forests for thick cloud removal of hyperspectral images | |
| CN117575111A (zh) | 一种基于迁移学习的农业遥感图像时空序列预测方法 | |
| CN117992757A (zh) | 基于多维数据的国土生态环境遥感数据分析方法 | |
| CN118172331A (zh) | 面向双时相遥感影像区域变化的实例级检测方法及装置 | |
| CN117830321A (zh) | 一种基于图像识别的粮食质量检测方法 | |
| Liu et al. | SACTNet: Spatial attention context transformation network for cloud removal | |
| Zhang et al. | U-SeqNet: learning spatiotemporal mapping relationships for multimodal multitemporal cloud removal | |
| Zhou et al. | Superpixel-based time-series reconstruction for optical images incorporating SAR data using autoencoder networks | |
| Li et al. | SHAFTS (v2022. 3): a deep-learning-based Python package for simultaneous extraction of building height and footprint from sentinel imagery | |
| Nie et al. | SkyGPT: Probabilistic Short-term Solar Forecasting Using Synthetic Sky Videos from Physics-constrained VideoGPT | |
| Jonnala et al. | SAR U-Net: Spatial attention residual U-Net structure for water body segmentation from remote sensing satellite images | |
| Gupta et al. | Remote sensing image classification using deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221209 |