CN112668494A - 基于多尺度特征提取的小样本变化检测方法 - Google Patents
基于多尺度特征提取的小样本变化检测方法 Download PDFInfo
- Publication number
- CN112668494A CN112668494A CN202011617116.1A CN202011617116A CN112668494A CN 112668494 A CN112668494 A CN 112668494A CN 202011617116 A CN202011617116 A CN 202011617116A CN 112668494 A CN112668494 A CN 112668494A
- Authority
- CN
- China
- Prior art keywords
- change detection
- convolution
- remote sensing
- layer
- small sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008859 change Effects 0.000 title claims abstract description 238
- 238000001514 detection method Methods 0.000 title claims abstract description 222
- 238000000605 extraction Methods 0.000 title claims abstract description 86
- 238000012549 training Methods 0.000 claims abstract description 87
- 238000000034 method Methods 0.000 claims abstract description 60
- 238000012360 testing method Methods 0.000 claims abstract description 42
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000011176 pooling Methods 0.000 claims description 42
- 230000011218 segmentation Effects 0.000 claims description 27
- 238000010586 diagram Methods 0.000 claims description 22
- 238000005070 sampling Methods 0.000 claims description 21
- 238000012795 verification Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 13
- 230000017105 transposition Effects 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 239000011800 void material Substances 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 29
- 238000004088 simulation Methods 0.000 description 14
- 230000004913 activation Effects 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Abstract
本发明公开一种基于多尺度特征提取的小样本变化检测方法，解决了现有技术中，存在特征提取不充分，遥感影像数据利用率不高等问题。实现包括：对原始遥感影像数据采集预处理，生成训练，验证，测试数据集；构建基于多尺度特征提取的小样本变化检测模型；并对检测模型进行训练；测试阶段对检测模型进行简化，得到输出的二值变化图。本发明不仅能够捕获输入遥感影像的多尺度信息，提高了遥感图像变化检测的特征提取能力。同时由于本发明中增加了遥感图像上层语义信息，减轻了遥感图像中变化区域太少网络所面临的过拟合风险。显著提高了在小样本训练条件下遥感图像变化检测的性能。可用在遥感图像变化检测电台技术领域中。
Description
技术领域
本发明属于遥感科学技术领域，涉及遥感影像变化检测，具体是一种基于多尺度特征提取的小样本变化检测方法。用于遥感影像变化检测。
背景技术
遥感技术是一种在不直接接触地物目标的情况下，利用各种传感器对远距离目标所辐射和反射的电磁波信息进行收集、处理并生成影像，从而对地面各种自然地物进行探测和识别的观测技术。随着传感器技术的提高，遥感图像的空间分辨率变得越来越高，相对于低、中分辨率影像，高分辨率遥感影像具有精度高、光谱波段多、重访时间短、对比度高等优点，可以提供更加丰富细致的地物纹理、光谱、形状等细节特征，越来越多地被用于科学研究当中。遥感影像的变化检测是指利用不同时相、同一地理区域的遥感影像，通过分析其纹理、灰度等信息检测地物的变化，定性定量的提取变化信息的过程。遥感影像变化检测按照应用领域可以分为水体变化检测、植被变化检测、道路变化检测以及城市变化检测等；按照检测的单元类型可以分为像素级变化检测、特征级变化检测和对象级变化检测等。
随着遥感数据获取技术的进步以及对地球资源认识的不断深化，高分辨率影像被应用到变化检测的相关研究中，推动了变化检测理论和技术的发展。遥感影像空间分辨率的提高，使其影像中所承载的地表覆盖信息更加丰富，与传统中低空间分辨率遥感影像(如MODIS影像、Landsat影像)相比，高空间分辨率影像中地物的形状信息、纹理信息和地物间的拓扑关系更加明显，使得房屋、道路等小尺度地物的变化检测成为可能。
以数学算法为标准的代数法、变换法、分类后比较法、高级模型法、GIS集成法、视觉分析法以及其他适用于低、中分辨率影像的传统变化检测算法，针对高分辨影像进行变化检测时，常常会导致较高的误检率和漏检率，使得变化检测结果的可靠性难以保证。随着人们对遥感影像研究的深入，一些新的方法开始得到越来越多的关注，包括基于空间上下文信息的变化检测方法、面向对象的变化检测方法、基于深度学习的变化检测方法等。其中，深度神经网络的发展为变化检测问题提供了一种新思路，深度神经网络方法适用于海量、复杂、多变的数据学习。
然而，直接将现有的网络模型进行特征学习时会遇到一些问题。第一，现有基于深度学习的变化检测模型工作在典型的学习框架，其正常工作前通常要求数量级惊人的标记样本，在实际使用时会面临极高的标记成本；第二，考虑到变化检测任务的特殊性，与其他计算机视觉相关任务不同，标注变化检测数据集的主观性太大，标注大规模数据的变化检测数据集必然存在很多不可靠的标签；第三，当信号具有空时谱上的高维特征时，一般的网络学习方法不能直接处理这些高维的数据。
Dasnet尝试利用空间注意力于通道注意力机制捕获特征图之间的长依赖关系，从而学习到更为精确的特征表达，但是Dasnet种所使用的注意力机制需要计算一个非常大的矩阵用于计算各个像素点之间的依赖关系，这样必然会导致模型的时间复杂度以及空间复杂度上升。其他一些方法也从损失函数的角度考虑了变化检测种样本不平衡问题，但是这些对于损失函数的修改并没有考虑到变化检测所存在的本质问题，即变化标签过少导致网络容易学习到不完整的特征与特定的变化导致数据利用不高。
在现有技术中，还存在特征提取不充分，需求标记样本数量多，遥感影像数据变化区域少导致利用率不高从而导致检测精度不高等问题。
因此设计鲁棒性多尺度性的特征提取网络以及一个适用于少量样本学习的方法是非常关键的。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种所需样本较少且检测精度不减的基于多尺度特征提取的小样本变化检测方法。
本发明是一种基于多尺度特征提取的小样本变化检测方法，其特征在于，包括如下：
(1)对原始遥感影像数据采集预处理，生成训练，验证，测试数据集：对于遥感变化检测多时相数据，对遥感图像原始多时相数据进行裁剪处理，得到变化检测数据，相应变化检测像素级标签以及语义分割像素级标签，分别组成了训练，验证，测试数据集；测试数据集中存放的是待检测遥感影像数据，即多时相遥感影像数据；
(2)构建基于多尺度特征提取的小样本变化检测模型：构建的模型结构为引入了空间金字塔池化模块(ASPP)的孪生全卷积网络，包括2个权值共享的编码器，2个权值共享的语义解码器以及1个变化检测解码器；2个编码器结构一致，均包含相间的3个卷积模块，1个ASPP模块以及4个池化层对数据进行降维，三个解码器结构一致，也均包含相间的4个卷积模块以及4个转置卷积层对特征图进行升维；编码器的输入为归一化的遥感影像数据，输出为待检测遥感影像数据的特征图；2个语义解码器的输入分别为对应编码器输出的特征图，输出为待检测遥感影像数据的语义分割结果图；变化检测解码器的输入为两个编码器的特征图之差的绝对值，输出为待检测遥感影像数据的变化检测结果图；解码器中采用跳跃链接操作恢复输出结果的细节；其中2个权值共享的语义解码器利用了待检测遥感影像数据的语义分割像素级标签信息为变化检测引入额外的语义信息；
(3)对基于多尺度特征提取的小样本变化检测模型进行训练：
(3a)训练样本输入：将训练样本集中的样本顺序随机打乱，分批次输入到基于多尺度特征提取的小样本变化检测模型中进行网络迭代训练；
(3b)设置损失函数：计算基于多尺度特征提取的小样本变化检测模型的输出与变化检测像素级标签以及语义分割像素级标签的损失，其中损失函数为交叉熵损失函数；
(3c)反向传播：采用Adam算法对损失进行反向传播，调整网络参数；
(3d)验证模型：并保存最优的权重：每迭代一次训练数据集，再次将验证样本集中的样本顺序随机打乱，依次输入到基于多尺度特征提取的小样本变化检测模型中进行验证，保存迭代过程中最优的网络参数权重；
(3e)完成训练：训练基于多尺度特征提取的小样本变化检测模型直到达到最终的训练迭代次数，完成变化检测模型的训练过程，得到最优的网络参数权重；
(4)测试阶段对基于多尺度特征提取的小样本变化检测模型进行简化：对于训练后的基于多尺度特征提取的小样本变化检测模型，去掉语义解码器分支，只保留变化检测解码器分支得到简化后的基于多尺度特征提取的小样本变化检测模型，将测试集中的多时相遥感影像数据输入到简化的基于多尺度特征提取的小样本变化检测模型中，得到输出的二值变化图，网络输出即为检测结果。
本发明解决了现有基于深度学习的变化检测方法检测尺度单一，依赖大规模标记数据且遥感影像数据利用率不高的技术问题。
本发明与现有技术相比具有以下优点：
提高了遥感图像变化检测的性能：由于本发明直接对多时相遥感数据采用基于多尺度卷积单元的深度孪生网络进行特征提取，采用了空洞卷积在不增加参数量的前提下增加了感受野，避免了高领域知识基础下复杂的专家人工特征提取工作，同时能够捕获输入的多尺度信息，提高了遥感图像变化检测的性能与效率。
不需大量样本即可达到较高的检测效果：由于本发明解决了变化检测任务中大量标记样本难以获取的问题，同时增加了遥感图像上层语义信息，减轻了遥感图像中变化区域太少网络所面临的过拟合风险。
附图说明
图1为本发明的流程框图
图2为本发明的基于多尺度特征提取的小样本变化检测模型的构成示意图；
图3是本发明中基于多尺度特征提取的小样本变化检测模型的网络结构图；
图4是本发明中使用的ASPP模块结构图。
下面结合附图和实施例对发明详细描述。
具体实施方式
实施例1
高分辨率遥感影像提供了丰富的地面细节和空间分布信息。现有的深度神经网络多采用3×3卷积核作为常用的卷积单元，提取高分辨率遥感影像的光谱特征和空间上下文信息。然而，3×3卷积核在处理高分辨率遥感影像时存在两个明显的缺点。首先，3×3卷积核接收域有限，只能提取同一层的单一尺度特征。但在高分辨率遥感影像中，除了正常尺度特征外，还同时存在一些较大的连续特征和一些非常小的显著特征，3×3的卷积核处理高分辨率遥感影像时，特征提取不充分且易丢失这些特征。此外，卷积作为一种加权求和运算，具有平滑效果，可以消除多时相影像中存在的一些变化。因此，在高分辨率遥感影像中，3×3卷积核，或者说传统的单一卷积单元在处理复杂的多尺度地面情况时有些无能。
现有的基于深度学习的变化检测方法大多需要依赖大量标记数据。考虑到变化检测任务的特殊性，与其他计算机视觉相关任务不同，标注变化检测数据集的主观性太大，标注大规模数据的变化检测数据集必然存在很多不可靠的标签，且两景遥感影像中变化的部分较少，现有的大多数方法只利用了遥感影像的变化信息，导致遥感影像数据的利用率较低。针对这些问题，本发明经过研究与实验提出一种基于多尺度特征提取的小样本变化检测方法，也是一种基于深度孪生全卷积神经网络的高分辨率遥感图像变化检测方法。
本发明是一种基于多尺度特征提取的小样本变化检测方法，参见图1，包括有如下步骤：
(1)对原始遥感影像数据采集预处理，生成训练，验证，测试数据集：对于遥感变化检测多时相数据，对遥感图像原始多时相数据进行裁剪处理，得到变化检测数据，相应变化检测像素级标签以及语义分割像素级标签，分别组成训练，验证，测试数据集。测试数据集中存放的是待检测遥感影像数据，即多时相遥感影像数据。一般来说训练集验证集与测试集之比为8：1：1，本发明中可以根据标记数据规模等随时调整。
(2)构建基于多尺度特征提取的小样本变化检测模型：构建的模型结构为引入了空间金字塔池化模块(ASPP)的孪生全卷积网络，参见图2，图2为本发明的所提出基于多尺度特征提取的小样本变化检测模型的构成示意图，图2中包括2个权值共享的编码器，2个权值共享的语义解码器以及1个变化检测解码器。其中编码器的输入为归一化的遥感影像数据，输出为待检测遥感影像数据的特征图。2个语义解码器的输入分别为对应编码器输出的特征图，输出为待检测遥感影像数据的语义分割结果图。变化检测解码器的输入为两个编码器的特征图之差的绝对值，输出为待检测遥感影像数据的变化检测结果图。
参见图3，图3是本发明中基于多尺度特征提取的小样本变化检测模型的网络结构图，也是对图2具体细节的补充。本发明中2个编码器结构一致，均包含相间的3个卷积模块，1个ASPP模块以及4个池化层对数据进行降维，三个解码器结构一致，也均包含相间的4个卷积层以及4个转置卷积层对特征图进行升维。基于FCN中的跳跃连接概念，本发明在上采样阶段将相同尺度下的下采样层和上采样层的特征拼接起来，可以恢复定位信息，生成更加精确的边界二值化变化图。在变化检测解码器中将两个编码器之差的绝对值与上采样层的特征拼接起来用于检测多时间图像之间的差异。在语义解码器中将对应编码器输出的特征图与上采样层的特征拼接起来用于恢复定位信息，生成更加精确的结果。
与现有方法相比，现有方法大多只利用了遥感影像的变化信息，而本发明的2个权值共享的语义解码器利用了待检测遥感影像数据的语义分割像素级标签信息为变化检测引入额外的语义信息，从而提升了小样本训练条件下变化检测的性能。
(3)对基于多尺度特征提取的小样本变化检测模型进行训练：用训练样本集对本发明构建的基于多尺度特征提取的小样本变化检测模型进行训练，包括有以下步骤：
(3a)训练样本输入：将训练样本集中的样本顺序随机打乱，避免重复学习到固定的特征，分批次输入到基于多尺度特征提取的小样本变化检测模型中进行网络迭代训练，得到一次训练输出结果，反复迭代直到达到中止条件。
(3b)设置损失函数：计算基于多尺度特征提取的小样本变化检测模型的输出与变化检测像素级标签以及语义分割像素级标签的损失，其中损失函数为交叉熵损失函数。
(3c)反向传播：采用Adam算法对损失，进行反向传播，调整网络参数。损失即为模型输出与标签通过损失函数计算出来的值。
(3d)验证模型：并保存最优的权重：每迭代一次训练数据集，再次将验证样本集中的样本顺序随机打乱，依次输入到基于多尺度特征提取的小样本变化检测模型中进行验证，保存迭代过程中最优的网络参数权重。
(3e)完成训练：训练基于多尺度特征提取的小样本变化检测模型直到达到最终的训练迭代次数，完成变化检测模型的训练过程，得到最优的网络参数权重，本例中最终训练迭代次数Epoch＝100。得到训练后的基于多尺度特征提取的小样本变化检测模型。
(4)测试阶段对基于多尺度特征提取的小样本变化检测模型进行简化：对于训练后的基于多尺度特征提取的小样本变化检测模型，去掉语义解码器分支，只保留变化检测解码器分支，得到简化后的基于多尺度特征提取的小样本变化检测模型。将测试集中的多时相遥感影像数据输入到简化后的基于多尺度特征提取的小样本变化检测模型中，得到输出的二值变化图，网络输出即为变化检测结果。因此本发明只会在训练阶段增加计算量，但在测试阶段由于去掉了语义解码器分支所以并不会增加额外的计算量。
现有的其他方法大多只利用遥感影像的变化信息，而配准两景遥感影像的变化信息较少，所以现有的大多方法对遥感影像数据的利用率不高，且需要大量标记样本。本发明针对以上问题有了改进的想法，本发明的思路是利用遥感影像数据的语义分割像素级标签信息为变化检测引入额外的语义信息，从而提高了遥感影像的数据利用率，显著提升了小样本训练条件下变化检测的性能。
实施例2
基于多尺度特征提取的小样本变化检测方法同实施例1，本发明步骤(2)中的构建基于多尺度特征提取的小样本变化检测模型，模型结构如图3所示，本发明在已有的网络中进行了一些改进，设计了一个以空洞卷积为基础的空洞空间金字塔池化(ASPP)模块用于提取遥感影像的多尺度特征，参见图3，包括有如下步骤：
(2a)搭建一个以空洞卷积为基础的空洞空间金字塔池化(ASPP)模块，参见图3中的带有ASPP关键字部分。
(2b)设置空洞空间金字塔池模块的卷积层、池化层和特征融合层参数。
(2c)搭建一个引入ASPP模块的深度孪生全卷积网络，包含2个编码器以及3个解码器，三个解码器中，1个为变化检测解码器，2个为语义解码器，2个编码器权值共享，2个语义分割解码器权重共享。参见图3，编码器包含了3个卷积模块，4个最大池化层以及一个ASPP模块，ASPP模块可以看作特殊的卷积层，每个卷积模块包含2个卷积层。编码器的输入经过3个交替连接的卷积模块与最大池化层，然后输入到ASPP模块中并通过一个最大池化层后输入到解码器中。解码器和编码器结构相反，为了让输出变化图的大小与输入遥感影像大小一致，解码器中需要对编码器输出的特征图进行上采样，因此采用了转置卷积作为上采样对特征图进行上采样。解码器包含4个卷积模块，4个转置卷积层以及4个拼接层，卷积模块也包含两个卷积层，上采样层，拼接层以及卷积模块交替连接，最终输出概率图，其中语义解码器输出语义分类概率图，变化检测解码器输出变化概率图。基于FCN中的跳跃连接概念，本发明在上采样阶段将相同尺度下的下采样层和上采样层的特征拼接起来，可以恢复定位信息，生成更加精确的边界二值化变化图。在变化检测解码器中将两个编码器输出特征的差的绝对值与上采样层的特征拼接起来用于检测多时相图像之间的差异。在语义解码器中将对应编码器输出的特征图与上采样层的特征拼接起来用于恢复定位信息，生成更加精确的结果。除解码器最后一层卷积采用softmax函数输出的概率外，所有卷积层和转置卷积层均采用整线性单元(ReLU)作为激活函数。
(2d)设置深度孪生全卷积网络的编码器结构参数和解码器结构参数。
大多传统的变化检测方法过程复杂，不利于理解与实施，而本发明采用了端到端的检测方法，不需要后处理步骤，直接输出变化图，简化了处理流程。与传统的卷积单元相比，本发明改进的ASPP模块设计了多种不同尺度的卷积单元用于提取多尺度特征，提高了网络的特征提取能力，在一定程度上没有显著增加网络的参数。
实施例3
基于多尺度特征提取的小样本变化检测方法同实施例1-2，步骤(2a)中所述的以空洞卷积为基础的空洞空间金字塔池化(ASPP)模块结构如图4所示，包括有如下步骤：
ASPP的卷积层包含五种操作，五种操作并行提取输入的多尺度特征，其中五种操作分别为1×1的普通卷积操作、3×3的普通卷积操作、3×3rate＝2的空洞卷积操作、3×3rate＝4的空洞卷积操作以及3×3的最大池化操作；其中1×1的卷积用于提取特征图像素本身的特征，三种3×3具有不同采样率的空洞卷积提取遥感影像中不同尺度的特征，最后使用3×3大小的最大池化方法提取显著特征，最后将五种类型的特征进行拼接，并使用1×1卷积，得到高维多尺度特征。
普通卷积核扩展感受野其参数量会呈现二次增长，这样会大大增加训练难度，而本发明的ASPP模块采用了空洞卷积，在没有增加参数的前提下增大了感受野。本发明在ASPP模块中采用了5种并行的特征提取操作，每一种操作提取遥感影像不同尺度的特征，这些不同尺度的特征可以为模型提供更精细的预测结果。
本发明采用了空洞卷积在不增加参数量的前提下增加了感受野，避免了高领域知识基础下复杂的专家人工特征提取工作，同时能够捕获输入的多尺度信息，提高了遥感图像变化检测的性能与效率。
实施例4
基于多尺度特征提取的小样本变化检测方法同实施例1-3，步骤(2d)中所述的设置深度孪生全卷积网络的编码器结构和解码器结构，参见图3，其结构如下：
编码器包括输入层、三层普通卷积模块、四层池化层、引入ASPP模块卷积层和编码输出层，其结构关系依次为：输入层→第一普通卷积模块→第一池化层→第二普通卷积模块→第二池化层→第三普通卷积模块→第三池化层→第一引入ASPP模块卷积层→第四池化层→编码输出层。
解码器包括输入层、四层转置卷积层、四层普通卷积模块、四层拼接层和解码输出层，其结构关系依次为：输入层→第一转置卷积层→第一拼接层→第一普通卷积模块→第二转置卷积层→第二拼接层→第二普通卷积模块→第三转置卷积层→第三拼接层→第三普通卷积模块→第四转置卷积层→第四拼接层→第四普通卷积模块→解码输出层。
其中卷积模块包含2个卷积层。参见图3，编码器1，2采用两个权值共享的分支，目的是提取2幅多时相图像的相同特征，语义分割解码器1，2也采用了两个权值共享的分支，目的是能够从相同的特征中计算语义分割结果。编码器前三个卷积模块由2个3×3的卷积层组成，最后一个卷积模块由1个ASPP模块组成，在每一个卷积模块后都连接一个2×2的最大池化层，在减小特征图大小的同时，可以提取更高级的特征。解码器和编码器相反，为了让输出变化图的大小与输入遥感影像大小一致，解码器中需要对编码器输出的特征图进行上采样，因此采用了转置卷积作为上采样对特征图进行上采样。基于FCN中的跳跃连接概念，在上采样阶段将相同尺度下的下采样层和上采样层的特征拼接起来，可以恢复定位信息，生成更加精确的边界二值化变化图。在变化检测解码器中将两个编码器输出特征图之差的绝对值与上采样层的特征拼接起来用于检测多时相图像之间的差异。在语义解码器中将对应编码器输出的特征图与上采样层的特征拼接起来用于恢复定位信息，生成更加精确的结果。除最后一层卷积采用softmax函数输出的概率外，所有卷积层和转置卷积层均采用整线性单元(ReLU)作为激活函数。
本发明采用了跳跃链接进行了特征融合，同时保留了遥感影像的上层语义信息与像素纹理信息，有利于重建出更精确的预测结果。对于语义分割解码器是直接把编码器输出的特征图与上采样层的输出进行特征拼接用于恢复预测的纹理细节；而在变化检测解码器中是将两个编码器输出特征图之差的绝对值与上采样层的特征拼接起来，这是因为特征图之差的绝对值可以很好的表示变化，变化检测解码器将两个编码器输出特征图之差的绝对值与上采样层的特征拼接起来可以让结果学习到更多的变化信息，而不是原始图像细节。
实施例5
基于多尺度特征提取的小样本变化检测方法同实施例1-4，步骤(4)测试阶段对基于多尺度特征提取的小样本变化检测模型进行简化，具体是2个语义解码器在训练阶段将遥感影像的语义信息作为网络的监督信息，为变化检测引入额外的语义信息；测试阶段可以将语义解码器分支去掉，只保留变化检测解码器分支，输出最终的变化图。参见图2，测试阶段语义分割测解码器1与语义分割解码器2去掉，只保留编码器1，编码器2与变化检测解码器。
因此本发明只会在训练阶段增加计算量，但在测试阶段由于去掉了语义解码器分支所以并不会增加额外的计算量。
下面给出一个更加详细的例子，对本发明进一步说明
实施例6
基于多尺度特征提取的小样本变化检测方法同实施例1-5，参照图2、图3、图4，对本发明的实现步骤如下：
步骤1，对多时相遥感变化检测数据进行预处理，生成变化检测数据集。
多时相遥感变化检测数据包含两景多时相遥感影像，变化标签，以及每景遥感影像的语义标签图。对与原始变化检测数据，将其裁剪为256*256的小图，对应的步长分别为256，并且对裁剪后的数据划分为训练集，验证集，测试集。为了验证本发明所提出的基于多尺度特征提取的小样本变化检测方法设置了两种数据集：其中大样本数据集训练集，验证集与测试集之比为8：1：1，小样本数据集训练集，验证集与测试集之比为1：1：8。
步骤2，构建基于多尺度特征提取的小样本变化检测模型。
2.1)搭建一个以空洞卷积为基础的空洞空间金字塔池化(ASPP)模块：参见图4，本发明的ASPP的卷积层包含五种操作，五种操作并行提取输入的多尺度特征，其中五种操作分别为1×1的普通卷积操作、3×3的普通卷积操作、3×3rate＝2的空洞卷积操作、3×3rate＝4的空洞卷积操作以及3×3的最大池化操作；其中1×1的卷积用于提取特征图像素本身的特征，三种3×3具有不同采样率的空洞卷积提取遥感影像中不同尺度的特征，最后使用3×3大小的最大池化方法提取显著特征，最后将五种类型的特征进行拼接，并使用1×1卷积，得到高维多尺度特征。
2.2)搭建一个引入ASPP模块的深度孪生全卷积网络：参见图2，深度孪生全卷积网络由2个编码器和3个解码器组成，编码器结构一致，解码器结构一致。编码器，解码器具体结构参见图3，结构分别为：
编码器包括输入层、三层普通卷积模块、四层池化层、引入ASPP模块卷积层和编码输出层，其结构关系依次为：输入层→第一普通卷积模块→第一池化层→第二普通卷积模块→第二池化层→第三普通卷积模块→第三池化层→第一引入ASPP模块卷积层→第四池化层→编码输出层。
解码器包括输入层、四层转置卷积层、四层普通卷积模块、四层拼接层和解码输出层，其结构关系依次为：输入层→第一转置卷积层→第一拼接层→第一普通卷积模块→第二转置卷积层→第二拼接层→第二普通卷积模块→第三转置卷积层→第三拼接层→第三普通卷积模块→第四转置卷积层→第四拼接层→第四普通卷积模块→解码输出层。
其中卷积模块包含2个卷积层。
2.3)设置深度孪生全卷积网络的编码器结构和解码器结构参数：
编码器的第一普通卷积模块包含两个卷积层特征图通道数变化为c-16-16；第二普通卷积模块同样包含两个卷积层特征图通道数变化为16-32-32；第三普通卷积模块同样包含两个卷积层特征图通道数变化为32-64-64；这三个普通卷积层的卷积核大小均为3×3；激活函数均使用线性整流函数ReLU；第一引入ASPP单元卷积层的包含1个ASPP模块特征图通道数变化为64-128，激活函数使用线性整流函数ReLU；第一、第二、第三、第四池化层均使用最大池化，池化大小为2；
解码器的第一转置卷积层包含一个转置卷积层特征图通道数变化为128-128，卷积核大小为3×3，步长为2；第二转置卷积层包含一个转置卷积层特征图通道数变化为64-64，卷积核大小为3×3，步长为2；；第三转置卷积层包含一个转置卷积层特征图通道数变化为32-32，卷积核大小为3×3，步长为2；第四转置卷积层包含一个转置卷积层特征图通道数变化为16-16，卷积核大小为3×3，步长为2；激活函数均使用线性整流函数ReLU。第一普通卷积层包含两个卷积操作特征图通道数变化为256-128-64；第二普通卷积层包含两个卷积操作特征图通道数变化为128-64-32；第三普通卷积层包含两个卷积操作特征图通道数变化为64-32-16；第四普通卷积层包含两个卷积操作特征图通道数变化为32-16-N(N为类别数，对于变化检测问题一般为2)；这四个卷积层的卷积核大小均为3×3；第一、第二、第三普通卷积层的激活函数均使用线性整流函数ReLU；第四普通卷积层的激活函数使用多分类函数Softmax。
参见图2，引入ASPP模块的深度孪生全卷积模型包含两个编码器，三个解码器包含2个语义分割解码器于一个变化解码器。两个编码器的输入为2景多时相遥感影像，2个语义分割解码器输出为2张语义分割图和变化检测解码器的输出为1张变化图。将两幅多时相遥感影像分别输入到编码器1，编码器2中，然后利用3个解码器进行输出：(1)将编码器输出的2个特征图进行特征融合后送入变化检测解码器生成变化图，(2)分别将两个编码器输出的特征图送入语义分割解码器中用于输出语义分割图。在训练阶段将遥感多时相图像的信息作为网络的监督信息，结合变化信息一起训练深度孪生全卷积网络，其中遥感多时相图像的信息为网络提供上层语义信息；测试阶段将多时相图像特征提取分支去掉，只保留变化检测分支，输出最终的变化图。
步骤3，训练基于多尺度特征提取的小样本变化检测模型。
3.1)将训练样本集中的样本顺序随机打乱，将打乱顺序后的训练样本集按训练步长分批次输入到基于多尺度特征提取的小样本变化检测模型中进行网络迭代训练，得到训练样本预测的结果。
3.2)设置网络的损失函数和优化算法：
3.2.1)网络的损失函数均使用交叉熵损失函数，公式如下：
变化检测损失函数为：
其中，w为训练样本中变化和未变化类的比例的倒数,y为网络输出的置信度，
为变化标签。通过设置更大的变化类权重，可以使变更样本在训练阶段发挥更重要的作用。
语义分割损失定义为：
其中,yi,j为第i个语义分割解码器输出的建筑物置信度，
为第i个语义分割解码器的语义标签。i表示语义分割解码器编号，j表示第j个位置的像素点，N为像素点总数。
接下来定义总损失：
Loss＝LossCD+λ(LossSemantic1+LossSemantic2) (1)
其中λ是可以调节的参数，用于调整两类损失的比例。
3.2.2)网络的优化算法均使用基于自适应矩阵估计的优化算法Adam。
3.3)设置训练步长与迭代次数：
训练步长是指将训练样本集每批次送入基于多尺度特征提取的小样本变化检测模型进行训练的样本数量，设置Batch_size为16；迭代次数是指将训练样本集重复送入基于多尺度特征提取的小样本变化检测模型进行训练的次数，设置Epoch为50。
3.4)将3.1)中得到的预测结果和训练样本实际对应的像素级标签代入(1)中的损失函数，计算训练集中预测输出与真实标签的误差损失；反向传播误差损失并使用3.2.2)中的优化函数进行梯度优化，进而调整网络参数；
3.5)每迭代一次训练数据集，就得到一个候选网络。此时，将验证样本集中的样本顺序随机打乱，将打乱顺序后的验证样本集按训练步长分批次输入到基于多尺度特征提取的小样本变化检测模型中进行网络验证，得到该候选网络在验证集上的检测正确率，将该检测正确率与之前迭代过程中记录的最大检测正确率进行比较：
若该检测正确率大于记录的最大检测正确率，则将此次迭代的网络权重作为迭代过程中最优的网络权重参数，同时更新记录中的最大检测正确率为该误差损失。
若该检测正确率不大于记录的最大检测正确率，不进行任何操作。
3.6)重复训练基于多尺度特征提取的小样本变化检测模型直到达到训练迭代次数50，完成小样本变化检测模型的训练过程，得到最优的网络权重参数以及训练好的基于多尺度特征提取的小样本变化检测模型。
步骤4，对测试数据进行预测。
将测试样本集输入到3.6)中训练好的基于多尺度特征提取的小样本变化检测模型中，去掉多时相遥感图像提取分支，只保留变化检测分支得到简化后的基于多尺度特征提取的小样本变化检测模型，将测试集中的多时相遥感图像输入到简化后的基于多尺度特征提取的小样本变化检测模型中，得到输出的二值变化图。
本发明主要解决现有利用深度学习方法进行变化检测时特征提取不全面，泛化能力低，数据利用率低的问题。其实现方案为：对原始多时相遥感变化检测数据进行裁剪处理，按照裁剪尺寸生成训练数据集，验证数据集和测试数据集；构建基于多尺度特征提取的小样本变化检测模型；用训练样本集训练基于多尺度特征提取的小样本变化检测模型；将多时相遥感变化检测数据直接输入训练并简化后的基于多尺度特征提取的小样本变化检测模型对测试数据集进行预测，获得模型对多时相数据的变化检测二值图。本发明不仅提高了多时相遥感变化检测的特征提取能力，又提高了在小样本条件下深度网络在变化检测方面的泛化能力，可用在遥感图像变化检测电台技术领域中。
下面结合仿真实验对本发明的效果再作说明。
实施例7
基于多尺度特征提取的小样本变化检测方法同实施例1-6，
仿真实验条件：
本发明的仿真实验的硬件平台为惠普服务器Z840，CPU型号为Intel至强处理器，显卡为双卡2080Ti 11G显存，本发明的仿真实验的软件平台为Ubuntu18.04LTS，TensorFlow1.6.0，Keras2.2.0，CUDA9.0+cudnn7，python3.6。
本发明的仿真实验中采用的数据集为WHU Building Dataset(WHU)，该数据集包含四个子数据集用于不同任务，本发明使用子数据集Building change detectiondataset，该子数据集由2012年4月获得的航拍图像组成，包含20.5平方公里内的12796栋建筑(2016年数据集中同一区域内的16077栋建筑)。该数据集包含了2景经过配准后RGB遥感影像。其中遥感影像大小为32,507×15,354，该数据集给出变化区域的groundtruth以及2景遥感影像所包含建筑物的标签图。
仿真内容与结果：
本发明的仿真实验按照本发明的步骤开展，仿真实验按照大样本数据集和小样本数据集分别进行，对于这两个数据集中的每个数据集，实验时，将多时相遥感变化检测数据集中的训练集送入到本发明的基于多尺度特征提取的小样本变化检测模型中进行训练和验证，训练和验证完成后，加载最优网络参数权重并简化的到简化后的基于多尺度特征提取的小样本变化检测模型，将测试集送入简化后的基于多尺度特征提取的小样本变化检测模型进行预测，得到测试样本的变化检测二值图。
为了验证本发明的效果，利用四个评价指标：召回率R，精确率P,总体分类精度OA，F1 score对本发明方法所涉及的小样本变化检测模型的分类结果分别进行评估。
仿真结果与分析：
本发明在大样本数据集上使用不同方法得到的评估结果见表1，表1是本发明在大样本数据集上不同方法结果评估。
表1本发明与其他几种方法在大样本数据集上的结果评估表
表1展示了在大样本数据集的测试集上的的质量分析结果。其中F1 score是通过召回率与精确率计算得到，计算公式为：
F1 score综合了召回率与精确率，是最能反应变化检测性能的指标。
从表1可以看到本发明在F1，OA评价指标上要优其他所有实验的变化检测方法，说明了本发明提高了变化检测的性能。虽然本发明准确率比Dasnet略低，但这是正常现象，召回率和精确性指标是相互矛盾的。其中F1score最能反应网络变化检测的实际性能，本发明的方法F1score达到了84.64，而FC-EF的F1score为73.43，FC-Siam-Diff的F1score为78.53，DSMS-FCN的F1score为79.25，Dasnet的F1score为81.65。本发明方法的F1score相比于4种其他方法平均提升了6.425。综合而言，本发明整体上相比于其他变化检测方法能达到更好的精度。
实施例8
基于多尺度特征提取的小样本变化检测方法同实施例1-6，仿真实验条件同实施例7，本例中是在小样本数据上进行仿真实验。
仿真结果与分析：
本发明在小样本数据集上使用不同方法得到的评估结果见表2。表2为本发明与其他几种方法在小样本数据集上的结果评估表。
表2本发明与其他几种方法在小样本数据集上的结果评估表
相比于大样本数据集变化检测结果，所有方法在小样本数据集的变化检测结果在各项评价指标上都出现了明显下降，由于小样本变化检测所使用的训练集明显少于大样本变化检测训练集，所以这种现象是正常的。本发明的F1score达到了77.20，而FC-EF的F1score为66.43，FC-Siam-Diff的F1score为68.08，DSMS-FCN的F1score为70.08，Dasnet的F1score为71.75。本发明在像样本训练条件下的F1score相比于4种其他方法平均提升了8.115，而在大样本训练条件下本发明F1score的平均提升为6.425。因此本发明的方法在小样本训练条件下能获得更好的性能。
由以上的仿真实验结果可以说明，本发明通过基于多尺度特征提取的小样本变化检测模型采用基于多尺度卷积单元的深度孪生网络进行特征提取，能够捕获输入的多尺度信息，提高了遥感图像变化检测的性能。同时由于本发明中增加了遥感图像上层语义信息，减轻了遥感图像中变化区域太少网络所面临的过拟合风险。显著提高了在小样本训练条件下遥感图像变化检测的性能。
简而言之，本发明的基于多尺度特征提取的小样本变化检测方法，主要解决现有技术中，存在特征提取不充分，需求标记样本数量过多，遥感影像数据变化区域少导致遥感影像数据利用率不高从而导致检测精度不高等问题。其实现方案为：对原始遥感影像数据采集预处理，生成训练，验证，测试数据集；构建基于多尺度特征提取的小样本变化检测模型；对基于多尺度特征提取的小样本变化检测模型进行训练；测试阶段对基于多尺度特征提取的小样本变化检测模型进行简化，将测试集中的多时相遥感影像数据输入到简化后的基于多尺度特征提取的小样本变化检测模型中，得到输出的二值变化图。本发明不仅能够捕获输入的多尺度信息，提高了遥感图像变化检测的性能与效率。同时由于本发明中增加了遥感图像上层语义信息，减轻了遥感图像中变化区域太少网络所面临的过拟合风险。显著提高了在小样本训练条件下遥感图像变化检测的性能。可用在遥感图像变化检测电台技术领域中。
Claims (5)
1.一种基于多尺度特征提取的小样本变化检测方法，其特征在于，包括有如下步骤：
(1)对原始遥感影像数据采集预处理，生成训练，验证，测试数据集：对于遥感变化检测多时相数据，对遥感图像原始多时相数据进行裁剪处理，得到变化检测数据，相应变化检测像素级标签以及语义分割像素级标签，分别组成了训练，验证，测试数据集；测试数据集中存放的是待检测遥感影像数据，即多时相遥感影像数据；
(2)构建基于多尺度特征提取的小样本变化检测模型：构建的模型结构为引入了空间金字塔池化模块(ASPP)的孪生全卷积网络，包括2个权值共享的编码器，2个权值共享的语义解码器以及1个变化检测解码器；2个编码器结构一致，均包含相间的3个卷积模块，1个ASPP模块以及4个池化层对数据进行降维，三个解码器结构一致，也均包含相间的4个卷积模块以及4个转置卷积层对特征图进行升维；编码器的输入为归一化的遥感影像数据，输出为待检测遥感影像数据的特征图；2个语义解码器的输入分别为对应编码器输出的特征图，输出为待检测遥感影像数据的语义分割结果图；变化检测解码器的输入为两个编码器的特征图之差的绝对值，输出为待检测遥感影像数据的变化检测结果图；解码器中采用跳跃链接操作恢复输出结果的细节；其中2个权值共享的语义解码器利用了待检测遥感影像数据的语义分割像素级标签信息为变化检测引入额外的语义信息；
(3)对基于多尺度特征提取的小样本变化检测模型进行训练：
(3a)训练样本输入：将训练样本集中的样本顺序随机打乱，分批次输入到基于多尺度特征提取的小样本变化检测模型中进行网络迭代训练；
(3b)设置损失函数：计算基于多尺度特征提取的小样本变化检测模型的输出与变化检测像素级标签以及语义分割像素级标签的损失，其中损失函数为交叉熵损失函数；
(3c)反向传播：采用Adam算法对损失进行反向传播，调整网络参数；
(3d)验证模型：并保存最优的权重：每迭代一次训练数据集，再次将验证样本集中的样本顺序随机打乱，依次输入到基于多尺度特征提取的小样本变化检测模型中进行验证，保存迭代过程中最优的网络参数权重；
(3e)完成训练：训练基于多尺度特征提取的小样本变化检测模型直到达到最终的训练迭代次数，完成变化检测模型的训练过程，得到最优的网络参数权重；
(4)测试阶段对基于多尺度特征提取的小样本变化检测模型进行简化：对于训练后的基于多尺度特征提取的小样本变化检测模型，去掉语义解码器分支，只保留变化检测解码器分支得到简化的基于多尺度特征提取的小样本变化检测模型，将测试集中的多时相遥感影像数据输入到简化后的基于多尺度特征提取的小样本变化检测模型中，得到输出的二值变化图，网络输出即为检测结果。
2.根据权利要求1所述的基于多尺度特征提取的小样本变化检测方法，其特征在于：步骤(2)中所述的构建基于多尺度特征提取的小样本变化检测模型，包括有如下步骤：
(2a)搭建一个以空洞卷积为基础的空洞空间金字塔池化ASPP模块；
(2b)设置空洞空间金字塔池模块的卷积层、池化层和特征融合层参数；
(2c)搭建一个引入ASPP模块的深度孪生全卷积网络，包含2个编码器以及3个解码器；
(2d)设置深度孪生全卷积网络的编码器结构和解码器结构。
3.根据权利要求2所述的基于多尺度特征提取的小样本变化检测方法，其特征在于：步骤(2a)中所述的以空洞卷积为基础的空洞空间金字塔池化ASPP模块结构如下：
ASPP的卷积层包含五种操作，五种操作并行提取输入的多尺度特征，其中五种操作分别为1×1的普通卷积操作、3×3的普通卷积操作、3×3rate＝2的空洞卷积操作、3×3rate＝4的空洞卷积操作以及3×3的最大池化操作；其中1×1的卷积用于提取特征图像素本身的特征，三种3×3具有不同采样率的空洞卷积提取遥感影像中不同尺度的特征，最后使用3×3大小的最大池化方法提取显著特征，最后将五种类型的特征进行拼接，并使用1×1卷积，得到高维多尺度特征。
4.根据权利要求2所述的基于多尺度特征提取的小样本变化检测方法，其特征在于：步骤(2d)中所述的设置深度孪生全卷积网络的编码器结构和解码器结构，其结构如下：
编码器包括输入层、三层普通卷积模块、四层池化层、引入ASPP模块卷积层和编码输出层，其结构关系依次为：输入层→第一普通卷积模块→第一池化层→第二普通卷积模块→第二池化层→第三普通卷积模块→第三池化层→第一引入ASPP模块卷积层→第四池化层→编码输出层；
解码器包括输入层、四层转置卷积层、四层普通卷积模块、四层拼接层和解码输出层，其结构关系依次为：输入层→第一转置卷积层→第一拼接层→第一普通卷积模块→第二转置卷积层→第二拼接层→第二普通卷积模块→第三转置卷积层→第三拼接层→第三普通卷积模块→第四转置卷积层→第四拼接层→第四普通卷积模块→解码输出层。
5.根据权利要求1所述的基于多尺度特征提取的小样本变化检测方法，其特征在于：步骤(4)测试阶段对基于多尺度特征提取的小样本变化检测模型进行简化，具体是2个语义解码器在训练阶段将遥感影像的语义信息作为网络的监督信息，为变化检测引入额外的语义信息；测试阶段可以将语义解码器分支去掉，只保留变化检测解码器分支，输出最终的变化图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011617116.1A CN112668494A (zh) | 2020-12-31 | 2020-12-31 | 基于多尺度特征提取的小样本变化检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011617116.1A CN112668494A (zh) | 2020-12-31 | 2020-12-31 | 基于多尺度特征提取的小样本变化检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112668494A true CN112668494A (zh) | 2021-04-16 |
Family
ID=75411448
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011617116.1A Pending CN112668494A (zh) | 2020-12-31 | 2020-12-31 | 基于多尺度特征提取的小样本变化检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112668494A (zh) |
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113128513A (zh) * | 2021-04-28 | 2021-07-16 | 西安微电子技术研究所 | 一种基于目标分割的小样本训练方法 |
| CN113177916A (zh) * | 2021-04-21 | 2021-07-27 | 清华大学深圳国际研究生院 | 一种基于少样本学习方法的轻微高血压眼底辨别模型 |
| CN113240023A (zh) * | 2021-05-19 | 2021-08-10 | 中国民航大学 | 基于变化图像分类和特征差值先验的变化检测方法及装置 |
| CN113239815A (zh) * | 2021-05-17 | 2021-08-10 | 广东工业大学 | 一种基于真实语义全网络学习的遥感影像分类方法、装置及设备 |
| CN113255676A (zh) * | 2021-05-21 | 2021-08-13 | 福州大学 | 基于多源数据融合的高分遥感影像语义分割模型及方法 |
| CN113269237A (zh) * | 2021-05-10 | 2021-08-17 | 青岛理工大学 | 基于注意力机制的装配体变化检测方法、设备和介质 |
| CN113420662A (zh) * | 2021-06-23 | 2021-09-21 | 西安电子科技大学 | 基于孪生多尺度差异特征融合的遥感影像变化检测方法 |
| CN113449690A (zh) * | 2021-07-21 | 2021-09-28 | 华雁智科(杭州)信息技术有限公司 | 图像场景变化的检测方法、系统及电子设备 |
| CN113469074A (zh) * | 2021-07-06 | 2021-10-01 | 西安电子科技大学 | 基于孪生注意力融合网络的遥感图像变化检测方法及系统 |
| CN113487546A (zh) * | 2021-06-25 | 2021-10-08 | 中南大学 | 一种特征-输出空间双对齐的变化检测方法 |
| CN113537023A (zh) * | 2021-07-08 | 2021-10-22 | 中国人民解放军战略支援部队信息工程大学 | 一种遥感影像语义变化检测方法 |
| CN113569960A (zh) * | 2021-07-29 | 2021-10-29 | 北京邮电大学 | 基于域适应的小样本图像分类方法及系统 |
| CN113569815A (zh) * | 2021-09-22 | 2021-10-29 | 速度时空信息科技股份有限公司 | 基于图像分割与孪生神经网络的遥感影像变化的检测方法 |
| CN113705715A (zh) * | 2021-09-04 | 2021-11-26 | 大连钜智信息科技有限公司 | 一种基于lstm和多尺度fcn的时间序列分类方法 |
| CN113704537A (zh) * | 2021-10-28 | 2021-11-26 | 南京码极客科技有限公司 | 一种基于多尺度特征联合的细粒度跨媒体检索方法 |
| CN113743515A (zh) * | 2021-09-08 | 2021-12-03 | 感知天下(北京)信息科技有限公司 | 基于自监督自学习特征点的遥感影像特征匹配方法 |
| CN113781409A (zh) * | 2021-08-25 | 2021-12-10 | 五邑大学 | 一种螺栓松动检测方法、装置及存储介质 |
| CN113807198A (zh) * | 2021-08-24 | 2021-12-17 | 深圳市魔方卫星科技有限公司 | 道路网变化检测方法、模型训练方法、装置、设备及介质 |
| CN113865859A (zh) * | 2021-08-25 | 2021-12-31 | 西北工业大学 | 多尺度多源异构信息融合的齿轮箱状态故障诊断方法 |
| CN114092815A (zh) * | 2021-11-29 | 2022-02-25 | 自然资源部国土卫星遥感应用中心 | 一种大范围光伏发电设施遥感智能提取方法 |
| CN114549972A (zh) * | 2022-01-17 | 2022-05-27 | 中国矿业大学(北京) | 露天矿采场提取方法、装置、设备、介质及程序产品 |
| CN115019186A (zh) * | 2022-08-08 | 2022-09-06 | 中科星图测控技术(合肥)有限公司 | 一种用于遥感变化检测的算法和系统 |
| CN115359271A (zh) * | 2022-08-15 | 2022-11-18 | 中国科学院国家空间科学中心 | 一种大尺度不变性的深空小天体图像匹配的方法 |
| CN115409842A (zh) * | 2022-11-02 | 2022-11-29 | 山东锋士信息技术有限公司 | 一种基于卷积自编解码器的遥感图像无监督变化检测方法 |
| CN115661016A (zh) * | 2022-12-08 | 2023-01-31 | 瑞纳智能设备股份有限公司 | 换热站的故障监视方法、系统和嵌入式图像诊断控制平台 |
| CN115661694A (zh) * | 2022-11-08 | 2023-01-31 | 国网湖北省电力有限公司经济技术研究院 | 一种聚焦关键特征的轻量型主变压器智能检测方法、系统、存储介质及电子设备 |
| CN116152660A (zh) * | 2023-02-14 | 2023-05-23 | 北京市遥感信息研究所 | 一种基于跨尺度注意力机制的广域遥感图像变化检测方法 |
| CN116385881A (zh) * | 2023-04-10 | 2023-07-04 | 北京卫星信息工程研究所 | 遥感图像地物变化检测方法及装置 |
| CN116452983A (zh) * | 2023-06-12 | 2023-07-18 | 合肥工业大学 | 一种基于无人机航拍影像的国土地貌变化快速发现方法 |
| CN116664599A (zh) * | 2023-06-01 | 2023-08-29 | 云南大学 | 基于隐写区域预测的图像隐写分析方法 |
| CN117611877A (zh) * | 2023-10-30 | 2024-02-27 | 西安电子科技大学 | 基于ls-yolo网络的遥感影像滑坡体检测方法 |
| CN113865859B (zh) * | 2021-08-25 | 2024-05-14 | 西北工业大学 | 多尺度多源异构信息融合的齿轮箱状态故障诊断方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170235996A1 (en) * | 2015-07-28 | 2017-08-17 | Chiman KWAN | Method and system for collaborative multi-satellite remote sensing |
| CN110136170A (zh) * | 2019-05-13 | 2019-08-16 | 武汉大学 | 一种基于卷积神经网络的遥感影像建筑物变化检测方法 |
| CN110263644A (zh) * | 2019-05-21 | 2019-09-20 | 华南师范大学 | 基于三胞胎网络的遥感图像分类方法、系统、设备及介质 |
| CN110705457A (zh) * | 2019-09-29 | 2020-01-17 | 核工业北京地质研究院 | 一种遥感影像建筑物变化检测方法 |
| CN110969088A (zh) * | 2019-11-01 | 2020-04-07 | 华东师范大学 | 一种基于显著性检测与深度孪生神经网络的遥感影像变化检测方法 |
| CN111047551A (zh) * | 2019-11-06 | 2020-04-21 | 北京科技大学 | 一种基于U-net改进算法的遥感影像变化检测方法及系统 |
| CN111582043A (zh) * | 2020-04-15 | 2020-08-25 | 电子科技大学 | 基于多任务学习的高分辨率遥感影像地物变化检测方法 |
| CN111860204A (zh) * | 2020-06-29 | 2020-10-30 | 成都数之联科技有限公司 | 基于语义分割技术的多时相遥感影像变化检测方法和介质 |
| CN111899249A (zh) * | 2020-08-05 | 2020-11-06 | 吉林大学 | 基于ResNet50和DeeplabV3+的卷积神经网络的遥感图像变化检测方法 |
-
2020
- 2020-12-31 CN CN202011617116.1A patent/CN112668494A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170235996A1 (en) * | 2015-07-28 | 2017-08-17 | Chiman KWAN | Method and system for collaborative multi-satellite remote sensing |
| CN110136170A (zh) * | 2019-05-13 | 2019-08-16 | 武汉大学 | 一种基于卷积神经网络的遥感影像建筑物变化检测方法 |
| CN110263644A (zh) * | 2019-05-21 | 2019-09-20 | 华南师范大学 | 基于三胞胎网络的遥感图像分类方法、系统、设备及介质 |
| CN110705457A (zh) * | 2019-09-29 | 2020-01-17 | 核工业北京地质研究院 | 一种遥感影像建筑物变化检测方法 |
| CN110969088A (zh) * | 2019-11-01 | 2020-04-07 | 华东师范大学 | 一种基于显著性检测与深度孪生神经网络的遥感影像变化检测方法 |
| CN111047551A (zh) * | 2019-11-06 | 2020-04-21 | 北京科技大学 | 一种基于U-net改进算法的遥感影像变化检测方法及系统 |
| CN111582043A (zh) * | 2020-04-15 | 2020-08-25 | 电子科技大学 | 基于多任务学习的高分辨率遥感影像地物变化检测方法 |
| CN111860204A (zh) * | 2020-06-29 | 2020-10-30 | 成都数之联科技有限公司 | 基于语义分割技术的多时相遥感影像变化检测方法和介质 |
| CN111899249A (zh) * | 2020-08-05 | 2020-11-06 | 吉林大学 | 基于ResNet50和DeeplabV3+的卷积神经网络的遥感图像变化检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| JINQI ZHAO 等: "Change detection based on similarity measure and joint classification for polarimetric SAR images", 《IGARSS 2017》 * |
| 张永梅 等: "综合像素级和特征级的建筑物变化检测方法", 《计算机科学》 * |
| 慕彩红 等: "基于小波融合和PCA-核模糊聚类的遥感图像变化检测", 《电子学报》 * |
Cited By (50)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113177916A (zh) * | 2021-04-21 | 2021-07-27 | 清华大学深圳国际研究生院 | 一种基于少样本学习方法的轻微高血压眼底辨别模型 |
| CN113177916B (zh) * | 2021-04-21 | 2023-04-07 | 清华大学深圳国际研究生院 | 一种基于少样本学习方法的轻微高血压眼底辨别模型 |
| CN113128513B (zh) * | 2021-04-28 | 2023-07-07 | 西安微电子技术研究所 | 一种基于目标分割的小样本训练方法 |
| CN113128513A (zh) * | 2021-04-28 | 2021-07-16 | 西安微电子技术研究所 | 一种基于目标分割的小样本训练方法 |
| CN113269237A (zh) * | 2021-05-10 | 2021-08-17 | 青岛理工大学 | 基于注意力机制的装配体变化检测方法、设备和介质 |
| CN113269237B (zh) * | 2021-05-10 | 2022-12-27 | 青岛理工大学 | 基于注意力机制的装配体变化检测方法、设备和介质 |
| CN113239815A (zh) * | 2021-05-17 | 2021-08-10 | 广东工业大学 | 一种基于真实语义全网络学习的遥感影像分类方法、装置及设备 |
| CN113240023A (zh) * | 2021-05-19 | 2021-08-10 | 中国民航大学 | 基于变化图像分类和特征差值先验的变化检测方法及装置 |
| CN113240023B (zh) * | 2021-05-19 | 2022-09-09 | 中国民航大学 | 基于变化图像分类和特征差值先验的变化检测方法及装置 |
| CN113255676A (zh) * | 2021-05-21 | 2021-08-13 | 福州大学 | 基于多源数据融合的高分遥感影像语义分割模型及方法 |
| CN113420662A (zh) * | 2021-06-23 | 2021-09-21 | 西安电子科技大学 | 基于孪生多尺度差异特征融合的遥感影像变化检测方法 |
| CN113487546A (zh) * | 2021-06-25 | 2021-10-08 | 中南大学 | 一种特征-输出空间双对齐的变化检测方法 |
| CN113487546B (zh) * | 2021-06-25 | 2024-04-02 | 中南大学 | 一种特征-输出空间双对齐的变化检测方法 |
| CN113469074B (zh) * | 2021-07-06 | 2023-12-19 | 西安电子科技大学 | 基于孪生注意力融合网络的遥感图像变化检测方法及系统 |
| CN113469074A (zh) * | 2021-07-06 | 2021-10-01 | 西安电子科技大学 | 基于孪生注意力融合网络的遥感图像变化检测方法及系统 |
| CN113537023A (zh) * | 2021-07-08 | 2021-10-22 | 中国人民解放军战略支援部队信息工程大学 | 一种遥感影像语义变化检测方法 |
| CN113537023B (zh) * | 2021-07-08 | 2022-12-23 | 中国人民解放军战略支援部队信息工程大学 | 一种遥感影像语义变化检测方法 |
| CN113449690A (zh) * | 2021-07-21 | 2021-09-28 | 华雁智科(杭州)信息技术有限公司 | 图像场景变化的检测方法、系统及电子设备 |
| CN113569960B (zh) * | 2021-07-29 | 2023-12-26 | 北京邮电大学 | 基于域适应的小样本图像分类方法及系统 |
| CN113569960A (zh) * | 2021-07-29 | 2021-10-29 | 北京邮电大学 | 基于域适应的小样本图像分类方法及系统 |
| CN113807198A (zh) * | 2021-08-24 | 2021-12-17 | 深圳市魔方卫星科技有限公司 | 道路网变化检测方法、模型训练方法、装置、设备及介质 |
| CN113807198B (zh) * | 2021-08-24 | 2023-08-22 | 深圳市魔方卫星科技有限公司 | 道路网变化检测方法、模型训练方法、装置、设备及介质 |
| CN113865859B (zh) * | 2021-08-25 | 2024-05-14 | 西北工业大学 | 多尺度多源异构信息融合的齿轮箱状态故障诊断方法 |
| CN113781409B (zh) * | 2021-08-25 | 2023-10-20 | 五邑大学 | 一种螺栓松动检测方法、装置及存储介质 |
| CN113865859A (zh) * | 2021-08-25 | 2021-12-31 | 西北工业大学 | 多尺度多源异构信息融合的齿轮箱状态故障诊断方法 |
| CN113781409A (zh) * | 2021-08-25 | 2021-12-10 | 五邑大学 | 一种螺栓松动检测方法、装置及存储介质 |
| CN113705715A (zh) * | 2021-09-04 | 2021-11-26 | 大连钜智信息科技有限公司 | 一种基于lstm和多尺度fcn的时间序列分类方法 |
| CN113705715B (zh) * | 2021-09-04 | 2024-04-19 | 大连钜智信息科技有限公司 | 一种基于lstm和多尺度fcn的时间序列分类方法 |
| CN113743515A (zh) * | 2021-09-08 | 2021-12-03 | 感知天下(北京)信息科技有限公司 | 基于自监督自学习特征点的遥感影像特征匹配方法 |
| CN113569815A (zh) * | 2021-09-22 | 2021-10-29 | 速度时空信息科技股份有限公司 | 基于图像分割与孪生神经网络的遥感影像变化的检测方法 |
| CN113704537A (zh) * | 2021-10-28 | 2021-11-26 | 南京码极客科技有限公司 | 一种基于多尺度特征联合的细粒度跨媒体检索方法 |
| CN114092815A (zh) * | 2021-11-29 | 2022-02-25 | 自然资源部国土卫星遥感应用中心 | 一种大范围光伏发电设施遥感智能提取方法 |
| CN114092815B (zh) * | 2021-11-29 | 2022-04-15 | 自然资源部国土卫星遥感应用中心 | 一种大范围光伏发电设施遥感智能提取方法 |
| CN114549972A (zh) * | 2022-01-17 | 2022-05-27 | 中国矿业大学(北京) | 露天矿采场提取方法、装置、设备、介质及程序产品 |
| CN115019186A (zh) * | 2022-08-08 | 2022-09-06 | 中科星图测控技术(合肥)有限公司 | 一种用于遥感变化检测的算法和系统 |
| CN115359271B (zh) * | 2022-08-15 | 2023-04-18 | 中国科学院国家空间科学中心 | 一种大尺度不变性的深空小天体图像匹配的方法 |
| CN115359271A (zh) * | 2022-08-15 | 2022-11-18 | 中国科学院国家空间科学中心 | 一种大尺度不变性的深空小天体图像匹配的方法 |
| CN115409842B (zh) * | 2022-11-02 | 2023-02-24 | 山东锋士信息技术有限公司 | 一种基于卷积自编解码器的遥感图像无监督变化检测方法 |
| CN115409842A (zh) * | 2022-11-02 | 2022-11-29 | 山东锋士信息技术有限公司 | 一种基于卷积自编解码器的遥感图像无监督变化检测方法 |
| CN115661694A (zh) * | 2022-11-08 | 2023-01-31 | 国网湖北省电力有限公司经济技术研究院 | 一种聚焦关键特征的轻量型主变压器智能检测方法、系统、存储介质及电子设备 |
| CN115661016A (zh) * | 2022-12-08 | 2023-01-31 | 瑞纳智能设备股份有限公司 | 换热站的故障监视方法、系统和嵌入式图像诊断控制平台 |
| CN116152660A (zh) * | 2023-02-14 | 2023-05-23 | 北京市遥感信息研究所 | 一种基于跨尺度注意力机制的广域遥感图像变化检测方法 |
| CN116152660B (zh) * | 2023-02-14 | 2023-10-20 | 北京市遥感信息研究所 | 一种基于跨尺度注意力机制的广域遥感图像变化检测方法 |
| CN116385881A (zh) * | 2023-04-10 | 2023-07-04 | 北京卫星信息工程研究所 | 遥感图像地物变化检测方法及装置 |
| CN116385881B (zh) * | 2023-04-10 | 2023-11-14 | 北京卫星信息工程研究所 | 遥感图像地物变化检测方法及装置 |
| CN116664599A (zh) * | 2023-06-01 | 2023-08-29 | 云南大学 | 基于隐写区域预测的图像隐写分析方法 |
| CN116452983B (zh) * | 2023-06-12 | 2023-10-10 | 合肥工业大学 | 一种基于无人机航拍影像的国土地貌变化快速发现方法 |
| CN116452983A (zh) * | 2023-06-12 | 2023-07-18 | 合肥工业大学 | 一种基于无人机航拍影像的国土地貌变化快速发现方法 |
| CN117611877A (zh) * | 2023-10-30 | 2024-02-27 | 西安电子科技大学 | 基于ls-yolo网络的遥感影像滑坡体检测方法 |
| CN117611877B (zh) * | 2023-10-30 | 2024-05-14 | 西安电子科技大学 | 基于ls-yolo网络的遥感影像滑坡体检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112668494A (zh) | 基于多尺度特征提取的小样本变化检测方法 | |
| CN113420662B (zh) | 基于孪生多尺度差异特征融合的遥感影像变化检测方法 | |
| CN113780149B (zh) | 一种基于注意力机制的遥感图像建筑物目标高效提取方法 | |
| CN113780296B (zh) | 基于多尺度信息融合的遥感图像语义分割方法及系统 | |
| CN111310666B (zh) | 一种基于纹理特征的高分辨率影像地物识别与分割方法 | |
| CN111160311A (zh) | 基于多注意力机制双流融合网络的黄河冰凌语义分割方法 | |
| CN111680176A (zh) | 基于注意力与双向特征融合的遥感图像检索方法及系统 | |
| CN112580654A (zh) | 遥感图像地物语义分割方法 | |
| CN113988147B (zh) | 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置 | |
| CN110599502A (zh) | 一种基于深度学习的皮肤病变分割方法 | |
| CN115311502A (zh) | 基于多尺度双流架构的遥感图像小样本场景分类方法 | |
| CN116310339A (zh) | 基于矩阵分解增强全局特征的遥感图像分割方法 | |
| CN116385902A (zh) | 一种遥感大数据处理方法、系统及云平台 | |
| CN113887472A (zh) | 基于级联颜色及纹理特征注意力的遥感图像云检测方法 | |
| CN117058367A (zh) | 高分辨率遥感影像建筑物语义分割方法及装置 | |
| CN114937154B (zh) | 一种基于递归解码器的显著性检测方法 | |
| CN116363526A (zh) | MROCNet模型构建与多源遥感影像变化检测方法及系统 | |
| CN115527113A (zh) | 一种遥感图像裸土地分类方法及装置 | |
| CN113343861B (zh) | 一种基于神经网络模型的遥感图像水体区域提取方法 | |
| CN116129280B (zh) | 一种遥感影像雪检测的方法 | |
| CN115984714B (zh) | 一种基于双分支网络模型的云检测方法 | |
| CN117115566B (zh) | 利用全季节遥感影像的城市功能区识别方法及系统 | |
| CN113705580B (zh) | 基于深度迁移学习的高光谱图像分类方法 | |
| CN115456957B (zh) | 一种全尺度特征聚合的遥感影像变化检测的方法 | |
| CN117351360A (zh) | 一种基于注意力机制改进的遥感图像道路提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210416 |
|
| WD01 | Invention patent application deemed withdrawn after publication |