CN116229283A - 基于深度可分离卷积模块的遥感图像变化检测系统及方法 - Google Patents
基于深度可分离卷积模块的遥感图像变化检测系统及方法 Download PDFInfo
- Publication number
- CN116229283A CN116229283A CN202310228942.4A CN202310228942A CN116229283A CN 116229283 A CN116229283 A CN 116229283A CN 202310228942 A CN202310228942 A CN 202310228942A CN 116229283 A CN116229283 A CN 116229283A
- Authority
- CN
- China
- Prior art keywords
- depth separable
- module
- separable convolution
- remote sensing
- sensing image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008859 change Effects 0.000 title claims abstract description 97
- 238000001514 detection method Methods 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims description 12
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 claims abstract description 29
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 230000004913 activation Effects 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 239000011800 void material Substances 0.000 claims description 9
- 230000009191 jumping Effects 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 5
- 230000003993 interaction Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 4
- 238000011156 evaluation Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000012014 frustrated Lewis pair Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Remote Sensing (AREA)
- Medical Informatics (AREA)
- Astronomy & Astrophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像处理技术领域，涉及基于深度可分离卷积模块的遥感图像变化检测系统及方法，以Unet网络作为基础网络结构构建基于深度可分离卷积模块的遥感图像变化检测轻量级模型，在特征提取过程中引入深度可分离卷积模块；在编码器端引入孪生网络结构提取双时相影像的特征，并且将它们之间差异的绝对值进行连接；同时，在跳跃连接之前引入了有效且轻量级的高效通道注意力模块，用于网络更好地关注变化信息和抑制一些无关信息；此外，本发明提出一种轻量级的ASPP+模块紧跟在解码器端之后，用于提升网络模型对不同尺度目标对象的检测能力；最后，经过一个1×1卷积输出变化图。本发明通过采用深度可分离卷积模块和ASPP+模块，在取得较高检测精度的情况下，其模型参数量和计算成本得到大幅度的消减，进一步满足变化检测任务的实时性要求。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于深度可分离卷积模块的遥感图像变化检测系统及方法。
背景技术
遥感图像已成为获取地表信息的主要数据来源，遥感图像变化检测研究在自然灾害评估、土地利用动态检测、森林植被变化监测和城市规划等方面起着至关重要的作用。随着卫星遥感技术的不断发展，遥感图像的分辨率有很大的提高，虽然基于卷积神经网络的变化检测方法取得了令人满意的效果，但一个普遍的问题是，上述大多方法的网络结构过于复杂，网络计算量也比较庞大。目前的遥感影像变化检测任务逐渐应用于轻量级移动设备，实时性的变化检测网络研究也成为当前的热点方向，但要同时达到变化检测任务中的高准确率和网络模型的轻量化效果是较难的。引入深度可分离卷积模块来进行特征提取，能大幅度降低网络的参数量以及计算开销，从而使得网络模型更轻量化。
发明内容
本发明针对目前遥感图像变化检测研究的实时性需求，对UNet网络模型进行改进，引入深度可分离卷积模块，提出了一种基于深度可分离卷积模块的遥感图像变化检测系统及方法。
本发明通过下述技术方案来实现。基于深度可分离卷积模块的遥感图像变化检测系统，包括以Unet网络作为基础网络结构构建的基于深度可分离卷积模块的遥感图像变化检测轻量级模型，所述遥感图像变化检测轻量级模型包括编码器端和解码器端；在编码器端采用孪生网络结构提取双时相影像的特征，并且将双时相影像之间差异的绝对值进行连接；编码器端和解码器端分别采用深度可分离卷积模块进行特征提取；在编码器端和解码器端之间的跳跃连接之前引入有效且轻量级的高效通道注意力模块；接着，将轻量级的ASPP+模块紧跟在解码器端之后；最后，经过卷积输出变化图。
进一步优选，UNet网络的编码器端和解码器端、ASPP+模块都采用深度可分离卷积模块。
进一步优选，UNet网络的编码器端融合孪生网络结构，双时相图像分别输入到连接四个连续下采样的深度可分离卷积模块，并且将它们之间差异的绝对值进行连接；编码器端每层输出的差异特征图经过高效通道注意力模块，接着融合解码器端相对应层的深度可分离卷积模块。
进一步优选，孪生网络结构包括用于提取前一时相遥感图像的第一分支和用于提取后一时相遥感图像的第二分支，第一分支依次包括若个深度可分离卷积模块，第二分支也依次包括同样数量的深度可分离卷积模块，解码器端也包括同样数量的深度可分离卷积模块，第二分支的最后一个深度可分离卷积模块的输出经过一个中间深度可分离卷积模块后再连接解码器端的第一个深度可分离卷积模块，第一分支的第一个深度可分离卷积模块与第二分支的第一个深度可分离卷积模块跳跃连接，跳跃连接前通过第一个高效通道注意力模块连接解码器端的最后一个深度可分离卷积模块；第一分支的第二个深度可分离卷积模块与第二分支的第二个深度可分离卷积模块跳跃连接，跳跃连接前通过第二个高效通道注意力模块连接解码器端的倒数第二个深度可分离卷积模块，依此类推；解码器端的最后一个深度可分离卷积模块连接ASPP+模块；ASPP+模块后连接一个卷积模块。
进一步优选，所述深度可分离卷积模块依次包括3×3深度卷积层、第一BN层、第一ReLU激活函数层、1×1逐点卷积层、第二BN层、第二ReLU激活函数层。
进一步优选，所述ASPP+模块包括四条支路，四条支路分别为1×1卷积、空洞率为6的3×3深度可分离卷积模块、空洞率为12的3×3深度可分离卷积模块，空洞率为18的3×3深度可分离卷积模块。
本发明提出一种基于深度可分离卷积模块的遥感图像变化检测方法，步骤如下：
S1：选择进行变化检测的高分辨率遥感图像数据集，对选定的高分辨率遥感图像数据集进行预处理操作，制作训练集、验证集、测试集；
S2：构建基于深度可分离卷积模块的遥感图像变化检测轻量级模型；
S3：使用训练集训练基于深度可分离卷积模块的遥感图像变化检测轻量级模型，并使用验证集进行验证，使用测试集进行测试；
S4：利用训练好的基于深度可分离卷积模块的遥感图像变化检测轻量级模型进行遥感图像变化检测。
更具体地，基于深度可分离卷积模块的遥感图像变化检测轻量级模型进行遥感图像变化检测的过程如下：在编码器端采用孪生网络结构提取双时相图像的特征信息，并且将它们之间差异的绝对值进行连接，特征提取过程中引入深度可分离卷积模块；在跳跃连接之前编码器端的差异特征图会先通过高效通道注意力模块来突出变化特征信息，接着再与解码器端相对应层的模块进行融合，用于获取全局上下文信息；连接一个ASPP+模块紧跟在解码器端之后，进一步提升网络模型对不同尺度目标对象的检测能力；增强后的特征图经过卷积后输出最终的变化图。
更具体地，深度可分离卷积模块包括两层卷积操作，即深度卷积和逐点卷积；其中，使用卷积核为3×3的深度卷积对输入特征图的每个通道都进行单个滤波器卷积操作；接着，再进行BN正则化和ReLU激活操作；然后，使用卷积核为1×1的逐点卷积来组合深度卷积的输出通道数；最后，经过逐点卷积生成的特征图同样进行正则化和ReLU激活运算。
更具体地，高效通道注意力模块中输入特征图在不降维的前提下会进行全局平均池化操作；接着通过使用快速一维卷积来实现局部的跨通道信息交互；然后使用一个Sigmoid函数来生成通道权值。
本发明与现有技术相比，具有如下优点和有益效果：
针对遥感图像变化检测的实时性需求，本发明提出了基于深度可分离卷积模块的遥感图像变化检测轻量级模型。首先，该模型以UNet网络作为骨干网络，针对遥感图像变化检测网络模型的轻量级需求，引入深度可分离卷积模块来进行特征提取，用于降低网络模型的冗余度和计算量；然后，在编码器与解码器之间的跳跃连接之前使用高效通道注意力模块用于抑制无关变化信息；其次，使用轻量级的ASPP+模块来解决小目标漏检的问题，提升网络模型对不同尺度目标的检测能力。实验结果表明，该网络模型的参数个数仅为1.08MB，FLOPs也仅为7.14G，使得该网络模型进一步满足遥感图像变化检测的实时性需求，并且其在CDD和SYSU-CD数据集上的检测结果依然保持较高的精度。
附图说明
图1是本发明的基于深度可分离卷积模块的遥感图像变化检测轻量级模型结构图。
图2是深度可分离卷积模块结构图。
图3是高效通道注意力模块结构图。
图4是ASPP+模块的结构图。
图5是本发明的流程示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步说明。
基于深度可分离卷积模块的遥感图像变化检测装置，包括以Unet网络作为基础网络结构构建的基于深度可分离卷积模块的遥感图像变化检测轻量级模型，所述遥感图像变化检测轻量级模型包括编码器端和解码器端；首先，在编码器端采用孪生网络结构提取双时相影像的特征，并且将它们之间差异的绝对值进行连接；编码器端和解码器端分别采用深度可分离卷积模块进行特征提取；在编码器端和解码器端之间的跳跃连接之前引入有效且轻量级的高效通道注意力模块；接着，将轻量级的ASPP+模块紧跟在解码器端之后；最后，经过一个1×1卷积输出变化图。
孪生网络结构是指在编码器端使用结构相同的网络，用于提取双时相图像的特征；如图1所示，孪生网络结构包括用于提取T1(前一时刻)时相遥感图像的第一分支和用于提取T2(后一时刻)时相遥感图像的第二分支，第一分支依次包括四个深度可分离卷积模块，第二分支也依次包括四个深度可分离卷积模块，解码器端也包括四个深度可分离卷积模块，第二分支的第四个深度可分离卷积模块的输出经过一个中间深度可分离卷积模块后再连接解码器端的第一个深度可分离卷积模块，第一分支的第一个深度可分离卷积模块与第二分支的第一个深度可分离卷积模块跳跃连接，跳跃连接前通过第一个高效通道注意力模块连接解码器端的第四个深度可分离卷积模块；第一分支的第二个深度可分离卷积模块与第二分支的第二个深度可分离卷积模块跳跃连接，跳跃连接前通过第二个高效通道注意力模块连接解码器端的第三个深度可分离卷积模块；第一分支的第三个深度可分离卷积模块与第二分支的第三个深度可分离卷积模块跳跃连接，跳跃连接前通过第三个高效通道注意力模块连接解码器端的第二个深度可分离卷积模块；第一分支的第四个深度可分离卷积模块与第二分支的第四个深度可分离卷积模块跳跃连接；跳跃连接前通过第四个高效通道注意力模块连接解码器端的第一个深度可分离卷积模块；解码器端的第四个深度可分离卷积模块连接ASPP+模块；ASPP+模块后连接一个1×1卷积模块。
本实例中，为了满足遥感图像变化检测的轻量化需求，UNet网络的编码器端和解码器端、ASPP+模块都采用深度可分离卷积模块进行特征提取，如图2所示，深度可分离卷积模块将常规的卷积模块分解成两层卷积操作，即深度卷积和逐点卷积，依次包括3×3深度卷积层、第一BN层、第一ReLU激活函数层、1×1逐点卷积层、第二BN层、第二ReLU激活函数层。其中，使用卷积核为3×3的深度卷积对输入特征图的每个通道都进行单个滤波器卷积操作；接着，再进行BN正则化和ReLU激活操作；然后，使用卷积核为1×1的逐点卷积来组合深度卷积的输出通道数；最后，经过逐点卷积生成的特征图同样进行BN正则化和ReLU激活操作。
为了更好地突出变化区域的特征和抑制一些无关信息，本实施例引入了轻量级的高效通道注意力模块，如图3所示，高效通道注意力模块在全局平均池化层之后去除了全连接层，改用卷积核为1×1的快速一维卷积。其中，输入特征图首先在不降维的前提下会进行全局平均池化操作；接着通过使用内核k值为5的快速一维卷积来实现局部的跨通道信息交互，其中内核k表示的是跨通道交互的覆盖范围；然后使用一个Sigmoid函数来生成通道权值。
已知不同尺度的特征信息对遥感图像的变化检测至关重要，并且为了满足遥感图像变化检测的轻量化需求，本实施例提出了一种轻量级的ASPP+模块，如图4所示，ASPP+模块的四条支路分别为1×1卷积、空洞率为6的3×3深度可分离卷积模块、空洞率为12的3×3深度可分离卷积模块，空洞率为18的3×3深度可分离卷积模块。ASPP+模块首先是通过并行三个采用深度可分离卷积模块的空洞卷积和一个1×1卷积来进行特征提取，其中空洞卷积是在卷积层中加入空洞率参数，即卷积核根据空洞率加入间距使其膨胀，且间距中填充0值；接着，将经过1×1卷积和3个空洞卷积并行处理后的特征图进行通道维度的拼接，其中，3个空洞卷积的空洞率分别是6、12和18；然后，再将拼接后的特征图输入到1×1卷积进行特征融合。
针对遥感图像变化检测研究的实时性需求，本实施例提出一种基于深度可分离卷积模块的遥感图像变化检测方法，参照图5，步骤如下，
S1：选择进行变化检测的高分辨率遥感图像数据集，对选定的高分辨率遥感图像数据集进行预处理操作，制作训练集、验证集、测试集。
以变化检测高分辨率遥感图像数据集中的一幅图像为例，有几个典型的变化类型，例如植被变化、海上建设、道路扩建以及建筑物变化等类型，其中白色像素代表变化区域，黑色像素代表未变化区域。
预处理过程主要包括图像裁剪和数据增强。考虑到GPU内存限制的因素，对每个原始图像对进行随机裁剪操作，将变化检测数据集中的图像均匀裁剪成256×256像素大小的图像，并对图像进行水平翻转和垂直翻转来进行数据增强，将处理后的变化检测数据集划分为训练集：验证集：测试集＝6:2:2的比例。
S2：构建基于深度可分离卷积模块的遥感图像变化检测轻量级模型；
S3：使用训练集训练基于深度可分离卷积模块的遥感图像变化检测轻量级模型，并使用验证集进行验证，使用测试集进行测试；
S4：利用训练好的基于深度可分离卷积模块的遥感图像变化检测轻量级模型进行遥感图像变化检测。
本实施例中，基于深度可分离卷积模块的遥感图像变化检测轻量级模型进行遥感图像变化检测的过程如下：
首先，在UNet网络的编码器端采用孪生网络结构分别提取双时相影像的特征，特征提取过程中引入深度可分离卷积模块，并且将它们之间差异的绝对值进行连接；孪生网络结构能够更好地保留双时相图像各自的图像特征信息，有效的缓解特征提取时图像信息丢失带来的影响；通过引入深度可分离卷积模块，可以减少网络模型的计算量，从而进一步满足遥感图像变化检测的轻量化需求。
然后，编码器端输出的差异图会先通过高效通道注意力模块，接着再与解码器端相对应层的模块进行融合，用于获取全局上下文信息；在编码器端与解码器端之间的跳跃连接前引入高效通道注意力模块，可以更好地关注变化信息，抑制一些无关信息。
之后，连接一个ASPP+模块紧跟在解码器端之后，进一步提升网络模型对不同尺度目标对象的检测能力，并且为了满足遥感图像变化检测的轻量化需求，ASPP+模块先通过并行三个采用深度可分离卷积模块的空洞卷积和一个1×1普通卷积来进行特征提取；接着，将经过1×1卷积和3个空洞卷积并行处理后的特征图进行通道维度的拼接，其中，3个空洞卷积的空洞率分别是6、12和18；最后，再将拼接后的特征图输入到1×1卷积进行特征融合。该操作在提升网络模型对不同尺度目标对象的检测能力的同时也不会使得网络模型的计算量暴增。
最后，增强后的特征图经过1×1卷积后输出最终的实验效果图。
本实施例在两个公开的季节变化检测数据集(CDD)和中山大学变化检测数据集(SYSU-CD)上进行对基于深度可分离卷积模块的遥感图像变化检测轻量级模型进行训练并测试，通过利用4个常用的客观量作为变化检测的评价指标，精度P、召回率R、综合性指标F1值和OA值。
表1是本发明的基于深度可分离卷积模块的遥感图像变化检测轻量级模型在CDD数据集上的客观性能评估情况。表2是本发明的基于深度可分离卷积模块的遥感图像变化检测轻量级模型在SYSU-CD数据集上的客观性能评估情况。
表1本发明在CDD数据集上的评估情况
表2本发明在SYSU-CD数据集上的评估情况
为了能更好突出本发明的基于深度可分离卷积模块的遥感图像变化检测轻量级模型的可行性，在CDD数据集选取了5个有代表性的变化类型测试目标，例如建筑物、道路、车辆、小尺度和复杂地物等对象；同时，在SYSU-CD数据集选取了4个典型的变化类型，例如植被变化、海上建设、道路扩建以及建筑物变化等类型。通过对两个公开数据集中典型场景的变化图进行分析，结果表明，利用基于深度可分离卷积模块的遥感图像变化检测轻量级模型得到的实验效果图在不同变化类型上都能有较好的检测结果的同时，可以进一步满足遥感图像变化检测的实时性需求。
最后应说明的是：以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.基于深度可分离卷积模块的遥感图像变化检测系统，其特征在于，包括以Unet网络作为基础网络结构构建的基于深度可分离卷积模块的遥感图像变化检测轻量级模型，所述遥感图像变化检测轻量级模型包括编码器端和解码器端；在编码器端采用孪生网络结构提取双时相影像的特征，并且将双时相影像之间差异的绝对值进行连接；编码器端和解码器端分别采用深度可分离卷积模块进行特征提取；在编码器端和解码器端之间的跳跃连接之前引入有效且轻量级的高效通道注意力模块；接着，将轻量级的ASPP+模块紧跟在解码器端之后；最后，经过卷积输出变化图。
2.根据权利要求1所述的基于深度可分离卷积模块的遥感图像变化检测系统，其特征在于，UNet网络的编码器端和解码器端、ASPP+模块都采用深度可分离卷积模块。
3.根据权利要求2所述的基于深度可分离卷积模块的遥感图像变化检测系统，其特征在于，UNet网络的编码器端融合孪生网络结构，双时相图像分别输入到连接四个连续下采样的深度可分离卷积模块，并且将它们之间差异的绝对值进行连接；编码器端每层输出的差异特征图经过高效通道注意力模块，接着融合解码器端相对应层的深度可分离卷积模块。
4.根据权利要求1所述的基于深度可分离卷积模块的遥感图像变化检测系统，其特征在于，孪生网络结构包括用于提取前一时相遥感图像的第一分支和用于提取后一时相遥感图像的第二分支，第一分支依次包括若个深度可分离卷积模块，第二分支也依次包括同样数量的深度可分离卷积模块，解码器端也包括同样数量的深度可分离卷积模块，第二分支的最后一个深度可分离卷积模块的输出经过一个中间深度可分离卷积模块后再连接解码器端的第一个深度可分离卷积模块，第一分支的第一个深度可分离卷积模块与第二分支的第一个深度可分离卷积模块跳跃连接，跳跃连接前通过第一个高效通道注意力模块连接解码器端的最后一个深度可分离卷积模块；第一分支的第二个深度可分离卷积模块与第二分支的第二个深度可分离卷积模块跳跃连接，跳跃连接前通过第二个高效通道注意力模块连接解码器端的倒数第二个深度可分离卷积模块，依此类推；解码器端的最后一个深度可分离卷积模块连接ASPP+模块；ASPP+模块后连接一个卷积模块。
5.根据权利要求1所述的基于深度可分离卷积模块的遥感图像变化检测系统，其特征在于，所述深度可分离卷积模块依次包括3×3深度卷积层、第一BN层、第一ReLU激活函数层、1×1逐点卷积层、第二BN层、第二ReLU激活函数层。
6.根据权利要求1所述的基于深度可分离卷积模块的遥感图像变化检测系统，其特征在于，所述ASPP+模块包括四条支路，四条支路分别为1×1卷积、空洞率为6的3×3深度可分离卷积模块、空洞率为12的3×3深度可分离卷积模块，空洞率为18的3×3深度可分离卷积模块。
7.一种基于深度可分离卷积模块的遥感图像变化检测方法，其特征在于，步骤如下：
S1：选择进行变化检测的高分辨率遥感图像数据集，对选定的高分辨率遥感图像数据集进行预处理操作，制作训练集、验证集、测试集；
S2：构建权利要求1-6任意一项所述的基于深度可分离卷积模块的遥感图像变化检测轻量级模型；
S3：使用训练集训练基于深度可分离卷积模块的遥感图像变化检测轻量级模型，并使用验证集进行验证，使用测试集进行测试；
S4：利用训练好的基于深度可分离卷积模块的遥感图像变化检测轻量级模型进行遥感图像变化检测。
8.根据权利要求7所述的基于深度可分离卷积模块的遥感图像变化检测方法，其特征在于，基于深度可分离卷积模块的遥感图像变化检测轻量级模型进行遥感图像变化检测的过程如下：基于深度可分离卷积模块的遥感图像变化检测轻量级模型进行遥感图像变化检测的过程如下：在编码器端采用孪生网络结构提取双时相图像的特征信息，并且将它们之间差异的绝对值进行连接，特征提取过程中引入深度可分离卷积模块；在跳跃连接之前编码器端的差异特征图会先通过高效通道注意力模块来突出变化特征信息，接着再与解码器端相对应层的模块进行融合，用于获取全局上下文信息；连接一个ASPP+模块紧跟在解码器端之后，进一步提升网络模型对不同尺度目标对象的检测能力；增强后的特征图经过卷积后输出最终的变化图。
9.根据权利要求8所述的基于深度可分离卷积模块的遥感图像变化检测方法，其特征在于，深度可分离卷积模块包括两层卷积操作，即深度卷积和逐点卷积；其中，使用卷积核为3×3的深度卷积对输入特征图的每个通道都进行单个滤波器卷积操作；接着，再进行BN正则化和ReLU激活操作；然后，使用卷积核为1×1的逐点卷积来组合深度卷积的输出通道数；最后，经过逐点卷积生成的特征图同样进行正则化和ReLU激活运算。
10.根据权利要求8所述的基于深度可分离卷积模块的遥感图像变化检测方法，其特征在于，高效通道注意力模块中输入特征图在不降维的前提下会进行全局平均池化操作；接着通过使用快速一维卷积来实现局部的跨通道信息交互，然后使用一个Sigmoid函数来生成通道权值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310228942.4A CN116229283A (zh) | 2023-03-10 | 2023-03-10 | 基于深度可分离卷积模块的遥感图像变化检测系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310228942.4A CN116229283A (zh) | 2023-03-10 | 2023-03-10 | 基于深度可分离卷积模块的遥感图像变化检测系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116229283A true CN116229283A (zh) | 2023-06-06 |
Family
ID=86576653
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310228942.4A Pending CN116229283A (zh) | 2023-03-10 | 2023-03-10 | 基于深度可分离卷积模块的遥感图像变化检测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116229283A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116503428A (zh) * | 2023-06-27 | 2023-07-28 | 吉林大学 | 基于精细化全局注意力机制图像特征提取方法和分割方法 |
| CN116721302A (zh) * | 2023-08-10 | 2023-09-08 | 成都信息工程大学 | 一种基于轻量级网络的冰雪晶粒子图像分类方法 |
| CN117576567A (zh) * | 2023-12-01 | 2024-02-20 | 石家庄铁道大学 | 一种使用多层级差异特征自适应融合的遥感图像变化检测方法 |
| CN117612025A (zh) * | 2023-11-23 | 2024-02-27 | 国网江苏省电力有限公司扬州供电分公司 | 基于扩散模型的遥感图像屋顶识别方法及系统 |
| CN117671437A (zh) * | 2023-10-19 | 2024-03-08 | 中国矿业大学(北京) | 基于多任务卷积神经网络的露天采场识别与变化检测方法 |
-
2023
- 2023-03-10 CN CN202310228942.4A patent/CN116229283A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116503428A (zh) * | 2023-06-27 | 2023-07-28 | 吉林大学 | 基于精细化全局注意力机制图像特征提取方法和分割方法 |
| CN116503428B (zh) * | 2023-06-27 | 2023-09-08 | 吉林大学 | 基于精细化全局注意力机制图像特征提取方法和分割方法 |
| CN116721302A (zh) * | 2023-08-10 | 2023-09-08 | 成都信息工程大学 | 一种基于轻量级网络的冰雪晶粒子图像分类方法 |
| CN116721302B (zh) * | 2023-08-10 | 2024-01-12 | 成都信息工程大学 | 一种基于轻量级网络的冰雪晶粒子图像分类方法 |
| CN117671437A (zh) * | 2023-10-19 | 2024-03-08 | 中国矿业大学(北京) | 基于多任务卷积神经网络的露天采场识别与变化检测方法 |
| CN117612025A (zh) * | 2023-11-23 | 2024-02-27 | 国网江苏省电力有限公司扬州供电分公司 | 基于扩散模型的遥感图像屋顶识别方法及系统 |
| CN117576567A (zh) * | 2023-12-01 | 2024-02-20 | 石家庄铁道大学 | 一种使用多层级差异特征自适应融合的遥感图像变化检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116229283A (zh) | 基于深度可分离卷积模块的遥感图像变化检测系统及方法 | |
| CN111062872B (zh) | 一种基于边缘检测的图像超分辨率重建方法及系统 | |
| CN112861729B (zh) | 一种基于伪深度图引导的实时深度补全方法 | |
| CN112381172B (zh) | 一种基于U-net的InSAR干涉图像相位解缠方法 | |
| CN110599401A (zh) | 遥感图像超分辨率重建方法、处理装置及可读存储介质 | |
| CN112070690B (zh) | 基于卷积神经网络双分支注意力生成的单幅图像去雨方法 | |
| CN114359130B (zh) | 一种基于无人机影像的道路裂缝检测方法 | |
| CN112287931B (zh) | 一种场景文本检测方法及系统 | |
| CN113469191B (zh) | 基于多层特征融合注意力机制的sar图像叠掩区提取方法 | |
| CN113610905B (zh) | 基于子图像匹配的深度学习遥感图像配准方法及应用 | |
| CN113901900A (zh) | 一种同源或异源遥感图像用无监督变化检测方法及系统 | |
| CN111680667B (zh) | 一种基于深度神经网络的遥感图像地物分类方法 | |
| CN114494821A (zh) | 基于特征多尺度感知与自适应聚合的遥感影像云检测方法 | |
| CN114511636B (zh) | 一种基于双滤注意力模块的果实计数方法及系统 | |
| CN114092824A (zh) | 结合密集注意力和并行上采样的遥感图像道路分割方法 | |
| CN116310828A (zh) | 一种结合Transformer和CNN的高分辨率遥感图像变化检测方法及装置 | |
| CN116665040A (zh) | 基于注意力机制的多尺度输入输出的建筑物变化检测方法 | |
| CN118365543A (zh) | 一种基于改进EnlightenGAN的裂缝图像阴影去除方法 | |
| CN118365879A (zh) | 一种基于场景感知类关注的异构遥感图像分割方法 | |
| CN117689617A (zh) | 基于去雾约束网络和串联多尺度注意力的绝缘子检测方法 | |
| CN116229217A (zh) | 一种应用于复杂环境下的红外目标检测方法 | |
| CN115909088A (zh) | 基于超分辨特征聚合的光学遥感图像目标检测方法 | |
| CN114998101A (zh) | 一种基于深度学习的卫星影像超分辨率方法 | |
| CN116958800A (zh) | 基于层次注意力残差UNet++的遥感影像变化检测方法 | |
| CN115471414A (zh) | 基于曝光成像模型和模块化深度网络的图像去雨雪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |