CN113033448B - 一种基于多尺度卷积和注意力的遥感影像去云残差神经网络系统、方法、设备及存储介质 - Google Patents
一种基于多尺度卷积和注意力的遥感影像去云残差神经网络系统、方法、设备及存储介质 Download PDFInfo
- Publication number
- CN113033448B CN113033448B CN202110360889.4A CN202110360889A CN113033448B CN 113033448 B CN113033448 B CN 113033448B CN 202110360889 A CN202110360889 A CN 202110360889A CN 113033448 B CN113033448 B CN 113033448B
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- module
- convolution
- sensing image
- cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 30
- 230000007246 mechanism Effects 0.000 claims description 24
- 230000001965 increasing effect Effects 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 230000000750 progressive effect Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 2
- 102100037293 Atrial natriuretic peptide-converting enzyme Human genes 0.000 claims 2
- 101000952934 Homo sapiens Atrial natriuretic peptide-converting enzyme Proteins 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 25
- 238000012545 processing Methods 0.000 abstract description 16
- 238000011084 recovery Methods 0.000 abstract description 10
- 238000000605 extraction Methods 0.000 abstract description 4
- 230000000007 visual effect Effects 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 241000209094 Oryza Species 0.000 description 4
- 235000007164 Oryza sativa Nutrition 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 235000009566 rice Nutrition 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提出一种基于多尺度卷积和注意力的遥感影像去云残差神经网络系统、方法、设备及存储介质，属于遥感影像处理领域，为解决传统算法鲁棒性差、恢复效果不符合遥感影像视觉特征的问题。所述深度神经网络方法在高分辨率遥感影像去云任务的速度与复原效果上达到了平衡；使用卷积核大小变化范围更大的多尺度上下文卷积减小模型所需的内存和算法的处理时间；并且在多尺度卷积前以剩余连接的方式拼接了带有通道注意力模块的细粒度卷积增加网络的特征提取能力；本发明更真实、更符合实际场景的专用于高分辨率遥感影像去云任务的数据集，无论哪种网络模型，在该数据集上训练得到的网络权重都具有更高的适应性和更强的鲁棒性。
Description
技术领域
本发明涉及一种基于多尺度卷积和注意力的遥感影像去云残差神经网络系统及方法，属于遥感影像处理领域。
背景技术
遥感影像中存在大量的云噪声，云的存在极大降低了遥感影像的利用率，增加了遥感技术成本。云的明亮效果和云影的暗化效应影响多种数据分析，导致许多遥感活动出现问题，包括不准确的大气校正，归一化差异植被指数值的偏差估计，土地覆盖错误分类，以及土地覆盖变化的错误检测。在大多数应用任务中，减少模型计算所需的资源对许多个人训练来说是十分友好的。尤其在诸如军事活动、灾害防治等应用场景中，快速的完成去云工作具有更加重大的意义。
早期的去云雾方法主要有基于影像处理的去雾算法、基于大气物理模型的图像复原方法。基于影像处理的去雾算法大多以颜色恒常性与亮度恒常性为基础，通过增加影像对比度达到突出图像中有用信息的作用，无法应对复杂的情况变化。基于大气物理模型的图像复原方法利用大气传输模型，通过求解影像降质物理过程的逆过程来恢复清晰影像。在实际应用中假定的先验知识很容易与实际情况不一致，这就会导致传输近似不准确，所以无法很好地执行去云雾任务。后来的机器学习通过对海量数据的提取与训练可以适应多变的情况，但是仍存在恢复视觉效果差、光晕、处理速度慢和计算资源占用高等问题。另外专用于高分辨率遥感影像去云任务的数据集并不多，还存在丰富度不高、云噪声形态过于单一的问题
发明内容
为了解决现有去云算法的恢复效果差、计算资源消耗巨大且计算时间过长的弊端的问题，本发明提出了一种基于多尺度卷积和注意力的遥感影像去云残差神经网络系统、方法、设备及存储介质，本发明的具体方案如下：
方案一：一种基于多尺度卷积和通道注意力机制的高分辨率遥感影像去云残差神经网络系统，该系统包括输入模块、数据增强模块、增维模块、细腻特征模块、多尺度卷积模块、降维模块和输出模块；上述模块为递进关系完成逻辑链接；
其中输入模块负责采集遥感影像数据；数据增强模块用于对输入模块得到的遥感影像数据增强操作提高丰富度；增维模块负责将遥感影像数据提高维度；细腻特征模块负责将裁剪遥感影像；多尺度卷积模块负责遥感影像中去除噪声；降维模块负责降低维度；输出模块用于最后输出去云影像，完成基于多尺度卷积和通道注意力机制的高分辨率遥感影像去云残差神经网络系统。
进一步地，细腻特征模块包括平均池层子模块、卷积子模块、RELU子模块和Sigmod子模块，其中所述细腻特征模块包含至少两个所述卷积子模块和RELU子模块，所述卷积子模块用于接收所述RELU子模块生成的数据加以计算。
方案二：一种基于多尺度卷积和通道注意力机制的高分辨率遥感影像去云残差神经网络方法，是基于方案一所述的系统为基础而实现的，该方法的具体步骤如下：
S101，利用所述输入模块从训练数据集中获取图像数据；
S102，对对成高分辨率遥感图像数据进行增强操作，并裁剪至相同大小，得到增强后的数据集对。
S103，通过所述增维模块中的预处理操作，将三维特征转换成多维信息的特征；
S104，将预处理操作获得的高维特征输入细腻特征模块中，提取出图像的细节信息；利用所述细腻特征模块，计算得出注意力权重矩阵；
S105，将所述细腻特征模块中提取出的特征再输入多尺度卷积模块中，根据不同大小的卷积核具有不同大小的感受野对权重矩阵进行卷积操作，得到无云影像；
S106，在使用训练集数据的过程中，计算步骤S103-S105处理后的无云影像与PRSC数据集中对应的清晰影像两者之间的损失函数大小；反向传播调整网络参数直到满足清晰度要求；使用验证集数据，验证PSNR和SSIM指标大小，循环训练直至达到所述指标大小，将神经网络权重参数更新为此时数据的权重参数，完成高分辨率遥感影像去云残差操作。
进一步地，在步骤S101中，获取图像数据过程指获取成对的高分辨率遥感图像；所述的训练数据集指PRSC数据集。
进一步地，在步骤S102中，所述的增强操作具体指从训练数据集中读取成对高分辨率遥感图像后，进行随机翻转，通过在遥感图像任意位置进行裁剪，为指定大小的图像对增加数据集的多样性。
进一步地，在步骤S103中，所述的多维信息指至少64维的维度信息。
进一步地，所述不同大小的卷积核以大小为3*3的卷积核为基础，所述计算权重矩阵的过程是通过通道注意力机制完成计算，并针对不同通道分配相应的注意力大小。
进一步地，所述的循环卷积过程，具体通过所述RELU子模块中应用RELU函数将非线性数据转换后的线性数据，进而进行权重矩阵卷积；由所述Sigmod子模块中的Sigmod算法将非线性数据最终转换为线性数据。
方案三：一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现所述的一种基于多尺度卷积和通道注意力机制的高分辨率遥感影像去云残差神经网络方法的步骤。
方案四：一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种基于多尺度卷积和通道注意力机制的高分辨率遥感影像去云残差神经网络方法。
本发明有益效果体现在：
本发明提出了一种基于多尺度卷积和注意力的遥感影像去云残差神经网络方法及系统(MSAR_DefogNet)，并且本发明提出了一个专用于高分辨率遥感影像去云任务的丰富度更高的数据集PRSC。MSAR_DefogNet模型中的多尺度卷积块可以提取不同尺度的特征，并融合这些特征实现高效去云。带有通道注意力机制的残差块可以提取细节特征，实现挖掘细节信息的功能。使用PRSC数据集可以增强模型的适应性和鲁棒性，有助于将模型迁移至真实场景中使用。与现有算法相比，该方法不需要显式的估计传输率等，具有更强大的学习能力，可以适应多种场景变化，具有更好图像恢复效果和更快的处理速度的同时对硬件的要求也更低。可以满足众多硬实时任务的要求，也更有利于迁移该复杂任务至嵌入式设备或移动设备中
附图说明
图1为本发明一种基于多尺度卷积和注意力的遥感影像去云残差神经网络方法实施实例流程图；
图2为本发明基于多尺度卷积和注意力的遥感影像去云残差神经网络系统的具体模块图；
图3为本发明基于多尺度卷积和注意力的遥感影像去云残差神经网络系统的细腻特征模块中单个特征提取模块的具体结构细节图；
图4为本发明新提出的PRSC数据集与其他数据集比较的结果；
图5为本发明新提出的PRSC数据集与其他数据集在不同神经网络模型上的最终效果对比；
图6为本发明与其他的先进的去云算法在PRSC数据集上运行的结果的对比；
表1为本发明在PRSC数据集上和其他方法在去云能力方面的评价指标的对比；
表2为本发明在PRSC数据集上和其他方法在计算资源消耗方面的评价指标的对比；
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
具体实施方式
具体实施方式一：一种基于多尺度卷积和通道注意力机制的高分辨率遥感影像去云残差神经网络系统，该系统包括输入模块、数据增强模块、增维模块、细腻特征模块、多尺度卷积模块、降维模块和输出模块；上述模块为递进关系完成逻辑链接；其中输入模块负责采集遥感影像数据；数据增强模块用于对输入模块得到的遥感影像数据增强操作提高丰富度；增维模块负责将遥感影像数据提高维度；细腻特征模块负责将裁剪遥感影像；多尺度卷积模块负责遥感影像中去除噪声；降维模块负责降低维度；输出模块用于最后输出去云影像，完成基于多尺度卷积和通道注意力机制的高分辨率遥感影像去云残差神经网络系统；细腻特征模块包括平均池层子模块、卷积子模块、RELU子模块和Sigmod子模块，其中所述细腻特征模块包含至少两个所述卷积子模块和RELU子模块，所述卷积子模块用于接收所述RELU子模块生成的数据加以计算。
具体实施方式二：本实施例除实施方式一的系统流程，提出了一种基于多尺度卷积和注意力的遥感影像去云残差神经网络方法(MSAR_DefogNet)，通过一个专用于高分辨率遥感影像去云任务的丰富度更高的数据集PRSC。MSAR_DefogNet模型中的多尺度卷积块可以提取不同尺度的特征，并融合这些特征实现高效去云。带有通道注意力机制的残差块可以提取细节特征，实现挖掘细节信息的功能。使用PRSC数据集可以增强模型的适应性和鲁棒性，有助于将模型迁移至真实场景中使用。与现有算法相比，该方法不需要显式的估计传输率等，具有更强大的学习能力，可以适应多种场景变化，具有更好图像恢复效果和更快的处理速度的同时对硬件的要求也更低。可以满足众多硬实时任务的要求，也更有利于迁移该复杂任务至嵌入式设备或移动设备中。
本实施例通过如下方法来实现，一种基于多尺度卷积和注意力的遥感影像去云残差神经网络系方法，包括：
本实施例的方法首先需要一对清晰图像和带有云噪声的遥感图像作为输入数据集。在Dataset对成对的数据进行旋转、任意位置切割等数据增强操作。增大数据集的丰富度，提高模型的训练效果。并按照3:1的比例划分训练集和验证集。
使用Dataloader将Dataset中的成对数据加载为网络的输入。
经过预训练模块，将3维信息转换成64维信息，这样可以融合不同通道间的信息，并为后续模块的处理提供了基础。
将预处理模块中得到的高维特征输入到细腻特征模块中，两个核为3的卷积操作后分别接不同的激活函数，提取出图像中更细腻的特征。后接通道注意力模块，将平均池化后的特征矩阵和原始输入特征矩阵相乘得到不同通道需要的注意力大小的矩阵。并在每个块中都使用剩余连接结构，保证在增加网络深度的同时不会造成越来越差的负面效果。
图像特征接着被输入到尺度变化范围大的多尺度卷积中，卷积核大小分别为11、9、7、7、5、3、3、3和3。每一个卷积操作后都接一个RELU激活函数，解决了许多线性模型不能解决的问题。使用0填充边界保证每个操作的输入和输出大小是一致的。不同大小的卷积核提取出的特征具有不同的感受野，将这些感受野不同的特征用剩余连接的方式连接并融合在一起，有利于帮助当前像素点去云。
网络中每层的权重参数是固定的，将该网络参数下生成的图片与数据集中的图片对比，计算损失函数，以最小化损失函数为目标反向传播不断调整参数。直到网络具有很好的恢复效果。
所述方法主要通过增加网络的感受野来获得更好的去云效果，增加感受野的方法主要有增加网络深度和扩大卷积核大小。该方法中的多尺度上下文卷积方法提取的特征粒度过大，恢复的图像中容易出现斑块。拼接细粒度的卷积，不仅可以提取出细节特征消除斑块效应，还可以增加网络深度，赋予网络更强的学习特征能力。多尺度卷积结构可以在较小的算力消耗的条件下达到较强的去云效果，新增的细粒度残差块的数量也较少，恢复效果迅速提升的同时不会造成计算时间的大幅增加。
为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明中技术方案作进一步详细的说明。
为了解决上述存在的问题，提出了一种基于多尺度卷积和注意力的遥感影像去云残差神经网络系统及方法，并且本发明提出了一个专用于高分辨率遥感影像去云任务的丰富度更高的数据集PRSC。针对传统模型视觉效果差的问题和处理时间过长计算资源消耗过多的缺陷，提出了使用融合多尺度特征并拼接带有通道注意力机制的细腻特征块的残差神经网络。配合更有效的数据集PRSC，可以又快又好的恢复出更符合人类视觉特征的清晰高分辨率遥感影像。
实现一种基于多尺度卷积和注意力的遥感影像去云残差神经网络方法的流程如图1所示，具体步骤为包括：
S101：从PRSC数据集中获取成对的高分辨率遥感图像。
S102：对成对数据做旋转等数据增强操作，并裁剪至相同大小。得到丰富度更高的数据集对。
S103：通过预处理操作，将三维特征转换成更高维的特征。
S104：将预处理操作获得的高位特征输入细腻特征块中，大小为3的卷积核可以提取出图像的细节信息。通道注意力机制可以通过计算得到的注意力权重矩阵对不同通道分配不同的注意力大小。该结构中共三个小模块，两个小模块之间用剩余连接方式连接起来。
S105：将细腻特征模块中提取出的特征再输入多尺度模块中，不同大小的卷积核具有不同大小的感受野。将不同感受野得到的抽象特征融合在一起，可以更高效地去除云噪声。
S106：在使用训练集数据的过程中，计算经过网络处理后的无云影像与数据集中对应的清晰影像两者之间的损失函数大小。反向传播调整网络参数，直到网络具有较好的恢复效果为止。在经过多次训练之后，使用验证集数据，验证PSNR和SSIM指标大小，如果可以达到比以前更好的效果就将网络权重参数更新为此时的一系列参数。
此方法的总视图如图2所示，总体数据流向也如图2所示。成对数据依次经过数据增强、维度增加、细腻特征模块、多尺度卷积模块和维度降低模块最终生成经过该网络处理的清晰图片。
细腻特征模块的具体细节如图3所示，首先使用内核大小为3的卷积来提取更多细粒度的特征。在两个卷积之间添加了RELU激活函数。添加非线性因素可以提高神经网络在模型中的表达能力，从而解决线性模型无法解决的问题。
对于通道注意力模块如图3所示，使用全局平均池层将全局空间信息转化为信道描述符。
其中Ap表示平均池操作，Fc表示原始输入信息，H、W为图像的分辨率大小，xc(i，j)表示在(i,j)位置处第c维度值的大小。最终的通道注意力矩阵
的计算方式为：
其中
代表通过通道注意模块获得的结果，C代表卷积层，σ是激活函数，Fc代表原始输入。
多尺度卷积模块如图2所示，在粗尺度的卷积块中卷积核大小分别为11、9、7，在细尺度的卷积块中卷积核大小分别为7，5，3，在均等尺度卷积块中采用3核大小为3的卷积层。代替其他复杂的上采样操作，我们选用以0填充边界来保证经过多尺度卷积后的图像大小不变，根据以下公式确定填充0的个数：
其中，Fo代表输出图像大小，Fin代表输入图像大小，p代表应填充的0的个数，k代表卷积核大小，s代表步长。
如图4展示了本实施例中提出的更有效的高分辨率遥感影像数据集PRSC和以前的数据集RICE的区别。可以看出，RICE数据集对于云的形态考虑不足，数据丰富度不足，缺乏厚度不均的云形态，地物信息过于简单不利于有效评判去云模型算法的优劣。而PRSC数据集不但保留了原始数据集中有益的形态，充分考虑了雾的多种形态，规避了RICE数据集的缺陷。
如图5所示，在RICE数据集上训练出来的网络处理薄厚不均匀的云时，仍会在受云影响严重的区域残留云噪声。不论何种去雾模型在PRSC数据集上都具有更好的表现力。
图6、表1和表2阐述了本实施例，即MSAR_DefogNet与其他先进的模型在高分辨率遥感影像的去云工作中的处理效果；可以得出实施过程中所提出的算法可以在速度和恢复效果上都取得不错的效果；
表1
表2
在这个方法中，提出了专门针对于遥感影像去云的模型MSAR_DefogNet，该网络由多尺度卷积和带有通道注意力机制的残差块组成。充分利用了由粗到细的多尺度卷积操作，用最小的内存代价，从整体到局部抓取雾图像的雾细节以及雾霾空间变化规律，完成图像的初步去雾操作。还在多尺度模块前拼接残差块提取细节特征解决斑块效应的问题。实验表明与其他网络相比该网络针对有云的高分辨率遥感图像具有更强特征提取能力，同时只需要少量的处理时间、内存开销和计算成本。另外提出了一个全新的数据集PRSC，包含云的更多形态，用该数据集训练得到的网络具有更强的自适应性和鲁棒性。
具体地，在相同内存消耗的条件下，多尺度上下文卷积方法具有更好的去除云雾噪声的效果，根据不同通道受云噪声污染严重程度的不同，注意力机制为不同通道分配了不同大小的注意力，赋予网络覆盖所有通道的能力。该方法生成的去云高分辨率遥感影像和其他方法相比更接近真实图像的成像特点，色彩偏移和误差比其他方法更小；
由于逐像素比较的L1型损失函数，不能更好的反应出两个图片之间的差距，所以我们在使用L1型损失函数的同时配有了Lp损失函数，即感知损失函数，根据预训练好的VGG-19网络中的第一、第二和第三层输出特征作为测量标准。Lp损失函数根据网络提取出的整体特征来判断两张图片之间的差距，避免了逐个像素点比较的弊端。结合这两种损失共同指导网络的训练过程可以得到更好的结果。卷积神经网络一般用逐层抽象的方式来提取目标特征，感受野是提取特征过程中很关键的概念。感受野过小只能观察到局部特征，感受野过大则会获取许多无效信息。该方法设置了合理的不同大小的卷积核来提取不同尺寸的特征，并将特征融合在一起。具体为通道注意力即通过建模通道之间的关联，增强通道间的语义响应能力。该机制可以对不同通道进行权值重标定，提高网络的学习能力。
具体地，神经网络中，具体为L1型损失函数逐像素对比该网络恢复出的图片与标准图片的差距，Lp型损失函数通过评估整体特征的异同来比对两张图片的差异大小。该方法中使用L1型损失函数和Lp型损失函数共同约束网络的训练方向，可以大大增强网络的鲁棒性
具体实施方式三：上述方法示例可根据说明书附图1所示框图进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中；上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
具体地，该系统承载于计算机，包括处理器、存储器、总线和通信设备；
所述存储器用于存储计算机执行指令，所述处理器与所述存储器通过所述总线连接，所述处理器执行所述存储器存储的所述计算机执行指令，所述的通信设备负责与外界网络连接，进行数据的收发过程；所述处理器与存储器相连，所述的存储器包括数据库软件；
所述处理器与存储器包含的若干指令用以使得个人计算机或服务器或网络设备执行本方法全部或部分步骤；所述处理器所用类型包括中央处理器、通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合；所述存储介质包括U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘。
具体地，上述软件系统部分承载于中央处理器(Central Processing Unit，CPU)，通用处理器，数字信号处理器(Digital Signal Processor，DSP)，专用集成电路(Application-Specific Integrated Circuit，ASIC)，现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明提出内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。相关人员及用户通信的通信设备则可以利用收发器、收发电路或通信接口等。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
由此可见，本发明只是对方法及系统的示例性说明，并不限定它的保护范围，本发明有许多变形和变化而不脱离本发明的精神本领域技术人员还可以对其局部进行改变，只要没有超出本专利的精神实质，都在本发明的保护范围内。
Claims (7)
1.一种基于多尺度卷积和通道注意力机制的高分辨率遥感影像去云残差神经网络方法，是基于多尺度卷积和通道注意力机制的高分辨率遥感影像去云残差神经网络系统为基础而实现的，该系统包括输入模块、数据增强模块、增维模块、细腻特征模块、多尺度卷积模块、降维模块和输出模块；上述模块为递进关系完成逻辑链接；
其中输入模块负责采集遥感影像数据；数据增强模块用于对输入模块得到的遥感影像数据增强操作提高丰富度；增维模块负责将遥感影像数据提高维度；细腻特征模块负责将裁剪遥感影像；多尺度卷积模块负责遥感影像中去除噪声；降维模块负责降低维度；输出模块用于最后输出去云影像完成基于多尺度卷积和通道注意力机制的高分辨率遥感影像去云残差神经网络系统；
细腻特征模块包括平均池层子模块、卷积子模块、RELU子模块和Sigmod子模块，其中所述细腻特征模块包含至少两个所述卷积子模块和RELU子模块，所述卷积子模块用于接收所述RELU子模块生成的数据加以计算，其特征在于：该方法的具体步骤如下：
S101，利用所述输入模块从训练数据集中获取图像数据；
S102，对成高分辨率遥感图像数据进行增强操作，并裁剪至相同大小，得到增强后的数据集对；
S103，通过所述增维模块中的预处理操作，将三维特征转换成多维信息的特征；
S104，将预处理操作获得的高维特征输入细腻特征模块中，提取出图像的细节信息；利用所述细腻特征模块，计算得出注意力权重矩阵；
S105，将所述细腻特征模块中提取出的特征再输入多尺度卷积模块中，根据不同大小的卷积核具有不同大小的感受野对权重矩阵进行卷积操作，得到无云影像；
S106，在使用训练集数据的过程中，计算步骤S103-S105处理后的无云影像与PRSC数据集中对应的清晰影像两者之间的损失函数大小；反向传播调整网络参数直到满足清晰度要求；使用验证集数据，验证PSNR和SSIM指标大小，循环训练直至达到所述指标大小，将神经网络权重参数更新为此时数据的权重参数，完成高分辨率遥感影像去云残差操作；
步骤S104细腻特征模块的具体细节为，首先使用内核大小为3的卷积来提取更多细粒度的特征；在两个卷积之间添加了RELU激活函数；
所述不同大小的卷积核以大小为3*3的卷积核为基础，所述计算权重矩阵的过程是通过通道注意力机制完成计算，并针对不同通道分配相应的注意力大小；
对于通道注意力模块为，使用全局平均池层将全局空间信息转化为信道描述符；
其中
表示平均池操作，
表示原始输入信息，H、W为图像的分辨率大小，
表示在（i,j）位置处第c维度值的大小，最终的通道注意力矩阵
的计算方式为：
其中
代表通过通道注意模块获得的结果，C代表卷积层，σ是激活函数，Fc代表原始输入。
2.根据权利要求1所述的一种基于多尺度卷积和通道注意力机制的高分辨率遥感影像去云残差神经网络方法，其特征在于：在步骤S101中，获取图像数据过程指获取成对的高分辨率遥感图像；所述的训练数据集指PRSC数据集。
3.根据权利要求2所述的一种基于多尺度卷积和通道注意力机制的高分辨率遥感影像去云残差神经网络方法，其特征在于：在步骤S102中，所述的增强操作具体指从训练数据集中读取成对高分辨率遥感图像后，进行随机翻转，通过在遥感图像任意位置进行裁剪，为指定大小的图像对增加数据集的多样性。
4.根据权利要求3所述的一种基于多尺度卷积和通道注意力机制的高分辨率遥感影像去云残差神经网络方法，其特征在于：在步骤S103中，所述的多维信息指至少64维的维度信息。
5.根据权利要求4所述的一种基于多尺度卷积和通道注意力机制的高分辨率遥感影像去云残差神经网络方法，其特征在于：所述的循环卷积过程，具体通过所述RELU子模块中应用RELU函数将非线性数据转换后的线性数据，进而进行权重矩阵卷积；由所述Sigmod子模块中的Sigmod算法将非线性数据最终转换为线性数据。
6.一种计算机设备，其特征在于：包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现权利要求1至5任一项所述的一种基于多尺度卷积和通道注意力机制的高分辨率遥感影像去云残差神经网络方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至5任一项所述的一种基于多尺度卷积和通道注意力机制的高分辨率遥感影像去云残差神经网络方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110360889.4A CN113033448B (zh) | 2021-04-02 | 2021-04-02 | 一种基于多尺度卷积和注意力的遥感影像去云残差神经网络系统、方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110360889.4A CN113033448B (zh) | 2021-04-02 | 2021-04-02 | 一种基于多尺度卷积和注意力的遥感影像去云残差神经网络系统、方法、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113033448A CN113033448A (zh) | 2021-06-25 |
| CN113033448B true CN113033448B (zh) | 2022-07-08 |
Family
ID=76454223
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110360889.4A Expired - Fee Related CN113033448B (zh) | 2021-04-02 | 2021-04-02 | 一种基于多尺度卷积和注意力的遥感影像去云残差神经网络系统、方法、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113033448B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113538280B (zh) * | 2021-07-20 | 2022-03-04 | 江苏天汇空间信息研究院有限公司 | 基于矩阵二值化的遥感影像去除彩线和残缺影像拼接方法 |
| CN113569727B (zh) * | 2021-07-27 | 2022-10-21 | 广东电网有限责任公司 | 遥感影像中施工场地的识别方法、系统、终端及介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2020100200A4 (en) * | 2020-02-08 | 2020-06-11 | Huang, Shuying DR | Content-guide Residual Network for Image Super-Resolution |
| CN111667421A (zh) * | 2020-05-25 | 2020-09-15 | 武汉大学 | 一种图像去雾方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110059582B (zh) * | 2019-03-28 | 2023-04-07 | 东南大学 | 基于多尺度注意力卷积神经网络的驾驶员行为识别方法 |
| CN110120020A (zh) * | 2019-04-30 | 2019-08-13 | 西北工业大学 | 一种基于多尺度空洞残差注意力网络的sar图像去噪方法 |
| CN110245659B (zh) * | 2019-05-21 | 2021-08-13 | 北京航空航天大学 | 基于前背景相互关系的图像显著对象分割方法及装置 |
| CN110176012B (zh) * | 2019-05-28 | 2022-12-13 | 腾讯科技（深圳）有限公司 | 图像中的目标分割方法、池化方法、装置及存储介质 |
| CN111179217A (zh) * | 2019-12-04 | 2020-05-19 | 天津大学 | 一种基于注意力机制的遥感图像多尺度目标检测方法 |
| CN111274892B (zh) * | 2020-01-14 | 2020-12-18 | 北京科技大学 | 一种鲁棒的遥感影像变化检测方法及系统 |
| CN111311518B (zh) * | 2020-03-04 | 2023-05-26 | 清华大学深圳国际研究生院 | 基于多尺度混合注意力残差网络的图像去噪方法及装置 |
| CN112070690B (zh) * | 2020-08-25 | 2023-04-25 | 西安理工大学 | 基于卷积神经网络双分支注意力生成的单幅图像去雨方法 |
-
2021
- 2021-04-02 CN CN202110360889.4A patent/CN113033448B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2020100200A4 (en) * | 2020-02-08 | 2020-06-11 | Huang, Shuying DR | Content-guide Residual Network for Image Super-Resolution |
| CN111667421A (zh) * | 2020-05-25 | 2020-09-15 | 武汉大学 | 一种图像去雾方法 |
Non-Patent Citations (3)
| Title |
|---|
| Fully Convolutional Neural Network with Augmented Atrous Spatial Pyramid Pool and Fully Connected Fusion Path for High Resolution Remote Sensing Image Segmentation;Guangsheng Chen等;《Advances in Image Processing》;20190531;1-24页 * |
| Multi-Scale Spatial and Channel-wise Attention for Improving Object Detection in Remote Sensing Imagery;Jie Chen等;《IEEE Geoscience and Remote Sensing Letters》;20190820;681-685页 * |
| 基于卷积神经网络的单幅图像去雾算法;高威;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200615;I138-635 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113033448A (zh) | 2021-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112132023B (zh) | 基于多尺度上下文增强网络的人群计数方法 | |
| CN112001914A (zh) | 深度图像补全的方法和装置 | |
| CN110599401A (zh) | 遥感图像超分辨率重建方法、处理装置及可读存储介质 | |
| CN111079764B (zh) | 一种基于深度学习的低照度车牌图像识别方法及装置 | |
| WO2021248859A1 (zh) | 视频分类方法、装置、设备及计算机可读存储介质 | |
| CN110473137A (zh) | 图像处理方法和装置 | |
| CN113033448B (zh) | 一种基于多尺度卷积和注意力的遥感影像去云残差神经网络系统、方法、设备及存储介质 | |
| CN110765860A (zh) | 摔倒判定方法、装置、计算机设备及存储介质 | |
| CN111340077B (zh) | 基于注意力机制的视差图获取方法和装置 | |
| CN110689599A (zh) | 基于非局部增强的生成对抗网络的3d视觉显著性预测方法 | |
| CN111860398A (zh) | 遥感图像目标检测方法、系统及终端设备 | |
| CN112001931A (zh) | 图像分割方法、装置、设备及存储介质 | |
| CN114140346A (zh) | 一种图像处理方法及装置 | |
| CN116580257A (zh) | 特征融合模型训练及样本检索方法、装置和计算机设备 | |
| CN114170311A (zh) | 一种双目立体匹配方法 | |
| CN112672168A (zh) | 基于图卷积的点云压缩方法及装置 | |
| Niu et al. | Machine learning-based framework for saliency detection in distorted images | |
| CN112329808A (zh) | 一种Deeplab语义分割算法的优化方法及系统 | |
| CN110163095B (zh) | 回环检测方法、回环检测装置及终端设备 | |
| CN114049491A (zh) | 指纹分割模型训练、指纹分割方法、装置、设备及介质 | |
| CN116523888B (zh) | 路面裂缝的检测方法、装置、设备及介质 | |
| CN112614110A (zh) | 评估图像质量的方法、装置及终端设备 | |
| Chen et al. | Face recognition with masks based on spatial fine-grained frequency domain broadening | |
| CN113610856A (zh) | 训练图像分割模型和图像分割的方法和装置 | |
| WO2020042070A1 (zh) | 提升高光谱图像分类精度的方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220708 |