CN113962889A - 遥感图像的薄云去除方法、装置、设备及介质 - Google Patents
遥感图像的薄云去除方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN113962889A CN113962889A CN202111230111.8A CN202111230111A CN113962889A CN 113962889 A CN113962889 A CN 113962889A CN 202111230111 A CN202111230111 A CN 202111230111A CN 113962889 A CN113962889 A CN 113962889A
- Authority
- CN
- China
- Prior art keywords
- residual
- channel attention
- remote sensing
- residual error
- sensing image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 50
- 230000007246 mechanism Effects 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000012360 testing method Methods 0.000 claims abstract description 23
- 230000006870 function Effects 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 9
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 238000007670 refining Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 22
- 238000004590 computer program Methods 0.000 description 10
- 239000000203 mixture Substances 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000010276 construction Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 3
- 108010001267 Protein Subunits Proteins 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000280 densification Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本公开提供一种遥感图像的薄云去除方法，包括：获取遥感图像数据集，对遥感图像数据集进行处理，得到训练集与测试集；将通道注意力机制与残差机制进行融合，构建残差通道注意力块，将多个残差通道注意力块串联，得到残差组，其中，残差通道注意力块的输入端与输出端残差连接，残差组的输入端与输出端残差连接；根据残差组构建残差通道注意力网络，其中，残差通道注意力网络的编码端及解码端由多个残差组构成对称级联的网络结构；将训练集输入残差通道注意力网络进行训练，以使残差通道注意力网络对遥感图像中的各个特征进行学习，得到训练好的残差通道注意力网络；将测试集输入训练好的残差通道注意力网络，以去除测试集包含的遥感图像中的薄云。
Description
技术领域
本公开涉及遥感图像处理领域，尤其涉及一种遥感图像的薄云去除方法、装置、设备及介质。
背景技术
早期的薄云去除方法主要关注于图像的一部分特征信息，例如基于频率特征的方法采用高通滤波器抑制低频中的云层信息，主要包括：同态滤波法，Retinex增强法和小波变换法；基于空间特征的方法包括：直方图匹配法，最大化局部对比度法和基于暗通道先验的方法；基于光谱特征的方法主要利用云在不同光谱波段中的响应差异，以及薄云与地物特征之间的光谱响应差异，将薄云与地物信息进行区分，从而移除薄云，常见的方法包括：雾度优化变换法和基于辐射传输模型的方法。这些薄云去除方法存在特征表达不足的瓶颈，极大地降低了算法在多类地表覆盖、纹理丰富等复杂场景下的性能。
随着技术的发展，基于深度学习的薄云去除方法应运而生。例如，基于U-Net的卷积神经网络，主要通过编码器提取并凝练输入薄云图的空间特征，然后通过解码器逐步将特征图恢复到原始分辨率大小，从而完成图像的薄云去除。然而，这种方式存在如下问题：首先，缺乏考虑特征通道的重要程度，对于同一张输入图像，不同的特征通道涵盖不同的信息，例如描述低频特征的通道主要包含颜色和云层信息，描述高频特征的通道主要涵盖边缘和轮廓信息；其次，随着编码端重复的下采样和网络层数的加深，容易破坏和丢失图像的细节信息；此外，单一的保真度损失函数逐像素地计算两幅图像之间的差异，不足以表达人类视觉系统对两幅图相似性的判断，极大地限制了恢复无云图的质量提升。如何解决以上问题成为了基于深度学习的薄云去除任务的技术难点。
公开内容
基于此，本公开一方面提供一种遥感图像的薄云去除方法，包括：获取遥感图像数据集，对所述遥感图像数据集进行处理，得到训练集与测试集；将通道注意力机制与残差机制进行融合，构建残差通道注意力块，将多个所述残差通道注意力块串联，得到残差组，其中，所述残差通道注意力块的输入端与输出端残差连接，所述残差组的输入端与输出端残差连接；根据所述残差组构建残差通道注意力网络，其中，所述残差通道注意力网络的编码端及解码端由多个所述残差组构成对称级联的网络结构；将所述训练集输入所述残差通道注意力网络进行训练，以使所述残差通道注意力网络对遥感图像中的各个特征进行学习，得到训练好的残差通道注意力网络；将所述测试集输入所述训练好的残差通道注意力网络，以去除所述测试集包含的遥感图像中的薄云。
根据本公开的实施例，其中，所述将所述训练集输入所述残差通道注意力网络进行训练包括：以所述遥感图像的保真度损失、颜色损失、梯度损失以及结构相似度损失的加权作为所述残差通道注意力网络的损失函数进行训练。
根据本公开的实施例，其中，将通道注意力机制与残差机制进行融合，构建残差通道注意力块包括：将卷积层与激活层连接，得到残差块，所述残差块用于学习输入特征与输出特征之间的残差；在残差块的输出端引入通道注意力机制，以对输入特征图进行通道注意力机制的运算，进一步调整输入特征与输出特征之间的残差。根据本公开的实施例，其中，所述对输入特征图进行通道注意力机制的运算包括：针对于输入每个通道的特征图，通过全局平均池化操作聚合特征图的全局空间特征；将所有通道压缩成预设数量的通道，以实现各通道提取的全局空间特征的凝练；利用卷积操作将压缩后的通道扩张回原始数量的通道，以学习各通道的全局空间特征的重要程度，得到各通道对应的权重；将每个通道对应的输入特征图与对应的权重进行乘法运算。
根据本公开的实施例，其中，将所述训练集输入所述残差通道注意力网络进行训练包括：对所述遥感图像数据集进行处理，得到验证集；采用Adam训练策略训练所述残差通道注意力网络，每完成预设次数的完整训练，保存一次残差通道注意力网络；将验证集输入当前的残差通道注意力网络，以输出去云遥感图像，并计算所述去云遥感图像与参考无云遥感图像之间的均方损失；当均方损失小于预设值时，将当前的残差通道注意力网络作为所述训练好的残差通道注意力网络。
根据本公开的实施例，其中，所述对所述遥感图像数据集进行处理包括：将所述遥感图像数据集裁剪至预设尺寸的图像；对所述图像进行数据扩充处理；对扩充后的图像的像素值进行归一化。
根据本公开的实施例，其中，所述对所述图像进行数据扩充处理包括：采用水平翻转、垂直翻转、旋转中的至少之一对所述图像进行数据扩充处理。
本公开实施例另一方面还提供一种遥感图像的薄云去除装置，包括：预处理模块，用于获取遥感图像数据集，对所述遥感图像数据集进行处理，得到训练集与测试集；第一构建模块，用于将通道注意力机制与残差机制进行融合，构建残差通道注意力块，将多个所述残差通道注意力块串联，得到残差组，其中，所述残差通道注意力块的输入端与输出端残差连接，所述残差组的输入端与输出端残差连接；第二构建模块，用于根据所述残差组构建残差通道注意力网络，其中，所述残差通道注意力网络的编码端及解码端由多个所述残差组构成对称级联的网络结构；训练模块，用于将所述训练集输入所述残差通道注意力网络进行训练，以使所述残差通道注意力网络对遥感图像中的各个特征进行学习，得到训练好的残差通道注意力网络；处理模块，用于将所述测试集输入所述训练好的残差通道注意力网络，以去除所述测试集包含的遥感图像中的薄云。
本公开另一方面还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述所述的方法。
本公开另一方面还提供一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现上述所述的方法。
附图说明
通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了本公开实施例提供的遥感图像的薄云去除方法流程图。
图2示意性示出了本公开实施例提供的通道注意力机制的结构组成示意图。
图3示意性示出了本公开实施例提供的残差通道注意力块的结构组成示意图。
图4示意性示出了本公开实施例提供的残差组的结构组成示意图。
图5示意性示出了本公开实施例提供的残差通道注意力网络的结构组成示意图。
图6示意性示出了本公开实施例提供的遥感图像的薄云去除装置的结构框图。
图7示意性示出了根据本公开实施例的适于实现上文描述的方法的电子设备的框图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在本公开中，除非另有明确的规定和限定，术语“安装”、“相连”“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接或可以互相通讯；可以是直接连接，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本公开中的具体含义。
在本公开的描述中，需要理解的是，术语“纵向”、“长度”、“周向”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本公开和简化描述，而不是指示或暗示所指的子系统或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本公开的限制。
贯穿附图，相同的元素由相同或相近的附图标记来表示。可能导致本公开的理解造成混淆时，将省略常规结构或构造。并且图中各部件的形状、尺寸、位置关系不反映真实大小、比例和实际位置关系。另外，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。
类似地，为了精简本公开并帮助理解各个公开方面中的一个或多个，在上面对本公开示例性实施例的描述中，本公开的各个特征有时被一起分到单个实施例、图或者对其描述中。参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或者多个实施例或示例中以合适的方式结合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。因此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个、三个等，除非另有明确具体的限定。
针对于现有技术的不足，本公开提供一种基于残差通道注意力网络的遥感图像薄云去除方法，该方法对不同地物类型的薄云图具有良好的云去除效果，同时也可以保留更多的地物纹理和细节。此外，还引入了同时关注于图像颜色和结构的损失函数，将颜色基调和轮廓边缘同时作为网络优化的目标，进一步改善了场景恢复的效果。
图1示意性示出了本公开实施例提供的遥感图像的薄云去除方法流程图。
如图1所示，该薄云去除方法例如可以包括操作S101～操作S105。
在操作S101，获取遥感图像数据集，对遥感图像数据集进行处理，得到训练集与测试集。
在本公开实施例中，将采集的遥感图像数据集无重叠地裁剪成固定尺寸的子图，对子图进行数据扩充和归一化操作，然后随机选取一定比例的图像作为训练集、验证集和测试集。在本公开一具体的示例中，训练集、验证集和测试集对应选取的比例为800∶140∶140。
在本公开实施例中，对图像进行数据扩充处理例如可以包括水平、垂直翻转和旋转(90度、180度、270度)以及这些操作的任意组合。之后将图像的像素值归一化到0～1范围内，接着通过公式(1)将取值限定在更小的范围内：
其中，Iori表示归一化到0～1范围内的图像像素值，Imin和Imax分别表示归一化到0～1范围内的最小和最大像素值。
在操作S102，将通道注意力机制与残差机制进行融合，构建残差通道注意力块，将多个残差通道注意力块串联，得到残差组，其中，残差通道注意力块的输入端与输出端残差连接，残差组的输入端与输出端残差连接。
在本公开实施例中，将通道注意力机制与残差机制进行融合，构建残差通道注意力块包括将卷积层与激活层连接，得到残差块，该残差块用于学习输入特征与输出特征之间的残差。在残差块的输出端引入通道注意力机制，以对输入特征图进行通道注意力机制的运算，进一步调整输入特征与输出特征之间的残差。下面结合附图进行详细介绍。
图2示意性示出了本公开实施例提供的通道注意力机制的结构组成示意图。
如图2所示，输入特征图进行通道注意力机制的运算包括：
首先，针对于输入每个通道的特征图，通过全局平均池化操作聚合特征图的全局空间特征，也即将尺寸为H×W的特征图降采样为1×1大小，数学表达如式(2)所示：
其中，xk(i，j)为第k个特征xk在点(i，j)处的像素值，HGP(·)表示全局平均池函数。
接下来，将所有通道压缩成预设数量的通道，以实现各通道提取的全局空间特征的凝练。例如，将c个通道压缩成c/r个通道，实现各通道特征的凝练，其中r表示通道的缩小倍数。
接下来，利用卷积操作将压缩后的通道扩张回原始数量的通道，以学习各通道的全局空间特征的重要程度，得到各通道对应的权重。具体的，利用卷积操作把压缩后的通道扩张回原始数量c，完成对各通道特征的重要程度的学习，从而提高重要特征的权重，降低次要特征的权重，通过式(3)可以得到各通道的权重系数：
s＝f(WUδ(WDz)) (3)
其中，f(·)和δ(·)分别表示Sigmoid激活函数和ReLU激活函数，WD为通道压缩操作，WU为通道扩张操作。
最后，将每个通道对应的输入特征图与对应的权重进行乘法运算。具体的，将输入特征图xk链接到输出端，与其对应的第k个通道的权重系数sk相乘，从而实现特征图xk重要程度的调整，如公式(4)所示：
图3示意性示出了本公开实施例提供的残差通道注意力块的结构组成示意图。
如图3所示，残差通道注意力块通过对输入特征图实施卷积、激活、卷积和通道注意力机制的运算，学习并进一步调整输入到输出特征图的残差，从而完成网络对薄云分量的去除，然后将输入特征与最终得到的残差相加，以此保留大部分的地表信息。
残差通道注意力块利用特征通道之间的相互依赖关系，充分表达输入特征和输出特征之间的残差，并添加从输入特征图到输出特征图的局部残差连接，从而提升了恢复无云图的质量。残差通道注意力块的数学表达如式(5)所示：
Fi＝Hi(Fi-1)＝Fi-1+Ci(Xi)·Xi(5)
其中，Hi代表第i个残差通道注意力块的运算，Fi-1和Fi分别表示第i个残差通道注意力块的输入和输出，Xi表示从第i个残差通道注意力块中学习到的残差，Ci对应第i个残差通道注意力块中通道注意力机制的操作。在经过通道注意力机制的运算之前，残差Xi首先由两个卷积层和一个ReLU激活函数层学习得到，对应的数学表示式如下所示：
Xi＝Wi 2δ(Wi 1Fi-1) (6)
其中，Wi 1和Wi 2分别表示第i个残差通道注意力块中第一个卷积层和第二个卷积层的权重。
图4示意性示出了本公开实施例提供的残差组的结构组成示意图。
如图4所示，在得到残差注意力块之后，将多个残差通道注意力块堆叠，得到一个残差组，在本公开一具体示例中，每个残差组包含5个残差通道注意力块，且每个卷积核大小设置为3×3。实验结果发现，通过添加从输入端到输出端的残差连接来改善恢复效果，残差组的数学表达如式(7)所示：
其中，Gj-1和Gj分别对应第j个残差组的输入和输出，Wj表示第j个残差组尾部的卷积操作，Fj·p表示第j个残差组里第ρ个残差通道注意力块的输出，Hj，p代表第j个残差组里第p个残差通道注意力块的运算，其他表示以此类推。
在操作S103，根据残差组构建残差通道注意力网络，其中，残差通道注意力网络的编码端及解码端由多个残差组构成对称级联的网络结构。
图5示意性示出了本公开实施例提供的残差通道注意力网络的结构组成示意图。
如图5所示，对于整体的残差通道注意力网络，以残差组为基本模块，同时取消了下采样和上采样操作，构建编码端多个残差组与解码端多个残差组彼此对称级联的网络结构，以保留地表中更多的细节信息，多个残差组堆叠而成的编解码网络的数学表达如式(8)和式(9)所示：
编码端：
Gj＝Rj(Gj-1) (8)
其中，Rj表示第j个残差组的运算，Gj-1和Gj分别对应其输入和输出的特征图。
解码端：
Gj＝Rj(T(Gj-1，Gn-j+1)) (9)
其中，n表示网络中残差组的总个数，T表示特征图的级联操作，Gj-1和Gn-j+1是位置对应的两组特征图，它们分别位于编码端和解码端。
通过综合考虑训练的时间和内存的消耗，在本公开一实施例中，共采用7个残差组，其中3个位于编码端，3个位于解码端，1个用于完成编码端到解码端的转换。该设计能够既能保证神经网络的深度，又能达到较好的薄云去除和地表恢复效果。
在操作S104，将训练集输入残差通道注意力网络进行训练，以使残差通道注意力网络对遥感图像中的各个特征进行学习，得到训练好的残差通道注意力网络。
在本公开实施例中，以遥感图像的保真度损失、颜色损失、梯度损失以及结构相似度损失的加权作为残差通道注意力网络的损失函数进行训练。
L1保真度损失如式(10)所示，适合于图像复原任务，一定程度上可以降低图像的模糊程度。公式(11-13)给出了颜色损失的定义，使用一个高斯模糊平滑输入和输出图像的高频细节，然后计算平滑后两幅图像的L2距离，使得网络着重关注于两幅图像之间的颜色差异。为了加强网络对图像中地物轮廓和边缘的恢复，引入梯度损失，具体的数学表达如式(14)所示，保证了输出图像的清晰程度和灰度变化的层次感。此外，公式(15)给出的结构相似度损失从亮度、对比度和结构三方面衡量了输出无云图和真实无云图之间的差异性。最终的损失函数如式(16)所示，纠正颜色偏差的同时增强了输出无云图的边缘和纹理细节。
L1保真度损失的表达式为：
L1(X，Y)＝||X-Y||1 (10)
其中，X和Y一个表示待恢复的图像，另一个表示实际参考的图像。
颜色损失定义为：
其中，Xb和Yb分别表示图像X和Y经模糊操作后的结果，具体地，模糊操作对应的数学式子如下：
其中，G(k，l)表示点(k，l)处的高斯模糊操作，具体实现如下：
其中，μx和μy分别表示水平和垂直方向上的灰度均值，σx和σy分别表示水平和垂直方向上的标准差。
梯度损失表示成：
其中，
代表一阶导数运算符，包含水平方向和垂直方向，分别表示为
和
SSIM损失的具体表达式如下：
其中，μX和
分别表示待恢复图像的平均灰度和方差，μY和
分别表示参考图像的平均灰度和方差，σXY代表两个图像之间的协方差，c1和c2分别设置为常数，作用是稳定计算。
最终，网络的总体损失函数如式(16)所示，L1保真度损失、颜色损失、梯度损失和结构相似度损失的权重系数分别为λ1，λ2，λ3和λ4，在本实施例中全部取值为1。
Ltotal＝λ1L1+λ2Lcolor+λ3Lgrad+λ4Lssim (16)
在本公开实施例中，采用Adam训练策略训练残差通道注意力网络，每完成预设次数的完整训练，保存一次残差通道注意力网络。例如，初始学习率为0.0001，每完成20个epoch的迭代保存一次网络模型。将验证集输入当前的残差通道注意力网络，以输出去云遥感图像，并计算去云遥感图像与参考无云遥感图像之间的均方损失。当均方损失小于预设值时，将当前的残差通道注意力网络作为训练好的残差通道注意力网络。
在操作S105，将测试集输入训练好的残差通道注意力网络，以去除测试集包含的遥感图像中的薄云。
根据本公开实施例提供的遥感图像的薄云去除方法，采用通道注意力机制可以提升特征图中有用信息的权重，降低无用信息的权重，有效提高网络对重要特征的表达和学习能力，将通道注意力机制整合到残差块中，能有效地学习到各级特征之间的差异，从而提高薄云去除的效果。以多个残差通道注意力块组合而成的残差组为基本模块，构建编码端与解码端的特征图彼此对称级联的网络结构，一方面，有效防止了由于网络加深带来的梯度消失、爆炸以及过拟合等情况，另一方面，将低层的上下文特征和高层的语义特征一起用于无云图的恢复，从而保证恢复无云图的精细程度。此外，加权累加保真度损失、颜色损失、梯度损失和结构相似度损失，最终的损失函数可以实现恢复无云图在颜色基调、边缘轮廓和纹理细节上接近于参考无云图，从而提升了恢复无云图的视觉效果。
应当理解，本公开不局限于上述的具体实施方式，在不冲突的情况下，可以对前述实施例中的基本模块进行修改或等同替换以得到新的实施例，例如：可以构建新的残差组，将通道注意力机制替换成其他有效的注意力机制。本领域的技术人员在本公开的启示下，根据实际应用需求做出的多种形式的调整，均属于本公开的保护范围之内。
图6示意性示出了本公开实施例提供的遥感图像的薄云去除装置的结构框图。
如图6所示，该遥感图像的薄云去除装置600例如可以包括预处理模块610、第一构建模块620、第二构建模块630、训练模块640及处理模块650。
预处理模块610，用于获取遥感图像数据集，对遥感图像数据集进行处理，得到训练集与测试集。
第一构建模块620，用于将通道注意力机制与残差机制进行融合，构建残差通道注意力块，将多个残差通道注意力块串联，得到残差组，其中，残差通道注意力块的输入端与输出端残差连接，残差组的输入端与输出端残差连接。
第二构建模块630，用于根据残差组构建残差通道注意力网络，其中，残差通道注意力网络的编码端及解码端由多个残差组构成对称级联的网络结构。
训练模块640，用于将训练集输入残差通道注意力网络进行训练，以使残差通道注意力网络对遥感图像中的各个特征进行学习，得到训练好的残差通道注意力网络。
处理模块650，用于将测试集输入训练好的残差通道注意力网络，以去除测试集包含的遥感图像中的薄云。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
例如，预处理模块610、第一构建模块620、第二构建模块630、训练模块640及处理模块650中的任意多个可以合并在一个模块/单元/子单元中实现，或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者，这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合，并在一个模块/单元/子单元中实现。根据本公开的实施例，预处理模块610、第一构建模块620、第二构建模块630、训练模块640及处理模块650中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，预处理模块610、第一构建模块620、第二构建模块630、训练模块640及处理模块650中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
需要说明的是，本公开的实施例中信号处理装置部分与本公开的实施例中信号处理方法部分是相对应的，其具体实施细节也是相同的，在此不再赘述。
图7示意性示出了根据本公开实施例的适于实现上文描述的方法的电子设备的框图。图7示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示，根据本公开实施例的电子设备700包括处理器701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分707加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。处理器701例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器701还可以包括用于缓存用途的板载存储器。处理器701可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 703中，存储有电子设备700操作所需的各种程序和数据。处理器701、ROM702以及RAM703通过总线704彼此相连。处理器701通过执行ROM 702和/或RAM703中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM702和RAM 703以外的一个或多个存储器中。处理器701也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例，电子设备700还可以包括输入/输出(I/O)接口705，输入/输出(I/O)接口705也连接至总线704。电子设备700还可以包括连接至I/O接口705的以下部件中的一项或多项：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被处理器701执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM702和/或RAM 703和/或ROM 702和RAM 703以外的一个或多个存储器。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
Claims (10)
1.一种遥感图像的薄云去除方法，包括：
获取遥感图像数据集，对所述遥感图像数据集进行处理，得到训练集与测试集；
将通道注意力机制与残差机制进行融合，构建残差通道注意力块，将多个所述残差通道注意力块串联，得到残差组，其中，所述残差通道注意力块的输入端与输出端残差连接，所述残差组的输入端与输出端残差连接；
根据所述残差组构建残差通道注意力网络，其中，所述残差通道注意力网络的编码端及解码端由多个所述残差组构成对称级联的网络结构；
将所述训练集输入所述残差通道注意力网络进行训练，以使所述残差通道注意力网络对遥感图像中的各个特征进行学习，得到训练好的残差通道注意力网络；
将所述测试集输入所述训练好的残差通道注意力网络，以去除所述测试集包含的遥感图像中的薄云。
2.根据权利要求1所述的遥感图像的薄云去除方法，其中，所述将所述训练集输入所述残差通道注意力网络进行训练包括：
以所述遥感图像的保真度损失、颜色损失、梯度损失以及结构相似度损失的加权作为所述残差通道注意力网络的损失函数进行训练。
3.根据权利要求1所述的遥感图像的薄云去除方法，其中，将通道注意力机制与残差机制进行融合，构建残差通道注意力块包括：
将卷积层与激活层连接，得到残差块，所述残差块用于学习输入特征与输出特征之间的残差；
在残差块的输出端引入通道注意力机制，以对特征图进行通道注意力机制的运算，进一步调整输入特征与输出特征之间的残差。
4.根据权利要求3所述的遥感图像的薄云去除方法，其中，所述对特征图进行通道注意力机制的运算包括：
针对于每个通道的输入特征图，通过全局平均池化操作聚合特征图的全局空间特征；
利用卷积操作将所有通道压缩成预设数量的通道，以实现各通道提取的全局空间特征的凝练；
利用卷积操作将压缩后的通道扩张回原始数量的通道，以学习各通道的全局空间特征的重要程度，得到各通道对应的权重；
将每个通道对应的输入特征图与对应的权重进行乘法运算。
5.根据权利要求1所述的遥感图像的薄云去除方法，其中，所述将所述训练集输入所述残差通道注意力网络进行训练包括：
对所述遥感图像数据集进行处理，得到验证集；
采用Adam训练策略训练所述残差通道注意力网络，每完成预设次数的完整训练，保存一次残差通道注意力网络；
将验证集输入当前的残差通道注意力网络，以输出去云遥感图像，并计算所述去云遥感图像与参考无云遥感图像之间的均方损失；
当均方损失小于预设值时，将当前的残差通道注意力网络作为所述训练好的残差通道注意力网络。
6.根据权利要求1所述的遥感图像的薄云去除方法，其中，所述对所述遥感图像数据集进行处理包括：
将所述遥感图像数据集裁剪至预设尺寸的图像；
对所述图像进行数据扩充处理；
对扩充后的图像的像素值进行归一化。
7.根据权利要求1所述的遥感图像的薄云去除方法，其中，所述对所述图像进行数据扩充处理包括：
采用水平翻转、垂直翻转、旋转中的至少之一对所述图像进行数据扩充处理。
8.一种遥感图像的薄云去除装置，包括：
预处理模块，用于获取遥感图像数据集，对所述遥感图像数据集进行处理，得到训练集与测试集；
第一构建模块，用于将通道注意力机制与残差机制进行融合，构建残差通道注意力块，将多个所述残差通道注意力块串联，得到残差组，其中，所述残差通道注意力块的输入端与输出端残差连接，所述残差组的输入端与输出端残差连接；
第二构建模块，用于根据所述残差组构建残差通道注意力网络，其中，所述残差通道注意力网络的编码端及解码端由多个所述残差组构成对称级联的网络结构；
训练模块，用于将所述训练集输入所述残差通道注意力网络进行训练，以使所述残差通道注意力网络对遥感图像中的各个特征进行学习，得到训练好的残差通道注意力网络；
处理模块，用于将所述测试集输入所述训练好的残差通道注意力网络，以去除所述测试集包含的遥感图像中的薄云。
9.一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111230111.8A CN113962889A (zh) | 2021-10-21 | 2021-10-21 | 遥感图像的薄云去除方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111230111.8A CN113962889A (zh) | 2021-10-21 | 2021-10-21 | 遥感图像的薄云去除方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113962889A true CN113962889A (zh) | 2022-01-21 |
Family
ID=79465962
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111230111.8A Pending CN113962889A (zh) | 2021-10-21 | 2021-10-21 | 遥感图像的薄云去除方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113962889A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114861718A (zh) * | 2022-04-29 | 2022-08-05 | 合肥工业大学 | 基于改进深度残差算法的轴承故障诊断方法及系统 |
| CN115546076A (zh) * | 2022-12-05 | 2022-12-30 | 耕宇牧星(北京)空间科技有限公司 | 一种基于卷积网络的遥感图像薄云去除方法 |
-
2021
- 2021-10-21 CN CN202111230111.8A patent/CN113962889A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114861718A (zh) * | 2022-04-29 | 2022-08-05 | 合肥工业大学 | 基于改进深度残差算法的轴承故障诊断方法及系统 |
| CN114861718B (zh) * | 2022-04-29 | 2024-06-14 | 合肥工业大学 | 基于改进深度残差算法的轴承故障诊断方法及系统 |
| CN115546076A (zh) * | 2022-12-05 | 2022-12-30 | 耕宇牧星(北京)空间科技有限公司 | 一种基于卷积网络的遥感图像薄云去除方法 |
| CN115546076B (zh) * | 2022-12-05 | 2023-04-07 | 耕宇牧星(北京)空间科技有限公司 | 一种基于卷积网络的遥感图像薄云去除方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112233038B (zh) | 基于多尺度融合及边缘增强的真实图像去噪方法 | |
| CN109389556B (zh) | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 | |
| CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 | |
| CN108830796B (zh) | 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法 | |
| CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
| CN110599401A (zh) | 遥感图像超分辨率重建方法、处理装置及可读存储介质 | |
| CN117078943B (zh) | 融合多尺度特征和双注意力机制的遥感影像道路分割方法 | |
| CN113962889A (zh) | 遥感图像的薄云去除方法、装置、设备及介质 | |
| CN110136075B (zh) | 一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法 | |
| CN114936605A (zh) | 基于知识蒸馏的神经网络训练方法、设备及存储介质 | |
| CN111179196B (zh) | 一种基于分而治之的多分辨率深度网络图像去高光方法 | |
| CN113066025B (zh) | 一种基于增量学习与特征、注意力传递的图像去雾方法 | |
| CN115293992B (zh) | 基于无监督权重深度模型的偏振图像去雾方法及装置 | |
| CN115063318A (zh) | 自适应频率分解的低光照图像增强方法与相关设备 | |
| CN114170438A (zh) | 神经网络训练的方法、电子设备及计算机存储介质 | |
| CN115829942A (zh) | 基于非负性约束稀疏自编码器的电子电路缺陷检测方法 | |
| CN116563101A (zh) | 一种基于频域残差的无人机图像盲超分辨率重建方法 | |
| CN116309612B (zh) | 基于频率解耦监督的半导体硅晶圆检测方法、装置及介质 | |
| CN112734675A (zh) | 一种基于金字塔模型和非局部增强密集块的图像去雨方法 | |
| CN117078553A (zh) | 一种基于多尺度深度学习的图像去雾方法 | |
| CN117315336A (zh) | 花粉颗粒识别方法、装置、电子设备及存储介质 | |
| CN115620120B (zh) | 街景图像多尺度高维特征构建量化方法、设备及存储介质 | |
| CN114648467B (zh) | 图像的去雾方法、装置、终端设备及计算机可读存储介质 | |
| CN116703750A (zh) | 基于边缘注意力和多阶微分损失的图像去雾方法及系统 | |
| CN115937302A (zh) | 结合边缘保持的高光谱图像亚像元定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |