CN114140357B - 一种基于协同注意力机制的多时相遥感图像云区重建方法 - Google Patents
一种基于协同注意力机制的多时相遥感图像云区重建方法 Download PDFInfo
- Publication number
- CN114140357B CN114140357B CN202111462313.5A CN202111462313A CN114140357B CN 114140357 B CN114140357 B CN 114140357B CN 202111462313 A CN202111462313 A CN 202111462313A CN 114140357 B CN114140357 B CN 114140357B
- Authority
- CN
- China
- Prior art keywords
- layer
- image
- cloud
- feature map
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000007246 mechanism Effects 0.000 title claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 17
- 230000004927 fusion Effects 0.000 claims description 52
- 238000010586 diagram Methods 0.000 claims description 38
- 230000004913 activation Effects 0.000 claims description 19
- 230000009466 transformation Effects 0.000 claims description 17
- 230000009191 jumping Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
Abstract
一种基于协同注意力机制的多时相遥感图像云区重建方法，涉及遥感图像处理技术领域，针对现有技术中图像修复法大多是基于背景信息进行像素预测生成，无法准确地还原地貌特征和地物信息的问题，本申请设计了一个具有门控卷积的协同注意层，能够提取和融合关键特征。门控卷积考虑了云和干净像素之间的差异。从而可以使得生成的无云图像分辨率更高，更加接近Ground Truth图像。此外，通过U型结构中的跳转连接和L1损失函数对模型进行优化，一方面跳转结构通过共享低级信息减少了模型的运算量，提升了模型训练的速度，另一方面由于L1损失可以更好地捕捉遥感图像中的低频信息，有助于提高云重建模型的准确度。
Description
技术领域
本发明涉及遥感图像处理技术领域，具体为一种基于协同注意力机制的多时相遥感图像云区重建方法。
背景技术
遥感技术作为一种空间探测技术，具有探测范围广、获取资料快和受地理条件限制少等优点，广泛应用于气象观测、资源考察和军事侦察等领域。但是遥感图像在获取中经常存在图像被云覆盖所导致的地物信息缺失问题。在利用航空遥感手段获取地球空间信息的过程中，云不可避免地影响了遥感设备的使用效率和成像质量，并且占用了系统的传输带宽和存储空间，严重浪费了信道和地面资源。因此，遥感图像中云的存在成为了光学遥感技术进一步发展的严重桎梏。
近年来，基于多时相的云区重建技术得到了迅速发展，但是目前存在的云区重建框架普遍效率较低，无法准确地重建像素点，导致生成的图像精度不够。因此，开展对遥感图像进行云检测以及云区重建技术的研究，不仅是对卫星遥感图像进行准确翻译的基础，也是增强卫星遥感数据可用性、有效性的一个重要途径，具有十分重要的实际意义。
针对遥感影像中云层覆盖导致地物信息缺失的问题，国内外的学者和研究人员提出了大量的关于云区重建的算法。基于图像修复法是最开始被提出的云区重建算法，也是目前应用最为广泛的方法。然而，图像修复法大多是基于背景信息进行像素预测生成，无法准确地还原地貌特征和地物信息，并且普遍存在着重建精度不够的问题。
发明内容
本发明的目的是：针对现有技术中图像修复法大多是基于背景信息进行像素预测生成，无法准确地还原地貌特征和地物信息的问题，提出一种基于协同注意力机制的多时相遥感图像云区重建方法。
本发明为了解决上述技术问题采取的技术方案是：
一种基于协同注意力机制的多时相遥感图像云区重建方法，包括以下步骤：
步骤一：获取多时相卫星图像数据，所述多时相卫星图像数据包括四张同一地点图，四张同一地点图中含有一张无云图像以及三张不同时刻的有云图像；
步骤二：将无云图像和有云图像进行配准，然后将配准后的每张图像分割成大小相同的图像块集合，分别将同一位置的三张有云图像及一张无云图像组成训练样本对；
步骤三：利用训练样本对训练多时相协同注意力网络，所述多时相协同注意力网络为U型结构，所述多时相协同注意力网络包括五个编码模块和四个解码模块，所述编码模块包括协同注意层和2×2MaxPool层，所述协同注意层包括门控卷积层和卷积层，所述解码模块包括反卷积层、连接层、卷积层和激活层，
所述多时相协同注意力网络具体执行如下步骤：
输入图像通过第一个编码模块中协同注意层编码后得到门控特征图和融合特征图，所述门控特征图经过MaxPool层进行线性变换，得到长和宽缩小二分之一的特征图，并将长和宽缩小二分之一的特征图作为第二个编码模块的输入，所述融合特征图通过跳跃连接到第四个解码模块的连接层中，
第二个编码模块通过协同注意层将输入进行编码，得到门控特征图和融合特征图，所述门控特征图经过MaxPool层进行线性变换，得到长和宽缩小二分之一的特征图，并将长和宽缩小二分之一的特征图作为第三个编码模块的输入，所述融合特征图通过跳跃连接到第三个解码模块的连接层中，
第三个编码模块通过协同注意层将输入进行编码，得到门控特征图和融合特征图，所述门控特征图经过MaxPool层进行线性变换，得到长和宽缩小二分之一的特征图，并将长和宽缩小二分之一的特征图作为第四个编码模块的输入，所述融合特征图通过跳跃连接到第二个解码模块的连接层中
第四个编码模块通过协同注意层将输入进行编码，得到门控特征图和融合特征图，所述门控特征图经过MaxPool层进行线性变换，得到长和宽缩小二分之一的特征图，并将长和宽缩小二分之一的特征图作为第五个编码模块的输入，所述融合特征图通过跳跃连接到第一个解码模块的连接层中
第五个编码模块通过协同注意层将输入进行编码，得到门控特征图，所述门控特征图经过MaxPool层进行线性变换，得到长和宽缩小二分之一的特征图，并将长和宽缩小二分之一的特征图作为第一个解码模块的输入，
第一个解码模块的输入通过反卷积层将长和宽放大二倍后输入连接层，并与连接层中第四个编码模块的融合特征图连接得到解码特征图，解码特征图经过卷积层和激活层后作为下一个解码模块的输入，
第二个解码模块的输入通过反卷积层将长和宽放大二倍后输入连接层，并与连接层中第三个编码模块的融合特征图连接得到解码特征图，解码特征图经过卷积层和激活层后作为下一个解码模块的输入，
第三个解码模块的输入通过反卷积层将长和宽放大二倍后输入连接层，并与连接层中第二个编码模块的融合特征图连接得到解码特征图，解码特征图经过卷积层和激活层后作为下一个解码模块的输入，
第四个解码模块的输入通过反卷积层将长和宽放大二倍后输入连接层，并与连接层中第一个编码模块的融合特征图连接得到解码特征图，解码特征图经过卷积层和激活层后作为最终输出，即重建图像；
步骤四：利用训练好的多时相协同注意力网络得到重建图像，即去云图像。
进一步的，所述步骤一中获取多时相卫星图像的具体步骤为：
于Landsat8卫星在11个不同波段、多个重访周期采集到的图像中选取四张作为多时相云图像数据，所述多时相云图像数据中包含四张同一地点图，其中含有一张无云图像，以及三张不同时刻的有云图像，三张不同时刻的有云图像时间间隔在三个月以内，所述Landsat8卫星在多个重访周期采集到的图像的图像大小为7630×7750。
进一步的，所述步骤二中将配准后的每张图像分割成512*512大小的图像块集合。
进一步的，所述协同注意层具体执行如下步骤：
步骤1：首先将三张多时相图像通过1*1门控卷积层对图像有效特征进行提取，得到三张多时相图像特征图，之后通过卷积层使得三张多时相图像特征图的通道数变为1，最后在通道数变为1的三张多时相图像特征图上对应像素点进行SoftMax操作，得到三张图像的融合特征权重；
步骤2：将三张多时相图片输入3*3门控卷积层，得到门控特征图；
步骤3：将步骤1中得到的融合特征权重，与步骤2中的门控特征图进行线性计算，得到融合特征图。
进一步的，所述融合特征权重表示为：
其中 表示第i个有云图在位置(x,y)的特征权重，x∈{1,…,H}，y∈{1,…,W}，H、W、D分别代表图像的高、宽和通道数，n表示多时相图像的个数，/>表示第i个有云图在位置(x,y)的门控卷积层输出，/>表示第j个有云图在位置(x,y)的门控卷积层输出，TQ表示所有/>的集合，WQ表示卷积层的滤波器。
进一步的，所述门控特征图表示为：
G(x,y)＝φ(Feature(x,y))⊙σ(Gatting(x,y))
Gatting(x,y)＝∑∑WgI
Feature(x,y)＝∑∑WfI
其中，I为输入，Wg和Wf表示投影矩阵，Gatting(x,y)表示I在(x,y)位置的门控值，Feature(x,y)表示I在(x,y)位置的特征，G(x,y)是门控特征的输出值，σ是sigmoid函数，表示激活函数。
进一步的，所述融合特征图表示为：
表示第i个有云图的特征权重，/>表示门控特征。
本发明的有益效果是：
本申请通过提出一种新的多时相协同注意网络MCANet，使得即使是在厚云和密集云遮挡情况下，还能生成清晰的无云图像。
本申请设计了一个具有门控卷积的协同注意层，能够提取和融合关键特征。门控卷积考虑了云和干净像素之间的差异。从而可以使得生成的无云图像分辨率更高，更加接近Ground Truth图像。
此外，通过U型结构中的跳转连接和L1损失函数对模型进行优化，一方面跳转结构通过共享低级信息减少了模型的运算量，提升了模型训练的速度，另一方面由于L1损失可以更好地捕捉遥感图像中的低频信息，有助于提高云重建模型的准确度。
附图说明
图1是本申请整体流程图；
图2是本申请协同注意力层结构图；
图3是本申请整体框架结构1；
图4是本申请整体框架结构2；
图5是本申请整体框架结构3；
图6是去云效果示意图。
具体实施方式
需要特别说明的是，在不冲突的情况下，本申请公开的各个实施方式之间可以相互组合。
具体实施方式一：参照图1具体说明本实施方式，本实施方式所述的一种基于协同注意力机制的多时相遥感图像云区重建方法，包括以下步骤：
步骤一：获取多时相卫星图像数据，所述多时相卫星图像数据包括四张同一地点图，四张同一地点图中含有一张无云图像以及三张不同时刻的有云图像；
步骤二：将无云图像和有云图像进行配准，然后将配准后的每张图像分割成大小相同的图像块集合，分别将同一位置的三张有云图像及一张无云图像组成训练样本对；
步骤三：利用训练样本对训练多时相协同注意力网络，所述多时相协同注意力网络为U型结构，所述多时相协同注意力网络包括五个编码模块和四个解码模块，所述编码模块包括协同注意层和2×2MaxPool层，所述协同注意层包括门控卷积层和卷积层，所述解码模块包括反卷积层、连接层、卷积层和激活层，
所述多时相协同注意力网络具体执行如下步骤：
输入图像通过第一个编码模块中协同注意层编码后得到门控特征图和融合特征图，所述门控特征图经过MaxPool层进行线性变换，得到长和宽缩小二分之一的特征图，并将长和宽缩小二分之一的特征图作为第二个编码模块的输入，所述融合特征图通过跳跃连接到第四个解码模块的连接层中，
第二个编码模块通过协同注意层将输入进行编码，得到门控特征图和融合特征图，所述门控特征图经过MaxPool层进行线性变换，得到长和宽缩小二分之一的特征图，并将长和宽缩小二分之一的特征图作为第三个编码模块的输入，所述融合特征图通过跳跃连接到第三个解码模块的连接层中，
第三个编码模块通过协同注意层将输入进行编码，得到门控特征图和融合特征图，所述门控特征图经过MaxPool层进行线性变换，得到长和宽缩小二分之一的特征图，并将长和宽缩小二分之一的特征图作为第四个编码模块的输入，所述融合特征图通过跳跃连接到第二个解码模块的连接层中
第四个编码模块通过协同注意层将输入进行编码，得到门控特征图和融合特征图，所述门控特征图经过MaxPool层进行线性变换，得到长和宽缩小二分之一的特征图，并将长和宽缩小二分之一的特征图作为第五个编码模块的输入，所述融合特征图通过跳跃连接到第一个解码模块的连接层中
第五个编码模块通过协同注意层将输入进行编码，得到门控特征图，所述门控特征图经过MaxPool层进行线性变换，得到长和宽缩小二分之一的特征图，并将长和宽缩小二分之一的特征图作为第一个解码模块的输入，
第一个解码模块的输入通过反卷积层将长和宽放大二倍后输入连接层，并与连接层中第四个编码模块的融合特征图连接得到解码特征图，解码特征图经过卷积层和激活层后作为下一个解码模块的输入，
第二个解码模块的输入通过反卷积层将长和宽放大二倍后输入连接层，并与连接层中第三个编码模块的融合特征图连接得到解码特征图，解码特征图经过卷积层和激活层后作为下一个解码模块的输入，
第三个解码模块的输入通过反卷积层将长和宽放大二倍后输入连接层，并与连接层中第二个编码模块的融合特征图连接得到解码特征图，解码特征图经过卷积层和激活层后作为下一个解码模块的输入，
第四个解码模块的输入通过反卷积层将长和宽放大二倍后输入连接层，并与连接层中第一个编码模块的融合特征图连接得到解码特征图，解码特征图经过卷积层和激活层后作为最终输出，即重建图像；
步骤四：利用训练好的多时相协同注意力网络得到重建图像，即去云图像。
本申请网络模型结构具体如图3、图4和图5所示。本申请的效果图如图6所示。
虽然现有的云区重建算法能够获得一定程度的效果，但大多通用性较低，并且重建完往往存在地物信息缺失、云残留等问题。除此之外，当获取季节和大气条件不同时，多时相遥感图像存在亮度差异，因此基于多时相影像的云区重建算法对图像具有较苛刻的时间或季节限制，使得多时相遥感影像并未有很高的分辨率，造成这类算法难以实用。故本申请需要从云重建模型的改进，确保中高分辨率遥感图像配准精度上出发，来解决遥感数据云区重建的问题。本申请相比于将单张图片和条件信息作为输入的传统训练方式，本发明利用多时相遥感图像训练MCANet网络模型，提升了云区重建的精确度。
步骤1：获取数据：本方法使用的数据源于同一地理环境，在不同时间内的高分辨率光学遥感图像，具体获取方法是于Landsat8卫星在多个重访周期采集到的图像(图像大小7630×7750,11个不同波段)中，选取四张为一对遥感多时相云图像数据，构建一个新的大尺度多时相卫星图像数据集，用于训练模型，该数据集覆盖5个场景，每对应包含四张同一地点图，其中含有一张无云图像，以及三张不同时刻的有云图像。三张不同时刻的有云图像时间间隔不超过三个月，避免间隔跨度太大，地面信息改变。
步骤2：数据预处理：该步骤主要目的是使四张遥感数据图中相同空间位置的像素点相互匹配，这是处理多时相数据时常见的预处理。在本方法中，需要配准无云图像及三张有云图像，以无云图像为基准，依据有云图像中未被云遮挡的地理特征，将三张有云图像进行配准。再分别将四张图像分割成512*512大小的图像块集合。
其中，有以下两个问题的多时相图像对被丢弃。第一，两幅或多幅云覆盖百分比小于10％的图像对。第二，所有云图的云量百分比均大于80％的图像对。最终保留了包含五种场景的10000个多时相图像对。
步骤3：训练网络：通过大量多时相云图像数据对多时相协同注意力网络(MCANet)模型进行训练；MCANet具有U型结构，包含编码模块和解码模块，并带有跳转连接。
步骤4：云区重建：完成网络训练后，将3张新的多时相的去云图像作为MCANet模型的输入，最终得到去云图像。
上述步骤3中的MCANet模型是建立在通用U-Net框架上的，包含编码模块和解码模块，并带有跳转连接，由以下具体步骤组成：
通过获取到的多时相数据集，将大量多时相云图像对中的有云图像同时输入到MCANet模型中；
步骤3-2:每对中三张多时相有云图像输入编码模块进行编码。编码器模块由协同注意层和2×2MaxPool层组成。这三幅多云的图像被协同注意层编码成为门控特征图和融合特征图。
步骤3-3:门控特征图由MaxPool层进行线性变换，然后输入到下一个编码模块。
步骤3-4:融合特征图通过跳转连接到相应解码模块的连接层中，解码模块由反卷积层、连接层，卷积层和激活层组成，其中连接层将融合特征图与经过反卷积层非线性上采样后的输入进行特征合并。
步骤3-5:通过MCANet模型提取和组合每个系统的关键特征后，取最后一个解码模块的输出作为最终输出。
步骤3-6:使用L1损失函数计算输出图像与真实无云图像间像素值的差异，通过梯度下降反向传播优化模型参数。
其中，步骤3-2具体包括以下步骤：
步骤3-2-1：计算特征权重：首先将三张多时相图像通过门控卷积层对图像有效特征进行提取，之后通过卷积层使得三张图像的通道数变为1，之后在三张图像上对应像素点进行SoftMax操作，得到三张图像的融合特征权重。
多时相图像输入为T＝{T1,T2,…,Tn}，Ti∈RD×H×W，其中H、W、D分别代表图像的高、宽和通道数，n表示多时相图像的个数，在本数据集中为3张。
在这一层中，会输出两组组新的特征图，可以表示为门控特征图集 以及融合特征图T′∈RD′×H×W。
首先，为了计算多时相遥感图像的注意系数，门控卷积滤波器GQ∈RD×D′将每个输入特征转换为更高层次的特征。得到1×1门控卷积层输出，可表示如下：
为了在更高层次特性上执行注意力机制，公式可表述如下：
其中表示第i个有云图在任意位置(x,y)的特征权x∈{1,…,H}，y∈{1,…,W}，为了使系数容易计算，本方法提出了W∈RD′×1，用于将/>通道从D′转换为1。利用softmax函数对系数进行归一化。
步骤3-2-1与步骤3-2-2中所述的将三张多时相图片通过门控卷积层对图像的有效特征进行提取。门控卷积的定义如下：
Gatting(x,y)＝∑∑WgI
Feature(x,y)＝∑∑WfI
G(x,y)＝φ(Feature(x,y))⊙σ(Gatting(x,y))
其中，输入I为D通道，输出映射为D’-通道，表示卷积层过滤器，kh和kw是卷积核尺寸，kh＝2kh+1,kw＝2kw+1，投影矩阵Wg和Wf是用于生成门值和特征映射的可学习的卷积过滤器，Gatting(x,y)，Feature(x,y)具有相同的尺寸和通道，G(x,y)是门控特征的输出值，σ是s形函数，因此输出门值介于0和1之间，/>表示活化函数(如ReLU)。使用共享门控卷积滤波器从输入T计算得到更高水平的预测TV：
其中，GV作为门控卷积中所包含的特征映射矩阵。
在这一层中，云成为自由掩码，由于门控卷积能够通过学习每个通道和每个空间位置的动态特征而进行选择，从而可以从干净像素中提取有效特征。
步骤3-2-3所述的计算融合特征图，即将步骤3-2-1中得到的融合特征权重，与步骤3-2-2中的门控特征图集进行线性融合计算，得到融合特征图。公式如下：
需要注意的是，具体实施方式仅仅是对本发明技术方案的解释和说明，不能以此限定权利保护范围。凡根据本发明权利要求书和说明书所做的仅仅是局部改变的，仍应落入本发明的保护范围内。
Claims (7)
1.一种基于协同注意力机制的多时相遥感图像云区重建方法，其特征在于包括以下步骤：
步骤一：获取多时相卫星图像数据，所述多时相卫星图像数据包括四张同一地点图，四张同一地点图中含有一张无云图像以及三张不同时刻的有云图像；
步骤二：将无云图像和有云图像进行配准，然后将配准后的每张图像分割成大小相同的图像块集合，分别将同一位置的三张有云图像及一张无云图像组成训练样本对；
步骤三：利用训练样本对训练多时相协同注意力网络，所述多时相协同注意力网络为U型结构，所述多时相协同注意力网络包括五个编码模块和四个解码模块，所述编码模块包括协同注意层和2×2MaxPool层，所述协同注意层包括门控卷积层和卷积层，所述解码模块包括反卷积层、连接层、卷积层和激活层，
所述多时相协同注意力网络具体执行如下步骤：
输入图像通过第一个编码模块中协同注意层编码后得到门控特征图和融合特征图，所述门控特征图经过MaxPool层进行线性变换，得到长和宽缩小二分之一的特征图，并将长和宽缩小二分之一的特征图作为第二个编码模块的输入，所述融合特征图通过跳跃连接到第四个解码模块的连接层中，
第二个编码模块通过协同注意层将输入进行编码，得到门控特征图和融合特征图，所述门控特征图经过MaxPool层进行线性变换，得到长和宽缩小二分之一的特征图，并将长和宽缩小二分之一的特征图作为第三个编码模块的输入，所述融合特征图通过跳跃连接到第三个解码模块的连接层中，
第三个编码模块通过协同注意层将输入进行编码，得到门控特征图和融合特征图，所述门控特征图经过MaxPool层进行线性变换，得到长和宽缩小二分之一的特征图，并将长和宽缩小二分之一的特征图作为第四个编码模块的输入，所述融合特征图通过跳跃连接到第二个解码模块的连接层中
第四个编码模块通过协同注意层将输入进行编码，得到门控特征图和融合特征图，所述门控特征图经过MaxPool层进行线性变换，得到长和宽缩小二分之一的特征图，并将长和宽缩小二分之一的特征图作为第五个编码模块的输入，所述融合特征图通过跳跃连接到第一个解码模块的连接层中
第五个编码模块通过协同注意层将输入进行编码，得到门控特征图，所述门控特征图经过MaxPool层进行线性变换，得到长和宽缩小二分之一的特征图，并将长和宽缩小二分之一的特征图作为第一个解码模块的输入，
第一个解码模块的输入通过反卷积层将长和宽放大二倍后输入连接层，并与连接层中第四个编码模块的融合特征图连接得到解码特征图，解码特征图经过卷积层和激活层后作为下一个解码模块的输入，
第二个解码模块的输入通过反卷积层将长和宽放大二倍后输入连接层，并与连接层中第三个编码模块的融合特征图连接得到解码特征图，解码特征图经过卷积层和激活层后作为下一个解码模块的输入，
第三个解码模块的输入通过反卷积层将长和宽放大二倍后输入连接层，并与连接层中第二个编码模块的融合特征图连接得到解码特征图，解码特征图经过卷积层和激活层后作为下一个解码模块的输入，
第四个解码模块的输入通过反卷积层将长和宽放大二倍后输入连接层，并与连接层中第一个编码模块的融合特征图连接得到解码特征图，解码特征图经过卷积层和激活层后作为最终输出，即重建图像；
步骤四：利用训练好的多时相协同注意力网络得到重建图像，即去云图像。
2.根据权利要求1所述的一种基于协同注意力机制的多时相遥感图像云区重建方法，其特征在于所述步骤一中获取多时相卫星图像的具体步骤为：
于Landsat8卫星在11个不同波段、多个重访周期采集到的图像中选取四张作为多时相云图像数据，所述多时相云图像数据中包含四张同一地点图，其中含有一张无云图像，以及三张不同时刻的有云图像，三张不同时刻的有云图像时间间隔在三个月以内，所述Landsat8卫星在多个重访周期采集到的图像的图像大小为7630×7750。
3.根据权利要求2所述的一种基于协同注意力机制的多时相遥感图像云区重建方法，其特征在于所述步骤二中将配准后的每张图像分割成512*512大小的图像块集合。
4.根据权利要求3所述的一种基于协同注意力机制的多时相遥感图像云区重建方法，其特征在于所述协同注意层具体执行如下步骤：
步骤1：首先将三张多时相图像通过1*1门控卷积层对图像有效特征进行提取，得到三张多时相图像特征图，之后通过卷积层使得三张多时相图像特征图的通道数变为1，最后在通道数变为1的三张多时相图像特征图上对应像素点进行SoftMax操作，得到三张图像的融合特征权重；
步骤2：将三张多时相图片输入3*3门控卷积层，得到门控特征图；
步骤3：将步骤1中得到的融合特征权重，与步骤2中的门控特征图进行线性计算，得到融合特征图。
5.根据权利要求4所述的一种基于协同注意力机制的多时相遥感图像云区重建方法，其特征在于所述融合特征权重表示为：
其中 表示第i个有云图在位置(x,y)的特征权重，x∈{1,…,H}，y∈{1,…,W}，H、W、D分别代表图像的高、宽和通道数，n表示多时相图像的个数，/>表示第i个有云图在位置(x,y)的门控卷积层输出，/>表示第j个有云图在位置(x,y)的门控卷积层输出，TQ表示所有/>的集合，WQ表示卷积层的滤波器。
6.根据权利要求5所述的一种基于协同注意力机制的多时相遥感图像云区重建方法，其特征在于所述门控特征图表示为：
G(x,y)＝φ(Feature(x,y))⊙σ(Gatting(x,y))
Gatting(x,y)＝∑∑WgI
Feature(x,y)＝∑∑WfI
其中，I为输入，Wg和Wf表示投影矩阵，Gatting(x,y)表示I在(x,y)位置的门控值，Feature(x,y)表示I在(x,y)位置的特征，G(x,y)是门控特征的输出值，σ是sigmoid函数，表示激活函数。
7.根据权利要求6所述的一种基于协同注意力机制的多时相遥感图像云区重建方法，其特征在于所述融合特征图表示为：
表示第i个有云图的特征权重，/>表示门控特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111462313.5A CN114140357B (zh) | 2021-12-02 | 2021-12-02 | 一种基于协同注意力机制的多时相遥感图像云区重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111462313.5A CN114140357B (zh) | 2021-12-02 | 2021-12-02 | 一种基于协同注意力机制的多时相遥感图像云区重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114140357A CN114140357A (zh) | 2022-03-04 |
| CN114140357B true CN114140357B (zh) | 2024-04-19 |
Family
ID=80387179
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111462313.5A Active CN114140357B (zh) | 2021-12-02 | 2021-12-02 | 一种基于协同注意力机制的多时相遥感图像云区重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114140357B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114511786B (zh) * | 2022-04-20 | 2022-07-19 | 中国石油大学(华东) | 融合多时相信息和分通道密集卷积的遥感图像去云方法 |
| CN117237822B (zh) * | 2023-11-10 | 2024-03-22 | 中国科学院空天信息创新研究院 | 面向基础模型终端部署的协同推理方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
| CN111738124A (zh) * | 2020-06-15 | 2020-10-02 | 西安电子科技大学 | 基于Gabor变换和注意力的遥感图像云检测方法 |
| CN112288647A (zh) * | 2020-10-13 | 2021-01-29 | 武汉大学 | 一种基于门控卷积的遥感影像云和阴影修复的方法 |
| WO2021115159A1 (zh) * | 2019-12-09 | 2021-06-17 | 中兴通讯股份有限公司 | 文字识别网络模型训练方法、文字识别方法、装置、终端及其计算机存储介质 |
| CN113379618A (zh) * | 2021-05-06 | 2021-09-10 | 航天东方红卫星有限公司 | 一种基于残差密集连接和特征融合的光学遥感图像去云方法 |
-
2021
- 2021-12-02 CN CN202111462313.5A patent/CN114140357B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021115159A1 (zh) * | 2019-12-09 | 2021-06-17 | 中兴通讯股份有限公司 | 文字识别网络模型训练方法、文字识别方法、装置、终端及其计算机存储介质 |
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
| CN111738124A (zh) * | 2020-06-15 | 2020-10-02 | 西安电子科技大学 | 基于Gabor变换和注意力的遥感图像云检测方法 |
| CN112288647A (zh) * | 2020-10-13 | 2021-01-29 | 武汉大学 | 一种基于门控卷积的遥感影像云和阴影修复的方法 |
| CN113379618A (zh) * | 2021-05-06 | 2021-09-10 | 航天东方红卫星有限公司 | 一种基于残差密集连接和特征融合的光学遥感图像去云方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于神经网络的遥感图像海陆语义分割方法;熊伟;蔡咪;吕亚飞;裴家正;;计算机工程与应用(第15期);全文 * |
| 多相位水平集高分辨率遥感影像非监督分类;林颖;印桂生;杨耘;;测绘通报;20090925(第09期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114140357A (zh) | 2022-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Remote sensing image spatiotemporal fusion using a generative adversarial network | |
| CN114140357B (zh) | 一种基于协同注意力机制的多时相遥感图像云区重建方法 | |
| CN113780149B (zh) | 一种基于注意力机制的遥感图像建筑物目标高效提取方法 | |
| CN111462329A (zh) | 一种基于深度学习的无人机航拍影像的三维重建方法 | |
| CN114254715B (zh) | 一种gf-1 wfv卫星影像超分辨率方法、系统及应用 | |
| CN112653899A (zh) | 一种基于联合注意力ResNeSt的复杂场景下网络直播视频特征提取方法 | |
| CN113345082A (zh) | 一种特征金字塔多视图三维重建方法和系统 | |
| CN116205962B (zh) | 基于完整上下文信息的单目深度估计方法及系统 | |
| CN112102163A (zh) | 基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法 | |
| CN112949636A (zh) | 一种车牌超分辨率识别方法、系统及计算机可读介质 | |
| CN113077505A (zh) | 一种基于对比学习的单目深度估计网络的优化方法 | |
| CN113554032A (zh) | 基于高度感知的多路并行网络的遥感图像分割方法 | |
| CN114519667A (zh) | 一种图像超分辨率重建方法及系统 | |
| CN112991167A (zh) | 一种基于分层特征融合网络的航拍图像超分辨率重建方法 | |
| CN115272438A (zh) | 一种面向三维场景重建的高精度单目深度估计系统及方法 | |
| CN115601236A (zh) | 一种基于特征信息蒸馏网络的遥感图像超分辨重建方法 | |
| Li et al. | Maskformer with improved encoder-decoder module for semantic segmentation of fine-resolution remote sensing images | |
| CN114022356A (zh) | 基于小波域的河道流量水位遥感图像超分辨率方法与系统 | |
| CN116258756B (zh) | 一种自监督单目深度估计方法及系统 | |
| CN116739920A (zh) | 双解耦互校正多时相遥感影像缺失信息重建方法及系统 | |
| CN112116646A (zh) | 一种基于深度卷积神经网络的光场图像深度估计方法 | |
| CN117058367A (zh) | 高分辨率遥感影像建筑物语义分割方法及装置 | |
| CN115170985B (zh) | 一种基于阈值注意力的遥感图像语义分割网络及分割方法 | |
| CN116563187A (zh) | 一种基于图神经网络的多光谱图像融合 | |
| Zhao et al. | Label freedom: Stable diffusion for remote sensing image semantic segmentation data generation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |