CN115293986A - 一种多时相遥感图像云区重建方法 - Google Patents

一种多时相遥感图像云区重建方法 Download PDF

Info

Publication number
CN115293986A
CN115293986A CN202210987893.8A CN202210987893A CN115293986A CN 115293986 A CN115293986 A CN 115293986A CN 202210987893 A CN202210987893 A CN 202210987893A CN 115293986 A CN115293986 A CN 115293986A
Authority
CN
China
Prior art keywords
cloud
image
convolution
model
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210987893.8A
Other languages
English (en)
Inventor
梁硕
于君娜
马晨
陈金勇
王士成
文义红
孙康
王玉晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 54 Research Institute
Original Assignee
CETC 54 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 54 Research Institute filed Critical CETC 54 Research Institute
Priority to CN202210987893.8A priority Critical patent/CN115293986A/zh
Publication of CN115293986A publication Critical patent/CN115293986A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明公开了一种多时相遥感图像云区重建方法，该方法将多时相的去云图像作为云重建网络模型的输入，通过U‑Net结构的编码器对输入图像的特征进行提取和特征融合。融合的特征信息经过自定义的标准残差块和空间注意力块进行特征提取并识别云像元特征，经过后续的残差块重建干净的背景以实现遥感图像的云区重建。通过加入内容损失使得生成的无云图像分辨率更高，更加接近真实无云图像。此外，通过U‑Net结构中的跳转连接和L1损失对模型进行优化，一方面跳转结构通过共享低级信息减少了模型的运算量，提升了模型训练的速度，另一方面L1损失可以更好地捕捉遥感图像中的低频信息，有助于提高云重建模型的准确度。

Description

一种多时相遥感图像云区重建方法
技术领域
本发明属于遥感图像恢复处理技术领域，尤其是指一种多时相遥感图像云区重建方法，可用于遥感图像中云层遮挡的去除。
背景技术
随着数字图像技术以及空间技术的迅速发展，遥感技术得到了广泛的应用，现已应用到国民经济建设以及社会发展的多个领域。但是由于受到环境等外界因素的影响，获取到的遥感图像经常被云层遮挡，地物信息不清晰，影响遥感图像的解译精度和对目标地物的判读，同时也会影响图像的后续处理，如特征提取、聚类、分类、识别，导致图像的可用性降低。虽然现有的云区重建算法能够获得一定程度的效果，但大多通用性较低，并且重建完往往存在地物信息缺失、云残留等问题，使得多时相遥感影像并未有很高的分辨率，造成现有算法难以实用。因此，在计算机技术与遥感技术发展迅速并对数据源的获取更加容易的前提下，建立高精度的云区重建算法，从而提高遥感图像的利用率十分必要。
发明内容
针对现有技术的遥感图像中由于云的存在而产生的图像缺失情况，本发明提供一种多时相遥感图像云区重建方法。该方法能够有效去除云层遮挡，并进行云区重建的方法。相比于将单张图片和条件信息作为输入的传统训练方式，本发明充分考虑了重建区域像素与背景像素之间的关联性，基于注意力机制以及内容损失，建立了多时相遥感图像云区重建网络，可实现高精确度以及高分辨率的云区重建。
为实现上述目的，本发明采用的技术方案为：
一种多时相遥感图像云区重建方法，包括以下步骤：
步骤1，获取数据：以遥感卫星在一个重访周期采集到的四幅图像作为同一地区不同时间点的多时相实验数据，其中，一幅图像干净无云，称为无云图像，另外三幅图像有薄云笼罩，称为有云图像T1、T2、T3；
步骤2，数据预处理：分别将有云图像和无云图像以128像素为步长分割成大小为256*256像素的图像块集合，分别将同一地区三张有云图像及一张无云图像组成训练样本对；
步骤3，生成对抗学习：将训练样本对作为云重建网络模型的输入进行训练，其中，云重建网络模型是基于生成对抗网络的深度学习网络模型，包括生成模型与判别模型；所述云重建网络模型的生成模型是一个全卷积深度神经网络；生成模型包括一个多分支UNet模型、5个残差模块、4个空间注意模块以及2个卷积模块，其中，多分支UNet模型以局部到全局的方式提取非云区域的有效特征，并消除遥感图像中的云覆盖区域，5个残差模块中的3个标准残差模块用来提取多分支UNet模型输出的特征，4个空间注意力块用于从四个方向中全局编码整体特征，另两个残差模块对特征进行解码，以重建干净的背景；
所述标准残差模块包括三个卷积模块，每个卷积模型均为卷积层连接ReLU激活层，其中，第一个卷积模块输入到第二个卷积模块，第二个卷积模块的输出与第一个卷积模块的输出进行矩阵相加然后输入至第三个卷积模块，第三个卷积模块的输出为标准残差模块的输出；
所述空间注意力模块包括第一分支和第二分支，第一分支包括第一子分支和第二子分支，第一子分支包括三个级联的卷积模块，其中前两个卷积模块为卷积层连接ReLU激活层，最后一个卷积模块为卷积层连接Sigmoid激活层；第二子分支包括级联的卷积层、单位矩阵初始化层、卷积层、单位矩阵初始化层以及两个卷积模块，其中，第一个卷积模块为卷积层连接ReLU激活层，第二个卷积模块为卷积层连接Sigmoid激活层；第一子分支的输出传入第二子分支的两个单位矩阵初始化层；第二分支由三个卷积模块级联组成，每个卷积模块均由卷积层、ReLU激活层、卷积层级联组成；第二子分支的输出与第二分支的第一个卷积模块的输出进行矩阵加法，结果输入至第二分支的第二个卷积模块，之后，第二子分支的输出再与第二分支的第二个卷积模块的输出进行矩阵加法，结果输入至第二分支的第三个卷积模块，之后，第二子分支的输出再与第二分支的第三个卷积模块的输出进行矩阵加法，结果作为空间注意力模块的输出；
所述云重建网络模型的判别模型采用全卷积神经网络，包含五个卷积模块与一个卷积层，其中卷积模块包含一层卷积层、一层批归一化层，一层LeakyReLu激活层；五个卷积模块为级联形式，其输出通过卷积层后作为判别模型的损失；
云重建网络模型的损失函数组合了生成对抗网络的对抗损失、标准L1损失以及内容损失；
步骤4，生成去云图像：将待处理的有云图像输入到已经训练好的云重建网络模型中，通过网络的前向传播得到输出结果，实现对有云图像的薄云去除，得到去云图像。
进一步地，步骤3的具体方式为：
步骤3-1：将三张多时相有云图像同时输入到云重建网络模型的生成器中，通过多分支UNet模型，对多时相输入进行特征提取与特征融合，将融合特征输入到深层重建网络，生成云重建后的遥感图像；
步骤3-2：将生成的云重建后的遥感图像输入到判别模型进行预测，判别模型采用全卷积神经网络，通过对抗训练得到逼真的云区重建图像；
步骤3-3：以步骤3-1和步骤3-2为单训练样本的训练过程，重复训练5000次。
进一步地，步骤3-1的具体方式为：
步骤3-1-1：将三张多时相有云图像同时输入到云重建网络模型的多分支UNet模型，每张图片首先传递到单独的编码器结构中，进行特征编码；之后，将每张图像的特征编码经过池化层进行下采样，将提取的特征在全连接层进行拼接，以实现特征融合；
步骤3-1-2：将多分支U型特征提取网络输出的特征传入三个标准残差模块，其中三个标准残差模块为级联形式；
步骤3-1-3：将第三个标准残差块输出的特征输入至四个空间注意力块，其中四个空间注意力块为级联形式；
步骤3-1-4：将第四个空间注意力模块输出的特征输入至所述另两个残差模块，所述另两个残差模块为级联形式，第二个残差模块的输出即为云重建网络模型的生成模型输出的重建图像；
步骤3-1-5：将生成模型输出的重建图像与真实无云图像同时计算内容损失、L1损失、对抗损失，其中，对抗损失为将重建图像与真实无云图像同时输入至判别模型所得的损失。
进一步地，云重建网络模型的损失函数为：
Figure BDA0003802610480000031
式中，
Figure BDA0003802610480000032
表示取使式子达到最小值和最大值的变量的取值；
其中，第一部分是生成对抗网络的对抗损失：
LGAN(G，D)＝Ex，y～Pdata(x，y)[log D(x，y)]+Ex～Pdata(x)，z～Pz(z)[log 1-D(G(x)，y)]
式中，x表示输入图像，y表示真实图片，G(x)表示生成模型根据输入图像输出的重建图像，x，y～Pdata(x，y)表示x，y分布，E表示期望，D(x，y)表示对抗网络判断真实图片是否真实的概率，D(G(x)，y)是对抗网络判断生成网络生成的图片的是否真实的概率；
第二部分是标准L1损失：
Figure BDA0003802610480000041
式中，x表示输入图像，y表示真实图片，G(x)表示生成模型根据输入图像输出的重建图像，H，W为x，y的宽度以及高度，λc是一个超参数，用来控制每个通道的权重；
第三部分是内容损失：
Figure BDA0003802610480000042
内容损失是基于预训练的19层的VGG网络定义的；其中，x表示输入图像，y表示真实图片，G(x)表示生成模型根据输入图像输出的重建图像，
Figure BDA0003802610480000043
代表VGG19网络以重建图像为输入得到的特征图，
Figure BDA0003802610480000044
代表VGG19网络以真实无云图像为输入得到的特征图，H，W为特征图的宽度以及高度。
本发明的有益效果在于：
1、本发明提出了云重建网络(Cloud Reconstruction Network，CRN)模型，该模型采用了多分支U型特征提取网络来融合多时相遥感图像的特征信息，通过共享底层的语义信息，提高了像素重建的精度。
2、本发明通过自定义的SAB块和标准RB块来识别特征图中的云像元信息并重建干净的背景。其中，SAB块具有两轮四向IRNN体系结构，可从U型特征提取网络输出的特征图中获得上下文信息，从而更好地学习特征图的整体和局部特征信息，实现遥感图像的云区重建。
3、本发明在GAN目标函数的基础上，加入了L1约束项和内容损失，L1约束项的作用是为了让矩阵稀疏化，从而防止在训练过程中模型过拟合，使云区重建后的图像更加接近真实图像，降低了云区重建误差。内容损失则是为了让生成的无云图像与真实无云图像更加接近，有利于生成更高分辨率的去云图像。
附图说明
图1为CRN原理示意图。
图2为CRN的多分支U型特征提取网络。
图3为CRN结构图。
图4为SAB块的具体结构图。
图5为判别器结构图。
图6为本发明方法的原理示意图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步描述。
一种通过云重建(CRN)网络实现遥感图像云区重建的方法，该方法的原理如图6所示。其中，CRN是基于生成对抗网络(Generative Adversarial Network，GAN)的一种深度学习网络模型，如图1-3所示。与传统的生成对抗网络原理相似，CRN也是基于二者零和博弈的思想进行生成对抗学习的。生成模型(Generator)是一个样本生成器，接收到样本和噪声的输入信息后，参照样本生成图片。判别模型(Discriminator)相当于一个二分类器，来判断生成模型输出的样本是真是假，并输出一个概率值。生成模型尽可能地欺骗判别模型，而判别模型尽可能辨别出生成模型生成的假图像，二者通过良性竞争最终输出逼真的生成图片。
该方法包括以下步骤：
步骤1：获取数据：以遥感卫星在一个重访周期采集到的四幅图像，设为同一地区不同时间点的多时相实验数据，其中，一幅图像干净无云，称为无云图像样本，另外三幅图像有薄云笼罩，称为有云图像T0，T1，T2。
步骤2：数据预处理：分别将有云图像和无云图像以步长128像素分割为大小256*256像素的图像块集合，将同一地区三张有云图像及一张无云图像组成训练样本对。
步骤3：生成对抗学习：将训练样本对作为云重建(CRN)网络模型的输入进行训练，其中CRN为基于生成对抗网络(Generative Adversarial Network，GAN)的一种深度学习网络模型，它基于二者零和博弈的思想进行生成对抗学习。
步骤4：生成去云图像：将待重建的多时相有云图像输入到已经训练好的网络模型中，通过网络的前向传播得到输出结果，即为该图像经过该网络实现的云去除操作后的去云图像。
以下为一个更具体的例子：
步骤1：获取数据：本方法使用的数据源于同一地理环境，在不同时间内的高分辨率光学遥感图像，具体获取方法是于卫星在多个重访周期采集到的图像中，选取一定数量四张为一组遥感多时相云图像数据，该图像每组应包含四张同一地点图，其中含有一张无云图像，以及三张不同时刻的有云图像。
步骤2：数据预处理：该步骤主要目的是使四张遥感数据图中相同空间位置的像素点相互匹配，这是处理多时相数据时常见的预处理。在本方法中，需要配准无云图像及三张有云图像，以无云图像为基准，依据有云图像中未被云遮挡的地理特征，将三张有云图像进行配准。再分别将四张图像分割成256*256大小的图像块集合，分别将同一位置的三张有云图像及一张无云图像组成训练样本对。
步骤3：生成对抗学习：将训练样本对作为云重建(CRN)网络模型的输入进行训练，其中CRN是基于生成对抗网络(Generative Adversarial Network，GAN)的一种深度学习网络模型，它基于二者零和博弈的思想进行生成对抗学习。
GAN的目标函数可表示成如下公式：
Figure BDA0003802610480000061
公式(1)由两项构成。其中x表示输入图像，y表示真实图片，z表示输入生成网络的噪声，而G(x，z)表示生成网络根据输入图像和随机噪声生成的目标图片。D(x，y)表示对抗网络判断真实图片是否真实的概率(因为y就是真实的，所以对于D来说，这个值越接近1越好)。而D(x，G(x，z))是对抗网络判断生成网络生成的图片的是否真实的概率。同时，GAN的生成作用除了生成可以欺骗对抗的图像之外，还需要尽量接近目标域的图像y，即
L(G)＝Ex，y，z[||y-G(x，z)||1] (2)
步骤4：生成去云图像：将待处理的有云图像输入到已经训练好的网络模型中，通过网络的前向传播得到输出结果，即为该图像经过该网络实现的薄云去除操作后的去云图像。
上述步骤3由以下具体步骤组成：
步骤3-1：将三张多时相有云图像同时输入到CRN模型的生成器中，通过多分支U型特征提取网络，对多时相输入进行特征提取与特征融合，将融合特征输入到深层重建网络，最终生成云重建后的遥感图像。
步骤3-2：将生成的图片输入到判别模型进行预测，判别器采用全卷积神经网络，具体结构如图5所示，通过对抗训练最终得到逼真的云区重建图像。
步骤3-3：步骤3-1，3-2为单训练样本训练过程，在整体数据集上重复5000次步骤3-1，3-2。
上述步骤3-1可由以下步骤组成：
步骤3-1-1：将三张多时相有云图像同时输入到CRN的多分支U型特征提取网络，每张图片首先传递到单独的编码器结构中，进行特征编码。之后将每张图像的编码特征经过池化层进行下采样，将提取的特征在全连接层进行拼接，以实现特征融合，多分支U型特征提取网络的结构如图2所示。
步骤3-1-2：将多分支U型特征提取网络输出的特征传入标准残差块(ResidualBlock，RB)进行提取。
步骤3-1-3：通过四个空间注意力块(Spatial Attentive Block，SAB)在四个步骤中逐渐识别遥感图像中云像元。
在SAB块中我们使用两轮四向的单位矩阵初始化(Identity MatrixInitialization，IRNN)结构来积累全局的上下文信息，以便在整个图像上有效地传播图像的信息特征。两轮四向的IRNN体系结构通过两个阶段逐步积累全局的上下文特征。在第一阶段，对于输入特征图上的每个位置，执行四向(上、下、左、右)递归卷积操作以收集水平和垂直的邻域信息。之后在第二阶段，通过重复前面的操作，从整个输入特征图中获得上下文信息。除此之外，我们还另外添加了一个分支来捕获空间的上下文特征信息，以便有选择地突出显示预计的云像元特征。SAB块的具体结构如图4所示。
步骤3-1-4：再通过两个残差块(RB)重建干净的背景从而实现云区重建。
步骤3-1-5：通过加入组合内容损失、L1损失、对抗损失使得生成的无云图像分辨率更高，更加接近无云图像。
CRGAN的总损失如下：
Figure BDA0003802610480000081
其中第一部分是GAN的损失，如公式1；
第二部分是标准L1损失，其中λc是一个超参数，用来控制每个通道的权重。L1约束项的作用是为了让矩阵稀疏化，从而防止在训练过程中模型过拟合，使云区重建后的图像更加接近真实图像，降低了云区重建误差。标准L1损失如下：
Figure BDA0003802610480000082
第三部分是内容损失，是基于预训练的19层的VGG网络定义的。内容损失则是为了让生成的无云图像与Ground Truth更加接近，有利于生成更高分辨率的去云图像。其中
Figure BDA0003802610480000083
代表VGG19网络中第i个最大值池化层之前的第j个卷积获得的特征图。将内容损失定义为重建图像
Figure BDA0003802610480000084
和多时相遥感图像经过UNet融合后的特征图像IHR之间的欧氏距离。内容损失如下：
Figure BDA0003802610480000085
总之，本发明方法将多时相的去云图像作为云重建网络模型的输入，通过U-Net结构的编码器对输入图像的特征进行提取和特征融合。融合的特征信息经过自定义的标准残差块和空间注意力块进行特征提取并识别云像元特征，经过后续的残差块重建干净的背景以实现遥感图像的云区重建。通过加入内容损失使得生成的无云图像分辨率更高，更加接近真实无云图像。此外，通过U-Net结构中的跳转连接和L1损失对模型进行优化，一方面跳转结构通过共享低级信息减少了模型的运算量，提升了模型训练的速度，另一方面L1损失可以更好地捕捉遥感图像中的低频信息，有助于提高云重建模型的准确度。

Claims (4)

1.一种多时相遥感图像云区重建方法，其特征在于，包括以下步骤：
步骤1，获取数据：以遥感卫星在一个重访周期采集到的四幅图像作为同一地区不同时间点的多时相实验数据，其中，一幅图像干净无云，称为无云图像，另外三幅图像有薄云笼罩，称为有云图像T1、T2、T3；
步骤2，数据预处理：分别将有云图像和无云图像以128像素为步长分割成大小为256*256像素的图像块集合，分别将同一地区三张有云图像及一张无云图像组成训练样本对；
步骤3，生成对抗学习：将训练样本对作为云重建网络模型的输入进行训练，其中，云重建网络模型是基于生成对抗网络的深度学习网络模型，包括生成模型与判别模型；所述云重建网络模型的生成模型是一个全卷积深度神经网络；生成模型包括一个多分支UNet模型、5个残差模块、4个空间注意模块以及2个卷积模块，其中，多分支UNet模型以局部到全局的方式提取非云区域的有效特征，并消除遥感图像中的云覆盖区域，5个残差模块中的3个标准残差模块用来提取多分支UNet模型输出的特征，4个空间注意力块用于从四个方向中全局编码整体特征，另两个残差模块对特征进行解码，以重建干净的背景；
所述标准残差模块包括三个卷积模块，每个卷积模型均为卷积层连接ReLU激活层，其中，第一个卷积模块输入到第二个卷积模块，第二个卷积模块的输出与第一个卷积模块的输出进行矩阵相加然后输入至第三个卷积模块，第三个卷积模块的输出为标准残差模块的输出；
所述空间注意力模块包括第一分支和第二分支，第一分支包括第一子分支和第二子分支，第一子分支包括三个级联的卷积模块，其中前两个卷积模块为卷积层连接ReLU激活层，最后一个卷积模块为卷积层连接Sigmoid激活层；第二子分支包括级联的卷积层、单位矩阵初始化层、卷积层、单位矩阵初始化层以及两个卷积模块，其中，第一个卷积模块为卷积层连接ReLU激活层，第二个卷积模块为卷积层连接Sigmoid激活层；第一子分支的输出传入第二子分支的两个单位矩阵初始化层；第二分支由三个卷积模块级联组成，每个卷积模块均由卷积层、ReLU激活层、卷积层级联组成；第二子分支的输出与第二分支的第一个卷积模块的输出进行矩阵加法，结果输入至第二分支的第二个卷积模块，之后，第二子分支的输出再与第二分支的第二个卷积模块的输出进行矩阵加法，结果输入至第二分支的第三个卷积模块，之后，第二子分支的输出再与第二分支的第三个卷积模块的输出进行矩阵加法，结果作为空间注意力模块的输出；
所述云重建网络模型的判别模型采用全卷积神经网络，包含五个卷积模块与一个卷积层，其中卷积模块包含一层卷积层、一层批归一化层，一层LeakyReLu激活层；五个卷积模块为级联形式，其输出通过卷积层后作为判别模型的损失；
云重建网络模型的损失函数组合了生成对抗网络的对抗损失、标准L1损失以及内容损失；
步骤4，生成去云图像：将待处理的有云图像输入到已经训练好的云重建网络模型中，通过网络的前向传播得到输出结果，实现对有云图像的薄云去除，得到去云图像。
2.根据权利要求1所述的一种多时相遥感图像云区重建方法，其特征在于，步骤3的具体方式为：
步骤3-1：将三张多时相有云图像同时输入到云重建网络模型的生成器中，通过多分支UNet模型，对多时相输入进行特征提取与特征融合，将融合特征输入到深层重建网络，生成云重建后的遥感图像；
步骤3-2：将生成的云重建后的遥感图像输入到判别模型进行预测，判别模型采用全卷积神经网络，通过对抗训练得到逼真的云区重建图像；
步骤3-3：以步骤3-1和步骤3-2为单训练样本的训练过程，重复训练5000次。
3.根据权利要求2所述的一种多时相遥感图像云区重建方法，其特征在于，步骤3-1的具体方式为：
步骤3-1-1：将三张多时相有云图像同时输入到云重建网络模型的多分支UNet模型，每张图片首先传递到单独的编码器结构中，进行特征编码；之后，将每张图像的特征编码经过池化层进行下采样，将提取的特征在全连接层进行拼接，以实现特征融合；
步骤3-1-2：将多分支U型特征提取网络输出的特征传入三个标准残差模块，其中三个标准残差模块为级联形式；
步骤3-1-3：将第三个标准残差块输出的特征输入至四个空间注意力块，其中四个空间注意力块为级联形式；
步骤3-1-4：将第四个空间注意力模块输出的特征输入至所述另两个残差模块，所述另两个残差模块为级联形式，第二个残差模块的输出即为云重建网络模型的生成模型输出的重建图像；
步骤3-1-5：将生成模型输出的重建图像与真实无云图像同时计算内容损失、L1损失、对抗损失，其中，对抗损失为将重建图像与真实无云图像同时输入至判别模型所得的损失。
4.根据权利要求1所述的一种多时相遥感图像云区重建方法，其特征在于，云重建网络模型的损失函数为：
Figure FDA0003802610470000031
式中，
Figure FDA0003802610470000032
表示取使式子达到最小值和最大值的变量的取值；
其中，第一部分是生成对抗网络的对抗损失：
LGAN(G，D)＝Ex，y～Pdata(x，y)[log D(x，y)]+Ex～Pdata(x)，z～Pz(z)[log 1-D(G(x)，y)]
式中，x表示输入图像，y表示真实图片，G(x)表示生成模型根据输入图像输出的重建图像，x，y～Pdata(x，y)表示x，y分布，E表示期望，D(x，y)表示对抗网络判断真实图片是否真实的概率，D(G(x)，y)是对抗网络判断生成网络生成的图片的是否真实的概率；
第二部分是标准L1损失：
Figure FDA0003802610470000033
式中，x表示输入图像，y表示真实图片，G(x)表示生成模型根据输入图像输出的重建图像，H，W为x，y的宽度以及高度，λc是一个超参数，用来控制每个通道的权重；
第三部分是内容损失：
Figure FDA0003802610470000034
内容损失是基于预训练的19层的VGG网络定义的；其中，x表示输入图像，y表示真实图片，G(x)表示生成模型根据输入图像输出的重建图像，θ(G(x))代表VGG19网络以重建图像为输入得到的特征图，θ(y)代表VGG19网络以真实无云图像为输入得到的特征图，H，W为特征图的宽度以及高度。
CN202210987893.8A 2022-08-17 2022-08-17 一种多时相遥感图像云区重建方法 Pending CN115293986A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210987893.8A CN115293986A (zh) 2022-08-17 2022-08-17 一种多时相遥感图像云区重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210987893.8A CN115293986A (zh) 2022-08-17 2022-08-17 一种多时相遥感图像云区重建方法

Publications (1)

Publication Number Publication Date
CN115293986A true CN115293986A (zh) 2022-11-04

Family

ID=83830881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210987893.8A Pending CN115293986A (zh) 2022-08-17 2022-08-17 一种多时相遥感图像云区重建方法

Country Status (1)

Country Link
CN (1) CN115293986A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661002A (zh) * 2022-12-14 2023-01-31 北京数慧时空信息技术有限公司 基于gan的多时相遥感数据修复方法
CN117036984A (zh) * 2023-10-09 2023-11-10 武汉大学 一种融合注意力机制的级联u型网络云检测方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661002A (zh) * 2022-12-14 2023-01-31 北京数慧时空信息技术有限公司 基于gan的多时相遥感数据修复方法
CN117036984A (zh) * 2023-10-09 2023-11-10 武汉大学 一种融合注意力机制的级联u型网络云检测方法及系统
CN117036984B (zh) * 2023-10-09 2024-01-09 武汉大学 一种融合注意力机制的级联u型网络云检测方法及系统

Similar Documents

Publication Publication Date Title
Zhang et al. Remote sensing image spatiotemporal fusion using a generative adversarial network
CN110135366B (zh) 基于多尺度生成对抗网络的遮挡行人重识别方法
CN112329800A (zh) 一种基于全局信息引导残差注意力的显著性目标检测方法
CN115293986A (zh) 一种多时相遥感图像云区重建方法
CN112686898B (zh) 一种基于自监督学习的放疗靶区自动分割方法
CN113888550A (zh) 一种结合超分辨率和注意力机制的遥感图像道路分割方法
CN112766062B (zh) 一种基于双流深度神经网络的人体行为识别方法
CN113838064B (zh) 一种基于分支gan使用多时相遥感数据的云去除方法
CN113076957A (zh) 一种基于跨模态特征融合的rgb-d图像显著性目标检测方法
CN116152611B (zh) 一种多级多尺度点云补全方法、系统、设备及存储介质
CN114723760B (zh) 人像分割模型的训练方法、装置及人像分割方法、装置
CN112241939A (zh) 一种基于多尺度和非局部的轻量去雨方法
CN113240683A (zh) 基于注意力机制的轻量化语义分割模型构建方法
CN112507849A (zh) 一种基于条件生成对抗网络的动态到静态场景转换方法
CN114996495A (zh) 一种基于多原型和迭代增强的单样本图像分割方法及装置
Yang et al. Mixed-scale UNet based on dense atrous pyramid for monocular depth estimation
CN113393385B (zh) 基于多尺度融合的无监督去雨方法、系统、装置及介质
CN114529793A (zh) 一种基于门控循环特征融合的深度图像修复系统及方法
CN113989612A (zh) 基于注意力及生成对抗网络的遥感影像目标检测方法
CN115775214B (zh) 一种基于多阶段分形组合的点云补全方法及系统
CN110853040B (zh) 一种基于超分辨率重建的图像协同分割方法
CN114638408A (zh) 一种基于时空信息的行人轨迹预测方法
CN113298017A (zh) 一种针对视频行为检测的行为提议生成方法
CN112634135B (zh) 基于超分辨率风格迁移网络的遥感影像超分辨率重建方法
CN115631115B (zh) 基于递归Transformer的动态图像复原方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination