CN109872278A - 基于u形网络和生成对抗网络的图像云层移除方法 - Google Patents

Abstract

本发明涉及信息技术领域，涉及一种基于U形网络和生成对抗网络的图像云层移除方法,包括以下步骤：S1：对需要完成半遮挡云层移除操作的卷积神经网络、图像缺失部分的修补操作的生成对抗网络进行训练；S2：将图像输入以上卷积神经网络中，执行半遮挡云层移除操作，得到恢复后的地面图片；S3：比较由卷积神经网络提取得到的云层图片，选取得到每个图片区域中云层最薄的部分，将其拼合为一张图片；S4：使用云层厚度图对被云层完全遮挡的区域进行标记，与地面图片一并传入生成对抗网络的生成器，完成对完全遮挡区域的修补，从而得到将云层完全移除的地面图片。本发明只需要输入单一光谱图片，就能得到结果，解决了多光谱图片获取困难的问题。

Description

基于U形网络和生成对抗网络的图像云层移除方法

技术领域

本发明涉及信息技术领域，具体而言，涉及一种基于U形网络和生成对抗网络的图像云层移除方法。

背景技术

随着遥感技术与航天技术的发展，高分辨率的卫星图像在城市管理、气象预测、军事侦察等任务上被广泛使用。然而，由于云层对地面的遮挡，卫星无法从空中拍摄得到完整的地面图片。

直观的解决方案是：持续记录某个区域的卫星图像观测数据，得到多帧卫星图像，由于云层本身的移动，受云层遮挡的地面在云层消散后能够被卫星观测到，因此可以通过对多帧图像中的云层进行识别，筛选出没有被遮挡的区域，并进行拼合，最终得到将云层尽可能移除的地面观测图片。

现有的采用多帧图像云层移除方法，基于“地面观测图片在多帧图像的拍摄期间没有发生改变或缓变”这一假设。然而，这个假设给这个算法带来两个缺陷：

1)短时间内的多帧图片获取成本高、难度大：获取高分辨率的地面图片的时候，卫星需要先拍摄多张不同区域的图片，然后将它们拼合为一整张图片。因此，卫星不容易在短时间内获取同一个地方的多张图片。这些原因造成获取多帧卫星图片的费用高昂，使卫星拍摄效率低下，见附图1，拼凑感明显的卫星图片，来自论文Filmy Cloud Removal onSatellite Imagery with Multispectral Conditional Generative Adversarial Nets(使用多光谱的条件生成对抗网络移除卫星图像中的模糊云层)；

2)多帧图像获取期间，地面观测数据发生的改变不可忽略：在不同时间拍摄的卫星图片，会因为地球自转引起的光线变化而发生不可忽略的变化(例如中午，黄昏的光线不同)；除了极少数的同步卫星，普通卫星相对于地面并不是静止的，运动中的卫星每隔一段时间对同一个区域进行拍摄，会由于拍摄角度的变化而拍到差异较大的地面图片(尤其是城市景观中的高层建筑)。这些原因造成区域替换得到的图片，有多张图片拼凑的痕迹，对图片的使用效果有直接的影响，见附图2，第一行左起第一幅图为原始视频图片(选取其中的一帧进行展示)，第二幅图为模拟的云雾遮盖图片，第三幅图为云雾检测图片，其余图片为多帧图片云雾移除方案的结果。注意图中的电梯台阶，由于台阶的移动，造成多帧拼合方法无法得出正确的背景图片，具体表现为：在所有背景图片恢复结果中，对台阶区域图像的恢复都是模糊的，图片来自论文Removing Clouds and Recovering Ground Observationsin Satellite Image Sequences via Temporally Contiguous Robust MatrixCompletion(通过一段时间内连续的卫星图像序列，使用稳健矩阵填充，将云层移除，恢复地面观测图片)。

发明内容

为解决上述背景技术中存在的问题，本发明提出一种基于U形网络和生成对抗网络的图像云层移除方法，其在可见光图片数据集上训练神经网络，使用人员只需要输入单一光谱图片，就能得到结果，解决了多光谱图片获取困难的问题。另外，本发明通过生成对抗网络，能够恢复被云层完全遮挡的区域，拓宽了本发明的使用场景。

本发明解决上述问题的技术方案是：一种基于U形网络和生成对抗网络的图像云层移除方法，其特殊之处在于，包括以下步骤：

S1：分别训练两个神经网络，训练方法如下：

对需要完成半遮挡云层移除操作的卷积神经网络进行训练；

对需要完成图像缺失部分的修补操作的生成对抗网络进行训练；

S2：利用上一步训练得到的卷积神经网络，将图像输入在上一步中训练得到的卷积神经网络中，执行半遮挡云层移除操作，得到恢复后的地面图片，以及这张图片对应的表示云层厚度的灰度图；

S3：若输入单帧图片，则进入下一步；若输入多帧图片，则比较由卷积神经网络提取得到的云层图片，选取得到每个图片区域中云层最薄的部分，将其拼合为一张图片，同时，也对云层厚度图进行相同的拼合，将拼合得到的地面图片与其对应的云层厚度图一同输出；

S4：半遮挡云层移除操作后，图片中还存在被过厚云层遮挡的部位未得到恢复；此时，使用云层厚度图对被云层完全遮挡的区域进行标记，与地面图片一并传入生成对抗网络的生成器，完成对完全遮挡区域的修补，从而得到将云层完全移除的地面图片。

进一步地，上述步骤S1中：

对需要完成半遮挡云层移除操作的卷积神经网络进行训练，具体为：

在可见光无云卫星图像上，叠加带阿尔法通道的云层图像，其中，使用灰度图表示云层厚度，云层厚度即为云层图像的不透明度，构造丰富的可见光有云卫星图像，作为训练卷积神经网络完成半遮挡云层移除操作的数据集，将卷积网络生成的云层图像与原始云层图像相减求得差数，将卷积网络生成的地面图像叠加上云层，然后与有云卫星图像相减求得差数，最终将这两个差数取绝对值相加，构建损失函数：

M＝c

x_o＝M⊙c+(1-M)⊙b

x_g＝M⊙F_c(x_o)+(1-M)⊙F_b(x_o)

公式(1)是卷积神经网络的损失函数，其中，x为需要进行云层移除操作的图像，b为真实的地面图像，c为真实的云层图像，函数F_b(x)输入卫星图像，输出地面图像的函数，函数F_c(x)输入卫星图像，然后输出云层图像的函数，M为掩膜层，可以直接使用云层图像作为阿尔法通道，x_o为叠加了真实云层图像的真实地面图像；x_g为叠加了云层图像的地面图像，该云层图像与地面图像都是由卷积网络生成的)；符号“⊙”表示矩阵对应位置相乘，||x||₁表示对x取绝对值范数。

进一步地，上述步骤S1中，

对需要完成图像缺失部分的修补操作的生成对抗网络进行训练，具体为：

在可见光无云卫星图像上，不规则地生成掩膜层作为修复标记，根据修复标记生成缺失部分区域的图片；将这些缺损的图片作为训练集，输入到生成器中，得到修补后的地面图片，将这张地面图片与原始图片一同传入判别器，判别器判断图片是否为原始图片；此时，把准确判别原始图片作为判别器的优化方向，把生成与地面图片高度相似的图片作为生成器的优化方向，分别构建损失函数：

公式(2)是生成对抗网络损失函数的优化方向；其中，x为需要进行云层移除操作的图像；b为保存在缓存里面的云层移除历史结果，用于增强生成对抗网络判别器训练稳定性；G(X)与D(X)分别为生成对抗网络的生成器与判别器，空心符号V(G,D)为生成对抗网络的价值函数，优化方向是最小化损失函数以优化生成器G，最大化损失函数以优化判别器D；

使用梯度下降算法，更新神经网络的模型参数权值，最小化损失函数，直到损失函数收敛，训练完成。

本发明的优点：

1)对比以往的多帧图片云层移除方法，本发明通过生成对抗网络，可以直接对输入的单帧图像进行云层移除操作，达到不依赖多帧图像就能移除云层的目的；

2)本发明通过卷积网络对图片执行半遮挡云层移除操作的同时，也将半遮挡云层移除后的图片的对应云层厚度一并输出，使得本发明在支持单帧图像云层移除操作的同时，也兼容多帧图像的云层移除操作；而输入多帧图像数据，可以提高输出的地面观测图片的恢复效果，提高了云层去除的效率，降低了本发明的使用成本；

3)本发明中在对多帧图片的进行云层移除的时候，图片上可以分为两种类型的区域：a、存在某一帧没有被云层完全遮挡过的区域；b、在每一帧中都被云层完全遮挡的区域。第1类区域可通过半遮挡云层移除操作以及区域替换，将地面信息恢复出来。对于第2类区域，以往的多帧图片云层移除算法无法恢复，而本发明提供的方法依靠对周围地面信息的分析，结合统计数据执行图像修补操作完成恢复；在相同的数据输入下，本发明可以恢复出更多的云层遮挡区域；

4)对比以往的多光谱云层移除方法，本发明在可见光图片数据集上训练神经网络，使用人员只需要输入可见光图片，就能得到结果，解决了多光谱图片获取困难的问题。另外，拍摄的时候，被云层完全遮挡的区域，本发明也可以通过生成对抗网络的生成器，基于对训练数据的统计结果，将被云层完全遮挡区域进行恢复，拓宽了本发明的使用场景，降低了本发明的使用成本。

附图说明

图1是通过现有技术拼合的卫星图片；

图2是通过现有技术拼合的另一组卫星图片；

图3是本发明的流程图；

图4是本发明实施例中的执行云层提取与半遮挡云层移除操作的卷积网络结构图；

图5是本发明实施例中的执行图片修补操作的生成对抗网络的结构图；

图6是本发明实施例中的多帧图片执行区域替换后，拼合得到的地面图片的流程图；

图7是本发明实施例中的执行半遮挡云层移除操作得到的地面图片；

图8是本发明实施例中的执行完全遮挡云层移除操作得到的地面图片；

图9是本发明实施例中的多帧拼合得到的地面图片；

图10是本发明与现行方案进行对比的图片。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

参见图3，一种基于U形网络和生成对抗网络的图像云层移除方法，包括以下步骤：

S1：分别训练两个神经网络，训练方法如下：

对需要完成半遮挡云层移除操作的卷积神经网络进行训练；

对需要完成图像缺失部分的修补操作的生成对抗网络进行训练；

S2：利用上一步训练得到的卷积神经网络，将图像输入在上一步中训练得到的卷积神经网络中，执行半遮挡云层移除操作，得到恢复后的地面图片，以及这张图片对应的表示云层厚度的灰度图；

S3：若输入单帧图片，则进入下一步；若输入多帧图片，则比较由卷积神经网络提取得到的云层图片，选取得到每个图片区域中云层最薄的部分，将其拼合为一张图片，同时，也对云层厚度图进行相同的拼合，将拼合得到的地面图片与其对应的云层厚度图一同输出；

S4：半遮挡云层移除操作后，图片中还存在被过厚云层遮挡的部位未得到恢复；此时，使用云层厚度图对被云层完全遮挡的区域进行标记，与地面图片一并传入生成对抗网络的生成器，完成对完全遮挡区域的修补，从而得到将云层完全移除的地面图片。

进一步地，上述步骤S1中：

对需要完成半遮挡云层移除操作的卷积神经网络进行训练，具体为：

在可见光无云卫星图像上，叠加带阿尔法通道的云层图像，其中，使用灰度图表示云层厚度，云层厚度即为云层图像的不透明度，构造丰富的可见光有云卫星图像，作为训练卷积神经网络完成半遮挡云层移除操作的数据集，将卷积网络生成的云层图像与原始云层图像相减求得差数，将卷积网络生成的地面图像叠加上云层，然后与有云卫星图像相减求得差数，最终将这两个差数取绝对值相加，构建损失函数：

M＝c

x_o＝M⊙c+(1-M)⊙b

x_g＝M⊙F_c(x_o)+(1-M)⊙F_b(x_o)

公式(1)是卷积神经网络的损失函数，其中，x为需要进行云层移除操作的图像，b为真实的地面图像，c为真实的云层图像，函数F_b(x)输入卫星图像，输出地面图像的函数，函数F_c(x)输入卫星图像，然后输出云层图像的函数，M为掩膜层，可以直接使用云层图像作为阿尔法通道，x_o为叠加了真实云层图像的真实地面图像；x_g为叠加了云层图像的地面图像，该云层图像与地面图像都是由卷积网络生成的)；符号“⊙”表示矩阵对应位置相乘，||x||₁表示对x取绝对值范数。

进一步地，上述步骤S1中，

对需要完成图像缺失部分的修补操作的生成对抗网络进行训练，具体为：

在可见光无云卫星图像上，不规则地生成掩膜层作为修复标记，根据修复标记生成缺失部分区域的图片；将这些缺损的图片作为训练集，输入到生成器中，得到修补后的地面图片，将这张地面图片与原始图片一同传入判别器，判别器判断图片是否为原始图片；此时，把准确判别原始图片作为判别器的优化方向，把生成与地面图片高度相似的图片作为生成器的优化方向，分别构建损失函数：

公式(2)是生成对抗网络损失函数的优化方向；其中，x为需要进行云层移除操作的图像；b为保存在缓存里面的云层移除历史结果，用于增强生成对抗网络判别器训练稳定性；G(X)与D(X)分别为生成对抗网络的生成器与判别器，空心符号V(G,D)为生成对抗网络的价值函数，优化方向是最小化损失函数以优化生成器G，最大化损失函数以优化判别器D；

使用梯度下降算法，更新神经网络的模型参数权值，最小化损失函数，直到损失函数收敛，训练完成。

实施例：

本发明基于深度学习神经网络对训练数据的统计，提取云层特征，完成云层移除，并根据生成对抗网络学习对图像缺失区域的恢复，方法的详细阐述如下：

在第一步中，需要分别训练两个神经网络，其中执行云层提取与半遮挡云层移除的神经网络主体是一个U形网络，输入的图片通过采样和叠放，组成一个四维张量，该张量的第一个维度是图片的数量，第二、第三维度是图片的长宽，第四个维度是图片的通道。为了方便卷积操作，采样后的图片的长宽是2的整数次幂的倍数，这个四维张量转化为浮点数后，被输入到U形网络中。

U形网络由卷积层，以及转置卷积层组成，U形网络的深度要大于6层，其中：多层卷积部分由卷积函数组成，均为3x3的N通道卷积核，第一层的卷积函数通道数量N为24，可设置为其他大小，每一层的卷积函数，其通道数量为上一层的2倍。由于卷积步长设置为2，导致每往下一层输出的张量，其长宽会减少为原来的一半。

流经语义信息处理层的张量拥有较多的通道数量，与较小的长宽，语义信息处理层交叉使用了卷积函数与转置卷积函数，因此在不使用填充的情况下，能够维持张量长宽的大小不变。

多层转置卷积部分的结构与多层卷积部分是对称的，区别在于张量在经过转置卷积后，其长宽会增加为原来的两倍。另外，转置卷积层输出的张量，会与对应卷积层输出的张量(长宽相同)，在通道轴上拼合为一个张量，输入到下一层的转置卷积函数内。

以上网络结构的激活函数均为泄露线性整流函数(leaky RectifiedLinearUnit,leaky Relu)，为了减少训练时间，需要在每一个转置卷积函数后面，加上批量正则化函数，除了输出层，输出层使用了反正弦函数作为激活函数。执行云层提取与半遮挡云层移除的神经网络的结构见图4。

在第一步中，另一个执行完全遮挡云层移除操作的神经网络，主体是一个生成对抗网络。网络包含一个判别器，与一个生成器，其中：生成器的是一个自动编码器的结构，与上述的U形网络的区别在于转置卷积层的输出直接作为下一层转置卷积层的输入。并且为了保证图片修补效果，生成器的语义信息处理部分的需要6层以上的卷积与转置卷积网络。判别器的结构与上述U形网络的区别在于删掉了转置卷积层，输出层直接将张量进行全局平均池化，经过反正弦函数的激活后，张量被映射到(-1，+1)的开区间内。执行完全遮挡云层移除操作的生成对抗网络的结构见图5.

半遮挡云层移除操作的卷积神经网络的训练细节：在可见光无云卫星图像上，叠加带阿尔法通道的云层图像(使用灰度图表示云层厚度，云层厚度即为云层图像的不透明度)，作为训练卷积神经网络完成半遮挡云层移除操作的数据集，传入卷积神经网络，得到一个四通道的张量，一个通道为云层厚度，另外通道为三通道的地面图片。将卷积网络生成的云层图像与原始云层图像相减求得差异，将卷积网络生成的半遮挡云层移除地面图像叠加上带有阿尔法通道的云层图片，然后与有云卫星图像相减求得差数，最终将这两个差数取绝对值相加，构建损失函数，见公式1。

生成对抗网络进行训练细节：不规则地生成掩膜层，要求掩膜层是不规则的块状图案，而不是条状或者点状。然后根据掩膜层删除可见光无云卫星图像上的对应区域，从而生成缺失部分区域的图片，并输入生成器，得到修补后的地面图片，将地面图片与原始图片一同传入判别器，当判别器输出-1到+1之间的数值，这个数值越大，证明判别器认为图片来源于真实图片的可能性越高。此时，把准确判别真实图片作为判别器的优化方向，把生成与地面图片高度相似的图片作为生成器的优化方向，分别构建损失函数，见公式2。

使用梯度下降算法，更新神经网络的模型参数权值，最小化损失，直到损失收敛。可以使用Adam Optimizer(亚当优化器)等优化器进行权重参数的更新。

训练后得到两个神经网络模型，可以把待处理的图像输入卷积神经网络，执行半遮挡云层移除操作，得到恢复后的地面图片，以及对应的表示云层厚度的灰度图。

若输入单帧图片，则跳过这一步，若输入多帧图片，则比较云层厚度图片，选取得到每个图片区域中云层最薄的部分，将其拼合为一张图片，同理，也对云层厚度图片进行相同的拼合。其中，进行区域划分的时候，需要将多个像素划分为一个子区域。将拼合得到的地面图片与其对应的云层厚度灰度图一同输出。多帧图片执行区域拼合操作的流程图见图6，本发明的流程图见图7。

半遮挡云层移除操作后得到的地面图片中，还存在被过厚云层遮挡的部位未得到恢复。此时，使用云层厚度图对被云层完全遮挡的区域进行标记，与地面图片一起传入生成对抗网络的生成器中，完成对被云层完全遮挡的区域的图片修补，从而得到将云层完全移除的地面图片。

本发明的关键点1：

将图片的云层移除任务进行分解，分解为基于卷积网络的半遮挡云层移除的任务一：对半遮挡的云层覆盖的地面区域使用卷积网络执行半遮挡云层移除操作，由于半云层遮挡下的地面信息没有丢失，所以半遮挡云层的移除可以通过对颜色色值的线性变换，从而还原地面图片；与基于生成对抗网络的全遮挡云层移除的任务二：对于不透明云层将地面信息完全遮盖，导致地面信息完全丢失的情况，使用线性变换不可能恢复地面图片，因此本发明使用深度学习的生成对抗网络对图像进行补全。所以本发明将图片的云层移除任务拆分为两个任务，逐步解决问题，是关键创新点。

本发明的关键点2：

设计损失函数的时候使用叠加了云层的地面图像，而不是直接是使用地面图像。这个关键创新点过滤了训练中人为的误导信息，保证了半遮挡云层移除操作的准确性。在训练卷积神经网络执行半遮挡云层移除操作的时候，设计了一个损失函数，这个损失函数没有直接将半遮挡云层移除后的地面图像与原始地面图像相比较，而是与地面图像一同叠加云层的之后，再进行比较。修改后的损失函数能使减少卷积网络的错误训练，提高了地面图片质量。

本发明的关键点3：

使用生成对抗网络，解决以往无法移除全遮挡云层的难题。在云层的完全遮盖下，地面信息已经完全损失，所以要使用基于博弈论的生成对抗网络，通过生成器自动识别缺损区域周围的形状、纹理，并根据训练集的统计规律生成修补区域的图像，学习缺损区域的修补，解决了以往方法不能恢复一直被云层完全遮盖的地面的难题。

本发明已经经过实验，对云层移除任务进行了模拟。实验使用了从法国国家信息与自动化研究所网站(https://project.inria.fr/aerialimagelabeling/)下载的无云卫星图片，以及从美国国家海洋和大气管理局网站(https://www.nesdis.noaa.gov/content/imagery-and-data)下载的近远红外光谱图片(显示云层厚度的图片)，在服务器上依照本发明的方法进行训练，得到的结果如图8、图9所示。

附图8中，第一行是有缺损的图片，缺损部位使用白色进行标记；第二行是原始的地面图片；第三行是生成器输出的地面图片；第四行是对图片缺损部位进行标记的掩膜层。

附图9中，多帧拼合得到的地面图片，无法恢复一直被云层完全遮挡的地面；卷积网络输出的地面图片，无法正确地恢复被云层完全遮挡的地面，只有对抗网络能够恢复得到完整的地面图片，值得一提的是，对抗网络恢复的到达地面图片，与真实的地面图片不完全相同。为了使结果能够比较，输入模型的卫星图片，由真实的地面图片叠加上真实的云层图片得到的模拟云层覆盖的图片，不是真实的卫星图片。与对比方案相比，本发明用对抗网络输出的地面可以恢复被云层完全遮挡的区域。

附图10中，对比方案采用的输入数据。使用8帧卫星图片作为输入，进行云层移除操作。图片采用远红外光谱数据作为云层图像数据，叠加在可见光图片上，得到覆盖有云层的多帧卫星图片数据。

附图10中，本发明与对比方案的细节对比结果。与本发明进行对比的方案1使用了矩阵填充的方法，该方案2016年发表在IEEE Conference on Computer Vision andPattern Recognition上面的Removing Clouds and Recovering Ground Observationsin Satellite Image Sequences via Temporally Contiguous Robust MatrixCompletion(通过一段时间内连续的卫星图像序列，使用稳健的矩阵填充，将云层移除，恢复地面观测图片)；与本发明进行对比的方案2使用了多时态字典学习的方法，该方案2016年发表在IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING上面的Cloud RemovalBased on SparseRepresentation via Multitemporal Dictionary Learning(基于稀疏表示的多时相字典学习的云层去除方法)。

在附图10中，可以看到，森林以及林中的小路恢复情况：对比方案2无法清晰地恢复地面图像，而本发明的方案可以恢复出有纹理细节的树冠，尽管恢复得到的树冠与原图的树冠不同；屋顶的恢复情况：而本发明的方案清晰地恢复出了屋顶轮廓，甚至还原了阴影，尽管阴影存在明显的变形，而对比方案2无法得到清晰的结果。

表1

表1为多帧拼合方法与本发明方法的对比表格，使用公式3定义的相对重建误差(relative reconstruction error，REF)作为衡量恢复图片与真实图片的差异，恢复图片与真实图片的差异越小，恢复效果越好，本发明采用的方法优于对比方案1与对比方案2。

以上所述仅为本发明的实施例，并非以此限制本发明的保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的系统领域，均同理包括在本发明的保护范围内。

Claims (3)

1.一种基于U形网络和生成对抗网络的图像云层移除方法，其特殊之处在于，包括以下步骤：

S1：分别训练两个神经网络，训练方法如下：

对需要完成半遮挡云层移除操作的卷积神经网络进行训练；

对需要完成图像缺失部分的修补操作的生成对抗网络进行训练；

S2：利用上一步训练得到的卷积神经网络，将图像输入在上一步中训练得到的卷积神经网络中，执行半遮挡云层移除操作，得到恢复后的地面图片，以及这张图片对应的表示云层厚度的灰度图；

S3：若输入单帧图片，则进入下一步；若输入多帧图片，则比较由卷积神经网络提取得到的云层图片，选取得到每个图片区域中云层最薄的部分，将其拼合为一张图片，同时，也对云层厚度图进行相同的拼合，将拼合得到的地面图片与其对应的云层厚度图一同输出；

S4：使用云层厚度图对被云层完全遮挡的区域进行标记，与地面图片一并传入生成对抗网络的生成器，完成对完全遮挡区域的修补，从而得到将云层完全移除的地面图片。

2.根据权利要求1所述的一种基于U形网络和生成对抗网络的图像云层移除方法，其特殊之处在于：步骤S1中：

对需要完成半遮挡云层移除操作的卷积神经网络进行训练，具体为：

在可见光无云卫星图像上，叠加带阿尔法通道的云层图像，其中，使用灰度图表示云层厚度，云层厚度即为云层图像的不透明度，构造丰富的可见光有云卫星图像，作为训练卷积神经网络完成半遮挡云层移除操作的数据集，将卷积网络生成的云层图像与原始云层图像相减求得差数，将卷积网络生成的地面图像叠加上云层，然后与有云卫星图像相减求得差数，最终将这两个差数取绝对值相加，构建损失函数：

M＝c

x_o＝M⊙c+(l-M)⊙b

x_g＝M⊙F_c(x_o)+(l-M)⊙F_b(x_o)

公式(1)是卷积神经网络的损失函数，其中，x为需要进行云层移除操作的图像，b为真实的地面图像，c为真实的云层图像，函数F_b(x)输入卫星图像，输出地面图像的函数，函数F_c(x)输入卫星图像，然后输出云层图像的函数,M为掩膜层，可以直接使用云层图像作为阿尔法通道，x_o为叠加了真实云层图像的真实地面图像；x_g为叠加了云层图像的地面图像，该云层图像与地面图像都是由卷积网络生成的)；符号“⊙”表示矩阵对应位置相乘，||x||₁表示对x取绝对值范数。

3.根据权利要求1所述的一种基于U形网络和生成对抗网络的图像云层移除方法，其特殊之处在于：步骤S1中，

对需要完成图像缺失部分的修补操作的生成对抗网络进行训练，具体为：

在可见光无云卫星图像上，不规则地生成掩膜层作为修复标记，根据修复标记生成缺失部分区域的图片；将这些缺损的图片作为训练集，输入到生成器中，得到修补后的地面图片，将这张地面图片与原始图片一同传入判别器，判别器判断图片是否为原始图片；此时，把准确判别原始图片作为判别器的优化方向，把生成与地面图片高度相似的图片作为生成器的优化方向，分别构建损失函数：

公式(2)是生成对抗网络损失函数的优化方向；其中，x为需要进行云层移除操作的图像；b为保存在缓存里面的云层移除历史结果，用于增强生成对抗网络判别器训练稳定性；G(X)与D(X)分别为生成对抗网络的生成器与判别器，空心符号V(G,D)为生成对抗网络的价值函数，优化方向是最小化损失函数以优化生成器G，最大化损失函数以优化判别器D；

使用梯度下降算法，更新神经网络的模型参数权值，最小化损失函数，直到损失函数收敛，训练完成。