CN115661002A - 基于gan的多时相遥感数据修复方法 - Google Patents

Abstract

本发明属于遥感技术领域，具体涉及一种基于GAN的多时相遥感数据修复方法，首先，创建多时相生成对抗网络，所述生成对抗网络包括多时相生成器和判别器，多时相生成器通过基础生成器的层内并联，层间串联得到；其次，对多时相生成对抗网络进行训练；最后，基于多张有质量缺失的多时相遥感数据通过多时相生成对抗网络对多时相遥感数据进行修复，得到已修复的遥感数据。本方法基于多张多时相遥感数据之间的信息互补通过多时相生成对抗网络完成数据修复，用于数据修复的多时相遥感数据既没有质量要求也没有配准要求，大大降低了多时相遥感数据获取的难度和遥感数据修复的门槛。

Description

基于GAN的多时相遥感数据修复方法

技术领域

本发明涉及遥感技术领域，具体涉及一种基于GAN的多时相遥感数据修复方法。

背景技术

由于传感器缺陷或大气状况，获取的遥感数据存在大量缺失信息（例如死像元、光污染、云污染），三种常见的缺失信息重建的方法分别是基于空间的方法，基于光谱的方法和基于时间的方法。基于空间的方法：通过待修复影像的自身信息（例如纹理信息）进行缺失信息的重建，没有任何其他的辅助信息来源；基于光谱的方法：通过待修复影像的其他光谱中提取互信息进行缺失信息的重建；基于时间的方法：通过待修复影像的相同位置的不同时间段获取的遥感数据中提取互信息进行缺失信息的重建。

目前基于时间的方法进行缺失信息重建有两个方面的难题，一方面，为了保证多时相遥感数据与待修复遥感数据之间的相关性，选取的多时相遥感数据与待修复遥感数据之间的采集时间间隔要保证足够小，以保证土地覆盖变化不大，但是，采集时间间隔很小的情况下，云等影响因素很难消失，导致每张多时相遥感数据都有大量的信息缺失区域，而且多时相遥感数据的信息缺失区域与待修复遥感数据的信息缺失区域大面积重合，因此不能得到信息缺失区域的真实信息，因此无法对信息缺失地区；另一方面，在进行待修复遥感数据的修复前，往往需要对多时相遥感数据进行几何精校准以保证多时相遥感数据之间的特征连续性，造成人力与数据处理空间的资源浪费。

发明内容

本发明提供一种基于GAN的多时相遥感数据修复方法，通过建立多时相对抗生成网络，根据多时相遥感数据与待修复遥感数据之间的相关性进行影像修复，该方法既不需要对多时相遥感数据进行几何精校准，又不对多时相遥感数据的质量做过多限制，即使多时相遥感数据与待修复遥感数据的信息缺失区域高度重合，利用该方法也能对信息缺失区域进行较好的修复。

本发明提供一种基于GAN的多时相遥感数据修复方法，包括：

S1获取训练样本集，训练样本集包括不同区域的训练样本组，训练样本组包括1个信息完整的遥感样本和N个信息缺失的多时相遥感数据，N个信息缺失的多时相遥感数据包括N-1个真实缺失的遥感数据和1个模拟缺失的遥感数据，N≥2；

S2构建多时相生成对抗网络，所述多时相生成对抗网络包括多时相生成器和判别器，所述多时相生成器通过多个基础生成器层内并联、层间串联得到，所述基础生成器包括1个编码器和1个解码器；

其中，所述多时相生成器的层数与N的取值有关：

当N=2，多时相生成器的层数L=2；

当N≥3，多时相生成器的层数L≥2；

S3通过训练样本集训练多时相生成对抗网络，得到训练的多时相生成对抗网络，包括训练的多时相生成器和训练的判别器；

S4获取待修复遥感数据组，包括1个待修复遥感数据，和N-1个待修复遥感数据的多时相遥感数据，所述多时相遥感数据包括真实缺失的遥感数据；

S5将待修复遥感数据组输入训练的多时相生成器，得到已修复的遥感数据。

进一步地，当多时相生成器的层数为3层时，多时相生成器包括N+

+1个基础生成器，N≥3，M＜N，步骤S5包括：

将待修复遥感数据组的遥感数据一一输入第1层的N个基础生成器，得到N个第一生成数据；

在N个第一生成数据中任取M个为一组基于通道维度进行合并，得到

个合并的第一生成数据；

将

个合并的第一生成数据一一输入第2层的

个基础生成器，得到

个第二生成数据；

将

个第二生成数据基于通道维度进行合并，得到1个合并的第二生成数据；

将1个合并的第二生成数据输入第3层的1个基础生成器，得到已修复的遥感数据。

进一步地，当多时相生成器的层数为2层时，所述多时相生成器包括N+1个基础生成器，N≥2，步骤S5包括：

将待修复遥感数据组的遥感数据一一输入对应的N个基础生成器，得到N个第一生成数据；

将N个第一生成数据基于通道维度进行合并，得到1个合并的第一生成数据；

将合并的第一生成数据输入1个基础生成器，得到已修复的遥感数据。

进一步地，步骤S3包括：

S31将N个信息缺失的遥感数据输入多时相生成器，得到生成的遥感数据；

S32将生成的遥感数据和N个信息缺失的遥感数据基于通道维度进行合并，得到合并的假数据，将信息完整的遥感样本和N个信息缺失的遥感数据基于通道维度进行合并，得到合并的真数据，将合并的假数据和合并的真数据分别输入判别器，得到合并的假数据的判别值和合并的真数据的判别值；

S33通过优化损失函数更新多时相生成对抗网络的网络参数：

所述损失函数包括第一损失和第二损失；

第一损失通过合并的假数据的判别值和合并的真数据的判别值计算得到；

第二损失通过生成的遥感数据和信息完整的遥感样本的曼哈顿距离计算得到；

S34重复执行步骤S31-S33，直至达到预设训练次数或合并的生成数据的判别值达到预设值。

进一步地，步骤S1包括：

获取信息完整的遥感样本；

获取所述信息完整的遥感样本同一区域、不同时相的真实缺失的遥感数据作为多时相遥感数据，真实缺失的遥感数据包括有阴影的遥感数据、有雾的遥感数据、有死像元的遥感数据；

对信息完整的遥感样本进行随机产生缺失值生成模拟缺失的遥感数据；

将多时相遥感数据和模拟缺失的遥感数据组成信息缺失的遥感数据；

将信息缺失的遥感数据和信息完整的遥感样本组成训练样本组。

本发明产生的有益效果是：

本发明对所选取的多时相遥感数据没有质量的要求，选取的多时相遥感数据可以是信息缺失的遥感数据；

同时，本发明对所选取的多时相遥感数据没有配准的要求，参与修复的多时相遥感数据不需要经过配准，即可实现数据的修复；

综上，相比现有的基于时间的遥感数据修复方法，本发明大大降低了多时相遥感数据的获取难度与获取门槛。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的基于GAN的多时相遥感数据修复方法流程图；

图2为本发明提供的多时相生成对抗网络的结构示意图；

图3为本发明提供的基础生成器的结构示意图；

图4为本发明一实施例提供的N=4时的3层结构的多时相生成器的修复过程示意图；

图5为本发明一实施例提供的N=4时的2层结构的多时相生成器的修复过程示意图；

图6为本发明一实施例提供的N=2时的2层结构的多时相生成器的修复过程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，本发明提供一种基于GAN的多时相遥感数据修复方法，该方法包括：

S1获取训练样本集，训练样本集包括不同区域的训练样本组，训练样本组包括1个信息完整的遥感样本和N个信息缺失的遥感数据，N个信息缺失的遥感数据包括N-1个多时相遥感数据和1个模拟缺失的遥感数据，N≥2；

训练样本集为{y₀,x₀,x₁,...,x_N-1}，y₀为信息完整的遥感样本，x₀,x₁,...,x_N-1为信息缺失的遥感数据样本，其中x₀为模拟缺失的遥感数据，是对y₀进行随机产生缺失值生成的，x₁,...,x_N-1为真实缺失的遥感数据，是从现有的真实缺失的遥感数据中筛选出来的y₀的多时相遥感数据，多时相遥感数据指的是同一区域、不同时相的一组遥感数据；

其中，真实缺失的遥感数据包括有阴影的遥感数据、有雾的遥感数据、有云的遥感数据、有死像元的遥感数据。

S2构建多时相生成对抗网络，所述多时相生成对抗网络包括多时相生成器和判别器，所述多时相生成器由多个基础生成器通过层内并联、层间串联得到，所述基础生成器包括1个编码器和1个解码器；

其中，所述多时相生成器的层数与N有关：

当N=2，多时相生成器的层数L=2；

当N≥3，多时相生成器的层数L≥2。

S3通过训练样本集训练多时相生成对抗网络，得到训练的多时相生成对抗网络。

请参考图2，多时相生成对抗网络的训练过程如下：

S31将N个信息缺失的遥感数据x₀,x₁,...,x_N-1输入多时相生成器，得到生成的遥感数据G(x₀)。

本步骤与步骤S5一致，在此不做赘述，请参考本说明书具体实施方式中步骤S5的具体细节，S31中的N个信息缺失的遥感数据相当于S5中的待修复遥感数据组，S31中的生成的遥感数据相当于S5中的已修复的遥感数据。

S32将生成的遥感数据G(x₀)和N个信息缺失的遥感数据x₀,x₁,...,x_N-1基于通道维度进行合并，得到合并的假数据concat(G(x₀)，(x₀,x₁,...,x_N-1)，同时将信息完整的遥感样本y₀和N个信息缺失的遥感数据x₀,x₁,...,x_N-1基于通道维度进行合并，得到合并的真数据concat(y₀，(x₀,x₁,...,x_N-1))，将以上两个合并的数据输入判别器，得到合并的假数据的判别值D(concat(G(x₀)，(x₀,x₁,...,x_N-1))和合并的真数据的判别值D(concat(y₀，(x₀,x₁,...,x_N-1))；

在具体实现中，将合并的假数据和合并的真数据分别输入到判别器中，是为了判断该输入是否为一对真实的数据。

S33通过优化损失函数更新多时相生成对抗网络的网络参数：所述损失函数包括第一损失L₁和第二损失L₂；

第一损失通过合并的假数据的判别值D(concat(G(x₀)，(x₀,x₁,...,x_N-1))和合并的真数据的判别值D(concat(y₀，(x₀,x₁,...,x_N-1))计算得到：

第一损失表示为下式：

其中，D(concat(G(x₀)，(x₀,x₁,...,x_N-1))为合并的假数据的判别值，D(concat(y₀，(x₀,x₁,...,x_N-1))为合并的真数据的判别值。

第二损失通过G(x₀)和y₀的曼哈顿距离得到：

第二损失表示为下式：

其中，G(x₀)为生成的遥感数据，y₀为信息完整的遥感样本。

最终，对损失函数进行优化，得到的最优多时相生成器为：

其中，L₁为第一损失，L₂为第二损失，λ为系数，G为多时相生成器，D为判别器。

S4获取待修复遥感数据组，包括1个待修复遥感数据，和N-1个待修复遥感数据的多时相遥感数据，其中，待修复遥感数据为真实缺失的遥感数据所述待修复遥感数据的多时相遥感数据包括真实缺失的遥感数据；

首先，获取1个待修复遥感数据x₀；

然后，获取N-1个x₀的多时相遥感数据x₁,...,x_N-1，即与x₀同一区域、不同时相的遥感数据，其中获取x₀的多时相遥感数据的时候，可以获取完整的无缺陷的遥感数据，也可以获取真实缺失的遥感数据；

最后，将以上N个遥感数据组成待修复遥感数据组{x₀,x₁,...,x_N-1}。

S5将待修复遥感数据组输入训练的多时相生成器，得到已修复的遥感数据。

所述多时相生成器为3层结构时，多时相生成器包括N+

+1个基础生成器，其中M＜N，步骤S5包括：

将待修复遥感数据组中N 个遥感数据x₀,x₁,...,x_N-1分别输入第一层的N个基础生成器，得到N个第一生成数据x₀ ¹,x₁ ¹,...,x_N-1 ¹；

在N个第一生成数据中任取M个为一组基于通道维度进行合并，M＜N，得到

个合并的第一生成数据；

将

个合并的第一生成数据分别输入

个基础生成器，得到

个第二生成数据

；

将

个第二生成数据基于通道维度进行合并，得到1个合并的第二生成数据；

并将合并的第二生成数据输入1个基础生成器，得到修复的遥感数据G(x₀)。

所述多时相生成器的层数为2层时，所述多时相生成器包括N+1个基础生成器，N≥2，步骤S5包括：

将待修复遥感数据组的遥感数据一一输入对应的N个基础生成器，得到N个第一生成数据；

将N个第一生成数据基于通道维度进行合并，得到1个合并的第一生成数据；

将合并的第一生成数据输入1个基础生成器，得到已修复的遥感数据。

请参考图3，基础生成器包括一个编码器和一个解码器：

通过编码器把高维度的输入x编码成低维度的中间变量z，然后通过解码器把低维度的中间变量z编码成高维度的输出gan(x)。

当N=4时，多时相生成器的层数L≥2，分别以L=2（具体实施例二）和L≥3（具体实施例一）两种情况对步骤S5进行补充说明：

具体实施例一

请参考图4，当N=4时，以L=3为例代表L≥3的情况，此时步骤S5包括：

将待修复遥感数据组中4个遥感数据x₀,x₁,x₂,x₃分别输入第1层的4个基础生成器，得4个第一生成数据x₀ ¹,x₁ ¹,x₂ ¹,x₃ ¹；

其中，x₀ ¹=gan(x₀)，x₁ ¹=gan(x₁)，x₂ ¹=gan(x₂)，x₃ ¹=gan(x₃)；

在4个第一生成数据中任取3个为一组基于通道维度进行合并，M＜N，得到4个合并的第一生成数据；

其中，

=4，第一生成数据的4种组合方式分别是{x₀ ¹,x₁ ¹,x₂ ¹}，{x₁ ¹,x₂ ¹,x₃ ¹}，{x₂ ¹,x₃ ¹,x₀ ¹}，{x₃ ¹,x₀ ¹,x₁ ¹}，分别将以上四种组合基于通道维度进行合并，得到4个合并的第一生成数据：concat(x₀ ¹,x₁ ¹,x₂ ¹),concat(x₁ ¹,x₂ ¹,x₃ ¹),concat(x₂ ¹,x₃ ¹,x₀ ¹)和concat(x₃ ¹,x₀ ¹,x₁ ¹)；

将4个合并的第一生成数据分别输入第2层的4个基础生成器，得到4个第二生成数据x₀ ²,x₁ ²,x₂ ²,x₃ ²；

其中x₀ ²=gan(concat(x₀ ¹,x₁ ¹,x₂ ¹))，x₁ ²=gan(concat(x₁ ¹,x₂ ¹,x₃ ¹))，x₂ ²=gan(concat(x₂ ¹,x₃ ¹,x₀ ¹))，x₃ ²=gan(concat(x₃ ¹,x₀ ¹,x₁ ¹))，gan为基础生成器；

将4个第二生成数据x₀ ²,x₁ ²,x₂ ²,x₃ ²基于通道维度进行合并，得到1个合并的第二生成数据concat(x₀ ²,x₁ ²,x₂ ²,x₃ ²)；

将合并的第二生成数据concat(x₀ ²,x₁ ²,x₂ ²,x₃ ²)输入第3层的1个基础生成器，得到1个第三生成数据gan(concat(x₀ ²,x₁ ²,x₂ ²,x₃ ²))，将第三生成数据gan(concat(x₂ ¹,x₃ ¹,x₀ ¹))作为已修复的遥感数据G(x₀)，完成多时相遥感数据的修复。

其中，gan为基础生成器，GAN为多时相生成器。

具体实施例二

请参考图5，当N=4时，以L=2的情况为例，此时步骤S5包括：

将待修复遥感数据组中4个遥感数据x₀,x₁,x₂,x₃分别输入第1层的4个基础生成器，得到4个第一生成数据x₀ ¹,x₁ ¹,x₂ ¹,x₃ ¹；

将4个第一生成数据x₀ ¹,x₁ ¹,x₂ ¹,x₃ ¹基于通道维度进行合并，得到1个合并的第一生成数据concat(x₀ ¹,x₁ ¹,x₂ ¹,x₃ ¹)；

将合并的第一生成数据concat(x₀ ¹,x₁ ¹,x₂ ¹,x₃ ¹)输入第2层的1个基础生成器，得到第二生成数据gan(concat(x₀ ¹,x₁ ¹,x₂ ¹,x₃ ¹))，将第二生成数据gan(concat(x₀ ¹,x₁ ¹,x₂ ¹,x₃ ¹))作为已修复的遥感数据G(x₀)，完成多时相遥感数据的修复，其中，gan为基础生成器，GAN为多时相生成器。

当N=2时，多时相生成器的层数L=2，以具体实施三对步骤S5进行补充说明。

具体实施例三

请参考图6，当所述多时相生成器为2层结构，多时相生成器包括3个基础生成器，当N=2时，步骤S5包括：

将x₀,x₁分别输入第1层的2个基础生成器，得到N个第一生成数据x₀ ¹,x₁ ¹；

将N个第一生成数据基于通道维度进行合并，得到1个合并的第一生成数据concat(x₀ ¹,x₁ ¹)；

将合并的第一生成数据输入第2层的1个基础生成器，得到第二生成数据gan(concat(x₀ ¹,x₁ ¹))，将第二生成数据gan(concat(x₀ ¹,x₁ ¹))作为已修复的遥感数据G(x₀)，完成多时相遥感数据的修复，其中，gan为基础生成器，GAN为多时相生成器。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于GAN的多时相遥感数据修复方法，其特征在于，包括：

S1获取训练样本集，训练样本集包括不同区域的训练样本组，训练样本组包括1个信息完整的遥感样本和N个信息缺失的多时相遥感数据，N个信息缺失的多时相遥感数据包括N-1个真实缺失的遥感数据和1个模拟缺失的遥感数据，N≥2；

S2构建多时相生成对抗网络，所述多时相生成对抗网络包括多时相生成器和判别器，所述多时相生成器由多个基础生成器通过层内并联、层间串联得到，所述基础生成器包括1个编码器和1个解码器；

其中，所述多时相生成器的层数与N的取值有关：

当N=2，多时相生成器的层数L=2；

当N≥3，多时相生成器的层数L≥2；

S3通过训练样本集训练多时相生成对抗网络，得到训练的多时相生成对抗网络，包括训练的多时相生成器和训练的判别器；

S4获取待修复遥感数据组，包括1个待修复遥感数据，和N-1个待修复遥感数据的多时相遥感数据，所述多时相遥感数据包括真实缺失的遥感数据；

S5将待修复遥感数据组输入训练的多时相生成器，得到已修复的遥感数据。

2.根据权利要求1所述的方法，其特征在于，当多时相生成器的层数为3层时，多时相生成器包括N+

+1个基础生成器，N≥3，M＜N，步骤S5包括：

将待修复遥感数据组的遥感数据一一输入第1层的N个基础生成器，得到N个第一生成数据；

在N个第一生成数据中任取M个为一组基于通道维度进行合并，得到

个合并的第一生成数据；

将

个合并的第一生成数据一一输入第2层的

个基础生成器，得到

个第二生成数据；

将

个第二生成数据基于通道维度进行合并，得到1个合并的第二生成数据；

将1个合并的第二生成数据输入第3层的1个基础生成器，得到已修复的遥感数据。

3.根据权利要求1所述的方法，其特征在于，当多时相生成器的层数为2层时，所述多时相生成器包括N+1个基础生成器，N≥2，步骤S5包括：

将待修复遥感数据组的遥感数据一一输入对应的N个基础生成器，得到N个第一生成数据；

将N个第一生成数据基于通道维度进行合并，得到1个合并的第一生成数据；

将合并的第一生成数据输入1个基础生成器，得到已修复的遥感数据。

4.根据权利要求1所述的方法，其特征在于，步骤S3包括：

S31将N个信息缺失的遥感数据输入多时相生成器，得到生成的遥感数据；

S32将生成的遥感数据和N个信息缺失的遥感数据基于通道维度进行合并，得到合并的假数据，将信息完整的遥感样本和N个信息缺失的遥感数据基于通道维度进行合并，得到合并的真数据，将合并的假数据和合并的真数据分别输入判别器，得到合并的假数据的判别值和合并的真数据的判别值；

S33通过优化损失函数更新多时相生成对抗网络的网络参数：

所述损失函数包括第一损失和第二损失；

第一损失通过合并的假数据的判别值和合并的真数据的判别值计算得到；

第二损失通过生成的遥感数据和信息完整的遥感样本的曼哈顿距离计算得到；

S34重复执行步骤S31-S33，直至达到预设训练次数或合并的生成数据的判别值达到预设值。

5.根据权利要求1所述的方法，其特征在于，步骤S1包括：

获取信息完整的遥感样本；

获取所述信息完整的遥感样本同一区域、不同时相的真实缺失的遥感数据作为多时相遥感数据，真实缺失的遥感数据包括有阴影的遥感数据、有雾的遥感数据、有死像元的遥感数据；

对信息完整的遥感样本进行随机产生缺失值生成模拟缺失的遥感数据；

将多时相遥感数据和模拟缺失的遥感数据组成信息缺失的遥感数据；

将信息缺失的遥感数据和信息完整的遥感样本组成训练样本组。

Images