CN111612721B - 一种图像修复模型训练、卫星图像修复方法及装置 - Google Patents

Abstract

本发明提供了一种图像修复模型训练、卫星图像修复方法及装置，涉及图像修复技术领域。所述一种图像修复模型训练方法，包括步骤：获取训练图像，所述训练图像包括缺陷图像、同一地点拍摄的多帧图像和真实图像，所述缺陷图像为所述真实图像加入噪声后的图像；将所述训练图像输入至图像修复模型中，确定预测图像；根据所述预测图像和所述真实图像确定损失函数的值；根据所述损失函数的值调整所述图像修复模型的参数直至满足预设条件。本发明通过输入有同一地点拍摄的多帧图像，同一地点拍摄的多帧图像包含了缺陷图像中的空间信息，通过训练好的模型可以补全缺陷图像的信息，同时使得经过图像修复模型的缺陷图像更清晰。

Description

一种图像修复模型训练、卫星图像修复方法及装置

技术领域

本发明涉及图像修复技术领域，具体而言，涉及一种图像修复模型训练、卫星图像修复方法及装置。

背景技术

近年来，随着发射技术的进步，我国发射了多颗气象卫星，搭载了各种传感器用于探测星空地的各种信息，有效对这些信息进行挖掘，有助于我们开展了天气预报，灾害预测，辅助农业生产等任务。但太空中存在各种各样的电磁干扰，卫星上传感器容易受到这些电磁干扰的影响，采集的图像通常包含各种噪声，这大大减弱了图像的可用性。在风云一号和风云二号卫星中，常见的噪声有坏点，坏线，缺行等。很多任务都需要高质量的输入图像才可以取得比较好的效果，这些噪声严重破坏了图像，影响了图像的用途。

深度学习方法进行图像修复采用的是上下文编码器，目前在图像修复的时候，输入编码器的只有图像周围的空间信息，图像的信息经过编码器之后会大量的损失，解码器解码的时候可以利用的信息少，即上下文编码器输入的信息在卫星领域不够充分，就导致图像修复时容易出现模糊的情况。

发明内容

本发明解决的问题是提供一种能够产生更清晰图像的修复模型训练方法及卫星修复方法。

为解决上述问题，本发明提供一种图像修复模型训练方法，包括步骤：

获取训练图像，所述训练图像包括缺陷图像、同一地点拍摄的多帧图像和真实图像，所述缺陷图像为所述真实图像加入噪声后的图像；

将所述训练图像输入至图像修复模型中，确定预测图像；

根据所述预测图像和所述真实图像确定损失函数的值；

根据所述损失函数的值调整所述图像修复模型的参数直至满足预设条件。

本申请输入包括了同一地点拍摄的多帧图像，同一地点拍摄的多帧图像包含了缺陷图像中的空间信息，即输入中结合了时域和频域的信息，这些通道的信息一起输入到图像模型中进行训练，有助于网络结构更精准地预测要修复的像素，图像修复模型可以借助这些时域信息和频域信息更好地推断出缺失的部分，因此能够产生更清晰的图像。

可选地，所述多帧图像的信息包括时间信息、空间信息和频率信息。

可选地，所述图像修复模型包括对抗神经网络，所述对抗神经网络包括生成器网络和判别器网络，所述生成器网络包括第一子网络、第二子网络和第三子网络。

可选地，所述将所述训练图像输入至图像修复模型中，确定预测图像的步骤，包括：

将所述缺陷图像和所述多帧图像同时输入所述第一子网络，生成特征信息；

将所述特征信息输入所述第二子网络，生成正向预测图像；

将所述正向预测图像输入所述第三子网络，生成所述预测图像。

可选地，所述将所述缺陷图像和所述多帧图像输入所述第一子网络，生成特征信息的步骤，包括：

将所述缺陷图像输入多层卷积层和多层池化层，生成第一子特征信息；

将所述多帧图像输入多层卷积层和多层池化层，生成第二子特征信息，所述缺陷图像输入的卷积层、池化层和所述多帧图像的输入的卷积层、池化层不同；

将所述第一子特征信息和所述第二子特征信息进行叠加，生成所述特征信息。

可选地，所述第二子网络包括空洞卷积和残差模块，所述将所述特征信息输入所述第二子网络，生成正向预测图像的步骤，包括：

将所述特征信息输入包括空洞卷积和残差模块的第二子网络中，生成所述正向预测图像。

可选地，所述第三子网络包括多层反卷积层，所述将所述正向预测图像输入所述第三子网络，生成所述预测图像的步骤，包括：

将所述正向预测图像输入所述多层反卷积层，生成还原的所述预测图像。

可选地，所述将所述训练图像输入至图像修复模型中，确定预测图像的步骤，还包括：

将所述缺陷图像和同一地点拍摄的多帧图像输入所述生成器网络中，输出生成预测图像；

将所述生成预测图像和所述真实图像同时输入所述判别器网络，确定所述预测图像。

可选地，所述根据所述预测图像和所述真实图像确定损失函数的值，其中，损失函数包括风格损失和总变动损失。

本发明还公开了一种图像修复模型训练装置，包括：

获取单元：用于获取训练图像，所述训练图像包括缺陷图像、同一地点拍摄的多帧图像和真实图像，所述缺陷图像为所述真实图像加入噪声后的图像；

处理单元：用于将所述训练图像输入至图像修复模型中，确定预测图像；还用于根据所述预测图像和所述真实图像确定损失函数的值；

训练单元：用于根据所述损失函数的值调整所述图像修复模型的参数直至满足预设条件。

所述图像修复模型训练装置与图像修复模型训练方法相对于现有技术所具有的有益效果相同，在此不再赘述。

本发明还公开了一种卫星图像修复方法，包括：

获取缺陷图像和参考图像；

将所述缺陷图像和参考图像一起输入至图像修复模型，生成修复好的图像；

其中，所述图像修复模型采用上述所述的图像修复模型训练方法进行训练得到。

本申请输入包括了缺陷图像和参考图像，其中参考图像为同一地点拍摄的多帧图像，由于卫星图像同时还含有同一时刻，同一地点几十个通道的信息，同一地点拍摄的多帧图像包含了缺陷图像中的空间信息，即输入中结合了时域和频域的信息，这些通道的信息一起输入到图像修复模型中进行训练，有助于网络结构更精准地预测要修复的像素，图像修复模型可以借助这些信息更好地推断出缺失的部分，因此能够产生更清晰的图像。

可选地，所述获取缺陷的图像，以及不同时序或者不同通道的图像的步骤中，

获取与所述缺陷图像不同时序的图像或者不同通道的图像，作为参考图像。

可选地，所述获取与所述缺陷图像不同时序的图像或者不同通道的图像的步骤，

对于静止卫星，获取与缺陷图像同一地点不同时序的图像；

或者，对于运动卫星，获取与缺陷图像相同时序不同通道的图像。

可选地，所述对于静止卫星，获取与缺陷图像同一地点不同时序的图像的步骤中，获取多张与所述缺陷图像不同时序的图像，其中，多个所述不同时序图像之间的时间间隔为两个月。

可选地，所述对于运动卫星，获取与缺陷图像相同时序不同通道的图像步骤中，获取多张与所述缺陷图像不同通道的图像，其中，多个所述不同通道之间的频率相同。

本发明还公开了一种卫星图像修复装置，包括：

获取单元：用于获取缺陷图像，以及不同时序的图像或者不同通道的图像；

处理单元：用于所述缺陷图像和不同时序的图像或者不同通道的图像输入至图像修复模型，确定修复图像，所述图像修复模型采用上述所述的图像修复模型训练方法进行训练得到；

输出单元，用于输出修复图像。

本申请输入包括了同一地点拍摄的多帧图像，由于卫星图像同时还含有同一时刻，同一地点几十个通道的信息，同一地点拍摄的多帧图像包含了缺陷图像中的空间信息，即输入中结合了时域和频域的信息，这些通道的信息一起输入到图像修复模型中进行训练，有助于图像修复模型更精准地预测要修复的像素，图像修复模型可以借助这些信息更好地推断出缺失的部分，因此能够产生更清晰的图像。

本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述所述的图像修复模型训练方法，或实现如上述所述的卫星图像修复方法。

所述计算机可读存储介质与上述的图像修复模型训练方法、卫星图像修复方法相对于现有技术所具有的有益效果相同，在此不再赘述。

附图说明

图1为示例性的上下编码器的网络结构图；

图2为本发明实施例一种图像修复模型训练方法的流程示意图；

图3为本发明实施例网络结构的示意图；

图4为本发明实施例S2方法步骤的流程示意图(一)；

图5为本发明实施例S21方法步骤的流程示意图；

图6为本发明实施例S2方法步骤的流程示意图(二)；

图7为本发明实施例修复网络框架的示意图；

图8为本发明实施例一种图像修复模型装置的结构示意图；

图9为本发明实施例一种卫星图像修复方法的流程示意图；

图10为本发明实施例一种卫星图像修复模型装置的结构示意图；

图11为本申请实施例不同修复方法最后的修复成果对比图。

具体实施方式

下面将参照附图详细描述根据本发明的实施例，描述涉及附图时，除非另有表示，不同附图中的相同附图标记表示相同或相似的要素。要说明的是，以下示例性实施例中所描述的实施方式并不代表本发明的所有实施方式。它们仅是与如权利要求书中所详述的、本发明公开的一些方面相一致的装置和方法的例子，本发明的范围并不局限于此。在不矛盾的前提下，本发明各个实施例中的特征可以相互组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

如图1所示为上下编码器的网络结构，目前基于深度学习的方法进行图像修复的是上下文编码器(Context Encoders)，该算法是一个利用像素点周围的信息进行像素级别预测的CNN(Convolutional Neural Networks，卷积神经网络)网络，网络的结构有点类似于自动编码器(auto-encoder)，也就是编码器加解码器的结构，最后对预测的图像跟正确的图像进行比较，得到一个重建损失(reconstruction loss)。为了使得图像更加真实，上下文编码器还结合了GAN(Generative Adversarial Network，对抗神经网络)网络的特点，用一个分类的CNN网络对生成的图像和真实的图像进行判断哪个是真实的图像，以便生成的图像更加真实，因此最后损失函数结合了重建损失和对抗损失(adversarial loss)。

网络训练的时候用一些正常的图像，挖去部分内容作为预测的目标，然后用反向传播算法对网络的参数进行调整，此模型利用的不仅仅是图像的信息，还有整体训练集图像的语义信息。

上下文编码器可以产生不错的效果，但生成的图像还是比较模糊。从网络的结构我们也可以看到网络的输入只有图像周围的空间信息，卫星图像可以在同一个地点不同时间拍摄十几个通道的照片，这些照片含有空间，时间，频率等信息，因此上下文编码器输入的信息在卫星领域不够充分。

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

本申请公开了一种图像修复模型训练方法，图2为本发明实施例一种图像修复模型训练方法的流程示意图，包括步骤S1至步骤S4，其中：

在步骤S1中，获取训练图像，所述训练图像包括缺陷图像、同一地点拍摄的多帧图像和真实图像，所述缺陷图像为所述真实图像加入噪声后的图像。由此，有效获取训练图像以便后续的网络训练。

在步骤S2中，将所述训练图像输入至图像修复模型中，确定预测图像。由此，通过图像修复模型生成预测图像。

在步骤S3中，根据所述预测图像和所述真实图像确定损失函数的值。由此，通过确定损失函数有效对网络进行训练。

在步骤S4中，根据所述损失函数的值调整所述图像修复模型的参数直至满足预设条件，完成对所述图像修复模型的训练，其中，预设条件是损失函数的值尽可能的小。

本申请输入包括了同一地点拍摄的多帧图像，同一地点拍摄的多帧图像包含了缺陷图像中的空间信息，即图像修复模型的输入中结合了时域和频域的信息，这些通道的信息一起输入到图像修复模型中的网络结构进行训练，有助于网络结构更精准地预测要修复的像素，图像修复模型中的网络结构可以借助这些信息更好地推断出缺失的部分，因此能够产生更清晰的图像。

可选地，所述多帧图像的信息包括时间信息、空间信息和频率信息。通过时间信息、空间信息和频率信息，可以从各个角度的图像去弥补缺陷图像的信息，从而使得图像修复模型在训练的时候借助这些信息可以更好、更容易训练，使得训练起来更方便。对于输入的多帧图像本身包含的信息越多越好，当然，对于多帧图像的信息也可以只包括时间信息、只包括空间信息、只包括频率信息或者是任意两个信息的随意组合，这样也是可以的。

进一步地，如图3和图4所示，所述图像修复模型包括生成器网络，所述图像修复模型包括对抗神经网络，所述对抗神经网络包括生成器网络和判别器网络，所述生成器网络包括第一子网络、第二子网络和第三子网络。通过生成器网络和判别器网络的配合，经过生成器网络输出的生成预测图像，输入到判别器网络，同时真实图像输入判别器网络，通过真实图像和生成预测图像的对比，从而使得输出的预测图像更真实、自然。

所述S2：将所述训练图像输入至图像修复模型中，确定预测图像。步骤S2包括如下S21至S23三个步骤：

S21：将所述缺陷图像和所述多帧图像同时输入所述第一子网络，生成特征信息；

S22：将所述特征信息输入所述第二子网络，生成正向预测图像；

S23：将所述正向预测图像输入所述第三子网络，生成所述预测图像。

本申请通过设计多级的网络，通过第一子网络可以提取更多有用的特征信息，通过第二子网络和第三子网络的级联，加快了训练的过程，能够高效的确定所述预测图像。

具体的，所述第一子网络包括多层卷积层和多层池化层。输入的图像先经过卷积层输出大小一样的图像，之后经过池化层，输出高度宽度减少一半大小的图像。通过多层卷积层和多层池化层的结合，对输入的图像进行处理，提取一些特征信息，通过池化层的设置可以减少一些参数的输入，从而解决了过拟合的现象。

更进一步地，如图5所示，所述S21：将所述缺陷图像和所述多帧图像输入所述第一子网络，生成特征信息包括：

S211：将所述缺陷图像输入多层卷积层和多层池化层，生成第一子特征信息；

S212：将所述多帧图像输入多层卷积层和多层池化层，生成第二子特征信息，所述缺陷图像输入的卷积层、池化层和所述多帧图像输入的卷积层、池化层不同；

S213：将所述第一子特征信息和所述第二子特征信息进行叠加，生成所述特征信息。

对于缺陷图像和多帧图像输入进不同的卷积层和池化层分别进行处理，接着把输出的信息叠加到一起，具体的是所述缺陷图像先经过卷积层，然后经过一池化层生成高度宽度都减少一半的图像，随后又经过一卷积层，然后经过一池化层生成高度宽度减少一半的图像，例如，当输入的图像为256*256，经过第一层的卷积层和池化层，生成128*128的图像，当再次经过一层卷积层和池化层，生成64*64的图像。所述缺陷图像和所述多帧图像是通过不同的卷积层和池化层之后再进行叠加，一方面是尽可能保留更多的关键信息，有利于训练模型的训练得更准确，另外一方面是为了防止参数过多，产生过拟合的现象。如果后面再继续经过池化层，那会使得得出的信息变少。经过多次试验，得知设置两层池化层，输出的信息是比较合适的，而且参数也比较合适。

对于所述第二子网络包括空洞卷积和残差模块，所述S22：将所述特征信息输入所述第二子网络，生成正向预测图像，包括：

将所述特征信息输入包含空洞卷积和残差模块的第二子网络中，生成所述正向预测图像。所述第二子网络包括多个同样的卷积层，第二子网络结构有8个卷积层。本申请中的图像修复模型中，采用的是encoding(编码器)和decoding(解码器)的结构，第二子网络包括残差模块。一般为了网络的性能，我们习惯加深网络的层数，但是网络层数的增加只在一开始的时候有效，后面会因为梯度消失或者梯度爆炸导致训练的难度，因此通过采用残差模块，通过两层的残差学习单元，原始输入的信息直接传输到后面两层的卷积层，进而解决训练的时候模型过拟合和梯度消失以及梯度爆炸的问题，有了残差模块可以让图像训练更好。另外，第二子网络包括空洞卷积，空洞卷积可以在不改变感受野的情况下，减少网络的参数，进行增强网络的性能。

所述第三子网络包括多层反卷积层，所述S23：将所述正向预测图像输入所述第三子网络，生成所述预测图像，包括：

S231：将所述正向预测图像输入所述多层反卷积层，生成还原的所述预测图像。

通过反卷积层可以将经过处理的特征信息，进行扩大，生成还原的所述预测图像。

所述图像修复模型还包括判别器网络，如图6所示，S2步骤中所述将所述训练图像输入至图像修复模型中，确定预测图像，还包括：

S201：将所述缺陷图像和同一地点拍摄的多帧图像输入所述生成器网络中，输出生成预测图像；

S202：将所述生成预测图像和所述真实图像输入所述判别器网络，确定所述预测图像。

通过生成器网络和判别器网络的配合，经过生成器网络输出的生成预测图像，输入到判别器网络，同时真实图像输入判别器网络，通过真实图像和生成预测图像的对比，从而使得输出的预测图像更真实、自然。

所述根据所述预测图像和所述真实图像确定损失函数的值，其中损失函数包括像素点损失、风格损失和总变动损失。通过设置多个不同的损失函数结合，不断地对参数进行调整，使得loss尽可能的小，使得模型效果更好。具体的损失函数包括像素点损失(per-pixel loss)，对逐个像素点去比对，计算像素点损失值，通过像素点损失可以加快收敛，可以训练得到大致的输出，因此网络一开始都会用像素点损失，同时结合其他损失函数进行调整。此外，其他损失函数包括风格损失(Style loss)和总变动损失(Totalvariationloss)，所述风格损失函数用两部分组成，一个是以Gram矩阵定义的基础风格损失函数，另一个是用直方图匹配的方法对Gram矩阵进行的约束。所述风格损失为希望对输出的图像风格，例如颜色，纹理、共同模式等方式上偏离较小。所述总变动损失的原理为减小信号的总变化，使其与原始信号紧密匹配，去除不需要的细节，同时保留诸如边缘的重要细节。风格损失即为了使得到的图像整体风格和原来的风格是类似的，有助于图像更加清晰，总变动损失用来保证生成的图像比较平滑，过度自然。

所述根据所述损失函数的值调整所述图像修复模型的参数直至满足预设条件，完成对所述图像修复模型的训练的步骤中，使用反向传播算法，根据网络的权重计算误差的梯度，并使用优化器更新所有滤波器的值/权重以及参数的值，使输出误差最小化，从而完成对所述图像修复模型的训练。

模型在训练的时候采用了256*256作为输入，batch size设置为16，Adam优化器的β1＝0,β2＝0.9。一开始先只用像素点损失(per-pixel loss)，等待训练差不多稳定后，再加上其他的损失函数。每次训练达到瓶颈的时候，训练的速率下调为原来的10％。通过参数的不断调整，从而调出一个比较合适的参数，从而训练出比较合适的图像模型。

具体的，如图7所示为修复网络的框架，将一副好的图像加噪声输入生成网络中，经过空洞卷积和残差模块，输出一张图像，同时作为判别网络的输入，另外同时将一真实的图像输入判别网络，计算生成网络和判别网络的误差值，另外额外增加像素损失、风格损失和总变动损失，不断迭代调节模型参数，以使得误差值最小，从而将模型训练完成。

如图8所示，本发明还公开了一种图像修复模型训练装置800，包括：

获取单元801：用于获取训练图像，所述训练图像包括缺陷图像、同一地点拍摄的多帧图像和真实图像，所述缺陷图像为所述真实图像加入噪声后的图像；

处理单元802：用于将所述训练图像输入至图像修复模型中，确定预测图像；还用于根据所述预测图像和所述真实图像确定损失函数的值；

训练单元803：用于根据所述损失函数的值调整所述图像修复模型的参数直至满足预设条件，完成对所述图像修复模型的训练。

所述图像修复模型训练装置800的各个单元的更具体实现方式可以参见对于本发明的图像修复模型训练方法的描述，且具有与之相似的有益效果，在此不再赘述。

如图9所示本发明还公开了一种卫星图像修复方法，包括：

S301：获取缺陷的图像和参考图像；

S302：将所述缺陷图像和参考图像输入至图像修复模型，生成修复好的图像；

其中，所述图像修复模型采用上述所述的图像修复模型训练方法进行训练得到。

本申请输入包括了缺陷图像和参考图像，其中参考图像包括同一地点拍摄的多帧图像，由于卫星图像同时还含有同一时刻，同一地点几十个通道的信息，同一地点拍摄的多帧图像包含了缺陷图像中的空间信息，即输入中结合了时域和频域的信息，这些通道的信息一起输入到图像修复模型中进行训练，有助于图像修复模型更精准地预测要修复的像素，图像修复模型可以借助这些信息更好地推断出缺失的部分，因此能够产生更清晰的图像。

可选地，所述获取缺陷的图像，以及不同时序的图像或者不同通道的图像的步骤中，获取与所述缺陷图像不同时序的图像或者不同通道的图像，作为参考图像。具体的参考图像包括与缺陷图像不同时序的图像或者不同通道的图像，即输入中结合了时域和频域的信息，这些通道的信息一起输入到图像修复模型中进行训练，有助于图像修复模型更精准地预测要修复的像素，图像修复模型可以借助这些信息更好地推断出缺失的部分，因此能够产生更清晰的图像。

具体地，所述获取与所述缺陷图像不同时序的图像或者不同通道的图像的步骤，

对于静止卫星，获取与缺陷图像同一地点不同时序的图像；

或者，对于运动卫星，获取与缺陷图像相同时序不同通道的图像。

对于卫星包括有静止卫星和运动卫星，本发明对于静止卫星，获取的是缺陷图像和同一地点不同时序的图像，而对于运动卫星获取的是缺陷图像和相同时序不同通道的图像。根据不同卫星的特性不同，输入至图像修复模型的图像不同，这样有利于满足不同的卫星图像的需求，适用范围更广。

具体的，所述对于静止卫星，获取与缺陷图像同一地点不同时序的图像的步骤中，获取多张与所述缺陷图像不同时序的图像。当输入的同一地点不同时序的图像越多，图像修复模型中可利用的信息参数越多，修复出来的缺陷图像效果越好。当然，只输入与缺陷图像同一地点的某一时间点的图像也是可以的。所述缺陷图像和与所述缺陷图像不同时序的图像之间的时间间隔为两月。若不同时序图像与缺陷图像之间的时间间隔太长的话，时间间隔太久，信息可能会有缺失，修复的缺陷图像效果没有那么好；若不同时序的图像与缺陷图像之间的时间间隔太短，拍摄的图像太频繁，得到的信息可参考性太小。因此，不同时序图像与缺陷图像之间的时间间隔，修复的缺陷图像得到的效果是比较好的。另外，对于多张不同时序的图像，为了避免有噪声的干扰，在选取时选取没有噪声对应的时间点。

可选地，所述对于运动卫星，获取与缺陷图像相同时序不同通道的图像步骤中，获取多张与所述缺陷图像不同通道的图像。当输入相同时序不同通道的图像越多，图像修复模型中可利用的信息参数越多，修复出来的缺陷图像效果越好。当然，只输入某一时间点同一通道的图像也是可以的。当输入相同时序不同通道的图像数量有多张时，多个所述不同通道之间的频率相同或接近相同，这样可以避免噪声的干扰。

如图10所示，本发明公开了一种卫星图像修复装置900，包括：

获取单元901：用于获取缺陷图像，以及不同时序的图像或者不同通道的图像；

处理单元902：用于所述缺陷图像和不同时序的图像或者不同通道的图像输入至图像修复模型，确定修复图像，所述图像修复模型采用如上述所述的图像修复模型训练方法进行训练得到；

输出单元903，用于输出修复图像。

所述卫星图像修复装置的各个单元的更具体实现方式可以参见对于本发明的卫星图像修复方法的描述，且具有与之相似的有益效果，在此不再赘述。

对于输入的多帧图像本身包含的信息越多越好，当然，对于多帧图像的信息也可以只包括时间信息、只包括空间信息、只包括频率的信息或者是任意两个信息的随意组合，这样也是可以的。如图11所示为不同修复方法得出的不同修复成果对比图。具体的，其中A为原始图像，B为噪声缺陷，C为使用Navier-Stokes算法修复得到的图像，D为使用FastMarching Method修复得到的图像，E为使用ALOHA算法修复得到的图像，F为使用本发明的修复方法得到的修复图像。由此可知，本发明的多帧图像的信息包括时间信息、空间信息和频率信息，将这些信息输入到图像修复模型，最后修复出来的图像的效果最好，与原始图像最接近。

本发明的实施例还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现根据本发明的一实施例所述的图像修复模型训练方法，或实现如根据本发明另一实施例所述的卫星图像修复方法。

虽然本公开披露如上，但本公开的保护范围并非仅限于此。本领域技术人员在不脱离本公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。

Claims (14)

1.一种图像修复模型训练方法，其特征在于，包括步骤：

获取训练图像，所述训练图像包括缺陷图像、同一地点拍摄的多帧图像和真实图像，所述缺陷图像为所述真实图像加入噪声后的图像；

将所述训练图像输入至图像修复模型中，确定预测图像；所述图像修复模型包括对抗神经网络，所述对抗神经网络包括生成器网络和判别器网络，所述生成器网络包括第一子网络、第二子网络和第三子网络；

所述将所述训练图像输入至图像修复模型中，确定预测图像，包括：

将所述缺陷图像和所述多帧图像同时输入所述第一子网络，生成特征信息；

所述将所述缺陷图像和所述多帧图像输入所述第一子网络，生成特征信息，包括：

将所述缺陷图像输入多层卷积层和多层池化层，生成第一子特征信息；

将所述多帧图像输入多层卷积层和多层池化层，生成第二子特征信息，所述缺陷图像输入的卷积层、池化层和所述多帧图像输入的卷积层、池化层不同；

将所述第一子特征信息和所述第二子特征信息进行叠加，生成所述特征信息；

将所述特征信息输入所述第二子网络，生成正向预测图像；

将所述正向预测图像输入所述第三子网络，生成所述预测图像；

根据所述预测图像和所述真实图像确定损失函数的值；

根据所述损失函数的值调整所述图像修复模型的参数直至满足预设条件。

2.根据权利要求1所述图像修复模型训练方法，其特征在于，所述多帧图像的信息包括时间信息、空间信息和频率信息。

3.根据权利要求1所述图像修复模型训练方法，其特征在于，所述第二子网络包括空洞卷积和残差模块，所述将所述特征信息输入所述第二子网络，生成正向预测图像，包括：

将所述特征信息输入包含空洞卷积和残差模块的第二子网络中，生成所述正向预测图像。

4.根据权利要求3所述图像修复模型训练方法，其特征在于，所述第三子网络包括多层反卷积层，所述将所述正向预测图像输入所述第三子网络，生成所述预测图像，包括：

将所述正向预测图像输入所述多层反卷积层，生成还原的所述预测图像。

5.根据权利要求1至4任一项所述图像修复模型训练方法，其特征在于，所述将所述训练图像输入至图像修复模型中，确定预测图像，还包括：

将所述缺陷图像和同一地点拍摄的所述多帧图像输入所述生成器网络中，输出生成预测图像；

将所述生成预测图像和所述真实图像同时输入所述判别器网络，确定所述预测图像。

6.根据权利要求5所述图像修复模型训练方法，其特征在于，所述根据所述预测图像和所述真实图像确定损失函数的值，其中，损失函数包括风格损失和总变动损失。

7.一种图像修复模型训练装置，其特征在于，包括：

获取单元：用于获取训练图像，所述训练图像包括缺陷图像、同一地点拍摄的多帧图像和真实图像，所述缺陷图像为所述真实图像加入噪声后的图像；

处理单元：用于将所述训练图像输入至图像修复模型中，确定预测图像；所述图像修复模型包括对抗神经网络，所述对抗神经网络包括生成器网络和判别器网络，所述生成器网络包括第一子网络、第二子网络和第三子网络；所述将所述训练图像输入至图像修复模型中，确定预测图像，包括：将所述缺陷图像和所述多帧图像同时输入所述第一子网络，生成特征信息；所述将所述缺陷图像和所述多帧图像输入所述第一子网络，生成特征信息，包括：将所述缺陷图像输入多层卷积层和多层池化层，生成第一子特征信息；将所述多帧图像输入多层卷积层和多层池化层，生成第二子特征信息，所述缺陷图像输入的卷积层、池化层和所述多帧图像输入的卷积层、池化层不同；将所述第一子特征信息和所述第二子特征信息进行叠加，生成所述特征信息；将所述特征信息输入所述第二子网络，生成正向预测图像；将所述正向预测图像输入所述第三子网络，生成所述预测图像；还用于根据所述预测图像和所述真实图像确定损失函数的值；

训练单元：用于根据所述损失函数的值调整所述图像修复模型的参数直至满足预设条件。

8.一种卫星图像修复方法，其特征在于，包括：

获取缺陷图像和参考图像；

将所述缺陷图像和参考图像一起输入至图像修复模型，生成修复好的图像；

其中，所述图像修复模型采用如权利要求1至6任一项所述的图像修复模型训练方法进行训练得到。

9.根据权利要求8所述卫星图像修复方法，其特征在于，所述获取缺陷图像和参考图像的步骤中，

获取与所述缺陷图像不同时序的图像或者不同通道的图像，作为参考图像。

10.根据权利要求9所述卫星图像修复方法，其特征在于，所述获取与所述缺陷图像不同时序的图像或者不同通道的图像的步骤中，

对于静止卫星，获取与缺陷图像同一地点不同时序的图像；

或者，对于运动卫星，获取与缺陷图像相同时序不同通道的图像。

11.根据权利要求10所述卫星图像修复方法，其特征在于，所述对于静止卫星，获取与缺陷图像同一地点不同时序的图像的步骤中，获取多张与所述缺陷图像不同时序的图像，其中，多个所述不同时序图像之间的时间间隔为两个月。

12.根据权利要求10所述卫星图像修复方法，其特征在于，所述对于运动卫星，获取与缺陷图像相同时序不同通道的图像步骤中，获取多张与所述缺陷图像不同通道的图像，其中，多个所述不同通道之间的频率相同。

13.一种卫星图像修复装置，其特征在于，包括：

获取单元：用于获取缺陷图像，以及不同时序的图像或者不同通道的图像；

处理单元：用于所述缺陷图像和不同时序的图像或者不同通道的图像输入至图像修复模型，确定修复图像，所述图像修复模型采用如权利要求1至6任一项所述的图像修复模型训练方法进行训练得到；

输出单元，用于输出修复图像。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现根据权利要求1-6中任一项所述的图像修复模型训练方法，或实现根据权利要求8-12中任一项所述的一种卫星图像修复方法。