CN115908205A - 图像修复方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明涉及图像处理技术领域，公开了图像修复方法、装置、电子设备和存储介质，利用局部卷积将第一待修复图像下采样到预设的分辨率大小，得到第二待修复图像，将第二待修复图像输入全局结构先验重建网络模型进行全局结构先验，输出粗略修复图像，将粗略修复图像输入纹理细节补充网络模型进行纹理细节补充，输出精细修复图像。基于Transformer网络和卷积神经网络联合优化，对图像进行修复，可得到与原图像近乎等同的高分辨率图像；解决了现有技术中图像重要信息和全局上下文细节丢失的技术问题。

Description

图像修复方法、装置、电子设备和存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及图像修复方法、装置、电子设备和存储介质。

背景技术

图像修复是指利用部分可见的信息，将具有逼真外观的合理内容填充到图像缺失区域中。传统的图像修复的方法通过传播来自相邻可见区域的片段来推断缺失区域的像素，主要是基于数学和物理的方法，一般基于扩散方法来处理，这种方法将相邻位置的像素用于构建缺失部分的像素，以保持与周围像素的一致性。但这些方法无法对于受损孔洞大的图像进行合理的填补。

目前，使用Transformer两阶段方法：首先用Transformer重建视觉先验；使用Transformer网络捕获图像全局结构来生成低分辨率的粗纹理修复结果，即外观先验；然后再用卷积神经网络在先验的引导基础上填充细节纹理；在输入图像的外观先验和可用像素的指导下，利用另一个上采样卷积神经网络为缺失区域渲染高分辨率纹理，同时确保与相邻像素的一致性。为了减轻Transformer所带来的计算复杂度，将原图（256×256）降至了32×32（或48×48）。虽然这样像素个数减少了，但单个像素的RGB颜色空间的维度还是很高（256^3）。为了进一步降维，使用了颜色的离散化表示：引入了一个颜色字典，这个字典是从ImageNet数据集上的RGB空间使用K-means聚类得到的512个聚类点生成的。所以该字典只有512种颜色（512种RGB组合，因此该字典的大小是512×3）。而所谓的颜色离散化就从256^3种可能的RGB三元组用最近相邻法离散化成了只有512种可能的索引标量。

然而，本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术方案至少存在如下技术问题：

由于直接将原始图像下采样为32×32或48×48分辨率，再将每个像素嵌入到序列，导致重要信息在这种直接大规模下采样过程中丢失，从而造成图像细节丢失；其次，由于大规模的下采样得到的小感受野，使得图像映射到Transformer中得到的图像嵌入补丁，会丢失重要的全局上下文细节。

发明内容

本发明公开了一种基于Transformer网络和卷积神经网络联合优化的图像修复方法，目的在于解决如何提高图像修复质量的技术问题，得到与原图像近乎等同的高分辨率图像。

主要通过以下技术方案实现上述发明目的：

第一方面，图像修复方法，包括：

利用局部卷积将第一待修复图像下采样到预设的分辨率大小，得到第二待修复图像，所述预设的分辨率大于等于128×128；

将所述第二待修复图像输入全局结构先验重建网络模型进行全局结构先验，输出粗略修复图像，所述全局结构先验重建网络模型是基于Transformer网络构建的；

将所述粗略修复图像输入纹理细节补充网络模型进行纹理细节补充，输出精细修复图像，所述纹理细节补充网络模型是基于卷积神经网络构建的。

第二方面，图像修复装置，包括：

局部卷积模块，用于将第一待修复图像下采样到预设的分辨率大小，得到第二待修复图像，所述预设的分辨率大于等于128×128；

全局结构先验重建网络模型，用于接收所述局部卷积模块发送的所述第二待修复图像并进行全局结构先验，输出粗略修复图像，所述全局结构先验重建网络模型是基于Transformer网络构建的；

纹理细节补充网络模型，用于接收所述全局结构先验重建网络模型发送的所述粗略修复图像并进行纹理细节补充，输出精细修复图像，所述纹理细节补充网络模型是基于卷积神经网络构建的。

第三方面，一种电子设备，所述设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述图像修复方法的部分或全部步骤。

第四方面，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述图像修复方法的部分或全部步骤。

相较于现有技术的有益效果：

本发明基于Transformer网络和卷积神经网络联合优化，对图像进行修复，先利用基于Transformer作为骨干网络的编码器捕获全局上下文的结构特征，然后采用以卷积神经网络为骨干的网络在得到结构先验的情况下，继续对细节填充，可得到与原图像近乎等同的高分辨率图像；利用局部卷积将第一待修复图像下采样到预设的分辨率大小，所述预设的分辨率大于等于128×128，在保证了图像特征细节不丢失重要信息的情况下，也进一步降低了Transformer网络的计算量，从而降低模型训练难度，解决了现有技术中因直接将原始图像下采样为32×32或48×48分辨率所带来的小感受野而导致图像重要信息和全局上下文细节丢失的技术问题。

附图说明

图1为本发明实施例中图像修复方法的流程示意图；

图2为本发明实施例中利用全局结构先验重建网络模型输出粗略修复图像的示意图；

图3为本发明实施例中利用纹理细节补充网络模型输出精细修复图像的示意图；

图4为本发明实施例中图像修复装置的结构示意图；

图5为本发明实施例中一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

在本发明一个可行的实施例中，提供了一种图像修复方法，主要包括两个阶段：

（1）第一阶段：全局结构先验重建阶段，将待修复图像输入全局结构先验重建网络模型，利用所述全局结构先验重建网络模型输出粗略修复图像；基于Transformer作为骨干网络的编码器捕获待修复图像全局上下文的结构特征；

（2）第二阶段：纹理细节补充阶段，将所述粗略修复图像输入纹理细节补充网络模型，利用所述纹理细节补充网络模型输出精细修复图像；在粗略修复图像的基础上，采用以卷积神经网络为骨干的网络对纹理细节补充，得到与原图近乎等同的高分辨率图像。

下面结合图1~3所示，以一张大小为512×512的受损图像（即第一待修复图像）为例进行说明，所述图像修复方法包括以下步骤：

步骤1、利用局部卷积将第一待修复图像下采样到预设的分辨率大小，得到第二待修复图像，所述预设的分辨率大于等于128×128。

全局结构先验重建网络模型依赖于Transformer编码器中的注意力机制模块，主要用于感知全局可见区域的上下文特征。但考虑到其固定序列长度的位置嵌入和使用Transformer所大大增加的计算成本，首先利用局部卷积将上述受损图像下采样到256×256大小；局部卷积相比与全卷积会成倍引入额外参数，但有更强的灵活性和表达能力，更适合用于图像任务。若直接将图像像素映射成大小为256×256×3的二维序列，则Transformer网络运行起来计算消耗量大，将会特别困难。需要说明的是，一张标准RGB图像形状为：H（高）、W（宽）、C（通道数）。灰度图通道数为1，RGB彩色图通道数为3。

步骤2、将第二待修复图像输入全局结构先验重建网络模型中。

所述全局结构先验重建网络模型是基于Transformer网络构建的，包括所述全局结构先验重建网络模型包括卷积神经网络映射层、Transformer编码器层、图像恢复层和第一解码器。

步骤3、利用所述卷积神经网络映射层将所述第二待修复图像映射为第一二维序列；利用所述卷积神经网络映射层的卷积核提取所述第二待修复图像的可见信息，所述可见信息为所述第二待修复图像的可见区域的像素，所述可见区域为图像未受损区域；将所述可见信息映射为第一二维序列。

为了获得更好的嵌入序列，使用一卷积神经网络来完成将上述分辨率为256×256的受损图像映射为第一二维序列。具体的，该卷积神经网络经修改，使用步长为1的1×1卷积核和正则化层应用于非线性投影，然后是局部卷积层，局部卷积层使用步长为2的2×2卷积核来提取上述分辨率为256×256的受损图像的可见信息。其中，如果图像中有一半区域受损，就只提取其他50%的可见区域的像素作为Transformer编码器的嵌入补丁表示，并为下一个加权自注意力层建立0.5的初始权重。因此，可确保每个嵌入补丁表示仅代表局部的可见信息，利用Transformer显式建模长距离的依赖关系，这样能避免由于较大的卷积神经网络感受野而导致隐式相关性的交叉污染。利用上述卷积神经网络将输入图像（256×256）的格式[H，W，C]映射为标准的Transformer网络的输入格式token（向量）序列，即一个带位置信息的二维序列（二维向量）。

步骤4、利用所述Transformer编码器层对所述第一二维序列进行自注意力计算，得到所述第一二维序列的第一自注意力得分；利用所述Transformer编码器层嵌入的可学习的位置编码，计算所述第一二维序列中每两个元素之间的成对相似度；利用遮挡区域的权重缩放所述成对相似度，得到掩码权重，所述遮挡区域为图像受损区域；根据所述成对相似度和所述掩码权重计算得到所述第一二维序列的第一自注意力得分。

需要说明的是，本发明中的Transformer编码器建立在标准的QKV自我注意力上，并在每一层中嵌入了可学习的位置编码，因此，在Transformer中先通过可学习的参数矩阵、和，并使用以下计算式分别计算获得查询矩阵（Q）、关键字矩阵（K）和值矩阵（V）：

；

其中，给定一个输入序列；是学习的参数，以细化查询矩阵（Q）、关键字矩阵（K）和值矩阵（V）的特征。

由此可以使用以下计算式计算每两个元素之间的成对相似度：

；

其中，是N个标记的点（即所述第一二维序列中的元素）相似度，由特征维度的平方根缩放。

然后再通过下式计算所有V的加权和：

；

多头自我注意力 (MSA) 是自我注意力的扩展，其中多个头并行运行以获得多个注意分数和相应的预测结果。因此，得到以下函数：

为了鼓励模型偏向于重要的可见值，使用遮挡的自我注意力层，其中应用遮挡的权重来缩放注意力得分。

相应的掩模m (1表示可见像素，0是掩蔽像素)可表示为：

；

；

且让掩模m为浮点值，表示每个卷积核的大小，本实施例中限定为如上述步长为2的2×2卷积核。

因此，每个嵌入补丁仅提取可见信息，加快了可见有特征的提取。然后，对于每个序列，通过展平更新的掩模来获得相应的掩码权重。

最后，通过与重复的掩码权重相乘来更新原始注意力得分；因此，使用将掩码特征加入，计算得到所述第一二维序列的第一自注意力得分，让模型偏向于重要的可见值。

步骤5、利用所述Transformer编码器层根据所述第一自注意力得分将图像全局特征建立起长距离依赖关系，得到第二二维序列，所述第一二维序列和所述第二二维序列的长度相同。

步骤6、利用所述图像恢复层将所述第二二维序列恢复成图像格式[H，W，C]，得到第三待修复图像。

步骤7、利用所述第一解码器对所述第三待修复图像使用双线性插值进行上采样到分辨率为256×256，得到粗略修复图像。

步骤8、将所述粗略修复图像输入到所述纹理细节补充网络模型，所述纹理细节补充网络模型包括第一残差编码器、先验注意力层、第二残差编码器、感知注意力层和第二解码器。

步骤9、利用所述第一残差编码器提取所述粗略修复图像的图像浅层特征，将所述粗略修复图像的受损区域与可见区域的像素进行区分，得到临时粗略修复图像。

在得到粗略修复图像后，将该图像输入到第二阶段的第一残差编码器中，为了更好的提取由第一阶段网络生成的结构先验图像的特征，使用了深层次的残差卷积神经网络作为编码器的骨干，用于提取图像浅层特征。残差结构的设计上，利用卷积层擅长早期图像处理和更轻松使得图像空间映射到更高维特征空间的特点，采用了双通道并行处理。第一通道，先对每一次输入的图像做一次像素正则化，激活函数选择使用Gelu，后面会分别进行两次局部卷积；第二通道，直接对每一次输入的图像进行一次局部卷积；最后，双通道把特征求和作为最终的输出。这样的并联结构将获得更稳定的优化和更好的结果。其中，局部卷积会将受损与可见区域的像素区别开来，与普通卷积神经网络相比，不仅提升了卷积神经网络的敏感性，还大大提高了计算效率。

步骤10、利用所述先验注意力层对所述临时粗略修复图像进行自注意力计算，得到第二自注意力得分，得到自注意力图像，并将所述自注意力图像复制为第一自注意力图像和第二自注意力图像，将所述第一自注意力图像输入所述第二残差编码器，将所述第二自注意力图像输入所述感知注意力层。

想要输出原始分辨率的高保真修复图像，还需要在全局中进一步利用可见的高频细节，为此将继续使用注意力网络来完成中间层深度特征的提取。然而，在图像中使用注意力网络存在一个明显的问题，该网络会大大加重计算量，无论是整体模型的参数量或GPU的显存占用都会因此受限。该阶段的任务是需要提取到图像中更深度、更细节的特征，且相比第一阶段该任务在图像输出分辨率上高了一倍。所以，针对此问题设计了一种特别的双层注意力感知网络结构来完成深度特征的提取。上述临时粗略修复图像通过先验注意力层，提前对该图像进行一次注意力得分计算，具体采用并联结构，实施方式可为：通过插入到所述第一残差编码器的中间位置的卷积三重注意力模块，采用三分支结构捕获跨维交互来计算注意权重。对于输入张量，三重注意通过旋转操作和残差转换来建立维度间的依赖性，并以可忽略的计算开销对通道间和空间信息进行编码。该方法既简单又高效，通过在输入图像的通道或空间位置之间建立相互依存关系，不仅没有加重整体模型的训练难度，如参数量、GPU显存占用、计算机时间几乎都没有明显的增加，还提高了对输入图像的细节特征利用率。

将所述自注意力图像复制为第一自注意力图像和第二自注意力图像，将所述第一自注意力图像输入所述第二残差编码器，将所述第二自注意力图像输入所述感知注意力层，即复制两份图像，一份继续往下编码，另一份直接进入感知注意力层。

该层注意力是用于从编码和解码特征中复制远程信息，同样也作为全局结构先验重建网络的中间核心层。给定解码的特征，首先计算的注意力得分为：

；

其中表示第i个特征与第j个特征的相似性，和为1×1卷积滤波器。直接在标准的自我注意层中使用并不是最优的选择，因为可见区域的特征通常与遮挡区域生成的特征不同。因此，两者的注意力都倾向相对独立，遮挡区域则会优先与遮挡区域有关，反之亦然。为了避免这个问题，明确地处理了对可见区域与遮挡区域分开的注意。因此，在softmax归一化之前，分为两部分：与可见区域的相似性和与生成的遮挡区域的相似性。然后通过以下方式获得远程依赖：

；

；

其中包含上下文流的特征，用于将高频细节从编码的高分辨率特征复制到遮挡区域，而具有用于高质量图像生成的自我注意的特征。

根据每个位置的最大注意力得分来学习映射权重。具体来说，首先分别获得和的最大注意力得分。然后，使用1×1滤波器和来调节权重的比率：

；

为了优化输入图像所带来的计算量开销，将该层输入图像的尺寸大小都控制在了128×128，尽管相比256×256的图像尺寸特征细节上有些许损失，但该尺寸大小在保证了足够可用的细节特征之外，大大降低了精细模型的训练难度。

步骤11、利用所述第二残差编码器基于所述第二自注意力得分提取所述第二注意力图像的图像深层特征。

步骤12、利用所述感知注意力层基于所述第二自注意力得分提取所述第二自注意力图像的可见区域的高分辨率特征，将所述高分辨率特征和所述图像深层特征进行融合感知，得到特征图像。

步骤13、利用所述第二解码器对所述特征图像进行上采样到像素大小为512×512，得到精细修复图像。

在上述实施例基础上的一个优选地实施例中，还包括：

步骤14、将所述粗略修复图像输入第一判别器，所述第一判别器用于将所述粗略修复图像与所述第一待修复图像对应的真实图像进行比较，并对比较结果打分，记为第一评判得分；和/或，将所述精细修复图像输入第二判别器，所述第二判别器用于将所述精细修复图像与所述第一待修复图像对应的真实图像进行比较，并对比较结果打分，记为第二评判得分，所述第二判别器包括小波滤波器；根据所述第一评判得分和/或所述第二评判得分，以及损失函数，优化所述全局结构先验重建网络模型和/或所述纹理细节补充网络模型。

为了辅助两阶段的网络在各自的训练中能输出更稳定的结果，引入生成对抗网络思想，基于此思想，分别把第一阶段的全局结构先验重建网络和第二阶段的纹理细节补充网络作为生成器，选择使用StyleGANv2（基于卷积神经网络的图像风格生成式对抗网络）相同结构的判别器。该判别器使用渐进式结构，可以更好的帮助生成器输出高分辨率的图像。基于StyleSwin（基于滑窗Transformer的图像风格生成式对抗网络），在第二阶段的判别器中添加了小波滤波器，以捕获高频细节优化生成器输出高分辨率图像，产生更直观的结果。

所述损失函数为：

；

其中，是重建损失，是感知损失，是鉴别器对抗损失。

；

；

；

其中，是所述粗略修复图像或所述精细修复图像，是所述第一待修复图像对应的真实图像，可以理解的是，根据所述第一评判得分以及损失函数优化所述全局结构先验重建网络模型，则是所述粗略修复图像；根据所述第二评判得分以及损失函数优化所述纹理细节补充网络模型，则是所述精细修复图像。表示掩模图像，表示遮挡区域的修复图像，表示遮挡区域的真实图像，是VGG预训练模型，是判别器，包括第一判别器和第二判别器。通过生成器和叛别器的共同对抗优化，达到纳什均衡，确保整体网络模型输出高质量的结果。

相较于现有技术的有益效果：

本发明基于Transformer网络和卷积神经网络联合优化为一个两阶段图像修复框架，对图像进行修复，第一阶段先利用基于Transformer作为骨干网络的编码器捕获全局上下文的结构特征，由于使用了修改过的卷积神经网络将输入图像映射成嵌入补丁，所以保留了图像的纹理细节特征；然后第二阶段采用以卷积神经网络为骨干的网络在得到结构先验的情况下，继续对细节填充，可得到与原图像近乎等同的高分辨率图像；以及，利用了双层注意力机制结构来加强卷积神经网络合理构建全局语义特征并继续改善图像质量；利用局部卷积将第一待修复图像下采样到预设的分辨率大小，所述预设的分辨率大于等于128×128，在保证了图像特征细节不丢失重要信息的情况下，也进一步降低了Transformer网络的计算量，从而降低模型训练难度，解决了现有技术中因直接将原始图像下采样为32×32或48×48分辨率所带来的小感受野而导致图像重要信息和全局上下文细节丢失的技术问题；本发明公开的模型经过特殊设计，整体模型网络更加轻量，无需较为特殊的训练方式，对于高分辨率的受损图像的训练与修复更加有效。

在本发明一个可行的实施例中，还公开了一种图像修复装置400，如图4所示，包括：

局部卷积模块401，用于将第一待修复图像下采样到预设的分辨率大小，得到第二待修复图像，所述预设的分辨率大于等于128×128；

全局结构先验重建网络模型402，用于接收所述局部卷积模块401发送的所述第二待修复图像并进行全局结构先验，输出粗略修复图像，所述全局结构先验重建网络模型是基于Transformer网络构建的；

纹理细节补充网络模型403，用于接收所述全局结构先验重建网络模型402发送的所述粗略修复图像并进行纹理细节补充，输出精细修复图像，所述纹理细节补充网络模型是基于卷积神经网络构建的。

在上述实施例基础上的一个优选地实施例中，所述全局结构先验重建网络模型402包括：

卷积神经网络映射层40201，用于将所述第二待修复图像映射为第一二维序列；

Transformer编码器层40202，用于对所述第一二维序列进行自注意力计算，得到所述第一二维序列的第一自注意力得分，根据所述第一自注意力得分将图像全局特征建立起长距离依赖关系，得到第二二维序列；

图像恢复层40203，用于将所述第二二维序列恢复成图像格式，得到第三待修复图像；

第一解码器40204，用于对所述第三待修复图像进行上采样到所述预设的分辨率大小，得到粗略修复图像。

在上述实施例基础上的一个优选地实施例中，卷积神经网络映射层40201具体用于：

利用所述卷积神经网络映射层的卷积核提取所述第二待修复图像的可见信息，所述可见信息为所述第二待修复图像的可见区域的像素，所述可见区域为图像未受损区域；

将所述可见信息映射为第一二维序列。

在上述实施例基础上的一个优选地实施例中，Transformer编码器层40202具体用于：

利用所述Transformer编码器层嵌入的可学习的位置编码，计算所述第一二维序列中每两个元素之间的成对相似度；

利用遮挡区域的权重缩放所述成对相似度，得到掩码权重，所述遮挡区域为图像受损区域；

根据所述成对相似度和所述掩码权重计算得到所述第一二维序列的第一自注意力得分。

在上述实施例基础上的一个优选地实施例中，所述第一二维序列和所述第二二维序列的长度相同。

在上述实施例基础上的一个优选地实施例中，所述纹理细节补充网络模型403包括：

第一残差编码器40301，用于提取所述粗略修复图像的图像浅层特征，将所述粗略修复图像的受损区域与可见区域的像素进行区分，得到临时粗略修复图像；

先验注意力层40302，用于对所述临时粗略修复图像进行自注意力计算，得到第二自注意力得分，得到自注意力图像，并将所述自注意力图像复制为第一自注意力图像和第二自注意力图像，将所述第一自注意力图像输入所述第二残差编码器，将所述第二自注意力图像输入所述感知注意力层；

第二残差编码器40303，用于基于所述第二自注意力得分提取所述第二注意力图像的图像深层特征；

感知注意力层40304，用于基于所述第二自注意力得分提取所述第二自注意力图像的可见区域的高分辨率特征，将所述高分辨率特征和所述图像深层特征进行融合感知，得到特征图像；

第二解码器40305，用于对所述特征图像进行上采样到所述第一待修复图像对应的像素大小，得到精细修复图像。

在上述实施例基础上的一个优选地实施例中，所述装置还包括：

第一判别器404，用于将所述粗略修复图像与所述第一待修复图像对应的真实图像进行比较，并对比较结果打分，记为第一评判得分，根据所述第一评判得分以及损失函数，优化所述全局结构先验重建网络模型；

第一判别器405，用于将所述精细修复图像与所述第一待修复图像对应的真实图像进行比较，并对比较结果打分，记为第二评判得分，所述第二判别器包括小波滤波器，根据所述第二评判得分以及损失函数，优化所述纹理细节补充网络模型。

本发明实施例图像修复装置是对应上述实施例中图像修复方法，由于上述实施例中已经对其相关步骤进行了详细的说明，故在此装置中不再赘述。

在本发明一个可行的实施例中，还公开了一种电子设备，如图5所示，所述设备5包括存储器51、处理器52以及存储在所述存储器51中并可在所述处理器52上运行的计算机程序53，所述处理器52执行所述计算机程序53时实现上述图像修复方法的部分或全部步骤。

在本发明一个可行的实施例中，还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述图像修复方法的部分或全部步骤。

以上对本发明实施例进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.图像修复方法，其特征在于，包括：

利用局部卷积将第一待修复图像下采样到预设的分辨率大小，得到第二待修复图像，所述预设的分辨率大于等于128×128dpi；

将所述第二待修复图像输入全局结构先验重建网络模型进行全局结构先验，输出粗略修复图像，所述全局结构先验重建网络模型是基于Transformer网络构建的；

将所述粗略修复图像输入纹理细节补充网络模型进行纹理细节补充，输出精细修复图像，所述纹理细节补充网络模型是基于卷积神经网络构建的。

2.如权利要求1所述的图像修复方法，其特征在于，所述全局结构先验重建网络模型包括卷积神经网络映射层、Transformer编码器层、图像恢复层和第一解码器；将所述第二待修复图像输入全局结构先验重建网络模型进行全局结构先验，输出粗略修复图像，包括：

利用所述卷积神经网络映射层将所述第二待修复图像映射为二维序列，即第一二维序列；

利用所述Transformer编码器层对所述第一二维序列进行自注意力计算，得到所述第一二维序列的第一自注意力得分，根据所述第一自注意力得分将图像全局特征建立起长距离依赖关系，得到新的二维序列，即第二二维序列；

利用所述图像恢复层将所述第二二维序列恢复成图像格式，得到第三待修复图像；

利用所述第一解码器对所述第三待修复图像进行上采样使其分辨率达到预设大小，得到粗略修复图像。

3.如权利要求2所述的图像修复方法，其特征在于，利用所述卷积神经网络映射层将所述第二待修复图像映射为第一二维序列，包括：

利用所述卷积神经网络映射层的卷积核提取所述第二待修复图像的可见信息，所述可见信息为所述第二待修复图像的可见区域的像素，所述可见区域为图像未受损区域；

将所述可见信息映射为第一二维序列。

4.如权利要求3所述的图像修复方法，其特征在于，利用所述Transformer编码器层对所述第一二维序列进行自注意力计算，得到所述第一二维序列的第一自注意力得分，包括：

利用所述Transformer编码器层在每层嵌入可学习的位置编码，计算所述第一二维序列中每两个元素之间的成对相似度；

利用遮挡区域的权重缩放所述成对相似度，得到掩码权重，所述遮挡区域为图像受损区域；

根据所述成对相似度和所述掩码权重计算得到所述第一二维序列的第一自注意力得分。

5.如权利要求4所述的图像修复方法，其特征在于，所述第一二维序列和所述第二二维序列的长度相同。

6.如权利要求2所述的图像修复方法，其特征在于，所述纹理细节补充网络模型包括第一残差编码器、先验注意力层、第二残差编码器、感知注意力层和第二解码器；将所述粗略修复图像输入纹理细节补充网络模型进行纹理细节补充，输出精细修复图像，包括：

利用所述第一残差编码器提取所述粗略修复图像的图像浅层特征，将所述粗略修复图像的受损区域与可见区域的像素进行区分，得到临时粗略修复图像；

利用所述先验注意力层对所述临时粗略修复图像进行自注意力计算，得到第二自注意力得分，得到自注意力图像，并将所述自注意力图像复制为第一自注意力图像和第二自注意力图像，将所述第一自注意力图像输入所述第二残差编码器，将所述第二自注意力图像输入所述感知注意力层；

利用所述第二残差编码器基于所述第二自注意力得分提取所述第二自注意力图像的图像深层特征；

利用所述感知注意力层基于所述第二自注意力得分提取所述第二自注意力图像的可见区域的高分辨率特征，将所述高分辨率特征和所述图像深层特征进行融合感知，得到特征图像；

利用所述第二解码器对所述特征图像进行上采样使其像素大小达到所述第一待修复图像对应的像素大小，得到精细修复图像。

7.如权利要求1~6任一项所述的图像修复方法，其特征在于，还包括：

将所述粗略修复图像输入第一判别器，所述第一判别器用于将所述粗略修复图像与所述第一待修复图像对应的真实图像进行比较，并对比较结果打分，记为第一评判得分；

和/或，

将所述精细修复图像输入第二判别器，所述第二判别器用于将所述精细修复图像与所述第一待修复图像对应的真实图像进行比较，并对比较结果打分，记为第二评判得分，所述第二判别器包括小波滤波器；

根据所述第一评判得分和所述第二评判得分，以及损失函数，优化所述全局结构先验重建网络模型和/或所述纹理细节补充网络模型。

8.图像修复装置，其特征在于，包括：

局部卷积模块，用于将第一待修复图像下采样到预设的分辨率大小，得到第二待修复图像，所述预设的分辨率大于等于128×128 dpi；

全局结构先验重建网络模型，用于接收所述局部卷积模块发送的所述第二待修复图像并进行全局结构先验，输出粗略修复图像，所述全局结构先验重建网络模型是基于Transformer网络构建的；

纹理细节补充网络模型，用于接收所述全局结构先验重建网络模型发送的所述粗略修复图像并进行纹理细节补充，输出精细修复图像，所述纹理细节补充网络模型是基于卷积神经网络构建的。

9.一种电子设备，所述设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1~7任一项所述的图像修复方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1~7任一项所述的图像修复方法的步骤。

Images