CN117078524A - 图像修复方法、装置、设备、介质和产品 - Google Patents

图像修复方法、装置、设备、介质和产品 Download PDF

Info

Publication number
CN117078524A
CN117078524A CN202310807741.XA CN202310807741A CN117078524A CN 117078524 A CN117078524 A CN 117078524A CN 202310807741 A CN202310807741 A CN 202310807741A CN 117078524 A CN117078524 A CN 117078524A
Authority
CN
China
Prior art keywords
semantic segmentation
image
edge
generator
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310807741.XA
Other languages
English (en)
Inventor
王鼎
马雍博
李霞
申佳润
毛莹
李昂
孙泳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN202310807741.XA priority Critical patent/CN117078524A/zh
Publication of CN117078524A publication Critical patent/CN117078524A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像修复方法、装置、计算机设备、存储介质和计算机程序产品，可用于人工智能技术领域。所述方法包括：基于样本真实图像、样本受损图像、样本真实图像的真实语义分割结构和真实边缘结构、以及样本受损图像的初始语义分割结构和初始边缘结构，依次对语义分割生成器和语义分割鉴别器、边缘生成器和边缘鉴别器、以及内容补全生成器和内容补全鉴别器进行训练，并基于训练后的语义分割生成器、训练后的边缘生成器、以及训练后的内容补全生成器，对待修复的测试受损图像进行图像修复。本申请能够提高受损图像中受损部分的边界的清晰度，并且能够提高对于受损部分的边缘结构重建的准确性，从而提高图像修复的准确性。

Description

图像修复方法、装置、设备、介质和产品
技术领域
本申请涉及人工智能技术领域，特别是涉及一种图像修复方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
图像修复的目的是重建受损图像的缺失区域，在图像编辑、图像去噪和文物保护等方面有广泛应用。
传统图像修复方法缺乏对图像高级语义的理解，只能应对结构纹理简单的小面积受损。现有的端到端深度学习图像修复方法在大量训练图像的支持下克服了上述局限性，但由于这些方法试图在约束不足的情况下恢复整个目标，修复的图像往往存在边缘结构扭曲问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高边缘重建的准确度的图像修复方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种图像修复方法，所述方法包括：
获取样本真实图像和样本受损图像，并确定所述样本真实图像的真实语义分割结构和真实边缘结构、以及所述样本受损图像的初始语义分割结构和初始边缘结构，所述样本真实图像为所述样本受损图像的原始图像；
基于所述样本受损图像、所述真实语义分割结构、所述初始语义分割结构、以及语义分割鉴别器的第一联合损失，对语义分割生成器和语义分割鉴别器进行训练，直至所述第一联合损失收敛，并在所述第一联合损失收敛的情况下，得到所述语义分割生成器生成的所述样本受损图像的目标语义分割结构；
基于所述样本受损图像、所述目标语义分割结构、所述初始边缘结构、所述真实边缘结构、以及边缘鉴别器的第二联合损失，对边缘生成器和边缘鉴别器进行训练，直至所述第二联合损失收敛，并在所述第二联合损失收敛的情况下，得到所述边缘生成器生成的所述样本受损图像的目标边缘结构；
基于所述样本受损图像、所述样本真实图像、所述目标语义分割结构、所述目标边缘结构、以及内容补全鉴别器的第三联合损失，对内容补全生成器和内容补全鉴别器进行训练，直至所述第三联合损失收敛；
基于训练后的语义分割生成器、训练后的边缘生成器、以及训练后的内容补全生成器，对待修复的测试受损图像进行图像修复。
在其中一个实施例中，所述基于所述样本受损图像、所述真实语义分割结构、所述初始语义分割结构、以及第一联合损失，对语义分割生成器和语义分割鉴别器进行训练，包括：
将所述样本受损图像、所述初始语义分割结构以及预设的第一不规则掩膜，输入所述语义分割生成器，得到中间语义分割结构；
将所述中间语义分割结构和所述真实语义分割结构，输入所述语义分割鉴别器，判断所述第一联合损失是否满足预设的第一收敛条件，若满足，则将所述中间语义分割结构确定为所述目标语义分割结构；
若不满足，则在对所述语义分割生成器或者所述语义分割鉴别器进行参数调整后，返回将所述样本受损图像、所述初始语义分割结构以及预设的第一不规则掩膜，输入所述语义分割生成器的步骤，并继续执行。
在其中一个实施例中，所述基于所述样本受损图像、所述目标语义分割结构、所述初始边缘结构、所述真实边缘结构、以及边缘鉴别器的第二联合损失，对边缘生成器和边缘鉴别器进行训练，包括：
将所述样本受损图像、所述目标语义分割结构、所述初始边缘结构、以及所述第一不规则掩膜，输入所述边缘生成器，得到中间边缘结构；
将所述样本受损图像、所述中间边缘结构以及所述真实边缘结构，输入所述边缘鉴别器，判断所述第二联合损失是否满足预设的第二收敛条件，若满足，则将所述中间边缘结构确定为所述目标边缘结构；
若不满足，则在对所述边缘生成器或者所述边缘鉴别器进行参数调整后，返回将所述样本受损图像、所述目标语义分割结构、所述初始边缘结构、以及所述第一不规则掩膜，输入所述边缘生成器的步骤，并继续执行。
在其中一个实施例中，所述基于所述样本受损图像、所述样本真实图像、所述目标语义分割结构、所述目标边缘结构、以及内容补全鉴别器的第三联合损失，对内容补全生成器和内容补全鉴别器进行训练，包括：
将所述样本受损图像、所述目标语义分割结构、所述目标边缘结构、以及所述第一不规则掩膜，输入所述内容补全生成器，得到样本中间图像；
将所述目标语义分割结构、所述目标边缘结构、所述样本中间图像、以及所述样本真实图像，输入所述内容补全鉴别器，判断所述第三联合损失是否满足预设的第三收敛条件，若满足，则将所述样本中间图像确定为目标样本预测图像；
若不满足，则在对所述内容补全生成器或者所述内容补全鉴别器进行参数调整后，返回将所述样本受损图像、所述目标语义分割结构、所述目标边缘结构、以及所述第一不规则掩膜，输入所述内容补全生成器的步骤，并继续执行。
在其中一个实施例中，所述基于训练后的语义分割生成器、训练后的边缘生成器、以及训练后的内容补全生成器，对待修复的测试受损图像进行图像修复，包括：
获取测试受损图像的初始测试语义分割结构和初始测试边缘结构；
将所述测试受损图像、所述初始测试语义分割结构、以及预设的第二不规则掩膜，输入训练后的语义分割生成器，得到目标测试语义分割结构；
将所述测试受损图像、所述目标测试语义分割结构、所述初始测试边缘结构、以及所述第二不规则掩膜，输入训练后的边缘生成器，得到目标测试边缘结构；
将所述测试受损图像、所述目标测试语义分割结构、目标测试边缘结构、以及所述第二不规则掩膜，输入训练后的内容补全生成器，得到修复后的测试图像。
在其中一个实施例中，所述第一联合损失包括第一生成对抗损失和第一特征匹配损失；所述第二联合损失包括第二生成对抗损失和第二特征匹配损失；所述第三联合损失包括重建损失、第三生成对抗损失、感知损失以及风格损失。
第二方面，本申请还提供了一种图像修复装置，所述装置包括：
获取模块，用于获取样本真实图像和样本受损图像，并确定所述样本真实图像的真实语义分割结构和真实边缘结构、以及所述样本受损图像的初始语义分割结构和初始边缘结构，所述样本真实图像为所述样本受损图像的原始图像；
第一训练模块，用于基于所述样本受损图像、所述真实语义分割结构、所述初始语义分割结构、以及语义分割鉴别器的第一联合损失，对语义分割生成器和语义分割鉴别器进行训练，直至所述第一联合损失收敛，并在所述第一联合损失收敛的情况下，得到所述语义分割生成器生成的所述样本受损图像的目标语义分割结构；
第二训练模块，用于基于所述样本受损图像、所述目标语义分割结构、所述初始边缘结构、所述真实边缘结构、以及边缘鉴别器的第二联合损失，对边缘生成器和边缘鉴别器进行训练，直至所述第二联合损失收敛，并在所述第二联合损失收敛的情况下，得到所述边缘生成器生成的所述样本受损图像的目标边缘结构；
第三训练模块，用于基于所述样本受损图像、所述样本真实图像、所述目标语义分割结构、所述目标边缘结构、以及内容补全鉴别器的第三联合损失，对内容补全生成器和内容补全鉴别器进行训练，直至所述第三联合损失收敛；
图像修复模块，用于基于训练后的语义分割生成器、训练后的边缘生成器、以及训练后的内容补全生成器，对待修复的测试受损图像进行图像修复。
第三方面，本申请还提供了一种计算机设备。计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述的任意一个实施例中的方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质。计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的任意一个实施例中的方法的步骤。
第五方面，本申请还提供了一种计算机程序产品。计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的任意一个实施例中的方法的步骤。
上述图像修复方法、装置、计算机设备、存储介质和计算机程序产品，通过对语义分割生成器和语义分割鉴别器进行训练，能够对受损图像的语义分割结构进行重建，从而提高受损图像中受损部分的边界的清晰度；通过对边缘生成器和边缘鉴别器进行训练，能够提高对于受损部分的边缘结构重建的准确性，从而提高图像修复的准确性。
附图说明
图1为一个实施例中图像修复方法的流程示意图；
图2为一个实施例中语义分割生成器和语义分割鉴别器训练方法的流程示意图；
图3为另一个实施例中图像修复方法的流程图；
图4为一个实施例中图像修复装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种图像修复方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
S102、获取样本真实图像和样本受损图像，并确定样本真实图像的真实语义分割结构和真实边缘结构、以及样本受损图像的初始语义分割结构和初始边缘结构，样本真实图像为样本受损图像的原始图像。
其中，语义分割是一种计算机视觉技术，它将一张图片分割成多个区域，并为每个像素标注一个语义标签，这些标签可以表示不同的物体、场景或者背景等，使得计算机可以更好地理解图像中不同区域的含义。边缘是图像发生变化最显著的部分，边缘两侧的灰度、亮度、颜色和纹理等特征会发生突变。
S104、基于样本受损图像、真实语义分割结构、初始语义分割结构、以及语义分割鉴别器的第一联合损失，对语义分割生成器和语义分割鉴别器进行训练，直至第一联合损失收敛，并在第一联合损失收敛的情况下，得到语义分割生成器生成的样本受损图像的目标语义分割结构。
其中，生成器通过接收输入数据，学习训练数据的分布来生成目标数据；鉴别器通常是一个二分类模型，用来判别生成器生成数据的真假性。
第一联合损失用于判断语义分割生成器生成的语义分割结构和真实语义分割结构间的相似程度，当第一联合损失在第一预设时间长度内均处于预设的第一损失范围内时，则说明语义分割生成器生成的语义分割结构和真实语义分割结构间足够相似，此时，判定第一联合损失收敛，并将此时语义分割生成器生成的语义分割结构确定为目标语义分割结构。对语义分割生成器和语义分割鉴别器的训练过程，就是根据第一联合损失的收敛情况对语义分割生成器和语义分割鉴别器的参数进行调整的过程，在第一联合损失收敛时，此时的语义分割生成器和语义分割鉴别器即为训练后的语义分割生成器和语义分割鉴别器。
S106、基于样本受损图像、目标语义分割结构、初始边缘结构、真实边缘结构、以及边缘鉴别器的第二联合损失，对边缘生成器和边缘鉴别器进行训练，直至第二联合损失收敛，并在第二联合损失收敛的情况下，得到边缘生成器生成的样本受损图像的目标边缘结构。
其中，第二联合损失用于判断边缘生成器生成的边缘结构和真实边缘结构间的相似程度，当第二联合损失在第二预设时间长度内均处于预设的第二损失范围内时，则说明边缘生成器生成的边缘结构和真实边缘结构间足够相似，此时，判定第二联合损失收敛，并将此时边缘生成器生成的边缘结构确定为目标边缘结构。对边缘生成器和边缘鉴别器的训练过程，就是根据第二联合损失的收敛情况对边缘生成器和边缘鉴别器的参数进行调整的过程，在第二联合损失收敛时，此时的边缘生成器和边缘鉴别器即为训练后的边缘生成器和边缘鉴别器。
S108、基于样本受损图像、样本真实图像、目标语义分割结构、目标边缘结构、以及内容补全鉴别器的第三联合损失，对内容补全生成器和内容补全鉴别器进行训练，直至第三联合损失收敛。
其中，第三联合损失用于判断内容补全生成器生成的样本预测图像和样本真实图像间的相似程度，当第三联合损失在第三预设时间长度内均处于预设的第三损失范围内时，则说明内容补全生成器生成的样本预测图像和样本真实图像间足够相似，此时，判定第三联合损失收敛，并将此时内容补全生成器生成的样本预测图像确定为目标样本预测图像。对内容补全生成器和内容补全鉴别器的训练过程，就是根据第三联合损失的收敛情况对内容补全生成器和内容补全鉴别器的参数进行调整的过程，在第三联合损失收敛的情况下，此时的内容补全生成器和内容补全鉴别器即为训练后的内容补全生成器和内容补全鉴别器。
S110、基于训练后的语义分割生成器、训练后的边缘生成器、以及训练后的内容补全生成器，对待修复的测试受损图像进行图像修复。
具体地，将测试受损图像输入训练后的语义分割生成器，并依次经过训练后的语义分割生成器、训练后的边缘生成器、以及训练后的内容补全生成器处理后，则可得到还原程度极高的图像。
上述图像修复方法中，通过对语义分割生成器和语义分割鉴别器进行训练，能够对受损图像的语义分割结构进行重建，从而提高受损图像中缺失部分的边界的清晰度；通过对边缘生成器和边缘鉴别器进行训练，能够提高对于缺失部分的边缘结构重建的准确性，从而提高图像修复的准确性。
在一些实施例中，如图2所示，基于样本受损图像、真实语义分割结构、初始语义分割结构、以及第一联合损失，对语义分割生成器和语义分割鉴别器进行训练，包括：
S202、将样本受损图像、初始语义分割结构以及预设的第一不规则掩膜，输入语义分割生成器，得到中间语义分割结构。
其中，不规则掩膜是指在图像处理中，使用一种非矩形的掩膜(即遮罩)，对图像进行局部处理或分割。与传统的矩形掩膜不同，不规则掩膜可以适应各种形状的区域，提高图像处理的灵活性和精度。
S204、将中间语义分割结构和真实语义分割结构，输入语义分割鉴别器，判断第一联合损失是否满足预设的第一收敛条件，若满足，则将中间语义分割结构确定为目标语义分割结构。
其中，第一收敛条件可以为第一联合损失在第一预设时间长度内均处于预设的第一损失范围内。
S206、若不满足，则在对语义分割生成器或者语义分割鉴别器进行参数调整后，返回将样本受损图像、初始语义分割结构以及预设的第一不规则掩膜，输入语义分割生成器的步骤，并继续执行。
其中，调整的参数可以为生成器或者鉴别器的层数、卷积核的大小和数量、以及正则化项，生成器和鉴别器进行调整的参数也可以为其他的，本申请实施例对此不作具体限定。
本步骤中，通过判断第一联合损失是否收敛，得到目标语义分割结构，使得得到的目标语义分割结构更加准确。
在一些实施例中，基于样本受损图像、目标语义分割结构、初始边缘结构、真实边缘结构、以及边缘鉴别器的第二联合损失，对边缘生成器和边缘鉴别器进行训练，包括：将样本受损图像、目标语义分割结构、初始边缘结构、以及第一不规则掩膜，输入边缘生成器，得到中间边缘结构；将样本受损图像、中间边缘结构以及真实边缘结构，输入边缘鉴别器，判断第二联合损失是否满足预设的第二收敛条件，若满足，则将中间边缘结构确定为目标边缘结构；若不满足，则在对边缘生成器或者边缘鉴别器进行参数调整后，返回将样本受损图像、目标语义分割结构、初始边缘结构、以及第一不规则掩膜，输入边缘生成器的步骤，并继续执行。
其中，第二收敛条件可以为第二联合损失在第二预设时间长度内均处于预设的第二损失范围内。
本步骤中，通过判断第二联合损失是否收敛，得到目标边缘结构，使得得到的目标边缘结构更加准确。
在一些实施例中，基于样本受损图像、样本真实图像、目标语义分割结构、目标边缘结构、以及内容补全鉴别器的第三联合损失，对内容补全生成器和内容补全鉴别器进行训练，包括：将样本受损图像、目标语义分割结构、目标边缘结构、以及第一不规则掩膜，输入内容补全生成器，得到样本中间图像；将目标语义分割结构、目标边缘结构、样本中间图像、以及样本真实图像，输入内容补全鉴别器，判断第三联合损失是否满足预设的第三收敛条件，若满足，则将样本中间图像确定为目标样本预测图像；若不满足，则在对内容补全生成器或者内容补全鉴别器进行参数调整后，返回将样本受损图像、目标语义分割结构、目标边缘结构、以及第一不规则掩膜，输入内容补全生成器的步骤，并继续执行。
其中，第三收敛条件可以为第三联合损失在第三预设时间长度内均处于预设的第三损失范围内。
本步骤中，通过判断第三联合损失是否收敛，得到目标样本预测图像，使得得到的目标样本预测图像与样本真实图像更加相似。
在一些实施例中，基于训练后的语义分割生成器、训练后的边缘生成器、以及训练后的内容补全生成器，对待修复的测试受损图像进行图像修复，包括：获取测试受损图像的初始测试语义分割结构和初始测试边缘结构；将测试受损图像、初始测试语义分割结构、以及预设的第二不规则掩膜，输入训练后的语义分割生成器，得到目标测试语义分割结构；将测试受损图像、目标测试语义分割结构、初始测试边缘结构、以及第二不规则掩膜，输入训练后的边缘生成器，得到目标测试边缘结构；将测试受损图像、目标测试语义分割结构、目标测试边缘结构、以及第二不规则掩膜，输入训练后的内容补全生成器，得到修复后的测试图像。
其中，第二不规则掩膜是根据测试受损图像的受损部分的形状得到的。
本步骤中，利用训练后的语义分割生成器、边缘生成器、以及内容补全生成器对待修复的测试受损图像进行图像修复，使得图像修复结果更加准确。
在一些实施例中，第一联合损失包括第一生成对抗损失和第一特征匹配损失；第二联合损失包括第二生成对抗损失和第二特征匹配损失；第三联合损失包括重建损失、第三生成对抗损失、感知损失以及风格损失。
其中，三种联合损失是根据各自对应的生成对抗网络的实际情况以及图像修复的需求而确定的。
本步骤中，基于生成对抗网络的实际情况确定相应的联合损失，使得修复的图像与真实图像更加相似。
在一个实施例中，如图3所示，提供了另一种图像修复方法，该方法包括以下内容：
(1)获取样本真实图像和样本受损图像，并确定样本真实图像的真实语义分割结构和真实边缘结构、以及样本受损图像的初始语义分割结构和初始边缘结构，样本真实图像为样本受损图像的原始图像。
(2)基于样本受损图像、真实语义分割结构、初始语义分割结构、以及语义分割鉴别器的第一联合损失，对语义分割生成器和语义分割鉴别器进行训练，直至第一联合损失收敛，并在第一联合损失收敛的情况下，得到语义分割生成器生成的样本受损图像的目标语义分割结构。
(3)基于样本受损图像、目标语义分割结构、初始边缘结构、真实边缘结构、以及边缘鉴别器的第二联合损失，对边缘生成器和边缘鉴别器进行训练，直至第二联合损失收敛，并在第二联合损失收敛的情况下，得到边缘生成器生成的样本受损图像的目标边缘结构。
(4)基于样本受损图像、样本真实图像、目标语义分割结构、目标边缘结构、以及内容补全鉴别器的第三联合损失，对内容补全生成器和内容补全鉴别器进行训练，直至第三联合损失收敛。
(5)基于训练后的语义分割生成器、训练后的边缘生成器、以及训练后的内容补全生成器，对待修复的测试受损图像进行图像修复。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像修复方法的图像修复装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像修复装置实施例中的具体限定可以参见上文中对于图像修复方法的限定，在此不再赘述。
在一个实施例中，如图4所示，提供了一种图像修复装置400，包括：获取模块401、第一训练模块402、第二训练模块403、第三训练模块404和图像修复模块405，其中：
获取模块401，用于获取样本真实图像和样本受损图像，并确定所述样本真实图像的真实语义分割结构和真实边缘结构、以及所述样本受损图像的初始语义分割结构和初始边缘结构，所述样本真实图像为所述样本受损图像的原始图像。
第一训练模块402，用于基于所述样本受损图像、所述真实语义分割结构、所述初始语义分割结构、以及语义分割鉴别器的第一联合损失，对语义分割生成器和语义分割鉴别器进行训练，直至所述第一联合损失收敛，并在所述第一联合损失收敛的情况下，得到所述语义分割生成器生成的所述样本受损图像的目标语义分割结构。
第二训练模块403，用于基于所述样本受损图像、所述目标语义分割结构、所述初始边缘结构、所述真实边缘结构、以及边缘鉴别器的第二联合损失，对边缘生成器和边缘鉴别器进行训练，直至所述第二联合损失收敛，并在所述第二联合损失收敛的情况下，得到所述边缘生成器生成的所述样本受损图像的目标边缘结构。
第三训练模块404，用于基于所述样本受损图像、所述样本真实图像、所述目标语义分割结构、所述目标边缘结构、以及内容补全鉴别器的第三联合损失，对内容补全生成器和内容补全鉴别器进行训练，直至所述第三联合损失收敛。
图像修复模块405，用于基于训练后的语义分割生成器、训练后的边缘生成器、以及训练后的内容补全生成器，对待修复的测试受损图像进行图像修复。
在一些实施例中，第一训练模块402，还用于：将所述样本受损图像、所述初始语义分割结构以及预设的第一不规则掩膜，输入所述语义分割生成器，得到中间语义分割结构；将所述中间语义分割结构和所述真实语义分割结构，输入所述语义分割鉴别器，判断所述第一联合损失是否满足预设的第一收敛条件，若满足，则将所述中间语义分割结构确定为所述目标语义分割结构；若不满足，则在对所述语义分割生成器或者所述语义分割鉴别器进行参数调整后，返回将所述样本受损图像、所述初始语义分割结构以及预设的第一不规则掩膜，输入所述语义分割生成器的步骤，并继续执行。
在一些实施例中，第二训练模块403，还用于：将所述样本受损图像、所述目标语义分割结构、所述初始边缘结构、以及所述第一不规则掩膜，输入所述边缘生成器，得到中间边缘结构；将所述样本受损图像、所述中间边缘结构以及所述真实边缘结构，输入所述边缘鉴别器，判断所述第二联合损失是否满足预设的第二收敛条件，若满足，则将所述中间边缘结构确定为所述目标边缘结构；若不满足，则在对所述边缘生成器或者所述边缘鉴别器进行参数调整后，返回将所述样本受损图像、所述目标语义分割结构、所述初始边缘结构、以及所述第一不规则掩膜，输入所述边缘生成器的步骤，并继续执行。
在一些实施例中，第三训练模块404，还用于：将所述样本受损图像、所述目标语义分割结构、所述目标边缘结构、以及所述第一不规则掩膜，输入所述内容补全生成器，得到样本中间图像；将所述目标语义分割结构、所述目标边缘结构、所述样本中间图像、以及所述样本真实图像，输入所述内容补全鉴别器，判断所述第三联合损失是否满足预设的第三收敛条件，若满足，则将所述样本中间图像确定为目标样本预测图像；若不满足，则在对所述内容补全生成器或者所述内容补全鉴别器进行参数调整后，返回将所述样本受损图像、所述目标语义分割结构、所述目标边缘结构、以及所述第一不规则掩膜，输入所述内容补全生成器的步骤，并继续执行。
在一些实施例中，图像修复模块405，还用于：获取测试受损图像的初始测试语义分割结构和初始测试边缘结构；将所述测试受损图像、所述初始测试语义分割结构、以及预设的第二不规则掩膜，输入训练后的语义分割生成器，得到目标测试语义分割结构；将所述测试受损图像、所述目标测试语义分割结构、所述初始测试边缘结构、以及所述第二不规则掩膜，输入训练后的边缘生成器，得到目标测试边缘结构；将所述测试受损图像、所述目标测试语义分割结构、目标测试边缘结构、以及所述第二不规则掩膜，输入训练后的内容补全生成器，得到修复后的测试图像。
在一些实施例中，图像修复装置400，具体用于：第一联合损失包括第一生成对抗损失和第一特征匹配损失；所述第二联合损失包括第二生成对抗损失和第二特征匹配损失；所述第三联合损失包括重建损失、第三生成对抗损失、感知损失以及风格损失。
上述图像修复装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像修复方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取样本真实图像和样本受损图像，并确定所述样本真实图像的真实语义分割结构和真实边缘结构、以及所述样本受损图像的初始语义分割结构和初始边缘结构，所述样本真实图像为所述样本受损图像的原始图像；基于所述样本受损图像、所述真实语义分割结构、所述初始语义分割结构、以及语义分割鉴别器的第一联合损失，对语义分割生成器和语义分割鉴别器进行训练，直至所述第一联合损失收敛，并在所述第一联合损失收敛的情况下，得到所述语义分割生成器生成的所述样本受损图像的目标语义分割结构；基于所述样本受损图像、所述目标语义分割结构、所述初始边缘结构、所述真实边缘结构、以及边缘鉴别器的第二联合损失，对边缘生成器和边缘鉴别器进行训练，直至所述第二联合损失收敛，并在所述第二联合损失收敛的情况下，得到所述边缘生成器生成的所述样本受损图像的目标边缘结构；基于所述样本受损图像、所述样本真实图像、所述目标语义分割结构、所述目标边缘结构、以及内容补全鉴别器的第三联合损失，对内容补全生成器和内容补全鉴别器进行训练，直至所述第三联合损失收敛；基于训练后的语义分割生成器、训练后的边缘生成器、以及训练后的内容补全生成器，对待修复的测试受损图像进行图像修复。
在一个实施例中，处理器执行计算机程序时所实现的基于所述样本受损图像、所述真实语义分割结构、所述初始语义分割结构、以及第一联合损失，对语义分割生成器和语义分割鉴别器进行训练，包括：将所述样本受损图像、所述初始语义分割结构以及预设的第一不规则掩膜，输入所述语义分割生成器，得到中间语义分割结构；将所述中间语义分割结构和所述真实语义分割结构，输入所述语义分割鉴别器，判断所述第一联合损失是否满足预设的第一收敛条件，若满足，则将所述中间语义分割结构确定为所述目标语义分割结构；若不满足，则在对所述语义分割生成器或者所述语义分割鉴别器进行参数调整后，返回将所述样本受损图像、所述初始语义分割结构以及预设的第一不规则掩膜，输入所述语义分割生成器的步骤，并继续执行。
在一个实施例中，处理器执行计算机程序时所实现的基于所述样本受损图像、所述目标语义分割结构、所述初始边缘结构、所述真实边缘结构、以及边缘鉴别器的第二联合损失，对边缘生成器和边缘鉴别器进行训练，包括：将所述样本受损图像、所述目标语义分割结构、所述初始边缘结构、以及所述第一不规则掩膜，输入所述边缘生成器，得到中间边缘结构；将所述样本受损图像、所述中间边缘结构以及所述真实边缘结构，输入所述边缘鉴别器，判断所述第二联合损失是否满足预设的第二收敛条件，若满足，则将所述中间边缘结构确定为所述目标边缘结构；若不满足，则在对所述边缘生成器或者所述边缘鉴别器进行参数调整后，返回将所述样本受损图像、所述目标语义分割结构、所述初始边缘结构、以及所述第一不规则掩膜，输入所述边缘生成器的步骤，并继续执行。
在一个实施例中，处理器执行计算机程序时所实现的基于所述样本受损图像、所述样本真实图像、所述目标语义分割结构、所述目标边缘结构、以及内容补全鉴别器的第三联合损失，对内容补全生成器和内容补全鉴别器进行训练，包括：将所述样本受损图像、所述目标语义分割结构、所述目标边缘结构、以及所述第一不规则掩膜，输入所述内容补全生成器，得到样本中间图像；将所述目标语义分割结构、所述目标边缘结构、所述样本中间图像、以及所述样本真实图像，输入所述内容补全鉴别器，判断所述第三联合损失是否满足预设的第三收敛条件，若满足，则将所述样本中间图像确定为目标样本预测图像；若不满足，则在对所述内容补全生成器或者所述内容补全鉴别器进行参数调整后，返回将所述样本受损图像、所述目标语义分割结构、所述目标边缘结构、以及所述第一不规则掩膜，输入所述内容补全生成器的步骤，并继续执行。
在一个实施例中，处理器执行计算机程序时所实现的基于训练后的语义分割生成器、训练后的边缘生成器、以及训练后的内容补全生成器，对待修复的测试受损图像进行图像修复，包括：获取测试受损图像的初始测试语义分割结构和初始测试边缘结构；将所述测试受损图像、所述初始测试语义分割结构、以及预设的第二不规则掩膜，输入训练后的语义分割生成器，得到目标测试语义分割结构；将所述测试受损图像、所述目标测试语义分割结构、所述初始测试边缘结构、以及所述第二不规则掩膜，输入训练后的边缘生成器，得到目标测试边缘结构；将所述测试受损图像、所述目标测试语义分割结构、目标测试边缘结构、以及所述第二不规则掩膜，输入训练后的内容补全生成器，得到修复后的测试图像。
在一个实施例中，处理器执行计算机程序时所实现的第一联合损失包括第一生成对抗损失和第一特征匹配损失；所述第二联合损失包括第二生成对抗损失和第二特征匹配损失；所述第三联合损失包括重建损失、第三生成对抗损失、感知损失以及风格损失。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取样本真实图像和样本受损图像，并确定所述样本真实图像的真实语义分割结构和真实边缘结构、以及所述样本受损图像的初始语义分割结构和初始边缘结构，所述样本真实图像为所述样本受损图像的原始图像；基于所述样本受损图像、所述真实语义分割结构、所述初始语义分割结构、以及语义分割鉴别器的第一联合损失，对语义分割生成器和语义分割鉴别器进行训练，直至所述第一联合损失收敛，并在所述第一联合损失收敛的情况下，得到所述语义分割生成器生成的所述样本受损图像的目标语义分割结构；基于所述样本受损图像、所述目标语义分割结构、所述初始边缘结构、所述真实边缘结构、以及边缘鉴别器的第二联合损失，对边缘生成器和边缘鉴别器进行训练，直至所述第二联合损失收敛，并在所述第二联合损失收敛的情况下，得到所述边缘生成器生成的所述样本受损图像的目标边缘结构；基于所述样本受损图像、所述样本真实图像、所述目标语义分割结构、所述目标边缘结构、以及内容补全鉴别器的第三联合损失，对内容补全生成器和内容补全鉴别器进行训练，直至所述第三联合损失收敛；基于训练后的语义分割生成器、训练后的边缘生成器、以及训练后的内容补全生成器，对待修复的测试受损图像进行图像修复。
在一个实施例中，计算机程序被处理器执行时所实现的基于所述样本受损图像、所述真实语义分割结构、所述初始语义分割结构、以及第一联合损失，对语义分割生成器和语义分割鉴别器进行训练，包括：将所述样本受损图像、所述初始语义分割结构以及预设的第一不规则掩膜，输入所述语义分割生成器，得到中间语义分割结构；将所述中间语义分割结构和所述真实语义分割结构，输入所述语义分割鉴别器，判断所述第一联合损失是否满足预设的第一收敛条件，若满足，则将所述中间语义分割结构确定为所述目标语义分割结构；若不满足，则在对所述语义分割生成器或者所述语义分割鉴别器进行参数调整后，返回将所述样本受损图像、所述初始语义分割结构以及预设的第一不规则掩膜，输入所述语义分割生成器的步骤，并继续执行。
在一个实施例中，计算机程序被处理器执行时所实现的基于所述样本受损图像、所述目标语义分割结构、所述初始边缘结构、所述真实边缘结构、以及边缘鉴别器的第二联合损失，对边缘生成器和边缘鉴别器进行训练，包括：将所述样本受损图像、所述目标语义分割结构、所述初始边缘结构、以及所述第一不规则掩膜，输入所述边缘生成器，得到中间边缘结构；将所述样本受损图像、所述中间边缘结构以及所述真实边缘结构，输入所述边缘鉴别器，判断所述第二联合损失是否满足预设的第二收敛条件，若满足，则将所述中间边缘结构确定为所述目标边缘结构；若不满足，则在对所述边缘生成器或者所述边缘鉴别器进行参数调整后，返回将所述样本受损图像、所述目标语义分割结构、所述初始边缘结构、以及所述第一不规则掩膜，输入所述边缘生成器的步骤，并继续执行。
在一个实施例中，计算机程序被处理器执行时所实现的基于所述样本受损图像、所述样本真实图像、所述目标语义分割结构、所述目标边缘结构、以及内容补全鉴别器的第三联合损失，对内容补全生成器和内容补全鉴别器进行训练，包括：将所述样本受损图像、所述目标语义分割结构、所述目标边缘结构、以及所述第一不规则掩膜，输入所述内容补全生成器，得到样本中间图像；将所述目标语义分割结构、所述目标边缘结构、所述样本中间图像、以及所述样本真实图像，输入所述内容补全鉴别器，判断所述第三联合损失是否满足预设的第三收敛条件，若满足，则将所述样本中间图像确定为目标样本预测图像；若不满足，则在对所述内容补全生成器或者所述内容补全鉴别器进行参数调整后，返回将所述样本受损图像、所述目标语义分割结构、所述目标边缘结构、以及所述第一不规则掩膜，输入所述内容补全生成器的步骤，并继续执行。
在一个实施例中，计算机程序被处理器执行时所实现的基于训练后的语义分割生成器、训练后的边缘生成器、以及训练后的内容补全生成器，对待修复的测试受损图像进行图像修复，包括：获取测试受损图像的初始测试语义分割结构和初始测试边缘结构；将所述测试受损图像、所述初始测试语义分割结构、以及预设的第二不规则掩膜，输入训练后的语义分割生成器，得到目标测试语义分割结构；将所述测试受损图像、所述目标测试语义分割结构、所述初始测试边缘结构、以及所述第二不规则掩膜，输入训练后的边缘生成器，得到目标测试边缘结构；将所述测试受损图像、所述目标测试语义分割结构、目标测试边缘结构、以及所述第二不规则掩膜，输入训练后的内容补全生成器，得到修复后的测试图像。
在一个实施例中，计算机程序被处理器执行时所实现的第一联合损失包括第一生成对抗损失和第一特征匹配损失；所述第二联合损失包括第二生成对抗损失和第二特征匹配损失；所述第三联合损失包括重建损失、第三生成对抗损失、感知损失以及风格损失。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：获取样本真实图像和样本受损图像，并确定所述样本真实图像的真实语义分割结构和真实边缘结构、以及所述样本受损图像的初始语义分割结构和初始边缘结构，所述样本真实图像为所述样本受损图像的原始图像；基于所述样本受损图像、所述真实语义分割结构、所述初始语义分割结构、以及语义分割鉴别器的第一联合损失，对语义分割生成器和语义分割鉴别器进行训练，直至所述第一联合损失收敛，并在所述第一联合损失收敛的情况下，得到所述语义分割生成器生成的所述样本受损图像的目标语义分割结构；基于所述样本受损图像、所述目标语义分割结构、所述初始边缘结构、所述真实边缘结构、以及边缘鉴别器的第二联合损失，对边缘生成器和边缘鉴别器进行训练，直至所述第二联合损失收敛，并在所述第二联合损失收敛的情况下，得到所述边缘生成器生成的所述样本受损图像的目标边缘结构；基于所述样本受损图像、所述样本真实图像、所述目标语义分割结构、所述目标边缘结构、以及内容补全鉴别器的第三联合损失，对内容补全生成器和内容补全鉴别器进行训练，直至所述第三联合损失收敛；基于训练后的语义分割生成器、训练后的边缘生成器、以及训练后的内容补全生成器，对待修复的测试受损图像进行图像修复。
在一个实施例中，计算机程序被处理器执行时所实现的基于所述样本受损图像、所述真实语义分割结构、所述初始语义分割结构、以及第一联合损失，对语义分割生成器和语义分割鉴别器进行训练，包括：将所述样本受损图像、所述初始语义分割结构以及预设的第一不规则掩膜，输入所述语义分割生成器，得到中间语义分割结构；将所述中间语义分割结构和所述真实语义分割结构，输入所述语义分割鉴别器，判断所述第一联合损失是否满足预设的第一收敛条件，若满足，则将所述中间语义分割结构确定为所述目标语义分割结构；若不满足，则在对所述语义分割生成器或者所述语义分割鉴别器进行参数调整后，返回将所述样本受损图像、所述初始语义分割结构以及预设的第一不规则掩膜，输入所述语义分割生成器的步骤，并继续执行。
在一个实施例中，计算机程序被处理器执行时所实现的基于所述样本受损图像、所述目标语义分割结构、所述初始边缘结构、所述真实边缘结构、以及边缘鉴别器的第二联合损失，对边缘生成器和边缘鉴别器进行训练，包括：将所述样本受损图像、所述目标语义分割结构、所述初始边缘结构、以及所述第一不规则掩膜，输入所述边缘生成器，得到中间边缘结构；将所述样本受损图像、所述中间边缘结构以及所述真实边缘结构，输入所述边缘鉴别器，判断所述第二联合损失是否满足预设的第二收敛条件，若满足，则将所述中间边缘结构确定为所述目标边缘结构；若不满足，则在对所述边缘生成器或者所述边缘鉴别器进行参数调整后，返回将所述样本受损图像、所述目标语义分割结构、所述初始边缘结构、以及所述第一不规则掩膜，输入所述边缘生成器的步骤，并继续执行。
在一个实施例中，计算机程序被处理器执行时所实现的基于所述样本受损图像、所述样本真实图像、所述目标语义分割结构、所述目标边缘结构、以及内容补全鉴别器的第三联合损失，对内容补全生成器和内容补全鉴别器进行训练，包括：将所述样本受损图像、所述目标语义分割结构、所述目标边缘结构、以及所述第一不规则掩膜，输入所述内容补全生成器，得到样本中间图像；将所述目标语义分割结构、所述目标边缘结构、所述样本中间图像、以及所述样本真实图像，输入所述内容补全鉴别器，判断所述第三联合损失是否满足预设的第三收敛条件，若满足，则将所述样本中间图像确定为目标样本预测图像；若不满足，则在对所述内容补全生成器或者所述内容补全鉴别器进行参数调整后，返回将所述样本受损图像、所述目标语义分割结构、所述目标边缘结构、以及所述第一不规则掩膜，输入所述内容补全生成器的步骤，并继续执行。
在一个实施例中，计算机程序被处理器执行时所实现的基于训练后的语义分割生成器、训练后的边缘生成器、以及训练后的内容补全生成器，对待修复的测试受损图像进行图像修复，包括：获取测试受损图像的初始测试语义分割结构和初始测试边缘结构；将所述测试受损图像、所述初始测试语义分割结构、以及预设的第二不规则掩膜，输入训练后的语义分割生成器，得到目标测试语义分割结构；将所述测试受损图像、所述目标测试语义分割结构、所述初始测试边缘结构、以及所述第二不规则掩膜，输入训练后的边缘生成器，得到目标测试边缘结构；将所述测试受损图像、所述目标测试语义分割结构、目标测试边缘结构、以及所述第二不规则掩膜，输入训练后的内容补全生成器，得到修复后的测试图像。
在一个实施例中，计算机程序被处理器执行时所实现的第一联合损失包括第一生成对抗损失和第一特征匹配损失；所述第二联合损失包括第二生成对抗损失和第二特征匹配损失；所述第三联合损失包括重建损失、第三生成对抗损失、感知损失以及风格损失。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像修复方法，其特征在于，所述方法包括：
获取样本真实图像和样本受损图像，并确定所述样本真实图像的真实语义分割结构和真实边缘结构、以及所述样本受损图像的初始语义分割结构和初始边缘结构，所述样本真实图像为所述样本受损图像的原始图像；
基于所述样本受损图像、所述真实语义分割结构、所述初始语义分割结构、以及语义分割鉴别器的第一联合损失，对语义分割生成器和语义分割鉴别器进行训练，直至所述第一联合损失收敛，并在所述第一联合损失收敛的情况下，得到所述语义分割生成器生成的所述样本受损图像的目标语义分割结构；
基于所述样本受损图像、所述目标语义分割结构、所述初始边缘结构、所述真实边缘结构、以及边缘鉴别器的第二联合损失，对边缘生成器和边缘鉴别器进行训练，直至所述第二联合损失收敛，并在所述第二联合损失收敛的情况下，得到所述边缘生成器生成的所述样本受损图像的目标边缘结构；
基于所述样本受损图像、所述样本真实图像、所述目标语义分割结构、所述目标边缘结构、以及内容补全鉴别器的第三联合损失，对内容补全生成器和内容补全鉴别器进行训练，直至所述第三联合损失收敛；
基于训练后的语义分割生成器、训练后的边缘生成器、以及训练后的内容补全生成器，对待修复的测试受损图像进行图像修复。
2.根据权利要求1所述的方法，其特征在于，所述基于所述样本受损图像、所述真实语义分割结构、所述初始语义分割结构、以及第一联合损失，对语义分割生成器和语义分割鉴别器进行训练，包括：
将所述样本受损图像、所述初始语义分割结构以及预设的第一不规则掩膜，输入所述语义分割生成器，得到中间语义分割结构；
将所述中间语义分割结构和所述真实语义分割结构，输入所述语义分割鉴别器，判断所述第一联合损失是否满足预设的第一收敛条件，若满足，则将所述中间语义分割结构确定为所述目标语义分割结构；
若不满足，则在对所述语义分割生成器或者所述语义分割鉴别器进行参数调整后，返回将所述样本受损图像、所述初始语义分割结构以及预设的第一不规则掩膜，输入所述语义分割生成器的步骤，并继续执行。
3.根据权利要求2所述的方法，其特征在于，所述基于所述样本受损图像、所述目标语义分割结构、所述初始边缘结构、所述真实边缘结构、以及边缘鉴别器的第二联合损失，对边缘生成器和边缘鉴别器进行训练，包括：
将所述样本受损图像、所述目标语义分割结构、所述初始边缘结构、以及所述第一不规则掩膜，输入所述边缘生成器，得到中间边缘结构；
将所述样本受损图像、所述中间边缘结构以及所述真实边缘结构，输入所述边缘鉴别器，判断所述第二联合损失是否满足预设的第二收敛条件，若满足，则将所述中间边缘结构确定为所述目标边缘结构；
若不满足，则在对所述边缘生成器或者所述边缘鉴别器进行参数调整后，返回将所述样本受损图像、所述目标语义分割结构、所述初始边缘结构、以及所述第一不规则掩膜，输入所述边缘生成器的步骤，并继续执行。
4.根据权利要求2所述的方法，其特征在于，所述基于所述样本受损图像、所述样本真实图像、所述目标语义分割结构、所述目标边缘结构、以及内容补全鉴别器的第三联合损失，对内容补全生成器和内容补全鉴别器进行训练，包括：
将所述样本受损图像、所述目标语义分割结构、所述目标边缘结构、以及所述第一不规则掩膜，输入所述内容补全生成器，得到样本中间图像；
将所述目标语义分割结构、所述目标边缘结构、所述样本中间图像、以及所述样本真实图像，输入所述内容补全鉴别器，判断所述第三联合损失是否满足预设的第三收敛条件，若满足，则将所述样本中间图像确定为目标样本预测图像；
若不满足，则在对所述内容补全生成器或者所述内容补全鉴别器进行参数调整后，返回将所述样本受损图像、所述目标语义分割结构、所述目标边缘结构、以及所述第一不规则掩膜，输入所述内容补全生成器的步骤，并继续执行。
5.根据权利要求1所述的方法，其特征在于，所述基于训练后的语义分割生成器、训练后的边缘生成器、以及训练后的内容补全生成器，对待修复的测试受损图像进行图像修复，包括：
获取测试受损图像的初始测试语义分割结构和初始测试边缘结构；
将所述测试受损图像、所述初始测试语义分割结构、以及预设的第二不规则掩膜，输入训练后的语义分割生成器，得到目标测试语义分割结构；
将所述测试受损图像、所述目标测试语义分割结构、所述初始测试边缘结构、以及所述第二不规则掩膜，输入训练后的边缘生成器，得到目标测试边缘结构；
将所述测试受损图像、所述目标测试语义分割结构、目标测试边缘结构、以及所述第二不规则掩膜，输入训练后的内容补全生成器，得到修复后的测试图像。
6.根据权利要求1所述的方法，其特征在于，所述第一联合损失包括第一生成对抗损失和第一特征匹配损失；所述第二联合损失包括第二生成对抗损失和第二特征匹配损失；所述第三联合损失包括重建损失、第三生成对抗损失、感知损失以及风格损失。
7.一种图像修复装置，其特征在于，所述装置包括：
获取模块，用于获取样本真实图像和样本受损图像，并确定所述样本真实图像的真实语义分割结构和真实边缘结构、以及所述样本受损图像的初始语义分割结构和初始边缘结构，所述样本真实图像为所述样本受损图像的原始图像；
第一训练模块，用于基于所述样本受损图像、所述真实语义分割结构、所述初始语义分割结构、以及语义分割鉴别器的第一联合损失，对语义分割生成器和语义分割鉴别器进行训练，直至所述第一联合损失收敛，并在所述第一联合损失收敛的情况下，得到所述语义分割生成器生成的所述样本受损图像的目标语义分割结构；
第二训练模块，用于基于所述样本受损图像、所述目标语义分割结构、所述初始边缘结构、所述真实边缘结构、以及边缘鉴别器的第二联合损失，对边缘生成器和边缘鉴别器进行训练，直至所述第二联合损失收敛，并在所述第二联合损失收敛的情况下，得到所述边缘生成器生成的所述样本受损图像的目标边缘结构；
第三训练模块，用于基于所述样本受损图像、所述样本真实图像、所述目标语义分割结构、所述目标边缘结构、以及内容补全鉴别器的第三联合损失，对内容补全生成器和内容补全鉴别器进行训练，直至所述第三联合损失收敛；
图像修复模块，用于基于训练后的语义分割生成器、训练后的边缘生成器、以及训练后的内容补全生成器，对待修复的测试受损图像进行图像修复。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202310807741.XA 2023-07-03 2023-07-03 图像修复方法、装置、设备、介质和产品 Pending CN117078524A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310807741.XA CN117078524A (zh) 2023-07-03 2023-07-03 图像修复方法、装置、设备、介质和产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310807741.XA CN117078524A (zh) 2023-07-03 2023-07-03 图像修复方法、装置、设备、介质和产品

Publications (1)

Publication Number Publication Date
CN117078524A true CN117078524A (zh) 2023-11-17

Family

ID=88708682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310807741.XA Pending CN117078524A (zh) 2023-07-03 2023-07-03 图像修复方法、装置、设备、介质和产品

Country Status (1)

Country Link
CN (1) CN117078524A (zh)

Similar Documents

Publication Publication Date Title
CN111833237B (zh) 基于卷积神经网络和局部单应性变换的图像配准方法
CN112329702B (zh) 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质
CN109584327B (zh) 人脸老化模拟方法、装置以及设备
CN111047508B (zh) 图像处理方法、装置、计算机设备和存储介质
CN110689495A (zh) 一种深度学习的图像修复方法
CN112560864B (zh) 图像语义分割方法、装置及图像语义分割模型的训练方法
CN114387289B (zh) 输配电架空线路三维点云语义分割方法和装置
CN115564639A (zh) 背景虚化方法、装置、计算机设备和存储介质
CN115082322A (zh) 图像处理方法和装置、图像重建模型的训练方法和装置
CN111325697A (zh) 一种基于张量本征变换的彩色图像修复方法
CN115953330B (zh) 虚拟场景图像的纹理优化方法、装置、设备和存储介质
CN117058554A (zh) 电力设备目标检测方法、模型训练方法和装置
CN116612280A (zh) 车辆分割方法、装置、计算机设备和计算机可读存储介质
CN117078524A (zh) 图像修复方法、装置、设备、介质和产品
CN116612474B (zh) 对象检测方法、装置、计算机设备及计算机可读存储介质
CN116527908B (zh) 运动场估计方法、装置、计算机设备和存储介质
CN115580721B (zh) 变电站设备监控视频的质量检测方法、装置、设备和介质
CN116503260B (zh) 一种图像超分辨率重建方法、装置和设备
CN116912791A (zh) 目标检测方法、装置、计算机设备和存储介质
CN118279597A (zh) 目标检测方法、装置、设备、介质和程序产品
CN117115055A (zh) 图像处理方法、装置、计算机设备及计算机可读存储介质
CN118196819A (zh) 文本字符检测方法、计算机设备和存储介质
CN116977394A (zh) 视频生成方法、装置、设备、存储介质和计算机程序产品
CN117974992A (zh) 抠图处理方法、装置、计算机设备和存储介质
CN117974707A (zh) 图像分割模型的训练方法、图像分割方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination