CN114998149A - 图像修复模型的训练方法及图像修复方法、装置及设备 - Google Patents

图像修复模型的训练方法及图像修复方法、装置及设备 Download PDF

Info

Publication number
CN114998149A
CN114998149A CN202210680090.8A CN202210680090A CN114998149A CN 114998149 A CN114998149 A CN 114998149A CN 202210680090 A CN202210680090 A CN 202210680090A CN 114998149 A CN114998149 A CN 114998149A
Authority
CN
China
Prior art keywords
image
channel
feature
images
predicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210680090.8A
Other languages
English (en)
Inventor
毛晓飞
黄灿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Youzhuju Network Technology Co Ltd
Original Assignee
Beijing Youzhuju Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Youzhuju Network Technology Co Ltd filed Critical Beijing Youzhuju Network Technology Co Ltd
Priority to CN202210680090.8A priority Critical patent/CN114998149A/zh
Publication of CN114998149A publication Critical patent/CN114998149A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像修复模型的训练方法、装置及设备，对原图图像进行随机掩码操作，生成缺陷图像。将缺陷图像分离为多个单通道图像，并将多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像。图像修复模型包括单通道图像修复模块。将多个单通道图像分别对应的单通道预测图像进行合并，获得预测图像。由原图图像和预测图像获得的图像修复模型的损失值训练图像修复模型，直到达到预设条件。基于多个单通道图像的分层修复，能够充分学习图像的语义信息。预测图像的整体像素数值，能够降低已修复区域存在波纹、扭曲等失真情况的发生。如此，使得训练完成的图像修复模型对缺陷图像的修复效果更好。

Description

图像修复模型的训练方法及图像修复方法、装置及设备
技术领域
本申请涉及图像处理领域，具体涉及一种图像修复模型的训练方法、装置及设备，和一种图像修复方法、装置及设备。
背景技术
图像修复的主要目的是修复图像中的残缺部分。目前，通常是直接利用修复模型来预测残缺部分的像素数值以达到修复图像的目的。然而这种图像修复方式容易导致已修复的区域存在波纹、扭曲等失真情况。
发明内容
有鉴于此，本申请实施例提供一种图像修复模型的训练方法、装置及设备，和一种图像修复方法、装置及设备，能够提高图像的修复效果，减少修复失真的情况。
为解决上述问题，本申请实施例提供的技术方案如下：
第一方面，本申请实施例提供一种图像修复模型的训练方法，所述方法包括：
对原图图像进行随机掩膜操作，生成缺陷图像；
将所述缺陷图像分离为多个单通道图像；
将所述多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像；所述图像修复模型包括所述单通道图像修复模块；
将所述多个单通道图像分别对应的单通道预测图像进行合并，获得预测图像；
根据所述原图图像和所述预测图像，获取所述图像修复模型的损失值；
根据所述损失值训练所述图像修复模型，重复执行所述将所述多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像以及后续步骤，直至达到预设条件。
第二方面，本申请实施例提供一种图像修复方法，所述方法包括：
将待修复图像分离为多个待修复单通道图像；
将所述多个待修复单通道图像分别输入图像修复模型的单通道图像修复模块中，获得多个修复后的单通道图像；所述图像修复模型是根据上述任一项所述的图像修复模型的训练方法训练得到的；
将所述多个修复后的单通道图像进行合并，获得修复后的图像。
第三方面，本申请实施例提供一种图像修复模型的训练装置，所述装置包括：
生成单元，用于对原图图像进行随机掩膜操作，生成缺陷图像；
分离单元，用于将所述缺陷图像分离为多个单通道图像；
输入单元，用于将所述多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像；所述图像修复模型包括所述单通道图像修复模块；
合并单元，用于将所述多个单通道图像分别对应的单通道预测图像进行合并，获得预测图像；
获取单元，用于根据所述原图图像和所述预测图像，获取所述图像修复模型的损失值；
训练单元，用于根据所述损失值训练所述图像修复模型，重复执行所述将所述多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像以及后续步骤，直至达到预设条件。
第四方面，本申请实施例提供一种图像修复装置，所述装置包括：
分离单元，用于将待修复图像分离为多个待修复单通道图像；
输入单元，用于将所述多个待修复单通道图像分别输入图像修复模型的单通道图像修复模块中，获得多个修复后的单通道图像；所述图像修复模型是根据上述任一项所述的图像修复模型的训练方法训练得到的；
合并单元，用于将所述多个修复后的单通道图像进行合并，获得修复后的图像。
第五方面，本申请实施例提供一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述任一所述的图像修复模型的训练方法，或者上述任一所述的图像修复方法。
第六方面，本申请实施例提供一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如上述任一所述的图像修复模型的训练方法，或者上述任一所述的图像修复方法。
第七方面，本申请实施例提供一种计算机程序产品，所述计算机程序产品包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现如上述任一所述的图像修复模型的训练方法，或者上述任一所述的图像修复方法。
由此可见，本申请实施例具有如下有益效果：
本申请实施例提供一种图像修复模型的训练方法、装置及设备，先对原图图像进行随机掩码操作，生成缺陷图像。再将缺陷图像分离为多个单通道图像，并将多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像。图像修复模型包括单通道图像修复模块。进而，将多个单通道图像分别对应的单通道预测图像进行合并，获得预测图像。由原图图像和预测图像获得图像修复模型的损失值。利用损失值训练图像修复模型，直到达到预设条件。可知，在本申请实施例中，基于多个单通道图像的分层修复，能够充分学习图像的语义信息。另外，代替仅预测图像中残缺部分的像素数值，该训练方法可以预测图像的整体像素数值，能够降低已修复区域存在波纹、扭曲等失真情况的发生。如此，通过本申请实施例提供的图像修复模型的训练方法，能够使得训练完成的图像修复模型对缺陷图像的修复效果更好。
附图说明
图1为本申请实施例提供的一种示例性应用场景的框架示意图；
图2为本申请实施例提供的一种图像修复模型的训练方法的流程图；
图3为本申请实施例提供的一种多个单通道图像的示意图；
图4为本申请实施例提供的一种单通道图像修复模块的结构示意图；
图5为本申请实施例提供的一种图像修复方法的流程图；
图6为本申请实施例提供的一种图像修复模型的训练装置的结构示意图；
图7为本申请实施例提供的一种图像修复装置的结构示意图；
图8为本申请实施例提供的一种电子设备的基本结构的示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。
为了便于理解和解释本申请实施例提供的技术方案，先对本申请实施例中所涉及到的背景技术进行介绍。
图像修复的主要目的是修复图像中的残缺部分。目前，通常是直接利用修复模型来预测残缺部分的像素数值以达到修复图像的目的。然而这种图像修复方式容易导致已修复的区域存在波纹、扭曲等失真情况。
基于此，本申请实施例提供了一种图像修复模型的训练方法、装置及设备，先对原图图像进行随机掩码操作，生成缺陷图像。再将缺陷图像分离为多个单通道图像，并将多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像。图像修复模型包括单通道图像修复模块。进而，将多个单通道图像分别对应的单通道预测图像进行合并，获得预测图像。由原图图像和预测图像获得图像修复模型的损失值。利用损失值训练图像修复模型，直到达到预设条件。可知，基于多个单通道图像的分层修复，能够充分学习图像的语义信息。另外，代替仅预测残缺部分的像素数值，该训练方法可以预测图像的整体像素数值，能够降低已修复区域存在波纹、扭曲等失真情况的发生。如此，通过本申请实施例提供的图像修复模型的训练方法，能够使得训练完成的图像修复模型对缺陷图像的修复效果更好。
为了便于理解本申请实施例提供的图像修复模型的训练方法，下面结合图1所示的场景示例进行说明。参见图1所示，该图为本申请实施例提供的示例性应用场景的框架示意图。
在实际应用中，先获取原图图像，原图图像可以理解为真实图像或完整图像，即没有缺陷的图像。对原图图像进行随机掩膜操作，生成缺陷图像，缺陷图像即为待修复的破损图像。原图图像可以看作是缺陷图像的标签图像。
进而，将缺陷图像分离为多个单通道图像。如图1所示，作为一种可选示例，该多个单通道图像可为R单通道图像、G通道图像以及B通道图像。
在获取多个单通道图像后，将多个单通道图像分别输入图像修复模型的单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像。例如，将R单通道图像输入单通道图像修复模块中，获得单通道图像修复模块输出的R单通道预测图像；将G单通道图像输入单通道图像修复模块中，获得单通道图像修复模块输出的G单通道预测图像；将B单通道图像输入单通道图像修复模块中，获得单通道图像修复模块输出的B单通道预测图像。单通道预测图像可以理解为对单通道图像修复后得到的图像。
将多个单通道图像分别对应的单通道预测图像进行合并，获得预测图像。预测图像可以理解为对缺陷图像修复后得到的图像。预测图像为图像修复模型的输出。
根据原图图像和预测图像，获取图像修复模型的损失值。为了使预测图像和原图图像的损失值在预设范围内，需要根据损失值训练图像修复模型，并重复执行将多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像以及后续步骤，直至达到预设条件。作为一种可选示例，预设条件可为预测图像和原图图像的损失值在预设范围内。
本领域技术人员可以理解，图1所示的框架示意图仅是本申请的实施方式可以在其中得以实现的一个示例。本申请实施方式的适用范围不受到该框架任何方面的限制。
为了便于理解本申请，下面结合附图对本申请实施例提供的一种图像修复模型的训练方法进行说明。
参见图2所示，该图为本申请实施例提供的一种图像修复模型的训练方法的流程图，如图2所示，该方法可以包括S201-S206：
S201：对原图图像进行随机掩膜操作，生成缺陷图像。
获取原图图像，原图图像可以理解为真实图像或完整图像，即没有缺陷的图像。在一个或多个实施例中，原图图像为彩色图像。在本申请实施例中，采用自监督的方式训练图像修复模型，即将原图图像本身作为图像修复模型的监督信号。
为了训练图像修复模型，还需获取破损的图像。将破损的图像作为图像修复模型的输入，以使图像修复模型对破损的图像进行修复，获取图像修复模型的输出。并利用图像修复模型的输出和作为监督信号的原图图像训练图像修复模型。作为一种可选示例，基于原图图像获取破损的图像。具体实施时，可对原图图像进行随机掩膜操作，生成缺陷图像。生成的缺陷图像即为待修复的破损图像。可以理解的是，原图图像可以看作是缺陷图像的标签图像。
其中，随机掩膜操作为完全或部分地遮挡图像的操作且图像中被遮挡的部分是随机的。
参见图3，图3为本申请实施例提供的一种多个单通道图像的示意图。结合图3，在一种可能的实现方式中，本申请实施例提供了一种对原图图像进行随机掩膜操作，生成缺陷图像的具体实施方式，包括：
A1：按照预设尺寸对原图图像进行划分，获取第一数量的原图图像块；每个原图图像块的尺寸均为预设尺寸。
在一种可能的实现方式中，为了便于对原图图像进行处理，可先将原图图像的尺寸更改为设定的标准尺寸。例如标准尺寸为256*256，则先将原图图像的尺寸更改为256*256。需要说明的是，图3所示的原图图像为彩色图像(图中未展示)。
进而，再确定预设尺寸，按照预设尺寸将更改为标准尺寸的原图图像进行划分，获取第一数量的原图图像块。例如，预设尺寸为16*16。按照预设尺寸16*16对256*256的原图图像进行划分，得到256个原图图像块。其中，第一数量为256个。原图图像块的尺寸均为预设尺寸，即16*16。
可以理解的是，本申请实施例对标准尺寸和预设尺寸不进行限定，可根据实际情况进行设置。
A2：按照预设掩膜比例对第一数量的原图图像块进行随机掩膜操作，生成缺陷图像；缺陷图像由第二数量的原图图像块和第三数量的缺陷图像块组成；第二数量和第三数量之和为第一数量，第三数量为第一数量与预设掩膜比例的乘积。
获得第一数量的原图图像块之后，确定预设掩膜比例，按照预设掩膜比例对第一数量的原图图像块进行随机掩膜操作，生成缺陷图像。
具体地，先设置预设掩膜比例。进行随机掩膜操作的原图图像块的数量即为第一数量和预设掩膜比例的乘积，可用第三数量表示。剩余的原图图像块的数量为第二数量，第一数量和第二数量之和为第一数量。
进而，在第一数量的原图图像块中随机选择第三数量的原图图像块进行掩膜操作，得到第三数量的缺陷图像块。基于此，缺陷图像由第二数量的原图图像块和第三数量的缺陷图像块组成。
可以理解的是，随机掩膜操作即为在第一数量的原图图像块中随机选择第三数量的原图图像块进行掩膜操作。如图3所示，区别于原图图像块，缺陷图像中显示为灰色的图像块即为将原图图像块进行随机掩膜操作之后得到的。
在一个或多个实施例中，预设掩膜比例优选为35％-75％。例如，设置预设掩膜比例为50％。则当原图图像块为256个时，根据预设掩膜比例确定第三数量为256*50％＝128个。进而，从256个原图图像块中随机选择128个原图图像块进行掩膜操作，得到128个缺陷图像块。
其中，掩膜操作指的是将原图图像块内的像素值设置为统一的固定数值。可以理解的是，固定数值可为像素值0-255之间的任一数值，本申请对固定数值不进行限定，可根据实际需要进行设定。例如，固定数值可为0(表示黑色)，即将128个原图图像块中的像素值均置为0，随机掩膜操作之后，128个原图图像块显示为黑色。又例，固定数值还可为255(表示白色)，即将128个原图图像块中的像素值均置为255，随机掩膜操作之后，128个原图图像块显示为白色。
S202：将缺陷图像分离为多个单通道图像。
在获取缺陷图像后，将缺陷图像分离为多个单通道图像。作为一种可选示例，如图3所示，该多个单通道图像可为R单通道图像、G通道图像以及B通道图像。
可以理解的是，在A1-A2的基础上，单通道图像由第二数量的单通道原图图像块和第三数量的单通道缺陷图像块组成。其中，单通道原图图像块为原图图像块进行RGB通道分离之后生成的，单通道缺陷图像块为缺陷图像进行RGB通道分离之后生成的。
S203：将多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像；图像修复模型包括单通道图像修复模块。
在获得多个单通道图像之后，将多个单通道图像分别输入单通道图像修复模块中，以使单通道图像修复模块对每个单通道图像进行修复，获得每个单通道图像分别对应的单通道预测图像。其中，对单通道图像的修复可以理解为对单通道图像中的像素值进行预测。
需要说明的是，图像修复模型包括单通道图像修复模块。在一种可能的实现方式中，本申请实施例提供了一种将多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像的具体实施方式，具体请见下文B1-B6。
S204：将多个单通道图像分别对应的单通道预测图像进行合并，获得预测图像。
在获得每个单通道图像分别对应的单通道预测图像之后，将多个单通道图像分别对应的单通道预测图像进行合并，获得预测图像。其中，预测图像为图像修复模型的输出。预测图像中的每个像素值为对缺陷图像中对应位置处像素值的预测值，预测图像为利用图像修复模型对缺陷图像进行修复后得到的图像。
可以理解的是，预测图像为由缺陷图像中整体的像素值的预测值所组成的图像，能够体现图像的全局特征。如此，代替仅预测图像中残缺部分的像素数值，本申请实施例对缺陷图像中整体的像素数值的预测，能够降低已修复图像中存在波纹、扭曲等失真情况的发生，可提高图像修复模型的修复效果。
在一种可能的实现方式中，本申请实施例提供了一种S204中将多个单通道图像分别对应的单通道预测图像进行合并，获得预测图像的具体实施方式，具体请见下文C1-C2。
S205：根据原图图像和预测图像，获取图像修复模型的损失值。
获得预测图像之后，根据原图图像和预测图像，获取图像修复模型的损失值。其中，原图图像为通过自监督方式训练图像修复模型的监督信号。训练图像修复模型的目的为将损失值降低，直至满足预设范围。
S206：根据损失值训练图像修复模型，重复执行将多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像以及后续步骤，直至达到预设条件。
获取图像修复模型的损失值之后，根据损失值训练图像修复模型，并判断是否满足预设条件。当满足预设条件时，停止图像修复模型的训练。当不满足预设条件时，重复执行将多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像以及后续步骤，直至达到预设条件。
作为一种可选示例，预设条件可为预测图像和原图图像的损失值在预设范围内。作为另一种可选示例，预设条件还可为达到的预设训练次数。可以理解的是，本申请实施例不限定预设范围和预设训练次数，可根据实际情况进行设置。
可以理解的是，当图像修复模型只包括单通道图像修复模块时，训练图像修复模型实际上是在训练单通道图像修复模块。
基于S201-S206的内容可知，本申请实施例提供了一种基于自监督机制的图像修复模型训练方法。在该图像修复模型训练方法中，对缺陷图像的多个单通道图像进行分层修复，能够充分学习图像的语义信息，实现更好的修复效果。另外，代替仅预测图像中残缺部分的像素数值，该训练方法可以预测图像的整体像素数值，能够降低已修复图像中存在波纹、扭曲等失真情况的发生。如此，通过本申请实施例提供的图像修复模型的训练方法，能够使得训练完成的图像修复模型对缺陷图像的修复效果更好。
参见图4，图4为本申请实施例提供的一种单通道图像修复模块的结构示意图。如图4所示，单通道图像修复模块包括特征编码器和特征解码器。
基于此，在一种可能的实现方式中，本申请实施例提供了一种S203中将多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像的具体实施方式，包括：
B1：对目标单通道图像中的第二数量的单通道原图图像块进行展平操作，获得第一图像特征；目标单通道图像分别为多个单通道图像中的每一个。
为了便于叙述，将多个单通道图像中的每一个单通道图像用目标单通道图像进行描述。如图4所示，以目标单通道图像为G通道图像为例进行说明。
基于A1-A2可知，当单通道原图图像块的数量为第二数量时，对目标单通道图像中的第二数量的单通道原图图像块进行展平操作，获得第一图像特征。
作为一种可选示例，展平操作具体为张量扁平化Flatten操作，Flatten操作用于实现数组的展平。
举例说明，当每个单通道原图图像块的尺寸大小为16*16时，对该单通道原图图像块进行展平操作之后，得到1*256维度的像素值序列。当第二数量为128个时，按顺序对第二数量的单通道原图图像块中的每个单通道原图图像块进行展平操作，最后获得的第一图像特征的维数为128*256。其中，第一图像特征的每行特征的维度为1*256，每行特征可以用像素值序列特征(简称为序列特征)进行描述，即第一图像特征由128个序列特征组成。
B2：对目标单通道图像中的第三数量的单通道缺陷图像块进行展平操作，获得第二图像特征。
基于A1-A2可知，当单通道缺陷图像块的数量为第三数量时，对目标单通道图像中的第三数量的单通道缺陷图像块进行展平操作，获得第二图像特征。
举例说明，当每个单通道缺陷图像块的尺寸大小为16*16时，对该单通道缺陷图像块进行展平操作之后，得到1*256维度的像素值序列。当第三数量为128个时，按顺序对第三数量的单通道缺陷图像块中的每个单通道原图图像块进行展平操作，最后获得的第二图像特征的维度为128*256。其中，第二图像特征的每行特征的维度为1*256，每行特征可以用序列特征进行描述，即第二图像特征由128个序列特征组成。
B3：将第一图像特征输入特征编码器中，以使特征编码器对第一图像特征进行特征提取，获得第三图像特征。
获得第一图像特征之后，将第一图像特征输入特征编码器中。特征编码器用于对输入的第一图像特征进行特征提取，获得第三图像特征。需要说明的是，第三图像特征的维度和第一图像特征的维度相同。例如，若第一图像特征的维度为128*256，则第三图像特征的维度也为128*256，第三图像特征也由128个序列特征组成。
作为一种可选示例，特征编码器的数量为至少一个。当特征编码器为多个时，多个特征编码器串联连接。在一个或多个实施例中，特征编码器的数量的优选值为5-6个。
B4：将第二图像特征和第三图像特征进行特征拼接，获得第四图像特征。
将特征编码器输出的第三图像特征和第二图像特征进行拼接，获得第四图像特征。
作为一种可选示例，将第二图像特征中的序列特征随机插入到第三图像特征中，以进行特征拼接，获得第四图像特征。例如，将第二图像特征128个序列特征随机插入到第三图像特征的128个序列特征中，获得的第四图像特征的维度为256*256。第四图像特征由256个序列特征组成。
B5：将第四图像特征输入特征解码器中，以使特征解码器对第四图像特征中的每个值进行预测，获得第五图像特征。
将获得的第四图像特征输入特征解码器中，以使特征解码器对第四图像特征中的每个值进行预测，获得第五图像特征。例如，当第四图像特征的维度为256*256时，特征解码器用于预测第四图像特征的256个序列特征中的值。
可以理解的是，特征解码器输出的第五图像特征为充分学习图像语义信息之后得到的图像特征。
作为一种可选示例，特征解码器的数量为至少一个。当特征解码器为多个时，多个特征解码器串联连接。在一个或多个实施例中，特征解码器的数量的优选值为5-6个。
B6：根据第五图像特征，获得目标单通道图像对应的单通道预测图像。
作为一种可选示例，将第五图像特征中每个序列特征的尺寸更改为图像块的预设尺寸，获得多个图像块，进而多个图像块组成目标单通道图像对应的单通道预测图像。获得的单通道预测图像的尺寸大小为标准尺寸。获得的单通道预测图像的图像结构为充分学习图像语义信息之后得到的图像结构。
例如，预设尺寸为16*16，将维度为1*256的序列特征更改为16*16的图像块。基于此，将维度为256*256的第五图像特征中的每个序列特征的尺寸更改为图像块的预设尺寸之后，能够获得256个图像块，进而，拼接后的256个图像块组成的图像即为目标单通道图像对应的单通道预测图像。如图4所示，通过B1-B6，可得到G通道图像对应的G通道预测图像。
基于B1-B6的内容可知，单通道图像为缺陷图像分离得到的，本质上也是有缺陷的图像。通过特征编码器和特征解码器，能够充分学习单通道图像的语义信息，修复单通道图像的图像结构，以获得修复后的单通道预测图像。
作为一种可选示例，图像修复模型还包括平滑处理模块。
基于此，在一种可能的实现方式中，本申请实施例提供了一种S204中将多个单通道图像分别对应的单通道预测图像进行合并，获得预测图像的具体实施方式，包括：
C1：将多个单通道图像分别对应的单通道预测图像进行合并，获得合并图像。
单通道图像修复模块用于对单通道图像进行预测/修复，得到单通道预测图像。进而，将得到的多个修复后的单通道预测图像进行合并，获得合并图像。例如，当单通道预测图像为R通道预测图像、G通道预测图像和B通道预测图像时，将R通道预测图像、G通道预测图像和B通道预测图像进行合并，获得合并图像。
C2：将合并图像输入平滑处理模块，以使平滑处理模块对合并图像进行平滑处理操作，获得预测图像。
由于在修复单通道图像时，本质上是对单通道图像中的每个图像块进行修复，不同的图像块之间可能存在小的毛刺。为了使得得到的预测图像的修复效果更好，将合并图像输入平滑处理模块，以使平滑处理模块对合并图像进行平滑处理操作，获得预测图像。
可以理解的是，平滑处理模块能够扩大图像块的感受野，使得图像块之间的拼接更自然平滑，得到的预测图像的修复效果更好。
作为一种可选示例，平滑处理模块为门控卷积神经网络。例如，平滑处理模块可为4层的门控卷积神经网络。
可以理解的是，利用平滑处理模块对合并图像进行平滑处理操作之后，获得的预测图像为图像修复模型的输出。
基于C1-C2的内容可知，图像修复模型还包括平滑处理模块，以使平滑处理模块对合并图像进行平滑处理，获得修复效果更好的预测图像。
基于上述内容可知，在一个或多个实施例中，图像修复模型包括单通道图像修复模块和平滑处理模块，且单通道图像修复模块包括特征编码器和特征解码器。
基于此，在一种可能的实现方式中，本申请实施例提供了一种S206中根据损失值训练图像修复模型，重复执行将多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像以及后续步骤，直至达到预设条件的具体实施方式，包括：
根据损失值训练特征编码器、特征解码器以及平滑处理模块，重复执行将多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像以及后续步骤，直至达到预设条件。
基于得到的损失值，可以对特征编码器、特征解码器以及平滑处理模块进行训练。具体地，利用得到的损失值对特征编码器、特征解码器以及平滑处理模块进行联合调整。并且重复执行上述S203-S206，对特征编码器、特征解码器以及平滑处理模块进行训练。直到满足预设条件，停止对特征编码器、特征解码器以及平滑处理模块的训练，实现图像修复模型的训练。
基于训练完成的图像修复模型，本申请实施例还提供了一种基于图像修复模型的图像修复方法。为了便于理解本申请，下面结合附图对本申请实施例提供的一种图像修复方法进行说明。
参见图5，图5为本申请实施例提供的一种图像修复方法的流程图。如图5所示，该方法可以包括S501-S503：
S501：将待修复图像分离为多个待修复单通道图像。
待修复图像为有缺陷的图像，需要利用图像修复模型对其进行修复。首先，先将待修复图像分离为多个待修复单通道图像。
其中，在一种可能的实现方式中，可先将待修复图像的尺寸更改为设定的标准尺寸，再将待修复图像分离为多个待修复单通道图像。
需要说明的是，在训练图像修复模型时，若S202中缺陷图像分离得到的单通道图像为R通道图像、G通道图像和B通道图像。则在使用图像修复模型进行待修复图像的修复时，同样对待修复图像进行RGB三通道的分离。
S502：将多个待修复单通道图像分别输入图像修复模型的单通道图像修复模块中，获得多个修复后的单通道图像；图像修复模型是根据任一项实施例的图像修复模型的训练方法训练得到的。
当图像修复模型包括单通道图像修复模块时，将多个待修复单通道图像分别输入图像修复模型的单通道图像修复模块中，获得多个修复后的单通道图像。
S503：将多个修复后的单通道图像进行合并，获得修复后的图像。
将多个修复后的单通道图像进行合并，获得修复后的图像。当待修复图像为彩色图像时，合并后得到的修复后的图像也为彩色图像。
需要说明的是，S501-S503的技术详情可参考S201-S206，这里不再赘述。
基于S501-S503的内容可知，在对待修复图像进行修复时，先将待修复图像分离为多个待修复单通道图像。进而，再将多个待修复单通道图像分别输入训练完成的图像修复模型的单通道图像修复模块中，获得多个修复后的单通道图像。最后，将多个修复后的单通道图像进行合并，获得修复后的图像。如此，修复后的图像的效果较好，且修复后的图像中的波纹、扭曲等失真情况较少。
可以理解的是，待修复图像由缺失部分图像和真实部分图像组成。
作为一种可选示例，单通道图像修复模块包括特征编码器和特征解码器。基于此，在一种可能的实现方式中，本申请实施例提供了一种S502中将多个待修复单通道图像分别输入单通道图像修复模块中，获得多个修复后的单通道图像的具体实施方式，包括：
D1：对目标待修复单通道图像中的真实部分图像进行展平操作，获得第一特征；目标待修复单通道图像分别为多个待修复单通道图像中的每一个。
为了便于叙述，将多个待修复单通道图像中的每一个单通道图像用目标待修复单通道图像进行描述。
D2：对目标单通道图像中的缺失部分图像进行展平操作，获得第二特征。
作为一种可选示例，展平操作具体为张量扁平化Flatten操作，Flatten操作用于实现数组的展平。
D3：将第一特征输入特征编码器中，以使特征编码器对第一特征进行特征提取，获得第三特征。
将第一特征输入特征编码器中，特征编码器对第一特征进行特征提取后，输出第三特征。
D4：将第二特征和第三特征进行特征拼接，获得第四特征。
获得第三特征后，将第二特征和第三特征进行特征拼接，获得第四特征。
需要说明的是，特征拼接的具体实施方式可根据实际情况进行确定，这里不进行限制。
D5：将第四特征输入特征解码器中，以使特征解码器对第四特征中的每个值进行预测，获得第五特征。
将第四特征输入特征解码器中，特征解码器对第四特征中的每个值进行预测，获得第五特征。
D6：根据第五特征，获得目标待修复单通道图像对应的修复后的单通道图像。
作为一种可选示例，获得第五特征后，将第五特征的尺寸更改为图像的标准尺寸，以获得目标单通道图像对应的单通道预测图像。
需要说明的是，D1-D6的技术详情可参考上述B1-B6，这里不再赘述。
在一种可能的实现方式中，图像修复模型还包括平滑处理模块。基于此，本申请实施例提供了一种S503中将多个修复后的单通道图像进行合并，获得修复后的图像的具体实施方式，包括：
将多个修复后的单通道图像进行合并，获得待处理合并图像；
将待处理合并图像输入平滑处理模块，以使平滑处理模块对待处理合并图像进行平滑处理操作，获得修复后的图像。
可知，经过平滑处理模块的平滑处理之后得到的图像的修复效果更好。
基于上述方法实施例提供的一种图像修复模型的训练方法，本申请实施例还提供了一种图像修复模型的训练装置，下面将结合附图对图像修复模型的训练装置进行说明。
参见图6所示，该图为本申请实施例提供的一种图像修复模型的训练装置的结构示意图。如图6所示，该图像修复模型的训练装置包括：
生成单元601，用于对原图图像进行随机掩膜操作，生成缺陷图像；
分离单元602，用于将所述缺陷图像分离为多个单通道图像；
输入单元603，用于将所述多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像；所述图像修复模型包括所述单通道图像修复模块；
合并单元604，用于将所述多个单通道图像分别对应的单通道预测图像进行合并，获得预测图像；
获取单元605，用于根据所述原图图像和所述预测图像，获取所述图像修复模型的损失值；
训练单元606，用于根据所述损失值训练所述图像修复模型，重复执行所述将所述多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像以及后续步骤，直至达到预设条件。
在一种可能的实现方式中，所述生成单元601，包括：
划分子单元，用于按照预设尺寸对原图图像进行划分，获取第一数量的原图图像块；每个所述原图图像块的尺寸均为所述预设尺寸；
掩膜子单元，用于按照预设掩膜比例对所述第一数量的原图图像块进行随机掩膜操作，生成缺陷图像；所述缺陷图像由第二数量的原图图像块和第三数量的缺陷图像块组成；所述第二数量和所述第三数量之和为所述第一数量，所述第三数量为所述第一数量与所述预设掩膜比例的乘积。
在一种可能的实现方式中，所述单通道图像由第二数量的单通道原图图像块和第三数量的单通道缺陷图像块组成；所述单通道图像修复模块包括特征编码器和特征解码器，所述输入单元603，包括：
第一展平子单元，用于对目标单通道图像中的所述第二数量的单通道原图图像块进行展平操作，获得第一图像特征；所述目标单通道图像分别为所述多个单通道图像中的每一个；
第二展平子单元，用于对所述目标单通道图像中的所述第三数量的单通道缺陷图像块进行展平操作，获得第二图像特征；
特征提取子单元，用于将所述第一图像特征输入所述特征编码器中，以使所述特征编码器对所述第一图像特征进行特征提取，获得第三图像特征；
拼接子单元，用于将所述第二图像特征和所述第三图像特征进行特征拼接，获得第四图像特征；
预测子单元，用于将所述第四图像特征输入所述特征解码器中，以使所述特征解码器对所述第四图像特征中的每个值进行预测，获得第五图像特征；
获取子单元，用于根据所述第五图像特征，获得所述目标单通道图像对应的单通道预测图像。
在一种可能的实现方式中，所述图像修复模型还包括平滑处理模块，所述合并单元604，包括：
合并子单元，用于将所述多个单通道图像分别对应的单通道预测图像进行合并，获得合并图像；
输入子单元，用于将所述合并图像输入所述平滑处理模块，以使所述平滑处理模块对所述合并图像进行平滑处理操作，获得预测图像。
在一种可能的实现方式中，所述训练单元606，具体用于：
根据所述损失值训练所述特征编码器、所述特征解码器以及所述平滑处理模块，重复执行所述将所述多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像以及后续步骤，直至达到预设条件。
在一种可能的实现方式中，所述平滑处理模块为门控卷积神经网络。
在一种可能的实现方式中，所述多个单通道图像为R通道图像、G通道图像以及B通道图像。
基于上述方法实施例提供的一种图像修复方法，本申请实施例还提供了一种图像修复装置，下面将结合附图对图像修复装置进行说明。
参见图7所示，该图为本申请实施例提供的一种图像修复装置的结构示意图。如图7所示，该图像修复装置包括：
分离单元701，用于将待修复图像分离为多个待修复单通道图像；
输入单元702，用于将所述多个待修复单通道图像分别输入图像修复模型的单通道图像修复模块中，获得多个修复后的单通道图像；所述图像修复模型是根据上述任一实施例所述的图像修复模型的训练方法训练得到的；
合并单元703，用于将所述多个修复后的单通道图像进行合并，获得修复后的图像。
在一种可能的实现方式中，所述单通道图像修复模块包括特征编码器和特征解码器；所述待修复图像由缺失部分图像和真实部分图像组成，所述输入单元702，包括：
第一展平子单元，用于对目标待修复单通道图像中的所述真实部分图像进行展平操作，获得第一特征；所述目标待修复单通道图像分别为所述多个待修复单通道图像中的每一个；
第二展平子单元，用于对所述目标单通道图像中的所述缺失部分图像进行展平操作，获得第二特征；
特征提取子单元，用于将所述第一特征输入所述特征编码器中，以使所述特征编码器对所述第一特征进行特征提取，获得第三特征；
拼接子单元，用于将所述第二特征和所述第三特征进行特征拼接，获得第四特征；
预测子单元，用于将所述第四特征输入所述特征解码器中，以使所述特征解码器对所述第四特征中的每个值进行预测，获得第五特征；
获取子单元，用于根据所述第五特征，获得所述目标待修复单通道图像对应的修复后的单通道图像。
在一种可能的实现方式中，所述图像修复模型还包括平滑处理模块，所述合并单元703，包括：
合并子单元，用于将所述多个修复后的单通道图像进行合并，获得待处理合并图像；
输入子单元，用于将所述待处理合并图像输入所述平滑处理模块，以使所述平滑处理模块对所述待处理合并图像进行平滑处理操作，获得修复后的图像。
基于上述方法实施例提供的一种图像修复模型的训练方法和图像修复方法，本申请还提供一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一实施例所述的图像修复模型的训练方法，或者上述任一实施例所述的图像修复方法。
下面参考图8，其示出了适于用来实现本申请实施例的电子设备1300的结构示意图。本申请实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(Personal Digital Assistant，个人数字助理)、PAD(portable androiddevice，平板电脑)、PMP(Portable Media Player，便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV(television，电视机)、台式计算机等等的固定终端。图8示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图8所示，电子设备1300可以包括处理装置(例如中央处理器、图形处理器等)1301，其可以根据存储在只读存储器(ROM)1302中的程序或者从存储装置1306加载到随机访问存储器(RAM)1303中的程序而执行各种适当的动作和处理。在RAM1303中，还存储有电子设备1300操作所需的各种程序和数据。处理装置1301、ROM 1302以及RAM 1303通过总线1304彼此相连。输入/输出(I/O)接口1305也连接至总线1304。
通常，以下装置可以连接至I/O接口1305：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1306；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置1307；包括例如磁带、硬盘等的存储装置1306；以及通信装置1309。通信装置1309可以允许电子设备1300与其他设备进行无线或有线通信以交换数据。虽然图8示出了具有各种装置的电子设备1300，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置1309从网络上被下载和安装，或者从存储装置1306被安装，或者从ROM1302被安装。在该计算机程序被处理装置1301执行时，执行本申请实施例的方法中限定的上述功能。
本申请实施例提供的电子设备与上述实施例提供的图像修复模型的训练方法和图像修复方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例与上述实施例具有相同的有益效果。
基于上述方法实施例提供的一种图像修复模型的训练方法和图像修复方法，本申请实施例提供一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如上述任一实施例所述的图像修复模型的训练方法，或者上述任一实施例所述的图像修复方法。
需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述图像修复模型的训练方法或图像修复方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元/模块的名称在某种情况下并不构成对该单元本身的限定，例如，语音数据采集模块还可以被描述为“数据采集模块”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本申请的一个或多个实施例，【示例一】提供了一种图像修复模型的训练方法，所述方法包括：
对原图图像进行随机掩膜操作，生成缺陷图像；
将所述缺陷图像分离为多个单通道图像；
将所述多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像；所述图像修复模型包括所述单通道图像修复模块；
将所述多个单通道图像分别对应的单通道预测图像进行合并，获得预测图像；
根据所述原图图像和所述预测图像，获取所述图像修复模型的损失值；
根据所述损失值训练所述图像修复模型，重复执行所述将所述多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像以及后续步骤，直至达到预设条件。
根据本申请的一个或多个实施例，【示例二】提供了一种图像修复模型的训练方法，所述对原图图像进行随机掩膜操作，生成缺陷图像，包括：
按照预设尺寸对原图图像进行划分，获取第一数量的原图图像块；每个所述原图图像块的尺寸均为所述预设尺寸；
按照预设掩膜比例对所述第一数量的原图图像块进行随机掩膜操作，生成缺陷图像；所述缺陷图像由第二数量的原图图像块和第三数量的缺陷图像块组成；所述第二数量和所述第三数量之和为所述第一数量，所述第三数量为所述第一数量与所述预设掩膜比例的乘积。
根据本申请的一个或多个实施例，【示例三】提供了一种图像修复模型的训练方法，所述单通道图像由第二数量的单通道原图图像块和第三数量的单通道缺陷图像块组成；所述单通道图像修复模块包括特征编码器和特征解码器，所述将所述多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像，包括：
对目标单通道图像中的所述第二数量的单通道原图图像块进行展平操作，获得第一图像特征；所述目标单通道图像分别为所述多个单通道图像中的每一个；
对所述目标单通道图像中的所述第三数量的单通道缺陷图像块进行展平操作，获得第二图像特征；
将所述第一图像特征输入所述特征编码器中，以使所述特征编码器对所述第一图像特征进行特征提取，获得第三图像特征；
将所述第二图像特征和所述第三图像特征进行特征拼接，获得第四图像特征；
将所述第四图像特征输入所述特征解码器中，以使所述特征解码器对所述第四图像特征中的每个值进行预测，获得第五图像特征；
根据所述第五图像特征，获得所述目标单通道图像对应的单通道预测图像。
根据本申请的一个或多个实施例，【示例四】提供了一种图像修复模型的训练方法，所述图像修复模型还包括平滑处理模块，所述将所述多个单通道图像分别对应的单通道预测图像进行合并，获得预测图像，包括：
将所述多个单通道图像分别对应的单通道预测图像进行合并，获得合并图像；
将所述合并图像输入所述平滑处理模块，以使所述平滑处理模块对所述合并图像进行平滑处理操作，获得预测图像。
根据本申请的一个或多个实施例，【示例五】提供了一种图像修复模型的训练方法，所述根据所述损失值训练所述图像修复模型，重复执行所述将所述多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像以及后续步骤，直至达到预设条件，包括：
根据所述损失值训练所述特征编码器、所述特征解码器以及所述平滑处理模块，重复执行所述将所述多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像以及后续步骤，直至达到预设条件。
根据本申请的一个或多个实施例，【示例六】提供了一种图像修复模型的训练方法，所述平滑处理模块为门控卷积神经网络。
根据本申请的一个或多个实施例，【示例七】提供了一种图像修复模型的训练方法，所述多个单通道图像为R通道图像、G通道图像以及B通道图像。
根据本申请的一个或多个实施例，【示例八】提供了一种图像修复方法，所述方法包括：
将待修复图像分离为多个待修复单通道图像；
将所述多个待修复单通道图像分别输入图像修复模型的单通道图像修复模块中，获得多个修复后的单通道图像；所述图像修复模型是根据上述任一项所述的图像修复模型的训练方法训练得到的；
将所述多个修复后的单通道图像进行合并，获得修复后的图像。
根据本申请的一个或多个实施例，【示例九】提供了一种图像修复方法，所述单通道图像修复模块包括特征编码器和特征解码器；所述待修复图像由缺失部分图像和真实部分图像组成，所述将所述多个待修复单通道图像分别输入图像修复模型的单通道图像修复模块中，获得多个修复后的单通道图像，包括：
对目标待修复单通道图像中的所述真实部分图像进行展平操作，获得第一特征；所述目标待修复单通道图像分别为所述多个待修复单通道图像中的每一个；
对所述目标单通道图像中的所述缺失部分图像进行展平操作，获得第二特征；
将所述第一特征输入所述特征编码器中，以使所述特征编码器对所述第一特征进行特征提取，获得第三特征；
将所述第二特征和所述第三特征进行特征拼接，获得第四特征；
将所述第四特征输入所述特征解码器中，以使所述特征解码器对所述第四特征中的每个值进行预测，获得第五特征；
根据所述第五特征，获得所述目标待修复单通道图像对应的修复后的单通道图像。
根据本申请的一个或多个实施例，【示例十】提供了一种图像修复方法，所述图像修复模型还包括平滑处理模块，所述将所述多个修复后的单通道图像进行合并，获得修复后的图像，包括：
将所述多个修复后的单通道图像进行合并，获得待处理合并图像；
将所述待处理合并图像输入所述平滑处理模块，以使所述平滑处理模块对所述待处理合并图像进行平滑处理操作，获得修复后的图像。
根据本申请的一个或多个实施例，【示例十一】提供了一种图像修复模型的训练装置，所述装置包括：
生成单元，用于对原图图像进行随机掩膜操作，生成缺陷图像；
分离单元，用于将所述缺陷图像分离为多个单通道图像；
输入单元，用于将所述多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像；所述图像修复模型包括所述单通道图像修复模块；
合并单元，用于将所述多个单通道图像分别对应的单通道预测图像进行合并，获得预测图像；
获取单元，用于根据所述原图图像和所述预测图像，获取所述图像修复模型的损失值；
训练单元，用于根据所述损失值训练所述图像修复模型，重复执行所述将所述多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像以及后续步骤，直至达到预设条件。
根据本申请的一个或多个实施例，【示例十二】提供了一种所述生成单元，包括：
划分子单元，用于按照预设尺寸对原图图像进行划分，获取第一数量的原图图像块；每个所述原图图像块的尺寸均为所述预设尺寸；
掩膜子单元，用于按照预设掩膜比例对所述第一数量的原图图像块进行随机掩膜操作，生成缺陷图像；所述缺陷图像由第二数量的原图图像块和第三数量的缺陷图像块组成；所述第二数量和所述第三数量之和为所述第一数量，所述第三数量为所述第一数量与所述预设掩膜比例的乘积。
根据本申请的一个或多个实施例，【示例十三】提供了一种所述单通道图像由第二数量的单通道原图图像块和第三数量的单通道缺陷图像块组成；所述单通道图像修复模块包括特征编码器和特征解码器，所述输入单元，包括：
第一展平子单元，用于对目标单通道图像中的所述第二数量的单通道原图图像块进行展平操作，获得第一图像特征；所述目标单通道图像分别为所述多个单通道图像中的每一个；
第二展平子单元，用于对所述目标单通道图像中的所述第三数量的单通道缺陷图像块进行展平操作，获得第二图像特征；
特征提取子单元，用于将所述第一图像特征输入所述特征编码器中，以使所述特征编码器对所述第一图像特征进行特征提取，获得第三图像特征；
拼接子单元，用于将所述第二图像特征和所述第三图像特征进行特征拼接，获得第四图像特征；
预测子单元，用于将所述第四图像特征输入所述特征解码器中，以使所述特征解码器对所述第四图像特征中的每个值进行预测，获得第五图像特征；
获取子单元，用于根据所述第五图像特征，获得所述目标单通道图像对应的单通道预测图像。
根据本申请的一个或多个实施例，【示例十四】提供了一种所述图像修复模型还包括平滑处理模块，所述合并单元，包括：
合并子单元，用于将所述多个单通道图像分别对应的单通道预测图像进行合并，获得合并图像；
输入子单元，用于将所述合并图像输入所述平滑处理模块，以使所述平滑处理模块对所述合并图像进行平滑处理操作，获得预测图像。
根据本申请的一个或多个实施例，【示例十五】提供了一种所述训练单元，具体用于：
根据所述损失值训练所述特征编码器、所述特征解码器以及所述平滑处理模块，重复执行所述将所述多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像以及后续步骤，直至达到预设条件。
根据本申请的一个或多个实施例，【示例十六】提供了一种所述平滑处理模块为门控卷积神经网络。
根据本申请的一个或多个实施例，【示例十七】提供了一种所述多个单通道图像为R通道图像、G通道图像以及B通道图像。
根据本申请的一个或多个实施例，【示例十八】提供了一种图像修复装置，所述装置包括：
分离单元，用于将待修复图像分离为多个待修复单通道图像；
输入单元，用于将所述多个待修复单通道图像分别输入图像修复模型的单通道图像修复模块中，获得多个修复后的单通道图像；所述图像修复模型是根据上述任一项所述的图像修复模型的训练方法训练得到的；
合并单元，用于将所述多个修复后的单通道图像进行合并，获得修复后的图像。
根据本申请的一个或多个实施例，【示例十九】提供了一种所述单通道图像修复模块包括特征编码器和特征解码器；所述待修复图像由缺失部分图像和真实部分图像组成，所述输入单元，包括：
第一展平子单元，用于对目标待修复单通道图像中的所述真实部分图像进行展平操作，获得第一特征；所述目标待修复单通道图像分别为所述多个待修复单通道图像中的每一个；
第二展平子单元，用于对所述目标单通道图像中的所述缺失部分图像进行展平操作，获得第二特征；
特征提取子单元，用于将所述第一特征输入所述特征编码器中，以使所述特征编码器对所述第一特征进行特征提取，获得第三特征；
拼接子单元，用于将所述第二特征和所述第三特征进行特征拼接，获得第四特征；
预测子单元，用于将所述第四特征输入所述特征解码器中，以使所述特征解码器对所述第四特征中的每个值进行预测，获得第五特征；
获取子单元，用于根据所述第五特征，获得所述目标待修复单通道图像对应的修复后的单通道图像。
根据本申请的一个或多个实施例，【示例二十】提供了一种所述图像修复模型还包括平滑处理模块，所述合并单元，包括：
合并子单元，用于将所述多个修复后的单通道图像进行合并，获得待处理合并图像；
输入子单元，用于将所述待处理合并图像输入所述平滑处理模块，以使所述平滑处理模块对所述待处理合并图像进行平滑处理操作，获得修复后的图像。
根据本申请的一个或多个实施例，【示例二十一】提供了一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述任一所述的图像修复模型的训练方法，或者上述任一所述的图像修复方法。
根据本申请的一个或多个实施例，【示例二十二】提供了一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如上述任一所述的图像修复模型的训练方法，或者上述任一所述的图像修复方法。
根据本申请的一个或多个实施例，【示例二十三】提供了一种计算机程序产品，所述计算机程序产品包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现如上述任一所述的图像修复模型的训练方法，或者上述任一所述的图像修复方法。
需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统或装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (15)

1.一种图像修复模型的训练方法，其特征在于，所述方法包括：
对原图图像进行随机掩膜操作，生成缺陷图像；
将所述缺陷图像分离为多个单通道图像；
将所述多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像；所述图像修复模型包括所述单通道图像修复模块；
将所述多个单通道图像分别对应的单通道预测图像进行合并，获得预测图像；
根据所述原图图像和所述预测图像，获取所述图像修复模型的损失值；
根据所述损失值训练所述图像修复模型，重复执行所述将所述多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像以及后续步骤，直至达到预设条件。
2.根据权利要求1所述的方法，其特征在于，所述对原图图像进行随机掩膜操作，生成缺陷图像，包括：
按照预设尺寸对原图图像进行划分，获取第一数量的原图图像块；每个所述原图图像块的尺寸均为所述预设尺寸；
按照预设掩膜比例对所述第一数量的原图图像块进行随机掩膜操作，生成缺陷图像；所述缺陷图像由第二数量的原图图像块和第三数量的缺陷图像块组成；所述第二数量和所述第三数量之和为所述第一数量，所述第三数量为所述第一数量与所述预设掩膜比例的乘积。
3.根据权利要求1或2所述的方法，其特征在于，所述单通道图像由第二数量的单通道原图图像块和第三数量的单通道缺陷图像块组成；所述单通道图像修复模块包括特征编码器和特征解码器，所述将所述多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像，包括：
对目标单通道图像中的所述第二数量的单通道原图图像块进行展平操作，获得第一图像特征；所述目标单通道图像分别为所述多个单通道图像中的每一个；
对所述目标单通道图像中的所述第三数量的单通道缺陷图像块进行展平操作，获得第二图像特征；
将所述第一图像特征输入所述特征编码器中，以使所述特征编码器对所述第一图像特征进行特征提取，获得第三图像特征；
将所述第二图像特征和所述第三图像特征进行特征拼接，获得第四图像特征；
将所述第四图像特征输入所述特征解码器中，以使所述特征解码器对所述第四图像特征中的每个值进行预测，获得第五图像特征；
根据所述第五图像特征，获得所述目标单通道图像对应的单通道预测图像。
4.根据权利要求3所述的方法，其特征在于，所述图像修复模型还包括平滑处理模块，所述将所述多个单通道图像分别对应的单通道预测图像进行合并，获得预测图像，包括：
将所述多个单通道图像分别对应的单通道预测图像进行合并，获得合并图像；
将所述合并图像输入所述平滑处理模块，以使所述平滑处理模块对所述合并图像进行平滑处理操作，获得预测图像。
5.根据权利要求4所述的方法，其特征在于，所述根据所述损失值训练所述图像修复模型，重复执行所述将所述多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像以及后续步骤，直至达到预设条件，包括：
根据所述损失值训练所述特征编码器、所述特征解码器以及所述平滑处理模块，重复执行所述将所述多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像以及后续步骤，直至达到预设条件。
6.根据权利要求4所述的方法，其特征在于，所述平滑处理模块为门控卷积神经网络。
7.根据权利要求1所述的方法，其特征在于，所述多个单通道图像为R通道图像、G通道图像以及B通道图像。
8.一种图像修复方法，其特征在于，所述方法包括：
将待修复图像分离为多个待修复单通道图像；
将所述多个待修复单通道图像分别输入图像修复模型的单通道图像修复模块中，获得多个修复后的单通道图像；所述图像修复模型是根据权利要求1-7任一项所述的图像修复模型的训练方法训练得到的；
将所述多个修复后的单通道图像进行合并，获得修复后的图像。
9.根据权利要求8所述的方法，其特征在于，所述单通道图像修复模块包括特征编码器和特征解码器；所述待修复图像由缺失部分图像和真实部分图像组成，所述将所述多个待修复单通道图像分别输入图像修复模型的单通道图像修复模块中，获得多个修复后的单通道图像，包括：
对目标待修复单通道图像中的所述真实部分图像进行展平操作，获得第一特征；所述目标待修复单通道图像分别为所述多个待修复单通道图像中的每一个；
对所述目标单通道图像中的所述缺失部分图像进行展平操作，获得第二特征；
将所述第一特征输入所述特征编码器中，以使所述特征编码器对所述第一特征进行特征提取，获得第三特征；
将所述第二特征和所述第三特征进行特征拼接，获得第四特征；
将所述第四特征输入所述特征解码器中，以使所述特征解码器对所述第四特征中的每个值进行预测，获得第五特征；
根据所述第五特征，获得所述目标待修复单通道图像对应的修复后的单通道图像。
10.根据权利要求9所述的方法，其特征在于，所述图像修复模型还包括平滑处理模块，所述将所述多个修复后的单通道图像进行合并，获得修复后的图像，包括：
将所述多个修复后的单通道图像进行合并，获得待处理合并图像；
将所述待处理合并图像输入所述平滑处理模块，以使所述平滑处理模块对所述待处理合并图像进行平滑处理操作，获得修复后的图像。
11.一种图像修复模型的训练装置，其特征在于，所述装置包括：
生成单元，用于对原图图像进行随机掩膜操作，生成缺陷图像；
分离单元，用于将所述缺陷图像分离为多个单通道图像；
输入单元，用于将所述多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像；所述图像修复模型包括所述单通道图像修复模块；
合并单元，用于将所述多个单通道图像分别对应的单通道预测图像进行合并，获得预测图像；
获取单元，用于根据所述原图图像和所述预测图像，获取所述图像修复模型的损失值；
训练单元，用于根据所述损失值训练所述图像修复模型，重复执行所述将所述多个单通道图像分别输入单通道图像修复模块中，获得每个单通道图像分别对应的单通道预测图像以及后续步骤，直至达到预设条件。
12.一种图像修复装置，其特征在于，所述装置包括：
分离单元，用于将待修复图像分离为多个待修复单通道图像；
输入单元，用于将所述多个待修复单通道图像分别输入图像修复模型的单通道图像修复模块中，获得多个修复后的单通道图像；所述图像修复模型是根据权利要求1-7任一项所述的图像修复模型的训练方法训练得到的；
合并单元，用于将所述多个修复后的单通道图像进行合并，获得修复后的图像。
13.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的图像修复模型的训练方法，或者权利要求8-10中任一所述的图像修复方法。
14.一种计算机可读介质，其特征在于，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-7中任一所述的图像修复模型的训练方法，或者权利要求8-10中任一所述的图像修复方法。
15.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现如权利要求1-7中任一所述的图像修复模型的训练方法，或者权利要求8-10中任一所述的图像修复方法。
CN202210680090.8A 2022-06-16 2022-06-16 图像修复模型的训练方法及图像修复方法、装置及设备 Pending CN114998149A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210680090.8A CN114998149A (zh) 2022-06-16 2022-06-16 图像修复模型的训练方法及图像修复方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210680090.8A CN114998149A (zh) 2022-06-16 2022-06-16 图像修复模型的训练方法及图像修复方法、装置及设备

Publications (1)

Publication Number Publication Date
CN114998149A true CN114998149A (zh) 2022-09-02

Family

ID=83034567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210680090.8A Pending CN114998149A (zh) 2022-06-16 2022-06-16 图像修复模型的训练方法及图像修复方法、装置及设备

Country Status (1)

Country Link
CN (1) CN114998149A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953330A (zh) * 2023-03-13 2023-04-11 腾讯科技（深圳）有限公司 虚拟场景图像的纹理优化方法、装置、设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953330A (zh) * 2023-03-13 2023-04-11 腾讯科技（深圳）有限公司 虚拟场景图像的纹理优化方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
CN110413812B (zh) 神经网络模型的训练方法、装置、电子设备及存储介质
CN112381717A (zh) 图像处理方法、模型训练方法、装置、介质及设备
CN112330788A (zh) 图像处理方法、装置、可读介质及电子设备
CN114494071A (zh) 图像处理方法、装置、设备及存储介质
CN112419179A (zh) 修复图像的方法、装置、设备和计算机可读介质
CN112418249A (zh) 掩膜图像生成方法、装置、电子设备和计算机可读介质
CN114998149A (zh) 图像修复模型的训练方法及图像修复方法、装置及设备
CN113592033B (zh) 油罐图像识别模型训练方法、油罐图像识别方法和装置
CN112800276B (zh) 视频封面确定方法、装置、介质及设备
CN114399814A (zh) 一种基于深度学习的遮挡物移除和三维重建方法
CN115760607A (zh) 图像修复方法、装置、可读介质以及电子设备
CN110636331A (zh) 用于处理视频的方法和装置
CN110852242A (zh) 基于多尺度网络的水印识别方法、装置、设备及存储介质
CN115546487A (zh) 图像模型训练方法、装置、介质及电子设备
CN114972876A (zh) 基于知识蒸馏技术的图像处理方法、装置、设备及介质
CN111737575B (zh) 内容分发方法、装置、可读介质及电子设备
CN114627023A (zh) 图像修复方法、装置、设备、介质及产品
CN114926491A (zh) 一种抠图方法、装置、电子设备及存储介质
CN112712070A (zh) 一种珠算题的判题方法、装置、电子设备及存储介质
CN111258582B (zh) 一种窗口渲染方法、装置、计算机设备及存储介质
CN112488947A (zh) 模型训练和图像处理方法、装置、设备和计算机可读介质
CN114998148A (zh) 一种图像修复方法、装置及设备
CN111738958B (zh) 图片修复方法、装置、电子设备及计算机可读介质
CN113344797B (zh) 特效处理的方法、装置、可读介质和电子设备
CN111738899B (zh) 用于生成水印的方法、装置、设备和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination