CN112614066A - 图像修复方法、装置及电子设备 - Google Patents
图像修复方法、装置及电子设备 Download PDFInfo
- Publication number
- CN112614066A CN112614066A CN202011543504.XA CN202011543504A CN112614066A CN 112614066 A CN112614066 A CN 112614066A CN 202011543504 A CN202011543504 A CN 202011543504A CN 112614066 A CN112614066 A CN 112614066A
- Authority
- CN
- China
- Prior art keywords
- image
- training
- target
- mask
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 239000003086 colorant Substances 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 190
- 230000008439 repair process Effects 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 abstract description 11
- 230000003042 antagnostic effect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明提供了图像修复方法、装置及电子设备。其中，该方法包括：获取待修复图像对应的目标图像和目标掩膜；其中，目标图像为包含预设颜色区域的待修复图像，预设颜色区域为待修复图像中缺失区域对应的区域，且，与待修复图像中缺失区域的边缘区域颜色均不同，目标掩膜为与待修复图像中缺失区域大小一致的掩膜；将目标图像和目标掩膜输入至预先训练好的深度卷积生成对抗网络DCGAN，以使DCGAN根据目标图像和目标掩膜输出待修复图像对应的目标修复图像，从而通过目标图像，以及与缺失区域大小一致的目标掩膜，对待修复图像进行修复，可以保证目标修复图像中修复后的缺失区域与边缘区域连接自然，提高了图像修复的视觉效果。
Description
技术领域
本发明涉及图像处理技术领域，尤其是涉及图像修复方法、装置及电子设备。
背景技术
目前，图像修复是计算机视觉领域中的重要问题，在许多领域都有着重要的应用。图像修复主要是还原图像中缺失的部分，现有的图像修复方法主要包括基于结构信息的图像修复方法、基于纹理信息基础上的图像修复算法和利用深度学习技术的图像复原算法；其中，基于结构信息的图像修复方法主要是通过信息扩散原理来实现图像的修复，这种技术虽然能够快速有效地对缺失图像进行修复，但是并未考虑到图像修复的完整性和图像的细节信息，导致修复后的图像在视觉方面的效果很差；基于纹理信息基础上的图像修复算法则对大面积缺失区域修复时，可能出现语义不完整和图像模糊等问题，导致修复效果不受控制和修复图像不清晰；而利用深度学习技术的图像复原算法则存在数据训练不稳定、训练过程崩溃的缺陷，从而影响了修复图像的视觉效果。因此，现有的图像修复方法虽然可以实现对图像中缺失区域的修复，但是，修复后的图像的视觉效果并不理想，无法满足人们对图像修复视觉效果的高要求。
发明内容
有鉴于此，本发明的目的在于提供图像修复方法、装置及电子设备，以缓解上述问题，提高了图像修复的视觉效果。
第一方面，本发明实施例提供了一种图像修复方法，该方法包括：获取待修复图像对应的目标图像和目标掩膜；其中，目标图像为包含预设颜色区域的待修复图像，预设颜色区域为待修复图像中缺失区域对应的区域，且，与待修复图像中缺失区域的边缘区域颜色均不同，目标掩膜为与待修复图像中缺失区域大小一致的掩膜；将目标图像和目标掩膜输入至预先训练好的深度卷积生成对抗网络DCGAN，以使DCGAN根据目标图像和目标掩膜输出待修复图像对应的目标修复图像。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，上述DCGAN为基于原始DCGAN训练得到，该方法包括：获取预先存储的训练集；其中，训练集包括多张训练图像，以及每张训练图像对应的目标训练图像和目标训练掩膜；目标训练图像为包含预设训练颜色区域的训练图像，预设训练颜色区域为训练图像中缺失区域对应的区域，且，与训练图像中缺失区域的边缘区域颜色均不同，目标训练掩膜为与训练图像中缺失区域大小一致的掩膜；将训练集输入至原始DCGAN进行训练，以得到DCGAN。
结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，上述原始DCGAN包括原始生成网络和原始判别网络，上述将训练集输入至原始DCGAN进行训练的步骤，包括：将目标训练图像和目标训练掩膜输入至原始生成网络，以使原始生成网络根据目标训练图像和目标训练掩膜生成多张训练修复图像；将多张训练修复图像与对应的训练图像输入至原始判别网络，以使原始判别网络对多张训练修复图像和训练图像进行判别分析，并根据分析结果分别调整原始生成网络和原始判别网络的网络参数，直至原始生成网络和原始判别网络的损失函数均收敛，得到DCGAN。
结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，上述原始生成网络还连接有噪声输入单元，上述原始生成网络根据目标训练图像和目标训练掩膜生成多张训练修复图像的步骤，还包括：获取噪声输入单元输入的噪声；其中，噪声为均匀分布的随机噪声；原始生成网络根据目标训练图像、目标训练掩膜和噪声，生成多张训练修复图像。
结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，DCGAN包括生成网络和判别网络，生成网络为基于原始生成网络进行训练得到，判别网络为基于原始判别网络训练得到；上述DCGAN根据目标图像和目标掩膜输出待修复图像对应的目标修复图像的步骤，包括：基于生成网络的当前像素值参数，生成网络根据目标图像和目标掩膜生成多张修复图像；将多张修复图像输入至判别网络，以使判别网络根据修复图像确定出目标修复图像。
结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，上述生成网络和上述判别网络的层数相同，且，生成网络的卷积核为判别网络的卷积核的转置。
第二方面，本发明实施例还提供一种图像修复装置，该装置包括：获取模块，用于获取待修复图像对应的目标图像和目标掩膜；其中，目标图像为包含预设颜色区域的待修复图像，预设颜色区域为待修复图像中缺失区域对应的区域，且，与待修复图像中缺失区域的边缘区域颜色均不同，目标掩膜为与待修复图像中缺失区域大小一致的掩膜；修复模块，用于将目标图像和目标掩膜输入至预先训练好的深度卷积生成对抗网络DCGAN，以使DCGAN根据目标图像和目标掩膜输出待修复图像对应的目标修复图像。
结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，上述DCGAN为基于原始DCGAN训练得到，该装置包括：获取预先存储的训练集；其中，训练集包括多张训练图像，以及每张训练图像对应的目标训练图像和目标训练掩膜；目标训练图像为包含预设训练颜色区域的训练图像，预设训练颜色区域为训练图像中缺失区域对应的区域，且，与训练图像中缺失区域的边缘区域颜色均不同，目标训练掩膜为与训练图像中缺失区域大小一致的掩膜；将训练集输入至原始DCGAN进行训练，以得到DCGAN。
第三方面，本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现第一方面的图像修复方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行第一方面的图像修复方法的步骤。
本发明实施例带来了以下有益效果：
本发明实施例提供了图像修复方法、装置及电子设备，通过目标图像，以及与缺失区域大小一致的目标掩膜，对待修复图像进行修复，从而可以保证目标修复图像中修复后的缺失区域与边缘区域连接自然，提高了图像修复的视觉效果。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像修复方法的流程图；
图2为本发明实施例提供的一种原始DCGAN训练示意图；
图3为本发明实施例提供的一种图像修复装置的示意图；
图4为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
针对现有图像修复方法中修复后的图像的视觉效果并不理想，无法满足人们对图像修复视觉效果的高要求的问题，本发明实施例提供了图像修复方法、装置及电子设备，通过目标图像，以及与缺失区域大小一致的目标掩膜，对待修复图像进行修复，从而可以保证目标修复图像中修复后的缺失区域与边缘区域连接自然，提高了图像修复的视觉效果。
为便于对本实施例进行理解，下面首先对本发明实施例提供的一种图像修复方法进行详细介绍。
本发明实施例提供了一种图像修复方法，执行主体为服务器，如图1所示，该方法包括以下步骤：
步骤S102，获取待修复图像对应的目标图像和目标掩膜；
其中，目标图像为包含预设颜色区域的待修复图像，预设颜色区域为待修复图像中缺失区域对应的区域，且，与待修复图像中缺失区域的边缘区域颜色均不同，目标掩膜为与待修复图像中缺失区域大小一致的掩膜。具体地，对于获取到的待修复图像，首先将待修复图像中缺失区域替换为预设颜色区域，该预设颜色区域与边缘区域的颜色均不相同，且，大小与缺失区域的大小一致，例如将待修复图像中缺失区域替换为白色区域，边缘区域均为非白色区域，需要说明的是，在实际应用中，只要预设颜色区域与缺失区域的边缘区域的颜色不同即可，具体的预设颜色区域的颜色可以根据实际情况进行设置，本发明实施例对此不作限制说明。
此外，还采用选定的图像、图形或物体,对待修复图像中的缺失区域进行遮挡,以得到与待修复图像中缺失区域大小一致的目标掩膜，其中，目标掩膜可以为多值图像，只要满足目标掩膜与缺失区域大小一致即可，具体的目标掩膜的形式和获取方法可以根据实际应用场景进行设置，本发明实施例对此不作限制说明。
步骤S104，将目标图像和目标掩膜输入至预先训练好的DCGAN，以使DCGAN根据目标图像和目标掩膜输出待修复图像对应的目标修复图像。
上述DCGAN(Deep Convolutional Generative Adversarial Networks，深度卷积生成对抗网络)为基于原始DCGAN训练得到，具体的训练过程如下：首先获取预先存储的训练集；其中，训练集包括多张训练图像，以及每张训练图像对应的目标训练图像和目标训练掩膜；目标训练图像为包含预设训练颜色区域的训练图像，预设训练颜色区域为训练图像中缺失区域对应的区域，且，与训练图像中缺失区域的边缘区域颜色均不同，目标训练掩膜为与训练图像中缺失区域大小一致的掩膜；可选的，上述训练集来源于CelebA数据库的图像数据集，训练图像为人脸图像，目标图像为人脸图像中部分区域如眼睛区域替换为预设颜色区域后的人脸图像，目标掩膜为与人脸图像中眼睛区域大小一致的掩膜，然后将训练集输入至原始DCGAN进行训练，以得到DCGAN。
其中，原始DCGAN包括原始生成网络和原始判别网络，在训练过程中，首先将目标训练图像和目标训练掩膜输入至原始生成网络，以使原始生成网络根据目标训练图像和目标训练掩膜生成多张训练修复图像；并将多张训练修复图像与对应的训练图像输入至原始判别网络，以使原始判别网络对多张训练修复图像和训练图像进行判别分析，并根据分析结果分别调整原始生成网络和原始判别网络的网络参数，直至原始生成网络和原始判别网络的损失函数均收敛，得到DCGAN。
在其中一种可能的实施例中，如图2所示，上述原始生成网络还连接有噪声输入单元，在训练过程中，原始生成网络还获取噪声输入单元输入的噪声；其中，噪声为均匀分布的随机噪声，如均匀分布的(0,1)随机噪声；并根据目标训练图像、目标训练掩膜和噪声，生成多张训练修复图像。此时，还通过编码器对多张训练修复图像和对应的训练图像进行编码处理，并将编码后的多张训练修复图像和对应的训练图像输入至原始判别网络进行判别分析，并根据分析结果分别调整原始生成网络和原始判别网络的网络参数，重复上述过程，直至原始生成网络和原始判别网络的损失函数均收敛，从而得到DCGAN。
因此，上述DCGAN包括生成网络和判别网络，其中，生成网络为基于原始生成网络进行训练得到，判别网络为基于原始判别网络训练得到；且，生成网络和判别网络的层数相同，生成网络的卷积核为判别网络的卷积核的转置。在实际应用中，生成网络的输出层使用Tanh激活函数，其它层则使用RELU，判别网络的所有层都是使用LeakyRELU激活函数。
具体地，DCGAN获取到目标图像和目标掩膜之后，首先基于生成网络的当前像素值参数，生成网络根据目标图像和目标掩膜生成多张修复图像；例如预设颜色区域为白色区域，可以理解为目标图像中预设颜色区域的像素值为0，其余边缘区域的像素值则为非0的数值，生成网络在根据目标图像和目标掩膜生成多张修复图像的过程中，根据边缘区域的像素值和目标掩膜对应的数值进行分析，生成预设颜色区域的像素值，以得到最接近缺失区域的修复区域图像，从而组成得到多张修复图像。然后，将多张修复图像输入至判别网络，以使判别网络根据修复图像确定出目标修复图像；由于判别网络的损失函数收敛，因此，判别网络根据损失函数的最大化即可确定多张修复图像中最接近待修复图像的目标修复图像，并输出该目标修复图像。
由于DCGAN的训练过程是一个循序渐进的过程，即对于原始DCGAN，原始生成网络根据每次的一组网络参数都会生成一张修复图像，根据迭代过程中的多组网络参数，原始生成网络会生成多幅图像，且，每组网络参数对应有损失值，因此，原始判别网络仅仅根据损失值来判断当前修复图像的修复效果可能不是最准确的。为了避免这种情况，对于训练好的DCGAN，生成网络还配置有多组像素值参数，从而基于当前像素值参数包含的一组像素值参数，生成网络根据目标图像和目标掩膜可以生成多张修复图像，以便从多张修复图像中得到更接近待修复图像的修复图像，从而提高了修复图像的修复效果。
此外，由于目标掩膜与缺失区域的大小一致，因此，生成网络在根据边缘区域的像素值和目标掩膜对应的数值进行分析时，保证了边缘区域与缺失区域处连接比较自然，从而提高了图像修复的视觉效果。
本发明实施例提供的图像修复方法，通过目标图像，以及与缺失区域大小一致的目标掩膜，对待修复图像进行修复，从而可以保证目标修复图像中修复后的缺失区域与边缘区域连接自然，提高了图像修复的视觉效果。
在上述方法实施例的基础上，本发明实施例还提供了一种图像修复装置，如图3所示，该装置包括依次连接的获取模块31和修复模块32，其中，各个模块的功能如下：
获取模块31，用于获取待修复图像对应的目标图像和目标掩膜；其中，目标图像为包含预设颜色区域的待修复图像，预设颜色区域为待修复图像中缺失区域对应的区域，且，与待修复图像中缺失区域的边缘区域颜色均不同，目标掩膜为与待修复图像中缺失区域大小一致的掩膜；
修复模块32，用于将目标图像和目标掩膜输入至预先训练好的深度卷积生成对抗网络DCGAN，以使DCGAN根据目标图像和目标掩膜输出待修复图像对应的目标修复图像。
本发明实施例提供的图像修复装置，通过目标图像，以及与缺失区域大小一致的目标掩膜，对待修复图像进行修复，从而可以保证目标修复图像中修复后的缺失区域与边缘区域连接自然，提高了图像修复的视觉效果。
在其中一种可能的实施例中，上述DCGAN为基于原始DCGAN训练得到，该装置还包括：获取预先存储的训练集；其中，训练集包括多张训练图像，以及每张训练图像对应的目标训练图像和目标训练掩膜；目标训练图像为包含预设训练颜色区域的训练图像，预设训练颜色区域为训练图像中缺失区域对应的区域，且，与训练图像中缺失区域的边缘区域颜色均不同，目标训练掩膜为与训练图像中缺失区域大小一致的掩膜；将训练集输入至原始DCGAN进行训练，以得到DCGAN。
在另一种可能的实施例中，上述原始DCGAN包括原始生成网络和原始判别网络，上述将训练集输入至原始DCGAN进行训练，包括：将目标训练图像和目标训练掩膜输入至原始生成网络，以使原始生成网络根据目标训练图像和目标训练掩膜生成多张训练修复图像；将多张训练修复图像与对应的训练图像输入至原始判别网络，以使原始判别网络对多张训练修复图像和训练图像进行判别分析，并根据分析结果分别调整原始生成网络和原始判别网络的网络参数，直至原始生成网络和原始判别网络的损失函数均收敛，得到DCGAN。
在另一种可能的实施例中，上述原始生成网络还连接有噪声输入单元，上述原始生成网络根据目标训练图像和目标训练掩膜生成多张训练修复图像，还包括：获取噪声输入单元输入的噪声；其中，噪声为均匀分布的随机噪声；原始生成网络根据目标训练图像、目标训练掩膜和噪声，生成多张训练修复图像。
在另一种可能的实施例中，DCGAN包括生成网络和判别网络，生成网络为基于原始生成网络进行训练得到，判别网络为基于原始判别网络训练得到；上述修复模块32还用于：基于生成网络的当前像素值参数，生成网络根据目标图像和目标掩膜生成多张修复图像；将多张修复图像输入至判别网络，以使判别网络根据修复图像确定出目标修复图像。
在另一种可能的实施例中，上述生成网络和上述判别网络的层数相同，且，生成网络的卷积核为判别网络的卷积核的转置。
本发明实施例提供的图像修复装置，与上述实施例提供的图像修复方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
本发明实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的机器可执行指令，处理器执行机器可执行指令以实现上述图像修复方法。
参见图4所示，该电子设备包括处理器40和存储器41，该存储器41存储有能够被处理器40执行的机器可执行指令，该处理器40执行机器可执行指令以实现上述图像修复方法。
进一步地，图4所示的电子设备还包括总线42和通信接口43，处理器40、通信接口43和存储器41通过总线42连接。
其中，存储器41可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口43(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线42可以是ISA(IndustrialStandard Architecture，工业标准结构总线)总线、PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Enhanced Industry StandardArchitecture，扩展工业标准结构)总线等。上述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器40可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器40中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器40可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器41，处理器40读取存储器41中的信息，结合其硬件完成前述实施例的方法的步骤。
本实施例还提供一种机器可读存储介质，机器可读存储介质存储有机器可执行指令，机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现上述图像修复方法。
本发明实施例所提供的图像修复方法、装置及电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种图像修复方法，其特征在于，所述方法包括：
获取待修复图像对应的目标图像和目标掩膜；其中，所述目标图像为包含预设颜色区域的待修复图像，所述预设颜色区域为所述待修复图像中缺失区域对应的区域，且，与所述待修复图像中缺失区域的边缘区域颜色均不同，所述目标掩膜为与所述待修复图像中缺失区域大小一致的掩膜；
将所述目标图像和所述目标掩膜输入至预先训练好的深度卷积生成对抗网络DCGAN，以使所述DCGAN根据所述目标图像和所述目标掩膜输出所述待修复图像对应的目标修复图像。
2.根据权利要求1所述的图像修复方法，其特征在于，所述DCGAN为基于原始DCGAN训练得到，所述方法包括：
获取预先存储的训练集；其中，所述训练集包括多张训练图像，以及每张所述训练图像对应的目标训练图像和目标训练掩膜；所述目标训练图像为包含预设训练颜色区域的训练图像，所述预设训练颜色区域为所述训练图像中缺失区域对应的区域，且，与所述训练图像中缺失区域的边缘区域颜色均不同，所述目标训练掩膜为与所述训练图像中缺失区域大小一致的掩膜；
将所述训练集输入至所述原始DCGAN进行训练，以得到所述DCGAN。
3.根据权利要求2所述的图像修复方法，其特征在于，所述原始DCGAN包括原始生成网络和原始判别网络，所述将所述训练集输入至所述原始DCGAN进行训练的步骤，包括：
将所述目标训练图像和所述目标训练掩膜输入至所述原始生成网络，以使所述原始生成网络根据所述目标训练图像和所述目标训练掩膜生成多张训练修复图像；
将多张所述训练修复图像与对应的所述训练图像输入至所述原始判别网络，以使所述原始判别网络对多张所述训练修复图像和所述训练图像进行判别分析，并根据分析结果分别调整所述原始生成网络和所述原始判别网络的网络参数，直至所述原始生成网络和所述原始判别网络的损失函数均收敛，得到所述DCGAN。
4.根据权利要求3所述的图像修复方法，其特征在于，所述原始生成网络还连接有噪声输入单元，所述原始生成网络根据所述目标训练图像和所述目标训练掩膜生成多张训练修复图像的步骤，还包括：
获取所述噪声输入单元输入的噪声；其中，所述噪声为均匀分布的随机噪声；
所述原始生成网络根据所述目标训练图像、所述目标训练掩膜和所述噪声，生成多张训练修复图像。
5.根据权利要求3所述的图像修复方法，其特征在于，所述DCGAN包括生成网络和判别网络，其中，所述生成网络为基于所述原始生成网络进行训练得到，所述判别网络为基于所述原始判别网络训练得到；所述DCGAN根据所述目标图像和所述目标掩膜输出所述待修复图像对应的目标修复图像的步骤，包括：
基于所述生成网络的当前像素值参数，所述生成网络根据所述目标图像和所述目标掩膜生成多张修复图像；
将多张所述修复图像输入至所述判别网络，以使所述判别网络根据所述修复图像确定出所述目标修复图像。
6.根据权利要求5所述的图像修复方法，其特征在于，所述生成网络和所述判别网络的层数相同，且，所述生成网络的卷积核为所述判别网络的卷积核的转置。
7.一种图像修复装置，其特征在于，所述装置包括：
获取模块，用于获取待修复图像对应的目标图像和目标掩膜；其中，所述目标图像为包含预设颜色区域的待修复图像，所述预设颜色区域为所述待修复图像中缺失区域对应的区域，且，与所述待修复图像中缺失区域的边缘区域颜色均不同，所述目标掩膜为与所述待修复图像中缺失区域大小一致的掩膜；
修复模块，用于将所述目标图像和所述目标掩膜输入至预先训练好的深度卷积生成对抗网络DCGAN，以使所述DCGAN根据所述目标图像和所述目标掩膜输出所述待修复图像对应的目标修复图像。
8.根据权利要求7所述的图像修复装置，其特征在于，所述DCGAN为基于原始DCGAN训练得到，所述装置包括：
获取预先存储的训练集；其中，所述训练集包括多张训练图像，以及每张所述训练图像对应的目标训练图像和目标训练掩膜；所述目标训练图像为包含预设训练颜色区域的训练图像，所述预设训练颜色区域为所述训练图像中缺失区域对应的区域，且，与所述训练图像中缺失区域的边缘区域颜色均不同，所述目标训练掩膜为与所述训练图像中缺失区域大小一致的掩膜；
将所述训练集输入至所述原始DCGAN进行训练，以得到所述DCGAN。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1-6任一项所述的图像修复方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述权利要求1-6任一项所述的图像修复方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011543504.XA CN112614066A (zh) | 2020-12-23 | 2020-12-23 | 图像修复方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011543504.XA CN112614066A (zh) | 2020-12-23 | 2020-12-23 | 图像修复方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112614066A true CN112614066A (zh) | 2021-04-06 |
Family
ID=75244652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011543504.XA Pending CN112614066A (zh) | 2020-12-23 | 2020-12-23 | 图像修复方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112614066A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113177892A (zh) * | 2021-04-29 | 2021-07-27 | 北京百度网讯科技有限公司 | 生成图像修复模型的方法、设备、介质及程序产品 |
| CN113327210A (zh) * | 2021-06-30 | 2021-08-31 | 中海油田服务股份有限公司 | 测井图像填补方法、装置、介质及电子设备 |
| CN113888415A (zh) * | 2021-09-07 | 2022-01-04 | 北京三快在线科技有限公司 | 一种模型训练以及图像修复方法及装置 |
| CN114758136A (zh) * | 2022-06-13 | 2022-07-15 | 深圳比特微电子科技有限公司 | 目标去除模型建立方法、装置及可读存储介质 |
| CN114881864A (zh) * | 2021-10-12 | 2022-08-09 | 北京九章云极科技有限公司 | 印章修复网络模型的训练方法及装置 |
| CN114331912B (zh) * | 2022-01-06 | 2023-09-29 | 北京字跳网络技术有限公司 | 一种图像修复方法及装置 |
| CN117474807A (zh) * | 2023-12-27 | 2024-01-30 | 科大讯飞股份有限公司 | 一种图像修复方法、装置、设备及存储介质 |
| CN117474807B (zh) * | 2023-12-27 | 2024-05-31 | 科大讯飞股份有限公司 | 一种图像修复方法、装置、设备及存储介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030007687A1 (en) * | 2001-07-05 | 2003-01-09 | Jasc Software, Inc. | Correction of "red-eye" effects in images |
| CN108885787A (zh) * | 2018-07-06 | 2018-11-23 | 深圳前海达闼云端智能科技有限公司 | 训练图像修复模型的方法、图像修复方法、装置、介质及设备 |
| CN108876754A (zh) * | 2018-05-31 | 2018-11-23 | 深圳市唯特视科技有限公司 | 一种基于深度卷积神经网络的遥感图像缺失数据重建方法 |
| CN108921220A (zh) * | 2018-06-29 | 2018-11-30 | 国信优易数据有限公司 | 图像复原模型训练方法、装置及图像复原方法和装置 |
| CN108986041A (zh) * | 2018-06-13 | 2018-12-11 | 浙江大华技术股份有限公司 | 一种图像恢复方法、装置、电子设备及可读存储介质 |
| CN109377448A (zh) * | 2018-05-20 | 2019-02-22 | 北京工业大学 | 一种基于生成对抗网络的人脸图像修复方法 |
| US20190287283A1 (en) * | 2018-03-15 | 2019-09-19 | Adobe Inc. | User-guided image completion with image completion neural networks |
| CN110675339A (zh) * | 2019-09-16 | 2020-01-10 | 山东师范大学 | 基于边缘修复和内容修复的图像修复方法及系统 |
| CN111080540A (zh) * | 2019-12-05 | 2020-04-28 | 深圳大学 | 一种图像修复模型的训练方法和计算机设备 |
| CN111292265A (zh) * | 2020-01-22 | 2020-06-16 | 东华大学 | 一种基于生成式对抗神经网络的图像修复方法 |
| CN111666721A (zh) * | 2020-06-19 | 2020-09-15 | 中国科学院地质与地球物理研究所 | 全波形反演方法、装置及电子设备 |
| CN111724327A (zh) * | 2020-06-29 | 2020-09-29 | 成都数之联科技有限公司 | 图像修复模型训练方法及系统及图像修复方法 |
| CN111832227A (zh) * | 2020-07-17 | 2020-10-27 | 中国石油大学(北京) | 基于深度学习的页岩气饱和度确定方法、装置和设备 |
-
2020
- 2020-12-23 CN CN202011543504.XA patent/CN112614066A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030007687A1 (en) * | 2001-07-05 | 2003-01-09 | Jasc Software, Inc. | Correction of "red-eye" effects in images |
| US20190287283A1 (en) * | 2018-03-15 | 2019-09-19 | Adobe Inc. | User-guided image completion with image completion neural networks |
| CN109377448A (zh) * | 2018-05-20 | 2019-02-22 | 北京工业大学 | 一种基于生成对抗网络的人脸图像修复方法 |
| CN108876754A (zh) * | 2018-05-31 | 2018-11-23 | 深圳市唯特视科技有限公司 | 一种基于深度卷积神经网络的遥感图像缺失数据重建方法 |
| CN108986041A (zh) * | 2018-06-13 | 2018-12-11 | 浙江大华技术股份有限公司 | 一种图像恢复方法、装置、电子设备及可读存储介质 |
| CN108921220A (zh) * | 2018-06-29 | 2018-11-30 | 国信优易数据有限公司 | 图像复原模型训练方法、装置及图像复原方法和装置 |
| CN108885787A (zh) * | 2018-07-06 | 2018-11-23 | 深圳前海达闼云端智能科技有限公司 | 训练图像修复模型的方法、图像修复方法、装置、介质及设备 |
| CN110675339A (zh) * | 2019-09-16 | 2020-01-10 | 山东师范大学 | 基于边缘修复和内容修复的图像修复方法及系统 |
| CN111080540A (zh) * | 2019-12-05 | 2020-04-28 | 深圳大学 | 一种图像修复模型的训练方法和计算机设备 |
| CN111292265A (zh) * | 2020-01-22 | 2020-06-16 | 东华大学 | 一种基于生成式对抗神经网络的图像修复方法 |
| CN111666721A (zh) * | 2020-06-19 | 2020-09-15 | 中国科学院地质与地球物理研究所 | 全波形反演方法、装置及电子设备 |
| CN111724327A (zh) * | 2020-06-29 | 2020-09-29 | 成都数之联科技有限公司 | 图像修复模型训练方法及系统及图像修复方法 |
| CN111832227A (zh) * | 2020-07-17 | 2020-10-27 | 中国石油大学(北京) | 基于深度学习的页岩气饱和度确定方法、装置和设备 |
Non-Patent Citations (3)
| Title |
|---|
| DEEPHUB: "论文解读：使用局部卷积对不规则缺失的图像进行修复", 《HTTPS://ZHUANLAN.ZHIHU.COM/P/287823433》, 12 November 2020 (2020-11-12) * |
| 徐绍栋: "基于目标优化的语义图像修复研究", 《中国优秀硕士论文全文数据库》, 15 January 2020 (2020-01-15) * |
| 竹篓有个天: "基于GAN的图像修复--论文笔记", 《HTTPS://BLOG.CSDN.NET/OPENSCENEGRAPH/ARTICLE/DETAILS/108310786》, 30 August 2020 (2020-08-30) * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113177892A (zh) * | 2021-04-29 | 2021-07-27 | 北京百度网讯科技有限公司 | 生成图像修复模型的方法、设备、介质及程序产品 |
| CN113327210A (zh) * | 2021-06-30 | 2021-08-31 | 中海油田服务股份有限公司 | 测井图像填补方法、装置、介质及电子设备 |
| CN113888415A (zh) * | 2021-09-07 | 2022-01-04 | 北京三快在线科技有限公司 | 一种模型训练以及图像修复方法及装置 |
| CN114881864A (zh) * | 2021-10-12 | 2022-08-09 | 北京九章云极科技有限公司 | 印章修复网络模型的训练方法及装置 |
| CN114881864B (zh) * | 2021-10-12 | 2023-01-03 | 北京九章云极科技有限公司 | 印章修复网络模型的训练方法及装置 |
| CN114331912B (zh) * | 2022-01-06 | 2023-09-29 | 北京字跳网络技术有限公司 | 一种图像修复方法及装置 |
| CN114758136A (zh) * | 2022-06-13 | 2022-07-15 | 深圳比特微电子科技有限公司 | 目标去除模型建立方法、装置及可读存储介质 |
| CN117474807A (zh) * | 2023-12-27 | 2024-01-30 | 科大讯飞股份有限公司 | 一种图像修复方法、装置、设备及存储介质 |
| CN117474807B (zh) * | 2023-12-27 | 2024-05-31 | 科大讯飞股份有限公司 | 一种图像修复方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112614066A (zh) | 图像修复方法、装置及电子设备 | |
| CN110084757B (zh) | 一种基于生成对抗网络的红外深度图像增强方法 | |
| CN109410123B (zh) | 基于深度学习的去除马赛克的方法、装置及电子设备 | |
| CN108171663B (zh) | 基于特征图最近邻替换的卷积神经网络的图像填充系统 | |
| CN104517110A (zh) | 一种二维码图像的二值化方法及系统 | |
| Kim et al. | Multiple level feature-based universal blind image quality assessment model | |
| CN114170227B (zh) | 产品表面缺陷检测方法、装置、设备及存储介质 | |
| CN110276811B (zh) | 图像转换方法、装置、电子设备及可读存储介质 | |
| CN108921111A (zh) | 对象检测后处理方法及对应装置 | |
| CN111696064B (zh) | 图像处理方法、装置、电子设备及计算机可读介质 | |
| CN111353956A (zh) | 图像修复方法、装置、计算机设备及存储介质 | |
| CN112070735A (zh) | 一种基于特设卷积算子的沥青芯样图像提取方法及系统 | |
| CN111784580A (zh) | 图像的超分辨率方法、装置和服务器 | |
| CN116051407A (zh) | 一种图像修复方法 | |
| CN113033542B (zh) | 一种文本识别模型的生成方法以及装置 | |
| CN106682717B (zh) | 一种半色调二维码的生成方法和系统 | |
| CN114820363A (zh) | 图像处理方法和装置 | |
| CN110647805B (zh) | 一种网纹图像识别方法、装置及终端设备 | |
| CN114549932A (zh) | 数据增强处理方法、装置、计算机设备及存储介质 | |
| CN112184884A (zh) | 三维模型构建方法、装置、计算机设备及存储介质 | |
| CN114596245A (zh) | 一种图像重构模型的生成方法和计算机设备 | |
| CN113591832A (zh) | 图像处理模型的训练方法、文档图像处理方法及设备 | |
| CN114119376A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN112465037A (zh) | 目标检测方法、装置、计算机设备及存储介质 | |
| CN111783742A (zh) | 一种防御对抗攻击的图像分类方法、业务决策方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |