CN112381725B - 基于深度卷积对抗生成网络的图像修复方法及装置 - Google Patents
基于深度卷积对抗生成网络的图像修复方法及装置 Download PDFInfo
- Publication number
- CN112381725B CN112381725B CN202011109766.5A CN202011109766A CN112381725B CN 112381725 B CN112381725 B CN 112381725B CN 202011109766 A CN202011109766 A CN 202011109766A CN 112381725 B CN112381725 B CN 112381725B
- Authority
- CN
- China
- Prior art keywords
- edge
- image
- map
- edge map
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 239000002131 composite material Substances 0.000 claims description 41
- 238000012545 processing Methods 0.000 claims description 33
- 239000000427 antigen Substances 0.000 claims description 19
- 230000008439 repair process Effects 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 238000007781 pre-processing Methods 0.000 claims description 15
- 102000036639 antigens Human genes 0.000 claims description 13
- 108091007433 antigens Proteins 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 8
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 238000001228 spectrum Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 8
- 238000012549 training Methods 0.000 description 68
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 8
- 230000000873 masking effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000010977 jade Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于深度卷积对抗生成网络的图像修复方法及装置，通过对待修复图像进行预处理，以获得边缘原图，然后利用预先训练的深度卷积对抗生成网络，根据边缘原图生成与待修复图像对应的目标生成图像，其中，预先训练的深度卷积对抗生成网络包括依次连接的第一生成器、第一判别器、第二生成器和第二判别器，从而能够对针对待修复图像生成的图像进行双重判定，进而可以提高图像修复准确率，改善修复效果。
Description
技术领域
本发明涉及图像处理技术领域，更具体地，涉及一种基于深度卷积对抗生成网络的图像修复方法及装置。
背景技术
图像修复技术是近几年图像处理领域一个重要的分支，属于模式识别、机器学习、统计学、计算机视觉等多学科的交叉问题。图像修复是指对在图像保留过程中引起的图像信息缺失进行修复重建或者去除图像中的多余物体后的修复。现如今，研究人员提出了各种各样的图像修复的方法，已广泛用于老照片修复、文物保护、去除多余物体等领域。比如，基于对抗生成网络的图像修复方法，通过利用一个生成器去根据原图随机生成一幅图片，再用一个判别器去判断生成的图片是否接近原图并给出一个分数，分数越高就说明越接近原图，然后生成器就要深度学习去生成能获得高分的图片来。通过多次迭代，最终训练出能够生成最大程度接近原图的图片的网络。如在中国申请的专利“一种基于生成对抗网络的人脸图像修复方法”(公开日2019.02.22，公开号CN109377448A)。
但在实践中发现，现有的基于对抗生成网络的图像修复方法有一定的局限性，其生成器只把生成范围限定在某个区域，而没有定位到更精细的纹理，当缺少的区域面积较大时，往往会生成明显不合理的图片。可见，现有图像修复方法的图像修复准确率较低，导致修复效果不够好。
发明内容
本发明为克服上述现有技术所述的缺陷，提供一种基于深度卷积对抗生成网络的图像修复方法及装置，能够提高图像修复准确率，改善修复效果。
为解决上述技术问题，本发明的技术方案如下：
本发明第一方面公开一种基于深度卷积对抗生成网络的图像修复方法，包括以下步骤：
S1：对待修复图像进行预处理，以获得边缘原图；
S2：利用预先训练的深度卷积对抗生成网络，根据所述边缘原图生成与所述待修复图像对应的目标生成图像；其中，所述预先训练的深度卷积对抗生成网络包括依次连接的第一生成器、第一判别器、第二生成器和第二判别器。
进一步地，步骤S1包括：
S1.1：对待修复图像进行去噪处理以获得去噪图像；
S1.2：将所述去噪图像转换成RGB图像；
S1.3：使用编码器对所述RGB图像进行下采样，获得第一边缘图，并对所述第一边缘图进行掩膜处理获得第二边缘图；
S1.4：根据第一预设系数对所述RGB图像进行灰度转换，得到灰度图；
S1.5：使用所述编码器对所述灰度图进行下采样，获得第三边缘图，并对所述第三边缘图进行掩膜处理获得第四边缘图；
S1.6：将所述第一边缘图、所述第二边缘图、所述第三边缘图及所述第四边缘图作为边缘原图。
进一步地，步骤S1.1包括以下步骤：
S1.1.1：对待修复图像进行四元二维傅里叶变换，以获得所述待修复图像在二维频域上的信号表示；
S1.1.2：对所述信号表示进行滤波处理之后，通过二维傅里叶逆变换进行分组重构，获得去噪图像。
进一步地，步骤S2包括以下步骤：
S2.1：分别将所述第一边缘图、所述第二边缘图、所述第三边缘图及所述第四边缘图作为边缘原图输入至预先训练的深度卷积对抗生成网络的第一生成器，以生成与所述边缘原图一一对应的四个预测边缘图；
S2.2：将所述四个预测边缘图输入至所述深度卷积对抗生成网络的第一判别器，以使所述第一判别器从所述四个预测边缘图中确定出最接近其对应的边缘原图的预测边缘图作为修复边缘图；
S2.3：根据第二预设系数将所述第一边缘图和所述修复边缘图进行合并，得到复合边缘图，所述第二预设系数大于或等于零且小于或等于一；
S2.4：将所述复合边缘图输入至所述深度卷积对抗生成网络的第二生成器，以生成与所述复合边缘图对应的生成图像；
S2.5：将所述生成图像和所述复合边缘图输入至所述深度卷积对抗生成网络的第二判别器，以获得所述生成图像与所述复合边缘图的损失函数值；
S2.6：当所述损失函数值小于指定阈值时，确定所述生成图像为修复好的目标生成图像。
进一步地，步骤S2.1包括以下步骤：
S2.1.1：分别将所述第一边缘图、所述第二边缘图、所述第三边缘图及所述第四边缘图作为边缘原图输入至预先训练的深度卷积对抗生成网络的第一生成器，以使所述第一生成器对每个所述边缘原图的协方差矩阵进行奇异值分解得到对角矩阵；
S2.1.2：通过降低所述对角矩阵中对角线的最大奇异值，以对每个所述边缘原图进行重构获得各自对应的重构边缘图；
S2.1.3：分别对每个所述重构边缘图进行谱归一化处理，以获得与所述边缘原图一一对应的四个预测边缘图。
本发明第二方面公开一种基于深度卷积对抗生成网络的图像修复装置，包括：
预处理单元，用于对待修复图像进行预处理，以获得边缘原图；
修复单元，用于利用预先训练的深度卷积对抗生成网络，根据所述边缘原图生成与所述待修复图像对应的目标生成图像；其中，所述预先训练的深度卷积对抗生成网络包括依次连接的第一生成器、第一判别器、第二生成器和第二判别器。
进一步地，所述预处理单元包括：
去噪模块，用于对待修复图像进行去噪处理以获得去噪图像；
RGB转换模块，用于将所述去噪图像转换成RGB图像；
边缘处理模块，用于使用编码器对所述RGB图像进行下采样，获得第一边缘图，并对所述第一边缘图进行掩膜处理获得第二边缘图；
灰度转换模块，用于根据第一预设系数对所述RGB图像进行灰度转换，得到灰度图；
所述边缘处理模块，还用于使用所述编码器对所述灰度图进行下采样，获得第三边缘图，并对所述第三边缘图进行掩膜处理获得第四边缘图；以及，将所述第一边缘图、所述第二边缘图、所述第三边缘图及所述第四边缘图作为边缘原图。
进一步地，所述去噪模块，具体用于对待修复图像进行四元二维傅里叶变换，以获得所述待修复图像在二维频域上的信号表示；以及，对所述信号表示进行滤波处理之后，通过二维傅里叶逆变换进行分组重构，获得去噪图像。
进一步地，所述修复单元包括：
第一生成模块，用于分别将所述第一边缘图、所述第二边缘图、所述第三边缘图及所述第四边缘图作为边缘原图输入至预先训练的深度卷积对抗生成网络的第一生成器，以生成与所述边缘原图一一对应的四个预测边缘图；
第一判别模块，用于将所述四个预测边缘图输入至所述深度卷积对抗生成网络的第一判别器，以使所述第一判别器从所述四个预测边缘图中确定出最接近其对应的边缘原图的预测边缘图作为修复边缘图；
合并模块，用于根据第二预设系数将所述第一边缘图和所述修复边缘图进行合并，得到复合边缘图，所述第二预设系数大于或等于零且小于或等于一；
第二生成模块，用于将所述复合边缘图输入至所述深度卷积对抗生成网络的第二生成器，以生成与所述复合边缘图对应的生成图像；
第二判别模块，用于将所述生成图像和所述复合边缘图输入至所述深度卷积对抗生成网络的第二判别器，以获得所述生成图像与所述复合边缘图的损失函数值；
确定模块，用于在所述损失函数值小于指定阈值时，确定所述生成图像为修复好的目标生成图像。
进一步地，所述第一生成模块，具体用于分别将所述第一边缘图、所述第二边缘图、所述第三边缘图及所述第四边缘图作为边缘原图输入至预先训练的深度卷积对抗生成网络的第一生成器，以使所述第一生成器对每个所述边缘原图的协方差矩阵进行奇异值分解得到对角矩阵；以及，通过降低所述对角矩阵中对角线的最大奇异值，以对每个所述边缘原图进行重构获得各自对应的重构边缘图，再分别对每个所述重构边缘图进行谱归一化处理，以获得与所述边缘原图一一对应的四个预测边缘图。
与现有技术相比，本发明技术方案的有益效果是：本发明公开一种基于深度卷积对抗生成网络的图像修复方法及装置，通过对待修复图像进行预处理，以获得边缘原图，然后利用预先训练的深度卷积对抗生成网络，根据边缘原图生成与待修复图像对应的目标生成图像，其中，预先训练的深度卷积对抗生成网络包括依次连接的第一生成器、第一判别器、第二生成器和第二判别器，从而能够对针对待修复图像生成的图像进行双重判定，进而可以提高图像修复准确率，改善修复效果。
附图说明
图1为实施例1基于深度卷积对抗生成网络的图像修复方法的流程图。
图2为实施例2基于深度卷积对抗生成网络的图像修复装置的示意图。
其中：201、预处理单元；202、修复单元。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，本实施例提供一种基于深度卷积对抗生成网络的图像修复方法，包括如下步骤：
S1：对待修复图像进行预处理，以获得边缘原图。
其中，待修复图像可以是受损且带有噪声的图像，其具体可以是文物保护图像，例如世界著名文化遗产敦煌璧画。其中，预处理包括但不限于灰度化、格式转换、下采样、灰度转换、几何变换、图像增强和/或去噪等处理。
可选地，步骤S1可以包括以下步骤：
S1.1：对待修复图像进行去噪处理以获得去噪图像。
进一步可选地，步骤S1.1可以包括：
S1.1.1：对待修复图像进行四元二维傅里叶变换，以获得待修复图像在二维频域上的信号表示。
可选地，可以先对待修复图像进行特征提取，以获得四个列向量Ir、Ii、Ij、Ik，分别代表待修复图像的实部信息以及待修复图像的RGB图像的R通道值、G通道值、B通道值。因此，待修复图像I可以用以下公式(1)表示：
I＝Ir+Ii*i+Ij*j+Ik*k (1)
其中，Ir表示待修复图像的实部信息，Ii、Ij、Ik分别表示待修复图像的RGB图像的R通道值、G通道值、B通道值，i、j、k表示四元数的三个虚部单位，满足以下的关系：
i2＝j2＝k2＝-1；
ij＝-ji＝k；
jk＝-kj＝i；
ki＝-ik＝j。
然后对待修复图像I(x,y)进行四元二维傅里叶变换处理，获得所述待修复图像在二维频域上的信号表示H1(w,v)，具体公式如下：
其中，I(x,y)为待修复图像；w、v为二维图像的频率表示，μ1、μ2为两个单元纯四元数，满足以下关系：
μ1＝μ1,i*i+μ1,j*j+μ1,k*k；
μ2＝μ2,i*i+μ2,j*j+μ2,k*k；
μ1,i 2+μ1,j 2+μ1,k 2＝μ2,i 2+μ2,j 2+μ2,k 2＝1；
μ1,i*μ2,i+μ1,j*μ2,j+μ1,k*μ2,k＝0。
S1.1.2：对信号表示进行滤波处理之后，通过二维傅里叶逆变换进行分组重构，获得去噪图像。
其中，可以利用四元频谱分析技术对信号表示的各个成分信息进行分析，以及搭建巴特沃斯滤波器进行滤波处理，获得去噪后的信号表示H2(w,v)，然后再通过二维傅里叶逆变换对去噪后的信号表示进行分组重构，获得去噪图像具体实现如下：
其中，H2(w,v)为进行滤波处理之后的信号表示；w、v为二维图像的频率表示，μ1、μ2为两个单元纯四元数。
实施上述实施方式，通过结合了四元数和二维傅里叶变换的优点，能够更好地对待修复图像进行去噪处理，提高图像的分辨率，进一步提高图像修复准确率，改善修复效果。
S1.2：将去噪图像转换成RGB图像/>
S1.3：使用编码器对RGB图像进行下采样，以获得第一边缘图I1，并对第一边缘图I1进行掩膜处理以获得第二边缘图I2。
S1.4：根据第一预设系数对RGB图像进行灰度转换，得到灰度图/>
其中，RGB图像可以包括R、G、B三个通道分量，分别为/>和/>具体的灰度转换可以通过以下公式实现：
其中，第一预设系数可以包括R、G、B三个通道分量的系数，其可以是根据实际情况由开发人员设定的具体数值，比如式中的0.299、0.587和0.114。
S1.5：使用编码器对灰度图进行下采样，以获得第三边缘图I3，并对第三边缘图I3进行掩膜处理以获得第四边缘图I4。
S1.6：将第一边缘图、第二边缘图、第三边缘图及第四边缘图作为边缘原图。
需要说明的是，通过对待修复图像进行去噪和RGB转换，之后再进行下采样和掩膜处理，并同时对RGB转换后的图像转换成灰度图后进行下采样和掩膜处理，可以获得多个边缘原图，从而能够保留更多的图像信息，进一步提高图像修复准确率，改善修复效果。
S2：利用预先训练的深度卷积对抗生成网络，根据边缘原图生成与待修复图像对应的目标生成图像；其中，预先训练的深度卷积对抗生成网络包括依次连接的第一生成器、第一判别器、第二生成器和第二判别器。
其中，深度卷积对抗生成网络又称(Deep Convolution Generative AdversarialNetworks，DCGAN)模型，是将全卷积神经网络应用到了对抗生成网络中的网络结构。可选地，可以先构建初始化的深度卷积对抗生成网络，再采集若干训练原图，根据若干训练原图对初始化的深度卷积对抗生成网络进行训练，以获得训练好的深度卷积对抗生成网络。
具体地，针对每一个训练原图的训练过程可以包括以下步骤：
S0.1：使用编码器对去噪后的训练原图的RGB训练图像进行下采样，获得第一训练边缘图；并对第一训练边缘图进行掩膜处理，获得第二训练边缘图；
S0.2：根据第一预设系数对RGB训练图像进行灰度转换，得到训练灰度图；
S0.3：使用编码器对训练灰度图进行下采样，获得第三训练边缘图；并对第三训练边缘图进行掩膜处理，获得第四训练边缘图；
S0.4：分别将第一训练边缘图、第二训练边缘图、第三训练边缘图及第四训练边缘图作为训练边缘原图输入至初始化的深度卷积对抗生成网络的第一生成器，以生成与训练边缘原图一一对应的四个训练预测边缘图；
其中，步骤S0.4可以包括：分别将第一训练边缘图、第二训练边缘图、第三训练边缘图及第四训练边缘图作为训练边缘原图输入至初始化的深度卷积对抗生成网络的第一生成器，以使第一生成器对每个训练边缘原图的协方差矩阵进行奇异值分解得到对角矩阵，通过降低对角矩阵中对角线的最大奇异值，以对每个训练边缘原图进行重构获得各自对应的训练重构边缘图，再分别对每个训练重构边缘图进行谱归一化处理，获得与训练边缘原图一一对应的四个训练预测边缘图。
S0.5：将四个训练预测边缘图输入至初始化的深度卷积对抗生成网络的第一判别器，以使第一判别器从四个训练预测边缘图中确定出最接近其对应的训练边缘原图的训练预测边缘图作为训练修复边缘图；
S0.6：根据第二预设系数将第一训练边缘图和训练修复边缘图进行合并，得到训练复合边缘图Imerge，如下公式表示：
Imerge＝I1'*(1-λ)+Irecover*λ (5)
其中，λ表示第二预设系数，0≤λ≤1；I1'表示第一训练边缘图，Irecover表示训练修复边缘图；
S0.7：将训练复合边缘图输入初始化的深度卷积对抗生成网络的第二生成器，以生成与训练复合边缘图对应的训练生成图；
S0.8：将训练生成图和训练复合边缘图输入初始化的深度卷积对抗生成网络的第二判别器，以使第二判别器计算出训练生成图和训练复合边缘图的损失函数值Lloss，其中，损失函数值Lloss用于表征训练生成图和训练复合边缘图之间的差距，可以通过以下公式计算：
Lloss＝∑||D-Imerge||2 (6)
其中，D表示训练生成图，Imerge表示训练复合边缘图。
S0.9：当损失函数值小于指定阈值时，停止训练，获得训练好的深度卷积对抗生成网络。
可选地，通过损失函数值可以估量训练生成图和训练复合边缘图的一致性，当损失函数值小于指定阈值时，说明训练生成图和训练复合边缘图之间的差距小到一定程度，可以判定第二判别器不再能够区分训练生成图和训练复合边缘图，也即，训练生成图最大限度地接近训练复合边缘图，此时训练过程达到平衡，可以判定深度卷积对抗生成网络训练完成，从而停止训练。
其中，指定阈值可以是根据实际情况而设定的具体数值，比如，当损失函数值Lloss<0.001时，停止训练，并判定深度卷积对抗生成网络训练完成。
可选地，还可以获取若干受损的测试原图形成测试图像集，并利用其中的每个测试原图对深度卷积对抗生成网络进行测试。
可选地，损失函数值具体可以是根据L2损失函数计算出的值。
相应地，进一步可选地，步骤S2可以包括以下步骤：
S2.1：分别将第一边缘图、第二边缘图、第三边缘图及第四边缘图作为边缘原图输入至预先训练的深度卷积对抗生成网络的第一生成器，以生成与边缘原图一一对应的四个预测边缘图。
其中，步骤S2.1的具体实施方式可以是：分别将第一边缘图、第二边缘图、第三边缘图及第四边缘图作为边缘原图输入至预先训练的深度卷积对抗生成网络的第一生成器，以使第一生成器对每个边缘原图的协方差矩阵进行奇异值分解得到对角矩阵；通过降低对角矩阵中对角线的最大奇异值，以对每个边缘原图进行重构获得各自对应的重构边缘图；再分别对每个重构边缘图进行谱归一化处理，以获得与边缘原图一一对应的四个预测边缘图。
S2.2：将四个预测边缘图输入至深度卷积对抗生成网络的第一判别器，以使第一判别器从四个预测边缘图中确定出最接近其对应的边缘原图的预测边缘图作为修复边缘图。
S2.3：根据第二预设系数将第一边缘图和修复边缘图进行合并，得到复合边缘图，第二预设系数大于或等于零且小于或等于一。
S2.4：将复合边缘图输入至深度卷积对抗生成网络的第二生成器，以生成与复合边缘图对应的生成图像。
S2.5：将生成图像和复合边缘图输入至深度卷积对抗生成网络的第二判别器，以获得生成图像与复合边缘图的损失函数值。
S2.6：当损失函数值小于指定阈值时，确定生成图像为修复好的目标生成图像。
本实施例提供一种基于深度卷积对抗生成网络的图像修复方法，通过对待修复图像进行预处理，以获得边缘原图，然后利用预先训练的深度卷积对抗生成网络，根据边缘原图生成与待修复图像对应的目标生成图像，其中，预先训练的深度卷积对抗生成网络包括依次连接的第一生成器、第一判别器、第二生成器和第二判别器，从而能够对针对待修复图像生成的图像进行双重判定，进而可以提高图像修复准确率，改善修复效果。
实施例2
如图2所示，本实施例提供一种基于深度卷积对抗生成网络的图像修复装置，包括预处理单元201和修复单元202，其中：
预处理单元201，用于对待修复图像进行预处理，以获得边缘原图；
修复单元202，用于利用预先训练的深度卷积对抗生成网络，根据边缘原图生成与待修复图像对应的目标生成图像；其中，预先训练的深度卷积对抗生成网络包括依次连接的第一生成器、第一判别器、第二生成器和第二判别器。
可选地，预处理单元201可以包括以下未图示的模块：
去噪模块，用于对待修复图像进行去噪处理以获得去噪图像；
RGB转换模块，用于将去噪图像转换成RGB图像；
边缘处理模块，用于使用编码器对RGB图像进行下采样，获得第一边缘图，并对第一边缘图进行掩膜处理获得第二边缘图；
灰度转换模块，用于根据第一预设系数对RGB图像进行灰度转换，得到灰度图；
边缘处理模块，还用于使用编码器对灰度图进行下采样，获得第三边缘图，并对第三边缘图进行掩膜处理获得第四边缘图；以及，将第一边缘图、第二边缘图、第三边缘图及第四边缘图作为边缘原图。
可选地，上述的去噪模块，具体用于对待修复图像进行四元二维傅里叶变换，以获得待修复图像在二维频域上的信号表示；以及，对信号表示进行滤波处理之后，通过二维傅里叶逆变换进行分组重构，获得去噪图像。
可选地，修复单元202可以包括以下未图示的模块：
第一生成模块，用于分别将第一边缘图、第二边缘图、第三边缘图及第四边缘图作为边缘原图输入至预先训练的深度卷积对抗生成网络的第一生成器，以生成与边缘原图一一对应的四个预测边缘图；
第一判别模块，用于将四个预测边缘图输入至深度卷积对抗生成网络的第一判别器，以使第一判别器从四个预测边缘图中确定出最接近其对应的边缘原图的预测边缘图作为修复边缘图；
合并模块，用于根据第二预设系数将第一边缘图和修复边缘图进行合并，得到复合边缘图，第二预设系数大于或等于零且小于或等于一；
第二生成模块，用于将复合边缘图输入至深度卷积对抗生成网络的第二生成器，以生成与复合边缘图对应的生成图像；
第二判别模块，用于将生成图像和复合边缘图输入至深度卷积对抗生成网络的第二判别器，以获得生成图像与复合边缘图的损失函数值；
确定模块，用于在损失函数值小于指定阈值时，确定生成图像为修复好的目标生成图像。
可选地，第一生成模块，具体用于分别将第一边缘图、第二边缘图、第三边缘图及第四边缘图作为边缘原图输入至预先训练的深度卷积对抗生成网络的第一生成器，以使第一生成器对每个边缘原图的协方差矩阵进行奇异值分解得到对角矩阵；以及，通过降低对角矩阵中对角线的最大奇异值，以对每个边缘原图进行重构获得各自对应的重构边缘图，再分别对每个重构边缘图进行谱归一化处理，以获得与边缘原图一一对应的四个预测边缘图。
本实施例提供一种基于深度卷积对抗生成网络的图像修复装置，通过对待修复图像进行预处理，以获得边缘原图，然后利用预先训练的深度卷积对抗生成网络，根据边缘原图生成与待修复图像对应的目标生成图像，其中，预先训练的深度卷积对抗生成网络包括依次连接的第一生成器、第一判别器、第二生成器和第二判别器，从而能够对针对待修复图像生成的图像进行双重判定，进而可以提高图像修复准确率，改善修复效果。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (4)
1.一种基于深度卷积对抗生成网络的图像修复方法，其特征在于，包括以下步骤：
S1：对待修复图像进行预处理，以获得边缘原图；
步骤S1包括：
S1.1：对待修复图像进行去噪处理以获得去噪图像；
S1.2：将所述去噪图像转换成RGB图像；
S1.3：使用编码器对所述RGB图像进行下采样，获得第一边缘图，并对所述第一边缘图进行掩膜处理获得第二边缘图；
S1.4：根据第一预设系数对所述RGB图像进行灰度转换，得到灰度图；
S1.5：使用所述编码器对所述灰度图进行下采样，获得第三边缘图，并对所述第三边缘图进行掩膜处理获得第四边缘图；
S1.6：将所述第一边缘图、所述第二边缘图、所述第三边缘图及所述第四边缘图作为边缘原图；
S2：利用预先训练的深度卷积对抗生成网络，根据所述边缘原图生成与所述待修复图像对应的目标生成图像；其中，所述预先训练的深度卷积对抗生成网络包括依次连接的第一生成器、第一判别器、第二生成器和第二判别器；
步骤S2包括以下步骤：
S2.1：分别将所述第一边缘图、所述第二边缘图、所述第三边缘图及所述第四边缘图作为边缘原图输入至预先训练的深度卷积对抗生成网络的第一生成器，以生成与所述边缘原图一一对应的四个预测边缘图；
步骤S2.1包括以下步骤：
S2.1.1：分别将所述第一边缘图、所述第二边缘图、所述第三边缘图及所述第四边缘图作为边缘原图输入至预先训练的深度卷积对抗生成网络的第一生成器，以使所述第一生成器对每个所述边缘原图的协方差矩阵进行奇异值分解得到对角矩阵；
S2.1.2：通过降低所述对角矩阵中对角线的最大奇异值，以对每个所述边缘原图进行重构获得各自对应的重构边缘图；
S2.1.3：分别对每个所述重构边缘图进行谱归一化处理，以获得与所述边缘原图一一对应的四个预测边缘图；
S2.2：将所述四个预测边缘图输入至所述深度卷积对抗生成网络的第一判别器，以使所述第一判别器从所述四个预测边缘图中确定出最接近其对应的边缘原图的预测边缘图作为修复边缘图；
S2.3：根据第二预设系数将所述第一边缘图和所述修复边缘图进行合并，得到复合边缘图，所述第二预设系数大于或等于零且小于或等于一；
S2.4：将所述复合边缘图输入至所述深度卷积对抗生成网络的第二生成器，以生成与所述复合边缘图对应的生成图像；
S2.5：将所述生成图像和所述复合边缘图输入至所述深度卷积对抗生成网络的第二判别器，以获得所述生成图像与所述复合边缘图的损失函数值；
S2.6：当所述损失函数值小于指定阈值时，确定所述生成图像为修复好的目标生成图像。
2.根据权利要求1所述的一种基于深度卷积对抗生成网络的图像修复方法，其特征在于，步骤S1.1包括以下步骤：
S1.1.1：对待修复图像进行四元二维傅里叶变换，以获得所述待修复图像在二维频域上的信号表示；
S1.1.2：对所述信号表示进行滤波处理之后，通过二维傅里叶逆变换进行分组重构，获得去噪图像。
3.一种基于深度卷积对抗生成网络的图像修复装置，其特征在于，包括：
预处理单元，用于对待修复图像进行预处理，以获得边缘原图；
所述预处理单元包括：
去噪模块，用于对待修复图像进行去噪处理以获得去噪图像；
RGB转换模块，用于将所述去噪图像转换成RGB图像；
边缘处理模块，用于使用编码器对所述RGB图像进行下采样，获得第一边缘图，并对所述第一边缘图进行掩膜处理获得第二边缘图；
灰度转换模块，用于根据第一预设系数对所述RGB图像进行灰度转换，得到灰度图；
所述边缘处理模块，还用于使用所述编码器对所述灰度图进行下采样，获得第三边缘图，并对所述第三边缘图进行掩膜处理获得第四边缘图；以及，将所述第一边缘图、所述第二边缘图、所述第三边缘图及所述第四边缘图作为边缘原图；
修复单元，用于利用预先训练的深度卷积对抗生成网络，根据所述边缘原图生成与所述待修复图像对应的目标生成图像；其中，所述预先训练的深度卷积对抗生成网络包括依次连接的第一生成器、第一判别器、第二生成器和第二判别器；
所述修复单元包括：
第一生成模块，用于分别将所述第一边缘图、所述第二边缘图、所述第三边缘图及所述第四边缘图作为边缘原图输入至预先训练的深度卷积对抗生成网络的第一生成器，以生成与所述边缘原图一一对应的四个预测边缘图；
所述第一生成模块，具体用于分别将所述第一边缘图、所述第二边缘图、所述第三边缘图及所述第四边缘图作为边缘原图输入至预先训练的深度卷积对抗生成网络的第一生成器，以使所述第一生成器对每个所述边缘原图的协方差矩阵进行奇异值分解得到对角矩阵；以及，通过降低所述对角矩阵中对角线的最大奇异值，以对每个所述边缘原图进行重构获得各自对应的重构边缘图，再分别对每个所述重构边缘图进行谱归一化处理，以获得与所述边缘原图一一对应的四个预测边缘图；
第一判别模块，用于将所述四个预测边缘图输入至所述深度卷积对抗生成网络的第一判别器，以使所述第一判别器从所述四个预测边缘图中确定出最接近其对应的边缘原图的预测边缘图作为修复边缘图；
合并模块，用于根据第二预设系数将所述第一边缘图和所述修复边缘图进行合并，得到复合边缘图，所述第二预设系数大于或等于零且小于或等于一；
第二生成模块，用于将所述复合边缘图输入至所述深度卷积对抗生成网络的第二生成器，以生成与所述复合边缘图对应的生成图像；
第二判别模块，用于将所述生成图像和所述复合边缘图输入至所述深度卷积对抗生成网络的第二判别器，以获得所述生成图像与所述复合边缘图的损失函数值；
确定模块，用于在所述损失函数值小于指定阈值时，确定所述生成图像为修复好的目标生成图像。
4.根据权利要求3所述的一种基于深度卷积对抗生成网络的图像修复装置，其特征在于：
所述去噪模块，具体用于对待修复图像进行四元二维傅里叶变换，以获得所述待修复图像在二维频域上的信号表示；以及，对所述信号表示进行滤波处理之后，通过二维傅里叶逆变换进行分组重构，获得去噪图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011109766.5A CN112381725B (zh) | 2020-10-16 | 2020-10-16 | 基于深度卷积对抗生成网络的图像修复方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011109766.5A CN112381725B (zh) | 2020-10-16 | 2020-10-16 | 基于深度卷积对抗生成网络的图像修复方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112381725A CN112381725A (zh) | 2021-02-19 |
| CN112381725B true CN112381725B (zh) | 2024-02-02 |
Family
ID=74579921
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011109766.5A Active CN112381725B (zh) | 2020-10-16 | 2020-10-16 | 基于深度卷积对抗生成网络的图像修复方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112381725B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115049565B (zh) * | 2022-08-12 | 2022-11-08 | 国仪量子(合肥)技术有限公司 | 训练方法、训练装置、电子设备和存储介质 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104504652A (zh) * | 2014-10-10 | 2015-04-08 | 中国人民解放军理工大学 | 一种快速有效保留边缘及方向特征的图像去噪方法 |
| CN109191402A (zh) * | 2018-09-03 | 2019-01-11 | 武汉大学 | 基于对抗生成神经网络的图像修复方法和系统 |
| CN109377448A (zh) * | 2018-05-20 | 2019-02-22 | 北京工业大学 | 一种基于生成对抗网络的人脸图像修复方法 |
| CN110309889A (zh) * | 2019-07-04 | 2019-10-08 | 西南大学 | 一种双判别器gan的古彝文字符修复方法 |
| CN110533588A (zh) * | 2019-07-16 | 2019-12-03 | 中国农业大学 | 基于生成对抗网络的根系图像修复方法 |
| KR102060656B1 (ko) * | 2018-07-17 | 2019-12-30 | 국방과학연구소 | 소나 영상의 잡음을 제거하는 장치 및 방법 |
| CN110675339A (zh) * | 2019-09-16 | 2020-01-10 | 山东师范大学 | 基于边缘修复和内容修复的图像修复方法及系统 |
| CN111047522A (zh) * | 2019-11-07 | 2020-04-21 | 北京科技大学 | 一种基于边缘生成的图像修复方法 |
| KR102119056B1 (ko) * | 2019-10-08 | 2020-06-05 | (주)제이엘케이 | 생성적 적대 신경망 기반의 의료영상 학습 방법 및 장치 |
| CN111325697A (zh) * | 2020-03-04 | 2020-06-23 | 西安交通大学 | 一种基于张量本征变换的彩色图像修复方法 |
| CN111476213A (zh) * | 2020-05-19 | 2020-07-31 | 武汉大势智慧科技有限公司 | 一种基于道路影像的遮挡物覆盖区域填充方法和装置 |
| CN111524205A (zh) * | 2020-04-23 | 2020-08-11 | 北京信息科技大学 | 基于循环生成对抗网络的图像着色处理方法及装置 |
| CN111553858A (zh) * | 2020-04-28 | 2020-08-18 | 四川大学青岛研究院 | 基于生成对抗网络的图像修复方法、系统及其应用 |
| CN111612723A (zh) * | 2020-05-28 | 2020-09-01 | Oppo（重庆）智能科技有限公司 | 图像修复方法及装置 |
-
2020
- 2020-10-16 CN CN202011109766.5A patent/CN112381725B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104504652A (zh) * | 2014-10-10 | 2015-04-08 | 中国人民解放军理工大学 | 一种快速有效保留边缘及方向特征的图像去噪方法 |
| CN109377448A (zh) * | 2018-05-20 | 2019-02-22 | 北京工业大学 | 一种基于生成对抗网络的人脸图像修复方法 |
| KR102060656B1 (ko) * | 2018-07-17 | 2019-12-30 | 국방과학연구소 | 소나 영상의 잡음을 제거하는 장치 및 방법 |
| CN109191402A (zh) * | 2018-09-03 | 2019-01-11 | 武汉大学 | 基于对抗生成神经网络的图像修复方法和系统 |
| CN110309889A (zh) * | 2019-07-04 | 2019-10-08 | 西南大学 | 一种双判别器gan的古彝文字符修复方法 |
| CN110533588A (zh) * | 2019-07-16 | 2019-12-03 | 中国农业大学 | 基于生成对抗网络的根系图像修复方法 |
| CN110675339A (zh) * | 2019-09-16 | 2020-01-10 | 山东师范大学 | 基于边缘修复和内容修复的图像修复方法及系统 |
| KR102119056B1 (ko) * | 2019-10-08 | 2020-06-05 | (주)제이엘케이 | 생성적 적대 신경망 기반의 의료영상 학습 방법 및 장치 |
| CN111047522A (zh) * | 2019-11-07 | 2020-04-21 | 北京科技大学 | 一种基于边缘生成的图像修复方法 |
| CN111325697A (zh) * | 2020-03-04 | 2020-06-23 | 西安交通大学 | 一种基于张量本征变换的彩色图像修复方法 |
| CN111524205A (zh) * | 2020-04-23 | 2020-08-11 | 北京信息科技大学 | 基于循环生成对抗网络的图像着色处理方法及装置 |
| CN111553858A (zh) * | 2020-04-28 | 2020-08-18 | 四川大学青岛研究院 | 基于生成对抗网络的图像修复方法、系统及其应用 |
| CN111476213A (zh) * | 2020-05-19 | 2020-07-31 | 武汉大势智慧科技有限公司 | 一种基于道路影像的遮挡物覆盖区域填充方法和装置 |
| CN111612723A (zh) * | 2020-05-28 | 2020-09-01 | Oppo（重庆）智能科技有限公司 | 图像修复方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于多损失约束与注意力块的图像修复方法;曹真 等;陕西科技大学学报(第3期);第164-171页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112381725A (zh) | 2021-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yeh et al. | Multi-scale deep residual learning-based single image haze removal via image decomposition | |
| Li et al. | WaveCNet: Wavelet integrated CNNs to suppress aliasing effect for noise-robust image classification | |
| Xie et al. | Image denoising and inpainting with deep neural networks | |
| CN112818764B (zh) | 一种基于特征重建模型的低分辨率图像人脸表情识别方法 | |
| CN111062880A (zh) | 一种基于条件生成对抗网络的水下图像实时增强方法 | |
| CN111861894A (zh) | 基于生成式对抗网络的图像去运动模糊方法 | |
| CN110992295B (zh) | 基于小波-red卷积神经网络的低剂量ct重建方法 | |
| CN117274059A (zh) | 基于图像编码-解码的低分辨率图像重构方法及其系统 | |
| CN112991199B (zh) | 一种基于残差密集网络的图像高低频分解噪声去除方法 | |
| CN114187203A (zh) | 注意力优化的深度编解码去雾生成对抗网络 | |
| CN113066025A (zh) | 一种基于增量学习与特征、注意力传递的图像去雾方法 | |
| CN105590296B (zh) | 一种基于双字典学习的单帧图像超分辨率复原方法 | |
| CN115631107A (zh) | 边缘引导的单幅图像噪声去除 | |
| CN112581423A (zh) | 一种基于神经网络的汽车表面缺陷的快速检测方法 | |
| CN116563110A (zh) | 基于Bicubic下采样图像空间对齐的盲图像超分辨率重建方法 | |
| CN112381725B (zh) | 基于深度卷积对抗生成网络的图像修复方法及装置 | |
| CN115272113A (zh) | 一种基于多尺度频率分离网络的图像去模糊方法 | |
| CN113902647A (zh) | 一种基于双闭环网络的图像去模糊方法 | |
| CN117726540A (zh) | 一种增强门控Transformer的图像去噪方法 | |
| CN116259087A (zh) | 一种低分辨率人脸识别方法 | |
| CN113129237B (zh) | 基于多尺度融合编码网络的深度图像去模糊方法 | |
| CN112116538B (zh) | 一种基于深度神经网络的海洋勘测图像质量增强方法 | |
| CN115272131A (zh) | 基于自适应多光谱编码的图像去摩尔纹系统及方法 | |
| Yi et al. | Attention-model guided image enhancement for robotic vision applications | |
| Zhang et al. | A generative adversarial network approach for removing motion blur in the automatic detection of pavement cracks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |