CN111681182A - 图片修复方法、装置、终端设备以及存储介质 - Google Patents
图片修复方法、装置、终端设备以及存储介质 Download PDFInfo
- Publication number
- CN111681182A CN111681182A CN202010502508.7A CN202010502508A CN111681182A CN 111681182 A CN111681182 A CN 111681182A CN 202010502508 A CN202010502508 A CN 202010502508A CN 111681182 A CN111681182 A CN 111681182A
- Authority
- CN
- China
- Prior art keywords
- picture
- quality
- network model
- restoration
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 90
- 230000008439 repair process Effects 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 148
- 230000006870 function Effects 0.000 claims description 42
- 238000010586 diagram Methods 0.000 claims description 38
- 238000012360 testing method Methods 0.000 claims description 29
- 230000008447 perception Effects 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 claims description 7
- 230000003042 antagnostic effect Effects 0.000 claims description 5
- 238000013441 quality evaluation Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 29
- 230000008569 process Effects 0.000 description 17
- 238000012545 processing Methods 0.000 description 13
- 230000008901 benefit Effects 0.000 description 11
- 230000015556 catabolic process Effects 0.000 description 9
- 238000006731 degradation reaction Methods 0.000 description 9
- 230000009467 reduction Effects 0.000 description 8
- 230000006872 improvement Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 241000282326 Felis catus Species 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 241000282376 Panthera tigris Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 235000016623 Fragaria vesca Nutrition 0.000 description 1
- 240000009088 Fragaria x ananassa Species 0.000 description 1
- 235000011363 Fragaria x ananassa Nutrition 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图片修复方法、装置、终端设备以及存储介质，其图片修复方法包括：获取待修复图片；将所述待修复图片输入预先创建的图片修复网络模型中进行修复，得到修复后的图片，其中，所述图片修复网络模型包括编码器、生成器和判别器，所述图片修复网络模型基于所述编码器、生成器和判别器训练得到。本申请解决了老照片低画质修复问题，提升老照片的画质效果。
Description
技术领域
本申请涉及图片处理技术领域，尤其涉及一种图片修复方法、装置、终端设备以及存储介质。
背景技术
通常一些老照片由于受限于拍摄设备和年代以及网络流传压缩失真等多种因素会出现分辨率低、噪声多和压缩失真等问题，这一类问题归为老照片低画质问题。由于老照片寄托了人们的很多情感，因此如何提高老照片的画质变得十分有意义。针对老照片低画质修复这一问题，如果单纯使用去噪和超分模块的组合来解决这一任务，则会出现各模块之间处理后带来的信息损失和扰动，比如去噪模块一般会导致图片丢失更多的细节，这会使超分效果弱化，如果直接超分则会出现新的噪声，对于后面的去噪又会提出更高的要求。
因此，有必要提出一种修复老照片渣画质的解决方案。
发明内容
本申请的主要目的在于提供一种图片修复方法、装置、终端设备以及存储介质，旨在解决老照片低画质修复问题，提升老照片的画质效果。
为实现上述目的，本申请提供一种图片修复方法，所述图片修复方法包括：
获取待修复图片；
将所述待修复图片输入预先创建的图片修复网络模型中进行修复，得到修复后的图片，其中，所述图片修复网络模型包括编码器、生成器和判别器，所述图片修复网络模型基于所述编码器、生成器和判别器训练得到。
本申请实施例还提出一种图片修复装置，所述图片修复装置包括：
图片获取模块，用于获取待修复图片；
图片修复模块，用于将所述待修复图片输入预先创建的图片修复网络模型中进行修复，得到修复后的图片，其中，所述图片修复网络模型包括编码器、生成器和判别器，所述图片修复网络模型基于所述编码器、生成器和判别器训练得到。
本申请实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图片修复程序，所述图片修复程序被所述处理器执行时实现如上所述的图片修复方法的步骤。
本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有图片修复程序，所述图片修复程序被处理器执行时实现如上所述的图片修复方法的步骤。
本申请实施例提出的图片修复方法、装置、终端设备以及存储介质，通过获取待修复图片；将待修复图片输入预先创建的图片修复网络模型中进行修复，得到修复后的图片，其中，所述图片修复网络模型包括编码器、生成器和判别器，所述图片修复网络模型基于所述编码器、生成器和判别器训练得到。通过训练后的图片修复网络模型对图片进行修复，可以解决老照片低画质修复问题，提升老照片的画质效果。基于本申请方案，从真实世界中低画质存在的图像退化规律出发，构建了一个真实世界的低画质和高画质老照片数据集，并在该数据集上验证了本申请提出的图片修复方法的有效性，最后经过本申请方法修复的老照片画质得到明显提升。
附图说明
图1为本申请图片修复装置所属终端设备的功能模块示意图；
图2为本申请图片修复方法一示例性实施例的流程示意图；
图3为本申请实施例中图片修复网络模型的整体数据流示意图；
图4为本申请图片修复方法另一示例性实施例的流程示意图；
图5为本申请图片修复方法实施例涉及的图片修复网络模型的一种训练流程示意图；
图6为本申请实施例中基于训练集，以及编码器、生成器和判别器训练得到图片修复网络模型的具体流程示意图；
图7为本申请实施例中通过判别器对所述生成图片与对应的高画质图片数据集中的高画质图片进行判别，得到判别结果，结合所述判别结果及预设的目标损失函数训练所述图片修复网络模型的流程示意图；
图8为本申请实施例中图片修复网络模型的网络结构原理示意图；
图9为本申请图片修复方法实施例涉及的图片修复网络模型的另一种训练流程示意图；
图10为本申请图片修复方法实施例涉及的图片修复网络模型的又一种训练流程示意图；
图11为本申请实施例中修复前的低画质老照片示意图；
图12为图11中低画质老照片修复后的高画质照片示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例的主要解决方案是：通过在图片修复网络模型中配置编码器、生成器和判别器，获取预先采集的训练集，所述训练集包括低画质图片数据集和对应的高画质图片数据集；通过编码器对所述低画质图片数据集中的图片进行编码，得到若干尺寸的特征图；通过生成器对所述特征图进行重建，得到生成图片；通过判别器对所述生成图片与对应的高画质图片数据集中的高画质图片进行判别，得到判别结果，结合所述判别结果及预设的目标损失函数训练所述图片修复网络模型。通过训练后的图片修复网络模型对待修复图片进行修复时，将待修复图片输入预先创建的图片修复网络模型中进行修复，得到修复后的图片，可以解决老照片低画质修复问题，提升老照片的画质效果。基于本申请方案，从真实世界中低画质存在的图像退化规律出发，构建了一个真实世界的低画质和高画质老照片数据集，并在该数据集上验证了本申请提出的图片修复方法的有效性，最后经过本申请方法修复的老照片画质得到明显提升。
本申请实施例涉及的技术术语：
生成对抗网络，GAN，generative adversarial networks；
图形处理器，GPU，Graphics Processing Unit；
生成器，Generator；
判别器，Discriminator；
编码器，Encoder。
其中，生成对抗网络(也叫生成式对抗网络，GAN，Generative AdversarialNetworks)是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。生成对抗网络模型通过框架中(至少)两个模块：生成模型(Generative Model，或称生成器)和判别模型(Discriminative Model，或称判别器)的互相博弈学习产生相当好的输出(本申请实施例中涉及三个模块：编码器、生成器和判别器)。原始GAN理论中，并不要求生成模型和判别模型都是神经网络，只需要是能拟合相应生成和判别的函数即可。但实用中一般均使用深度神经网络作为生成模型和判别模型。一个优秀的GAN应用需要有良好的训练方法，否则可能由于神经网络模型的自由性而导致输出不理想。
Ian J.Goodfellow等人于2014年10月在Generative Adversarial Networks中提出了一个通过对抗过程估计生成模型的新框架。框架中同时训练两个模型：捕获数据分布的生成模型，和估计样本来自训练数据的概率的判别模型。生成模型的训练程序是将判别模型错误的概率最大化。
通常，机器学习的模型可大体分为两类，生成模型(Generative Model)和判别模型(Discriminative Model)。判别模型需要输入变量，通过某种模型来预测。生成模型是给定某种隐含信息，来随机产生观测数据。举个简单的例子：
判别模型：给定一张图，判断这张图里的动物是猫还是狗；
生成模型：给一系列猫的图片，生成一张新的猫咪(不在数据集里)。
对于判别模型，损失函数是容易定义的，因为输出的目标相对简单。但对于生成模型，损失函数的定义就不是那么容易。所以不妨把生成模型的回馈部分，交给判别模型处理。这就是将机器学习中两大类模型Generative和Discrimitive紧密地联合在一起。
GAN的基本原理以生成图片为例进行说明如下：
假设有两个网络，G(Generator)和D(Discriminator)。它们的功能分别是：
G是一个生成图片的网络，它接收一个随机的噪声z，通过这个噪声生成图片，记做G(z)。
D是一个判别网络，判别一张图片是不是“真实的”。它的输入参数是x，x代表一张图片，输出D(x)代表x为真实图片的概率，如果为1，就代表100％是真实的图片，而输出为0，就代表不可能是真实的图片。
在训练过程中，生成网络G的目标就是尽量生成真实的图片去欺骗判别网络D。而D的目标就是尽量把G生成的图片和真实的图片分别开来。这样，G和D构成了一个动态的“博弈过程”。在最理想的状态下，最后博弈的结果是：G可以生成足以“以假乱真”的图片G(z)。对于D来说，它难以判定G生成的图片究竟是不是真实的。
这样目的就达成了：得到了一个生成式的模型G，它可以用来生成图片。Goodfellow从理论上证明了该算法的收敛性，以及在模型收敛时，生成数据具有和真实数据相同的分布(保证了模型效果)。
ImageNet：一种图像识别数据库，属于计算机视觉系统识别的可视化数据库，ImageNet项目是一个用于视觉对象识别软件研究的大型可视化数据库。ImageNet数据集包含超过1400万个图像，其中120万个图像分为1000个类别(大约100万个图像含边界框和注释)。即超过1400万的图像URL被ImageNet手动注释，以指示图片中的对象，在至少一百万个图像中，还提供了边界框。ImageNet包含2万多个类别；一个典型的类别，如“气球”或“草莓”，包含数百个图像。第三方图像URL的注释数据库可以直接从ImageNet免费获得；但是，实际的图像不属于ImageNet。自2010年以来，ImageNet项目每年举办一次软件比赛，即ImageNet大规模视觉识别挑战赛(ILSVRC)，软件程序竞相正确分类检测物体和场景。ImageNet挑战使用了一个“修剪”的1000个非重叠类的列表。
ImageNet就像一个网络一样，拥有多个Node(节点)。每一个node相当于一个item或者subcategory。一个node含有至少500个对应物体的可供训练的图片/图像，它实际上就是一个巨大的可供图像/视觉训练的图片库。
ImageNet的结构基本上是金字塔型：目录->子目录->图片集。
该数据库首次作为一个海报在普林斯顿大学计算机科学系的研究人员在佛罗里达州举行的2009年计算机视觉与模式识别(CVPR)会议上发布。
ImageNet数据集对其注释过程进行了众包。图像级注释表示图像中存在或不存在对象类，例如“此图像中有老虎”或“此图像中没有老虎”。对象级注释提供了指定对象(的可见部分)周围的边界框。
ImageNet是目前最大的图像识别数据库，包含2万多个类别，千万张被标注的图片。在其上通过监督学习得到的众多预训练模型被开源，在众多CV任务上被广泛使用。目前，包括物体检测、图像分割等多项CV任务上的最佳成绩均是通过这样的方法获得的。
VGG：(Visual Geometry Group，视觉几何组)，该网络是在ILSVRC 2014上的相关工作，主要工作是证明了增加网络的深度能够在一定程度上影响网络最终的性能。
VGG原理：简单来说，在VGG中，使用了3个3x3卷积核来代替7x7卷积核，使用了2个3x3卷积核来代替5x5卷积核，这样做的主要目的是在保证具有相同感知野的条件下，提升了网络的深度，在一定程度上提升了神经网络的效果。
比如，3个步长为1的3x3卷积核的一层层叠加作用可看成一个大小为7的感受野(其实就表示3个3x3连续卷积相当于一个7x7卷积)，其参数总量为3x(9xC^2)，如果直接使用7x7卷积核，其参数总量为49xC^2，这里C指的是输入和输出的通道数。很明显，27xC2小于49xC2，即减少了参数；而且3x3卷积核有利于更好地保持图像性质。
VGG网络结构：
VGG有两种结构，分别是VGG16和VGG19，两者并没有本质上的区别，只是网络深度不一样。
VGG16包含了16个隐藏层(13个卷积层和3个全连接层)，VGG19包含了19个隐藏层(16个卷积层和3个全连接层)。VGGNet的结构非常简洁，整个网络都使用了同样大小的卷积核尺寸(3x3)和最大池化尺寸(2x2)。几个小滤波器(3x3)卷积层的组合比一个大滤波器(5x5或7x7)卷积层好，通过不断加深网络结构可以提升性能。
Imagenet VGG19模型：基于Imagenet数据集预训练进行图像识别的模型。
DCGAN、WGAN、WGAN-GP：
DCGAN于2015年提出，相比于最早的GAN相比，主要做了网络结构方面的改进。这些改进效果带来了更好的生成图片效果。
WGAN在2017年横空出世，通过理论分析，WGAN指出了传统GAN为什么训练时难以收敛，并进行了改进，使其训练难度大幅降低、收敛速度加快。主要有两点改进：一是把目标函数中的log去掉，二是每次迭代更新权重后做weight clipping，把权重限制到一个范围内(例如限定范围[-0.1,+0.1]，则超出这个范围的权重都会被修剪到-0.1或+0.1)。
同年，WGAN-GP又基于WGAN提出了改进方案，因为WGAN虽然降低了GAN的训练难度，但在一些设定下仍然难以收敛，并且生成图片效果相比DCGAN还要差，WGAN-GP将weightclipping改为penalize the norm of the gradient of the critic with respect toits input(根据判别器的输入后向计算出权重梯度，并针对梯度的范数进行惩罚)，解决了上述问题。
相比较WGAN，WGAN-GP不再使用clip野蛮的剪裁鉴别网络的梯度值，而是使用梯度惩罚来使梯度更新平滑，即满足1-lipschitz条件，解决了训练梯度消失梯度爆炸的问题。
本申请实施例考虑到，针对老照片低画质修复这一问题，如果单纯使用去噪和超分模块的组合来解决这一任务，则会出现各模块之间处理后带来的信息损失和扰动，比如去噪模块一般会导致图片丢失更多的细节，这会使超分效果弱化，如果直接超分则会出现新的噪声，对于后面的去噪又会提出更高的要求。
因此，本申请实施例方案，从修复老照片渣画质的实际问题出发，结合生成对抗网络在图像生成方面的能力和编码器对图片内容的保持能力，设计一种基于编码器和生成对抗网络的老照片低画质修复网络模型，解决老照片低画质修复问题，提升老照片的画质效果。
具体地，参照图1，图1为本申请图片修复装置所属终端设备的功能模块示意图。该图片修复装置可以为独立于终端设备的、能够进行图片处理、网络模型训练的装置，其可以通过硬件或软件的形式承载于终端设备上。该终端设备可以为手机、平板电脑等具有数据处理功能的智能移动终端，还可以为具有数据处理功能的固定终端设备或服务器等。
在本实施例中，该图片修复装置所属终端设备至少包括输出模块110、处理器120、存储器130以及通信模块140。
存储器130中存储有操作系统以及图片修复程序，图片修复装置可以将获取的待修复图片，通过图片修复网络模型进行修复后得到的修复后的图片，以及获取的预先采集的包括低画质图片数据集和对应的高画质图片数据集的训练集，通过编码器对所述低画质图片数据集中的图片进行编码得到的若干尺寸的特征图；通过生成器对特征图进行重建得到的生成图片，以及通过判别器对生成图片与对应的高画质图片数据集中的高画质图片进行判别得到的判别结果等信息存储于该存储器130中；输出模块110可为显示屏等。通信模块140可以包括WIFI模块、移动通信模块以及蓝牙模块等，通过通信模块140与外部设备或服务器进行通信。
其中，存储器130中的图片修复程序被处理器执行时实现以下步骤：
获取待修复图片；
将所述待修复图片输入预先创建的图片修复网络模型中进行修复，得到修复后的图片，其中，所述图片修复网络模型包括编码器、生成器和判别器，所述图片修复网络模型基于所述编码器、生成器和判别器训练得到。
进一步地，存储器130中的图片修复程序被处理器执行时还实现以下步骤：
基于所述编码器、生成器和判别器训练得到所述图片修复网络模型。
进一步地，存储器130中的图片修复程序被处理器执行时还实现以下步骤：
获取预先采集的训练集，所述训练集包括低画质图片数据集和对应的高画质图片数据集；
通过编码器对所述低画质图片数据集中的图片进行编码，得到若干尺寸的特征图；
通过生成器对所述特征图进行重建，得到生成图片；
通过判别器对所述生成图片与对应的高画质图片数据集中的高画质图片进行判别，得到判别结果，结合所述判别结果及预设的目标损失函数训练所述图片修复网络模型。
进一步地，存储器130中的图片修复程序被处理器执行时还实现以下步骤：
通过判别器对所述生成图片与对应的高画质图片数据集中的高画质图片进行判别，得到判别结果，根据所述判别结果得到所述生成图片相对对应的高画质图片的生成对抗损失参数；
计算所述生成图片相对对应的高画质图片的内容损失参数及感知损失参数；
将所述生成图片相对对应的高画质图片的生成对抗损失参数、内容损失参数及感知损失参数，带入预设的目标损失函数计算得到所述生成图片相对对应的高画质图片的总目标损失参数；
将所述总目标损失参数回传到所述图片修复网络模型，对所述编码器、生成器以及判别器的网络参数进行更新；并返回执行步骤：通过编码器对所述低画质图片数据集中的图片进行编码，得到若干尺寸的特征图；
以此循环，进行参数迭代，直到所述图片修复网络模型收敛，终止训练，得到训练后的图片修复网络模型。
进一步地，存储器130中的图片修复程序被处理器执行时还实现以下步骤：
计算所述生成图片与对应的高画质图片的像素之间的距离L1，得到内容损失参数；
计算所述生成图片与对应的高画质图片在使用Imagenet数据集预训练的vgg19上的特征之间的距离L2，得到感知损失参数。
进一步地，存储器130中的图片修复程序被处理器执行时还实现以下步骤：
对所述训练集中的图片进行预处理。
进一步地，存储器130中的图片修复程序被处理器执行时还实现以下步骤：
对所述训练集中的图片进行翻转、镜像、缩放操作。
进一步地，存储器130中的图片修复程序被处理器执行时还实现以下步骤：
通过图像质量评价算法及预先采集的测试集对所述图片修复网络模型的有效性进行验证。
进一步地，存储器130中的图片修复程序被处理器执行时还实现以下步骤：
收集预定数量的低画质图片以及对应的高画质图片，组成样本数据集；
将所述样本数据集划分为训练集和测试集，所述训练集和测试集均包括低画质图片数据集和对应的高画质图片数据集。
本实施例通过上述方案，具体通过获取待修复图片；将待修复图片输入预先创建的图片修复网络模型中进行修复，得到修复后的图片，其中，所述图片修复网络模型包括编码器、生成器和判别器，所述图片修复网络模型基于所述编码器、生成器和判别器训练得到。通过训练后的图片修复网络模型，可以解决老照片低画质修复问题，提升老照片的画质效果。基于本申请方案，从真实世界中低画质存在的图像退化规律出发，构建了一个真实世界的低画质和高画质老照片数据集，并在该数据集上验证了本申请提出的图片修复方法的有效性，最后经过本申请方法修复的老照片画质得到明显提升。
基于上述终端设备架构但不限于上述架构，提出本申请方法实施例。
参照图2，图2为本申请图片修复方法一示例性实施例的流程示意图。所述图片修复方法包括：
步骤S1001，获取待修复图片；
步骤S1002，将所述待修复图片输入预先创建的图片修复网络模型中进行修复，得到修复后的图片，其中，所述图片修复网络模型包括编码器、生成器和判别器，所述图片修复网络模型基于所述编码器、生成器和判别器训练得到。
本实施例方法的执行主体可以是一种图片修复装置，也可以是一种图片修复终端设备或服务器，本实施例以图片修复装置进行举例，该图片修复装置可以集成在具有数据处理功能的智能手机、平板电脑等终端设备上。
本实施例方案主要实现对图片尤其是低画质的老照片的修复，提升图片画质效果。
本实施例从修复老照片渣画质的实际问题出发，结合生成对抗网络在图像生成方面的能力和编码器对图片内容的保持能力，设计了一种基于编码器、生成对抗网络及判别器的老照片低画质修复网络。
本实施例采用图片修复网络模型来对图片进行修复，该图片修复网络模型的框架包括：编码器(Encoder)、生成器(Generator)和判别器(Discriminator)，该图片修复网络模型结构采取了Encoder+Generator+Discriminator的方式联合训练，网络整体的数据流如图3所示：
其中：LxS中“L”、“S”分别表示长度和宽度尺寸，LxS表示图片的长x宽，L/32表示长度尺寸缩小32倍，L/2表示长度尺寸缩小2倍，S/32表示宽度尺寸缩小32倍，S/2表示宽度尺寸缩小2倍，以此类推。
编码器用于对输入的图片进行编码，得到若干尺寸的特征图，输入至生成器；
生成器用于对输入的图片进行重建，得到生成图片，提供给判别器；
判别器用于对所述生成图片与对应的高画质图片数据集中的高画质图片进行判别，得到判别结果，结合判别结果训练所述图片修复网络模型。
其中，本实施例图片修复网络模型的网络结构设计时兼顾了生成器的生成优势和编码器的保持图像内容一致的优势，复用了编码器的特征图，将编码器的特征图和生成器对应大小的特征图相加，来实现生成器生成能力和编码器保持图片内容一致能力的统一。从而通过训练后的图片修复网络模型对图片进行修复，可以解决老照片低画质修复问题，提升老照片的画质效果。
参照图4，图4为本申请图片修复方法另一示例性实施例的流程示意图。基于上述图2所示的实施例，在本实施例中，在将所述待修复图片输入预先创建的图片修复网络模型中进行修复，得到修复后的图片的步骤之前，所述图片修复方法还包括：
步骤S1000，基于所述编码器、生成器和判别器训练得到所述图片修复网络模型。本实施例以步骤S1000在步骤S1001之前实施，在其他实施例中，步骤S1000也可以在步骤S1001与步骤S1002之间实施。
相比上述图2所示的实施例，本实施例还包括训练图片修复网络模型的方案。
具体地，基于所述编码器、生成器和判别器训练得到图片修复网络模型的步骤可以包括：
获取预先采集的训练集，所述训练集包括低画质图片数据集和对应的高画质图片数据集；
通过编码器对所述低画质图片数据集中的图片进行编码，得到若干尺寸的特征图；
通过生成器对所述特征图进行重建，得到生成图片；
通过判别器对所述生成图片与对应的高画质图片数据集中的高画质图片进行判别，得到判别结果，结合所述判别结果及预设的目标损失函数训练所述图片修复网络模型。
更为具体地，本实施例预先收集了若干数量的低画质图片以及对应的高画质图片，组成样本数据集；将样本数据集划分为训练集和测试集，所述训练集和测试集均包括低画质图片数据集和对应的高画质图片数据集，其中，训练集用于对图片修复网络模型进行训练，测试集用于对训练过的图片修复网络模型进行测试，以验证图片修复网络模型的图片修复效果。
在训练图片修复网络模型时，首先获取预先采集的训练集，所述训练集包括低画质图片数据集和对应的高画质图片数据集，低画质图片数据集中的低画质图片作为训练数据输入训练图片修复网络模型进行训练，高画质图片数据集中的高画质图片用于提供给判别器，对生成器重建的生成图片与对应的高画质图片数据集中的高画质图片进行判别，并结合目标损失函数对图片修复网络模型进行优化，最终训练完成图片修复网络模型。
然后，通过编码器对所述低画质图片数据集中的图片进行编码，得到若干尺寸的特征图；
低画质图片数据集中的低画质图片以批量的形式输入给编码器，编码器对图片图像进行编码，得到各种尺寸的特征图后输入生成器。
然后，通过生成器对所述特征图进行重建，得到生成图片；
生成器结合编码器输送的特征图重建输入的图片，最终生成图片，供判别器使用。
最后，通过判别器对所述生成图片与对应的高画质图片数据集中的高画质图片进行判别，得到判别结果，结合所述判别结果及预设的目标损失函数训练所述图片修复网络模型。
判别器依据生成器生成的图片和真实图片(即高画质图片数据集中的高画质图片)进行判别，得到的判别结果反馈给图片修复网络模型，并结合预设的目标损失函数进行循环迭代，训练所述图片修复网络模型，直至图片修复网络模型收敛，得到训练好的图片修复网络模型。
之后即可通过训练好的图片修复网络模型对低画质图片进行修复。
本实施例通过上述方案，具体通过在图片修复网络模型中配置编码器、生成器和判别器，获取预先采集的训练集，所述训练集包括低画质图片数据集和对应的高画质图片数据集；通过编码器对所述低画质图片数据集中的图片进行编码，得到若干尺寸的特征图；通过生成器对所述特征图进行重建，得到生成图片；通过判别器对所述生成图片与对应的高画质图片数据集中的高画质图片进行判别，得到判别结果，结合所述判别结果及预设的目标损失函数训练所述图片修复网络模型；通过训练好的图片修复网络模型对输入的低画质图片进行修复。从而通过训练后的图片修复网络模型，可以解决老照片低画质修复问题，提升老照片的画质效果。
进一步地，所述通过判别器对所述生成图片与对应的高画质图片数据集中的高画质图片进行判别，得到判别结果，结合所述判别结果及预设的目标损失函数训练所述图片修复网络模型的步骤包括：
通过判别器对所述生成图片与对应的高画质图片数据集中的高画质图片进行判别，得到判别结果，根据所述判别结果得到所述生成图片相对对应的高画质图片的生成对抗损失参数；
计算所述生成图片相对对应的高画质图片的内容损失参数及感知损失参数；
将所述生成图片相对对应的高画质图片的生成对抗损失参数、内容损失参数及感知损失参数，带入预设的目标损失函数计算得到所述生成图片相对对应的高画质图片的总目标损失参数；
将所述总目标损失参数回传到所述图片修复网络模型，对所述编码器、生成器以及判别器的网络参数进行更新；并返回执行步骤：通过编码器对所述低画质图片数据集中的图片进行编码，得到若干尺寸的特征图；
以此循环，进行参数迭代，直到所述图片修复网络模型收敛，终止训练，得到训练后的图片修复网络模型。
其中，所述总目标损失参数通过生成对抗损失参数、内容损失参数及感知损失参数以不同权重组合来优化所述图片修复网络模型。
其中，判别器对所述生成图片与对应的高画质图片数据集中的高画质图片进行判别，得到判别结果，根据所述判别结果得到所述生成图片相对对应的高画质图片的生成对抗损失参数；
进一步地，还需计算所述生成图片相对对应的高画质图片的内容损失参数及感知损失参数；
具体计算过程如下：
计算所述生成图片与对应的高画质图片的像素之间的距离L1，得到内容损失参数；
计算所述生成图片与对应的高画质图片在使用Imagenet数据集预训练的VGG19上的特征之间的距离L2，得到感知损失参数。
即计算生成图片与对应的高画质图片在使用Imagenet数据集预训练的VGG19模型上的特征之间的距离，Imagenet VGG19模型是基于Imagenet数据集预训练进行图像识别的模型。
然后，将生成图片相对对应的高画质图片的生成对抗损失参数、内容损失参数及感知损失参数，带入预设的目标损失函数计算得到所述生成图片相对对应的高画质图片的总目标损失参数。
本实施例通过上述方案，具体通过在图片修复网络模型中配置编码器、生成器和判别器，获取预先采集的训练集，所述训练集包括低画质图片数据集和对应的高画质图片数据集；通过编码器对所述低画质图片数据集中的图片进行编码，得到若干尺寸的特征图；通过生成器对所述特征图进行重建，得到生成图片；通过判别器对所述生成图片与对应的高画质图片数据集中的高画质图片进行判别，得到判别结果，结合所述判别结果及预设的目标损失函数训练所述图片修复网络模型，通过训练好的图片修复网络模型对输入的低画质图片进行修复。从而通过训练后的图片修复网络模型，可以解决老照片低画质修复问题，提升老照片的画质效果。基于本申请方案，从真实世界中低画质存在的图像退化规律出发，构建了一个真实世界的低画质和高画质老照片数据集，并在该数据集上验证了本申请提出的图片修复方法的有效性，最后经过本申请方法修复的老照片画质得到明显提升。
进一步地，在上述方案中，在获取预先采集的训练集之后，还可以对所述训练集中的图片进行预处理。其中，对所述训练集中的图片进行预处理包括：对所述训练集中的图片进行翻转、镜像、缩放等操作。
通过预处理后的低画质图片数据集中的低画质图片作为训练数据输入训练图片修复网络模型进行训练，高画质图片数据集中的高画质图片用于提供给判别器，对生成器重建的生成图片与对应的高画质图片数据集中的高画质图片进行判别，并结合目标损失函数对图片修复网络模型进行优化，最终训练完成图片修复网络模型。其中，高画质图片数据集中的高画质图片在提供给判别器之前，也需要进行翻转、镜像、缩放等预处理操作。
通过预处理操作，可以提升图片处理的有效性，提升图片修复模型的性能和效率。
进一步地，还可以通过图像质量评价算法及预先采集的测试集对所述图片修复网络模型的有效性进行验证。
如前所述，本实施例预先收集了若干数量的低画质图片以及对应的高画质图片，组成样本数据集；将样本数据集划分为训练集和测试集，所述训练集和测试集均包括低画质图片数据集和对应的高画质图片数据集，其中，训练集用于对图片修复网络模型进行训练，测试集用于对训练过的图片修复网络模型进行测试，以验证图片修复网络模型的图片修复效果。
其中，测试集中同样包括低画质图片数据集和对应的高画质图片数据集，低画质图片数据集中的低画质图片输入训练好的图片修复模型中进行修复，将经过图片修复模型修复后的图片与测试集中对应的高画质图片数据集的高画质图片进行比对，以验证图片修复网络模型的图片修复效果。
相比现有技术，本实施例方案，提出一种新的老照片低画质修复方法，并从真实世界中低画质存在的图像退化规律出发，构建了一个真实世界的低画质和高画质老照片数据集，并在该数据集上验证了提出的算法的有效性，最后经过算法修复的老照片画质得到明显提升。
如图5所示，图5是本发明图片修复方法涉及的图片修复网络模型的一种训练流程示意图。所述图片修复网络模型包括编码器、生成器和判别器，所述图片修复网络模型训练流程包括：
步骤S101，获取预先采集的训练集；所述训练集包括低画质图片数据集和对应的高画质图片数据集；
步骤S120，基于所述训练集，以及所述编码器、生成器和判别器训练得到图片修复网络模型。
具体地，本实施例采用图片修复网络模型来对图片进行修复，该图片修复网络模型的框架包括：编码器(Encoder)、生成器(Generator)和判别器(Discriminator)，该图片修复网络模型结构采取了Encoder+Generator+Discriminator的方式联合训练，网络整体的数据流如图3所示：
其中：LxS中“L”、“S”分别表示长度和宽度尺寸，LxS表示图片的长x宽，L/32表示长度尺寸缩小32倍，L/2表示长度尺寸缩小2倍，S/32表示宽度尺寸缩小32倍，S/2表示宽度尺寸缩小2倍，以此类推。
编码器用于对输入的图片进行编码，得到若干尺寸的特征图，输入至生成器；
生成器用于对输入的图片进行重建，得到生成图片，提供给判别器；
判别器用于对所述生成图片与对应的高画质图片数据集中的高画质图片进行判别，得到判别结果，结合判别结果及预设的目标损失函数训练所述图片修复网络模型。
具体地，本实施例预先收集了若干数量的低画质图片以及对应的高画质图片，组成样本数据集；将样本数据集划分为训练集和测试集，所述训练集和测试集均包括低画质图片数据集和对应的高画质图片数据集，其中，训练集用于对图片修复网络模型进行训练，测试集用于对训练过的图片修复网络模型进行测试，以验证图片修复网络模型的图片修复效果。
在训练图片修复网络模型时，首先获取预先采集的训练集，所述训练集包括低画质图片数据集和对应的高画质图片数据集，低画质图片数据集中的低画质图片作为训练数据输入训练图片修复网络模型进行训练，高画质图片数据集中的高画质图片用于提供给判别器，对生成器重建的生成图片与对应的高画质图片数据集中的高画质图片进行判别，并结合目标损失函数对图片修复网络模型进行优化，最终训练完成图片修复网络模型。
其中，本实施例图片修复网络模型的网络结构设计时兼顾了生成器的生成优势和编码器的保持图像内容一致的优势，复用了编码器的特征图，将编码器的特征图和生成器对应大小的特征图相加，来实现生成器生成能力和编码器保持图片内容一致能力的统一。从而通过训练后的图片修复网络模型对图片进行修复，可以解决老照片低画质修复问题，提升老照片的画质效果。
进一步，如图6所示，上述步骤S120，基于所述训练集，以及所述编码器、生成器和判别器训练得到图片修复网络模型可以包括：步骤S102，通过编码器对所述低画质图片数据集中的图片进行编码，得到若干尺寸的特征图；
低画质图片数据集中的低画质图片以批量的形式输入给编码器，编码器对图片图像进行编码，得到各种尺寸的特征图后输入生成器。
步骤S103，通过生成器对所述特征图进行重建，得到生成图片；
生成器结合编码器输送的特征图重建输入的图片，最终生成图片，供判别器使用。
步骤S104，通过判别器对所述生成图片与对应的高画质图片数据集中的高画质图片进行判别，得到判别结果，结合所述判别结果及预设的目标损失函数训练所述图片修复网络模型。
判别器依据生成器生成的图片和真实图片(即高画质图片数据集中的高画质图片)进行判别，得到的判别结果反馈给图片修复网络模型，并结合预设的目标损失函数进行循环迭代，训练所述图片修复网络模型，直至图片修复网络模型收敛，得到训练好的图片修复网络模型。
之后即可通过训练好的图片修复网络模型对低画质图片进行修复。
本实施例通过上述方案，具体通过在图片修复网络模型中配置编码器、生成器和判别器，获取预先采集的训练集，所述训练集包括低画质图片数据集和对应的高画质图片数据集；通过编码器对所述低画质图片数据集中的图片进行编码，得到若干尺寸的特征图；通过生成器对所述特征图进行重建，得到生成图片；通过判别器对所述生成图片与对应的高画质图片数据集中的高画质图片进行判别，得到判别结果，结合所述判别结果及预设的目标损失函数训练所述图片修复网络模型。通过训练后的图片修复网络模型，可以解决老照片低画质修复问题，提升老照片的画质效果。
进一步地，参照图7，上述步骤S104，通过判别器对所述生成图片与对应的高画质图片数据集中的高画质图片进行判别，得到判别结果，结合所述判别结果及预设的目标损失函数训练所述图片修复网络模型可以包括：
步骤S1041，通过判别器对所述生成图片与对应的高画质图片数据集中的高画质图片进行判别，得到判别结果，根据所述判别结果得到所述生成图片相对对应的高画质图片的生成对抗损失参数；
步骤S1042，计算所述生成图片相对对应的高画质图片的内容损失参数及感知损失参数；
步骤S1043，将所述生成图片相对对应的高画质图片的生成对抗损失参数、内容损失参数及感知损失参数，带入预设的目标损失函数计算得到所述生成图片相对对应的高画质图片的总目标损失参数；
步骤S1044，将所述总目标损失参数回传到所述图片修复网络模型，对所述编码器、生成器以及判别器的网络参数进行更新；并返回执行步骤S102：通过编码器对所述低画质图片数据集中的图片进行编码，得到若干尺寸的特征图；
步骤S1045，以此循环，重复上述步骤进行参数迭代，直到所述图片修复网络模型收敛，终止训练，得到训练后的图片修复网络模型。
具体地，在本实施例中，首先获取预先采集的训练集，所述训练集包括低画质图片数据集和对应的高画质图片数据集。
本实施例图片修复网络模型的网络结构设计时兼顾了生成器(Generator)的生成优势和编码器(Encoder)的保持图像内容一致的优势，复用了编码器的特征图，将编码器的特征图和生成器对应大小的特征图相加，来实现生成器生成能力和编码器保持图片内容一致能力的统一。具体的网络结构如图8所示，低画质图片数据集中的低画质图片以批量的形式输入给编码器，编码器对图片图像进行编码，得到各种尺寸的特征图后输入生成器。
以图8所示的网络结构为例，其中，编码器对图片图像进行编码，得到各种尺寸的特征图包括：LxS、L/2xS/2、L/4xS/4、L/8xS/8、L/16xS/16、L/32xS/32。
生成器结合编码器输送的特征图重建输入的图片，最终生成图片，供判别器使用。
本实施例图片修复网络模型的网络结构设计时兼顾了生成器(Generator)的生成优势和编码器(Encoder)的保持图像内容一致的优势，复用了编码器的特征图，在生成器中，生成器对编码器输送的特征图进行重建得到生成图片的过程包括：将编码器的特征图和生成器对应大小的特征图相加，来实现生成器生成能力和编码器保持图片内容一致能力的统一。如图8所示，在生成器中，将编码器输入的各种尺寸的特征图：LxS、L/2xS/2、L/4xS/4、L/8xS/8、L/16xS/16、L/32xS/32，对应与编码器中的各种尺寸的特征图：LxS、L/2xS/2、L/4xS/4、L/8xS/8、L/16xS/16、L/32xS/32相加，重建输入的图片，最终生成图片，供判别器使用，来实现生成器生成能力和编码器保持图片内容一致能力的统一。
此外，在本实施例中，结合判别器及预设的目标损失函数训练图片修复网络模型，其中，总目标损失参数通过生成对抗损失参数、内容损失参数及感知损失参数以不同权重组合来优化图片修复网络模型。
其中，判别器对所述生成图片与对应的高画质图片数据集中的高画质图片进行判别，得到判别结果，根据所述判别结果得到所述生成图片相对对应的高画质图片的生成对抗损失参数；
进一步地，还需计算所述生成图片相对对应的高画质图片的内容损失参数及感知损失参数；
具体计算过程如下：
计算所述生成图片与对应的高画质图片的像素之间的距离L1，得到内容损失参数；
计算所述生成图片与对应的高画质图片在使用Imagenet数据集预训练的VGG19上的特征之间的距离L2，得到感知损失参数。
即计算生成图片与对应的高画质图片在使用Imagenet数据集预训练的VGG19模型上的特征之间的距离，Imagenet VGG19模型是基于Imagenet数据集预训练进行图像识别的模型。
然后，将生成图片相对对应的高画质图片的生成对抗损失参数、内容损失参数及感知损失参数，带入预设的目标损失函数计算得到所述生成图片相对对应的高画质图片的总目标损失参数。
具体地，由于本实施例图片修复算法的目的是修复低画质的老照片，同时修复后的结果还应要与原图片的内容保持一致的要求，本实施例设计了以下目标函数来进行优化，如公式1所示，可以采用如下目标函数计算总目标损失参数：
Ltotal＝α*Lgan+β*Lcontent+λ*Lpercertual (1)
其中，Ltotal为总目标损失参数，总的目标函数由3种损失函数(或称损失参数)不同权重组合来优化网络模型；
Lgan为生成对抗损失参数(Gan loss)：本算法采用wgan-gp的策略来训练网络模型；
WGAN-GP是基于WGAN提出的改进方案，因为WGAN虽然降低了GAN的训练难度，但在一些设定下仍然难以收敛，并且生成图片效果相对较差，WGAN-GP根据判别器的输入后向计算出权重梯度，并针对梯度的范数进行惩罚，解决了上述问题。
相比较WGAN，WGAN-GP不再使用clip野蛮的剪裁鉴别网络的梯度值，而是使用梯度惩罚来使梯度更新平滑，即满足1-lipschitz条件，解决了训练梯度消失梯度爆炸的问题。
Lcontent为内容损失参数(Content loss)：计算了生成图片与其对应的高画质图片的像素点之间的距离L1，这一损失能够引导网络模型迅速收敛，同时保持生成图片和原图片内容相似；
LPercertual为感知损失参数(Percertual loss)：计算生成图片与对应的高画质图片在使用Imagenet数据集预训练的VGG19上的特征之间的距离L2。
其中，α、β、λ分别为生成对抗损失参数、内容损失参数及感知损失参数三种损失参数的权重系数，其取值可以根据经验值设置。
通过上述公式可知，在本实施例中，总目标损失参数通过生成对抗损失参数、内容损失参数及感知损失参数以不同权重组合来优化图片修复网络模型。
最后，将所述总目标损失参数回传到所述图片修复网络模型，对所述编码器、生成器以及判别器的网络参数进行更新；并返回执行步骤：通过编码器对所述低画质图片数据集中的图片进行编码，得到若干尺寸的特征图；
以此循环，重复上述步骤进行参数迭代，直到所述图片修复网络模型收敛，终止训练，得到训练后的图片修复网络模型。
本实施例通过上述方案，具体通过在图片修复网络模型中配置编码器、生成器和判别器，获取预先采集的训练集，所述训练集包括低画质图片数据集和对应的高画质图片数据集；通过编码器对所述低画质图片数据集中的图片进行编码，得到若干尺寸的特征图；通过生成器对所述特征图进行重建，得到生成图片；通过判别器对所述生成图片与对应的高画质图片数据集中的高画质图片进行判别，得到判别结果，结合所述判别结果及预设的目标损失函数训练所述图片修复网络模型。通过训练后的图片修复网络模型对图片进行修复，可以解决老照片低画质修复问题，提升老照片的画质效果。基于本申请方案，从真实世界中低画质存在的图像退化规律出发，构建了一个真实世界的低画质和高画质老照片数据集，并在该数据集上验证了本申请提出的图片修复方法的有效性，最后经过本申请方法修复的老照片画质得到明显提升。
进一步地，参照图9，在上述步骤S101，获取预先采集的训练集，所述训练集包括低画质图片数据集和对应的高画质图片数据集之后，还可以包括：
步骤S100，对所述训练集中的图片进行预处理。
具体地，在本实施例中，首先获取预先采集的训练集，所述训练集包括低画质图片数据集和对应的高画质图片数据集。
然后，对所述训练集中的图片进行预处理，其中，对所述训练集中的图片进行预处理包括：对所述训练集中的图片进行翻转、镜像、缩放等操作。
通过预处理后的低画质图片数据集中的低画质图片作为训练数据输入训练图片修复网络模型进行训练，高画质图片数据集中的高画质图片用于提供给判别器，对生成器重建的生成图片与对应的高画质图片数据集中的高画质图片进行判别，并结合目标损失函数对图片修复网络模型进行优化，最终训练完成图片修复网络模型。其中，高画质图片数据集中的高画质图片在提供给判别器之前，也需要进行翻转、镜像、缩放等预处理操作。
通过预处理操作，可以提升图片处理的有效性，提升图片修复模型的性能和效率。
本实施例通过上述方案，具体通过在图片修复网络模型中配置编码器、生成器和判别器，获取预先采集的训练集，所述训练集包括低画质图片数据集和对应的高画质图片数据集；对所述训练集中的图片进行预处理；通过编码器对预处理后的低画质图片数据集中的图片进行编码，得到若干尺寸的特征图；通过生成器对所述特征图进行重建，得到生成图片；通过判别器对所述生成图片与对应的高画质图片数据集中的高画质图片进行判别，得到判别结果，结合所述判别结果及预设的目标损失函数训练所述图片修复网络模型。通过训练后的图片修复网络模型，可以解决老照片低画质修复问题，提升老照片的画质效果；而且通过对图片进行预处理操作，可以提升图片处理的有效性，提升图片修复模型的性能和效率。基于本申请方案，从真实世界中低画质存在的图像退化规律出发，构建了一个真实世界的低画质和高画质老照片数据集，并在该数据集上验证了本申请提出的图片修复方法的有效性，最后经过本申请方法修复的老照片画质得到明显提升。
进一步地，参照图10，图10为本申请图片修复方法实施例涉及的图片修复网络模型的另一种训练流程示意图。在本实施例中，图片修复网络模型的训练流程还包括：
步骤S105，通过图像质量评价算法及预先采集的测试集对所述图片修复网络模型的有效性进行验证。
具体地，如前所述，本实施例预先收集了若干数量的低画质图片以及对应的高画质图片，组成样本数据集；将样本数据集划分为训练集和测试集，所述训练集和测试集均包括低画质图片数据集和对应的高画质图片数据集，其中，训练集用于对图片修复网络模型进行训练，测试集用于对训练过的图片修复网络模型进行测试，以验证图片修复网络模型的图片修复效果。
其中，测试集中同样包括低画质图片数据集和对应的高画质图片数据集，低画质图片数据集中的低画质图片输入训练好的图片修复模型中进行修复，将经过图片修复模型修复后的图片与测试集中对应的高画质图片数据集的高画质图片进行比对，以验证图片修复网络模型的图片修复效果。
在实际应用中，采用本申请实施例的图片修复方法来对预定数量的老照片进行低画质修复，图片基本都有一定的修复效果，抽取其中的部分结果展示如图11及图12所示，图11是修复前的低画质老照片示意图，图12是修复后的高画质照片示意图。
基于图11及图12，对比原图和修复之后的结果图，可以看出经过修复之后的图像更清晰。
在本实施例中，使用图像质量评价算法BRISQUE算法来对147张修复前后的图片进行了批量评价打分。
其中，BRISQUE的意思是Blind/Referenceless Image Spatial QUalityEvaluator，一种无参考的空间域图像质量评估算法。算法总体原理就是从图像中提取MSCN系数(Mean Subtracted Contrast Normalized coefficients，平均减去对比度归一化系数)，将MSCN系数拟合成非对称性广义高斯分布(AGGD，Asymmetric Generalized GaussianDistribution)，提取拟合的高斯分布的特征，输入到支持向量机SVM中做回归，从而得到图像质量的评估结果。
在评测过程中，为了排除图像分辨率带来的影响，将所有测试图片统一到一个大小，评价结果如下表一所示(得分越小，该算法判断图像质量越好)：
表一：老照片修复算法得分结果前后对比
本实施例通过上述方案，具体通过在图片修复网络模型中配置编码器、生成器和判别器，获取预先采集的训练集，所述训练集包括低画质图片数据集和对应的高画质图片数据集；对所述训练集中的图片进行预处理；通过编码器对预处理后的低画质图片数据集中的图片进行编码，得到若干尺寸的特征图；通过生成器对所述特征图进行重建，得到生成图片；通过判别器对所述生成图片与对应的高画质图片数据集中的高画质图片进行判别，得到判别结果，结合所述判别结果及预设的目标损失函数训练所述图片修复网络模型。通过训练后的图片修复网络模型，可以解决老照片低画质修复问题，提升老照片的画质效果；而且通过对图片进行预处理操作，可以提升图片处理的有效性，提升图片修复模型的性能和效率。
而且相比现有技术，本实施例方案，提出一种新的老照片低画质修复方法，并从真实世界中低画质存在的图像退化规律出发，构建了一个真实世界的低画质和高画质老照片数据集，并在该数据集上验证了提出的算法的有效性，最后经过算法修复的老照片画质得到明显提升。
此外，本申请实施例还提出一种图片修复装置，所述图片修复装置包括：
图片获取模块，用于获取待修复图片；
图片修复模块，用于将所述待修复图片输入预先创建的图片修复网络模型中进行修复，得到修复后的图片，其中，所述图片修复网络模型包括编码器、生成器和判别器，所述图片修复网络模型基于所述编码器、生成器和判别器训练得到。
进一步地，所述图片修复装置还包括：
模型训练模块，用于基于所述编码器、生成器和判别器训练得到所述图片修复网络模型。
本实施例实现图片修复的原理及实施过程，请参照上述各实施例，在此不再赘述。
此外，本申请实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图片修复程序，所述图片修复程序被所述处理器执行时实现如上所述的图片修复方法的步骤。
由于本图片修复程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
此外，本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有图片修复程序，所述图片修复程序被处理器执行时实现如上所述的图片修复方法的步骤。
由于本图片修复程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
相比现有技术，本申请实施例提出的图片修复方法、装置、终端设备以及存储介质，通过获取待修复图片；将待修复图片输入预先创建的图片修复网络模型中进行修复，得到修复后的图片，其中，所述图片修复网络模型包括编码器、生成器和判别器，所述图片修复网络模型基于所述编码器、生成器和判别器训练得到。通过训练后的图片修复网络模型对图片进行修复，可以解决老照片低画质修复问题，提升老照片的画质效果。基于本申请方案，从真实世界中低画质存在的图像退化规律出发，构建了一个真实世界的低画质和高画质老照片数据集，并在该数据集上验证了本申请提出的图片修复方法的有效性，最后经过本申请方法修复的老照片画质得到明显提升。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本申请每个实施例的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (14)
1.一种图片修复方法，其特征在于，所述图片修复方法包括：获取待修复图片；
将所述待修复图片输入预先创建的图片修复网络模型中进行修复，得到修复后的图片，其中，所述图片修复网络模型包括编码器、生成器和判别器，所述图片修复网络模型基于所述编码器、生成器和判别器训练得到。
2.根据权利要求1所述的图片修复方法，其特征在于，所述将所述待修复图片输入预先创建的图片修复网络模型中进行修复，得到修复后的图片的步骤之前还包括：
基于所述编码器、生成器和判别器训练得到所述图片修复网络模型。
3.根据权利要求2所述的图片修复方法，其特征在于，所述基于所述编码器、生成器和判别器训练得到图片修复网络模型的步骤包括：
获取预先采集的训练集，所述训练集包括低画质图片数据集和对应的高画质图片数据集；
通过编码器对所述低画质图片数据集中的图片进行编码，得到若干尺寸的特征图；
通过生成器对所述特征图进行重建，得到生成图片；
通过判别器对所述生成图片与对应的高画质图片数据集中的高画质图片进行判别，得到判别结果，结合所述判别结果及预设的目标损失函数训练所述图片修复网络模型。
4.根据权利要求3所述的图片修复方法，其特征在于，所述通过判别器对所述生成图片与对应的高画质图片数据集中的高画质图片进行判别，得到判别结果，结合所述判别结果及预设的目标损失函数训练所述图片修复网络模型的步骤包括：
通过判别器对所述生成图片与对应的高画质图片数据集中的高画质图片进行判别，得到判别结果，根据所述判别结果得到所述生成图片相对对应的高画质图片的生成对抗损失参数；
计算所述生成图片相对对应的高画质图片的内容损失参数及感知损失参数；
将所述生成图片相对对应的高画质图片的生成对抗损失参数、内容损失参数及感知损失参数，带入预设的目标损失函数计算得到所述生成图片相对对应的高画质图片的总目标损失参数；
将所述总目标损失参数回传到所述图片修复网络模型，对所述编码器、生成器以及判别器的网络参数进行更新；并返回执行步骤：通过编码器对所述低画质图片数据集中的图片进行编码，得到若干尺寸的特征图；
以此循环，进行参数迭代，直到所述图片修复网络模型收敛，终止训练，得到训练后的图片修复网络模型。
5.根据权利要求4所述的图片修复方法，其特征在于，所述总目标损失参数通过生成对抗损失参数、内容损失参数及感知损失参数以不同权重组合来优化所述图片修复网络模型。
6.根据权利要求4所述的图片修复方法，其特征在于，所述计算所述生成图片相对对应的高画质图片的内容损失参数及感知损失参数的步骤包括：
计算所述生成图片与对应的高画质图片的像素之间的距离L1，得到内容损失参数；
计算所述生成图片与对应的高画质图片在使用图像识别数据库Imagenet数据集预训练的视觉几何组VGG19上的特征之间的距离L2，得到感知损失参数。
7.根据权利要求3所述的图片修复方法，其特征在于，所述获取预先采集的训练集，所述训练集包括低画质图片数据集和对应的高画质图片数据集的步骤之后，还包括：
对所述训练集中的图片进行预处理。
8.根据权利要求7所述的图片修复方法，其特征在于，所述对所述训练集中的图片进行预处理的步骤包括：
对所述训练集中的图片进行翻转、镜像、缩放操作。
9.根据权利要求3-8中任一项所述的图片修复方法，其特征在于，所述图片修复方法还包括：
通过图像质量评价算法及预先采集的测试集对所述图片修复网络模型的有效性进行验证。
10.根据权利要求9所述的图片修复方法，其特征在于，所述获取预先采集的训练集，所述训练集包括低画质图片数据集和对应的高画质图片数据集的步骤之前还包括：
收集预定数量的低画质图片以及对应的高画质图片，组成样本数据集；
将所述样本数据集划分为训练集和测试集，所述训练集和测试集均包括低画质图片数据集和对应的高画质图片数据集。
11.一种图片修复装置，其特征在于，所述图片修复装置包括：
图片获取模块，用于获取待修复图片；
图片修复模块，用于将所述待修复图片输入预先创建的图片修复网络模型中进行修复，得到修复后的图片，其中，所述图片修复网络模型包括编码器、生成器和判别器，所述图片修复网络模型基于所述编码器、生成器和判别器训练得到。
12.根据权利要求11所述的图片修复装置，其特征在于，所述图片修复装置还包括：
模型训练模块，用于基于所述编码器、生成器和判别器训练得到所述图片修复网络模型。
13.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图片修复程序，所述图片修复程序被所述处理器执行时实现如权利要求1-10中任一项所述的图片修复方法的步骤。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图片修复程序，所述图片修复程序被处理器执行时实现如权利要求1-10中任一项所述的图片修复方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010502508.7A CN111681182A (zh) | 2020-06-04 | 2020-06-04 | 图片修复方法、装置、终端设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010502508.7A CN111681182A (zh) | 2020-06-04 | 2020-06-04 | 图片修复方法、装置、终端设备以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111681182A true CN111681182A (zh) | 2020-09-18 |
Family
ID=72453944
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010502508.7A Pending CN111681182A (zh) | 2020-06-04 | 2020-06-04 | 图片修复方法、装置、终端设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111681182A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112686822A (zh) * | 2020-12-30 | 2021-04-20 | 成都信息工程大学 | 一种基于堆叠生成对抗网络的图像补全方法 |
| CN113034393A (zh) * | 2021-03-25 | 2021-06-25 | 北京百度网讯科技有限公司 | 照片修复方法、装置、设备以及存储介质 |
| CN113139915A (zh) * | 2021-04-13 | 2021-07-20 | Oppo广东移动通信有限公司 | 人像修复模型的训练方法和装置、电子设备 |
| CN113160079A (zh) * | 2021-04-13 | 2021-07-23 | Oppo广东移动通信有限公司 | 人像修复模型的训练方法、人像修复方法和装置 |
| CN115147501A (zh) * | 2022-09-05 | 2022-10-04 | 深圳市明源云科技有限公司 | 图片解压方法、装置、终端设备以及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109871888A (zh) * | 2019-01-30 | 2019-06-11 | 中国地质大学（武汉） | 一种基于胶囊网络的图像生成方法及系统 |
| CN110020996A (zh) * | 2019-03-18 | 2019-07-16 | 浙江传媒学院 | 一种基于先验知识约束的图像修复方法、系统以及计算机设备 |
| CN110348330A (zh) * | 2019-06-24 | 2019-10-18 | 电子科技大学 | 基于vae-acgan的人脸姿态虚拟视图生成方法 |
| CN110599411A (zh) * | 2019-08-08 | 2019-12-20 | 中国地质大学（武汉） | 一种基于条件生成对抗网络的图像修复方法及系统 |
| CN111161200A (zh) * | 2019-12-22 | 2020-05-15 | 天津大学 | 基于注意力机制的人体姿态迁移方法 |
-
2020
- 2020-06-04 CN CN202010502508.7A patent/CN111681182A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109871888A (zh) * | 2019-01-30 | 2019-06-11 | 中国地质大学（武汉） | 一种基于胶囊网络的图像生成方法及系统 |
| CN110020996A (zh) * | 2019-03-18 | 2019-07-16 | 浙江传媒学院 | 一种基于先验知识约束的图像修复方法、系统以及计算机设备 |
| CN110348330A (zh) * | 2019-06-24 | 2019-10-18 | 电子科技大学 | 基于vae-acgan的人脸姿态虚拟视图生成方法 |
| CN110599411A (zh) * | 2019-08-08 | 2019-12-20 | 中国地质大学（武汉） | 一种基于条件生成对抗网络的图像修复方法及系统 |
| CN111161200A (zh) * | 2019-12-22 | 2020-05-15 | 天津大学 | 基于注意力机制的人体姿态迁移方法 |
Non-Patent Citations (2)
| Title |
|---|
| ZHAOYI YAN 等: ""Shift-Net: Image Inpainting via Deep Feature Rearrangement"", 《COMPUTER VISION – ECCV 2018》, pages 1 - 17 * |
| 李雷达: "图像质量评价中的特征提取方法与应用", 中国矿业大学出版社 , pages: 33 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112686822A (zh) * | 2020-12-30 | 2021-04-20 | 成都信息工程大学 | 一种基于堆叠生成对抗网络的图像补全方法 |
| CN113034393A (zh) * | 2021-03-25 | 2021-06-25 | 北京百度网讯科技有限公司 | 照片修复方法、装置、设备以及存储介质 |
| CN113139915A (zh) * | 2021-04-13 | 2021-07-20 | Oppo广东移动通信有限公司 | 人像修复模型的训练方法和装置、电子设备 |
| CN113160079A (zh) * | 2021-04-13 | 2021-07-23 | Oppo广东移动通信有限公司 | 人像修复模型的训练方法、人像修复方法和装置 |
| CN115147501A (zh) * | 2022-09-05 | 2022-10-04 | 深圳市明源云科技有限公司 | 图片解压方法、装置、终端设备以及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yeh et al. | Multi-scale deep residual learning-based single image haze removal via image decomposition | |
| CN111681182A (zh) | 图片修复方法、装置、终端设备以及存储介质 | |
| CN109409222B (zh) | 一种基于移动端的多视角人脸表情识别方法 | |
| Xu et al. | Inter/intra-category discriminative features for aerial image classification: A quality-aware selection model | |
| Turhan et al. | Recent trends in deep generative models: a review | |
| Shi et al. | Textural features for steganalysis | |
| Cho | Boltzmann machines and denoising autoencoders for image denoising | |
| CN109558811B (zh) | 一种基于运动前景关注及非监督的关键帧提取的动作识别方法 | |
| CN107679572B (zh) | 一种图像判别方法、存储设备及移动终端 | |
| KR101890538B1 (ko) | 영상 변환 방법 및 장치 | |
| Chen et al. | No-reference image quality assessment: An attention driven approach | |
| CN112836602B (zh) | 基于时空特征融合的行为识别方法、装置、设备及介质 | |
| CN112733929A (zh) | 一种改进Yolo水下图像小目标和遮挡目标的检测方法 | |
| CN110543832A (zh) | 基于随机森林和卷积神经网络的脑电数据分类方法 | |
| CN112257738A (zh) | 机器学习模型的训练方法、装置和图像的分类方法、装置 | |
| JP2022075621A (ja) | 畳み込みニューラルネットワークをトレーニングするための方法およびシステム | |
| Salem et al. | Semantic image inpainting using self-learning encoder-decoder and adversarial loss | |
| Pires et al. | Image denoising using attention-residual convolutional neural networks | |
| CN114882278A (zh) | 一种基于注意力机制和迁移学习的轮胎花纹分类方法和装置 | |
| CN111144425A (zh) | 检测拍屏图片的方法、装置、电子设备及存储介质 | |
| CN111860056A (zh) | 基于眨眼的活体检测方法、装置、可读存储介质及设备 | |
| Li | Parallel two-class 3D-CNN classifiers for video classification | |
| CN115358952B (zh) | 一种基于元学习的图像增强方法、系统、设备和存储介质 | |
| CN115272660A (zh) | 一种基于双流神经网络的唇语识别方法及系统 | |
| CN111598157B (zh) | 一种基于vgg16网络层级优化的身份证图像分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |