CN110020996A - 一种基于先验知识约束的图像修复方法、系统以及计算机设备 - Google Patents
一种基于先验知识约束的图像修复方法、系统以及计算机设备 Download PDFInfo
- Publication number
- CN110020996A CN110020996A CN201910203663.6A CN201910203663A CN110020996A CN 110020996 A CN110020996 A CN 110020996A CN 201910203663 A CN201910203663 A CN 201910203663A CN 110020996 A CN110020996 A CN 110020996A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- content
- constraint
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000008439 repair process Effects 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 56
- 238000005457 optimization Methods 0.000 claims abstract description 15
- 238000010276 construction Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 2
- 230000004069 differentiation Effects 0.000 claims 1
- 238000003062 neural network model Methods 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 7
- 230000008447 perception Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010052143 Ocular discomfort Diseases 0.000 description 1
- 241000679046 Teleas Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000010189 synthetic method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G06T5/77—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Image Analysis (AREA)
Abstract
本申请涉及一种基于先验知识约束的图像修复方法、系统以及计算机设备，其中图像修复方法，包括：构建缺失内容生成网络，所述缺失内容生成网络包括用于接收带有缺失区域的图像并输出修复后图像的生成器，以及用于在训练所述缺失内容生成网络时识别训练结果的判别器；构建内容约束网络，所述内容约束网络用于提供所述生成器输出修复后图像的约束条件；利用指定领域的数据集训练所述缺失内容生成网络；基于训练后的缺失内容生成网络且以条件网络作为约束通过反向传播进行迭代优化，得到隐变量；将带有缺失区域的图像输入训练后的缺失内容生成网络，结合该缺失内容生成网络的隐变量求出修复后图像。
Description
技术领域
本文涉及图像修复技术领域，具体涉及一种基于先验知识约束的图像修复方法、系统以及计算机设备。
背景技术
图像修复技术作为数字图像处理领域一个比较大且热门的研究方向在国内外都受到了很大的关注，这一概念最早是由Beralmio等人]在2000年的Siggraph会议上提出的，图像修复概念的提出是受到了以往手工修补艺术图像的启发，至今已经有将近二十年的发展历程。Beralmio等人的缺点也较为明显，运算量大且没有考虑图像修复的完整性，修复效果相对较差。Telea在Bertalmio的基础上提出了一种快速行进算法(Fast MarchingMethod,FMM),Chan提出了一种利用欧拉-拉格朗日(Euler-Lagrange)方程和各向异性扩散的方式来保持等照度线方向的方法，称之为整体变分(total variation,TV)。为了满足视觉连通性，Chan等人对TV模型进行改进，提出基于曲率扩散(Curvature-DrivenDiffusion,CDD)的修复模型。相关算法还有，Tasi]提出的Mumford-Shah模型，Chan等人提出的Euler’s Elastica模型，Esedoglu S]等人提出的Mumford-Shah-Euler模型。基于纹理合成的图像修复算法起源于Efros]等人提出一种用于纹理合成的非参数方法。Bertalmio等人]将图像分解成两个部分：结构子图和纹理子图，结构子图利用基于扩散的方法进行修复，纹理子图则用纹理综合的方法填充。Drori等人]引入了多个尺寸和方向来找到更好的匹配补丁，提出了一种基于碎片的图像修复方法。Criminisi等人提出了一种采样填充图像的修复算法，大大的提升了图像修复的最终效果质量。Barnes等人提出的PatchMatch是近年来运用的较为广泛的图像修复算法之一，基于快速近似最近邻的思想大大提高了算法的运行效率。
近几年，深度神经网络被引入用于纹理合成和图形样式化中，Phatak等人训练由编码-生成结构和生成对抗网络]组成的上下文编码器直接预测缺失的图像区域。该算法能够预测合理的图像结构，并且速度非常快。该方法无法处理处理高分辨率图像。为了解决高分辨率图像问题，Chao Yang等人在Context-encoder]和Li and Wand所做的研究工作的基础上提出了一种基于图像内容和纹理约束的联合优化的多尺度神经补片合成的方法，该方法大大提高了视觉质量相似的想法还有Ruohan Gao等人提出的按需学习的算法，在前人的工作上的基础上，提出训练具有深度卷积神经网络的图像修复模型，利用反馈机制自我生成最需要的训练实例，从而学习可以跨难度层次推广的模型。
基于卷积神经网络的图像修复算法在传统修复算法的基础上进行了比较大的改进，也取得了不错的效果，但是仍然存在修复内容不可控、修复的效果人工痕迹严重等问题。
发明内容
本文针对上述问题提出基于感知领域特征先验约束的图像修复方法，在对缺失区域的生成时使用了条件网络自己学习到的领域特征作为先验条件约束确保能生成真实合理的图像，再通过待修复图像的背景对生成的图像背景内容进行约束以及缺失区域周围纹理信息对修复内容进行纹理约束最终得到高质量的修复图像。
一种基于先验知识约束的图像修复方法，包括：
构建缺失内容生成网络，所述缺失内容生成网络包括用于接收带有缺失区域的图像并输出修复后图像的生成器，以及用于在训练所述缺失内容生成网络时识别训练结果的判别器；
构建内容约束网络，所述内容约束网络用于提供所述生成器输出修复后图像的约束条件；
利用指定领域的数据集训练所述缺失内容生成网络；
基于训练后的缺失内容生成网络且以条件网络作为约束通过反向传播进行迭代优化，得到隐变量；
将带有缺失区域的图像输入训练后的缺失内容生成网络，且该缺失内容生成网络在训练时采用的数据集与带有缺失区域的图像属于同一领域，结合该缺失内容生成网络的隐变量求出修复后图像。
可选的，所述约束条件包括像素内容约束、特征内容约束、背景知识约束和纹理平滑约束。
可选的，所述约束条件采用如下损失函数表达：
其中：
为总体损失，并预先设定有阈值，所述生成器输出修复后图像的总体损失需符合该阈值；
为像素内容损失，为特征内容损失，为对抗损失，为平滑损失，分别对应所述像素内容约束、特征内容约束、背景知识约束和纹理平滑约束；λ1、λ2、λ3、λ4分别为对应的预定义权重系数。
可选的，所述生成器包括依次配置的编码部分和生成部分，所述编码部分采用神经网络模型，包括五个卷积层和一个全连接层。
可选的，所述全连接层输出的特征向量即所述隐变量，该隐变量还作为所述生成部分的输入。
可选的，所述条件网络为提前训练好的分类网络，用于识别修复前、后的图像是否属于同一类别。
本申请还提供一种基于先验知识约束的图像修复系统，包括：
第一模块，用于构建缺失内容生成网络，所述缺失内容生成网络包括用于接收带有缺失区域的图像并输出修复后图像的生成器，以及用于在训练所述缺失内容生成网络时识别训练结果的判别器；
第二模块，用于构建内容约束网络，所述内容约束网络用于提供所述生成器输出修复后图像的约束条件；
利用指定领域的数据集训练所述缺失内容生成网络；
第三模块，用于基于训练后的缺失内容生成网络且以条件网络作为约束通过反向传播进行迭代优化，得到隐变量；
第四模块，用于将带有缺失区域的图像输入训练后的缺失内容生成网络，且该缺失内容生成网络在训练时采用的数据集与带有缺失区域的图像属于同一领域，结合该缺失内容生成网络的隐变量求出修复后图像。
本申请还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述基于先验知识约束的图像修复方法的步骤。
本申请有益效果如下：
通过深度神经网络提取到的先验知识(领域感知特征)作为先验条件约束条件来生成待修复的内容，使得修复后的图像质量更好。
对缺失内容修复结果进行内容和纹理约束，使最终的修复图像的背景尽可能贴近原始图像，缺失区域的纹理和周围的纹理有很好的衔接。
附图说明
图1为其中一实施例中利用缺失内容生成网络实施图像修复方法的原理示意图；
图2为其中一实施例中缺失内容生成网络的网络架构示意图；
图3为本申请计算机设备的硬件构架图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
各实施例中的步骤并不是必然按照叙述的先后顺序依次执行，除非本文中有明确的说明，至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本申请提出一种基于先验知识约束的图像修复方法，在对图像缺失区域的内容生成时使用了预先学习到的先验知识约束来确保生成的内容真实合理，然后通过待修复图像的背景对生成的图像背景内容进行像素和特征级别的约束以及对修复内容进行纹理约束，最终得到高质量的修复图像。本申请利用多种约束以及分类网络来保证修复的图像质量。本申请基本原理为：
给定一个缺失的输入图像X0，其中R区域是缺失区域，区域是已知区域(即背景区域)，通过一个内容生成网络G(X0)来找到合理的内容IR填充R，使其与X0结合后能得到一个新的完整的图像XG，再通过多项约束的联合优化(通过反向传播来对生成网络进行优化)最终得到一副符合这些约束的最优解(即最终生成的图像XG)。我们使用符合人类感知的主观评价和通用的客观评价来对生成的IR做评判，IR需要至少满足下列的条件：
1、IR应为清晰且看起来和真实图像xreal(真实图像来自于现实生活)相似甚至一样。
2、IR应满足给定的生成约束条件。
3、IR在整幅图像中为合理的，且内容、纹理等应和X一 R的内容和纹理协调一致。
本申请中的缺失区域可为完整的较大缺失区域块也可以为多个较小缺失区域块，或者是任意形状的缺失区域。图像大块缺失的修复问题是一个不适定(ill posed)的问题，也就是说这种问题的解是接近于无限多的，只要满足人眼视觉要求的修复结果都是该问题的一个解。因此在缺失图像的修复过程中内容的生成是不受控制的，容易生成痕迹明显的内容，也就是说生成的修复内容与待修复的图像背景在纹理、内容等方面存在明显的差异，无法使整幅图像具有一致性要求，瑕疵明显(纹理不一致、内容语义不一致)。为了更好地控制图像修复内容以及图像修复的质量，本申请采用了类似机器学习的正则化方法，从不同的方面施加了约束，通过这些约束来引导待修复内容的生成，使其的生成过程和结果更加可控、更加符合人员视觉的要求。
其中一实施例提供一种具体的基于先验知识约束的图像修复方法包含如下的步骤：
1)构建修复图像的缺失内容生成网络
缺失内容生成网络是一个带有判别器的预生成网络，该预生成网络能够学习待修复图像所在领域的背景知识，通过领域感知特征(背景知识)的学习使得缺失内容生成网络能够生成符合领域特征的修复图像。
参见图1，缺失内容生成网络是一个对抗生成网络，包括生成器(图中的生成网络G)和判别器，在预先训练的时候需要判别器来识别生成的图像是否符合待修复图像所在的领域特征，但是一旦网络训练好以后，在图像修复的时候则直接使用生成器部分。
图1中的Lcontent为背景的像素内容约束；生成网络G就是下文所说的缺失内容生成网络；Ltexture是背景的特征内容约束；h为缺失内容生成网络的隐变量；G(x)为已经修复好的图像；
条件网络为提前训练好的分类网络，该网络能够识别出修复好的图像是否与待修复的图像还属于同一个类别，也就是说是否满足待修复图像所在的领域知识，比如残缺的鸟图像修复后分类器依然认为这是一幅鸟类的图像，说明该图像还是满足鸟的通用特征。
本申请采用的生成器类似传统的auto-encoder，主要包括编码部分f(·)和生成部分g(·)，分别对应图中的编码部分f和生成部分g。
编码部分采用AlexNet DNN的第一个完全连接层(fc6)，具体的网络结构是5个卷积层和一个全连接层，输入是227x227的三通道图像，第一层是一个卷积核大小为11步长为4的卷积层，第二层是卷积核为5步长为2的卷积层，后面三层均为卷积核为3步长为1的卷积层，每一层卷积层都带有ReLU激活函数，第一、二层还有一个max-pooling操作，第五层卷积层后面跟着一个全连接层，将特征变为了1x4096的特征向量(即下文的隐变量，该隐变量是优化求解得到的)。
2)构建内容约束网络
内容约束网络中的内容约束部分包含：像素内容约束、特征内容约束、背景知识约束、纹理平滑约束四部分。
通过这四种约束能够提升生成的修复图像的质量；本申请的目标是要从一个图像中有缺失区域的输入图像x中，用内容生成网络重构出一个新的图像f(x)，并使其看起来是一幅真实图像，同时也要满足缺失前的图像非常相似甚至一致。
内容约束部分主要是通过损失函数的形式来表达的，其中总体的损失函数如式(1)：
其中为像素内容损失，为特征内容损失，为对抗损失，为平滑损失，分别对应上述的像素内容约束、特征内容约束、背景知识约束、纹理平滑约束；λ1、λ2、λ3、λ4分别为对应的预定义权重系数，下面对每个用到的损失函数做详细说明。
2.1像素内容损失
像素内容损失即图像在重新生成的过程中的像素层面上的背景内容损失，重构过程中的像素内容损失是通过比对重构后的图像和真实图像背景中的每个像素值，来确保最后的重构图像在内容上和待修复图像一致。在比对每一个像素值的方法选择上，一般会选择欧式距离(即L2损失)作为函数定义，本质就是计算两者均方误差(MeanSquare Error,MSE)的应用。有研究提出L1损失相比L2损失能够减少重构图像中出现的各异的人工痕迹，L1会更加鲁棒一些，然而本申请在实验过程将两种损失都试验过，发现两者并无明显差距，L2在一些情况下也表现的稍微优于L1，故本申请算法依然选择的L2损失作为过程中的重构损失，如式(2)所示。
式1中(1-M)⊙xreal是指输入的已知区域(即待修复图像的已知部分，例如图1中左侧去掉中心区域后的周边区域)，(1-M)f(x)是指生成图像过程中的背景区域(⊙是指点乘运算)。
这里的背景不做输出用，但其可以用做损失函数中一项用来控制内容的生成，原因是生成的图像是尽可能被判定为真实图像的图像，故背景区域越贴近真实图像，取出来的前景(即之前的缺失区域，例如图1中的中心区域)则能和背景区域更好的相融合。
2.2对抗损失函数
对抗损失是图像在生成对抗网络中产生的损失，它是判别图像是真实图像还是修复图像的损失函数。对抗损失是为了保证生成网络尽可能产生更“真实”的输出结果以欺骗判别网络，其损失函数具体定义如式(3)：
其中x为训练图像，x～χ即图像来自训练图像集，h指的是每一次编码部分输出的特征值，G(h)指的是每一次重构后的图像，D为判别器，χ为真实图像。
判别器通过判断输入的图像是来源于生成网络还是来源于原图像数据集，直到判别器判断不出图像的来源，则说明生成器生成的图像已经能达到真实图像的水平。在训练初期给定对抗损失的权重会相对比较小，随着训练过程的继续，它对整个损失函数的贡献会逐渐增加。这样的权重设置可以保证判别网络在初始阶段学习修复图像和真实图像之间的差异。
2.3特征内容损失函数
在处理特征内容损失时，提取出原始的无缺失的图像某一层或的特征或某几层的特征组合，同时抽取生成的修复图像相同层的特征计算损失，本算法中使用的是VGG-19的relu3_l和relu4_1层来计算特征内容损失，在训练的时候对比VGG的单独层或者AlexNet的fc6层，发现VGG-19的relu3_1和relu4_1的结合训练结果会更好，所以优选此方法，纹理损失函数如式(4)：
Rφ表示整个缺失区域，Pi表示待修复图像中第i个图像块(image-patch)，Pnn(i)表示与第i个图像块最近邻的图像块(image-patch)，φ表示某一个预给定特征层的特征，找到和已知区域中最相似的贴片(图像块)，并计算该贴片和其最近邻的贴片的平均距离作为损失。
2.4平滑损失函数
图像修复过程中有个比较关键的点在于缺失区域的生成图像相邻像素间的差异不宜过大，从主观上衡量图像修复结果的时候，会根据一些对真实图像的感知，而如果相邻区域间的像素过大可能会造成最后输出图像中一些不好的结果，所以在缺失图像生成之后它除了要满足给定的条件和原图的限制，还要做一些平滑处理来使得生成图像更加符合人类视觉的习惯感知，具体如式(5)所示。
xi，j+1、xi+1，j即为图像(各像素xi，j)向下和向右移动后的像素，本申请利用TV(Total Variation)损失的方式实际上就是复制一份最后的重构图像，并且分别向边缘滑动一个像素点，然后对原图和偏移后的图像计算一个欧式距离，控制其值的大小，避免相邻像素点差距过大导致最终图像生成效果不符合人类的视觉感官。
总的来说，本申请的几个损失的目的是为了使生成图像满足提出的目标。重构损失是从客观上衡量图像修复的效果，使输出图像满足给定条件和原始的图像内容，对抗损失是从客观上约束图像更接近真实图像，纹理损失换言之可以说的特征损失是为了让生成图像的细节和原始图像更接近，同时增加了一个平滑损失，使用平滑损失是为了避免相邻像素间的差异过大，会造成视觉上的不适。从而达到预期的效果。
3)预先训练缺失内容生成网络
在待修复图像所在领域数据集上对缺失内容生成网络进行预先训练，让它学习该领域的背景知识(领域特征先验)，一旦训练好，该缺失内容生成网络就已经学习到了该领域的背景知识(特征先验)。
首先基于IMAGENET数据集制作训练图像的缺失内容生成网络的特殊数据集，该数据集的输入部分是包含一定缺失区域的图像，而对应的输出(标签)是原始的真图。在预先训练的时候，输入的是一系列包含缺失内容的待修复图像，输出的是修复好的图像(真图ground truth图像)，在训练该网络的时候通过对抗约束、纹理平滑约束、背景像素内容约束、背景特征内容约束这四个约束来保证该生成网络生成的修复图像在背景上同待修复图像相同，而缺失内容满足四个约束条件的要求。具体的对抗约束、纹理平滑约束、背景像素内容约束、背景特征内容约束见上文的介绍。在某一个域的数据集上对缺失内容生成网络进行训练，让其学习该领域的特征先验，通过一个类似自动编码器的网络来学习领域的特征先验，一旦训练好，该缺失内容生成网络就已经学习到了该领域的特征先验，以后在图像修复的时候固定该缺失内容生成网络，而迭代优化隐变量，就可以得到修复好的图像。
采用的数据库是现有技术中超过1400万张具有分类特性的图像库ImageNet数据集中有1,260,000个训练图像，以及从验证集中随机挑选的300个作为测试图像集，输入前对图像预处理均处理成227x227的图像。测试集中包括多种规格，多种分布的缺失区域来保证算法在不同情况下的效果同样合理，例如中心大块区域缺失，多个块状格子缺失等。对于整个网络，先对图像生成网络进行预训练，目的是要训练出一个能从编码部分f(·)中提取的抽象高维特征中重构图像的生成部分g(·)。首先使用AlexNet的fc6层在ImageNet数据集上来训练由f(·)和g(·)组成的图像生成网络。
4)依据整个网络对待修复图像进行优化求解，得到最终的修复图像
图2中的特征h就是缺失内容生成网络的隐变量；XR为修复好的图像；在实际的图像修复时候，首先从条件网络(预先训练好的分类网络，也可以直接用在Imagenet数据集上训练好的VGG19网络模型)反向传播优化求解求出特征h，然后通过该h求出XR，这样修复过程就完成了。
为了能够提高修复图像的质量，上述条件网络采用的是VGG19网络模型，并采用IMAGENET数据集进行预训练，优化求解时，基于缺失内容生成网络且以条件网络作为约束从后往前反向传播进行迭代优化求出隐变量(图中的特征h)，这个隐变量是缺失内容生成网络中的最中间部分，即生成部分g(·)的输入部分，一旦该部分内容求出，就可以基于该隐变量利用缺失内容生成网络的生成部分g(·)求出修复图像(图中的XR)。
具体操作时，可将带有缺失区域的图像输入训练后的缺失内容生成网络，且该缺失内容生成网络在训练时采用的数据集与带有缺失区域的图像属于同一领域，结合该缺失内容生成网络的隐变量求出修复后图像。这样得出的修复图像除了满足上述所说的四个约束条件外，也会满足条件网络(预选训练好的网络模型，可以认为该模型已经学习了待修复图像的领域先验知识)的要求，也就是说该修复图像输入到预先训练的缺失内容生成网络，该缺失内容生成网络也会认为它和待修复图像是同一个领域的图像。本申请通过预先训练的缺失内容生成网络以及条件网络来双重保证修复图像能够满足先验知识。在求解隐变量的时候，仅仅针对图2中的上半部分网络进行迭代优化，其中所有的网络参数都是固定的，迭代优化的变量就是最左端的隐变量h。
其中一实施例中，还提供了一种基于先验知识约束的图像修复系统，包括：
第一模块，用于构建缺失内容生成网络，所述缺失内容生成网络包括用于接收带有缺失区域的图像并输出修复后图像的生成器，以及用于在训练所述缺失内容生成网络时识别训练结果的判别器；
第二模块，用于构建内容约束网络，所述内容约束网络用于提供所述生成器输出修复后图像的约束条件；
利用指定领域的数据集训练所述缺失内容生成网络；
第三模块，用于基于训练后的缺失内容生成网络且以条件网络作为约束通过反向传播进行迭代优化，得到隐变量；
第四模块，用于将带有缺失区域的图像输入训练后的缺失内容生成网络，且该缺失内容生成网络在训练时采用的数据集与带有缺失区域的图像属于同一领域，结合该缺失内容生成网络的隐变量求出修复后图像。
关于基于先验知识约束的图像修复系统的具体限定可以参见上文中对于基于先验知识约束的图像修复方法的限定，在此不再赘述。上述基于先验知识约束的图像修复系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于先验知识约束的图像修复方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述基于先验知识约束的图像修复方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种基于先验知识约束的图像修复方法，其特征在于，包括：
构建缺失内容生成网络，所述缺失内容生成网络包括用于接收带有缺失区域的图像并输出修复后图像的生成器，以及用于在训练所述缺失内容生成网络时识别训练结果的判别器；
构建内容约束网络，所述内容约束网络用于提供所述生成器输出修复后图像的约束条件；
利用指定领域的数据集训练所述缺失内容生成网络；
基于训练后的缺失内容生成网络且以条件网络作为约束通过反向传播进行迭代优化，得到隐变量；
将带有缺失区域的图像输入训练后的缺失内容生成网络，且该缺失内容生成网络在训练时采用的数据集与带有缺失区域的图像属于同一领域，结合该缺失内容生成网络的隐变量求出修复后图像。
2.如权利要求1所述的基于先验知识约束的图像修复方法，其特征在于，所述约束条件包括像素内容约束、特征内容约束、背景知识约束和纹理平滑约束。
3.如权利要求2所述的基于先验知识约束的图像修复方法，其特征在于，所述约束条件采用如下损失函数表达：
其中：
为总体损失，并预先设定有阈值，所述生成器输出修复后图像的总体损失需符合该阈值；
为像素内容损失，为特征内容损失，为对抗损失，为平滑损失，分别对应所述像素内容约束、特征内容约束、背景知识约束和纹理平滑约束；λ1、λ2、λ3、λ4分别为对应的预定义权重系数。
4.如权利要求1所述的基于先验知识约束的图像修复方法，其特征在于，所述生成器包括依次配置的编码部分和生成部分，所述编码部分采用神经网络模型，包括五个卷积层和一个全连接层。
5.如权利要求4所述的基于先验知识约束的图像修复方法，其特征在于，所述全连接层输出的特征向量即所述隐变量，该隐变量还作为所述生成部分的输入。
6.如权利要求1所述的基于先验知识约束的图像修复方法，其特征在于，所述条件网络为提前训练好的分类网络，用于识别修复前、后的图像是否属于同一类别。
7.一种基于先验知识约束的图像修复系统，其特征在于，包括：
第一模块，用于构建缺失内容生成网络，所述缺失内容生成网络包括用于接收带有缺失区域的图像并输出修复后图像的生成器，以及用于在训练所述缺失内容生成网络时识别训练结果的判别器；
第二模块，用于构建内容约束网络，所述内容约束网络用于提供所述生成器输出修复后图像的约束条件；
利用指定领域的数据集训练所述缺失内容生成网络；
第三模块，用于基于训练后的缺失内容生成网络且以条件网络作为约束通过反向传播进行迭代优化，得到隐变量；
第四模块，用于将带有缺失区域的图像输入训练后的缺失内容生成网络，且该缺失内容生成网络在训练时采用的数据集与带有缺失区域的图像属于同一领域，结合该缺失内容生成网络的隐变量求出修复后图像。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述基于先验知识约束的图像修复方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910203663.6A CN110020996A (zh) | 2019-03-18 | 2019-03-18 | 一种基于先验知识约束的图像修复方法、系统以及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910203663.6A CN110020996A (zh) | 2019-03-18 | 2019-03-18 | 一种基于先验知识约束的图像修复方法、系统以及计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110020996A true CN110020996A (zh) | 2019-07-16 |
Family
ID=67189687
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910203663.6A Withdrawn CN110020996A (zh) | 2019-03-18 | 2019-03-18 | 一种基于先验知识约束的图像修复方法、系统以及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110020996A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110473154A (zh) * | 2019-07-31 | 2019-11-19 | 西安理工大学 | 一种基于生成对抗网络的图像去噪方法 |
| CN110807740A (zh) * | 2019-09-17 | 2020-02-18 | 北京大学 | 一种面向监控场景车窗图像的图像增强方法与系统 |
| CN111047522A (zh) * | 2019-11-07 | 2020-04-21 | 北京科技大学 | 一种基于边缘生成的图像修复方法 |
| CN111612723A (zh) * | 2020-05-28 | 2020-09-01 | Oppo（重庆）智能科技有限公司 | 图像修复方法及装置 |
| CN111667443A (zh) * | 2020-05-29 | 2020-09-15 | 东华大学 | 一种基于上下文融合的丝绸纹样图像修复方法 |
| CN111681182A (zh) * | 2020-06-04 | 2020-09-18 | Oppo广东移动通信有限公司 | 图片修复方法、装置、终端设备以及存储介质 |
| CN111880477A (zh) * | 2020-07-30 | 2020-11-03 | 南京航空航天大学 | 一种融合机理模型和学习模型的加工变形预测方法 |
| CN112364745A (zh) * | 2020-11-04 | 2021-02-12 | 北京瑞莱智慧科技有限公司 | 一种对抗样本的生成方法、装置及电子设备 |
| CN112837236A (zh) * | 2021-01-27 | 2021-05-25 | 浙江大学 | 用于图像补全的修复神经网络训练方法、装置、计算机设备和存储介质 |
| CN112862922A (zh) * | 2021-01-27 | 2021-05-28 | 南昌大学 | 一种基于多特征生成网络先验信息引导的图像填充方法 |
| CN113177891A (zh) * | 2021-04-28 | 2021-07-27 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113592732A (zh) * | 2021-07-19 | 2021-11-02 | 杨薇 | 基于大数据和智慧安防的图像处理方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107945118A (zh) * | 2017-10-30 | 2018-04-20 | 南京邮电大学 | 一种基于生成式对抗网络的人脸图像修复方法 |
| CN109191402A (zh) * | 2018-09-03 | 2019-01-11 | 武汉大学 | 基于对抗生成神经网络的图像修复方法和系统 |
-
2019
- 2019-03-18 CN CN201910203663.6A patent/CN110020996A/zh not_active Withdrawn
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107945118A (zh) * | 2017-10-30 | 2018-04-20 | 南京邮电大学 | 一种基于生成式对抗网络的人脸图像修复方法 |
| CN109191402A (zh) * | 2018-09-03 | 2019-01-11 | 武汉大学 | 基于对抗生成神经网络的图像修复方法和系统 |
Non-Patent Citations (3)
| Title |
|---|
| XIANFENG OU ET AL: "research of image inpainting algorithm based on image segmentation", 《JOURNAL OF COMPUTATIONAL METHODS IN SCIENCES AND ENGINEERING》 * |
| 强振平 等: "深度学习图像修复方法综述", 《中国图象图形学报》 * |
| 谌明: "图像融合与修复处理关键技术研究", 《中国博士学位论文全文数据库》 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110473154A (zh) * | 2019-07-31 | 2019-11-19 | 西安理工大学 | 一种基于生成对抗网络的图像去噪方法 |
| CN110807740A (zh) * | 2019-09-17 | 2020-02-18 | 北京大学 | 一种面向监控场景车窗图像的图像增强方法与系统 |
| CN111047522A (zh) * | 2019-11-07 | 2020-04-21 | 北京科技大学 | 一种基于边缘生成的图像修复方法 |
| CN111047522B (zh) * | 2019-11-07 | 2023-04-07 | 北京科技大学 | 一种基于边缘生成的图像修复方法 |
| CN111612723A (zh) * | 2020-05-28 | 2020-09-01 | Oppo（重庆）智能科技有限公司 | 图像修复方法及装置 |
| CN111667443B (zh) * | 2020-05-29 | 2021-10-12 | 东华大学 | 一种基于上下文融合的丝绸纹样图像修复方法 |
| CN111667443A (zh) * | 2020-05-29 | 2020-09-15 | 东华大学 | 一种基于上下文融合的丝绸纹样图像修复方法 |
| CN111681182A (zh) * | 2020-06-04 | 2020-09-18 | Oppo广东移动通信有限公司 | 图片修复方法、装置、终端设备以及存储介质 |
| CN111880477A (zh) * | 2020-07-30 | 2020-11-03 | 南京航空航天大学 | 一种融合机理模型和学习模型的加工变形预测方法 |
| CN111880477B (zh) * | 2020-07-30 | 2022-02-11 | 南京航空航天大学 | 一种融合机理模型和学习模型的加工变形预测方法 |
| CN112364745A (zh) * | 2020-11-04 | 2021-02-12 | 北京瑞莱智慧科技有限公司 | 一种对抗样本的生成方法、装置及电子设备 |
| CN112837236A (zh) * | 2021-01-27 | 2021-05-25 | 浙江大学 | 用于图像补全的修复神经网络训练方法、装置、计算机设备和存储介质 |
| CN112862922B (zh) * | 2021-01-27 | 2022-10-11 | 南昌大学 | 一种基于多特征生成网络先验信息引导的图像填充方法 |
| CN112862922A (zh) * | 2021-01-27 | 2021-05-28 | 南昌大学 | 一种基于多特征生成网络先验信息引导的图像填充方法 |
| CN112837236B (zh) * | 2021-01-27 | 2023-11-07 | 浙江大学 | 用于图像补全的修复神经网络训练方法、装置、计算机设备和存储介质 |
| CN113177891A (zh) * | 2021-04-28 | 2021-07-27 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113177891B (zh) * | 2021-04-28 | 2023-09-26 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113592732A (zh) * | 2021-07-19 | 2021-11-02 | 杨薇 | 基于大数据和智慧安防的图像处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110020996A (zh) | 一种基于先验知识约束的图像修复方法、系统以及计算机设备 | |
| Li et al. | Generative face completion | |
| Song et al. | Geometry-aware face completion and editing | |
| CN110378985B (zh) | 一种基于gan的动漫绘画辅助创作方法 | |
| CN109255831A (zh) | 基于多任务学习的单视图人脸三维重建及纹理生成的方法 | |
| CN108460746B (zh) | 一种基于结构和纹理分层预测的图像修复方法 | |
| Kelly et al. | FrankenGAN: guided detail synthesis for building mass-models using style-synchonized GANs | |
| CN110414394A (zh) | 一种面部遮挡人脸图像重建方法以及用于人脸遮挡检测的模型 | |
| CN110689499B (zh) | 一种基于密集扩张卷积自编码对抗网络的人脸图像修复方法 | |
| CN108765425A (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
| CN109903236A (zh) | 基于vae-gan与相似块搜索的人脸图像修复方法及装置 | |
| CN109741268B (zh) | 一种针对壁画的破损图像补全方法 | |
| CN111861945B (zh) | 一种文本引导的图像修复方法和系统 | |
| CN103186894B (zh) | 一种自适应分块的多聚焦图像融合方法 | |
| CN110895795A (zh) | 改进的语义图像修补模型方法 | |
| CN112686816A (zh) | 一种基于内容注意力机制和掩码先验的图像补全方法 | |
| CN106023098B (zh) | 基于张量结构多字典学习与稀疏编码的图像修补方法 | |
| CN111932661B (zh) | 一种人脸表情编辑系统及方法、终端 | |
| Gai et al. | Artistic low poly rendering for images | |
| CN112686817B (zh) | 一种基于不确定性估计的图像补全方法 | |
| Wang et al. | Weakly supervised facial attribute manipulation via deep adversarial network | |
| CN116895089A (zh) | 一种基于生成对抗网络的人脸多元化补全方法及系统 | |
| CN114648724B (zh) | 一种基于生成对抗网络的轻量化高效目标分割与计数方法 | |
| Li et al. | Face mask removal based on generative adversarial network and texture network | |
| KT et al. | A flexible neural renderer for material visualization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190716 |
|
| WW01 | Invention patent application withdrawn after publication |