CN113781324A - 一种老照片修复方法 - Google Patents

一种老照片修复方法 Download PDF

Info

Publication number
CN113781324A
CN113781324A CN202110902109.4A CN202110902109A CN113781324A CN 113781324 A CN113781324 A CN 113781324A CN 202110902109 A CN202110902109 A CN 202110902109A CN 113781324 A CN113781324 A CN 113781324A
Authority
CN
China
Prior art keywords
feature
old
prior
coding
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110902109.4A
Other languages
English (en)
Other versions
CN113781324B (zh
Inventor
陈瑞
刘继鑫
安仕鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202110902109.4A priority Critical patent/CN113781324B/zh
Publication of CN113781324A publication Critical patent/CN113781324A/zh
Application granted granted Critical
Publication of CN113781324B publication Critical patent/CN113781324B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种老照片修复方法，是由一类属性引导参考先验与生成式先验融合网络处理实现，该网络包括浅层特征提取模块、深层特征编码网络、空间先验特征变换模块、潜在解耦融合模块以及特征解码重建网络。本发明通过提取潜在空间的类属性解耦表示指导参考先验信息与生成式先验信息的提取以及融合过程，取得了稳定的老照片修复表现与良好的泛化性能，进一步提高了老照片的修复质量。

Description

一种老照片修复方法
技术领域
本发明涉及照片修复技术领域，特别是涉及一种语义类属性引导与参考图像先验知识融合的老照片修复方法。
背景技术
老照片修复的目的是去除老照片中的各种退化因素，重建具有良好视觉品质的老照片。老照片代表了一个时代的记忆，记录了许多消逝的美好瞬间，因此老照片修复技术具有重要纪念意义以及商业价值，广泛应用于人像修复，考古等领域。通常老照片修复存在多种不同的解，是一个典型的不适定反问题。老照片中的退化多样且复杂，例如划痕、破损、缺失等退化因素严重破坏了图像的结构信息，噪声、模糊、褪色等退化因素使图像的内容信息遭到破坏。未知并且复杂的退化组成使得老照片的修复过程变得相当困难。因此，探索更加可靠的先验信息与潜在的属性表达是有必要的，这有助于增强算法对复杂退化的泛化能力，进一步找到具有良好修复表现的解决方案。
通常，修复过程首先由数字化设备数字化老照片，然后由专业的技术人员使用图像处理工具逐像素的进行修复，消耗了大量的人力，成本难以接受并且无法实现批量的老照片修复。传统的老照片修复算法采用不同的数字图像处理技术对不同的缺陷类别分别进行处理，例如数字滤波，锐度增强，非局部自相似以及局部平滑等。但是，它们通常产生不连贯或者不自然的修复结果，对复杂退化的泛化能力较差。
随着深度学习技术的发展，基于深度学习的图像修复技术在各种退化缺陷修复上取得了显著的成果。凭借卷积神经网络强大的表示能力，以纯数据驱动的方式学习低质量图像与高质量图像间的端到端映射。大量基于深度学习的修复方法被提出，包括核估计，相似补丁搜索，退化过程学习，局部卷积以及多尺度修复等。然而，它们只针对单一退化或简单的退化组合设计，使用合成数据进行端到端的模型训练，对未知复杂的退化组成泛化能力有限。目前，仅有少量的研究探索复杂的多退化因素修复，通常训练多个针对不同任务的模型，以选择或自适应的方式进行模型组合。然而，各种退化因素间的耦合关系导致模型之间相互影响并且合成数据与真实数据间的分布差异导致了老照片的修复性能受到限制。
近年来，生成式模型得到了广泛研究，例如生成对抗网络与变分自编码器。大量的研究通过探索潜在空间的表达来实现对目标生成图像的操控，证明了生成式模型具有自发学习潜在空间表征的能力。一些研究通过对图像的潜在空间语义进行控制或逼近低质量图像与高质量图像的潜在空间分布来完成对图像的修复。然而，通常它们难以学习潜在空间中语义信息的解耦表示，无法实现对各类特征的准确操控，导致修复性能下降。
为了获得更加良好的复杂退化修复表现，更多的先验信息被探索进行图像修复，例如梯度先验，语义先验，生成先验与参考先验等。更多可靠的先验信息引入增强了图像修复的性能表现。其中生成先验与参考先验以其具有强大的先验信息封装能力被广泛研究。参考先验通常从具有高质量的参考图像中获得良好的先验信息表示来辅助修复过程。生成先验通常指由生成式模型封装的大量细节，语义，结构等先验信息。然而，参考先验与生成式先验信息的多样性严重影响了修复结果的真实性，修复能力受到限制。如何准确提取修复所需的先验信息与平衡先验信息的多样性与修复结果的保真性是提高复杂退化修复表现的关键。
发明内容
本发明的目的是针对现有技术中存在的技术缺陷，而提供一种老照片修复方法，旨在修复老照片中复杂的退化因素，获得具有良好质量的老照片。该方法提出了类属性引导的参考先验与生成式先验融合网络以对老照片修复，通过提取潜在空间的类属性解耦表示指导参考先验信息与生成式先验信息的提取以及融合过程，取得了稳定的老照片修复表现与良好的泛化性能，进一步提高了老照片的修复质量。
为实现本发明的目的所采用的技术方案是：
一种老照片修复方法，由一类属性引导参考先验与生成式先验融合网络处理实现，该网络包括浅层特征提取模块、深层特征编码网络、空间先验特征变换模块、潜在解耦融合模块以及特征解码重建网络；处理步骤如下：
首先由浅层特征提取模块提取参考图像xr的浅层特征fr以及待修复老照xo的浅层特征fo，送入到深层特征编码网络分别进行逐层编码获得具有不同尺度的语义特征与潜在空间编码，其中，待修复老照片与参考图像的潜在编码vo与vr被送入潜在解耦融合模块提取解耦的类属性编码，然后进行类属性融合获得融合潜在编码vs，融合潜在编码vs用来引导空间先验特征变换模块提取生成式先验特征，对参考图像编码特征、待修复老照片特征和生成式先验特征进行空间融合变换，获得第k层融合先验信息的特征ft k与粗修复解码特征
Figure BDA0003200134820000031
被送入特征解码重建网络逐层的进行特征解码，重建修复的老照片y输出。
作为一个优选的技术方案，本发明的所述老照片修复方法，所述深层特征编码网络的具体处理步骤如下：
对提取的浅层特征进行深度为m的编码，然后通过全局均值池化获得潜在空间编码：
Figure BDA0003200134820000041
其中，
Figure BDA0003200134820000042
与
Figure BDA0003200134820000043
分别表示第k层老照片与参考图像的编码特征，
Figure BDA0003200134820000044
与
Figure BDA0003200134820000045
分别表示第k层老照片与参考图像的编码，编码由卷积层Conv、实例归一化InstanceNorm与Relu激活函数组成，Favg(·)表示全局均值池化vo与vr分别表示老照片与参考图像的潜在编码。
作为一个优选的技术方案，本发明的所述老照片修复方法，所述潜在解耦融合模块获得融合修复后的老照片潜在编码vs的步骤如下：
首先分别提取参考图像潜在编码与老照片潜在编码的类属性编码表示：
Figure BDA0003200134820000046
其中，Hcla(·),Hcon(·),Hcom(·),Hsmo(·)分别表示提取四种类属性的操作，
Figure BDA0003200134820000047
Figure BDA0003200134820000048
分别表示提取的老照片类属性编码，
Figure BDA0003200134820000049
分别表示提取的参考图像类属性编码，然后按照提取的类属性种类进行类属性融合，将参考图像的类属性融合到老照片的类属性中，对老照片的潜在类属性进行修复：
Figure BDA00032001348200000410
其中，Fcla(·),Fcon(·),Fcom(·),Fsmo(·)表示融合四种潜在类属性的操作，
Figure BDA00032001348200000411
Figure BDA00032001348200000412
分别表示融合修复后的老照片潜在类属性编码，然后对获得的潜在类属性编码进行融合获得融合修复后的老照片潜在编码vs：
Figure BDA00032001348200000413
其中，Fs(·)表示融合潜在类属性编码的操作。
作为一个优选的技术方案，本发明的所述老照片修复方法，所述空间先验特征变换模块仅在第一层编码特征融合中引入生成式先验特征；采用分离式空间特征调制融合待修复老照片编码特征、参考图像编码特征与生成式先验特征；其步骤如下：
首先获得第k层融合先验信息的特征ft k，表示如下；
Figure BDA0003200134820000051
其中，
Figure BDA0003200134820000052
表示第k层空间先验特征变换模块，ft k表示第k层融合了先验信息的特征，ft k与
Figure BDA0003200134820000053
用来进行特征解码重建修复的老照片；首先G个残差块被使用粗略的修复最后的老照片编码特征，获得粗修复解码特征
Figure BDA0003200134820000054
Figure BDA0003200134820000055
其中，Fres(·)表示G个残差块级联的粗修复操作。
作为一个优选的技术方案，本发明的所述老照片修复方法，所述第k层融合先验信息的特征ft k的具体获得步骤如下：
一个映射网络被使用对潜在编码vs进行优化：
zp＝Fm(vs)
其中，Fm(·)表示映射网络函数。zp表示优化后的生成式先验潜在编码，然后zp被送入预训练的人像生成式模型中获得生成式先验特征fp：
fp＝Mp(zp)
其中，Mp(·)表示封装生成式先验的预训练生成式模型，然后对获得的先验特征进行空间融合变换，首先将老照片编码特征划分为两个部分：
Figure BDA0003200134820000056
其中Fsp(·)表示分割特征通道的函数，
Figure BDA0003200134820000057
与
Figure BDA0003200134820000058
表示划分的两部分老照片编码特征；然后分别使用两个卷积块提取参考图像编码特征与生成式先验特征的空间调制参数：
Figure BDA0003200134820000061
其中，
Figure BDA0003200134820000062
表示提取第k层参考图像编码特征调制参数的函数，
Figure BDA0003200134820000063
表示提取的第k层参考图像编码特征的调制参数，Fw(·),Fb(·)表示提取生成式先验特征调制参数的函数，wp,bp表示提取的生成式先验特征的调制参数；然后将wp,bp与第一部分老照片编码特征进行空间调制变换：
Figure BDA0003200134820000064
在先验特征融合过程中，划分的第一部分待修复老照片编码特征始终保持一条跳跃连接路径，然后将第二部分待修复老照片编码特征与参考图像编码特征调制参数
Figure BDA0003200134820000065
进行空间调制变换：
Figure BDA0003200134820000066
然后拼接两部分空间变换特征，再由潜在编码vs通过注意力网络为拼接后的空间变换特征赋予自适应注意力权重，注意力网络由一系列卷积层(Conv)，Relu激活以及Sigmoid函数组成；
Figure BDA0003200134820000067
其中，Fc(·)表示拼接空间变换特征的函数，Fca(·)表示通道注意力网络。
作为一个优选的技术方案，本发明的所述老照片修复方法，所述特征解码重建网络的处理步骤如下：
利用ft k与
Figure BDA0003200134820000068
逐层的进行特征解码，表示如下：
Figure BDA0003200134820000069
其中，
Figure BDA00032001348200000610
表示第k层解码特征。Dk(·)表示第k层解码操作，由转置卷积层Transpose Conv、实例归一化InstanceNorm以及Relu激活函数组成；最后，一个卷积层和残差连接被使用重建修复的老照片y：
Figure BDA0003200134820000071
其中，Fre(·)表示最后的重建卷积操作。
作为一个优选的技术方案，本发明的所述老照片修复方法，该网络设置一个双判别器网络结构辅助修复过程，由风格判别器以及缺陷判别器组成；风格判别器网络对判别器输出的Gram矩阵进行真假性判别，Gram矩阵与图像的风格紧密相关；风格判别器损失函数表示如下：
Figure BDA0003200134820000072
其中，Fg(·)表示计算Gram矩阵，MS(·)表示风格判别器网络，y，ygt分别表示修复的老照片与目标高质量图像，
Figure BDA0003200134820000073
表示风格判别器损失；
缺陷判别器对输入的梯度图进行真假性判别，梯度图可直观的显示出老照片的缺陷情况；缺陷判别器损失函数表示如下：
Figure BDA0003200134820000074
其中，Hg(·)表示计算图像梯度图，MD(·)表示缺陷判别器网络，
Figure BDA0003200134820000075
表示缺陷判别器损失；对应的对抗训练损失函数表示如下：
Figure BDA0003200134820000076
作为一个优选的技术方案，本发明折的所述老照片修复方法，组合内容损失函数、感知损失函数与对抗损失函数共同约束修复的解空间；通过联合双判别器损失函数，获得了预期的感知-失真平衡内容损失函数：
内容损失函数：计算修复的老照片与目标图像之间的平均绝对误差，加速网络收敛过程，约束修复老照片的内容真实性；
Figure BDA0003200134820000077
感知损失函数：通过感知相似度来提高图像的视觉质量。利用预训练的VGG网络提取包含语义信息的特征，计算修复的老照片特征与目标图像特征的平均绝对误差，使符合人类视觉感知；
Figure BDA0003200134820000081
其中，φj(·)表示提取VGG网络第j层特征的函数；
联合三种损失函数作为最终的优化损失目标，表示如下：
Figure BDA0003200134820000082
其中
Figure BDA0003200134820000083
表示联合优化目标，
Figure BDA0003200134820000084
表示内容损失函数，
Figure BDA0003200134820000085
表示感知损失函数，
Figure BDA0003200134820000086
表示对抗损失函数，λc，λp，λadv分别表示各损失项的调节超参数。
本发明提出一个潜在解耦融合模块来进行潜在空间编码的类属性提取与解耦，同时完成参考图像类属性编码与待修复老照片类属性编码的融合修复，融合后的潜在编码指导生成式先验信息的提取与先验特征的融合过程。
本发明提出一个空间先验特征变换模块在多尺度编码空间实现先验信息的高效融合，保证了先验信息多样性与修复保真性的良好平衡。
此外，本发明提出一个双判别器网络结构与联合优化损失目标进一步增强了风格与缺陷修复能力，获得了良好的感知与失真平衡。
附图说明
图1为本发明实施例的类属性引导参考先验与生成式先验融合的老照片修复网络结构图；
图2为本发明实施例的潜在解耦融合模块(LDF)的结构图；
图3为本发明实施例的空间先验特征变换模块(SPT)的结构图；
图4为本发明实施例的双判别器网络结构图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提出了一个类属性引导参考先验与生成式先验融合的老照片修复网络。通过提取图像的潜在解耦类属性编码引导参考先验信息与生成式先验信息的引入过程，提出的网络展现了强大的复杂退化修复能力与良好的泛化性能。
本发明设计了一个空间先验特征变换模块来融合参考先验特征，生成式先验特征与待修复老照片特征，通过高效的空间调制实现先验信息多样性与修复结果保真性的良好平衡，在细节修复上显示了一定的优势。
本发明设计了一个潜在解耦融合模块来提取潜在类属性的解耦表示，根据退化因素的性质提取解耦的图像类属性编码，在潜在空间中对高质量参考图像的类属性编码与待修复老照片的潜在类属性编码进行融合修复，进一步增强了网络对各种复杂退化的泛化能力。
本发明设计了一个双判别器网络结构，通过判别Gram矩阵与图像梯度更好的修复老照片的风格与缺陷，同时设计了一种新的联合优化损失函数结合对抗训练过程进一步增强了老照片的高频细节，取得了良好的真实性与感知质量。
本发明提出的类属性引导参考先验与生成式先验融合网络整体结构如图1所示，网络整体结构包括浅层特征提取模块、深层特征编码网络、空间先验特征变换模块(Spatial prior-feature transform module,SPT)、潜在解耦融合模块(Latentdecoupling and fusion module,LDF)以及特征解码重建网络。
首先，使用一个卷积层(Convolution，Conv)提取高质量参考图像xr的浅层特征fr，使用n层核由大到小的卷积层获得具有较大感受野的待修复老照片xo的浅层特征fo，浅层特征提取模块表示如下：
Figure BDA0003200134820000101
其中Fos(·)与Frs(·)分别表示待修复老照片与参考图像的浅层特征提取操作。然后提取的浅层特征fo与fr送入深层特征编码网络分别进行逐层编码获得具有不同尺度的语义特征与潜在空间编码。
本发明对提取的浅层特征进行深度为m的编码，然后通过全局均值池化获得潜在空间编码：
Figure BDA0003200134820000102
其中
Figure BDA0003200134820000103
与
Figure BDA0003200134820000104
分别表示第k层老照片与参考图像的编码特征。
Figure BDA0003200134820000105
与
Figure BDA0003200134820000106
分别表示第k层老照片与参考图像的编码，编码由卷积层(Conv)、实例归一化(InstanceNorm)与Relu激活函数组成。Favg(·)表示全局均值池化。vo与vr分别表示老照片与参考图像的潜在编码。vo与vr被送入潜在解耦融合模块进一步提取解耦的类属性编码，然后进行类属性融合获得融合潜在编码vs。
vs＝Ff(Fd(vo，vr)) (3)
其中，Fd(·)表示提取解耦类属性编码操作。Ff(·)表示类属性融合操作。融合潜在编码vs进一步用来引导空间先验特征变换模块提取生成式先验特征，对参考图像编码特征、待修复老照片特征和生成式先验特征进行空间融合变换。
Figure BDA0003200134820000107
其中，
Figure BDA0003200134820000108
表示第k层空间先验特征变换模块，ft k表示第k层融合了先验信息的特征。ft k与
Figure BDA0003200134820000109
用来进行特征解码重建修复的老照片。首先G个残差块被使用粗略的修复最后的老照片编码特征，获得粗修复解码特征
Figure BDA00032001348200001010
Figure BDA00032001348200001011
其中Fres(·)表示G个残差块级联的粗修复操作。ft k与
Figure BDA00032001348200001012
被送入特征解码重建网络逐层的进行特征解码。
Figure BDA0003200134820000111
其中，
Figure BDA0003200134820000112
表示第k层解码特征。Dk(·)表示第k层解码操作，由转置卷积层(Transpose Conv)、实例归一化(InstanceNorm)以及Relu激活函数组成。最后，一个卷积层和残差连接被使用重建修复的老照片y：
Figure BDA0003200134820000113
其中，Fre(·)表示最后的重建卷积操作。
本发明实施例中，通过潜在解耦融合模块(LDF)来提取参考图像潜在编码与老照片潜在编码的类属性解耦表示并且进一步进行潜在类属性融合修复，显著增强了网络的泛化性能。其具体结构如图2所示，根据退化类别的性质划分了四类潜在的类属性。老照片中存在的退化均可以归类到四种类属性中，例如模糊与清晰度(Clarity)相对应、噪声及胶片颗粒与平滑性(Smoothness)相对应、划痕及磨损与连通性(Connectivity)相对应、缺失与完整性(Completeness)相对应。首先分别提取参考图像潜在编码与老照片潜在编码的类属性编码表示：
Figure BDA0003200134820000114
其中，Hcla(·),Hcon(·),Hcom(·),Hsmo(·)分别表示提取四种类属性的操作。
Figure BDA0003200134820000115
Figure BDA0003200134820000116
分别表示提取的老照片类属性编码。
Figure BDA0003200134820000117
分别表示提取的参考图像类属性编码。然后按照提取的类属性种类进行类属性融合，将参考图像的类属性融合到老照片的类属性中，对老照片的潜在类属性进行修复：
Figure BDA0003200134820000121
其中，Fcla(·),Fcon(·),Fcom(·),Fsmo(·)表示融合四种潜在类属性的操作。
Figure BDA0003200134820000122
Figure BDA0003200134820000123
分别表示融合修复后的老照片潜在类属性编码。然后对获得的高质量潜在类属性编码进一步进行融合获得融合修复后的老照片潜在编码vs：
Figure BDA0003200134820000124
其中，Fs(·)表示融合潜在类属性编码的操作。
本发明实施例中，提出一个空间先验特征变换模块(SPT)来融合先验特征与待修复老照片特征，填充老照片中丢失的信息，其结构如图3所示。
具体来说，空间先验特征变换模块完成两个任务。第一，有选择的引入生成式先验特征，如图1所示，网络仅在第一层编码特征融合中引入生成式先验特征。第二，采用分离式空间特征调制融合待修复老照片编码特征、参考图像编码特征与生成式先验特征，实现了先验信息多样性与修复结果保真性的良好平衡，进一步增强了老照片的细节修复能力。为了进一步提高生成式先验信息提取的准确性，一个映射网络被使用对潜在编码vs进一步进行优化：
zp＝Fm(vs) (11)
其中，Fm(·)表示映射网络函数。zp表示优化后的生成式先验潜在编码，然后zp被送入预训练的人像生成式模型中获得生成式先验特征fp：
fp＝Mp(zp) (12)
其中，Mp(·)表示封装生成式先验的预训练生成式模型。然后，对获得的先验特征进行空间融合变换，首先将老照片编码特征划分为两个部分：
Figure BDA0003200134820000125
其中Fsp(·)表示分割特征通道的函数。
Figure BDA0003200134820000131
与
Figure BDA0003200134820000132
表示划分的两部分老照片编码特征。然后，分别使用两个卷积块提取参考图像编码特征与生成式先验特征的空间调制参数：
Figure BDA0003200134820000133
其中，
Figure BDA0003200134820000134
表示提取第k层参考图像编码特征调制参数的函数。
Figure BDA0003200134820000135
表示提取的第k层参考图像编码特征的调制参数。Fw(·),Fb(·)表示提取生成式先验特征调制参数的函数。wp,bp表示提取的生成式先验特征的调制参数。然后将wp,bp与第一部分老照片编码特征进行空间调制变换：
Figure BDA0003200134820000136
在先验特征融合过程中，划分的第一部分待修复老照片编码特征始终保持一条跳跃连接路径，保证了修复结果的保真性，达到了先验信息多样性与修复保真性的良好平衡。然后，将第二部分待修复老照片编码特征与参考图像编码特征调制参数
Figure BDA0003200134820000137
进行空间调制变换：
Figure BDA0003200134820000138
然后拼接两部分空间变换特征，再由潜在编码vs通过注意力网络为拼接后的空间变换特征赋予自适应注意力权重。注意力网络由一系列卷积层(Conv)，Relu激活以及Sigmoid函数组成。
Figure BDA0003200134820000139
其中，Fc(·)表示拼接空间变换特征的函数。Fca(·)表示通道注意力网络。ft k表示融合了先验信息的第k层输出变换特征，进一步用来引导特征解码过程。
本发明设计的空间先验特征变换模块进一步对潜在编码vs进行优化，有针对性地对生成式先验信息进行提取，一定程度上约束了生成式先验信息的多样性，采用分离式双路空间调制变换融合先验特征信息更加高效，同时实现了先验信息多样性与修复结果保真性的良好平衡。
为了获得良好的老照片风格和缺陷修复表现，本发明设计一个双判别器网络结构来辅助修复过程。双判别器结构如图4所示，风格判别器网络对判别器输出的Gram矩阵进行真假性判别，Gram矩阵与图像的风格紧密相关。风格判别器损失函数表示如下：
Figure BDA0003200134820000141
其中，Fg(·)表示计算Gram矩阵。MS(·)表示风格判别器网络。y,ygt分别表示修复的老照片与目标高质量图像。
Figure BDA0003200134820000142
表示风格判别器损失。
缺陷判别器对输入的梯度图进行真假性判别，梯度图可以直观的显示出老照片的缺陷情况。缺陷判别器损失函数表示如下：
Figure BDA0003200134820000143
其中，Hg(·)表示计算图像梯度图。MD(·)表示缺陷判别器网络。
Figure BDA0003200134820000144
表示缺陷判别器损失。对应的对抗训练损失函数表示如下：
Figure BDA0003200134820000145
为了进一步约束修复老照片的真实性，增强修复结果的感知质量，本发明组合内容损失函数、感知损失函数与对抗损失函数共同约束修复的解空间。通过联合双判别器损失函数，获得了良好的感知-失真平衡。
内容损失函数：计算修复的老照片与目标图像之间的平均绝对误差，加速网络收敛过程，约束修复老照片的内容真实性。
Figure BDA0003200134820000146
感知损失函数：通过感知相似度来提高图像的视觉质量。利用预训练的VGG网络提取包含语义信息的特征，计算修复的老照片特征与目标图像特征的平均绝对误差，更加符合人类视觉感知。
Figure BDA0003200134820000151
其中，φj(·)表示提取VGG网络第j层特征的函数。
本发明联合三种损失函数作为最终的优化损失目标，表示如下：
Figure BDA0003200134820000152
其中
Figure BDA0003200134820000153
表示联合优化目标。
Figure BDA0003200134820000154
表示内容损失函数。
Figure BDA0003200134820000155
表示感知损失函数。
Figure BDA0003200134820000156
表示对抗损失函数。λc，λp，λadv分别表示各损失项的调节超参数。
本发明设计的双判别器网络结构更加有针对性的关注风格和缺陷的修复情况，通过对抗性训练与联合优化目标取得了良好的缺陷与风格修复表现，进一步增强了老照片修复的真实性与感知表现，细节更加丰富。
以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.老照片修复方法，其特征在于，由一类属性引导参考先验与生成式先验融合网络处理实现，该网络包括浅层特征提取模块、深层特征编码网络、空间先验特征变换模块、潜在解耦融合模块以及特征解码重建网络；处理步骤如下：
首先由浅层特征提取模块提取参考图像xr的浅层特征fr以及待修复老照xo的浅层特征fo，送入到深层特征编码网络分别进行逐层编码获得具有不同尺度的语义特征与潜在空间编码，其中，待修复老照片与参考图像的潜在编码vo与vr被送入潜在解耦融合模块提取解耦的类属性编码，然后进行类属性融合获得融合潜在编码vs，融合潜在编码vs用来引导空间先验特征变换模块提取生成式先验特征，对参考图像编码特征、待修复老照片特征和生成式先验特征进行空间融合变换，获得第k层融合先验信息的特征ft k与粗修复解码特征fd m被送入特征解码重建网络逐层的进行特征解码，重建修复的老照片y输出。
2.根据权利要求1所述老照片修复方法，其特征在于，所述深层特征编码网络的具体处理步骤如下：
对提取的浅层特征进行深度为m的编码，然后通过全局均值池化获得潜在空间编码：
Figure FDA0003200134810000011
其中，
Figure FDA0003200134810000012
与
Figure FDA0003200134810000013
分别表示第k层老照片与参考图像的编码特征，
Figure FDA0003200134810000014
与
Figure FDA0003200134810000015
分别表示第k层老照片与参考图像的编码，编码由卷积层Conv、实例归一化InstanceNorm与Relu激活函数组成，Favg(·)表示全局均值池化vo与vr分别表示老照片与参考图像的潜在编码。
3.根据权利要求2所述老照片修复方法，其特征在于，所述潜在解耦融合模块获得融合修复后的老照片潜在编码vs的步骤如下：
首先分别提取参考图像潜在编码与老照片潜在编码的类属性编码表示：
Figure FDA0003200134810000021
其中，Hcla(·),Hcon(·),Hcom(·),Hsmo(·)分别表示提取四种类属性的操作，
Figure FDA0003200134810000022
Figure FDA0003200134810000023
分别表示提取的老照片类属性编码，
Figure FDA0003200134810000024
分别表示提取的参考图像类属性编码，然后按照提取的类属性种类进行类属性融合，将参考图像的类属性融合到老照片的类属性中，对老照片的潜在类属性进行修复：
Figure FDA0003200134810000025
其中，Fcla(·),Fcon(·),Fcom(·),Fsmo(·)表示融合四种潜在类属性的操作，
Figure FDA0003200134810000026
Figure FDA0003200134810000027
分别表示融合修复后的老照片潜在类属性编码，然后对获得的潜在类属性编码进行融合获得融合修复后的老照片潜在编码vs：
Figure FDA0003200134810000028
其中，Fs(·)表示融合潜在类属性编码的操作。
4.根据权利要求3所述老照片修复方法，其特征在于，所述空间先验特征变换模块仅在第一层编码特征融合中引入生成式先验特征；采用分离式空间特征调制融合待修复老照片编码特征、参考图像编码特征与生成式先验特征；其步骤如下：
首先获得第k层融合先验信息的特征ft k，表示如下:
Figure FDA0003200134810000029
其中，
Figure FDA00032001348100000210
表示第k层空间先验特征变换模块，ft k表示第k层融合了先验信息的特征，ft k与
Figure FDA0003200134810000031
用来进行特征解码重建修复的老照片；首先G个残差块被使用粗略的修复最后的老照片编码特征，获得粗修复解码特征
Figure FDA0003200134810000032
Figure FDA0003200134810000033
其中，Fres(·)表示G个残差块级联的粗修复操作。
5.根据权利要求4所述老照片修复方法，其特征在于，所述第k层融合先验信息的特征ft k的具体获得步骤如下：
一个映射网络被使用对潜在编码vs进行优化：
zp＝Fm(vs)
其中，Fm(·)表示映射网络函数。zp表示优化后的生成式先验潜在编码，然后zp被送入预训练的人像生成式模型中获得生成式先验特征fp：
fp＝Mp(zp)
其中，Mp(·)表示封装生成式先验的预训练生成式模型，然后对获得的先验特征进行空间融合变换，首先将老照片编码特征划分为两个部分：
Figure FDA0003200134810000034
其中Fsp(·)表示分割特征通道的函数，
Figure FDA0003200134810000035
与
Figure FDA0003200134810000036
表示划分的两部分老照片编码特征；然后分别使用两个卷积块提取参考图像编码特征与生成式先验特征的空间调制参数：
Figure FDA0003200134810000037
其中，
Figure FDA0003200134810000038
表示提取第k层参考图像编码特征调制参数的函数，
Figure FDA0003200134810000039
表示提取的第k层参考图像编码特征的调制参数，Fw(·),Fb(·)表示提取生成式先验特征调制参数的函数，wp,bp表示提取的生成式先验特征的调制参数；然后将wp,bp与第一部分老照片编码特征进行空间调制变换：
Figure FDA0003200134810000041
在先验特征融合过程中，划分的第一部分待修复老照片编码特征始终保持一条跳跃连接路径，然后将第二部分待修复老照片编码特征与参考图像编码特征调制参数
Figure FDA0003200134810000042
进行空间调制变换：
Figure FDA0003200134810000043
然后拼接两部分空间变换特征，再由潜在编码vs通过注意力网络为拼接后的空间变换特征赋予自适应注意力权重，注意力网络由一系列卷积层(Conv)，Relu激活以及Sigmoid函数组成；
Figure FDA0003200134810000044
其中，Fc(·)表示拼接空间变换特征的函数，Fca(·)表示通道注意力网络。
6.根据权利要求5所述老照片修复方法，其特征在于，所述特征解码重建网络的处理步骤如下：
利用ft k与
Figure FDA0003200134810000045
逐层的进行特征解码，表示如下：
Figure FDA0003200134810000046
其中，
Figure FDA0003200134810000047
表示第k层解码特征。Dk(·)表示第k层解码操作，由转置卷积层TransposeConv、实例归一化InstanceNorm以及Relu激活函数组成；最后，一个卷积层和残差连接被使用重建修复的老照片y：
Figure FDA0003200134810000048
其中，Fre(·)表示最后的重建卷积操作。
7.根据权利要求6所述老照片修复方法，其特征在于，该网络设置一个双判别器网络结构辅助修复过程，由风格判别器以及缺陷判别器组成；风格判别器网络对判别器输出的Gram矩阵进行真假性判别，Gram矩阵与图像的风格紧密相关；风格判别器损失函数表示如下：
Figure FDA0003200134810000051
其中，Fg(·)表示计算Gram矩阵，MS(·)表示风格判别器网络，y,ygt分别表示修复的老照片与目标高质量图像，
Figure FDA0003200134810000052
表示风格判别器损失；
缺陷判别器对输入的梯度图进行真假性判别，梯度图可直观的显示出老照片的缺陷情况；缺陷判别器损失函数表示如下：
Figure FDA0003200134810000053
其中，Hg(·)表示计算图像梯度图，MD(·)表示缺陷判别器网络，
Figure FDA0003200134810000054
表示缺陷判别器损失；对应的对抗训练损失函数表示如下：
Figure FDA0003200134810000055
8.根据权利要求7所述老照片修复方法，其特征在于，组合内容损失函数、感知损失函数与对抗损失函数共同约束修复的解空间；通过联合双判别器损失函数，获得了预期的感知-失真平衡内容损失函数：
内容损失函数：计算修复的老照片与目标图像之间的平均绝对误差，加速网络收敛过程，约束修复老照片的内容真实性；
Figure FDA0003200134810000056
感知损失函数：通过感知相似度来提高图像的视觉质量。利用预训练的VGG网络提取包含语义信息的特征，计算修复的老照片特征与目标图像特征的平均绝对误差，使符合人类视觉感知；
Figure FDA0003200134810000057
其中，φj(·)表示提取VGG网络第j层特征的函数；
联合三种损失函数作为最终的优化损失目标，表示如下：
Figure FDA0003200134810000058
其中
Figure FDA0003200134810000059
表示联合优化目标，
Figure FDA00032001348100000510
表示内容损失函数，
Figure FDA00032001348100000511
表示感知损失函数，
Figure FDA0003200134810000061
表示对抗损失函数，λc，λp，λadv分别表示各损失项的调节超参数。
CN202110902109.4A 2021-08-06 2021-08-06 一种老照片修复方法 Active CN113781324B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110902109.4A CN113781324B (zh) 2021-08-06 2021-08-06 一种老照片修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110902109.4A CN113781324B (zh) 2021-08-06 2021-08-06 一种老照片修复方法

Publications (2)

Publication Number Publication Date
CN113781324A true CN113781324A (zh) 2021-12-10
CN113781324B CN113781324B (zh) 2023-09-29

Family

ID=78836989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110902109.4A Active CN113781324B (zh) 2021-08-06 2021-08-06 一种老照片修复方法

Country Status (1)

Country Link
CN (1) CN113781324B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546017A (zh) * 2022-11-30 2022-12-30 天津大学 一种多媒体换脸方法及装置
CN117876242A (zh) * 2024-03-11 2024-04-12 深圳大学 眼底图像增强方法、装置、设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191402A (zh) * 2018-09-03 2019-01-11 武汉大学 基于对抗生成神经网络的图像修复方法和系统
WO2020029356A1 (zh) * 2018-08-08 2020-02-13 杰创智能科技股份有限公司 一种基于生成对抗网络的脸部变化预测方法
US20200294309A1 (en) * 2019-03-11 2020-09-17 Beijing University Of Technology 3D Reconstruction Method Based on Deep Learning
CN112348743A (zh) * 2020-11-06 2021-02-09 天津大学 一种融合判别式网络和生成式网络的图像超分辨率方法
CN112669247A (zh) * 2020-12-09 2021-04-16 深圳先进技术研究院 一种用于多任务医学图像合成的先验指导型网络

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020029356A1 (zh) * 2018-08-08 2020-02-13 杰创智能科技股份有限公司 一种基于生成对抗网络的脸部变化预测方法
CN109191402A (zh) * 2018-09-03 2019-01-11 武汉大学 基于对抗生成神经网络的图像修复方法和系统
US20200294309A1 (en) * 2019-03-11 2020-09-17 Beijing University Of Technology 3D Reconstruction Method Based on Deep Learning
CN112348743A (zh) * 2020-11-06 2021-02-09 天津大学 一种融合判别式网络和生成式网络的图像超分辨率方法
CN112669247A (zh) * 2020-12-09 2021-04-16 深圳先进技术研究院 一种用于多任务医学图像合成的先验指导型网络

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DAVID BAU ET AL.: "Semantic Photo Manipulation with a Generative Image Prior", 《ARXIV:2005.07727V2》, pages 1 - 11 *
PHILLIP ISOLA ET AL.: "Image-to-Image Translation with Conditional Adversarial Networks", 《ARXIV:1611.07004V3》, pages 1 - 17 *
XINTAO WANG ET AL.: "Towards Real-World Blind Face Restoration with Generative Facial Prior", 《ARXIV:2101.04061V2》, pages 1 - 11 *
孟丽莎等: "基于密集卷积生成对抗网络的图像修复", 《计算机科学》, pages 202 - 207 *
张雪菲等: "基于变分自编码器的人脸图像修复", 《计算机辅助设计与图形学学报》, pages 401 - 409 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546017A (zh) * 2022-11-30 2022-12-30 天津大学 一种多媒体换脸方法及装置
CN115546017B (zh) * 2022-11-30 2023-03-10 天津大学 一种多媒体换脸方法及装置
CN117876242A (zh) * 2024-03-11 2024-04-12 深圳大学 眼底图像增强方法、装置、设备及可读存储介质
CN117876242B (zh) * 2024-03-11 2024-05-28 深圳大学 眼底图像增强方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
CN113781324B (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
Li et al. A closed-form solution to photorealistic image stylization
Lu et al. Image generation from sketch constraint using contextual gan
Lu et al. Attribute-guided face generation using conditional cyclegan
Li et al. Single image dehazing via conditional generative adversarial network
CN108875935B (zh) 基于生成对抗网络的自然图像目标材质视觉特征映射方法
Jiang et al. Image inpainting based on generative adversarial networks
CN111401216B (zh) 图像处理、模型训练方法、装置、计算机设备和存储介质
US11790581B2 (en) Transferring hairstyles between portrait images utilizing deep latent representations
CN111489287A (zh) 图像转换方法、装置、计算机设备和存储介质
CN110689599A (zh) 基于非局部增强的生成对抗网络的3d视觉显著性预测方法
US20230245351A1 (en) Image style conversion method and apparatus, electronic device, and storage medium
WO2023072067A1 (zh) 人脸属性编辑模型的训练以及人脸属性编辑方法
CN113781324A (zh) 一种老照片修复方法
WO2023151529A1 (zh) 人脸图像的处理方法及相关设备
WO2024109374A1 (zh) 换脸模型的训练方法、装置、设备、存储介质和程序产品
CN110874575A (zh) 一种脸部图像处理方法及相关设备
Hu et al. Dear-gan: Degradation-aware face restoration with gan prior
WO2022166840A1 (zh) 人脸属性编辑模型的训练方法、人脸属性编辑方法及设备
Liu et al. Attentive semantic and perceptual faces completion using self-attention generative adversarial networks
Gilbert et al. Disentangling structure and aesthetics for style-aware image completion
CN111726621B (zh) 一种视频转换方法及装置
CN115984949B (zh) 一种带有注意力机制的低质量人脸图像识别方法及设备
Yu et al. Stacked generative adversarial networks for image compositing
US20230206515A1 (en) Automatic caricature generating method and apparatus
CN117151990A (zh) 一种基于自注意力编码解码的图像去雾方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant