CN113763268B - 人脸图像盲修复方法及系统 - Google Patents

人脸图像盲修复方法及系统 Download PDF

Info

Publication number
CN113763268B
CN113763268B CN202110990835.6A CN202110990835A CN113763268B CN 113763268 B CN113763268 B CN 113763268B CN 202110990835 A CN202110990835 A CN 202110990835A CN 113763268 B CN113763268 B CN 113763268B
Authority
CN
China
Prior art keywords
face image
dimensional memory
modulation
sample
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110990835.6A
Other languages
English (en)
Other versions
CN113763268A (zh
Inventor
赫然
黄怀波
李佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202110990835.6A priority Critical patent/CN113763268B/zh
Publication of CN113763268A publication Critical patent/CN113763268A/zh
Application granted granted Critical
Publication of CN113763268B publication Critical patent/CN113763268B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种人脸图像盲修复方法及系统，首先获取待修复人脸图像；然后将待修复人脸图像输入至三维记忆调制生成模型，由三维记忆调制生成模型对待修复人脸图像进行盲修复，并得到三维记忆调制生成模型输出的盲修复后的目标人脸图像。三维记忆调制生成模型中包含的三维记忆调制模块可以从拓扑优化、小波记忆以及通用先验这三个方面对待修复人脸图像进行调制，并引入层规范化层面以及实例规范化层面的特征融合，最终得到修复后的目标人脸图像。通过三维记忆调制生成模型，可以克服待修复失真人脸图像中可能包含的退化模式带来的不确定性，极大地提高了人脸图像盲修复的效果，使得人脸图像盲修复更加精准，得到的目标人脸图像的图像质量更高。

Description

人脸图像盲修复方法及系统
技术领域
本发明涉及人脸修复技术领域，尤其涉及一种人脸图像盲修复方法及系统。
背景技术
目前，传统的人脸图像修复技术主要针对于同一个场景下、特定退化形式的人脸图像。随着人脸图像修复技术的提高，不同场景下的高泛化、可控人脸图像修复技术受到了广泛的关注，特别是基于特征调制的人脸图像盲修复技术进一步丰富了人脸图像修复的应用。
人脸图像盲修复即人脸图像盲复原，是指当点扩展函数未知或不确知的情况下，从低质的待修复人脸图像恢复出清晰、高质的目标人脸图像的过程。人脸图像盲修复技术在人脸超分技术的基础上需要抵御更多的图像退化模式，生成目标人脸图像，其本质上是一种非匹配人脸图像修复技术。
由于待修复人脸图像同时包含五官模糊、运动模糊、低分辨率、噪声、JPEG压缩等多种随机组合的退化模式，这种不确定性将极大地影响人脸图像盲修复的效果。
发明内容
本发明提供一种人脸图像盲修复方法及系统，用以解决现有技术中存在的缺陷。
本发明提供一种人脸图像盲修复方法，包括：
获取待修复人脸图像；
将所述待修复人脸图像输入至三维记忆调制生成模型，由所述三维记忆调制生成模型对所述待修复人脸图像进行盲修复，并得到所述三维记忆调制生成模型输出的盲修复后的目标人脸图像；
其中，所述三维记忆调制生成模型包括拓扑优化模块、小波记忆模块、通用先验模块以及三维记忆调制模块；所述拓扑优化模块用于提取所述待修复人脸图像中优化拓扑的多尺度空间特征；所述通用先验模块用于基于高斯噪声分布确定所述待修复人脸图像对应的多阶通用先验特征；所述三维记忆调制模块用于将所述三维记忆调制模块中上一级记忆调制单元的输出特征作为当前记忆调制单元的输入特征，确定所述输入特征对应的原始注意力图；将所述多尺度空间特征、所述多阶通用先验特征以及所述小波高频编码作为特征调制的控制量，基于所述输入特征确定所述特征调制的控制量对应的层规范化层面的注意力图以及实例规范化层面的注意力图；并基于所述原始注意力图、所述层规范化层面的注意力图以及所述实例规范化层面的注意力图，对所述待修复人脸图像进行逐级调制，得到所述目标人脸图像；
所述三维记忆调制生成模型基于第一类人脸图像样本以及所述第一类人脸图像样本对应的第二类人脸图像样本训练得到，所述第一类人脸图像样本基于所述第二类人脸图像样本确定，且所述第一类人脸图像样本的图像质量低于所述第二类人脸图像样本的图像质量。
根据本发明提供的一种人脸图像盲修复方法，所述三维记忆调制模块具体用于：
对所述输入特征进行卷积操作以及概率归一化操作，确定所述输入特征对应的原始注意力图；
将所述输入特征进行层规范化，得到层规范化特征，并对所述层规范化特征进行卷积操作以及概率归一化操作，确定所述层规范化层面的注意力图；
将所述输入特征进行实例规范化，得到实例规范化特征，并对所述实例规范化特征进行卷积操作以及概率归一化操作，确定所述实例规范化层面的注意力图。
根据本发明提供的一种人脸图像盲修复方法，所述三维记忆调制模块还具体用于：
基于所述层规范化层面的注意力图，采用所述调制特征，对所述层规范化特征进行加权调制，得到层调制特征；
基于所述实例规范化层面的注意力图，采用所述调制特征，对所述实例规范化特征进行加权调制，得到实例调制特征；
基于所述原始注意力图，对所述层调制特征以及所述实例调制特征进行加权融合，得到目标调制特征；
基于所述目标调制特征，得到所述目标人脸图像。
根据本发明提供的一种人脸图像盲修复方法，所述待修复人脸图像从包含有背景区域的待修复图像中提取得到；
相应地，所述得到所述三维记忆调制生成模型输出的盲修复后的目标人脸图像，之后还包括：
将所述目标人脸图像与所述待修复图像中的背景区域进行融合，对所述待修复图像进行修复。
根据本发明提供的一种人脸图像盲修复方法，所述第一类人脸图像样本基于如下方式确定：
在所述第二类人脸图像样本上添加高斯模糊或运动模糊，得到模糊样本；
将所述模糊样本进行下采样处理，得到下采样样本；
在所述下采样样本上添加高斯噪声，得到噪声样本；
对所述噪声样本进行JPEG压缩，得到压缩样本；
将所述压缩样本进行上采样，得到上采样样本，并将所述上采样样本作为所述第一类人脸图像样本；
其中，所述上采样样本与所述待修复人脸图像的分辨率相同。
根据本发明提供的一种人脸图像盲修复方法，所述三维记忆调制生成模型基于如下方法训练得到：
根据待训练三维记忆调制生成模型中各节点的权重参数，对于任一第二类人脸图像样本以及对应的第一类人脸图像样本，计算所述待训练三维记忆调制生成模型所得到的目标损失函数值；
根据所述目标损失函数值以及求导链式法则，计算所述待训练三维记忆调制生成模型的目标损失函数对所述待训练三维记忆调制生成模型中所有节点的权重参数的偏导数；
根据所述偏导数，对所述待训练三维记忆调制生成模型中所有节点的权重参数进行更新；
更换所述任一第二类人脸图像样本，重复执行上述步骤，直到满足迭代条件，得到所述三维记忆调制生成模型。
根据本发明提供的一种人脸图像盲修复方法，所述目标损失函数包括对抗损失函数、像素级别损失函数、高层感知特征级别损失函数以及五官特征损失函数；
所述对抗损失函数用于计算所述任一第二类人脸图像样本与第一目标人脸图像样本之间的对抗差异；
所述像素级别损失函数用于计算所述任一第二类人脸图像样本与第一目标人脸图像样本之间像素级别的差异，以及所述任一第二类人脸图像样本与第二目标人脸图像样本之间像素级别的差异，所述第一目标人脸图像样本基于所述待训练三维记忆调制生成模型对所述任一第二类人脸图像样本对应的第一类人脸图像样本进行盲修复得到，所述第二目标人脸图像样本基于所述待训练三维记忆调制生成模型中的拓扑优化模块对所述任一第二类人脸图像样本对应的第一类人脸图像样本进行优化拓扑得到；
所述高层感知特征级别损失函数用于计算所述任一第二类人脸图像样本与所述第一目标人脸图像样本之间高层感知特征级别的差异；
所述五官特征损失函数用于计算所述任一第二类人脸图像样本与所述第一目标人脸图像样本之间五官区域特征级别的差异。
本发明还提供一种人脸图像盲修复系统，包括：
图像获取模块，用于获取待修复人脸图像；
盲修复模块，用于将所述待修复人脸图像输入至三维记忆调制生成模型，由所述三维记忆调制生成模型对所述待修复人脸图像进行盲修复，并得到所述三维记忆调制生成模型输出的盲修复后的目标人脸图像；
其中，所述三维记忆调制生成模型包括拓扑优化模块、小波记忆模块、通用先验模块以及三维记忆调制模块；所述拓扑优化模块用于提取所述待修复人脸图像中优化拓扑的多尺度空间特征；所述通用先验模块用于基于高斯噪声分布确定所述待修复人脸图像对应的多阶通用先验特征；所述小波记忆模块用于确定所述待修复人脸图像对应的小波高频编码；所述三维记忆调制模块用于将所述三维记忆调制模块中上一级记忆调制单元的输出特征作为当前记忆调制单元的输入特征，确定所述输入特征对应的原始注意力图；将所述多尺度空间特征、所述多阶通用先验特征以及所述小波高频编码作为特征调制的控制量，基于所述输入特征确定所述特征调制的控制量对应的层规范化层面的注意力图以及实例规范化层面的注意力图；并基于所述原始注意力图、所述层规范化层面的注意力图以及所述实例规范化层面的注意力图，对所述待修复人脸图像进行逐级调制，得到所述目标人脸图像；
所述三维记忆调制生成模型基于第一类人脸图像样本以及所述第一类人脸图像样本对应的第二类人脸图像样本训练得到，所述第一类人脸图像样本基于所述第二类人脸图像样本确定，且所述第一类人脸图像样本的图像质量低于所述第二类人脸图像样本的图像质量。
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述人脸图像盲修复方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述人脸图像盲修复方法的步骤。
本发明提供的人脸图像盲修复方法及系统，首先获取待修复人脸图像；然后将待修复人脸图像输入至三维记忆调制生成模型，由三维记忆调制生成模型对待修复人脸图像进行盲修复，并得到三维记忆调制生成模型输出的盲修复后的目标人脸图像。三维记忆调制生成模型中包含的三维记忆调制模块可以从拓扑优化、小波记忆以及通用先验这三个方面对待修复人脸图像进行调制，并引入层规范化层面以及实例规范化层面的特征融合，最终得到修复后的目标人脸图像。通过三维记忆调制生成模型，可以克服待修复人脸图像中可能包含的退化模式带来的不确定性，极大地提高了人脸图像盲修复的效果，使得人脸图像盲修复更加精准，得到的目标人脸图像的图像质量更高。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的人脸图像盲修复方法的流程示意图之一；
图2是本发明提供的人脸图像盲修复方法中三维记忆调制生成模型的结构示意图；
图3是本发明提供的人脸图像盲修复方法中三维记忆调制模块的结构示意图；
图4是本发明提供的人脸图像盲修复方法的流程示意图之二；
图5是本发明提供的人脸图像盲修复系统的结构示意图；
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
由于待修复人脸图像可能同时包含五官模糊、运动模糊、低分辨率、噪声、JPEG压缩等多种随机组合的退化模式，这种不确定性将极大地影响人脸图像盲修复的效果，增加可控高清人脸修复的难度。而且，人脸盲修复在异质人脸图像以及实际开放场景下泛化效果不佳，这给机器学习模型的鲁棒性和通用性带来了极大的挑战。其中，异质人脸图像是指不同方式、不同来源获得的不同分布域的人脸图像。为此，本发明实施例中提供了一种人脸图像盲修复方法。
图1为本发明实施例中提供的一种人脸图像盲修复方法的流程示意图，如图1所示，该方法包括：
S1，获取待修复人脸图像；
S2，将所述待修复人脸图像输入至三维记忆调制生成模型，由所述三维记忆调制生成模型对所述待修复人脸图像进行盲修复，并得到所述三维记忆调制生成模型输出的盲修复后的目标人脸图像；
其中，所述三维记忆调制生成模型包括拓扑优化模块、小波记忆模块、通用先验模块以及三维记忆调制模块；所述拓扑优化模块用于提取所述待修复人脸图像中优化拓扑的多尺度空间特征；所述通用先验模块用于基于高斯噪声分布确定所述待修复人脸图像对应的多阶通用先验特征；所述小波记忆模块用于确定所述待修复人脸图像对应的小波高频编码；所述三维记忆调制模块用于将所述三维记忆调制模块中上一级记忆调制单元的输出特征作为当前记忆调制单元的输入特征，确定所述输入特征对应的原始注意力图；将所述多尺度空间特征、所述多阶通用先验特征以及所述小波高频编码作为特征调制的控制量，基于所述输入特征确定所述特征调制的控制量对应的层规范化层面的注意力图以及实例规范化层面的注意力图；并基于所述原始注意力图、所述层规范化层面的注意力图以及所述实例规范化层面的注意力图，对所述待修复人脸图像进行逐级调制，得到所述目标人脸图像；
所述三维记忆调制生成模型基于第一类人脸图像样本以及所述第一类人脸图像样本对应的第二类人脸图像样本训练得到，所述第一类人脸图像样本基于所述第二类人脸图像样本确定，且所述第一类人脸图像样本的图像质量低于所述第二类人脸图像样本的图像质量。
具体地，本发明实施例中提供的人脸图像盲修复方法，其执行主体为服务器，该服务器可以是本地服务器，也可以是云端服务器，本地服务器具体可以是计算机等，本发明实施例中对此不作具体限定。
首先执行步骤S1，获取待修复人脸图像。其中，待修复人脸图像是指需要修复的人脸图像，待修复人脸图像通常为低质人脸图像。本发明实施例中，低质人脸图像可以包括拍摄时间较久远的人脸照片、失真人脸图像、低配置手机或相机拍摄的人脸照片等。一般情况下，低质人脸图像中包含有噪声、模糊、JPEG压缩等退化模式。另外，低质人脸图像的分辨率一般低于100px*100px。
然后执行步骤S2，将待修复人脸图像输入至三维记忆调制生成模型，通过三维记忆调制生成模型对待修复人脸图像进行盲修复，并输出盲修复后的目标人脸图像。其中，目标人脸图像可以是对待修复人脸图像进行盲修复得到的、图像质量高于待修复人脸图像的人脸图像，可以为高清人脸图像，即高质人脸图像。
如图2所示，三维记忆调制生成模型可以是生成对抗网络模型的生成器，具体可以包括拓扑优化模块21、小波记忆模块22、通用先验模块23以及三维记忆调制模块24，拓扑优化模块21、小波记忆模块22以及通用先验模块23均可以与三维记忆调制模块24连接。
通过拓扑优化模块21可以提取待修复人脸图像XLR中优化拓扑的多尺度空间特征。拓扑优化模块21可以包括编码器211和解码器212，通过编码器211可以对待修复人脸图像进行编码，得到待修复人脸图像的编码特征，通过解码器212可以对编码特征进行解码，得到优化拓扑的多尺度空间特征，多尺度空间特征可以表示为
Figure BDA0003232363780000081
n表示拓扑优化模块21的解码器212的上采样数量，图2中有n＝7。n取值不同，表示不同尺度，即多尺度空间特征包含有多个不同尺度的空间特征。通过解码器212还可以输出优化拓扑的粗糙修复人脸图像的预测结果XMR。然后，可以将优化拓扑的多尺度空间特征输入至三维记忆调制模块24。
通用先验模块23可以通过高斯噪声分布z确定待修复人脸图像对应的多阶通用先验特征。多阶通用先验特征可以表示为
Figure BDA0003232363780000082
每个/>
Figure BDA0003232363780000083
的维度可以为512。通用先验模块23可以先对高斯噪声分布z进行随机采样，得到噪声采样结果，并将噪声采样结果输入至潜码映射网络(Mapping Network)231进行特征解耦，解耦得到待修复人脸图像对应的多阶通用先验特征。然后，可以将多阶通用先验特征输入至三维记忆调制模块24。
小波记忆模块22可以将待修复人脸图像XLR通过预训练的ResNet18的pool5层得到空间特征查询向量query，简写为q。通过特征相似度排序K个最近邻(K-NearestNeighbor，KNN)样本，检索与q最相似的空间特征KS[t1](其中，t的下标越小，代表相似度越高)，得到与KS[t1]对应的小波高频特征VW[t1]，把VW[t1]作为待修复人脸图像XLR对应的小波高频编码ZW，其维度为765。小波高频编码ZW可以作为小波调制的控制量，对待修复人脸图像XLR进行小波调制。
在小波记忆模块22中，可以存储有小波高频特征(Wavelet Features)与空间特征(Spatial Features)之间的对应关系。该对应关系可以是在模型训练时通过第一类人脸图像样本XLR1的空间特征与第二类人脸图像样本XHR1的小波高频特征之间的特征相似度确定，本发明实施例中对此不作具体限定。在模型训练时，可以优化三元组损失函数：
LWMM＝max(<q,KS[tp]>-<q,KS[tn]>+m,0)
其中，<,>表示余弦相似度。KS[tp]为正类空间特征，KS[tn]为负类空间特征。三元组损失函数的边缘间隔m设为0.1，小波记忆单元数量设为982。
小波记忆模块在确定之后，可以将小波高频编码输入至三维记忆调制模块24。在小波记忆模块22中第一类人脸图像样本XLR1的空间特征可以表示为KS＝{KS[t1],KS[t2]…KS[ti]}，第二类人脸图像样本XHR1的小波高频特征可以表示为Vw＝{Vw[t1],Vw[t2]…Vw[ti]}。本发明实施例中，可以通过对第二类人脸图像样本进行Haar小波分解，得到小波系数，取高频小波系数，并进行自适应平均池化(Adaptive Average pooling)操作得到小波高频特征VW[ti]。
三维记忆调制模块24采用三维记忆调制机制，一方面可以使生成的高质量人脸图像与低质图像的身份信息和五官分布保持一致，另一方面可以有效恢复结构和纹理的高频细节，还可以抵御多种不确定的图像退化风险。利用三维记忆调制模块24可以得到优化拓扑调制、小波高频调制和通用先验调制对应的注意力图，然后在层规范化层面以及实例规范化层面进行特征加权调制。利用层规范化调制结果和实例规范化调制结果，基于未规范化特征映射得到的原始注意力图融合得到当前尺度的目标调制特征，渐进拓扑优化模块中解码器的所有空间尺度得到目标人脸图像。
本发明实施例中，三维记忆调制模块24可以将三维记忆调制模块中上一级记忆调制单元的输出特征作为当前记忆调制单元的输入特征，基于对输入特征进行处理可以确定输入特征对应的原始注意力图；将多尺度空间特征、多阶通用先验特征以及小波高频编码作为特征调制的控制量，基于输入特征确定特征调制的控制量对应的层规范化层面的注意力图以及实例规范化层面的注意力图。本发明实施例中，基于对输入特征进行规范化处理可以得到层规范化层面的注意力图，基于对输入特征进行实例规范化处理可以得到实例规范化层面的注意力图。此处，层规范化层面的注意力图以及实例规范化层面的注意力图均为通过特征调制的控制量进行加权调制时的权重。
通过原始注意力图、层规范化层面的注意力图以及实例规范化层面的注意力图，可以对待修复人脸图像进行调制，得到目标人脸图像。调制的方式可以是先通过各特征调制的控制量，对输入特征经规范化处理得到的规范化特征进行调制，得到反规范化特征。反规范化特征可以包括层反规范化特征以及实例反规范化特征，层反规范化特征可以包括多尺度空间特征对应的层反规范化特征、多阶通用先验特征对应的层反规范化特征以及小波高频编码对应的层反规范化特征，实例反规范化特征可以包括多尺度空间特征对应的实例反规范化特征、多阶通用先验特征对应的实例反规范化特征以及小波高频编码对应的实例反规范化特征。
然后将反规范化特征作为调制特征与层规范化层面的注意力图以及实例规范化层面的注意力图进行相乘加权，得到目标人脸图像。除此之外，也可以是其他方式的调制，本发明实施例中对此不作具体限定。
由于多尺度空间特征包含有多个不同尺度的空间特征，如图2所示，在三维记忆调制模块24中可以包含有针对于每一尺度的空间特征的记忆调制单元241。最终经过三维记忆调制模块24可以得到目标人脸图像XSR。
本发明实施例中，三维记忆调制生成模型可以通过第一类人脸图像样本以及第一类人脸图像样本对应的第二类人脸图像样本训练得到，第一类人脸图像样本可以是低质人脸图像样本，第二类人脸图像样本可以是高质人脸图像样本。即第一类人脸图像样本的图像质量低于第二类人脸图像样本的图像质量。第一类人脸图像样本可以通过第二类人脸图像样本经退化得到。
本发明实施例中提供的人脸图像盲修复方法，首先获取待修复人脸图像；然后将待修复人脸图像输入至三维记忆调制生成模型，由三维记忆调制生成模型对待修复人脸图像进行盲修复，并得到三维记忆调制生成模型输出的盲修复后的目标人脸图像。三维记忆调制生成模型中包含的三维记忆调制模块可以从拓扑优化、小波记忆以及通用先验这三个方面对待修复人脸图像进行调制，并引入层规范化层面以及实例规范化层面的特征融合，最终得到修复后的目标人脸图像。通过三维记忆调制生成模型，可以克服待修复人脸图像中可能包含的退化模式带来的不确定性，极大地提高了人脸图像盲修复的效果，使得人脸图像盲修复更加精准，得到的目标人脸图像的图像质量更高。
在上述实施例的基础上，本发明实施例中提供的人脸图像盲修复方法，所述三维记忆调制模块具体用于：
对所述输入特征进行卷积操作以及概率归一化操作，确定所述输入特征对应的原始注意力图；
将所述输入特征进行层规范化，得到层规范化特征，并对所述层规范化特征进行卷积操作以及概率归一化操作，确定所述输入特征对应的层规范化层面的注意力图；
将所述输入特征进行实例规范化，得到实例规范化特征，并对所述实例规范化特征进行卷积操作以及概率归一化操作，确定所述输入特征对应的实例规范化层面的注意力图。
具体地，本发明实施例中，三维记忆调制模块可以包括层规范化层、实例规范化层以及注意力层，通过层规范化层可以对各输入特征进行层规范化，得到层规范化特征。通过实例规范化层可以对各输入特征进行实例规范化，得到实例规范化特征。实例反规范化特征可以包括多尺度空间特征对应的实例反规范化特征、多阶通用先验特征对应的实例反规范化特征以及小波高频编码对应的实例反规范化特征。
通过注意力层，可以对各输入特征进行卷积操作以及概率归一化操作，得到第一类操作特征，通过第一类操作特征确定各输入特征对应的原始注意力图。通过注意力层，还可以对各层规范化特征进行卷积操作以及概率归一化操作，得到第二类操作特征，通过第二类操作特征确定各特征调制的控制量对应的层规范化层面的注意力图。通过注意力层，还可以对实例规范化特征进行卷积操作以及概率归一化操作，得到第三类操作特征，通过第三类操作特征确定所述特征调制的控制量对应的实例规范化层面的注意力图。
其中，卷积操作可以通过卷积层实现，概率归一化操作可以通过softmax函数或者sigmoid函数等激活函数实现。
本发明实施例中，通过三维记忆调制模块可以实现对原始注意力图、层规范化层面的注意力图以及实例规范化层面的注意力图的提取，可以便于后续的特征加权调制。
在上述实施例的基础上，本发明实施例中提供的人脸图像盲修复方法，三维记忆调制模块还具体用于：
基于所述层规范化层面的注意力图，采用所述特征调制的控制量，对所述层规范化特征进行加权调制，得到层调制特征；
基于所述实例规范化层面的注意力图，采用所述特征调制的控制量，对所述实例规范化特征进行加权调制，得到实例调制特征；
基于所述原始注意力图，对所述层调制特征以及所述实例调制特征进行加权融合，得到目标调制特征；
基于所述目标调制特征，得到所述目标人脸图像。
具体地，本发明实施例中，三维记忆调制模块还可以基于层规范化层面的注意力图，采用特征调制的控制量中的多尺度空间特征、多阶通用先验特征以及小波高频编码，对层规范化特征进行加权调制，得到层调制特征。如图3所示，输入特征hi经层规范化(LN)得到层规范化特征
Figure BDA0003232363780000121
对层规范化特征进行卷积操作以及概率归一化操作(Conv+softmax)，得到第二类操作特征，通过第二类操作特征确定出各特征调制的控制量对应的层规范化层面的注意力图，多尺度空间特征对应的层规范化层面的注意力图为/>
Figure BDA0003232363780000122
多阶通用先验特征对应的层规范化层面的注意力图为/>
Figure BDA0003232363780000123
小波高频编码对应的层规范化层面的注意力图为/>
Figure BDA0003232363780000124
通过层规范化层面的注意力图
Figure BDA0003232363780000125
采用多尺度空间特征/>
Figure BDA0003232363780000131
多阶通用先验特征/>
Figure BDA0003232363780000132
以及小波高频编码ZW，对层规范化特征/>
Figure BDA0003232363780000133
进行加权调制，得到层调制特征
Figure BDA0003232363780000134
其中，/>
Figure BDA0003232363780000135
通过卷积操作(Conv)分别得到/>
Figure BDA0003232363780000136
计算/>
Figure BDA0003232363780000137
与层规范化特征/>
Figure BDA0003232363780000138
的张量积，然后将张量积与/>
Figure BDA0003232363780000139
进行行加运算，得到多尺度空间特征对应的层反规范化特征/>
Figure BDA00032323637800001310
其中，/>
Figure BDA00032323637800001311
为用于反规范化的系数，且有/>
Figure BDA00032323637800001312
Figure BDA00032323637800001313
通过全连接(FullyConnected，FC)网络结构分别得到/>
Figure BDA00032323637800001314
计算/>
Figure BDA00032323637800001315
与层规范化特征/>
Figure BDA00032323637800001316
的张量积，然后将张量积与/>
Figure BDA00032323637800001317
进行加运算，得到多阶通用先验特征对应的层反规范化特征/>
Figure BDA00032323637800001318
其中，
Figure BDA00032323637800001319
为用于反规范化的系数，且有/>
Figure BDA00032323637800001320
ZW通过全连接(Fully Connected，FC)网络结构分别得到
Figure BDA00032323637800001321
计算/>
Figure BDA00032323637800001322
与层规范化特征/>
Figure BDA00032323637800001323
的张量积，然后将张量积与/>
Figure BDA00032323637800001324
进行加运算，得到小波高频编码对应的层反规范化特征/>
Figure BDA00032323637800001325
其中，/>
Figure BDA00032323637800001326
为用于反规范化的系数，且有/>
Figure BDA00032323637800001327
通过层规范化层面的注意力图
Figure BDA00032323637800001328
对/>
Figure BDA00032323637800001329
以及/>
Figure BDA00032323637800001330
进行加权调制，得到层调制特征/>
Figure BDA00032323637800001331
加权调制公式为：
Figure BDA00032323637800001332
三维记忆调制模块还可以基于实例规范化层面的注意力图，采用特征调制的控制量中的多尺度空间特征、多阶通用先验特征以及小波高频编码，对实例规范化特征进行加权调制，得到实例调制特征。如图3所示，输入特征hi经实例规范化(IN)得到实例规范化特征
Figure BDA00032323637800001333
对实例规范化特征进行卷积操作以及概率归一化操作(Conv+sigmoid)，得到第三类操作特征，通过第三类操作特征确定出各特征调制的控制量对应的实例规范化层面的注意力图，多尺度空间特征对应的实例规范化层面的注意力图为/>
Figure BDA0003232363780000141
多阶通用先验特征对应的实例规范化层面的注意力图为/>
Figure BDA0003232363780000142
小波高频编码对应的实例规范化层面的注意力图为
Figure BDA0003232363780000143
通过实例规范化层面的注意力图
Figure BDA0003232363780000144
采用多尺度空间特征/>
Figure BDA0003232363780000145
多阶通用先验特征/>
Figure BDA0003232363780000146
以及小波高频编码ZW，对实例规范化特征/>
Figure BDA0003232363780000147
进行加权调制，得到实例调制特征/>
Figure BDA0003232363780000148
其中，/>
Figure BDA0003232363780000149
通过卷积操作(Conv)分别得到/>
Figure BDA00032323637800001410
计算/>
Figure BDA00032323637800001411
与实例规范化特征/>
Figure BDA00032323637800001412
的张量积，然后将张量积与/>
Figure BDA00032323637800001413
进行加运算，得到多尺度空间特征对应的实例反规范化特征
Figure BDA00032323637800001414
其中，/>
Figure BDA00032323637800001415
为用于反规范化的系数，且有/>
Figure BDA00032323637800001416
Figure BDA00032323637800001417
通过全连接(Fully Connected，FC)网络结构分别得到/>
Figure BDA00032323637800001418
计算/>
Figure BDA00032323637800001419
与实例规范化特征/>
Figure BDA00032323637800001420
的张量积，然后将张量积与/>
Figure BDA00032323637800001421
进行加运算，得到多阶通用先验特征对应的实例反规范化特征/>
Figure BDA00032323637800001422
其中，/>
Figure BDA00032323637800001423
Figure BDA00032323637800001424
为用于反规范化的系数，且有/>
Figure BDA00032323637800001425
ZW通过全连接(Fully Connected，FC)网络结构分别得到
Figure BDA00032323637800001426
计算/>
Figure BDA00032323637800001427
与实例规范化特征/>
Figure BDA00032323637800001428
的张量积，然后将张量积与/>
Figure BDA00032323637800001429
进行加运算，得到小波高频编码对应的实例反规范化特征/>
Figure BDA00032323637800001433
其中，/>
Figure BDA00032323637800001431
为用于反规范化的系数，且有
Figure BDA00032323637800001432
通过实例规范化层面的注意力图
Figure BDA0003232363780000151
对/>
Figure BDA0003232363780000152
以及/>
Figure BDA00032323637800001510
进行加权调制，得到实例调制特征/>
Figure BDA0003232363780000153
加权调制公式为：
Figure BDA0003232363780000154
三维记忆调制模块还可以根据原始注意力图
Figure BDA0003232363780000155
对层调制特征/>
Figure BDA0003232363780000156
以及实例调制特征/>
Figure BDA0003232363780000157
进行加权调制，得到目标调制特征Hi。其中，原始注意力图/>
Figure BDA0003232363780000158
是由输入特征hi经卷积操作以及概率归一化操作(Conv+sigmoid)，得到第一类操作特征，并通过第一类操作特征得到。加权调制公式为：
Figure BDA0003232363780000159
最后，根据所有的目标调制特征即可确定最终的目标人脸图像。
本发明实施例中，三维记忆调制模块可以结合输入特征中的多尺度空间特征、多阶通用先验特征以及小波高频编码，并引入加权调制，可以得到最终的目标调制特征，该目标调制特征是滤除了噪声特征且细化了待修复人脸图像中的模糊区域，保证了盲修复后的目标人脸图像的高图像质量。
在上述实施例的基础上，本发明实施例中提供的人脸图像盲修复方法，所述待修复人脸图像从包含有背景区域的待修复图像中提取得到；
相应地，所述得到所述三维记忆调制生成模型输出的盲修复后的目标人脸图像，之后还包括：
将所述目标人脸图像与所述待修复图像中的背景区域进行融合，对所述待修复图像进行修复。
具体地，本发明实施例中，获取待修复人脸图像的步骤可以包括：
获取待修复图像，该待修复图像中包含有待修复人脸图像以及背景区域；
对所述待修复图像进行人脸检测，确定所述待修复图像中的待修复人脸图像，并根据所述待修复人脸图像对待修复图像进行裁切与对齐，得到待修复人脸图像。
相应地，在得到三维记忆调制生成模型输出的盲修复后的目标人脸图像之后，还可以将目标人脸图像与待修复图像中的背景区域进行融合，以实现对待修复图像进行修复，使得待修复图像中的人脸区域高质量显示。
由于现有的低质人脸没有与之匹配的高质人脸作为真值进行成对数据训练，或高质人脸没有与之匹配的低质人脸进行成对数据训练。为此导致三维记忆调制生成模型训练时采用的训练样本无法顺利获取，导致三维记忆调制生成模型的训练过程无法顺利进行。
为此，在上述实施例的基础上，本发明实施例中提供的人脸图像盲修复方法，所述第一类人脸图像样本基于如下方式确定：
在所述第二类人脸图像样本上添加高斯模糊或运动模糊，得到模糊样本；
将所述模糊样本进行下采样处理，得到下采样样本；
在所述下采样样本上添加高斯噪声，得到噪声样本；
对所述噪声样本进行JPEG压缩，得到压缩样本；
将所述压缩样本进行上采样，得到上采样样本，并将所述上采样样本作为所述第一类人脸图像样本；
其中，所述上采样样本与所述待修复人脸图像的分辨率相同。
具体地，本发明实施例中，三维记忆调制生成模型训练时采用的第一类人脸图像样本可以通过如下方式确定：
首先，在第二类人脸图像样本上添加高斯模糊或运动模糊，得到模糊样本。其中，高斯模糊或运动模糊可以是随机模糊核的高斯模糊或运动模糊。
然后，将模糊样本进行下采样处理，得到下采样样本。其中，下采样处理时可以采用随机倍率。
然后，在下采样样本上添加高斯噪声，得到噪声样本。其中，高斯噪声可以是随机高斯噪声。
然后，对噪声样本进行JPEG压缩，得到压缩样本。其中，JPEG压缩时可以采用随机压缩率。
最后，将压缩样本进行上采样到待修复人脸图像的分辨率，即上采样得到的上采样样本与待修复人脸图像的分辨率相同。此时，将上采样样本作为与该第二类人脸图像样本对应的第一类人脸图像样本。
第一类人脸图像样本的确定公式可以表示为：
Figure BDA0003232363780000171
其中，kG表示高斯模糊核，G∈{1:5}。kM表示运动模糊核，r为下采样比率，nσ为高斯噪声，JPEG压缩质量q的取值范围分别为：{2：12}，{1：15}，{40：80}。
本发明实施例中，对于三维记忆调制生成模型训练时采用的第一类人脸图像样本，引入了高斯模糊或运动模糊、高斯噪声、JPEG压缩等退化模式，可以使通过第一类人脸图像样本以及对应的第二类人脸图像样本训练得到的三维记忆调制生成模型可以考虑各种退化模式的干扰，保证盲修复得到的目标人脸图像的高质量。
在上述实施例的基础上，本发明实施例中提供的人脸图像盲修复方法，所述三维记忆调制生成模型基于如下方法训练得到：
根据待训练三维记忆调制生成模型中各节点的权重参数，对于任一第二类人脸图像样本以及对应的第一类人脸图像样本，计算所述待训练三维记忆调制生成模型所得到的目标损失函数值；
根据所述目标损失函数值以及求导链式法则，计算所述待训练三维记忆调制生成模型的目标损失函数对所述待训练三维记忆调制生成模型中所有节点的权重参数的偏导数；
根据所述偏导数，对所述待训练三维记忆调制生成模型中所有节点的权重参数进行更新；
更换所述任一第二类人脸图像样本，重复执行上述步骤，直到满足迭代条件，得到所述三维记忆调制生成模型。
具体地，本发明实施例中，三维记忆调制生成模型可以通过如下方法训练得到：
步骤一，对待训练三维记忆调制生成模型中各节点的权重参数进行初始化；
步骤二，计算优化拓扑的人脸图像的前向损失；根据优化拓扑模块的权重参数，对于随机抽取的任一第一类人脸图像样本以及对应的第二类人脸图像样本，计算优化拓扑模块所得到的损失函数值；
步骤三：计算修复人脸图像的前向损失；根据待训练三维记忆调制生成模型中各节点的权重参数，对于随机抽取的任一第二类人脸图像样本以及对应的第一类人脸图像样本，计算待训练三维记忆调制生成模型所得到的目标损失函数值；
步骤四：计算反向传播梯度；根据所得到的目标损失函数值以及求导链式法则，计算待训练三维记忆调制生成模型的目标损失函数LRMM对待训练三维记忆调制生成模型中所有节点的权重参数ω的偏导数
Figure BDA0003232363780000181
步骤五：利用ADAM优化算法，根据步骤四中所求的偏导数
Figure BDA0003232363780000182
对待训练三维记忆调制生成模型中所有节点的权重进行更新；
步骤六：重新选择另一第二类人脸图像样本以及对应的第一类人脸图像样本，重复步骤二至步骤五，直到满足迭代条件，得到训练好的三维记忆调制生成网络模型。其中，迭代条件可以是目标损失函数收敛。
本发明实施例中，给出了三维记忆调制生成模型的训练过程，其实质是利用真实的高质人脸图像和待训练三维记忆调制生成模型预测的修复人脸图像之间的差异，通过梯度反向传播对待训练三维记忆调制生成模型中的权重参数进行调整，进而得到训练好的三维记忆调制生成网络模型，可以保证训练得到的三维记忆调制生成模型的盲修复效果。
在上述实施例的基础上，本发明实施例中提供的人脸图像盲修复方法，所述目标损失函数包括对抗损失函数、像素级别损失函数、高层感知特征级别损失函数以及五官特征损失函数；
所述对抗损失函数用于计算所述任一第二类人脸图像样本与第一目标人脸图像样本之间的对抗差异；
所述像素级别损失函数用于计算所述任一第二类人脸图像样本与第一目标人脸图像样本之间像素级别的差异，以及所述任一第二类人脸图像样本与第二目标人脸图像样本之间像素级别的差异，所述第一目标人脸图像样本基于所述待训练三维记忆调制生成模型对所述任一第二类人脸图像样本对应的第一类人脸图像样本进行盲修复得到，所述第二目标人脸图像样本基于所述待训练三维记忆调制生成模型中的拓扑优化模块对所述任一第二类人脸图像样本对应的第一类人脸图像样本进行优化拓扑得到；
所述高层感知特征级别损失函数用于计算所述任一第二类人脸图像样本与所述第一目标人脸图像样本之间高层感知特征级别的差异；
所述五官特征损失函数用于计算所述任一第二类人脸图像样本与所述第一目标人脸图像样本之间五官区域特征级别的差异。
具体地，本发明实施例中，为了保证恢复清晰人脸图像的保真度，本发明在训练时加入了全局保真损失和局部保真损失。即用于梯度反向传播的目标损失函数包括四个部分：第一部分是对抗损失函数，用于预测盲修复的高质人脸图像与输入的高质人脸图像样本之间的对抗差异；第二部分是像素级别损失函数，用于预测盲修复的高质人脸图像与输入的高质人脸图像样本之间像素级别的差异，以及重建的优化拓扑的人脸图像与输入的高质人脸图像样本之间像素级别的差异；第三部分是高层感知特征级别损失函数，用于预测盲修复的高质人脸图像与输入的高质人脸图像样本之间高层感知特征级别的差异；第四部分是五官特征损失函数，用于预测盲修复的高质人脸图像与输入的高质人脸图像样本之间五官区域级别的差异。
其中，第二部分的像素级别损失函数可以包括修复图像一致性损失函数以及拓扑优化损失函数。对抗损失函数、修复图像一致性损失函数、拓扑优化损失函数以及高层感知特征级别损失函数均表征全局保真损失，五官特征损失函数表征局部保真损失。
对抗损失函数用于学习高质量人脸图像的真实数据分布。
像素级别损失函数用于重建高质量人脸图像的像素分布。
高层感知特征级别损失函数用于拟合高阶特征分布。
五官特征损失函数用于细粒度的拟合人脸五官部位的高阶特征分布。
目标损失函数可以表示为：
Figure BDA0003232363780000191
其中，LRMM为目标损失函数，Ladv＝LGAN(GY,DY)为对抗损失函数，
Figure BDA0003232363780000192
为修复图像一致性损失函数，
Figure BDA0003232363780000201
为拓扑优化损失函数，/>
Figure BDA0003232363780000202
Figure BDA0003232363780000203
为高层感知特征级别损失函数，
Figure BDA0003232363780000204
为五官特征损失函数，λrec,/>
Figure BDA0003232363780000205
λVGG和λcCX均为权重参数；GY为记忆调制网络中生成器(即三维记忆调制生成模型)的参数，DY为第二类人脸图像样本域的判别器参数，x为输入的第一类人脸图像样本，y为输入的第二类人脸图像样本，Pdata(y)为第二类人脸图像样本的分布，GY(x)为盲修复的第一目标人脸图像样本，Gmr(x)为拓扑优化模块重建的第二目标人脸图像样本，||.||2为矩阵的/>
Figure BDA0003232363780000206
范数，/>
Figure BDA0003232363780000207
为图像高阶特征提取器，N为高阶特征层总数，/>
Figure BDA0003232363780000208
为图像非对齐高阶特征提取器，l为VGG19网络的激活层ReLU{3_2,4_2}，E(.)为期望。图像非对齐高阶特征可以包括眼睛、鼻子和嘴部等区域的感知特征。
特别地，对抗损失函数
Figure BDA0003232363780000209
Figure BDA00032323637800002010
Pdata(x)为第一类人脸图像样本的分布。
如图4所示，为本发明实施例中提供的人脸图像盲修复方法的完整流程示意图。先准备训练数据，然后在待训练三维记忆调制生成模型中引入通用先验记忆、小波高频记忆以及优化拓扑记忆，最后通过训练数据对待训练三维记忆调制生成模型进行训练，得到可以用于人脸盲修复的三维记忆调制生成模型。对于任一低质人脸图像，可以将该任一低质人脸图像输入至训练好的三维记忆调制生成模型，可以得到该任一低质人脸图像对应的高质人脸图像。
为了验证本发明的有效性，将本发明实施例中提供的人脸图像盲修复方法应用到一个低质人脸图像的盲修复任务。为了得到三维记忆调制生成模型，使用FFHQ数据库中清晰、高质人脸图像及其退化的低质人脸图像作为数据集，并将其分为训练集和测试集，对待训练三维记忆调制生成模型进行训练，直至目标损失函数收敛。
为了测试该训练好的三维记忆调制生成模型的有效性，将三维记忆调制生成模型应用到CelebA-HQ、VGGFACE2和LFW的测试集中。其中，CelebA-HQ和VGGFACE2输入的低质人脸图像由高质人脸图像经退化模式得到。低质人脸图像的保真度如表1第一行所示。盲修复的目标人脸图像的保真度如表1第二行所示，体现了通过三维记忆调制生成模型盲修复的目标人脸图像具有良好的视觉效果，表明三维记忆调制对图像修复具有很大的积极影响。表1中保真度(FID)的取值越小，表示保真效果越好。
表1保真度对比结果表
图像 CelebA-HQ VGGFACE2 LFW
低质人脸图像 175.13 137.36 131.43
目标人脸图像 71.88 36.47 54.21
综上所述，利用高质特征调制修复清晰人脸图像并提高低质人脸图像的保真度，本发明实施例提出了一种基于三维记忆调制的人脸图像盲修复方法。为了自适应地修复高保真人脸图像，本发明实施例训练一个可以从开放场景低质人脸图像进化出清晰、高质人脸图像的三维记忆调制生成模型。本发明实施例使用基于特征调制的生成对抗网络修复人脸图像，并利用多尺度判别的优点。为了使得修复的人脸图像能够实现全局结构的保真，在特征调制时加入优化拓扑记忆。为了恢复高分辨率人脸的纹理细节，本发明引入了小波高频记忆，利用记忆模块中检索的高频小波先验帮助推理图像高频细节。为了抵御其他未知退化模式(高斯模糊、运动模糊、噪声、压缩等)，本发明引入了由高斯噪声构成的通用先验记忆，实现自适应图像进化。
本发明采用了三维记忆调制作为学习框架的主体，利用其具有处理开放场景数据和有效学习样本分布的特点。在训练目标函数上，结合对抗损失，非对齐上下文纹理损失，人脸重建损失和高阶感知保持损失，进而学习从不确定退化模式的低质人脸图像到清晰人脸图像之间的复杂非线性变换。所采用的方法能利用非配对的数据有效地从低质人脸图像中恢复出清晰人脸图像，且在恢复的过程中保持人脸拓扑与纹理信息的相对稳定。
如图5所示，在上述实施例的基础上，本发明实施例中提供了一种人脸图像盲修复系统，包括：
图像获取模块51，用于获取待修复人脸图像；
盲修复模块52，用于将所述待修复人脸图像输入至三维记忆调制生成模型，由所述三维记忆调制生成模型对所述待修复人脸图像进行盲修复，并得到所述三维记忆调制生成模型输出的盲修复后的目标人脸图像；
其中，所述三维记忆调制生成模型包括拓扑优化模块、小波记忆模块、通用先验模块以及三维记忆调制模块；所述拓扑优化模块用于提取所述待修复人脸图像中优化拓扑的多尺度空间特征；所述通用先验模块用于基于高斯噪声分布确定所述待修复人脸图像对应的多阶通用先验特征；所述小波记忆模块用于确定所述待修复人脸图像对应的小波高频编码；所述三维记忆调制模块用于将所述三维记忆调制模块中上一级记忆调制单元的输出特征作为当前记忆调制单元的输入特征，确定所述输入特征对应的原始注意力图；将所述多尺度空间特征、所述多阶通用先验特征以及所述小波高频编码作为特征调制的控制量，基于所述输入特征确定所述特征调制的控制量对应的层规范化层面的注意力图以及实例规范化层面的注意力图；并基于所述原始注意力图、所述层规范化层面的注意力图以及所述实例规范化层面的注意力图，对所述待修复人脸图像进行逐级调制，得到所述目标人脸图像；
所述三维记忆调制生成模型基于第一类人脸图像样本以及所述第一类人脸图像样本对应的第二类人脸图像样本训练得到，所述第一类人脸图像样本基于所述第二类人脸图像样本确定，且所述第一类人脸图像样本的图像质量低于所述第二类人脸图像样本的图像质量。
在上述实施例的基础上，本发明实施例中提供的人脸图像盲修复系统，所述三维记忆调制模块具体用于：
对所述输入特征进行卷积操作以及概率归一化操作，确定所述输入特征对应的原始注意力图；
将所述输入特征进行层规范化，得到层规范化特征，并对所述层规范化特征进行卷积操作以及概率归一化操作，确定所述层规范化层面的注意力图；
将所述输入特征进行实例规范化，得到实例规范化特征，并对所述实例规范化特征进行卷积操作以及概率归一化操作，确定所述实例规范化层面的注意力图。
在上述实施例的基础上，本发明实施例中提供的人脸图像盲修复系统，所述三维记忆调制模块还具体用于：
基于所述层规范化层面的注意力图，采用所述特征调制的控制量，对所述层规范化特征进行加权调制，得到层调制特征；
基于所述实例规范化层面的注意力图，采用所述特征调制的控制量，对所述实例规范化特征进行加权调制，得到实例调制特征；
基于所述原始注意力图，对所述层调制特征以及所述实例调制特征进行加权融合，得到目标调制特征；
基于所述目标调制特征，得到所述目标人脸图像。
在上述实施例的基础上，本发明实施例中提供的人脸图像盲修复系统，所述待修复人脸图像从包含有背景区域的待修复图像中提取得到；相应地，所述人脸图像盲修复系统还包括：
融合模块，用于将所述目标人脸图像与所述待修复图像中的背景区域进行融合，对所述待修复图像进行修复。
在上述实施例的基础上，本发明实施例中提供的人脸图像盲修复系统，还包括样本确定模块，用于：
在所述第二类人脸图像样本上添加高斯模糊或运动模糊，得到模糊样本；
将所述模糊样本进行下采样处理，得到下采样样本；
在所述下采样样本上添加高斯噪声，得到噪声样本；
对所述噪声样本进行JPEG压缩，得到压缩样本；
将所述压缩样本进行上采样，得到上采样样本，并将所述上采样样本作为所述第一类人脸图像样本；
其中，所述上采样样本与所述待修复人脸图像的分辨率相同。
在上述实施例的基础上，本发明实施例中提供的人脸图像盲修复系统，还包括训练模块，用于：
根据待训练三维记忆调制生成模型中各节点的权重参数，对于任一第二类人脸图像样本以及对应的第一类人脸图像样本，计算所述待训练三维记忆调制生成模型所得到的目标损失函数值；
根据所述目标损失函数值以及求导链式法则，计算所述待训练三维记忆调制生成模型的目标损失函数对所述待训练三维记忆调制生成模型中所有节点的权重参数的偏导数；
根据所述偏导数，对所述待训练三维记忆调制生成模型中所有节点的权重参数进行更新；
更换所述任一第二类人脸图像样本，重复执行上述步骤，直到满足迭代条件，得到所述三维记忆调制生成模型。
在上述实施例的基础上，本发明实施例中提供的人脸图像盲修复系统，所述目标损失函数包括对抗损失函数、像素级别损失函数、高层感知特征级别损失函数以及五官特征损失函数；
所述对抗损失函数用于计算所述任一第二类人脸图像样本与第一目标人脸图像样本之间的对抗差异；
所述像素级别损失函数用于计算所述任一第二类人脸图像样本与第一目标人脸图像样本之间像素级别的差异，以及所述任一第二类人脸图像样本与第二目标人脸图像样本之间像素级别的差异，所述第一目标人脸图像样本基于所述待训练三维记忆调制生成模型对所述任一第二类人脸图像样本对应的第一类人脸图像样本进行盲修复得到，所述第二目标人脸图像样本基于所述待训练三维记忆调制生成模型中的拓扑优化模块对所述任一第二类人脸图像样本对应的第一类人脸图像样本进行优化拓扑得到；
所述高层感知特征级别损失函数用于计算所述任一第二类人脸图像样本与所述第一目标人脸图像样本之间高层感知特征级别的差异；
所述五官特征损失函数用于计算所述任一第二类人脸图像样本与所述第一目标人脸图像样本之间五官区域特征级别的差异。
具体地，本发明实施例中提供的人脸图像盲修复系统中各模块的作用与上述方法类实施例中各步骤的操作流程是一一对应的，实现的效果也是一致的，具体参见上述实施例，本发明实施例中对此不再赘述。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行上述各实施例提供的人脸图像盲修复方法，该方法包括：获取待修复人脸图像；将所述待修复人脸图像输入至三维记忆调制生成模型，由所述三维记忆调制生成模型对所述待修复人脸图像进行盲修复，并得到所述三维记忆调制生成模型输出的盲修复后的目标人脸图像；其中，所述三维记忆调制生成模型包括拓扑优化模块、小波记忆模块、通用先验模块以及三维记忆调制模块；所述拓扑优化模块用于提取所述待修复人脸图像中优化拓扑的多尺度空间特征；所述通用先验模块用于基于高斯噪声分布确定所述待修复人脸图像对应的多阶通用先验特征；所述小波记忆模块用于确定所述待修复人脸图像对应的小波高频编码；所述三维记忆调制模块用于将所述三维记忆调制模块中上一级记忆调制单元的输出特征作为当前记忆调制单元的输入特征，确定所述输入特征对应的原始注意力图；将所述多尺度空间特征、所述多阶通用先验特征以及所述小波高频编码作为特征调制的控制量，基于所述输入特征确定所述特征调制的控制量对应的层规范化层面的注意力图以及实例规范化层面的注意力图；并基于所述原始注意力图、所述层规范化层面的注意力图以及所述实例规范化层面的注意力图，对所述待修复人脸图像进行逐级调制，得到所述目标人脸图像；所述三维记忆调制生成模型基于第一类人脸图像样本以及所述第一类人脸图像样本对应的第二类人脸图像样本训练得到，所述第一类人脸图像样本基于所述第二类人脸图像样本确定，且所述第一类人脸图像样本的图像质量低于所述第二类人脸图像样本的图像质量。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各实施例提供的人脸图像盲修复方法，该方法包括：获取待修复人脸图像；将所述待修复人脸图像输入至三维记忆调制生成模型，由所述三维记忆调制生成模型对所述待修复人脸图像进行盲修复，并得到所述三维记忆调制生成模型输出的盲修复后的目标人脸图像；其中，所述三维记忆调制生成模型包括拓扑优化模块、小波记忆模块、通用先验模块以及三维记忆调制模块；所述拓扑优化模块用于提取所述待修复人脸图像中优化拓扑的多尺度空间特征；所述通用先验模块用于基于高斯噪声分布确定所述待修复人脸图像对应的多阶通用先验特征；所述小波记忆模块用于确定所述待修复人脸图像对应的小波高频编码；所述三维记忆调制模块用于将所述三维记忆调制模块中上一级记忆调制单元的输出特征作为当前记忆调制单元的输入特征，确定所述输入特征对应的原始注意力图；将所述多尺度空间特征、所述多阶通用先验特征以及所述小波高频编码作为特征调制的控制量，基于所述输入特征确定所述特征调制的控制量对应的层规范化层面的注意力图以及实例规范化层面的注意力图；并基于所述原始注意力图、所述层规范化层面的注意力图以及所述实例规范化层面的注意力图，对所述待修复人脸图像进行逐级调制，得到所述目标人脸图像；所述三维记忆调制生成模型基于第一类人脸图像样本以及所述第一类人脸图像样本对应的第二类人脸图像样本训练得到，所述第一类人脸图像样本基于所述第二类人脸图像样本确定，且所述第一类人脸图像样本的图像质量低于所述第二类人脸图像样本的图像质量。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的人脸图像盲修复方法，该方法包括：获取待修复人脸图像；将所述待修复人脸图像输入至三维记忆调制生成模型，由所述三维记忆调制生成模型对所述待修复人脸图像进行盲修复，并得到所述三维记忆调制生成模型输出的盲修复后的目标人脸图像；其中，所述三维记忆调制生成模型包括拓扑优化模块、小波记忆模块、通用先验模块以及三维记忆调制模块；所述拓扑优化模块用于提取所述待修复人脸图像中优化拓扑的多尺度空间特征；所述通用先验模块用于基于高斯噪声分布确定所述待修复人脸图像对应的多阶通用先验特征；所述小波记忆模块用于确定所述待修复人脸图像对应的小波高频编码；所述三维记忆调制模块用于将所述三维记忆调制模块中上一级记忆调制单元的输出特征作为当前记忆调制单元的输入特征，确定所述输入特征对应的原始注意力图；将所述多尺度空间特征、所述多阶通用先验特征以及所述小波高频编码作为特征调制的控制量，基于所述输入特征确定所述特征调制的控制量对应的层规范化层面的注意力图以及实例规范化层面的注意力图；并基于所述原始注意力图、所述层规范化层面的注意力图以及所述实例规范化层面的注意力图，对所述待修复人脸图像进行逐级调制，得到所述目标人脸图像；所述三维记忆调制生成模型基于第一类人脸图像样本以及所述第一类人脸图像样本对应的第二类人脸图像样本训练得到，所述第一类人脸图像样本基于所述第二类人脸图像样本确定，且所述第一类人脸图像样本的图像质量低于所述第二类人脸图像样本的图像质量。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种人脸图像盲修复方法，其特征在于，包括：
获取待修复人脸图像；
将所述待修复人脸图像输入至三维记忆调制生成模型，由所述三维记忆调制生成模型对所述待修复人脸图像进行盲修复，并得到所述三维记忆调制生成模型输出的盲修复后的目标人脸图像；
其中，所述三维记忆调制生成模型包括拓扑优化模块、小波记忆模块、通用先验模块以及三维记忆调制模块；所述拓扑优化模块用于提取所述待修复人脸图像中优化拓扑的多尺度空间特征；所述通用先验模块用于基于高斯噪声分布确定所述待修复人脸图像对应的多阶通用先验特征；所述小波记忆模块用于确定所述待修复人脸图像对应的小波高频编码；所述三维记忆调制模块用于将所述三维记忆调制模块中上一级记忆调制单元的输出特征作为当前记忆调制单元的输入特征，确定所述输入特征对应的原始注意力图；将所述多尺度空间特征、所述多阶通用先验特征以及所述小波高频编码作为特征调制的控制量，基于所述输入特征确定所述特征调制的控制量对应的层规范化层面的注意力图以及实例规范化层面的注意力图；并基于所述原始注意力图、所述层规范化层面的注意力图以及所述实例规范化层面的注意力图，对所述待修复人脸图像进行逐级调制，得到所述目标人脸图像；
所述三维记忆调制生成模型基于第一类人脸图像样本以及所述第一类人脸图像样本对应的第二类人脸图像样本训练得到，所述第一类人脸图像样本基于所述第二类人脸图像样本确定，且所述第一类人脸图像样本的图像质量低于所述第二类人脸图像样本的图像质量；
所述三维记忆调制生成模型基于如下方法训练得到：
根据待训练三维记忆调制生成模型中各节点的权重参数，对于任一第二类人脸图像样本以及对应的第一类人脸图像样本，计算所述待训练三维记忆调制生成模型所得到的目标损失函数值；
根据所述目标损失函数值以及求导链式法则，计算所述待训练三维记忆调制生成模型的目标损失函数对所述待训练三维记忆调制生成模型中所有节点的权重参数的偏导数；
根据所述偏导数，对所述待训练三维记忆调制生成模型中所有节点的权重参数进行更新；
更换所述任一第二类人脸图像样本，重复执行上述的计算过程以及更新过程，直到满足迭代条件，得到所述三维记忆调制生成模型。
2.根据权利要求1所述的人脸图像盲修复方法，其特征在于，所述三维记忆调制模块具体用于：
对所述输入特征进行卷积操作以及概率归一化操作，确定所述输入特征对应的原始注意力图；
将所述输入特征进行层规范化，得到层规范化特征，并对所述层规范化特征进行卷积操作以及概率归一化操作，确定所述层规范化层面的注意力图；
将所述输入特征进行实例规范化，得到实例规范化特征，并对所述实例规范化特征进行卷积操作以及概率归一化操作，确定所述实例规范化层面的注意力图。
3.根据权利要求2所述的人脸图像盲修复方法，其特征在于，所述三维记忆调制模块还具体用于：
基于所述层规范化层面的注意力图，采用所述特征调制的控制量，对所述层规范化特征进行加权调制，得到层调制特征；
基于所述实例规范化层面的注意力图，采用所述特征调制的控制量，对所述实例规范化特征进行加权调制，得到实例调制特征；
基于所述原始注意力图，对所述层调制特征以及所述实例调制特征进行加权融合，得到目标调制特征；
基于所述目标调制特征，得到所述目标人脸图像。
4.根据权利要求1所述的人脸图像盲修复方法，其特征在于，所述待修复人脸图像从包含有背景区域的待修复图像中提取得到；
相应地，所述得到所述三维记忆调制生成模型输出的盲修复后的目标人脸图像，之后还包括：
将所述目标人脸图像与所述待修复图像中的背景区域进行融合，对所述待修复图像进行修复。
5.根据权利要求1所述的人脸图像盲修复方法，其特征在于，所述第一类人脸图像样本基于如下方式确定：
在所述第二类人脸图像样本上添加高斯模糊或运动模糊，得到模糊样本；
将所述模糊样本进行下采样处理，得到下采样样本；
在所述下采样样本上添加高斯噪声，得到噪声样本；
对所述噪声样本进行JPEG压缩，得到压缩样本；
将所述压缩样本进行上采样，得到上采样样本，并将所述上采样样本作为所述第一类人脸图像样本；
其中，所述上采样样本与所述待修复人脸图像的分辨率相同。
6.根据权利要求1所述的人脸图像盲修复方法，其特征在于，所述目标损失函数包括对抗损失函数、像素级别损失函数、高层感知特征级别损失函数以及五官特征损失函数；
所述对抗损失函数用于计算所述任一第二类人脸图像样本与第一目标人脸图像样本之间的对抗差异；
所述像素级别损失函数用于计算所述任一第二类人脸图像样本与第一目标人脸图像样本之间像素级别的差异，以及所述任一第二类人脸图像样本与第二目标人脸图像样本之间像素级别的差异，所述第一目标人脸图像样本基于所述待训练三维记忆调制生成模型对所述任一第二类人脸图像样本对应的第一类人脸图像样本进行盲修复得到，所述第二目标人脸图像样本基于所述待训练三维记忆调制生成模型中的拓扑优化模块对所述任一第二类人脸图像样本对应的第一类人脸图像样本进行优化拓扑得到；
所述高层感知特征级别损失函数用于计算所述任一第二类人脸图像样本与所述第一目标人脸图像样本之间高层感知特征级别的差异；
所述五官特征损失函数用于计算所述任一第二类人脸图像样本与所述第一目标人脸图像样本之间五官区域特征级别的差异。
7.一种人脸图像盲修复系统，其特征在于，包括：
图像获取模块，用于获取待修复人脸图像；
盲修复模块，用于将所述待修复人脸图像输入至三维记忆调制生成模型，由所述三维记忆调制生成模型对所述待修复人脸图像进行盲修复，并得到所述三维记忆调制生成模型输出的盲修复后的目标人脸图像；
其中，所述三维记忆调制生成模型包括拓扑优化模块、小波记忆模块、通用先验模块以及三维记忆调制模块；所述拓扑优化模块用于提取所述待修复人脸图像中优化拓扑的多尺度空间特征；所述通用先验模块用于基于高斯噪声分布确定所述待修复人脸图像对应的多阶通用先验特征；所述小波记忆模块用于确定所述待修复人脸图像对应的小波高频编码；所述三维记忆调制模块用于将所述三维记忆调制模块中上一级记忆调制单元的输出特征作为当前记忆调制单元的输入特征，确定所述输入特征对应的原始注意力图；将所述多尺度空间特征、所述多阶通用先验特征以及所述小波高频编码作为特征调制的控制量，基于所述输入特征确定所述特征调制的控制量对应的层规范化层面的注意力图以及实例规范化层面的注意力图；并基于所述原始注意力图、所述层规范化层面的注意力图以及所述实例规范化层面的注意力图，对所述待修复人脸图像进行逐级调制，得到所述目标人脸图像；
所述三维记忆调制生成模型基于第一类人脸图像样本以及所述第一类人脸图像样本对应的第二类人脸图像样本训练得到，所述第一类人脸图像样本基于所述第二类人脸图像样本确定，且所述第一类人脸图像样本的图像质量低于所述第二类人脸图像样本的图像质量；
还包括训练模块，用于：
根据待训练三维记忆调制生成模型中各节点的权重参数，对于任一第二类人脸图像样本以及对应的第一类人脸图像样本，计算所述待训练三维记忆调制生成模型所得到的目标损失函数值；
根据所述目标损失函数值以及求导链式法则，计算所述待训练三维记忆调制生成模型的目标损失函数对所述待训练三维记忆调制生成模型中所有节点的权重参数的偏导数；
根据所述偏导数，对所述待训练三维记忆调制生成模型中所有节点的权重参数进行更新；
更换所述任一第二类人脸图像样本，重复执行上述的计算过程以及更新过程，直到满足迭代条件，得到所述三维记忆调制生成模型。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述人脸图像盲修复方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述人脸图像盲修复方法的步骤。
CN202110990835.6A 2021-08-26 2021-08-26 人脸图像盲修复方法及系统 Active CN113763268B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110990835.6A CN113763268B (zh) 2021-08-26 2021-08-26 人脸图像盲修复方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110990835.6A CN113763268B (zh) 2021-08-26 2021-08-26 人脸图像盲修复方法及系统

Publications (2)

Publication Number Publication Date
CN113763268A CN113763268A (zh) 2021-12-07
CN113763268B true CN113763268B (zh) 2023-03-28

Family

ID=78791453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110990835.6A Active CN113763268B (zh) 2021-08-26 2021-08-26 人脸图像盲修复方法及系统

Country Status (1)

Country Link
CN (1) CN113763268B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511466B (zh) * 2022-02-21 2024-04-26 北京大学深圳研究生院 一种基于生成对抗网络先验的盲人脸图像复原方法
CN114862697A (zh) * 2022-04-10 2022-08-05 复旦大学 一种基于三维分解的人脸盲修复方法
CN114782291B (zh) * 2022-06-23 2022-09-06 中国科学院自动化研究所 图像生成器的训练方法、装置、电子设备和可读存储介质
CN116739923B (zh) * 2023-05-26 2024-08-06 哈尔滨工业大学 基于元学习框架的人脸区域引导的图像盲复原方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678252A (zh) * 2016-01-05 2016-06-15 安阳师范学院 依据人脸三角网格自适应细分和高斯小波的迭代插值方法
CN106198597B (zh) * 2016-07-04 2018-11-09 中国科学院自动化研究所 基于组织学和超高场磁共振技术的计算神经解剖处理方法
JP7322460B2 (ja) * 2019-03-29 2023-08-08 凸版印刷株式会社 情報処理装置、三次元モデルの生成方法、及びプログラム
CN111507914B (zh) * 2020-04-10 2023-08-08 北京百度网讯科技有限公司 人脸修复模型的训练方法、修复方法、装置、设备和介质
CN111612708B (zh) * 2020-05-06 2023-05-12 长沙理工大学 一种基于对抗生成网络的图像修复方法
CN112330574B (zh) * 2020-11-30 2022-07-12 深圳市慧鲤科技有限公司 人像修复方法、装置、电子设备及计算机存储介质
CN113066034B (zh) * 2021-04-21 2024-08-09 腾讯科技（深圳）有限公司 人脸图像的修复方法与装置、修复模型、介质和设备

Also Published As

Publication number Publication date
CN113763268A (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
CN113763268B (zh) 人脸图像盲修复方法及系统
CN108520503B (zh) 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法
CN111488865B (zh) 图像优化方法、装置、计算机存储介质以及电子设备
CN109035142B (zh) 一种对抗网络结合航拍图像先验的卫星图像超分辨方法
CN112541864A (zh) 一种基于多尺度生成式对抗网络模型的图像修复方法
CN113450288B (zh) 基于深度卷积神经网络单图像去雨方法、系统和存储介质
Vitoria et al. Semantic image inpainting through improved wasserstein generative adversarial networks
Zheng et al. T-net: Deep stacked scale-iteration network for image dehazing
CN113256508A (zh) 一种改进的小波变换与卷积神经网络图像去噪声的方法
CN113344804B (zh) 一种弱光图像增强模型的训练方法和弱光图像增强方法
CN115063318A (zh) 自适应频率分解的低光照图像增强方法与相关设备
Zhao et al. Rethinking deep face restoration
Liu et al. Facial image inpainting using multi-level generative network
CN114820303A (zh) 低清图像重建超分辨率人脸图像的方法、系统及存储介质
CN114998107A (zh) 一种图像盲超分辨网络模型、方法、设备及存储介质
CN110570375A (zh) 一种图像处理方法、装置、电子设置以及存储介质
Liu et al. X-gans: Image reconstruction made easy for extreme cases
López-Tapia et al. Variational deep atmospheric turbulence correction for video
CN113256519A (zh) 图像的恢复方法、设备、存储介质及程序产品
Wang et al. Real-World Atmospheric Turbulence Correction via Domain Adaptation
CN117078553A (zh) 一种基于多尺度深度学习的图像去雾方法
CN114862699B (zh) 基于生成对抗网络的人脸修复方法、装置及存储介质
CN111402173A (zh) 一种混合噪声去除方法、装置、电子设备和存储介质
CN116703750A (zh) 基于边缘注意力和多阶微分损失的图像去雾方法及系统
Baraha et al. Speckle removal using dictionary learning and pnp-based fast iterative shrinkage threshold algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant