CN114943656A - 一种人脸图像修复方法及系统 - Google Patents

一种人脸图像修复方法及系统 Download PDF

Info

Publication number
CN114943656A
CN114943656A CN202210608315.9A CN202210608315A CN114943656A CN 114943656 A CN114943656 A CN 114943656A CN 202210608315 A CN202210608315 A CN 202210608315A CN 114943656 A CN114943656 A CN 114943656A
Authority
CN
China
Prior art keywords
face
image
face image
picture
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210608315.9A
Other languages
English (en)
Other versions
CN114943656B (zh
Inventor
迟静
代福芸
陈玉妍
沈天舒
衣所超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Finance and Economics
Original Assignee
Shandong University of Finance and Economics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Finance and Economics filed Critical Shandong University of Finance and Economics
Priority to CN202210608315.9A priority Critical patent/CN114943656B/zh
Publication of CN114943656A publication Critical patent/CN114943656A/zh
Application granted granted Critical
Publication of CN114943656B publication Critical patent/CN114943656B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)

Abstract

本公开提供一种人脸图像修复方法及系统，修复模型由人脸图像编码器、人脸几何先验预测网络和GAN先验解码器构成；人脸图像编码器采用多尺度融合思想，保留输入人脸在不同尺度下的脸部信息；人脸几何先验预测网络获取人脸解析图表示的人脸几何先验信息，保证图像修复过程中对输入人脸身份信息的保持；GAN先验解码器引入GAN逆映射的思想，将一个训练好的带有丰富的人脸纹理先验知识的GAN嵌入到网络模型中，以重建高精度的人脸纹理信息；层特征分布损失函数引入对每一层特征空间里的特征向量分布情况及相互关系的约束，有效提升了整个模型的修复精度。

Description

一种人脸图像修复方法及系统
技术领域
本公开涉及图像修复技术领域，具体涉及一种人脸图像修复方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在 先技术。
人脸图像作为一类特殊的自然图像，一直是学者们关注的重要研究数据。 由于成像系统、记录设备、传输介质和处理方法等的不完善，人脸图像会产生 质量退化的问题，这些问题包括图片颜色和片段的丢失、分辨率降低以及脸部 纹理细节信息的缺失等。人脸图像修复旨在由一张低质量的人脸图像重建生成 一张高质量的人脸图像，以解决图像质量退化带来的各种问题。
早期的工作将对抗损失约束函数引入图像修复任务中，随着生成对抗网络 (GAN)的不断改进，很多工作都是结合GAN来完成图像修复的任务，但是这 些方法并不能很好地处理具有丰富复杂信息的人脸图像，例如，基于GAN网络 的人脸补全模型，加入两个辨别器，以保证生成的人脸图像中的局部信息和整 体信息的有效性，但该方法修复生成的人脸图片质量不高，存在伪影与纹理不 自然的问题；从高质量样本图像集中，选取一张在姿态和表情方面与输入人脸 最相近的图像作为指导，并对两张图片采用自适应空间特征融合，生成一张高 质量的图片，但最佳指导图像的选取过程非常复杂和耗时。
随着深度学习的发展，使用深度神经网络来对图像先验进行建模。DIP(DeepImage Prior)模型是其中具有代表性的工作之一，它通过在单张低质量的图像 上反复迭代来获取图像的先验信息，进而完成图像修复的任务。但是DIP具有 两方面的局限性：一是由于迭代很多次才能达到比较理想的修复效果，使得方 法的时间效率过低；二是由于局限在单张低质量图像上反复迭代，无法模拟图 像中更高维的信息，对丢失重要特征的人脸图像无法完成修复任务。PULSE模 型借助GAN逆映射的思想在潜在向量层面上优化重建图像与真实高分辨率图像 之间的差距，并通过多维高斯分布的特性缩小潜在向量的搜索范围，同时采用 下采样损失函数来优化潜在向量，以解决重建图像中细节模糊等现象。但这种基于优化隐向量的方法无法准确地重建出任意给定的真实场景中的图像。为平 衡DIP和PULSE的优缺点，DGP模型将两者结合，通过联合优化潜在向量和生 成器的权重参数，并使用平方差损失和感知损失来约束模型，完成图像修复的 任务。但由于PULSE与DGP均是通过优化输入图像的低维的潜在向量来生成高 分辨率图像，其难以保证重建生成的图像与原始输入图像的感知特征足够接近， 且需要较长的迭代时间来优化完成图像修复的任务。还有很多结合GAN先验思 想的工作，如，GLEAN模型采用Encoder-LatentBank-Decoder形式，使用一个 预训练好的生成器作为模型中的Latent Bank，为丰富重建图像的纹理和细节提供先验信息，但该方法处理的是人为下采样后类似马赛克的图片，无法很好地 处理自然退化的人脸图像。GPEN模型结合CNN和GAN的网络框架，训练一个 用于高质量人脸图像生成的GAN网络，并修改成多个GAN Block的形式，将其 嵌入到U型DNN中作为解码器，用于提供人脸图像先验信息。PSFR-GAN模型 通过语义感知样式转换模块(ST Block)以粗略到精细的方式重建人脸图像，并 加入语义感知的样式转换损失来约束模型，以生成更多的纹理细节信息，但是 训练不同尺度的ST Block的参数对的过程复杂，降低了模型的效率。目前基于深度学习和GAN先验思想的人脸图像修复研究不能很好的从一张低质量的输入 人脸图像中合理挖掘利用其潜藏的先验信息，使修复后的人脸图像的纹理细节 信息更加丰富，也不能很好的使得修复后的人脸图像保持给定的身份特征，显 得真实自然。
发明内容
本公开为了解决上述问题，提出了一种人脸图像修复方法及系统，引入几 何先验的思想，能够有效预测低质量输入人脸的几何信息，使得修复的人脸更 好的保留输入人脸的脸部几何特征。引入GAN先验的思想，可充分利用已训练好 的GAN中蕴含的丰富的脸部纹理信息，重建输入人脸的脸部细节。引入多尺度特 征融合思想，可整合输入人脸在不同尺度下蕴含的几何与纹理先验信息，进一 步提升人脸修复的质量。几何先验与纹理先验的结合，实现了对人脸几何特征 和纹理细节的高精度重建。新的层特征分布损失函数，可有效提升模型精度， 实现高质量的人脸图像修复。
根据一些实施例，本公开采用如下技术方案：
一种人脸图像修复方法，包括以下步骤：
采集低质量人脸图像数据并预处理；
获取一张待修复的低质量人脸图像，将所述待修复的低质量人脸图像数据 分别输入至人脸几何先验预测网络和多尺度人脸图像编码器中，获得人脸解析 图和人脸图片特征；
将所述人脸解析图和所述人脸图片特征融合后，输入至生成对抗网络先验 解码器，重建生成最终的人脸图片。
根据另一些实施例，本公开还采用如下技术方案：
一种人脸图像修复系统，包括：
图像采集模块，用于采集需要进行修复的低质量人脸图像数据并预处理；
图像特征提取模块，用于将低质量人脸图像数据分别输入至人脸几何先验 预测网络和多尺度人脸图像编码器中，获得人脸解析图和人脸图片特征；
人脸图像重建模块，用于将所述人脸解析图和所述人脸图片特征融合后， 输入至生成对抗网络先验解码器，重建生成最终的人脸图片；
训练模块，用于依次训练判别器和生成器，直到训练结束。
有益效果
与现有技术相比，本公开的有益效果为：
本公开模型可根据给定的低质量人脸图片，重建生成一张五官与发型轮廓 清晰、纹理细节丰富且与输入图片身份特征保持一致的高质量人脸图片。模型 引入几何先验的思想，设计的人脸解析图预测模块能够有效预测低质量输入人 脸的几何信息，使重建的人脸更好地保留输入人脸的脸部几何特征，实现对输 入人脸的身份特征的保持；解码器引入GAN先验的思想，利用已训练好的GAN 中蕴含的丰富的脸部纹理信息，重建输入人脸的脸部细节。几何先验与纹理先 验的结合，实现了对人脸几何特征和纹理细节的高精度修复。另外，模型中的 编码器引入多尺度的思想，通过整合输入人脸在不同尺度下蕴含的高维与低维 信息，更有效地保留输入人脸图片的特征，这些特征既包括几何特征，又包括 纹理特征，从而进一步提高人脸修复的质量。本公开还提出了新的层特征分布 损失函数，对每一层卷积层，通过将图像在不同通道得到的特征向量在整个特 征空间的分布情况以及它们之间的相互关系作为约束，有效提升了模型的精度， 从而实现高精度的人脸图像修复。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公 开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1是本公开提供的人脸图像修复网络模型结构图；
图2是本公开人脸图像修复方法流程图；
图3是本公开部分实验效果图；
图4是本公开消融实验部分效果图；
图5是本公开实例效果图。
具体实施方式：
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。 除非另有指明，本公开使用的所有技术和科学术语具有与本公开所属技术领域 的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图 限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确 指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说 明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、 组件和/或它们的组合。
实施例1
本公开提供一种人脸图像修复方法，包括以下步骤：
步骤1：采集低质量人脸图像数据并预处理；
步骤2：获取一张待修复的低质量人脸图像，将所述待修复的低质量人脸图 像分别输入至人脸几何先验预测网络和多尺度人脸图像编码器中，获得人脸解 析图和人脸图片特征；
步骤3：将所述人脸解析图和所述人脸图片特征融合后，输入至生成对抗网 络先验解码器，重建生成最终的人脸图片。
由图1所示，本公开的人脸图像修复网络模型包括三个部分：多尺度人脸 图像编码器，人脸几何先验预测网络和GAN先验解码器(生成对抗网络先验解 码器)，人脸图像编码器采用多尺度融合思想，以更多地保留低质量的输入人 脸在不同尺度下的脸部信息，人脸几何先验预测网络用于获取人脸解析图表示 的人脸几何先验信息，以保证图像修复过程中对输入人脸身份信息的保持。
GAN先验解码器引入GAN逆映射的思想，将一个训练好的带有丰富的人脸 纹理先验知识的GAN嵌入到网络模型中，以重建高精度的人脸纹理信息。
由图2所示，本公开方法实施的基本步骤为：对获取的图像的大小进行统 一，给定一张低质量人脸图像，首先，该图像分别通往人脸几何先验预测网络 和多尺度人脸图像编码器两个分支，其中，由人脸几何先验预测网络预测对应 的人脸解析图，由多尺度人脸图像编码器将输入的低质量人脸图像映射到潜在 空间，提取其不同尺度下的潜在特征，并融合得到人脸图片的特征向量；随后， GAN先验解码器将两个分支的结果结合起来作为输入，生成一张五官轮廓清晰， 脸部纹理细节丰富的高质量人脸图像，完成人脸图像修复任务。
如图1所示的本公开模型的训练实施过程，本公开模型主要包括两个编码 器和一个解码器，编码器分别为人脸几何先验预测网络和多尺度人脸图像编码 器，解码器为GAN先验解码器，模型的相关数据定义如下：
将模型中的多尺度人脸图像编码器记为Θ，人脸几何先验预测网络记为Ω， GAN先验解码器记为Ψ，给定一张低质量输入图片
Figure RE-GDA0003715113390000071
使用人 脸几何先验预测网络Ω提取输入人脸图片的几何信息p，使用多尺度人脸图像编 码器Θ将输入图片映射到一个潜在空间，提取输入图片的特征向量f，该过程记 为：p＝Ω(Ii),f＝Θ(Ii)。GAN先验解码器Ψ利用人脸图片的几何信息p和特征向 量f，将两者级联(即将两者串联拼接为一个向量)后作为输入，生成一张五 官轮廓清晰、脸部细节纹理丰富的高质量人脸图片
Figure RE-GDA0003715113390000072
完成人 脸图片修复的任务，该过程记为：Io＝Ψ(p,f)。下面详细介绍本公开网络模型的三个组成部分以及模型的损失函数。
多尺度人脸图像编码器
通常，从不同尺度的人脸图像中，可以获得不同的人脸特征信息，本公开 中的尺度并不是指图片的大小，而是指图片的模糊程度，当由近到远去观察一 张人脸图片时，图片的尺度会越来越大，图片会越来越模糊，人眼注意到的信 息也会从脸部的细节信息逐渐转移到脸部的轮廓、五官位置等更加简单的几何 信息。可见，人脸图像在不同的尺度下会呈现不同的脸部信息，尺度越小，图 片模糊程度越低，纹理细节信息越显著；尺度越大，图片模糊程度越高，几何 特征信息越显著，显然，合理利用不同尺度下的脸部信息对提升人脸修复的质 量有着非常重要的作用，基于上述，本公开提出的多尺度人脸图像编码器，采用多尺度特征融合思想，通过提取输入人脸在不同尺度下的特征并进行融合， 来更多更好的保留低质量输入人脸的几何和纹理信息，具体的实现过程为：
获取一张低质量的人脸图像，输入至多尺度人脸图像编码器中，所述多尺 度人脸图像编码器利用双三次插值方法将人脸图像分别放大4倍、6倍以及8倍， 得到原尺度图像、4倍尺度图像、6倍尺度图像和8倍尺度图像，将所述四种不 同尺度的人脸图像分别经过编码模块得到不同尺度下的人脸特征，然后将四种 人脸特征进行融合得到人脸图片特征。
给定一张低质量的输入人脸图片，多尺度人脸图像编码器Θ首先利用双三 次插值方法获得包括原尺度在内的四种不同尺度的人脸图片(即，将输入图片 尺度分别放大4、6、8倍)；然后，将四个不同尺度的图片分别通过模块Z，编 码得到不同尺度下的人脸特征向量，记为zk,k＝1,2,3,4；最后，将zk,k＝1,2,3,4四 个特征向量求和，得到最终的人脸图片特征向量f。其中，模块Z由首尾对称的 卷积层、池化层、正则层(Conv-BN-ReLU)和12个残差块(Residual block) 连接而成。其中的Residual blocks结构可有效避免梯度消失和梯度爆炸的问 题，从而保证模型良好的性能。
人脸几何先验预测网络
对于一张人脸图片，当其质量退化后，相比于纹理信息的局部或大量丢失， 人脸的脸部轮廓、五官位置等几何信息的丢失较少或很少，因此利用人脸图片 预测获取几何先验信息是可靠的。基于此，本公开加入人脸几何先验预测网络， 旨在获取低质量人脸图片的几何先验信息，用于指导人脸重建，从而使得重建 生成的人脸的五官位置、发型轮廓等特征信息可以很好地与输入的低质量图片 保持一致，继而保持输入人脸的身份特征，提高生成人脸的质量。如图1所示， 人脸几何先验预测网络由卷积层、池化层、正则层(Conv-BN-ReLU)、3个残差 块(Residual block)、以及一个沙漏(Hour-Glass)结构连接而成。沙漏结构由多个残差模块组成，它将不同卷积层得到的不同层次的人脸特征进行融合 (如，由低层卷积层得到的人脸轮廓等简单的低层次特征，由中间卷积层得到 的眼睛、鼻子、嘴等中间层次的语义特征，由高层卷积层得到的完整人脸等高 层次的特征)，生成最后的人脸解析图。由于高层次特征更多反映的是人脸上 各点的空间位置信息，低层次特征更多反映的是人脸的几何特征，因此，沙漏 结构的引入，可以使生成的人脸解析图，更多更好地保留输入人脸的几何特征 信息和空间信息。具体实现过程：将低质量人脸图片Ii输入人脸几何先验预测网 络Ω，依次经过Ω中的各模块，得到人脸轮廓和五官位置等信息，并形成一张人脸解析图p，该解析图即为人脸的几何先验信息，也可以表示成一维向量的形式。
GAN先验解码器
在人脸图像修复中，充分利用人脸图像的先验信息是优化图像修复质量的 一个重要思路。基于此，本公开摒弃传统方法中直接利用未训练的解码器来重 建人脸的思路，而是采用一个用高质量人脸图片训练后的GAN结构作为解码器， 以充分利用其中蕴含的丰富的人脸纹理先验信息，来优化重建图像的质量。由 于StyleGAN可以通过映射网络将隐含向量映射到一个更加解耦的空间，且通过 GAN逆映射可以生成纹理丰富的人脸图片，因此本公开的GAN先验解码器采用 StyleGAN结构，StyleGAN主要包含两个部分：一是映射网络(Mapping Network), 用于将GAN先验解码器的输入映射到一个更加解耦的空间，该空间是图像特征 空间的一个子集，其中的向量的相互关系更加线性；二是生成网络GAN,用于生成细节丰富的人脸图像。本公开按照StyleGAN的训练策略，预先用清晰的脸部 纹理丰富的高质量人脸图片来训练解码器。解码时，将人脸几何先验预测网络Ω 估计的人脸面部解析图p与多尺度编码器Θ获取的人脸图片特征向量f级联得 到的向量，作为GAN先验解码器Ψ的输入，首先将其通过映射网络的8个全连 接层，得到一个位于更加解耦的空间中的特征向量w，再将特征向量w输入至生 成网络GAN重建生成一张高质量人脸图片Io，完成整体的人脸图像修复任务。由 于GAN模型已事先利用纹理丰富的高质量人脸图片训练过，已学习到图片中丰 富的人脸纹理先验信息，利用该模型由向量w重建生成图片时，自然就结合了模 型中已蕴含的丰富的人脸纹理先验信息，从而提高了修复图像的质量。
这里，GAN先验解码器与两个编码器所构成的网络模型结构，使得方法可以 充分利用人脸的几何和纹理先验信息，从几何特征和纹理细节两个方面重建高 质量的人脸图片，从而实现高精度的人脸图像修复。其中，人脸几何先验预测 网络可以获取几何先验信息，确保人脸身份特征在重建过程中得以有效的保持。 但人脸几何先验预测网络不能很好地保留人脸的纹理信息，而GAN先验解码器 正好可以弥补人脸几何先验预测网络的不足，通过利用预训练好的GAN中隐含 的丰富的人脸纹理先验信息，实现对纹理细节的高精度重建。多尺度编码器可 以整合输入人脸在不同尺度下的特征，这些特征既包括几何特征，又包括纹理 特征，因此又进一步提高了重建人脸的质量。
依次训练判别器和生成器，直到训练结束，构建损失函数，并设定损失函 数的约束，损失函数由以下四项约束项构成：
(1)L2损失函数
给定一个训练集
Figure BDA0003672218760000111
其中，N是用于训练的人脸图片的数量，
Figure BDA0003672218760000112
是输入的低质量人脸图片,
Figure BDA0003672218760000113
分别是对应的真实的高质量人脸图片和真实 的人脸几何信息。L2损失函数用于计算修复生成的人脸几何信息与真实的人脸 几何信息的误差，以及修复生成的人脸图像与真实人脸图像的像素级误差，表 示如下：
Figure BDA0003672218760000114
其中，
Figure BDA0003672218760000115
表示由第k张输入人脸图片修复生成的人脸图片，p(k)表示由第k张 输入人脸图片预测生成的人脸几何信息。
(2)感知损失函数
该函数用于计算修复生成的人脸图片和真实人脸图片之间的感知误差，表 示如下：
LP＝||υ(Ig)-υ(Io)||2 (2)
其中，v(·)表示用VGG进行的特征提取操作，Io表示由模型修复生成的人 脸图片，Ig表示与输入人脸图片对应的真实的高质量人脸图片。
(3)对抗损失函数
用于平衡编码器和先验解码器的对抗损失函数定义如下：
Ladv＝E[logD(Ig,Ii)]+E[log(1-D(Ψ(Ω(Ii),Θ(Ii)))] (3)
其中，Ii，Ig分别表示输入的低质量人脸图片和与其对应的真实的高质量人 脸图片，Ψ(Ω(Ii),Θ(Ii))表示由输入人脸图片修复生成的高质量人脸图片。判别器 D则尝试区分真实高质量人脸图片和修复生成的高质量人脸图片。
(4)层特征分布损失函数
上述损失函数约束项考量了修复生成的人脸图片和真实人脸图片在人脸几 何特征之间的差异，以及在图像特征之间的差异，但没有考虑这些特征在整个 潜在特征空间的分布情况以及它们之间的相互关系。事实上，当利用卷积神经 网络的一个卷积层对一副图像进行特征提取时，由于存在多个通道，每个通道 都可以得到一个特征向量，不同通道描述了图像在不同方面的特征，这些特征 向量在它们所构成的特征空间(我们称为层特征空间)里是如何分布的，彼此 之间的相似性，以及相关性如何，都是对原始图像中多维度信息的重要反映， 也是判断图像之间是否具有共同特征的重要参照。因此，若修复生成的人脸图 片和真实人脸图片相同，当利用相同的卷积神经网络对它们提取特征时，它们 在每一层特征空间里的特征向量分布情况应该是一样的。基于此，本公开提出 了新的层特征分布损失函数。
由于本公开模型中的多尺度人脸图像编码器和人脸几何先验预测网络两个 模块均包含卷积神经网络结构，因此，对每一个模块，将考察修复生成的人脸 图片和真实人脸图片在每一层特征空间里的特征向量分布情况及相互关系的相 似程度，以尽可能减少修复的人脸图片和真实人脸图片在各个维度特征上的差 异。我们利用两个约束项来衡量这种差异，第一，借助直方图思想，衡量修复 的人脸图片和真实人脸图片经过每层卷积后得到的不同通道特征向量之间的相 似性。具体地，对修复的人脸图片和真实人脸图片，分别在各自的层特征空间 中，计算每一对不同通道特征向量之间的距离，得到一个距离矩阵，这里的距 离反映了特征之间的相似性，距离越小，特征越相似；然后计算该距离矩阵的 直方图，直方图反映了特征之间相似性大小的分布情况，即特征的分类情况， 显然，修复的人脸图片和真实人脸图片的距离矩阵的直方图应尽可能一致。第 二，借助协方差矩阵，衡量修复的人脸图片和真实人脸图片经过每层卷积后得 到的不同通道特征向量之间的相关性。每一对特征向量之间的协方差，反映了 两者之间是否相关以及相关性的强弱。由这些协方差构成的协方差矩阵不仅反 映了特征之间的相关性强弱的分布情况，即特征之间的潜在联系，也在一定程 度上反映了这些特征在整个特征空间的离散分布情况。显然，修复的人脸图片 和真实人脸图片的协方差矩阵应尽可能一致。具体地，层特征分布损失函数定义如下：
Figure BDA0003672218760000131
其中，前两项用于多尺度人脸图像编码器的层特征分布约束，注意，这里 只对原尺度的修复人脸图片和真实人脸图片做卷积，即只通过多尺度编码器的 第一个分支。这样操作即可以达到提高人脸修复精度的目的，又可以避免因过 多分支带来的算力消耗。后两项用于人脸几何先验预测网络的层特征分布约束。
N表示用于训练的人脸图片的数量，M1和M2分别表示多尺度人脸图像编码 器和人脸几何先验预测网络的卷积层数。对两个模块各自进行层特征分布约束 的原理是一样的：
Figure BDA0003672218760000132
和
Figure BDA0003672218760000133
分别表示将第k张修复的人脸图片
Figure BDA0003672218760000134
和其对应的真实 人脸图片
Figure BDA0003672218760000135
经过第l层卷积层后得到的各个通道的特征向量依次作为行向量所 构成的矩阵，称为特征图。D(U)表示对特征图U计算其距离矩阵，矩阵中的每 一项元素定义如下，
Di,j(U)＝||ui-uj||2,i,j＝1,2,...,T (5)
ui和uj为特征图U中的行向量，T表示通道数。H(·)表示对矩阵进行直方图 计算。
C(U)表示对特征图U计算其协方差矩阵，矩阵中的每一项元素定义如下，
Ci,j(U)＝σ(ui,uj),i,j＝1,2,...,T (6)
σ(ui,uj)表示对特征图U中任意两个行分量ui和uj，计算其协方差。T表示通 道数。
结合公式(1)-(4)，得到本公开模型的总目标函数Ltotal，表示如下：
Ltotal＝λL2LL2+λadvLadv+λPLP+λlayerLlayer (7)
其中，λL2、λadv、λP和λlayer分别是L2损失、对抗损失、感知损失函数和层 特征分布损失函数的权重参数。
实施例2
本公开提供了一种人脸图像修复系统，包括：
图像采集模块，用于采集需要进行修复的低质量人脸图像数据并预处理；
图像特征提取模块，用于将低质量人脸图像数据分别输入至人脸几何先验 预测网络和多尺度人脸图像编码器中，获得人脸解析图和人脸图片特征；
人脸图像重建模块，用于将所述人脸解析图和所述人脸图片特征融合后， 输入至生成对抗网络先验解码器，重建生成最终的人脸图片；
训练模块，用于依次训练判别器和生成器，直到训练结束。
上述模块具体执行如图2所示的流程方法步骤：
分别将低质量人脸图片输入到人脸几何预测网络和多尺度人脸图像编码器 中，由人脸几何预测网络预测对应的人脸解析图，由多尺度人脸图像编码器提 取不同尺度下的特征，并将提取的不同尺度下的图片特征融合，得到最终人脸 图片特征。将人脸解析图和最终人脸图片特征进行融合，一同输入到GAN先验 解码器中进行解码，得到重建生成的人脸图片。依次训练判别器和生成器，直 到训练的结束。
本公开给出实验所采用的数据集以及实现策略，以及给出在数据集上的视 觉对比和量化对比的实验结果。
数据集
本公开在Celeb_HQ数据集上进行测试实验，Celeb_HQ数据集包含在CelebA 数据集基础上获取的30000张高质量人脸图像，随机选取其中的2000张图片作 为测试数据，其余人脸图片作为训练数据来训练本公开模型，本公开使用双三 次插值方法获得低质量的图片作为输入图片Ii，使用GFC预测每张高质量图片的 人脸解析图作为真实的几何信息
Figure BDA0003672218760000151
实现
本公开在实施例1中所述的损失函数的约束下，使用RMSprop深度学习网 络优化算法优化本公开模型的所有模块，并将初始学习速率设为2.5×10-4，对模 型训练100个epochs，batch size为28，并将权重参数λL2、λadv、λP和λlayer分 别设为1、10-3、10-1和10-1。
视觉对比实验结果
本公开提供模型的修复效果测试实验，为验证模型各个部分作用的消融实 验，以及为验证本公开模型的优越性的对比实验，并直观呈现了视觉上的人脸 图像修复效果，以此表明该方法可以将低质量的人脸图片修复成五官及发型轮 廓清晰、脸部纹理细节丰富的高质量人脸图片。实验中所有人脸图片的尺寸调 整为128×128。
首先，为证明模型能够很好地实现高精度以及脸部身份特征保持的人脸修 复，采用CelebA-HQ数据集进行了大量实验，均得到了较好的人脸图片修复效 果。
图3展示了部分实验结果，其中，第(a)、(c)、(e)和(g)行均为 输入的低质量人脸图片，第(b)、(d)、(f)和(h)行则是与输入图片相 应的人脸修复效果图。可见，由本公开的模型修复生成的人脸不仅五官和发型 轮廓清晰、脸部纹理细节丰富，且修复后的人脸能够与低质量输入图片中的人 脸保持一致的身份特征信息(如面部及头发的轮廓、五官的位置等)。另外， 修复的人脸图像还能很好地保持低质量输入人脸图片的色调和光照信息。
其次，为了验证本公开模型中的人脸几何先验信息、以及多尺度特征融合 对人脸图片修复质量的增益，本公开设计了2项消融实验：第一项是将模型中 的人脸几何先验预测模块Ω去掉，形成一个基准模型baseline；第二项是去掉 人脸图像编码器Θ中的多尺度分支，仅使用低质量输入图片的原始尺度作为Θ的 输入。将这两项实验结果与采用本公开完整的模型结构得到的结果进行比较， 以证明人脸几何先验信息以及多尺度输入对重建人脸精确的几何特征和丰富的 细节信息具有重要的作用。图4展示了部分实验效果图，其中，第一列是目标 图片，即，真实的细节丰富的高质量人脸图片，第二列是输入的低质量人脸图 片，第三列至第五列分别是利用第一项消融实验、第二项消融实验和本公开完 整模型对输入人脸图片得到的修复效果图。由图4可见，加入人脸几何先验信 息和多尺度输入后的本公开模型，能够根据一张模糊的低质量人脸图片，重建 恢复出细节丰富、人物特征保持的高质量人脸图片。对比第三列和第五列的修 复效果可知，由基准模型(无人脸几何先验预测模块Ω)修复的人脸图片，其 发型与脸部五官的轮廓模糊不清晰，脸部过平滑、缺乏细节，而由完整模型修 复的人脸图片，其发型轮廓和脸部轮廓更加清晰，头发纹理更加丰富，脸部细 节(如眼睛部分、皱纹等)更加明显，且修复后的人脸身份特征也与目标图片中的真实人脸更加一致。这证明模型中添加的人脸几何先验信息能够有效提高 人脸修复的质量。对比最后两列的修复效果可知，利用加入多尺度输入的模型 修复人脸，其细节部分的恢复程度更高且更真实。如，第(a)-(c)行中矩形 框所示，加入多尺度输入后修复的人脸，其眼部与真实图片更加接近，头发的 细节更加丰富、还原度更高；第(d)行中矩形框所示，加入多尺度输入后修复 的人脸，其嘴部及周围的褶皱与真实图片更加接近；第(e)行中矩形框所示， 加入多尺度输入后修复的人脸，不仅眼部的还原度更高，头发剃出的条形图案 以及耳环都得到了较好程度的复原。
最后，为证明本公开方法在修复质量方面的优越性，将本公开方法与 SRResNet，GLEAN和FSRNet进行了对比。为保证实验的公平性，本公开在对比 实验中用同样的数据集训练四种方法的模型，并直观比较视觉上的人脸图像修 复效果，图5展示了其中一个实例。其中，列(1)和(2)分别是真实的高质 量人脸图片和输入的低质量人脸图片，列(3)-(6)分别是GLEAN、SRResNet、 FSRNet以及本公开模型修复生成的人脸效果图。GLEAN可以对类似马赛克效果 的图片处理得到较好的结果，但对于本公开中自然退化的低质量输入人脸图片， 修复生成的图片十分模糊，无法恢复人脸的细节信息，也无法保持人脸的身份 特征；SRResNet修复生成的人脸五官模糊，对脸部细节信息的还原度较低，且 部分人脸图片出现了噪音的情况；FSRNet方法可以恢复人脸的五官，但修复后 的人脸比较平滑，使得五官的细节与真实人脸有一定差距，且无法恢复人脸的 皱纹、褶皱、头发细节等纹理细节信息；而本公开方法生成的人脸图像不仅能 够保持给定人脸的身份特征，且修复后的人脸五官清晰，纹理细节丰富，更加 真实自然。图中用矩形框标注了这些方法在部分眼睛、嘴巴、耳朵、皱纹、头 发等细节处的修复差异，更清晰地展示出了本公开方法在修复质量上优于其他方法，也证实了本公开中采用的人脸几何和纹理先验信息对修复质量的提高有 增益效果。
量化对比实验结果
在上述修复效果的直观视觉比较的基础上，进一步对模型的实验结果进行 量化对比，以进一步评价和证明人脸修复方法的性能。
我们选择PSNR(Peak Signal to Noise Ratio，峰值信噪比)和SSIM (StructuralSimilarity，结构相似性)作为量化对比评价指标。具体地，使 用PSNR评价本公开方法与其他三种方法修复生成的图像与高质量的真实图像之 间的像素误差(PSNR值越大，误差越小)，使用SSIM来衡量各个方法修复生成 的图像和与其对应的真实图像之间的相似程度。
将CelebA-HQ数据集中随机选取的2000张测试图片作为低质量输入人脸图 片Ii，分别利用GLEAN、SRResNet、FSRNet以及本公开方法进行人脸图像修复操 作，得到各自的2000张重建图片Io，计算Io与对应的高质量的真实人脸图片Ig之 间的PSNR值和SSIM值(均为平均值)。表1列出了四种方法修复生成人脸图 像的PSNR值与SSIM值。为验证提出的层特征分布损失函数对提升整个模型精 度的有效性，我们又将本公开方法分为不带层特征分布损失函数和带特征分布 损失函数(即，完整方法)两种情况，分别计算了PSNR和SSIM值。可见，增 加层特征分布损失函数后，PSNR值与SSIM值都得到了提升，说明模型的修复精 度得到了提升。且所有方法中，本公开方法的PSNR值与SSIM值均为最大，说 明本公开方法修复合成的人脸图像质量更好。
表1不同方法的PSNR与SSIM评估结果
Figure BDA0003672218760000191
人脸图像修复是图像修复研究中的一类特殊问题，考虑到人眼的视觉特性 (人对自身是非常了解的，对修复生成的人脸图像中五官是否协调、人物身份 特征是否保持以及脸部细微差异的敏感度更高)，本公开在利用PSNR与SSIM 指标评估实验结果的基础上，进行了一次问卷调查研究，利用人的视觉评价去 评价人脸图片修复质量的高低。具体地，将GLEAN、SRResNet、FSRNet以及本 公开方法修复的人脸图片作为四个选项，40个答卷者根据修复图片中人脸五官 的清晰程度、脸部纹理的丰富度与真实感，以及对人物身份特征保持的感知， 来选择与参考图片Ig最为接近的选项，以此评估人脸图片修复的效果。表2展 示了问卷调查结果，每列四种方法的最佳所占比重总和为1。可见，本公开方法 修复生成的人脸图片质量明显优于其他方法。
表2不同方法在用户调查中的最佳结果所占比重
Figure BDA0003672218760000192
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计 算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结 合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包 含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产 品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和 /或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入 式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算 机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个 流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备 以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的 指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流 程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使 得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理， 从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程 或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领 域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则 之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之 内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开 保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上， 本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开 的保护范围以内。

Claims (10)

1.一种人脸图像修复方法，其特征在于，包括：
采集低质量人脸图像数据并预处理；
获取一张待修复的低质量人脸图像，将所述待修复的低质量人脸图像分别输入至人脸几何先验预测网络和多尺度人脸图像编码器中，获得人脸解析图和人脸图片特征；
将所述人脸解析图和所述人脸图片特征融合后，输入至生成对抗网络先验解码器，重建生成最终的人脸图片。
2.如权利要求1所述的一种人脸图像修复方法，其特征在于，获取一张低质量的人脸图像，输入至多尺度人脸图像编码器中，所述多尺度人脸图像编码器利用双三次插值方法将人脸图像分别放大4倍、6倍以及8倍，得到原尺度图像、4倍尺度图像、6倍尺度图像和8倍尺度图像，将所述四种不同尺度的人脸图像分别经过编码模块得到不同尺度下的人脸特征，然后将四种人脸特征进行融合得到人脸图片特征。
3.如权利要求2所述的一种人脸图像修复方法，其特征在于，所述编码模块由首尾对称的卷积层、池化层、正则层和12个残差块连接组成。
4.如权利要求1所述的一种人脸图像修复方法，其特征在于，所述人脸几何先验预测网络由卷积层、池化层、正则层、3个残差块以及一个沙漏结构连接组成。
5.如权利要求1所述的一种人脸图像修复方法，其特征在于，所述的生成对抗网络先验解码器采用StyleGAN结构，解码时，将人脸几何先验预测网络获得的人脸解析图与多尺度人脸图像编码器获得的人脸图像特征融合成特征向量输入至所述生成对抗网络先验解码器中，先将其通过映射网络映射为一个位于更加解耦的空间中的特征向量，再将特征向量输入至生成网络GAN，并结合生成网络GAN中已训练好的人脸纹理先验信息，重建生成一张高质量人脸图片。
6.如权利要求1所述的一种人脸图像修复方法，其特征在于，损失函数包括四项约束，分别为L2损失函数、感知损失函数、对抗损失函数以及层特征分布损失函数；
所述L2损失函数，给定训练集
Figure FDA0003672218750000021
N是用于训练的人脸图片的数量，
Figure FDA0003672218750000022
是输入的低质量人脸图片,
Figure FDA0003672218750000023
分别是对应的真实的高质量人脸图片和真实的人脸几何信息，L2损失函数用于计算修复生成的人脸几何信息与真实的人脸几何信息的误差，以及修复生成的人脸图像与真实人脸图像的像素级误差，表示如下：
Figure FDA0003672218750000024
其中，
Figure FDA0003672218750000025
表示由第k张输入人脸图片修复生成的人脸图片，p(k)表示由第k张输入人脸图片预测生成的人脸几何信息。
7.如权利要求6所述的一种人脸图像修复方法，其特征在于，所述感知损失函数用于计算修复生成的人脸图片和真实人脸图片之间的感知误差，表示如下：
LP＝|υ(Ig)-υ(Io)||2
其中，v(·)表示用VGG进行的特征提取操作，Io表示由模型修复生成的人脸图片，Ig表示与输入人脸图片对应的真实的高质量人脸图片。
8.如权利要求6所述的一种人脸图像修复方法，其特征在于，用于平衡编码器和先验解码器的对抗损失函数定义如下：
Ladv＝E[logD(Ig,Ii)]+E[log(1-D(Ψ(Ω(Ii),Θ(Ii)))]
其中，Ii，Ig分别表示输入的低质量人脸图片和与其对应的真实的高质量人脸图片，Ψ(Ω(Ii),Θ(Ii))表示由输入人脸图片修复生成的高质量人脸图片；判别器区分真实高质量人脸图片和修复生成的高质量人脸图片。
9.如权利要求6所述的一种人脸图像修复方法，其特征在于，提出新的层特征分布损失函数，层特征分布损失函数定义如下：
Figure FDA0003672218750000031
N表示用于训练的人脸图片的数量，M1和M2分别表示多尺度人脸图像编码器和人脸几何先验预测网络的卷积层数；
Figure FDA0003672218750000032
和
Figure FDA0003672218750000033
分别表示将第k张修复的人脸图片
Figure FDA0003672218750000034
和其对应的真实人脸图片
Figure FDA0003672218750000035
经过第l层卷积层后得到的各个通道的特征向量依次作为行向量所构成的矩阵，称为特征图；D(U)表示对特征图U计算其距离矩阵，矩阵中的每一项元素定义如下:
Di,j(U)＝||ui-uj||2,i,j＝1,2,...,T
ui和uj为特征图U中的行向量，T表示通道数；H(·)表示对矩阵进行直方图计算；
C(U)表示对特征图U计算其协方差矩阵，矩阵中的每一项元素定义如下:
Ci,j(U)＝σ(ui,uj),i,j＝1,2,...,T
σ(ui,uj)表示对特征图U中任意两个行分量ui和uj，计算其协方差。T表示通道数。
10.一种人脸图像修复系统，其特征在于，包括：
图像采集模块，用于采集需要进行修复的低质量人脸图像数据并预处理；
图像特征提取模块，用于将低质量人脸图像数据分别输入至人脸几何先验预测网络和多尺度人脸图像编码器中，获得人脸解析图和人脸图片特征；
人脸图像重建模块，用于将所述人脸解析图和所述人脸图片特征融合后，输入至生成对抗网络先验解码器，重建生成最终的人脸图片；
训练模块，用于依次训练判别器和生成器，直到训练结束。
CN202210608315.9A 2022-05-31 2022-05-31 一种人脸图像修复方法及系统 Active CN114943656B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210608315.9A CN114943656B (zh) 2022-05-31 2022-05-31 一种人脸图像修复方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210608315.9A CN114943656B (zh) 2022-05-31 2022-05-31 一种人脸图像修复方法及系统

Publications (2)

Publication Number Publication Date
CN114943656A true CN114943656A (zh) 2022-08-26
CN114943656B CN114943656B (zh) 2023-02-28

Family

ID=82908556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210608315.9A Active CN114943656B (zh) 2022-05-31 2022-05-31 一种人脸图像修复方法及系统

Country Status (1)

Country Link
CN (1) CN114943656B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116781912A (zh) * 2023-08-17 2023-09-19 瀚博半导体(上海)有限公司 视频传输方法、装置、计算机设备及计算机可读存储介质
CN117391995A (zh) * 2023-10-18 2024-01-12 山东财经大学 渐进式人脸图像复原方法、系统、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109409222A (zh) * 2018-09-20 2019-03-01 中国地质大学（武汉） 一种基于移动端的多视角人脸表情识别方法
CN111612798A (zh) * 2020-05-15 2020-09-01 中南大学 面向人脸数据对完整的人脸网纹修复方法、系统及介质
US20200387750A1 (en) * 2019-06-06 2020-12-10 Samsung Electronics Co., Ltd. Method and apparatus for training neural network model for enhancing image detail
CN112132770A (zh) * 2020-09-21 2020-12-25 腾讯科技（深圳）有限公司 图像修复的方法、装置、计算机可读介质及电子设备
CN112907494A (zh) * 2021-01-22 2021-06-04 杭州电子科技大学 一种基于自监督学习的非配对人脸图像翻译方法
CN113052976A (zh) * 2021-03-18 2021-06-29 浙江工业大学 基于uv位置图与cgan的单图像大姿态三维彩色人脸重建方法
CN113807265A (zh) * 2021-09-18 2021-12-17 山东财经大学 一种多样化的人脸图像合成方法及系统
CN114066744A (zh) * 2021-10-11 2022-02-18 杭州电子科技大学 一种基于风格约束的艺术图像修复方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109409222A (zh) * 2018-09-20 2019-03-01 中国地质大学（武汉） 一种基于移动端的多视角人脸表情识别方法
US20200387750A1 (en) * 2019-06-06 2020-12-10 Samsung Electronics Co., Ltd. Method and apparatus for training neural network model for enhancing image detail
CN111612798A (zh) * 2020-05-15 2020-09-01 中南大学 面向人脸数据对完整的人脸网纹修复方法、系统及介质
CN112132770A (zh) * 2020-09-21 2020-12-25 腾讯科技（深圳）有限公司 图像修复的方法、装置、计算机可读介质及电子设备
CN112907494A (zh) * 2021-01-22 2021-06-04 杭州电子科技大学 一种基于自监督学习的非配对人脸图像翻译方法
CN113052976A (zh) * 2021-03-18 2021-06-29 浙江工业大学 基于uv位置图与cgan的单图像大姿态三维彩色人脸重建方法
CN113807265A (zh) * 2021-09-18 2021-12-17 山东财经大学 一种多样化的人脸图像合成方法及系统
CN114066744A (zh) * 2021-10-11 2022-02-18 杭州电子科技大学 一种基于风格约束的艺术图像修复方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TERO KARRAS.ET AL: "Analyzing and Improving the Image Quality of StyleGAN", 《ARXIV:1912.04958V2》 *
段凌昊: ""基于多视角几何的图像修复算法研究"", 《中国优秀硕士学位论文全文数据库》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116781912A (zh) * 2023-08-17 2023-09-19 瀚博半导体(上海)有限公司 视频传输方法、装置、计算机设备及计算机可读存储介质
CN116781912B (zh) * 2023-08-17 2023-11-14 瀚博半导体(上海)有限公司 视频传输方法、装置、计算机设备及计算机可读存储介质
CN117391995A (zh) * 2023-10-18 2024-01-12 山东财经大学 渐进式人脸图像复原方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN114943656B (zh) 2023-02-28

Similar Documents

Publication Publication Date Title
CN111368662B (zh) 一种人脸图像属性编辑方法、装置、存储介质及设备
Chen et al. The face image super-resolution algorithm based on combined representation learning
CN114943656B (zh) 一种人脸图像修复方法及系统
Yan et al. Fine-grained attention and feature-sharing generative adversarial networks for single image super-resolution
Talavera-Martinez et al. Hair segmentation and removal in dermoscopic images using deep learning
CN112541864A (zh) 一种基于多尺度生成式对抗网络模型的图像修复方法
CN111861945B (zh) 一种文本引导的图像修复方法和系统
CN115018727A (zh) 一种多尺度图像修复方法、存储介质及终端
CN112686816A (zh) 一种基于内容注意力机制和掩码先验的图像补全方法
CN112836602B (zh) 基于时空特征融合的行为识别方法、装置、设备及介质
CN113298736B (zh) 一种基于面部样式的人脸图像修复方法
CN112801914A (zh) 一种基于纹理结构感知的二段式图像修复方法
CN114881871A (zh) 一种融合注意力单幅图像去雨方法
CN109559278B (zh) 基于多特征学习的超分辨图像重建方法及系统
CN114820303A (zh) 低清图像重建超分辨率人脸图像的方法、系统及存储介质
Liu et al. Facial image inpainting using multi-level generative network
CN114494387A (zh) 一种生成数据集网络模型及雾图生成方法
CN116523985B (zh) 一种结构和纹理特征引导的双编码器图像修复方法
CN112489048B (zh) 一种基于深度网络的视神经自动分割方法
CN117151990B (zh) 一种基于自注意力编码解码的图像去雾方法
CN112686817A (zh) 一种基于不确定性估计的图像补全方法
CN117197627A (zh) 一种基于高阶退化模型的多模态图像融合方法
CN116895089A (zh) 一种基于生成对抗网络的人脸多元化补全方法及系统
CN114764754B (zh) 一种基于几何感知先验引导的遮挡人脸修复方法
CN114820636A (zh) 一种三维医学图像分割模型及其训练方法和应用

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20220826

Assignee: SHANDONG HUADI INTELLIGENT TECHNOLOGY Co.,Ltd.

Assignor: SHANDONG University OF FINANCE AND ECONOMICS

Contract record no.: X2023980037768

Denomination of invention: A Method and System of Face Inpainting

Granted publication date: 20230228

License type: Common License

Record date: 20230710

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20220826

Assignee: Shandong Shanke Intelligent Technology Co.,Ltd.

Assignor: SHANDONG University OF FINANCE AND ECONOMICS

Contract record no.: X2023980037900

Denomination of invention: A Method and System of Face Inpainting

Granted publication date: 20230228

License type: Common License

Record date: 20230712

EE01 Entry into force of recordation of patent licensing contract