CN112365419A - 基于多尺度特征关系学习的多任务人脸修复方法 - Google Patents

基于多尺度特征关系学习的多任务人脸修复方法 Download PDF

Info

Publication number
CN112365419A
CN112365419A CN202011254674.6A CN202011254674A CN112365419A CN 112365419 A CN112365419 A CN 112365419A CN 202011254674 A CN202011254674 A CN 202011254674A CN 112365419 A CN112365419 A CN 112365419A
Authority
CN
China
Prior art keywords
model
face
features
network
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011254674.6A
Other languages
English (en)
Inventor
吴云鹏
刘志磊
肖瑞新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202011254674.6A priority Critical patent/CN112365419A/zh
Publication of CN112365419A publication Critical patent/CN112365419A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于多尺度特征关系学习的多任务人脸修复方法，基于改进图卷积网络与特征金字塔网络结合。首先，利用特征金字塔网络对低质量人脸图像进行不同尺度的特征提取；其次，基于图卷积网络IGCN构建关系区域模型块RRMB来获得不同尺度修复后的特征，借此来建立整个生成模型Generator和判别模型Discriminator；最后，利用生成模型对有掩膜和低分辨率两种情况同时发生的人脸图片进行修复生成，与判别模型进行博弈优化，最终达到纳什平衡的状态。本发明实现复杂环境下低质量人脸图像的去遮挡和超分辨率重建，同时对于单独的修复任务也能达到可观的修复效果，具有重要的研究和应用价值。

Description

基于多尺度特征关系学习的多任务人脸修复方法
技术领域
本发明属于低质量人脸图像修复与还原领域，是一种基于生成对抗网络(Generative Adversarial Network,GAN)，结合改进图卷积方式，以及引入特征金字塔网络(FeaturePyramidNetwork,FPN)，同时对低分辨率有遮挡的人脸图像进行修复与还原。
背景技术
图像修复是一种常见的图像编辑操作,其目的是用新生成的内容填充图像中的缺失或遮蔽的区域。新生成的内容既可以与原图像一样精确,也可以简单地适配在周围的像素中,使得修复后的图像从视觉上看起来真实。其中人脸图像修复是一项非常具有挑战性的任务,现实场景中，人脸的变化是很大的，例如不同的姿势、表情和遮挡等，因此在现实场景中修复人脸图像是一件非常具有挑战性的任务。一种好的修复算法应该保证输出没有违和感，包括眼睛，鼻子和嘴巴之间的拓扑结构，以及姿势，性别，种族，表情等属性是一致的。近几年,基于生成对抗网络的图像修复算法表现卓越,它能够生成出全新的、之前从未出现的像素,而且生成的图像清晰逼真。除此之外,对于修复损坏严重的图像或者任意形状破损区域的图像,都有很好的表现。
发明内容
为克服现有技术的不足，本发明面向复杂环境下的人脸图像修复，对复杂环境下的低分辨率有遮挡图像同时进行修复。本发明旨在通过对低分辨率有遮挡的人脸图像同时进行修复，来解决现实场景下低质量人脸图像修复的难题。
为此，本发明采取的技术方案是，基于多尺度特征关系学习的多任务人脸修复方法，基于改进图卷积网络(Improved Graph Convolutional Network,IGCN)与特征金字塔网络(FeaturePyramidNetwork,FPN)结合，步骤如下：
(1)首先，利用特征金字塔网络(FeaturePyramidNetwork,FPN)对低质量人脸图像进行不同尺度的特征提取，此步骤为了保证不同尺度的人脸区域最终都能得到最大限度的修复；
(2)然后，基于图卷积网络IGCN(Improved Graph Convolutional Network)构建关系区域模型块RRMB(Relation Region Model Block)来获得不同尺度修复后的特征，借此来建立整个生成模型Generator和判别模型Discriminator；
(3)最后，利用生成模型对有掩膜和低分辨率两种情况同时发生的人脸图片进行修复生成，与判别模型进行博弈优化，最终达到纳什平衡的状态。
特征金字塔网络FPN(FeaturePyramidNetwork)对初始的低质量人脸图像进行不同尺度上的特征提取，并将不同尺度大小的特征图像输入到关系区域模型块RRMB(Relation Region Model Block)中来进行不同尺度上的卷积操作，最终将卷积之后的特征图像在在同一纬度上进行特征的组合，来保证不同尺度人脸区域的修复效果。
改进图卷积网络IGCN(Improved Graph Convolutional Network)将人脸的特征图像按三种不同的patch大小进行划分，并将划分好的patch与预定义的链接矩阵进行相乘，从而得到新的人脸特征图。此外，不同于一般的图卷积网络将每个输入的节点看作向量，我们将划分好的各patch按张量进行处理，对每一个patch进行一步常规卷积操作提取一层表层特征，将提取特征后的patch再与链接矩阵进行相乘，从而完成对常规图卷积方式的一个改进。
本发明的有益效果
1.本发明的最大创新点在于充分发挥了人脸各区域之间相关联的关系特点，提出了一种基于改进图卷积网络与特征金字塔网络相结合的人脸表情修复系统，可以实现复杂环境下低质量人脸图像的去遮挡和超分辨率重建，同时对于单独的修复任务也能达到可观的修复效果，具有重要的研究和应用价值。
2.本发明利用人工智能前沿技术—深度学习方法构建的复杂环境下的人脸表情修复方法，保证了修复后的效果，(对于低分辨率有遮挡的这种多种低质量噪声的人脸图像，其中峰值信噪比(PSNR)和结构相似性(SSIM)分别达到了23.307和0.701；对于单个噪声带来的影响，我们的修复效果比以往结果在PSNR和SSIM上也提高了1和10％左右)，这为解决复杂环境下低质量人脸图像的修复问题提出了一种切实有效的解决方案。
3.本发明通常涉及人机情感交互、安全、虚拟或实体机器人制造、自动化、医疗、通信和驾驶等领域。
附图说明
图1：改进图卷积网络IGCN(Improved Graph Convolutional Network)。
图2：基于IGCN构建的关系区域模型块RRMB(Relation Region Model Block)。
图3：特征金字塔网络模块GCPB(Graph Convolution Pyramid Block)。
图4：整个生成模型，判别模型的结构。
图5：a是分辨率缩小8倍，图像遮挡设置在全图1/4的修复结果；b是分辨率缩小4倍，图像遮挡设置在全图1/4的修复结果。
图6：左图是针对图像超分辨率工作与以往研究的实验对比；右图是针对图像去遮挡工作与以往研究的实验对比。
具体实施方式
对复杂环境下的人脸先进行修复，主要包括两个方面：
(1)首先，利用特征金字塔网络(FeaturePyramidNetwork,FPN)对低质量人脸图像进行不同尺度的特征提取，提出了改进图卷积网络(Improved Graph ConvolutionalNetwork，IGCN)并基于IGCN构建了关系区域模型块(Relation Region Model Block,RRMB)来获得不同尺度修复后的特征，借此来建立整个生成模型(Generator)和判别模型(Discriminator)；
(2)然后，利用生成模型对有掩膜(mask或者是遮挡物)和低分辨率两种情况同时发生的人脸图片进行修复生成，与判别模型进行博弈优化，最终达到纳什平衡的状态。
本发明的具体实施步骤主要包括以下二个步骤：
(1)基于特征金字塔网络模块对图像进行特征的提取
利用特征金字塔网络模块对人脸图像进行不同尺度上的特征提取，我们将VGG-19的前三层用作FPN的三层下采样层，然后将每层的下采样特征转发到RRMB中以进行特征关系建模，并将生成的三层特征服从一个步骤特征融合，以在每个块之后获得特征。这么做考虑到了人脸区域不同大小对修复结果带来的影响，对一些细节区域最大限度地保证修复效果。
(2)基于改进图卷积网络和对抗生成网络进行人脸图像修复
利用改进图卷积网络IGCN(Improved Graph Convolutional Network)构建生成模型和判别模型。生成模型将输入的带有遮挡的低分辨率人脸图片修复生成到完整的高清人脸图片，判别模型区分生成修复后的人脸图片和真实的原来人脸图片，生成模型混淆判别模型，以致判别模型将生成的人脸图片判定为真实的人脸图片来提高生成的人脸图片的质量。
改进图卷积网络与传统的图卷积网络的区别：改进图卷积网络可以将张量的人脸区域图片或特征当作输入的节点而传统的图卷积网络输入是一个1维的向量。对于输入节点的映射变化，改进图卷积网络用的是标准的卷积层而传统的图卷积网络用的是线性变化。最后最值得注意的是与连接矩阵(Adjacentmatrix)的点乘，改进图卷积网络用的是张量的点乘而传统的图卷积网络用的是矩阵的点乘。改进图卷积网络能够很好地学习遮挡和非遮挡区域的关系，例如通过事先定义好的连接矩阵可以通过非遮挡的左眼去修复遮挡的右眼。面部的高结构性使得附带关系的图卷积网络能够很好地发挥作用。
低分辨率的图片由原来高清的人脸图用三次插值方法下采样到16*16的尺寸，然后在随机位置上面加上4*4尺寸的遮挡(掩膜)。将低分辨率输入到生成模型中去，生成模型的输出就是生成修复后的完整高清人脸图像。
图5和图6分别展示了我们的发明在多任务处理和单任务处理上的有效性。
本发明提出了一种基于改进图卷积网络与特征金字塔网络相结合的人脸图像修复方法，以解决复杂环境下低质量人脸图像修复难的问题。本发明为类人机器人人工智能研究提供了重要的理论基础与技术平台，在类人机器人及游戏娱乐等领域的推广与应用具有重要的价值。

Claims (2)

1.基于多尺度特征关系学习的多任务人脸修复方法，其特征在于，基于改进图卷积网络与特征金字塔网络结合的方式的人脸图像修复方法，步骤如下：
(1)利用特征金字塔网络对低质量人脸图像进行不同尺度的特征提取；
(2)基于图卷积网络IGCN构建关系区域模型块RRMB来获得不同尺度修复后的特征，借此来建立整个生成模型Generator和判别模型Discriminator；
(3)利用生成模型对有掩膜和低分辨率两种情况同时发生的人脸图片进行修复生成，与判别模型进行博弈优化，最终达到纳什平衡的状态。
2.根据权利要求1所述的基于多尺度特征关系学习的多任务人脸修复方法，其特征在于，具体如下：
(1)基于特征金字塔网络模块对图像进行特征的提取：
利用特征金字塔网络模块对人脸图像进行不同尺度上的特征提取，我们将VGG-19的前三层用作FPN的三层下采样层，然后将每层的下采样特征转发到RRMB中以进行特征关系建模，并将生成的三层特征服从一个步骤特征融合，以在每个块之后获得特征；
(2)基于改进图卷积网络和对抗生成网络进行人脸图像修复：
利用改进图卷积网络IGCN构建生成模型和判别模型，生成模型将输入的带有遮挡的低分辨率人脸图片修复生成到完整的高清人脸图片，判别模型区分生成修复后的人脸图片和真实的原来人脸图片，生成模型混淆判别模型，以致判别模型将生成的人脸图片判定为真实的人脸图片来提高生成的人脸图片的质量。
CN202011254674.6A 2020-11-11 2020-11-11 基于多尺度特征关系学习的多任务人脸修复方法 Pending CN112365419A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011254674.6A CN112365419A (zh) 2020-11-11 2020-11-11 基于多尺度特征关系学习的多任务人脸修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011254674.6A CN112365419A (zh) 2020-11-11 2020-11-11 基于多尺度特征关系学习的多任务人脸修复方法

Publications (1)

Publication Number Publication Date
CN112365419A true CN112365419A (zh) 2021-02-12

Family

ID=74515961

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011254674.6A Pending CN112365419A (zh) 2020-11-11 2020-11-11 基于多尺度特征关系学习的多任务人脸修复方法

Country Status (1)

Country Link
CN (1) CN112365419A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128624A (zh) * 2021-05-11 2021-07-16 山东财经大学 一种基于多尺度字典的图网络人脸恢复方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108346175A (zh) * 2018-02-06 2018-07-31 腾讯科技（深圳）有限公司 一种人脸图像修复方法、装置及存储介质
CN109919830A (zh) * 2019-01-23 2019-06-21 复旦大学 一种基于美学评价的带参考人眼图像修复方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108346175A (zh) * 2018-02-06 2018-07-31 腾讯科技（深圳）有限公司 一种人脸图像修复方法、装置及存储介质
CN109919830A (zh) * 2019-01-23 2019-06-21 复旦大学 一种基于美学评价的带参考人眼图像修复方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHILEI LIU ET AL.: "Joint Face Completion and Super-resolution using Multi-scale Feature Relation Learning", 《ARXIV》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128624A (zh) * 2021-05-11 2021-07-16 山东财经大学 一种基于多尺度字典的图网络人脸恢复方法

Similar Documents

Publication Publication Date Title
CN111105352B (zh) 超分辨率图像重构方法、系统、计算机设备及存储介质
CN111861961B (zh) 单幅图像超分辨率的多尺度残差融合模型及其复原方法
CN108875935B (zh) 基于生成对抗网络的自然图像目标材质视觉特征映射方法
CN108898630A (zh) 一种三维重建方法、装置、设备和存储介质
CN107392852B (zh) 深度图像的超分辨率重建方法、装置、设备及存储介质
CN108492265A (zh) 基于gan的cfa图像去马赛克联合去噪方法
CN109102462A (zh) 一种基于深度学习的视频超分辨率重建方法
WO2020233129A1 (zh) 一种图像超分辨和着色方法、系统及电子设备
CN110827295A (zh) 基于体素模型与颜色信息耦合的三维语义分割方法
CN110766623A (zh) 一种基于深度学习的立体图像修复方法
CN112507617A (zh) 一种SRFlow超分辨率模型的训练方法及人脸识别方法
CN116977522A (zh) 三维模型的渲染方法、装置、计算机设备和存储介质
CN113723317B (zh) 3d人脸的重建方法、装置、电子设备和存储介质
CN110660020A (zh) 一种基于融合互信息的对抗生成网络的图像超分辨率方法
CN115393191A (zh) 一种轻量级遥感图像超分辨率重建方法、装置及设备
CN114187165A (zh) 图像处理方法和装置
CN112258388A (zh) 一种公共安全视图脱敏测试数据生成方法、系统以及存储介质
CN112365419A (zh) 基于多尺度特征关系学习的多任务人脸修复方法
Liu et al. Facial image inpainting using multi-level generative network
Liu et al. X-gans: Image reconstruction made easy for extreme cases
CN116977651B (zh) 一种基于双分支和多尺度特征提取的图像去噪方法
CN116863044A (zh) 人脸模型的生成方法、装置、电子设备及可读存储介质
CN116703719A (zh) 一种基于人脸3d先验信息的人脸超分辨率重建装置及方法
Huang et al. Single image super-resolution reconstruction of enhanced loss function with multi-gpu training
CN115239857A (zh) 图像生成方法以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210212