CN113963390A - 一种结合可变形卷积的基于生成对抗网络的残缺人脸图像修复方法 - Google Patents

一种结合可变形卷积的基于生成对抗网络的残缺人脸图像修复方法 Download PDF

Info

Publication number
CN113963390A
CN113963390A CN202010629250.7A CN202010629250A CN113963390A CN 113963390 A CN113963390 A CN 113963390A CN 202010629250 A CN202010629250 A CN 202010629250A CN 113963390 A CN113963390 A CN 113963390A
Authority
CN
China
Prior art keywords
image
face image
convolution
input
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010629250.7A
Other languages
English (en)
Inventor
杨巨成
张浩宇
魏峰
王嫄
于洋
姚彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University of Science and Technology
Original Assignee
Tianjin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University of Science and Technology filed Critical Tianjin University of Science and Technology
Priority to CN202010629250.7A priority Critical patent/CN113963390A/zh
Publication of CN113963390A publication Critical patent/CN113963390A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种结合可变形卷积的基于生成对抗网络的残缺人脸图像修复方法。该方法包括：使用可变形卷积对输入残缺人脸图像的特征进行提取；利用获取到的残缺人脸图像特征反卷积获取生成的完整人脸图像；将生成的人脸图像与真实的人脸图像一同作为判别器的输入，最终输出生成图像为真实图像的概率。特别的，这里的判别器分为局部判别器和全局判别器，其中全局判别器将整张人脸图像作为输入，局部判别器则将残缺区域图像作为输入。本发明主要克服了传统卷积方式(如方形卷积)，对未知的变化适应性差，泛化能力不强，网络难以适应几何形变等的缺点。本发明设计合理，能够利用可变形卷积提取到的残缺人脸图像特征来指导整个修复过程，使残缺人脸图像修复的结果真实、自然。

Description

一种结合可变形卷积的基于生成对抗网络的残缺人脸图像修 复方法
技术领域
本发明属于图像修复领域，更具体地说是涉及一种结合可变形卷积的基于生成对抗网络的残缺人脸图像修复方法。
背景技术
随着互联网的蓬勃发展与人工智能技术的落地，人脸识别技术广泛应用于信息安全、刑事侦破、出入口控制等领域。但是在面向现实的人脸识别系统依然面临着诸多挑战。在实际应用中，人脸识别率常常会因为面部遮挡物(如墨镜、口罩、围巾等)的原因而大大降低。
人脸图像修复技术在人脸识别领域有不可替代的作用。图像修复技术指使用图像已知信息，根据一定的规则对待修复图像中的丢失信息或者细节进行修复，达到视觉上的逼真效果，进而使得残缺人脸识别的效率大大提高。残缺人脸修复主要存在有两个关键问题：1、能否有效提取出残缺人脸中的代表性特征；2、对于残缺区域修复后的人脸图像的真实性。在这两个问题中，有效的提取出残缺人脸中的代表性特征可以大大提高生成人脸图像的质量进而提高人脸识别率。
传统的图像修复方法一般可以分为两种：第一种是适应于小尺寸图像修复方法，如快速行进算法、块匹配方法和统计块概率修复方法。这些传统的图像修复方法由于在内容上缺乏高层次的连贯性，使得修复结果不令人满意，而且一旦图像的缺失区域过大，导致重要的参考信息丢失，也同样无法让人取得满意的效果。近年来，随着深度卷积网络和生成对抗网络的发展，提出了用于人脸图像修复的新算法。这些算法通过提取到的人脸特征，生成接近于真实图像的人脸修复图像。特别的，基于深度学习的人脸图像修复算法往往使用普通卷积或空洞卷积来提取图像特征。这种特征提取的方式存在着固有的缺陷：传统的卷积核一般都是正方形或长方形，这种卷积方式对未知的变化适应性差，难以适应图像的几何形变，泛化能力差。具体地，这种网络模型对于物体几何形变的适应能力几乎完全来自于数据本身所具有的多样性，其模型内部并不具有适应几何形变的机制。究其根本，是因为卷积操作本身具有固定的几何结构，而由其层叠搭建而成的卷积网络的几何结构也是固定的，所以不具有对于几何形变建模的能力。
本文发明了一种结合可变形卷积的基于生成对抗网络的残缺人脸图像修复方法，通过对输入图像进行有效的特征提取来提高图像修复的质量。
发明内容
本发明的目的在于克服现有图像修复技术的不足，提供了一种结合可变形卷积的残缺人脸图像修复方法，该方法利用可变形卷积准确的提取残缺人脸图像的特征，提高图像修复的质量。
本发明提出的一种结合可变形卷积的基于生成对抗网络的残缺人脸图像修复方法，包括以下三个模块：
模块1：生成器。将残缺人脸图像输入到生成器中，使用可变形卷积的方式进行特征提取，反卷积输出修复后的人脸图像。
模块2：判别器。将生成器模块输出的生成图像和真实的人脸图像共同作为判别器模块的输入，判别器对两者进行判别，最终输出生成图像为真实图像的概率(概率值的范围是0-1)。
模块3：损失函数设计。通过交叉熵损失来对整个模型进行优化，主要是通过梯度的反向传播来指导生成器和判别器的优化方向。
本发明的优点和积极效果是：
本发明通过在图像生成模块过程引入可变形卷积用于输入图像的特征提取过程，这种卷积方式克服了传统卷积方法的局限性，在不需要任何额外的监督信号下，很方便地取代任何已有视觉识别任务的卷积神经网络中的若干个标准卷积单元，并通过标准的反向传播进行端到端的训练。可变形卷积是对于传统卷积网络简明而又意义深远的结构革新，将这种特征提取方式运用到图像修复过程中具有重大的意义。
附图说明
为了更清楚的说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
附图1：为本发明提供的一种结合可变形卷积的基于生成对抗网络的残缺人脸图像修复方法结构示意图。
附图2：为可变形卷积的框架。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。
本发明提出的一种结合可变形卷积的基于生成对抗网络的残缺人脸图像修复方法，主要包括生成器模块、判别器模块和损失函数模块。
所述生成模块是将输入的残缺人脸图像输入到生成器中，通过可变形卷积对图像特征进行提取，然后通过反卷积操作将图像恢复到原先的大小输出。
可变形卷积的流程为(附图2)：
1)对于输入的残缺人脸图像：input(b×h×w×c)，其中b表示批量的大小；h代表图像高；w代表图像宽；c代表通道数量。输入特征经过普通卷积后输出相同大小的图像：output(b×h×w×2c)。因为输出的结果是指原图片中每个像素的偏移量(x偏移和y偏移)，因此这里的输出通道为2c。
2)将input和output的像素索引值相加，可以得到偏移后的位置，具体位置表示为：position(b×h×w×2c)。需要注意的是，这个位置坐标要在图片大小以内，并且position是一个坐标值，而且是float类型表示。
3)使用双线性插值方法对图像进行缩放。假设原始图像大小为h×w，目标图像大小为a×b。那么这两幅图像边长的比例为h/a，w/b。这个比例并不是整数，而非整数的坐标是无法在图像这种离散数据上使用。双线性插值通过寻找距离这个对应坐标最近的四个像素点，来计算该点的值。
4)在得到position的所有像素后，得到一个新的图像，这个新的图像可以作为输入再次输入到下一个可变卷积或者普通卷积层中再次进行特征提取。
所述判别器模块是将生成器生成的图像和真实图像一同输入到判别器中，判别器对输入进行判别后输出概率值。所述目标函数模块是指使用交叉熵损失来进行梯度反向传播。在整个过程中，生成器的生成能力和判别器的判别能力都在提高。
本发明通过在图像生成模块过程引入可变形卷积用于输入图像的特征提取过程，这种卷积方式克服了已有卷积方法的局限性，在不需要任何额外的监督信号下，取代任何已有视觉识别任务的卷积神经网络中的若干个标准卷积单元，并通过标准的反向传播进行端到端的训练。可变形卷积是对于传统卷积网络简明而又意义深远的结构革新，将这种特征提取方式运用到图像修复过程中具有重大的意义。

Claims (4)

1.一种结合可变形卷积的基于生成对抗网络的残缺人脸图像修复方法，其特征在于包括以下三个模块：
生成器模块：将残缺人脸图像输入到生成器中，使用可变形卷积的方式进行特征提取，反卷积输出修复后的人脸图像。
判别器模块：将生成器模块输出的生成图像和真实的人脸图像共同作为判别器模块的输入，判别器对两者进行判别，最终输出生成图像为真实图像的概率(概率值的范围是0-1)。
损失函数模块：使用交叉熵损失来优化网络，通过梯度的反向传播来指导生成器和判别器的优化方向。
2.根据权利要求1所述的生成器模块，其特征在于：可变形卷积可以根据输入图像本身的形状特征调整本身的形状，提取残缺人脸图像的特征。我们引入可变形卷积来代替普通卷积或者空洞卷积。
具体地可变形卷积的流程为：
1)对于输入的残缺人脸图像记为：input(b×h×w×c)，其中b表示批量的大小；h代表图像高；w代表图像宽；c代表通道数量。输入特征经过普通卷积后输出相同大小的图像记为：output(b×h×w×2c)。因为输出的结果是指原图像中每个像素的偏移量(x偏移和y偏移)，因此这里的输出通道为2c。
2)将input和output的像素索引值相加，可以得到偏移后的位置，具体位置表示为：position(b×h×w×2c)。需要注意的是，这个位置坐标要在图片大小以内，并且position是一个坐标值，而且是float类型表示。
3)使用双线性插值方法对图像进行缩放。假设原始图像大小为h×w，目标图像大小为a×b。那么这两幅图像边长的比例为h/a，w/b。这个比例并不是整数，而非整数的坐标是无法在图像这种离散数据上使用。双线性插值通过寻找距离这个对应坐标最近的四个像素点，来计算该点的值。
4)在得到position的所有像素后，得到一个新的图像，这个新的图像可以作为输入再次输入到下一个可变卷积或者普通卷积层中再次进行特征提取。
3.根据权利要求1所述的判别器模块，其特征在于：将生成模块的输出图像xg和真实图像xr一同作为判别器的输入，判别器做出真假判断，最终输出生成图像为真实图像的概率值。
4.根据权利要求1所述的损失函数模块，其特征在于：使用交叉熵损失来优化网络，通过梯度的反向传播来指导生成器和判别器的优化方向。
Figure FSA0000212848010000021
其中，V(D，G)为模型的损失函数，pdata和pz分别代表真实样本的分布和隐变量的分布。
CN202010629250.7A 2020-07-03 2020-07-03 一种结合可变形卷积的基于生成对抗网络的残缺人脸图像修复方法 Pending CN113963390A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010629250.7A CN113963390A (zh) 2020-07-03 2020-07-03 一种结合可变形卷积的基于生成对抗网络的残缺人脸图像修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010629250.7A CN113963390A (zh) 2020-07-03 2020-07-03 一种结合可变形卷积的基于生成对抗网络的残缺人脸图像修复方法

Publications (1)

Publication Number Publication Date
CN113963390A true CN113963390A (zh) 2022-01-21

Family

ID=79459378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010629250.7A Pending CN113963390A (zh) 2020-07-03 2020-07-03 一种结合可变形卷积的基于生成对抗网络的残缺人脸图像修复方法

Country Status (1)

Country Link
CN (1) CN113963390A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116895091A (zh) * 2023-07-24 2023-10-17 山东睿芯半导体科技有限公司 一种残缺图像的人脸识别方法、装置、芯片及终端

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116895091A (zh) * 2023-07-24 2023-10-17 山东睿芯半导体科技有限公司 一种残缺图像的人脸识别方法、装置、芯片及终端

Similar Documents

Publication Publication Date Title
CN111639692B (zh) 一种基于注意力机制的阴影检测方法
CN108537743B (zh) 一种基于生成对抗网络的面部图像增强方法
CN112818862B (zh) 基于多源线索与混合注意力的人脸篡改检测方法与系统
CN112329658B (zh) 一种对于yolov3网络的检测算法改进方法
CN112396607B (zh) 一种可变形卷积融合增强的街景图像语义分割方法
CN111444881A (zh) 伪造人脸视频检测方法和装置
CN112183501B (zh) 深度伪造图像检测方法及装置
CN112418041B (zh) 一种基于人脸正面化的多姿态人脸识别方法
CN112287941B (zh) 一种基于自动字符区域感知的车牌识别方法
CN112598775B (zh) 一种基于对比学习的多视图生成方法
CN114202740A (zh) 一种基于多尺度特征融合的行人重识别方法
CN112884758B (zh) 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统
CN112232184A (zh) 一种基于深度学习和空间转换网络的多角度人脸识别方法
CN112270300A (zh) 基于生成式对抗网络的人脸素描图像转换为rgb图像方法
CN114360071A (zh) 基于人工智能实现离线手写签名验证的方法
CN116563410A (zh) 基于两级生成对抗网络的电气设备电火花图像生成方法
CN116452862A (zh) 基于领域泛化学习的图像分类方法
CN112802048B (zh) 具有不对称结构的图层生成对抗网络生成方法及装置
CN113963390A (zh) 一种结合可变形卷积的基于生成对抗网络的残缺人脸图像修复方法
CN115100509B (zh) 基于多分支块级注意力增强网络的图像识别方法及系统
CN115862097A (zh) 基于多注意力多尺度特征学习的遮挡人脸识别方法和装置
CN113344110B (zh) 一种基于超分辨率重建的模糊图像分类方法
Fang et al. A New Method of Image Restoration Technology Based on WGAN.
CN116030511A (zh) 一种基于ToF的三维人脸识别方法
CN114677749A (zh) 一种基于限制搜索空间的人脸识别对抗样本生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20220121