CN112825188A - 一种基于深度卷积生成对抗网络的遮挡人脸补全算法 - Google Patents
一种基于深度卷积生成对抗网络的遮挡人脸补全算法 Download PDFInfo
- Publication number
- CN112825188A CN112825188A CN201911139198.0A CN201911139198A CN112825188A CN 112825188 A CN112825188 A CN 112825188A CN 201911139198 A CN201911139198 A CN 201911139198A CN 112825188 A CN112825188 A CN 112825188A
- Authority
- CN
- China
- Prior art keywords
- network
- layers
- convolution
- layer
- generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 3
- 230000000295 complement effect Effects 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 abstract 2
- 230000006870 function Effects 0.000 description 9
- 230000008485 antagonism Effects 0.000 description 5
- 238000000034 method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度卷积生成对抗网络的遮挡人脸补全算法，其主要技术特点是：生成器网络由自动编码器和解码器组成，结构为深度卷积神经网络，判别器网络由全局判别器网络和局部判别器网络组成，结构为卷积神经网络，损失函数由重构损失Lr、全局鉴别器损失La1、局部鉴别器损失La2组成。算法依据经过处理的遮挡人脸图片为输入，生成补全的人脸图片为输出，以原始未遮挡的人脸图片作为监督，在人脸数据库中训练，最后得到具有很好补全效果的生成器网络。本发明设计合理，能较好的补全人脸遮挡信息，可从补全图像的角度提高遮挡图片的可识别率。
Description
技术领域
本发明属于图像处理领域，尤其是一种基于深度卷积生成对抗网络的遮挡人脸补全算法。
背景技术
在现实环境中，使用摄像头所采集人脸信息时会存在人脸信息被遮挡的情况，例如自身佩戴的围巾、帽子、墨镜，或者是一些别的物体的遮挡。在这种情况下，如果想获得未遮挡的人脸信息，就需要一个较好的额人脸图像补全算法，对存在遮挡的图片进行遮挡部分信息的补全。传统的图像补全算法是利用图像信息的冗余性，从周围像素信息去补充遮挡部分像素内容，由于人脸特征的复杂性，该方法无法有效修复五官等关键信息的大面积遮挡，以深度学习为基础并基于生成对抗网络的图像补全法能更好的补全人脸信息。
目前，Yeh等人利用生成对抗性网络(GAN)进行生成建模有了新进展，一个经过训练的神经网络(通常称为“生成器”)被训练成从一个从已知的先验分布中提取的潜在向量开始生成语义真实的人脸。Avisek Lahiri等人在相关研究的基础上又发表了基于生成对抗性网络(GAN)的人脸语义修复的体系结构和优化技巧。但其所得到的图像补全信息清晰度不高，不够全面。
以上两种算法所得到的人脸信息清晰度不足，并且不具备保存身份信息的功能，因此并不能准确恢复遮挡人脸图像的被遮挡部分的信息。
综上所述，现有的遮挡人脸补全算法在人脸补全方面还有很大的提升空间。
发明内容
本发明的目的在于克服现有技术的不足，提供基于深度卷积生成对抗网络的遮挡人脸补全算法，能够在有遮挡人脸识别的过程中，尽量准确的补全遮挡人脸，从而提高遮挡图像被识别的准确率。
本发明解决其技术问题是采取以下技术方案实现的：
基于深度卷积生成对抗网络的遮挡人脸补全算法，包括以下结构：
结构1：生成器网络结构；
结构2：全局判别器网络结构；
结构3：局部判别器网络结构；
结构4：模型总损失函数。
进一步，所述结构1生成器的网络结构为：生成器由编码器和解码器组成，编码器网络结构为12层的深度卷积网络，卷积核大小为3×3，步长为1，填充1个像素，每层卷积后会跟LeakRelu激活层和BatchNormalization归一化层；共有4层max-pooling池化层，窗口大小2×2，步长为2；1层全连接层有1000个通道。编码器网络结构顺序为2层卷积层、1层池化层、2层卷积层、1层池化层、4层卷积层、1层池化层、2层卷积层、1层池化层、2层卷积层、1层全连接层。解码器结构和编码器结构对称。
进一步，所述结构2全局判别器网络结构为：全局判别器网络由5层的卷积层和1层全连接层再加Sigmoid函数组成。卷积层卷积核大小为5×5，步长为2，填充2个像素，每层卷积后会跟LeakRelu激活层和BatchNormalization归一化层。全连接层由1024个通道组成。
进一步，所述结构3局部判别器网络结构为：局部判别器网络由4层的卷积层和1层全连接层再加Sigmoid函数组成。卷积层卷积核大小为5×5，步长为2，填充2个像素，每层卷积后会跟LeakRelu激活层和BatchNormalization归一化层。全连接层由1024个通道组成。
进一步，所述结构4模型总损失函数：
L＝Lr+λ1La1+λ2La2
其中Lr为生成器的重构损失，通过L2范数，对生成器生成的图像G(z)和原始未遮挡图像y计算像素间的差值，计算公式为：
其中La1为全局鉴别器的对抗损失，La2为局部鉴别器的对抗损失。下式中Pdata(x)表示真实数据x的分布，Pz(z)表示噪声变量z的分布。计算公式为：
本发明的优点和积极效果是：
本发明通过对局部缺失的区域设计了一个局部鉴别器，为了控制缺失区域中生成的信息真实与否。局部鉴别器可以帮助生成边界更清晰的缺失内容的详细信息。它能确保生成的对象部件在内容信息上是有效的。加入全局鉴别器来保证全局与局部的一致性。用全局鉴别器来规范生成的图像信息在全局上更接近真实内容，使得从缺失区域生成的图形与周围区域更加融合，解决了单一局部鉴别器使成的图像与周围边缘图像有割裂感的问题。
附图说明
图1为本发明的模型总体结构；
图2为本发明的生成器网络结构；
图3为本发明的局部判别器网络结构；
图4为本发明的全局判别器网络结构；
具体实施方式
以下结合附图对本发明实施例做进一步详述：
基于深度卷积生成对抗网络的遮挡人脸补全算法，包括以下步骤：
步骤1：对原始人脸图像按照两只眼睛的特征位置对图像进行剪裁，得到128×128×3像素的图像，将遮挡尺寸设为64×64，以保证至少有一个必要的面部部件缺失。为进一步扩大样本量，避免过度拟合，我们进行数据增强，包括镜像翻转、旋转等操作。在训练过程中，掩码的大小是固定的，但位置是随机选择的。首先利用重构损失Lr对生成器部分进行训练，如图2所示。
在本步骤中，重构损失函数计算公式如下：
步骤2：加入局部判别器网络提升生成器对缺失区域的生成效果。
在本步骤中，加入局部对抗性损失函数生成更多细节，使遮挡区域在视觉上更逼真，如图3所示。
在本步骤中，局部对抗性损失函数计算公式如下：
步骤3：加入全局判别器网络提升生成器对整体图像的生成效果。
在本步骤中，加入全局对抗性损失，从全局对网络参数进行调整，细化了整个形象，以确保外观与遮挡边界是一致的，如图4所示。
在本步骤中，全局对抗性损失函数计算公式如下：
步骤4：训练获得的生成器网络为最终的补全网络。
通过本步骤的计算，会得到最终的补全图像，如图2所示。
在本步骤中，计算公式如下：
F＝G(z)
需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。
Claims (5)
1.一种基于深度卷积生成对抗网络的遮挡人脸补全算法，包括以下结构：
结构1：生成器网络结构；
结构2：全局判别器网络结构；
结构3：局部判别器网络结构；
结构4：模型总损失函数。
2.根据权利要求1所述的基于深度卷积生成对抗网络的遮挡人脸补全算法，其特征在于：所述结构1生成器的网络结构为：生成器由编码器和解码器组成，编码器网络结构为12层的深度卷积网络，卷积核大小为3×3，步长为1，填充1个像素，每层卷积后会跟LeakRelu激活层和BatchNormalization归一化层；共有4层max-pooling池化层，窗口大小2×2，步长为2；1层全连接层有1000个通道。编码器网络结构顺序为2层卷积层、1层池化层、2层卷积层、1层池化层、4层卷积层、1层池化层、2层卷积层、1层池化层、2层卷积层、1层全连接层。解码器结构和编码器结构对称。
3.根据权利要求1所述的基于深度卷积生成对抗网络的遮挡人脸补全算法，其特征在于：所述结构2全局判别器网络结构为：全局判别器网络由5层的卷积层和1层全连接层再加Sigmoid函数组成。卷积层卷积核大小为5×5，步长为2，填充2个像素，每层卷积后会跟LeakRelu激活层和BatchNormalization归一化层。全连接层由1024个通道组成。
4.根据权利要求1所述的基于深度卷积生成对抗网络的遮挡人脸补全算法，其特征在于：所述结构3局部判别器网络结构为：局部判别器网络由4层的卷积层和1层全连接层再加Sigmoid函数组成。卷积层卷积核大小为5×5，步长为2，填充2个像素，每层卷积后会跟LeakRelu激活层和BatchNormalization归一化层。全连接层由1024个通道组成。
5.根据权利要求1所述的基于深度卷积生成对抗网络的遮挡人脸补全算法，其特征在于：所述结构4模型总损失函数：
L＝Lr+λ1La1+λ2La2
其中Lr为生成器的重构损失，通过L2范数，对生成器生成的图像G(z)和原始未遮挡图像y计算像素间的差值，计算公式为：
其中La1为全局鉴别器的对抗损失，La2为局部鉴别器的对抗损失。下式中Pdata(x)表示真实数据x的分布，Pz(z)表示噪声变量z的分布。计算公式为：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911139198.0A CN112825188A (zh) | 2019-11-20 | 2019-11-20 | 一种基于深度卷积生成对抗网络的遮挡人脸补全算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911139198.0A CN112825188A (zh) | 2019-11-20 | 2019-11-20 | 一种基于深度卷积生成对抗网络的遮挡人脸补全算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112825188A true CN112825188A (zh) | 2021-05-21 |
Family
ID=75906265
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911139198.0A Pending CN112825188A (zh) | 2019-11-20 | 2019-11-20 | 一种基于深度卷积生成对抗网络的遮挡人脸补全算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112825188A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116824150A (zh) * | 2023-04-24 | 2023-09-29 | 苏州梅曼智能科技有限公司 | 一种基于生成对抗模型的工业图像特征的提取方法 |
| CN117876609A (zh) * | 2024-03-11 | 2024-04-12 | 国网电商科技有限公司 | 一种多特征三维人脸重建方法、系统、设备及存储介质 |
-
2019
- 2019-11-20 CN CN201911139198.0A patent/CN112825188A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116824150A (zh) * | 2023-04-24 | 2023-09-29 | 苏州梅曼智能科技有限公司 | 一种基于生成对抗模型的工业图像特征的提取方法 |
| CN117876609A (zh) * | 2024-03-11 | 2024-04-12 | 国网电商科技有限公司 | 一种多特征三维人脸重建方法、系统、设备及存储介质 |
| CN117876609B (zh) * | 2024-03-11 | 2024-05-24 | 国网电商科技有限公司 | 一种多特征三维人脸重建方法、系统、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109255831B (zh) | 基于多任务学习的单视图人脸三维重建及纹理生成的方法 | |
| Din et al. | A novel GAN-based network for unmasking of masked face | |
| CN110070483B (zh) | 一种基于生成式对抗网络的人像卡通化方法 | |
| CN111797716B (zh) | 一种基于Siamese网络的单目标跟踪方法 | |
| CN108520503B (zh) | 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法 | |
| CN109376582B (zh) | 一种基于生成对抗网络的交互式人脸卡通方法 | |
| CN112419170B (zh) | 遮挡检测模型的训练方法及人脸图像的美化处理方法 | |
| CN110287846A (zh) | 一种基于注意力机制的人脸关键点检测方法 | |
| CN112507617B (zh) | 一种SRFlow超分辨率模型的训练方法及人脸识别方法 | |
| CN110555896B (zh) | 一种图像生成方法、装置以及存储介质 | |
| CN113343878A (zh) | 基于生成对抗网络的高保真人脸隐私保护方法和系统 | |
| CN113724354B (zh) | 基于参考图颜色风格的灰度图像着色方法 | |
| CN112950477A (zh) | 一种基于双路径处理的高分辨率显著性目标检测方法 | |
| CN112825188A (zh) | 一种基于深度卷积生成对抗网络的遮挡人脸补全算法 | |
| CN112633234A (zh) | 人脸去眼镜模型训练、应用方法及其装置、设备和介质 | |
| CN113808005A (zh) | 一种基于视频驱动的人脸姿态迁移方法及装置 | |
| Guo et al. | Deep illumination-enhanced face super-resolution network for low-light images | |
| CN114387195A (zh) | 一种基于非全局预增强的红外图像与可见光图像融合方法 | |
| CN113222808A (zh) | 一种基于生成式对抗网络的人脸口罩移除方法 | |
| CN116524575A (zh) | 一种基于多注意力机制的人脸识别方法 | |
| CN116342377A (zh) | 一种降质场景下伪装目标图像自适应生成方法与系统 | |
| CN116563343A (zh) | 一种基于孪生网络结构和锚框自适应思想的rgbt目标跟踪方法 | |
| CN116403150A (zh) | 一种基于融合c3-cbam注意力机制的口罩检测算法 | |
| CN111882495B (zh) | 一种基于自定义模糊逻辑与gan的图像高光处理方法 | |
| CN115578762A (zh) | 侧脸矫正的方法、矫正装置及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| DD01 | Delivery of document by public notice |
Addressee: Yang Jucheng Document name: Deemed withdrawal notice |
|
| DD01 | Delivery of document by public notice | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210521 |
|
| WD01 | Invention patent application deemed withdrawn after publication |