CN111667007A - 一种基于对抗生成网络的人脸铅笔画图像生成方法 - Google Patents

一种基于对抗生成网络的人脸铅笔画图像生成方法 Download PDF

Info

Publication number
CN111667007A
CN111667007A CN202010510263.2A CN202010510263A CN111667007A CN 111667007 A CN111667007 A CN 111667007A CN 202010510263 A CN202010510263 A CN 202010510263A CN 111667007 A CN111667007 A CN 111667007A
Authority
CN
China
Prior art keywords
face
image
pencil drawing
data set
discriminator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010510263.2A
Other languages
English (en)
Inventor
王存睿
黄星宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Minzu University
Original Assignee
Dalian Minzu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Minzu University filed Critical Dalian Minzu University
Priority to CN202010510263.2A priority Critical patent/CN111667007A/zh
Publication of CN111667007A publication Critical patent/CN111667007A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种基于对抗生成网络的人脸铅笔画图像生成方法，包括以下步骤：S1、图片处理；S2、模型构建；S3、模型训练；S4、人脸铅笔画生成。与现有的技术相比一种基于对抗生成网络的人脸铅笔画生成方法。该本发明将极大提高人脸铅笔画制作效率，减轻了设计对于人工的依赖，极大的缩短了人脸铅笔画制作的周期，使得人脸铅笔画的生成变得简单方便。而且为多个行业的应用和推广提供了可靠依据。能够丰富电影、电视、广告等数字媒体和文化行业的材料，为其多元化设计提供素材。

Description

一种基于对抗生成网络的人脸铅笔画图像生成方法
技术领域
本发明涉及计算机图形学与人工智能领域，尤其涉及一种基于对抗生成网络的人脸铅笔画图像生成方法。
背景技术
随着经济和社会的发展，以及人类精神层次的提高，人们对图像不再仅仅追求真实的效果，同时也追求图像的非真实感。近年来，人脸铅笔画生成技术在执法、数字娱乐等诸多领域的应用越来越受到人们的关注。
随着深度学习技术在计算机视觉领域的不断发展，越来越多的研究者将深度神经网络技术用人脸铅笔画生成。生成式对抗网络(GAN)因其能够合成与自然图像几乎无法区分的图像而受到越来越多的关注。很对使用GAN进行人脸铅笔画生成的研究效果很差。丢失了个性特征，存在模糊和变形效果的局限性。
发明内容
本发明的目的是提供一种避免模糊和变形，形成铅笔画效果自然的基于对抗生成网络的人脸铅笔画图像生成方法。
本发明解决现有技术问题所采用的技术方案：一种基于对抗生成网络的人脸铅笔画图像生成方法，包括以下步骤：
S1、图片处理：从已知的人脸图像数据集中选取预设数量A的人脸图像作为人脸数据训练数据集；从已知的人脸铅笔画数据集中预设数量B的人脸铅笔画图像作为铅笔画训练数据集；并将人脸数据训练数据集和铅笔画训练数据集中的图像缩放至同样大小；A,B均为自然数；
S2、模型构建：生成对抗网络包括生成器和判别器，生成器采用编码器-解码器,判别器为卷积神经网络；编码器与解码器之间添加有连接层，生成器使用的卷积核为4*4，之后跟2*2、步长为2的最大池化层；使用下采样的激活函数‘relu’、上采样激活函数‘tanh’并采用‘same’模式作为生成器的输出；同时，在编码器解码器中间添加类别向量，所述类别向量随机向量；将人脸数据训练数据集中的人脸图像依次输入生成器中输出生成铅笔画图像，并保存为生成铅笔画数据集；
构建判别器的方法：所述判别器采用3个级联的Conv-BN-LReLu网络结构，最后采用两层全连接神经网络；判别器仅是对输入图像卷积得到30×30×1的张量大小作为输出；所述判别器使用patch判别器，patch判别器以输入图像的每一小块的patch单元来进行，即将生成器生成“假”照片划分为N*N个patch单元后，对每一单元进行判别真假；最后一层将输入图像的每个像素通过sigmoid函数激活，输出为真的概率值，再对所有patch单元的判别结果取平均得到最终损失函数；向判别器中输入铅笔画训练数据集中的图像以及生成铅笔画图像对二者进行判别；判别器的输出结果若为1则表示输入图片100％是真实人脸图像，判别器的输出结果若为0，则表示输入图片不可能是真实人脸图像；判别器的输出结果若为0.5，则表示由生成铅笔画数据集中的铅笔画图像的图片质量为最佳；
S3、模型训练：利用步骤S1得到的人脸数据训练数据集、人脸铅笔画训练数据集对生成对抗网络进行训练，得到训练后的对抗生成网络，并保存训练完成的参数；对生成对抗网络进行训练时，当损失函数达到最小时，生成对抗网络训练完成；所述损失函数如下：
L＝wadvLadv+w1L1+wcateLcate
Ladv＝Ex,y[logD(x,y)]+Ex,z[log(1-D(x,y)]
Figure BDA0002528093470000021
其中，pdata表示样本分布，pinput表示噪声分布，y为铅笔画训练数据集中的图像，x为生成铅笔画数据集中的铅笔画图像，D(x,y)表示判别器对图像y和铅笔画图像x的判别输出结果，；Ladv代表判别器对于生成图像与真实图像之间的判别损失；L1为度量生成图像与铅笔画训练数据集中的图像在像素空间的匹配程度；Lcate为类别损失函数，wadv，w1，wcate为权重系数；
S4、人脸铅笔画生成：依次将待处理的人脸图像输入到训练后的对抗生成网络中，则得到对应人脸铅笔画图像。
所述已知的人脸图像数据集为名人人脸属性数据集CelebA，预设数量A为10000，已知的人脸铅笔画数据集为中大人脸素描FERET数据库CUFSF。
本发明的有益效果在于：与现有的技术相比一种基于对抗生成网络的人脸铅笔画生成方法。该本发明将极大提高人脸铅笔画制作效率，减轻了设计对于人工的依赖，极大的缩短了人脸铅笔画制作的周期，使得人脸铅笔画的生成变得简单方便。而且为多个行业的应用和推广提供了可靠依据。能够丰富电影、电视、广告等数字媒体和文化行业的材料，为其多元化设计提供素材。
附图说明
图1是本发明的流程图。
图2是本发明的网络结构图。
图3是本发明的生成效果图。
具体实施方式
以下结合附图及具体实施方式对本发明进行说明：
如图1所示，一种基于对抗生成网络的人脸铅笔画图像生成方法，包括以下步骤：
S1、初始图片处理：从名人人脸属性数据集CelebA中选取1000张人脸图像作为人脸数据训练数据集；从中大人脸素描FERET数据库CUFSF中预设数量的人脸铅笔画图像作为铅笔画训练数据集；并将人脸数据训练数据集和铅笔画训练数据集中的图像缩放至同样大小。
S2、构建模型：生成对抗网络包括生成器和判别器，网络结构如图2所示。生成器采用编码器-解码器,判别器为卷积神经网络；编码器与解码器之间添加有连接层，生成器使用的卷积核为4*4，之后跟2*2、步长为2的最大池化层；使用下采样的激活函数‘relu’、上采样激活函数‘tanh’并采用‘same’模式作为生成器的输出；同时，在编码器解码器中间添加类别向量，其中类别向量是一个64维的随机向量，使得网络在训练时能够更好的区分人脸特征；将人脸数据训练数据集中的人脸图像依次输入生成器中输出生成铅笔画图像，并保存为生成铅笔画数据集；为了减少编码过程中的特征损失，编码器与解码器的对应层进行跳跃连接。跳跃连接编码器和解码器的对应层。
构建判别器的方法：所述判别器采用3个级联的Conv-BN-LReLu网络结构，最后采用两层全连接神经网络；判别器仅是对输入图像卷积得到30×30×1的张量大小作为输出；所述判别器使用patch判别器，patch判别器以输入图像的每一小块的patch单元来进行，即将生成器生成“假”照片划分为N*N个patch单元后，对每一单元进行判别真假；最后一层将输入图像的每个像素通过sigmoid函数激活，输出为真的概率值，再对所有patch单元的判别结果取平均得到最终损失函数；向判别器中输入铅笔画训练数据集中的图像以及生成铅笔画数据集中的铅笔画图像对二者进行判别；判别器的输出结果若为1则表示输入图片100％是真实人脸图像，判别器的输出结果若为0，则表示输入图片不可能是真实人脸图像；判别器的输出结果若为0.5，则表示判别器无法判断输入图片的真假，此时，由生成铅笔画数据集中的铅笔画图像的图片质量为最佳。
S3、模型训练：利用步骤S1得到的人脸数据训练数据集、人脸铅笔画训练数据集对生成对抗网络进行训练，得到训练后的对抗生成网络，并保存训练完成的参数；对生成对抗网络进行训练时，当损失函数达到最小时，生成对抗网络训练完成。
在训练神经网络过程中。将人脸数据训练数据集中的真实人脸图像输入到生成器中输出生成铅笔画图像，同时将铅笔画训练数据集与生成铅笔画图像输入到判别器中，判别真伪，并计算损失函数。如公式(2)所示。对于判别器而言，希望网络生成的人脸铅笔画图像被判别出假的可能性越大越好。而生成网络希望生成的人脸铅笔画图像被判别为真的可能性越大越好。所以生成网络最小化损失函数，而判别网络最大化损失函数，调整网络参数。因此，损失函数L如下：
L＝wadvLadv+w1L1+wcateLcate (1)
Ladv＝Ex,y[logD(x,y)]+Ex,z[log(1-D(x,y)] (2)
Figure BDA0002528093470000051
其中，pdata表示样本分布，pinput表示噪声分布，y为铅笔画训练数据集中的图像，x为生成铅笔画数据集中的铅笔画图像，D(x,y)表示判别器对图像y和铅笔画图像x的判别输出结果，；Ladv代表判别器对于生成图像与真实图像之间的判别损失；L1为度量生成图像与铅笔画训练数据集中的图像在像素空间的匹配程度；Lcate为类别损失函数，wadv，w1，wcate为权重系数。
S4、依次将待处理的人脸图像输入到训练后的对抗生成网络中，则得到对应人脸铅笔画图像；如图3所示。待处理的人脸图像实际为彩色图片，为满足专利说明书附图要求特做去色处理。
以上内容是结合具体的优选技术方案对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (2)

1.一种基于对抗生成网络的人脸铅笔画图像生成方法，其特征在于，包括以下步骤：
S1、图片处理：从已知的人脸图像数据集中选取预设数量A的人脸图像作为人脸数据训练数据集；从已知的人脸铅笔画数据集中预设数量B的人脸铅笔画图像作为铅笔画训练数据集；并将人脸数据训练数据集和铅笔画训练数据集中的图像缩放至同样大小；A,B均为自然数；
S2、模型构建：生成对抗网络包括生成器和判别器，生成器采用编码器-解码器,判别器为卷积神经网络；编码器与解码器之间添加有连接层，生成器使用的卷积核为4*4，之后跟2*2、步长为2的最大池化层；使用下采样的激活函数‘relu’、上采样激活函数‘tanh’并采用‘same’模式作为生成器的输出；同时，在编码器解码器中间添加类别向量，所述类别向量随机向量；将人脸数据训练数据集中的人脸图像依次输入生成器中输出生成铅笔画图像，并保存为生成铅笔画数据集；
构建判别器的方法：所述判别器采用3个级联的Conv-BN-LReLu网络结构，最后采用两层全连接神经网络；判别器仅是对输入图像卷积得到30×30×1的张量大小作为输出；所述判别器使用patch判别器，patch判别器以输入图像的每一小块的patch单元来进行，即将生成器生成“假”照片划分为N*N个patch单元后，对每一单元进行判别真假；最后一层将输入图像的每个像素通过sigmoid函数激活，输出为真的概率值，再对所有patch单元的判别结果取平均得到最终损失函数；向判别器中输入铅笔画训练数据集中的图像以及生成铅笔画图像对二者进行判别；判别器的输出结果若为1则表示输入图片100％是真实人脸图像，判别器的输出结果若为0，则表示输入图片不可能是真实人脸图像；判别器的输出结果若为0.5，则表示由生成铅笔画数据集中的铅笔画图像的图片质量为最佳；
S3、模型训练：利用步骤S1得到的人脸数据训练数据集、人脸铅笔画训练数据集对生成对抗网络进行训练，得到训练后的对抗生成网络，并保存训练完成的参数；对生成对抗网络进行训练时，当损失函数达到最小时，生成对抗网络训练完成；所述损失函数如下：
L＝wadvLadv+w1L1+wcateLcate
Ladv＝Ex,y[logD(x,y)]+Ex,z[log(1-D(x,y)]
Figure FDA0002528093460000021
其中，pdata表示样本分布，pinput表示噪声分布，y为铅笔画训练数据集中的图像，x为生成铅笔画数据集中的铅笔画图像，D(x,y)表示判别器对图像y和铅笔画图像x的判别输出结果，；Ladv代表判别器对于生成图像与真实图像之间的判别损失；L1为度量生成图像与铅笔画训练数据集中的图像在像素空间的匹配程度；Lcate为类别损失函数，wadv，w1，wcate为权重系数；
S4、人脸铅笔画生成：依次将待处理的人脸图像输入到训练后的对抗生成网络中，则得到对应人脸铅笔画图像。
2.根据权利要求1所述的一种基于对抗生成网络的人脸铅笔画图像生成方法，其特征在于，所述已知的人脸图像数据集为名人人脸属性数据集CelebA，预设数量A为10000，已知的人脸铅笔画数据集为中大人脸素描FERET数据库CUFSF。
CN202010510263.2A 2020-06-08 2020-06-08 一种基于对抗生成网络的人脸铅笔画图像生成方法 Pending CN111667007A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010510263.2A CN111667007A (zh) 2020-06-08 2020-06-08 一种基于对抗生成网络的人脸铅笔画图像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010510263.2A CN111667007A (zh) 2020-06-08 2020-06-08 一种基于对抗生成网络的人脸铅笔画图像生成方法

Publications (1)

Publication Number Publication Date
CN111667007A true CN111667007A (zh) 2020-09-15

Family

ID=72386914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010510263.2A Pending CN111667007A (zh) 2020-06-08 2020-06-08 一种基于对抗生成网络的人脸铅笔画图像生成方法

Country Status (1)

Country Link
CN (1) CN111667007A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633288A (zh) * 2020-12-29 2021-04-09 杭州电子科技大学 一种基于绘画笔触指导的人脸素描生成方法
CN112862110A (zh) * 2021-02-11 2021-05-28 脸萌有限公司 模型生成方法、装置和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596024A (zh) * 2018-03-13 2018-09-28 杭州电子科技大学 一种基于人脸结构信息的肖像生成方法
CN110223254A (zh) * 2019-06-10 2019-09-10 大连民族大学 一种基于对抗生成网络的图像去噪方法
CN110533737A (zh) * 2019-08-19 2019-12-03 大连民族大学 基于结构引导汉字字体生成的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596024A (zh) * 2018-03-13 2018-09-28 杭州电子科技大学 一种基于人脸结构信息的肖像生成方法
CN110223254A (zh) * 2019-06-10 2019-09-10 大连民族大学 一种基于对抗生成网络的图像去噪方法
CN110533737A (zh) * 2019-08-19 2019-12-03 大连民族大学 基于结构引导汉字字体生成的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王小玉 等: "基于生成对抗网络的人脸铅笔画算法", 吉林大学学报（工学版）网络首发论文 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633288A (zh) * 2020-12-29 2021-04-09 杭州电子科技大学 一种基于绘画笔触指导的人脸素描生成方法
CN112633288B (zh) * 2020-12-29 2024-02-13 杭州电子科技大学 一种基于绘画笔触指导的人脸素描生成方法
CN112862110A (zh) * 2021-02-11 2021-05-28 脸萌有限公司 模型生成方法、装置和电子设备
CN112862110B (zh) * 2021-02-11 2024-01-30 脸萌有限公司 模型生成方法、装置和电子设备

Similar Documents

Publication Publication Date Title
Zhang et al. Depth-wise separable convolutions and multi-level pooling for an efficient spatial CNN-based steganalysis
Zhu et al. Image inpainting by end-to-end cascaded refinement with mask awareness
Baldassarre et al. Deep koalarization: Image colorization using cnns and inception-resnet-v2
Kim et al. Representative color transform for image enhancement
CN111275637B (zh) 一种基于注意力模型的非均匀运动模糊图像自适应复原方法
Zhang et al. Adaptive residual networks for high-quality image restoration
CN110458765B (zh) 基于感知保持卷积网络的图像质量增强方法
CN107977932A (zh) 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN113284051B (zh) 一种基于频率分解多注意力机制的人脸超分辨方法
CN111598761A (zh) 一种基于图像降噪的抗打印拍摄图像数字水印方法
CN109948692B (zh) 基于多颜色空间卷积神经网络及随机森林的计算机生成图片检测方法
CN111046900A (zh) 基于局部流形正则化的半监督生成对抗网络图像分类方法
CN111160189A (zh) 一种基于动态目标训练的深度神经网络人脸表情识别方法
Wang et al. Image splicing detection based on convolutional neural network with weight combination strategy
CN112131975B (zh) 基于Retinex分解和生成对抗网络的人脸光照处理方法
CN112528830A (zh) 一种结合迁移学习的轻量级cnn口罩人脸姿态分类方法
Chen et al. Densely connected convolutional neural network for multi-purpose image forensics under anti-forensic attacks
Wang et al. Deeply supervised face completion with multi-context generative adversarial network
CN111667007A (zh) 一种基于对抗生成网络的人脸铅笔画图像生成方法
Yao et al. CGNet: Detecting computer-generated images based on transfer learning with attention module
CN115457568B (zh) 一种基于生成对抗网络的历史文档图像降噪方法及系统
CN111681188A (zh) 基于结合图像像素先验和图像梯度先验的图像去模糊方法
Wang et al. Marginalized denoising dictionary learning with locality constraint
Su et al. JPEG steganalysis based on ResNeXt with gauss partial derivative filters
CN111914617B (zh) 一种基于平衡栈式生成式对抗网络的人脸属性编辑方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination