CN109377452A - 基于vae和生成式对抗网络的人脸图像修复方法 - Google Patents
基于vae和生成式对抗网络的人脸图像修复方法 Download PDFInfo
- Publication number
- CN109377452A CN109377452A CN201811014897.8A CN201811014897A CN109377452A CN 109377452 A CN109377452 A CN 109377452A CN 201811014897 A CN201811014897 A CN 201811014897A CN 109377452 A CN109377452 A CN 109377452A
- Authority
- CN
- China
- Prior art keywords
- network
- value
- image
- pixels
- facial image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000001815 facial effect Effects 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 20
- 238000013135 deep learning Methods 0.000 claims abstract description 48
- 230000008439 repair process Effects 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 33
- 238000013507 mapping Methods 0.000 claims description 28
- 230000017105 transposition Effects 0.000 claims description 20
- 238000011478 gradient descent method Methods 0.000 claims description 10
- 238000013480 data collection Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000012141 concentrate Substances 0.000 claims description 3
- 238000012804 iterative process Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 230000004069 differentiation Effects 0.000 claims description 2
- 238000002474 experimental method Methods 0.000 description 9
- 238000012360 testing method Methods 0.000 description 8
- 238000004088 simulation Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 238000011840 criminal investigation Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于变分自编码器VAE和生成式对抗网络的人脸图像修复方法,主要解决现有技术中部分像素缺失的人脸图像修复适应能力不足,效率低的问题。本发明具体步骤如下:(1)构建深度学习网络;(2)初始化深度学习网络;(3)生成人脸图像集合;(4)交替训练编码器网络、生成器网络和判别器网络;(5)判断深度学习网络是否收敛,若是,执行步骤(6),否则,实行步骤(4);(6)修复部分像素缺失的人脸图像。本发明构建了一个深度学习网络,使用本发明训练好的深度学习网络修复部分像素缺失的人脸图像,具有修复适应能力强,效率高的优点。
Description
技术领域
本发明属于图像处理技术领域,更进一步涉及模式识别与计算机视觉技术领域中的一种基于变分自编码器VAE(Variational Auto-encoder)和生成式对抗网络的人脸图像修复方法。本发明可用于在公共安全领域中进行人脸检索与识别之前,对任意部分像素缺失的人脸图像的修复。
背景技术
在刑侦追捕中,公安部门备有公民照片数据库,结合人脸识别技术用以确定犯罪嫌疑人身份,但实际中一般较难获得完整的犯罪嫌疑人照片。可以利用图像中没有缺失的像素部分填补出完整的人脸图像来进行后续人脸检索和识别。由于在实际应用中直接利用已知部分像素进行缺失填补的难度较大,缺失的部分像素往往不能直接从已知部分图像中找到合适的部分进行填充,直接用传统的人脸图像修复方法很难获取得到满意的修复效果。利用深度学习领域中的生成式模型可以生成真实的人脸图像,进而提升修复效果。
中科视拓(北京)科技有限公司在其申请的专利文献“一种基于深度学习的人脸图像去遮挡方法”(申请号:201710120037.1申请日:2017.03.02申请公布号:CN106910176A)中公开了一种基于深度学习的人脸图像去遮挡方法。该方法首先对原始图片添加特定样式与分布的遮挡,模拟真实遮挡分布,制作训练数据集并对输入数据进行预处理。然后设计基于全卷积网络的神经子网络N1学习遮挡的分布与深浅,并设计神经子网络N2对遮挡图像进行自动修复与平滑。最后迭代训练子网络N1,N2,进行多任务学习,使得网络自动检测出遮挡并输出修复后的与原图大小相同的图像。该方法存在的不足之处是,在对输入数据进行预处理时,需要对原始图片添加特定的样式与分布遮挡,模拟真实遮挡分布,训练后的网络只能修复特定遮挡样式的人脸图像,自适应能力不足,无法修复其他遮挡样式的人脸图像。
南京邮电大学在其申请的专利文献“一种基于生成式对抗网络的人脸图像修复方法”(申请号:201711034936.6申请日:2017.10.30申请公布号:CN107945118A)中公开了一种基于生成式对抗网络的人脸图像修复方法。该方法首先建立一个人脸图像数据库,然后构建了一种生成式对抗网络,并且对生成式对抗网络进行训练,再将随机向量输入已训练好的生成器生成人脸图像,将待修复人脸图像的完好区域与生成图像的相应区域进行对比,不断调整输入向量直到两者相似,最终将待修复的人脸图像损坏区域的像素值用生成人脸图像的对应区域像素值替换。该方法存在的不足之处是,将随机向量输入训练好的生成器生成人脸图像,随机向量中可能没有包含生成人脸图像所必须的信息,输入生成器后不一定能生成人脸图像,生成器可能会生成各种各样的图像,网络需要从生成的多种图像中挑选出人脸图像再进行下一步的训练,由此导致该方法的训练时间长,效率低。
发明内容
本发明的目的在于针对上述已有技术的不足,提出一种基于变分自编码器VAE和生成式对抗网络的人脸图像修复方法,能够修复任意部分像素缺失的人脸图像。
实现本发明目的的思路是:首先,构建一个由变分自编码器VAE与生成式对抗网络相结合的深度学习网络,利用完整人脸图像经编码器网络,得到具有人脸图像特征编码特征向量训练深度学习网络,用完整的人脸图像数据集对深度学习网络进行训练,得到训练好的深度学习网络。修复部分像素缺失的人脸图像时,直接使用本发明训练好的深度学习网络。将部分像素缺失的人脸图像输入深度学习网络,生成与部分像素缺失的人脸图像相似的人脸图像,将部分像素缺失的人脸图像中缺失部分的像素值,用生成图像中相同部分的像素值替换,得到修复后的人脸图像。
本发明的具体步骤包括如下:
(1)构建深度学习网络:
(1a)构建一个五层的自动编码器网络,其结构依次为:输入层→第1个微步幅卷积层→第2个微步幅卷积层→第3个微步幅卷积层→全连接层1;
(1b)设置编码器网络各层参数如下:将输入层特征映射图总数设置为3个;将第1个微步幅卷积层特征映射图总数设置为64个,卷积核大小设置为5×5个像素,步长大小设置为2个像素;将第2个微步幅卷积层特征映射图总数设置为128个,卷积核大小设置为5×5个像素,步长大小设置为2个像素;将第3个微步幅卷积层特征映射图总数设置为256个,卷积核大小设置为5×5个像素,步长大小设置为2个像素;将全连接层1的输入和输出节点的个数分别设置为2048个和100个;
(1c)构建一个五层的生成器网络,其结构依次为:全连接层2→第1个转置卷积层→第2个转置卷积层→第3个转置卷积层→第4个转置卷积层;并设置生成器网络各层参数;
(1d)构建一个六层的判别器网络,其结构依次为:第1个深度卷积层→第2个深度卷积层→第3个深度卷积层→第4个深度卷积层→全连接层3→soft-max二分类层;并设置判别器网络各层参数;
(1e)将编码器网络、生成器网络和判别器网络组成深度学习网络;
(1f)设置深度学习网络参数如下:编码器网络的学习率设置为0.01,生成器网络和判别器网络的学习率设置为0.005;
(2)对深度学习网络进行初始化:
(2a)在(0,0.1)范围内随机选一个数,用所选数作为深度学习网络中每个节点的初始权值;
(2b)将每个节点的初始权值作为第一次迭代过程中深度学习网络中每个节点的权值;
(3)生成人脸图像集合:
(3a)从人脸图像数据集的每张图像中,截取出每个人脸部分所占区域的图像,将所有截取的图像组成人脸图像集合S,将人脸图像集合S中的人脸图像大小统一设置为64×64像素;
(3b)从人脸图像集合中随机选取M张人脸图像作为训练样本集,其中,2≤M≤U-1,U表示人脸图像集合中人脸图像的总数;
(4)交替训练编码器网络、生成器网络和判别器网络:
(4a)从训练样本集中随机取出R张人脸图像组成训练样本,其中,2≤R≤M-1,M表示训练样本集中人脸图像的总数,将训练样本输入编码器网络后输出的编码特征向量;
(4b)按照下式,计算编码特征向量中每个元素值与标准正态分布向量中每个元素值的相对熵:
其中,Juv表示编码特征向量中第u个元素值与标准正态分布向量中第v个元素值的相对熵,Zv表示标准正态分布向量中第v个元素值,log表示以10为底的对数操作,Eu表示编码特征向量中第u个元素值;
(4c)用相对熵对编码器网络中每一个节点的权值求偏导,得到编码器网络中每个节点权值的梯度值;
(4d)按照下式,更新编码器网络中每个节点的权值:
其中,表示编码器网络中第k个节点更新后的权值,wk表示编码器网络中第k个节点更新前的权值,α表示编码器网络的学习速率,Δ(wk)表示编码器网络中第k个节点权值的梯度值;
(4f)利用小批量梯度下降法,分别训练生成器网络和判别器网络;
(5)判断深度学习网络是否收敛,若是,得到训练好的深度学习网络,执行步骤(6),否则,执行步骤(4);
(6)修复部分像素缺失的人脸图像:
(6a)将1幅部分像素缺失的人脸图像输入编码器网络,得到编码器网络输出的特征向量;
(6b)利用批量梯度下降法,更新编码器网络输出的特征向量,将更新后的特征向量输入生成器网络,得到与部分像素缺失的人脸图像相似的生成图像;
(6c)将部分像素缺失的人脸图像中缺失部分的像素值,用生成图像相同部分的像素值替换,得到修复后的人脸图像。
与现有技术相比,本发明有以下优点:
第一,由于本发明构建了一个由变分自编码器VAE与生成式对抗网络相结合的深度学习网络,利用完整人脸图像经编码器网络,得到具有人脸图像特征编码特征向量训练深度学习网络,克服现有技术中利用随机向量训练生成式对抗网络,随机向量中可能没有包含人脸图像特征,导致的生成式对抗网络训练时间长,效率低的问题,使得本发明的深度学习网络具有训练时间短,效率高的优点。
第二,由于本发明将任意部分像素缺失的人脸图像输入训练好的深度学习网络,生成与部分像素缺失的人脸图像相似的人脸图像,将部分像素缺失的人脸图像中缺失部分的像素值,用生成图像中相同部分的像素值替换,克服现有技术只能修复特定遮挡样式的人脸图像,自适应能力不足,无法修复其他遮挡样式的人脸图像的问题,使得本发明具有可以修复任意部分像素缺失的人脸图像,自适应能力强的优点。
附图说明
图1为本发明流程图;
图2为本发明的仿真图。
具体实施方式
下面结合附图对本发明作进一步地描述。
结合附图1,对本发明的具体步骤作进一步地描述。
步骤1,构建深度学习网络。
构建一个五层的自动编码器网络,其结构依次为:输入层→第1个微步幅卷积层→第2个微步幅卷积层→第3个微步幅卷积层→全连接层1。
设置编码器网络各层参数如下:将输入层特征映射图总数设置为3个;将第1个微步幅卷积层特征映射图总数设置为64个,卷积核大小设置为5×5个像素,步长大小设置为2个像素;将第2个微步幅卷积层特征映射图总数设置为128个,卷积核大小设置为5×5个像素,步长大小设置为2个像素;将第3个微步幅卷积层特征映射图总数设置为256个,卷积核大小设置为5×5个像素,步长大小设置为2个像素;将全连接层1的输入和输出节点的个数分别设置为2048个和100个。
构建一个五层的生成器网络,其结构依次为:全连接层2→第1个转置卷积层→第2个转置卷积层→第3个转置卷积层→第4个转置卷积层;并设置生成器网络各层参数。
生成器网络各层参数设置如下:全连接层2的输入和输出节点个数设置为100个和2048个;将第1个转置卷积层特征映射图总数设置为256个,卷积核大小设置为5×5个像素,步长大小设置为2个像素;将第2个转置卷积层特征映射图总数设置为128个,卷积核大小设置为5×5个像素,步长大小设置为2个像素;将第3个转置卷积层特征映射图总数设置为32个,卷积核大小设置为5×5个像素,步长大小设置为2个像素;将第4个转置卷积层特征映射图总数设置为3个,卷积核大小设置为5×5个像素,步长大小设置为2个像素。
构建一个六层的判别器网络,其结构依次为:第1个深度卷积层→第2个深度卷积层→第3个深度卷积层→第4个深度卷积层→全连接层3→soft-max二分类层;并设置判别器网络各层参数。
判别器网络各层参数设置如下:将第1个深度卷积层特征映射图总数设置为32个,卷积核大小设置为5×5个像素,步长大小设置为2个像素;将第2个深度卷积层特征映射图总数设置为128个,卷积核大小设置为5×5个像素,步长大小设置为2个像素;将第3个深度卷积层特征映射图总数设置为256个,卷积核大小设置为5×5个像素,步长大小设置为2个像素;将第4个深度卷积层特征映射图总数设置为512个,卷积核大小设置为5×5个像素,步长大小设置为2个像素;全连接层3的出入和输出节点设置为512个和100个;soft-max二分类层的输入节点个数设置为100个,输出节点个数设置为1个。
将编码器网络、生成器网络和判别器网络组成深度学习网络。
设置深度学习网络参数如下:编码器网络的学习率设置为0.01,生成器网络和判别器网络的学习率设置为0.005。
步骤2,对深度学习网络进行初始化。
在(0,0.1)范围内随机选一个数,用所选数作为深度学习网络中每个节点的初始权值。
将每个节点的初始权值作为第一次迭代过程中深度学习网络中每个节点的权值。
步骤3,生成人脸图像集合。
从人脸图像数据集的每张图像中,截取出每个人脸部分所占区域的图像,将所有截取的图像组成人脸图像集合S,将人脸图像集合S中的人脸图像大小统一设置为64×64像素。
从人脸图像集合中随机选取M张人脸图像作为训练样本集,其中,2≤M≤U-1,U表示人脸图像集合中人脸图像的总数。
步骤4,交替训练编码器网络、生成器网络和判别器网络。
从训练样本集中随机取出R张人脸图像组成训练样本,其中,2≤R≤M-1,M表示训练样本集中人脸图像的总数,将训练样本输入编码器网络后输出的编码特征向量。
按照下式,计算编码特征向量中每个元素值与标准正态分布向量中每个元素值的相对熵:
其中,Juv表示编码特征向量中第u个元素值与标准正态分布向量中第v个元素值的相对熵,Zv表示标准正态分布向量中第v个元素值,log表示以10为底的对数操作,Eu表示编码特征向量中第u个元素值。
用相对熵对编码器网络中每一个节点的权值求偏导,得到编码器网络中每个节点权值的梯度值。
按照下式,更新编码器网络中每个节点的权值:
其中,表示编码器网络中第k个节点更新后的权值,wk表示编码器网络中第k个节点更新前的权值,α表示编码器网络的学习速率,Δ(wk)表示编码器网络中第k个节点权值的梯度值。
利用小批量梯度下降法,分别训练生成器网络和判别器网络。
小批量梯度下降法的具体步骤如下:
第一步,将编码器网络输出的特征向量输入生成器网络,生成器网络输出生成样本。
第二步,将训练样本和生成样本输入判别器网络,判别器网络输出每个样本为真实图像的概率值。
第三步,按照下式,计算每个样本为真实图像的概率值的平均对数损失值:
其中,L表示每个样本为真实图像概率值的平均对数损失值,N表示训练样本和生成样本的总数,∑表示求和操作,i表示输入样本的序号,yi表示第i个输入样本为真实图像的概率值,训练样本的yi值取1,生成样本的yi值取0,pi表示输入样本中第i个样本经判别器网络输出后样本为真实图像的概率值。
第四步,用平均对数损失值对生成器网络和判别器网络中每一个节点的权值求偏导,得到生成器网络和判别器网络中每个节点权值的梯度值。
第五步,按照下式,更新生成器网络和判别器网络中每个节点的权值:
其中,表示生成器网络和判别器网络中第c个节点更新后的权值,gc表示生成器网络和判别器网络中第c个节点更新前的权值,β表示生成器网络和判别器网络的学习速率,Δ(gc)表示生成器网络和判别器网络中第c个节点权值的梯度值。
步骤5,判断深度学习网络是否收敛,若是,得到训练好的深度学习网络,执行步骤6,否则,执行步骤4。
深度学习网络收敛是指,生成器网络生成的样本,能够完好拟合训练样本的分布,使生成器网络和判别器网络在训练过程中达到纳什均衡。
步骤6,修复部分像素缺失的人脸图像。
将1幅部分像素缺失的人脸图像输入编码器网络,得到编码器网络输出的特征向量。
利用批量梯度下降法,更新编码器网络输出的特征向量,将更新后的特征向量输入生成器网络,得到与部分像素缺失的人脸图像相似的生成图像。
批量梯度下降法的具体步骤如下:
第一步,将特征向量输入生成器网络,得到生成图像,将生成图像输入判别器网络,得到生成图像为真实图像的概率值。
第二步,按照下式,计算生成图像的生成损失值:
其中,D表示生成图像的生成损失值,xm表示待修复的人脸图像中第m个元素值,表示生成图像中第n个元素值,λ表示权重值,其取值范围为(0,1),q表示生成图像为真实图像的概率值。
第三步,用生成损失值对特征向量中每一个元素值求偏导,得到特征向量中每个元素值的梯度值。
第四步,按照下式,更新特征向量中每个元素值:
其中,表示特征向量中第l个元素更新后的值,fl表示特征向量中第l个元素更新前的值,χ表示学习率,其取值范围为(0,1),Δ(fl)表示特征向量中第l个元素值的梯度值。
将部分像素缺失的人脸图像中缺失部分的像素值,用生成图像相同部分的像素值替换,得到修复后的人脸图像。
本发明的效果通过以下仿真实验进一步说明。
1.仿真实验条件:
本发明的仿真实验的硬件平台为:Intel(R)Core(TM)i7-8700K CPU,3.70GHz*12,NVIDIA GeForce GTX 1080Ti,内存为64G。
本发明的仿真实验的软件平台为:TensorFlow。
2.仿真内容与结果分析:
本发明仿真实验使用完整的人脸图像数据集对深度学习网络进行训练,得到训练好的深度学习网络,将部分像素缺失的人脸图像输入深度学习网络进行修复。
本发明仿真实验使用的完整的人脸图像数据集为CelebA数据集,该数据集共有202599幅人脸图像。用人脸图像数据集对深度学习网络迭代训练1000次,得到训练好的深度学习网络。本发明仿真实验所用的测试图像是从LFW数据集中采集的9幅人脸图像组成的测试图像,对测试图像进行不同位置的遮挡,模拟部分像素缺失的人脸图像。
图2为本发明仿真实验模拟修复部分像素缺失的人脸图像的示意图,图2(a)是每幅测试图像遮挡了人脸的鼻子和嘴的示意图,模拟中间部分像素缺失的人脸图像,图2(c)为每幅测试图像遮挡了人脸的左半边脸的示意图,模拟左边部分像素缺失的人脸图像。将测试图像输入深度学习网络,得到输出的生成图像,将测试图像中缺失部分的像素值用生成图像相同位置的像素值替换。图2(b)为中间部分像素缺失的人脸图像修复后的图像,图2(d)为左边部分像素缺失的人脸图像修复后的图像。
用图2(a)与图2(b)进行对比,图2(c)与图2(d)进行对比可见,本发明仿真实验对中间部分像素缺失的人脸图像和左边部分像素缺失的人脸图像进行修复,修复后的图像与测试图像相似度高,修复效果好,说明本发明可以有效的修复不同部分像素缺失的人脸图像,相比于现有方法只能修复特定遮挡样式的人脸图像,自适应能力更强。
Claims (6)
1.一种基于变分自编码器VAE和生成式对抗网络的人脸图像修复方法,其特征在于,构建深度学习网络,交替训练编码器网络、生成器网络和判别器网络,修复部分像素缺失的人脸图像;该方法的具体步骤包括如下:
(1)构建深度学习网络:
(1a)构建一个五层的自动编码器网络,其结构依次为:输入层→第1个微步幅卷积层→第2个微步幅卷积层→第3个微步幅卷积层→全连接层1;
(1b)设置编码器网络各层参数如下:将输入层特征映射图总数设置为3个;将第1个微步幅卷积层特征映射图总数设置为64个,卷积核大小设置为5×5个像素,步长大小设置为2个像素;将第2个微步幅卷积层特征映射图总数设置为128个,卷积核大小设置为5×5个像素,步长大小设置为2个像素;将第3个微步幅卷积层特征映射图总数设置为256个,卷积核大小设置为5×5个像素,步长大小设置为2个像素;将全连接层1的输入和输出节点的个数分别设置为2048个和100个;
(1c)构建一个五层的生成器网络,其结构依次为:全连接层2→第1个转置卷积层→第2个转置卷积层→第3个转置卷积层→第4个转置卷积层;并设置生成器网络各层参数;
(1d)构建一个六层的判别器网络,其结构依次为:第1个深度卷积层→第2个深度卷积层→第3个深度卷积层→第4个深度卷积层→全连接层3→soft-max二分类层;并设置判别器网络各层参数;
(1e)将编码器网络、生成器网络和判别器网络组成深度学习网络;
(1f)设置深度学习网络参数如下:编码器网络的学习率设置为0.01,生成器网络和判别器网络的学习率设置为0.005;
(2)对深度学习网络进行初始化:
(2a)在(0,0.1)范围内随机选一个数,用所选数作为深度学习网络中每个节点的初始权值;
(2b)将每个节点的初始权值作为第一次迭代过程中深度学习网络中每个节点的权值;
(3)生成人脸图像集合:
(3a)从人脸图像数据集的每张图像中,截取出每个人脸部分所占区域的图像,将所有截取的图像组成人脸图像集合S,将人脸图像集合S中的人脸图像大小统一设置为64×64像素;
(3b)从人脸图像集合中随机选取M张人脸图像作为训练样本集,其中,2≤M≤U-1,U表示人脸图像集合中人脸图像的总数;
(4)交替训练编码器网络、生成器网络和判别器网络:
(4a)从训练样本集中随机取出R张人脸图像组成训练样本,其中,2≤R≤M-1,M表示训练样本集中人脸图像的总数,将训练样本输入编码器网络后输出的编码特征向量;
(4b)按照下式,计算编码特征向量中每个元素值与标准正态分布向量中每个元素值的相对熵:
其中,Juv表示编码特征向量中第u个元素值与标准正态分布向量中第v个元素值的相对熵,Zv表示标准正态分布向量中第v个元素值,log表示以10为底的对数操作,Eu表示编码特征向量中第u个元素值;
(4c)用相对熵对编码器网络中每一个节点的权值求偏导,得到编码器网络中每个节点权值的梯度值;
(4d)按照下式,更新编码器网络中每个节点的权值:
其中,表示编码器网络中第k个节点更新后的权值,wk表示编码器网络中第k个节点更新前的权值,α表示编码器网络的学习速率,Δ(wk)表示编码器网络中第k个节点权值的梯度值;
(4f)利用小批量梯度下降法,分别训练生成器网络和判别器网络;
(5)判断深度学习网络是否收敛,若是,得到训练好的深度学习网络,执行步骤(6),否则,执行步骤(4);
(6)修复部分像素缺失的人脸图像:
(6a)将1幅部分像素缺失的人脸图像输入编码器网络,得到编码器网络输出的特征向量;
(6b)利用批量梯度下降法,更新编码器网络输出的特征向量,将更新后的特征向量输入生成器网络,得到与部分像素缺失的人脸图像相似的生成图像;
(6c)将部分像素缺失的人脸图像中缺失部分的像素值,用生成图像相同部分的像素值替换,得到修复后的人脸图像。
2.根据权利要求1所述的基于变分自编码器VAE和生成式对抗网络的人脸图像修复方法,其特征在于:步骤(1c)中所述的生成器网络各层参数设置如下:
将全连接层2的输入和输出节点个数设置为100个和2048个;
将第1个转置卷积层特征映射图总数设置为256个,卷积核大小设置为5×5个像素,步长大小设置为2个像素;
将第2个转置卷积层特征映射图总数设置为128个,卷积核大小设置为5×5个像素,步长大小设置为2个像素;
将第3个转置卷积层特征映射图总数设置为32个,卷积核大小设置为5×5个像素,步长大小设置为2个像素;
将第4个转置卷积层特征映射图总数设置为3个,卷积核大小设置为5×5个像素,步长大小设置为2个像素。
3.根据权利要求1所述的基于变分自编码器VAE和生成式对抗网络的人脸图像修复方法,其特征在于:步骤(1d)中所述的判别器网络各层参数设置如下:
将第1个深度卷积层特征映射图总数设置为32个,卷积核大小设置为5×5个像素,步长大小设置为2个像素;
将第2个深度卷积层特征映射图总数设置为128个,卷积核大小设置为5×5个像素,步长大小设置为2个像素;
将第3个深度卷积层特征映射图总数设置为256个,卷积核大小设置为5×5个像素,步长大小设置为2个像素;
将第4个深度卷积层特征映射图总数设置为512个,卷积核大小设置为5×5个像素,步长大小设置为2个像素;
全连接层3的出入和输出节点设置为512个和100个;
soft-max二分类层的输入节点个数设置为100个,输出节点个数设置为1个。
4.根据权利要求1所述的基于变分自编码器VAE和生成式对抗网络的人脸图像修复方法,其特征在于:步骤(4f)中所述小批量梯度下降法的具体步骤如下:
第一步,将编码器网络输出的特征向量输入生成器网络,生成器网络输出生成样本;
第二步,将训练样本和生成样本输入判别器网络,判别器网络输出每个样本为真实图像的概率值;
第三步,按照下式,计算每个样本为真实图像的概率值的平均对数损失值:
其中,L表示每个样本为真实图像概率值的平均对数损失值,N表示训练样本和生成样本的总数,∑表示求和操作,i表示输入样本的序号,yi表示第i个输入样本为真实图像的概率值,训练样本的yi值取1,生成样本的yi值取0,pi表示输入样本中第i个样本经判别器网络输出后样本为真实图像的概率值;
第四步,用平均对数损失值对生成器网络和判别器网络中每一个节点的权值求偏导,得到生成器网络和判别器网络中每个节点权值的梯度值;
第五步,按照下式,更新生成器网络和判别器网络中每个节点的权值:
其中,表示生成器网络和判别器网络中第c个节点更新后的权值,gc表示生成器网络和判别器网络中第c个节点更新前的权值,β表示生成器网络和判别器网络的学习速率,Δ(gc)表示生成器网络和判别器网络中第c个节点权值的梯度值。
5.根据权利要求1所述的基于变分自编码器VAE和生成式对抗网络的人脸图像修复方法,其特征在于:步骤(5)中所述深度学习网络收敛是指,生成器网络生成的样本,能够完好拟合训练样本的分布,使生成器网络和判别器网络在训练过程中达到纳什均衡。
6.根据权利要求1所述的基于变分自编码器VAE和生成式对抗网络的人脸图像修复方法,其特征在于:步骤(6b)中所述批量梯度下降法的具体步骤如下:
第一步,将特征向量输入生成器网络,得到生成图像,将生成图像输入判别器网络,得到生成图像为真实图像的概率值;
第二步,按照下式,计算生成图像的生成损失值:
其中,D表示生成图像的生成损失值,xm表示待修复的人脸图像中第m个元素值,表示生成图像中第n个元素值,λ表示权重值,其取值范围为(0,1),q表示生成图像为真实图像的概率值;
第三步,用生成损失值对特征向量中每一个元素值求偏导,得到特征向量中每个元素值的梯度值;
第四步,按照下式,更新特征向量中每个元素值:
fl *=fl-χ×Δ(fl)
其中,fl *表示特征向量中第l个元素更新后的值,fl表示特征向量中第l个元素更新前的值,χ表示学习率,其取值范围为(0,1),Δ(fl)表示特征向量中第l个元素值的梯度值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811014897.8A CN109377452B (zh) | 2018-08-31 | 2018-08-31 | 基于vae和生成式对抗网络的人脸图像修复方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811014897.8A CN109377452B (zh) | 2018-08-31 | 2018-08-31 | 基于vae和生成式对抗网络的人脸图像修复方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109377452A true CN109377452A (zh) | 2019-02-22 |
CN109377452B CN109377452B (zh) | 2020-08-04 |
Family
ID=65404307
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811014897.8A Active CN109377452B (zh) | 2018-08-31 | 2018-08-31 | 基于vae和生成式对抗网络的人脸图像修复方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109377452B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110163815A (zh) * | 2019-04-22 | 2019-08-23 | 桂林电子科技大学 | 基于多阶段变分自编码器的低照度还原方法 |
CN110175552A (zh) * | 2019-05-22 | 2019-08-27 | 西安电子科技大学 | 基于深度耦合自编码的人脸画像合成方法 |
CN110572696A (zh) * | 2019-08-12 | 2019-12-13 | 浙江大学 | 一种变分自编码器与生成对抗网络结合的视频生成方法 |
CN110728628A (zh) * | 2019-08-30 | 2020-01-24 | 南京航空航天大学 | 一种基于条件生成对抗网络的人脸去遮挡方法 |
CN111783606A (zh) * | 2020-06-24 | 2020-10-16 | 北京百度网讯科技有限公司 | 一种人脸识别网络的训练方法、装置、设备及存储介质 |
CN112052940A (zh) * | 2020-08-26 | 2020-12-08 | 西安电子科技大学 | 基于向量压缩与重构的社交网络特征动态提取方法 |
CN112307234A (zh) * | 2020-11-03 | 2021-02-02 | 厦门兆慧网络科技有限公司 | 一种人脸底库合成方法、系统和、设备及存储介质 |
WO2021056843A1 (zh) * | 2019-09-27 | 2021-04-01 | 北京市商汤科技开发有限公司 | 神经网络训练方法及装置和图像生成方法及装置 |
CN113095149A (zh) * | 2021-03-18 | 2021-07-09 | 西北工业大学 | 一种基于单张人脸图像的全头部纹理网络结构及生成方法 |
CN113989902A (zh) * | 2021-11-15 | 2022-01-28 | 天津大学 | 一种基于特征重建的遮挡人脸识别方法、装置及存储介质 |
CN114120041A (zh) * | 2021-11-29 | 2022-03-01 | 暨南大学 | 一种基于双对抗变分自编码器的小样本分类方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090248748A1 (en) * | 2008-04-01 | 2009-10-01 | Bella Shahmoradian | Method and System for Applying Beauty Treatments to an Individual by Generalizing Their Features |
CN108319932A (zh) * | 2018-03-12 | 2018-07-24 | 中山大学 | 一种基于生成式对抗网络的多图像人脸对齐的方法及装置 |
-
2018
- 2018-08-31 CN CN201811014897.8A patent/CN109377452B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090248748A1 (en) * | 2008-04-01 | 2009-10-01 | Bella Shahmoradian | Method and System for Applying Beauty Treatments to an Individual by Generalizing Their Features |
CN108319932A (zh) * | 2018-03-12 | 2018-07-24 | 中山大学 | 一种基于生成式对抗网络的多图像人脸对齐的方法及装置 |
Non-Patent Citations (1)
Title |
---|
YIJUN LI ET AL.: "Generative Face Completion", 《PROCEEDINGS OF THE IEEE CONFERENCE》 * |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110163815A (zh) * | 2019-04-22 | 2019-08-23 | 桂林电子科技大学 | 基于多阶段变分自编码器的低照度还原方法 |
CN110163815B (zh) * | 2019-04-22 | 2022-06-24 | 桂林电子科技大学 | 基于多阶段变分自编码器的低照度还原方法 |
CN110175552A (zh) * | 2019-05-22 | 2019-08-27 | 西安电子科技大学 | 基于深度耦合自编码的人脸画像合成方法 |
CN110572696B (zh) * | 2019-08-12 | 2021-04-20 | 浙江大学 | 一种变分自编码器与生成对抗网络结合的视频生成方法 |
CN110572696A (zh) * | 2019-08-12 | 2019-12-13 | 浙江大学 | 一种变分自编码器与生成对抗网络结合的视频生成方法 |
CN110728628A (zh) * | 2019-08-30 | 2020-01-24 | 南京航空航天大学 | 一种基于条件生成对抗网络的人脸去遮挡方法 |
WO2021056843A1 (zh) * | 2019-09-27 | 2021-04-01 | 北京市商汤科技开发有限公司 | 神经网络训练方法及装置和图像生成方法及装置 |
CN111783606A (zh) * | 2020-06-24 | 2020-10-16 | 北京百度网讯科技有限公司 | 一种人脸识别网络的训练方法、装置、设备及存储介质 |
CN111783606B (zh) * | 2020-06-24 | 2024-02-20 | 北京百度网讯科技有限公司 | 一种人脸识别网络的训练方法、装置、设备及存储介质 |
CN112052940A (zh) * | 2020-08-26 | 2020-12-08 | 西安电子科技大学 | 基于向量压缩与重构的社交网络特征动态提取方法 |
CN112052940B (zh) * | 2020-08-26 | 2023-11-24 | 西安电子科技大学 | 基于向量压缩与重构的社交网络特征动态提取方法 |
CN112307234A (zh) * | 2020-11-03 | 2021-02-02 | 厦门兆慧网络科技有限公司 | 一种人脸底库合成方法、系统和、设备及存储介质 |
CN113095149A (zh) * | 2021-03-18 | 2021-07-09 | 西北工业大学 | 一种基于单张人脸图像的全头部纹理网络结构及生成方法 |
CN113989902A (zh) * | 2021-11-15 | 2022-01-28 | 天津大学 | 一种基于特征重建的遮挡人脸识别方法、装置及存储介质 |
CN114120041A (zh) * | 2021-11-29 | 2022-03-01 | 暨南大学 | 一种基于双对抗变分自编码器的小样本分类方法 |
CN114120041B (zh) * | 2021-11-29 | 2024-05-17 | 暨南大学 | 一种基于双对抗变分自编码器的小样本分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109377452B (zh) | 2020-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109377452A (zh) | 基于vae和生成式对抗网络的人脸图像修复方法 | |
CN108537743B (zh) | 一种基于生成对抗网络的面部图像增强方法 | |
CN105138993B (zh) | 建立人脸识别模型的方法及装置 | |
CN110287805B (zh) | 基于三流卷积神经网络的微表情识别方法及系统 | |
CN108961272B (zh) | 一种基于深度卷积对抗生成网络的皮肤病图像的生成方法 | |
CN110363183B (zh) | 基于生成式对抗网络的服务机器人视觉图片隐私保护方法 | |
CN105678284B (zh) | 一种固定位人体行为分析方法 | |
CN108665005B (zh) | 一种利用dcgan提高基于cnn图像识别性能的方法 | |
CN109118467A (zh) | 基于生成对抗网络的红外与可见光图像融合方法 | |
CN107016406A (zh) | 基于生成式对抗网络的病虫害图像生成方法 | |
CN106599872A (zh) | 用于验证活体人脸图像的方法和设备 | |
CN111783748B (zh) | 人脸识别方法、装置、电子设备及存储介质 | |
CN112818764B (zh) | 一种基于特征重建模型的低分辨率图像人脸表情识别方法 | |
WO2008091281A2 (en) | Artificial intelligence systems for identifying objects | |
CN109361934A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN110363770A (zh) | 一种边缘引导式红外语义分割模型的训练方法及装置 | |
CN112801015A (zh) | 一种基于注意力机制的多模态人脸识别方法 | |
CN109685724A (zh) | 一种基于深度学习的对称感知人脸图像补全方法 | |
CN105550712B (zh) | 基于优化卷积自动编码网络的极光图像分类方法 | |
CN109886153A (zh) | 一种基于深度卷积神经网络的实时人脸检测方法 | |
CN115966010A (zh) | 一种基于注意力和多尺度特征融合的表情识别方法 | |
CN112070720A (zh) | 一种基于深度学习模型的变电站设备缺陷识别方法 | |
Putra et al. | The performance of Siamese neural network for face recognition using different activation functions | |
CN114092354A (zh) | 一种基于生成对抗网络的人脸图像修复方法 | |
CN112766176B (zh) | 轻量化卷积神经网络的训练方法及人脸属性识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |