CN108121975B - 一种联合原始数据和生成数据的人脸识别方法 - Google Patents

一种联合原始数据和生成数据的人脸识别方法 Download PDF

Info

Publication number
CN108121975B
CN108121975B CN201810007534.5A CN201810007534A CN108121975B CN 108121975 B CN108121975 B CN 108121975B CN 201810007534 A CN201810007534 A CN 201810007534A CN 108121975 B CN108121975 B CN 108121975B
Authority
CN
China
Prior art keywords
training
sample set
dcgan
face
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810007534.5A
Other languages
English (en)
Other versions
CN108121975A (zh
Inventor
许浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casht Investment Holding Co ltd
Original Assignee
Casht Investment Holding Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casht Investment Holding Co ltd filed Critical Casht Investment Holding Co ltd
Priority to CN201810007534.5A priority Critical patent/CN108121975B/zh
Publication of CN108121975A publication Critical patent/CN108121975A/zh
Application granted granted Critical
Publication of CN108121975B publication Critical patent/CN108121975B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本发明提供了一种通过小规模人脸数据集训练卷积神经网络的方法，其特征在于，包括步骤：步骤1：使用原始标注的人脸样本集训练卷积神经网络VGG人脸识别模型；步骤2：构造深度卷积生成对抗网络DCGAN模型，使用原始标注的人脸样本集训练深度卷积生成对抗网络；步骤3：通过DCGAN生成无标签的人脸样本集；步骤4：对DCGAN生成人脸数据集标注；步骤5：使用原始标注的人脸样本集训练即插即用生成网络PPGN；步骤6：通过PPGN生成带有标签的人脸样本集；步骤7：联合DCGAN、PPGN生成的样本集和原始标注的样本集训练卷积神经网络；步骤8：重复训练，即重复步骤4，5，6，7多次；步骤9，使用原始标注的人脸样本集微调VGG网络。

Description

一种联合原始数据和生成数据的人脸识别方法
技术领域
本发明涉及生物特征识别领域，具体涉及一种同时利用原始的标注数据和生成对抗网络生成数据训练人脸识别神经网络的方法。
背景技术
人脸识别是基于人的脸部特征信息进行身份识别的技术，因其具有自然性，非强制性和非接触性等优势成为计算机视觉热门研究领域。人脸识别的关键技术是有效地对人脸图像进行特征表达，而传统的SIFT,HOG等人工选取特征不足以捕获人脸的本质特征。近年来深度学习方法的成功应用到人脸识别领域，通过构建深度神经网络拟合人脸图像，获取人脸图像特征的本质表达，提高人脸的识别精度。比较成功的案例包括DeepFace,DeepID,FaceNet和VGGFace，达到了人眼的辨识水平。
然而深度学习方法最大的问题是网络参数过多，需要大规模的数据标注才能实现训练，往往所需要数据达百万以上，如FaceNet使用了超大规模的800万人，共2亿幅图像。而进行大规模人脸数据采集和标注是一种较大的人力财力的消耗。
为了获取廉价和充分的数据样本，来辅助神经网络的训练。Ian Goodfellow等提出的生成对抗网络(GAN)的基本的思想通过训练库学习这些训练案例生成的概率分布，从而采样生成更多的样本数据；深度卷积生成对抗网络(DCGAN)引用卷积神经网络，拓展了GAN在图像生成领域的应用；NIPS2016发布的即插即用生成网络(PPGN) 可以生成指定类别的图像，生成的图像同类差异化大并且清楚分辨率高，可用于大规模神经网络的训练。
本发明提供一种半监督的深度神经网络训练方法，通过较小规模的标注好的人脸图像训练对抗生成网络；采用对抗生成网络生成的大规模的廉价的人脸数据集；联合生成的数据和原始的标注人脸数据集共同训练深度卷积神经并应用于人脸识别。
发明内容
本发明的目的在于降低人脸数据标注的标注量，提出一种通过小规模人脸数据集训练卷积神经网络的方法，其特征在于，包括步骤：步骤1：使用原始标注的人脸样本集训练卷积神经网络VGG人脸识别模型；步骤2：构造深度卷积生成对抗网络DCGAN模型，使用原始标注的人脸样本集训练深度卷积生成对抗网络；步骤3：通过 DCGAN生成无标签的人脸样本集；步骤4：对DCGAN生成人脸数据集标注；步骤5：使用原始标注的人脸样本集训练即插即用生成网络PPGN；步骤6：通过PPGN生成带有标签的人脸样本集；步骤7：联合DCGAN、PPGN生成的样本集和原始标注的样本集训练卷积神经网络；步骤8：重复训练，即重复步骤4，5，6，7多次；步骤9，使用原始标注的人脸样本集微调VGG网络。
优选地，所述步骤4中对DCGAN生成人脸数据集标注的具体方法包括以下步骤：
步骤401，使用当前训练的卷积神经网络模型提取DCGAN生成数据集所有样本的特征；
步骤402，将特征排列成一个K×N的矩阵Y，采用稀疏编程SC 模型训练字典D，稀疏编程模型为：
Figure BDA0001539158310000021
其中||*||1表示L1范数，K为特征维度，N为样本数量，D为字典， Z为稀疏表示的系数；
步骤403，将DCGAN生成的样本集和原始样本集的特征进行稀疏表示；通过查找DCGAN生成样本si的特征yi的稀疏表示系数zi在原始标注样本集中的最近邻，设定样本si的标签。
优选地，所述步骤8中重复训练时步骤5中PPGN训练可在原有训练基础上微调。
附图说明
为了更清楚的说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1示出了根据本发明的卷积神经网络训练的流程图。
图2示出了深度卷积生成对抗网络结构图。
图3示出了即插即用生成网络模型图。
图4示出了即插即用生成网络图像生成过程。
具体实施方式
通过参考示范性实施例，本发明的目的和功能以及用于实现这些目的和功能的方法将得以阐明。然而，本发明并不受限于以下所公开的示范性实施例；可以通过不同形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。
在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。
步骤101，训练卷积神经网络VGG人脸识别模型。本发明的人脸识图网络采用VGGface网络，训练时采用softmax loss和triplet loss损失函数，采用人脸样本集S0训练。
步骤102，使用人脸样本集S0训练DCGAN。DCGAN分成生成模型和判别模型两部分构成,网络构建参考论文"Unsupervised Representations Learning With DeepConvolutional Generative Adversarial Networks"。如图2，对于生成模型，最开始将100维的随机向量线性拓展成4×4×1024的张量，然后通过4个微步幅卷积层,卷积核大小均为5×5，最终输出个64×64×3的RGB图像。判别模型是一个没有pooling层的全卷积网络，最终输出一个标量，表示输入数据属于原始数据而非生成样本的概率。使用人脸样本集S0交叉训练优化生成模型和判别模型。
步骤103，随机取100维数据输入深度卷积生成对抗网络的生成模型中，生成无标签的人脸数据集S1；
步骤104，对人脸数据集S1标注，具体方法包括：
步骤401，使用当前训练的VGG卷积神经网络模型提取数据集S1所有样本fc7层特征。
步骤402，将特征排列成一个K×N的矩阵Y，采用稀疏编程(SC) 方法，训练字典D方法，实行特征Y的稀疏表示。稀疏表示字典训练模型为：
Figure BDA0001539158310000041
其中||*||1表示L1范数，D为字典，Z为稀疏表示的系数。
步骤403，通过查找样本si的特征yi的稀疏表示系数zi在样本S0中的最近邻，设定样本si的标签。
步骤105，使用获取标注的人脸样本S0训练即插即用生成网络 (PPGN)。即插即用生成网络模型参考“Plug&Play Generative Networks:Conditional IterativeGeneration of Images in Latent Space”，如图3所示，PPGN包括3部分，生成模型G，分类模型C 和编码模型E。具体训练的步骤包括：
步骤501，分类模型和编码模型结构采用步骤1中的VGG网络，并与之共享每一层的参数。如图3，在本发明中将VGG网络分成E1,E2 和输出层，其中E1包括从输入层到pool5层中所有层，提取的特征为h1；E2包括fc6到fc7中所有层，提取的特征为h。使用VGG提取样本集S0的fc7层特征h作为训练生成模型G时的输入。
步骤502，生成模型G是一个通过矢量特征重构原图像的神经网络。参考AlexeyDosovitskiy的论文“Inverting Visual Representations with ConvolutionalNetworks”，PPGN的生成模型采用Alxnet-Fc8的网络结构，具有3个全连接层和5个反卷积层。需要增加判断模型D为5个卷积层和3全连接层的Alexnet模型，设最终输出维度为1。参考Dosovitskiy A的论文“Generating Images with Perceptual Similarity Metricsbased on Deep Networks”训练生成模型G采用的损失函数LG为。
LG＝Limg+Lh+Lh1+LGAN
其中
Figure BDA0001539158310000051
表示原图像的重构损失；
Figure BDA0001539158310000052
表示原图像与生成图像特征h的残差；
Figure BDA0001539158310000053
表示原图像与生成图像特征h1的残差；
Figure BDA0001539158310000054
表示生成对抗网络判别模型D的惩罚项。另外训练生成模型时，对模型D的训练，其损失函数为：
Figure BDA0001539158310000055
步骤106，输入人脸样本集S0中的每个类别标签，即插即用生成网络使用对人脸样本集S0分类网络生成带有标签的人脸样本S2。如图 4所示，给定类标签，随机出使化图像x，通过迭代方法更新图像x。具体的迭代方法为：t时刻的图像xt通过分类模型C预测类别，同时通过编码模型E1和E2生成ht并经过生成模型G重构。通过类别差和重构残差更新得到xt+1,为了增加生成图像的多样性，分别在xt，ht和 h1t上添加噪声干扰。迭代公式如
Figure BDA0001539158310000056
其中Rx(x)表示生成模型对x的重构,y表示分类标签，p(y|x)为分类模型的概率表示，ε1，ε2为平衡因子，
Figure BDA0001539158310000057
为添加高斯噪声的方差。
步骤107，联合数据集S0,S1和S2进一步训练卷积神经网络。
步骤108，重复步骤103，104，105，106，107多次。
步骤109，使用原始标注的人脸样本集微调VGG网络。
以上只是本发明较佳的实例，并非来限制本发明实施范围，故凡依本发明申请专利范围所述的构造、特征及原理所做的等效变化或修饰，均应包括于本发明专利申请范围内。

Claims (2)

1.一种通过小规模人脸数据集训练卷积神经网络的方法，其特征在于，包括步骤：
步骤1：使用原始标注的人脸样本集训练卷积神经网络VGG人脸识别模型；
步骤2：构造深度卷积生成对抗网络DCGAN模型，使用原始标注的人脸样本集训练深度卷积生成对抗网络；
步骤3：通过DCGAN生成无标签的人脸样本集；
步骤4：对DCGAN生成人脸数据集标注；
步骤5：使用原始标注的人脸样本集训练即插即用生成网络PPGN；
步骤6：通过PPGN生成带有标签的人脸样本集；
步骤7：联合DCGAN、PPGN生成的样本集和原始标注的样本集训练卷积神经网络；
步骤8：重复训练，即重复步骤4，5，6，7多次；
步骤9：使用原始标注的人脸样本集微调VGG网络；
所述步骤4中对DCGAN生成人脸数据集标注的具体方法包括以下步骤：
步骤401，使用当前训练的卷积神经网络模型提取DCGAN生成数据集所有样本的特征；
步骤402，将特征排列成一个K×N的矩阵Y，采用稀疏编程SC模型训练字典D，稀疏编程模型为：
Figure FDA0003473433220000011
其中||*||1表示L1范数，K为特征维度，N为样本数量，D为字典，Z为稀疏表示的系数；
步骤403，将DCGAN生成的样本集和原始样本集的特征进行稀疏表示；通过查找DCGAN生成样本si的特征yi的稀疏表示系数zi在原始标注样本集中的最近邻，设定样本si的标签。
2.如权利要求 1所述的方法，其特征在于：所述步骤8中重复训练时步骤5中PPGN训练可在原有训练基础上微调。
CN201810007534.5A 2018-01-04 2018-01-04 一种联合原始数据和生成数据的人脸识别方法 Active CN108121975B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810007534.5A CN108121975B (zh) 2018-01-04 2018-01-04 一种联合原始数据和生成数据的人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810007534.5A CN108121975B (zh) 2018-01-04 2018-01-04 一种联合原始数据和生成数据的人脸识别方法

Publications (2)

Publication Number Publication Date
CN108121975A CN108121975A (zh) 2018-06-05
CN108121975B true CN108121975B (zh) 2022-04-19

Family

ID=62232685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810007534.5A Active CN108121975B (zh) 2018-01-04 2018-01-04 一种联合原始数据和生成数据的人脸识别方法

Country Status (1)

Country Link
CN (1) CN108121975B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110659657A (zh) * 2018-06-29 2020-01-07 北京京东尚科信息技术有限公司 训练模型的方法和装置
CN109255364B (zh) * 2018-07-12 2021-06-08 杭州电子科技大学 一种基于深度卷积生成对抗网络的场景识别方法
CN109063756A (zh) * 2018-07-20 2018-12-21 天津师范大学 一种基于多模态生成式对抗网络的云图分类方法
CN109190665B (zh) * 2018-07-30 2023-07-04 国网上海市电力公司 一种基于半监督生成对抗网络的通用图像分类方法和装置
CN109117877A (zh) * 2018-08-02 2019-01-01 南京师范大学 一种基于深度卷积生成对抗网络的黄颡鱼及其套养种识别方法
CN109165589B (zh) * 2018-08-14 2021-02-23 北京颂泽科技有限公司 基于深度学习的车辆重识别方法和装置
CN109740407B (zh) * 2018-08-27 2023-04-18 广州麦仑信息科技有限公司 一种基于图网络的掌静脉特征提取方法
CN109145877A (zh) * 2018-09-29 2019-01-04 北京达佳互联信息技术有限公司 图像分类方法、装置、电子设备及存储介质
CN109800730B (zh) * 2019-01-30 2022-03-08 北京字节跳动网络技术有限公司 用于生成头像生成模型的方法和装置
CN110363060B (zh) * 2019-04-04 2021-07-20 杭州电子科技大学 基于特征子空间生成对抗网络的小样本目标识别方法
CN110321957B (zh) * 2019-07-05 2023-03-24 重庆大学 融合三元组损失和生成对抗网络的多标签图像检索方法
CN111126481A (zh) * 2019-12-20 2020-05-08 湖南千视通信息科技有限公司 一种神经网络模型的训练方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009198281A (ja) * 2008-02-21 2009-09-03 Nippon Telegr & Teleph Corp <Ntt> 結晶の構造解析方法
CN105975925A (zh) * 2016-05-03 2016-09-28 电子科技大学 基于联合检测模型的部分遮挡行人检测方法
CN106997380A (zh) * 2017-03-21 2017-08-01 北京工业大学 基于dcgan深度网络的成像光谱图像安全检索方法
CN107392255A (zh) * 2017-07-31 2017-11-24 深圳先进技术研究院 少数类图片样本的生成方法、装置、计算设备及存储介质
CN107423701A (zh) * 2017-07-17 2017-12-01 北京智慧眼科技股份有限公司 基于生成式对抗网络的人脸非监督特征学习方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9639748B2 (en) * 2013-05-20 2017-05-02 Mitsubishi Electric Research Laboratories, Inc. Method for detecting persons using 1D depths and 2D texture
US9971958B2 (en) * 2016-06-01 2018-05-15 Mitsubishi Electric Research Laboratories, Inc. Method and system for generating multimodal digital images
US10319076B2 (en) * 2016-06-16 2019-06-11 Facebook, Inc. Producing higher-quality samples of natural images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009198281A (ja) * 2008-02-21 2009-09-03 Nippon Telegr & Teleph Corp <Ntt> 結晶の構造解析方法
CN105975925A (zh) * 2016-05-03 2016-09-28 电子科技大学 基于联合检测模型的部分遮挡行人检测方法
CN106997380A (zh) * 2017-03-21 2017-08-01 北京工业大学 基于dcgan深度网络的成像光谱图像安全检索方法
CN107423701A (zh) * 2017-07-17 2017-12-01 北京智慧眼科技股份有限公司 基于生成式对抗网络的人脸非监督特征学习方法及装置
CN107392255A (zh) * 2017-07-31 2017-11-24 深圳先进技术研究院 少数类图片样本的生成方法、装置、计算设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Variational Approaches for Auto-Encoding Generative Adversarial Networks;Mihaela Rosca 等;《arXiv》;20171021;1-21 *
基于深度学习的暴力检测及人脸识别方法研究;丁春辉;《万方》;20170828;1-116 *
生成对抗网络理论模型和应用综述;徐一峰 等;《金华职业技术学院学报》;20170531;第17卷(第3期);81-88 *

Also Published As

Publication number Publication date
CN108121975A (zh) 2018-06-05

Similar Documents

Publication Publication Date Title
CN108121975B (zh) 一种联合原始数据和生成数据的人脸识别方法
CN107122809B (zh) 基于图像自编码的神经网络特征学习方法
CN110490946B (zh) 基于跨模态相似度和生成对抗网络的文本生成图像方法
CN109409222B (zh) 一种基于移动端的多视角人脸表情识别方法
CN110263912B (zh) 一种基于多目标关联深度推理的图像问答方法
Yue-Hei Ng et al. Exploiting local features from deep networks for image retrieval
CN109711426B (zh) 一种基于gan和迁移学习的病理图片分类装置及方法
Bui et al. Object recognition using deep convolutional features transformed by a recursive network structure
CN108304357B (zh) 一种基于字体流形的中文字库自动生成方法
Robert et al. Hybridnet: Classification and reconstruction cooperation for semi-supervised learning
CN109308485B (zh) 一种基于字典域适应的迁移稀疏编码图像分类方法
CN113011499A (zh) 一种基于双注意力机制的高光谱遥感图像分类方法
CN112765352A (zh) 基于具有自注意力机制的图卷积神经网络文本分类方法
CN111258992A (zh) 一种基于变分自编码器的地震数据扩充方法
CN109255381B (zh) 一种基于二阶vlad稀疏自适应深度网络的图像分类方法
CN110232341A (zh) 基于卷积-堆叠降噪编码网络的半监督学习图像识别方法
CN108804397A (zh) 一种基于少量目标字体的汉字字体转换生成的方法
Champ et al. A comparative study of fine-grained classification methods in the context of the LifeCLEF plant identification challenge 2015
CN113688894B (zh) 一种融合多粒度特征的细粒度图像分类方法
CN109918507B (zh) 一种基于TextCNN改进的文本分类方法
CN104700100A (zh) 面向高空间分辨率遥感大数据的特征提取方法
Bhunia et al. Word level font-to-font image translation using convolutional recurrent generative adversarial networks
CN113255602A (zh) 基于多模态数据的动态手势识别方法
Lin et al. Scene recognition using multiple representation network
CN106803105B (zh) 一种基于稀疏表示字典学习的图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant