CN109857879B - 一种基于gan的人脸检索方法 - Google Patents

一种基于gan的人脸检索方法 Download PDF

Info

Publication number
CN109857879B
CN109857879B CN201811566128.9A CN201811566128A CN109857879B CN 109857879 B CN109857879 B CN 109857879B CN 201811566128 A CN201811566128 A CN 201811566128A CN 109857879 B CN109857879 B CN 109857879B
Authority
CN
China
Prior art keywords
picture
fuzzy
network
gan
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811566128.9A
Other languages
English (en)
Other versions
CN109857879A (zh
Inventor
李越
徐联伯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Eagle Zhida Technology Co ltd
Original Assignee
Hangzhou Eagle Zhida Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Eagle Zhida Technology Co ltd filed Critical Hangzhou Eagle Zhida Technology Co ltd
Priority to CN201811566128.9A priority Critical patent/CN109857879B/zh
Publication of CN109857879A publication Critical patent/CN109857879A/zh
Application granted granted Critical
Publication of CN109857879B publication Critical patent/CN109857879B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于GAN的人脸检索方法,包括：选择真实场景的模糊图片及模糊图片对应的身份证照片作为训练数据集；选择真实场景的不同数量的模糊照片作为不同的测试数据集；根据预训练的人脸识别网络模型分别提取模糊图片特征及模糊图片对应的身份证照片特征；计算测试数据集的人脸检索正确率并作为参考基准；将模糊图片输入到生成网络G并得到输出结果；将模糊图片输出结果的特征及模糊图片对应的身份证照片特征的余弦距离构成生成网络G的损失函数；用训练数据集对GAN生成式对抗网络模型进行训练；计算测试数据集在通过GAN生成式对抗网络模型处理之后的人脸检索正确率；根据参考基准优化GAN生成式对抗网络模型。

Description

一种基于GAN的人脸检索方法
技术领域
本发明涉及计算机视觉、图像处理领域，具体涉及一种基于GAN的人脸检索方法。
背景技术
人脸识别技术，是基于人的脸部特征信息进行身份识别的一种生物识别技术，现在这项技术已广泛用于政府、军队、银行、社会福利保障、电子商务、安全防务等领域。在安防领域，对于监控拍摄到的一些人，公安人员经常需要获取这些人的身份信息。这时，他们就会用拍摄到的某个人的照片和信息库中的身份证照片一一进行人脸比对，一般而言，比对结果中相似度分数最高的照片会被认为是这个人的身份证照片。
真实场景中，经常会因为人物运动或者摄像头失焦等原因导致拍摄到的照片具有一定程度的模糊，而目前对于模糊照片的检索结果往往不能令人满意。
发明内容
为了提升模糊照片的人脸检索正确率，本发明提供了一种基于GAN的人脸检索方法，包括：选择真实场景的模糊图片及模糊图片对应的身份证照片作为训练数据集；选择真实场景的不同数量的模糊照片作为不同的测试数据集；根据预训练的人脸识别网络模型分别提取模糊图片特征及模糊图片对应的身份证照片特征；计算测试数据集的人脸检索正确率并作为参考基准；将模糊图片输入到生成网络G并得到输出结果；将模糊图片输出结果的特征及模糊图片对应的身份证照片特征的余弦距离构成生成网络G的损失函数；用训练数据集对GAN生成式对抗网络模型进行训练；计算测试数据集在通过GAN生成式对抗网络模型处理之后的人脸检索正确率；根据参考基准优化GAN生成式对抗网络模型。
可选的，生成网络G的损失函数为：
LossG＝Lossadv+λ2Lossper；
Figure BDA0001914564570000021
其中，
Figure BDA0001914564570000022
分别表示真实场景的模糊照片和其对应的身份证照片，fr(·)表示用预训练的人脸识别网络模型来提取照片的特征，cos(·,·)用来计算模糊图片特征和模糊图片对应的身份证照片特征的余弦距离。其中，G(·)表示一张图片经过生成网络G处理后得到的输出图片，D(·)表示一张图片经过判别网络D得到的结果；
Figure BDA0001914564570000023
表示计算随机变量f(x)的期望，其中随机变量x服从分布Px。
可选的，判别网络D的损失函数为：
Figure BDA0001914564570000024
其中，
Figure BDA0001914564570000025
表示对以x为自变量的函数f计算关于x的梯度，||·||2表示计算一个矩阵的2-范数。
为了提升模糊人脸的检索正确率，最直观的想法就是提升模糊照片和其身份证照片之间的相似度分数，而相似度分数实质上是两张照片的特征之间的余弦距离。因此，需要训练一个神经网络对模糊照片进行处理，使得处理之后的照片的特征和其身份证照片的特征之间的余弦距离更大。
本发明采用生成对抗网络GAN模型，并直接建立模糊照片和其身份证照片之间的联系。对于人脸照片，要用预训练的神经网络来提取特征，所以，本发明采用预训练的神经网络分别提取生成照片和其身份证照片的特征，并用特征之间的余弦距离构成生成网络G的损失函数，针对这个损失函数进行优化，就是在不断地增大生成照片和身份证照片的特征的余弦距离，从而实现了模糊人脸的检索正确率的不断提升。
附图说明
图1为本发明实施例的一种基于GAN的人脸检索方法的流程示意图。
图2为本发明实施例的GAN生成式对抗网络模型的结构。
图3为本发明实施例的生成网络G和判别网络D的训练流程。
具体实施方式
下面结合实施例对本发明做进一步描述。
如图1所示，本发明实施例的一种基于GAN的人脸检索方法，包括以下步骤：
S01，选择真实场景的模糊图片及模糊图片对应的身份证照片作为训练数据集；
具体的，准备真实场景的模糊图片和其对应的身份证照片作为训练数据集。
S03，选择真实场景的不同数量的模糊照片作为不同的测试数据集；
真实场景的不同数量的模糊照片作为不同的测试数据集，测试数据集中的人脸和10w张其它人脸的身份证照片作为身份证图像库
具体的，挑选同一真实场景的不同数量的模糊照片来组成不同大小的测试数据集，例如200张，400张，800张等。
S05，根据预训练的人脸识别网络模型分别提取模糊图片特征及模糊图片对应的身份证照片特征；
具体的，要对哪个真实场景的模糊照片进行处理，就选择用哪个场景下的照片进行训练的人脸识别网络模型。这个场景一般指人脸的特性，比如黄种人、白种人、黑种人，也可根据不同的情况做其它的分类。本发明提供的是一种算法思路，具体的人脸识别网络模型可以根据要处理的照片来选择，本发明中使用的人脸识别网络模型可以是已发表的论文中的DeepID2网络模型，论文获取地址：
https://www.semanticscholar.org/paper/Deep-Learning-Face-Representation-by-Joint-Sun-Wang/41951953579a0e3620f0235e5fcb80b930e6eee3/pdf。
S07，计算测试数据集的人脸检索正确率并作为参考基准；
具体而言，在用GAN生成式对抗网络模型处理之前，计算测试数据集的人脸检索正确率并作为参考基准。具体的，下面给出计算测试数据集的人脸检索正确率的伪代码：
Figure BDA0001914564570000041
Figure BDA0001914564570000051
其中，X表示模糊照片组成的测试集，m为照片数量。Y表示身份证照片组成的身份证图像库，n为身份证照片数量。ID(·)表示获取一张照片的身份信息的函数(这只是一种抽象的符号记法，一般而言，作为算法的测试图片，模糊照片和身份证照片都会附带身份信息)。f1和f2分别表示第i张模糊图片和第j张身份证照片的特征。count用于统计正确检索的模糊照片数量，index用于记录相似度分数最高的照片，precision表示测试数据集的人脸检索正确率。
S09，将模糊图片输入到生成网络G并得到输出结果；
具体的，将测试数据集输入GAN生成式对抗网络模型的生成网络G，并将输出结果输入到预训练的人脸识别网络模型中提取特征。实际上，神经网络就是一个函数映射，而每一张图片在计算机中就是一个高维数组，用神经网络对照片进行处理，本质上就是以高维数组作为函数的输入，然后计算得到函数值，只不过这里的函数表达比较复杂而已。从这个角度去理解，用GAN对模糊照片进行处理，就是将一个高维数组(照片)映射成为一个新的高维数组(照片)。而用预训练神经网络来提取特征，一般来说，是将一个高维数组(照片)映射成为一个1维的向量(特征)。如用前面介绍的DeepID2网络模型来提取图片特征的过程，就是以照片作为预训练神经网络的输入，以最后一层网络映射作为输出特征。
S11，将模糊图片输出结果的特征及模糊图片对应的身份证照片特征的余弦距离构成生成网络G的损失函数；
S13，用训练数据集对GAN生成式对抗网络模型进行训练；
S15，计算测试数据集在通过GAN生成式对抗网络模型处理之后的人脸检索正确率；
S17，根据参考基准优化GAN生成式对抗网络模型。
具体的，计算不同的测试数据集在用GAN处理之后的人脸检索正确率，并和参考基准进行比较，依据比较结果，重复S09-S15的过程。
具体的，参考基准只是用来衡量GAN生成式对抗网络训练好坏的一个参考标准，只有当测试数据集在通过GAN生成式对抗网络模型处理之后的人脸检索正确率大于参考基准时才能认为GAN生成式对抗网络训练的好。实际上是根据G和D的损失函数的结果对GAN生成式对抗网络模型进行优化，优化策略就是经常用到的一些方法，包括改变网络的层数，学习率，损失函数的权重系数等等。进一步的，生成网络G的损失函数为：
LossG＝Lossadv+λ2Lossper
Figure BDA0001914564570000071
其中，
Figure BDA0001914564570000072
分别表示真实场景的模糊照片和其对应的身份证照片，fr(·)表示用预训练的人脸识别网络模型来提取照片的特征，cos(·,·)用来计算模糊图片特征和模糊图片对应的身份证照片特征的余弦距离。其中，G(·)表示一张图片经过生成网络G处理后得到的输出图片，D(·)表示一张图片经过判别网络D得到的结果；
Figure BDA0001914564570000073
表示计算随机变量f(x)的期望，其中随机变量x服从分布Px。
进一步的，判别网络D的损失函数为：
Figure BDA0001914564570000074
其中，
Figure BDA0001914564570000075
表示对以x为自变量的函数f计算关于x的梯度，||·||2表示计算一个矩阵的2-范数。训练过程中，令λ1＝10，λ2＝1。
根据附图2，GAN生成式对抗网络模型包括生成网络模型G和判别网络模型D，网络结构分别如下：
Conv表示卷积层，BN表示BatchNorm层，ReLU表示ReLU激活函数。k3n64s1表示卷积层的卷积核大小为3*3，卷积之后feature map的数量为64，卷积步长为1，其它类似表示含义同此。
下面结合附图3生成网络G和判别网络D的训练流程及伪代码详细说明本发明GAN生成式对抗网络模型的训练过程；
训练过程的伪代码如下：
Figure BDA0001914564570000081
在训练过程中，为了能够计算Lossper，
Figure BDA0001914564570000082
和
Figure BDA0001914564570000083
必须是一一对应的，epoch表示最大迭代步数，m表示一个bath的大小，α，β1，β2表示Adam算法的一些参数。Adam算法是现有深度学习网络优化中的一种常用算法。流程1用来训练D，G的权重参数不变，对应伪代码的3-7行，流程2用来训练G，D的权重参数不变，对应伪代码的8-13行，流程1和流程2交替进行。
本发明中所描述的具体实施例仅仅是对本发明精神作举例说明，本领域普通技术人员可以理解本发明实施例中的相应步骤顺序在不冲突的情况下可以相互替换，本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书的保护范围。

Claims (2)

1.一种基于GAN生成式对抗网络模型的人脸检索方法，其特征在于，包括：
选择真实场景的模糊图片及模糊图片对应的身份证照片作为训练数据集；
根据预训练的人脸识别网络模型分别提取模糊图片特征及模糊图片对应的身份证照片特征；
选择真实场景的不同数量的模糊照片作为不同的测试数据集；计算测试数据集的人脸检索正确率并作为参考基准；
将模糊图片输入到生成网络G并得到输出结果；
将模糊图片输出结果的特征及模糊图片对应的身份证照片特征的余弦距离构成生成网络G的损失函数；
生成网络G的损失函数LossG为：
LossG＝Lossadv+λ2Lossper，
Figure FDA0002951878370000011
其中，λ2是平衡Lossadv和Lossper的常数；Lossadv为对抗网络的损失函数；Lossper是生成图像在人脸识别模型提取特征的约束函数，用来约束生成的人脸图像的特征，
Figure FDA0002951878370000012
分别表示真实场景的模糊照片和其对应的身份证照片，fr(·)表示用预训练的人脸识别网络模型来提取照片的特征，cos(·,·)用来计算模糊图片特征和模糊图片对应的身份证照片特征的余弦距离，G(·)表示一张图片经过生成网络G处理后得到的输出图片，D(·)表示一张图片经过判别网络D得到的结果；
Figure FDA0002951878370000021
代表一批模糊图像得到的生成结果逼真程度的估计值的期望值，在
Figure FDA0002951878370000022
中，一张模糊图片
Figure FDA0002951878370000023
经过生成网络G产生一个清晰图片
Figure FDA0002951878370000024
然后经过判别网络D，得到此生成结果逼真程度的估计值
Figure FDA0002951878370000025
其中随机变量x服从分布
Figure FDA0002951878370000026
用训练数据集对GAN生成式对抗网络模型进行训练；
计算测试数据集在通过GAN生成式对抗网络模型处理之后的人脸检索正确率；
根据参考基准优化GAN生成式对抗网络模型。
2.根据权利要求1所述的一种基于GAN的人脸检索方法，其特征在于，判别网络D的损失函数为：
Figure FDA0002951878370000027
其中，λ1和ε为权重常数，
Figure FDA0002951878370000028
Figure FDA0002951878370000029
是判别网络输出结果
Figure FDA00029518783700000210
对判别网络输入
Figure FDA00029518783700000211
的梯度，||·||2表示计算一个矩阵的2-范数。
CN201811566128.9A 2018-12-20 2018-12-20 一种基于gan的人脸检索方法 Active CN109857879B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811566128.9A CN109857879B (zh) 2018-12-20 2018-12-20 一种基于gan的人脸检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811566128.9A CN109857879B (zh) 2018-12-20 2018-12-20 一种基于gan的人脸检索方法

Publications (2)

Publication Number Publication Date
CN109857879A CN109857879A (zh) 2019-06-07
CN109857879B true CN109857879B (zh) 2021-04-30

Family

ID=66891805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811566128.9A Active CN109857879B (zh) 2018-12-20 2018-12-20 一种基于gan的人脸检索方法

Country Status (1)

Country Link
CN (1) CN109857879B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298331B (zh) * 2019-07-05 2021-04-06 中国计量大学 一种人证比对方法
CN110472699A (zh) * 2019-08-24 2019-11-19 福州大学 一种基于gan的电力场所有害生物运动模糊图像检测方法
US11200411B2 (en) 2019-10-16 2021-12-14 The Toronto-Dominion Bank Training a card type classifier with simulated card images
CN112613435A (zh) * 2020-12-28 2021-04-06 杭州魔点科技有限公司 人脸图像生成方法、装置、设备及介质
CN117951648B (zh) * 2024-03-26 2024-06-07 成都正扬博创电子技术有限公司 一种机载多源信息融合方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107633218A (zh) * 2017-09-08 2018-01-26 百度在线网络技术（北京）有限公司 用于生成图像的方法和装置
CN107730458A (zh) * 2017-09-05 2018-02-23 北京飞搜科技有限公司 一种基于生成式对抗网络的模糊人脸重建方法及系统
CN108564115A (zh) * 2018-03-30 2018-09-21 西安电子科技大学 基于全卷积gan的半监督极化sar地物分类方法
CN108573479A (zh) * 2018-04-16 2018-09-25 西安电子科技大学 基于对偶生成对抗式网络的人脸图像去模糊和恢复方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7221455B2 (en) * 2004-01-20 2007-05-22 The Regents Of The Unversity Of California Integrated, fluorescence-detecting microanalytical system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730458A (zh) * 2017-09-05 2018-02-23 北京飞搜科技有限公司 一种基于生成式对抗网络的模糊人脸重建方法及系统
CN107633218A (zh) * 2017-09-08 2018-01-26 百度在线网络技术（北京）有限公司 用于生成图像的方法和装置
CN108564115A (zh) * 2018-03-30 2018-09-21 西安电子科技大学 基于全卷积gan的半监督极化sar地物分类方法
CN108573479A (zh) * 2018-04-16 2018-09-25 西安电子科技大学 基于对偶生成对抗式网络的人脸图像去模糊和恢复方法

Also Published As

Publication number Publication date
CN109857879A (zh) 2019-06-07

Similar Documents

Publication Publication Date Title
CN109857879B (zh) 一种基于gan的人脸检索方法
WO2020228525A1 (zh) 地点识别及其模型训练的方法和装置以及电子设备
JP5899472B2 (ja) 人物属性推定システム、及び学習用データ生成装置
EP3853764A1 (en) Training neural networks for vehicle re-identification
JP5383705B2 (ja) 個人的写真集合からの社会的関係の割出し
Sirish Kaushik et al. Pneumonia detection using convolutional neural networks (CNNs)
US9710697B2 (en) Method and system for exacting face features from data of face images
US11250245B2 (en) Data-driven, photorealistic social face-trait encoding, prediction, and manipulation using deep neural networks
CN112766158A (zh) 基于多任务级联式人脸遮挡表情识别方法
WO2010004958A1 (ja) 個人認証システム、個人認証方法
CN111476806B (zh) 图像处理方法、装置、计算机设备和存储介质
JP2011100229A (ja) 画像処理装置、画像処理方法
CN111783748A (zh) 人脸识别方法、装置、电子设备及存储介质
Bushra et al. Crime investigation using DCGAN by Forensic Sketch-to-Face Transformation (STF)-A review
JP7224240B2 (ja) 画像アクセス管理装置、画像アクセス管理方法及び画像アクセス管理システム
Siegfried Comparative study of deep learning methods in detection face mask utilization
CN111797705A (zh) 一种基于人物关系建模的动作识别方法
CN108921106B (zh) 一种基于capsule的人脸识别方法
JP2012103859A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US11036970B2 (en) Hybrid deep learning method for gender classification
Sawant et al. Text to image generation using GAN
CN115471856A (zh) 一种发票图像信息识别方法、装置及存储介质
CN112036446B (zh) 目标识别特征融合的方法、系统、介质及装置
CN110826726B (zh) 目标处理方法、目标处理装置、目标处理设备及介质
CN111126177A (zh) 人数统计的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant