CN110119685A - 一种基于dcgan的红外人脸图像转化方法 - Google Patents

一种基于dcgan的红外人脸图像转化方法 Download PDF

Info

Publication number
CN110119685A
CN110119685A CN201910293162.1A CN201910293162A CN110119685A CN 110119685 A CN110119685 A CN 110119685A CN 201910293162 A CN201910293162 A CN 201910293162A CN 110119685 A CN110119685 A CN 110119685A
Authority
CN
China
Prior art keywords
dcgan
generator
infrared
network
facial image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910293162.1A
Other languages
English (en)
Inventor
高静
于子涵
徐江涛
聂凯明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201910293162.1A priority Critical patent/CN110119685A/zh
Publication of CN110119685A publication Critical patent/CN110119685A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开一种基于DCGAN的红外人脸图像转化方法，包括步骤：构建DCGAN对抗生成网络，该DCGAN对抗生成网络包括生成器与判别器；将训练集的可见人脸图像和近红外人脸图像输入DCGAN对抗生成网络的生成器中，通过加入噪声信号进行图像生成，由判别器来对生成器进行对抗训练，最终得到可通过可见人脸图像生成近红外人脸图像的生成器。本发明利用DCGAN网络进行从可见人脸图像到近红外人脸图像的转化，使人脸图像对光照等影响因素具有一定的鲁棒性，降低了异质人脸识别的难度，提高了异质人脸识别的识别准确率。

Description

一种基于DCGAN的红外人脸图像转化方法
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于DCGAN的红外人脸图像转化方法。
背景技术
人脸识别多年来一直是快速发展的研究领域，是当前模式识别和计算机视觉领域的研究热点。面部识别通过将面部与存储在数据库中的面部图像进行比较来识别或验证身份。近红外(NIR)成像对于照明变化更加稳健因为它捕获来自物体的发射能量以产生图像。因此，在不同照明条件下，使用近红外图像相对于用于面部识别的可见图像具有显著的优点。现实生活中，每个人都拥有至少一张可见光人脸图像，比如身份证照片，该照片光照条件可控且无大幅度表情。在安检车站等地应用人脸识别时，为了不受到光照等条件的影响，应用近红外图像进行人脸识别，产生了异质人脸识别的问题。在识别中，为提高准确度，可将可见人脸图像转化为红外图像来进行后续识别，然而现有图像转换处理技术，大大提升了异质人脸识别的难度，从而降低了异质人脸识别的识别准确率。
发明内容
本发明的目的是针对现有技术中存在的技术缺陷，而提供一种基于DCGAN的红外人脸图像转化方法，是采用DCGAN对抗生成网络将可见光人脸图像转化为红外人脸图像的方法。
为实现本发明的目的所采用的技术方案是：
一种基于DCGAN的红外人脸图像转化方法，包括步骤：
构建DCGAN对抗生成网络，该DCGAN对抗生成网络包括生成器与判别器；
将训练集的可见人脸图像和近红外人脸图像输入DCGAN对抗生成网络的生成器中，通过加入噪声信号进行图像生成，由判别器来对生成器进行对抗训练，最终得到可通过可见人脸图像生成近红外人脸图像的生成器。
所述生成器和判决器都由卷积神经网络来搭建，四个卷积层构成，但结构相反。
所述生成器中使用转置卷积进行上采样，判别器中用加入stride的卷积代替池化操作，生成器中使用ReLU作为激活函数，最后一层使用tanh激活函数，判别器中使用LeakyReLU作为激活函数。
与现有技术相比，本发明的有益效果是：
本发明利用DCGAN网络进行从可见人脸图像到近红外人脸图像的转化，使人脸图像对光照等影响因素具有一定的鲁棒性，降低了异质人脸识别的难度，提高了异质人脸识别的识别准确率。
附图说明
图1所示为DCGAN对抗生成网络的结构图；
图2所示为DCGAN对抗生成网络的生成器Generator的结构图；
图3所示为DCGAN对抗生成网络的判别器Discriminator结构图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明首先获得数据集中的可见人脸图像和近红外人脸图像的输入，经由生成器基于可见光图像生成近红外人脸图像，再经过判别器来进行判别，经过判别器的对抗训练后，生成器来通过可见人脸图像生成近红外人脸图像，
如图1所示，本发明基于DCGAN的红外人脸图像转化方法的实现步骤如下：
一、DCGAN对抗生成网络构建
对抗网络可认为是一个生成模型和一个判别模型组成的。一般情况下，生成模型和判别模型都是使用的神经网络的算法，比如感知器或者卷积神经网络。对于对抗网络，经过所谓的对抗过程的训练之后，生成网络可生成逼真的图像，接近于训练图片，但又不完全一样。所以生成网络是学习了一个训练数据的近似分布。对于判别网络也能进行训练数据的很好的区分。核心公式如下：
整个式子由两项构成，x表示真实图片，z表示输入G网络的噪声，而G(z)表示G网络生成的图片，D(x)表示D网络判断真实图片是否真实的概率(因为x就是真实的，所以对于D来说，这个值越接近1越好)。而D(G(z))是D网络判断G生成的图片的是否真实的概率。G的目的：上面提到过，D(G(z))是D网络判断G生成的图片是否真实的概率，G应该希望自己生成的图片“越接近真实越好”。也就是说，G希望D(G(z))尽可能得大，这时V(D,G)会变小。因此看到式子的最前面的记号是min_G。D的目的：D的能力越强，D(x)应该越大，D(G(x))应该越小。这时V(D,G)会变大。因此式子对于D来说是求最大(max_D)。
DCGAN中，将判别器用于特征提取，然后加入个L2-支持向量机，进行分类，取得了不错的效果，而且又通过“反卷积”可视化，学到了很明显物体结构特征。
其中，其的生成器和判别器都由卷积神经网络来搭建。对卷积神经网络作一些改变来提高样本质量和收敛速度。首先取消所有pooling层，所以卷积网络均使用batchnormalization(批归一化)。生成器网络中使用转置卷积进行上采样，判别器网络中用加入stride的卷积代替pooling(池化)。去掉全连接层，使网络变为全卷积网络。生成器网络中使用ReLU作为激活函数，最后一层使用tanh激活函数，判别器网络中使用LeakyReLU作为激活函数。
二、将数据集中可见人脸图像和近红外人脸图像输入进行对抗生成训练
将训练集的可见人脸图像和近红外人脸图像输入DCGAN的生成器中，通过加入噪声信号Z来进行图像生成，由判别器D来对生成器G进行对抗训练，最终得到可以通过可见人脸图像生成逼真近红外人脸图像的生成器G。
本发明中，所述DCGAN对抗生成网络采用Google开源的tensorflow来搭建，其生成器和判决器都由四个卷积层构成，但结构相反，如图2-3所示。
DCGAN对抗生成网络是神经网络的一种，包括生成器(Generator)和判别器(Discriminator)。DCGAN中的生成器和判别器都有卷积神经网络构成，同时对卷积神经网络的结构做了一些改变，以提高样本的质量和收敛的速度。
在DCGAN网络中，将可见人脸图像输入生成器中生成红外人脸图像，经由判别器来判断生成图像的质量，通过生成器和判别器的对抗来进行训练。
测试采用CASIA NIR-VIS 2.0数据库，CASIA NIR-VIS 2.0数据库共包含725个科目，每个受试者有1-22个可见光图像和5-50个近红外脸部图像，适合作为此次人脸图像融合方法的训练集。采用LU-CASIAIR-VIS数据集作为测试集。训练过程采用Mini-batch方法加快训练速度。
本发明利用DCGAN网络进行从可见人脸图像到近红外人脸图像的转化，使人脸图像对光照等影响因素具有一定的鲁棒性，降低了异质人脸识别的难度，提高了异质人脸识别的识别准确率。
本发明通过DCGAN网络的应用，一定程度上解决了原始GAN网络训练不稳定等问题。
本发明通过将图像转化应用于现实生活中，可使异质人脸识别得到较好的识别效果。
以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种基于DCGAN的红外人脸图像转化方法，其特征在于，包括以下步骤：
构建DCGAN对抗生成网络，该DCGAN对抗生成网络包括生成器与判别器；
将训练集的可见人脸图像和近红外人脸图像输入DCGAN对抗生成网络的生成器中，通过加入噪声信号进行图像生成，由判别器来对生成器进行对抗训练，最终得到可通过可见人脸图像生成近红外人脸图像的生成器。
2.如权利要求1所述基于DCGAN的红外人脸图像转化方法，其特征在于，所述生成器和判决器都由卷积神经网络来搭建，四个卷积层构成，但结构相反。
3.如权利要求1所述基于DCGAN的红外人脸图像转化方法，其特征在于，所述生成器中使用转置卷积进行上采样，判别器中用加入stride的卷积代替池化操作，生成器中使用ReLU作为激活函数，最后一层使用tanh激活函数，判别器中使用LeakyReLU作为激活函数。
CN201910293162.1A 2019-04-12 2019-04-12 一种基于dcgan的红外人脸图像转化方法 Pending CN110119685A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910293162.1A CN110119685A (zh) 2019-04-12 2019-04-12 一种基于dcgan的红外人脸图像转化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910293162.1A CN110119685A (zh) 2019-04-12 2019-04-12 一种基于dcgan的红外人脸图像转化方法

Publications (1)

Publication Number Publication Date
CN110119685A true CN110119685A (zh) 2019-08-13

Family

ID=67520985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910293162.1A Pending CN110119685A (zh) 2019-04-12 2019-04-12 一种基于dcgan的红外人脸图像转化方法

Country Status (1)

Country Link
CN (1) CN110119685A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738153A (zh) * 2019-09-30 2020-01-31 汉王科技股份有限公司 异质人脸图像转换方法、装置、电子设备及存储介质
CN111259814A (zh) * 2020-01-17 2020-06-09 杭州涂鸦信息技术有限公司 一种活体检测方法及系统
CN114862665A (zh) * 2022-07-05 2022-08-05 深圳市爱深盈通信息技术有限公司 红外人脸图像的生成方法、生成装置和设备终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844770A (zh) * 2017-11-03 2018-03-27 东北大学 一种基于视频的电熔镁炉异常工况自动识别系统
CN107944358A (zh) * 2017-11-14 2018-04-20 华南理工大学 一种基于深度卷积对抗网络模型的人脸生成方法
CN108491809A (zh) * 2018-03-28 2018-09-04 百度在线网络技术（北京）有限公司 用于生成近红外图像生成模型的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844770A (zh) * 2017-11-03 2018-03-27 东北大学 一种基于视频的电熔镁炉异常工况自动识别系统
CN107944358A (zh) * 2017-11-14 2018-04-20 华南理工大学 一种基于深度卷积对抗网络模型的人脸生成方法
CN108491809A (zh) * 2018-03-28 2018-09-04 百度在线网络技术（北京）有限公司 用于生成近红外图像生成模型的方法和装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738153A (zh) * 2019-09-30 2020-01-31 汉王科技股份有限公司 异质人脸图像转换方法、装置、电子设备及存储介质
CN110738153B (zh) * 2019-09-30 2022-08-05 汉王科技股份有限公司 异质人脸图像转换方法、装置、电子设备及存储介质
CN111259814A (zh) * 2020-01-17 2020-06-09 杭州涂鸦信息技术有限公司 一种活体检测方法及系统
CN111259814B (zh) * 2020-01-17 2023-10-31 杭州涂鸦信息技术有限公司 一种活体检测方法及系统
CN114862665A (zh) * 2022-07-05 2022-08-05 深圳市爱深盈通信息技术有限公司 红外人脸图像的生成方法、生成装置和设备终端
CN114862665B (zh) * 2022-07-05 2022-12-02 深圳市爱深盈通信息技术有限公司 红外人脸图像的生成方法、生成装置和设备终端

Similar Documents

Publication Publication Date Title
CN108921100B (zh) 一种基于可见光图像与红外图像融合的人脸识别方法及系统
CN107194341B (zh) Maxout多卷积神经网络融合人脸识别方法和系统
CN110516576B (zh) 基于深度神经网络的近红外活体人脸识别方法
CN105138993B (zh) 建立人脸识别模型的方法及装置
CN109543640B (zh) 一种基于图像转换的活体检测方法
CN110363183B (zh) 基于生成式对抗网络的服务机器人视觉图片隐私保护方法
CN106709477A (zh) 一种基于自适应得分融合与深度学习的人脸识别方法及系统
CN107122744A (zh) 一种基于人脸识别的活体检测系统及方法
CN110119685A (zh) 一种基于dcgan的红外人脸图像转化方法
Singh et al. Gender and ethnicity classification of iris images using deep class-encoder
CN109684965A (zh) 一种基于近红外成像与深度学习的人脸识别系统
CN109670406B (zh) 一种结合心率与面部表情面向游戏用户的非接触式情感识别方法
Nithya et al. Iris recognition techniques: a literature survey
CN110287918A (zh) 活体识别方法及相关产品
CN112115838B (zh) 一种热红外图像光谱融合的人脸分类方法
CN111079465A (zh) 一种基于三维成像分析的情绪状态综合判定方法
CN106485232A (zh) 一种基于呼吸过程中鼻子图像特征的人员识别方法
CN110110606A (zh) 基于神经网络的可见光与红外人脸图像的融合方法
CN110929570B (zh) 虹膜快速定位装置及其定位方法
Sarin et al. Cnn-based multimodal touchless biometric recognition system using gait and speech
Aslam et al. Gender classification based on isolated facial features and foggy faces using jointly trained deep convolutional neural network
Galdi et al. PROTECT: Pervasive and useR fOcused biomeTrics bordEr projeCT–a case study
CN113920591A (zh) 基于多模态生物特征识别的中远距离身份认证方法及装置
Kalansuriya et al. Facial image classification based on age and gender
Dronky et al. A review on iris liveness detection techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190813