CN111967291A - 一种红外人脸图像到可见光人脸图像的转换方法 - Google Patents

一种红外人脸图像到可见光人脸图像的转换方法 Download PDF

Info

Publication number
CN111967291A
CN111967291A CN201910437868.0A CN201910437868A CN111967291A CN 111967291 A CN111967291 A CN 111967291A CN 201910437868 A CN201910437868 A CN 201910437868A CN 111967291 A CN111967291 A CN 111967291A
Authority
CN
China
Prior art keywords
face image
infrared
visible light
network
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910437868.0A
Other languages
English (en)
Inventor
任德华
赵婷婷
柳映辉
陈亚瑞
吴超
何畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University of Science and Technology
Original Assignee
Tianjin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University of Science and Technology filed Critical Tianjin University of Science and Technology
Priority to CN201910437868.0A priority Critical patent/CN111967291A/zh
Publication of CN111967291A publication Critical patent/CN111967291A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明涉及一种红外人脸图像到可见光人脸图像的转换方法，包括以下步骤：构建红外和可见光人脸数据集。对人脸数据集中的图像按眼睛相对位置进行对齐，并变换到相同尺寸大小；构建训练数据集、验证数据集和测试数据集；构建对抗生成网络，采用循环对抗生成方式进行网络训练；生成从红外人脸图像到可见光人脸图像的变换网络。本发明设计合理，减少了对监督数据的依赖，很好的解决了红外人脸图像到可见光人脸图像转换问题，可借助可见光人脸识别方法提高红外人脸识别的准确率，可广泛用于夜间红外摄像场合。

Description

一种红外人脸图像到可见光人脸图像的转换方法
技术领域
本发明属于红外图像处理技术领域，尤其是一种红外人脸图像到可见光人脸图像的转换方法。
背景技术
在现有的视频监控网络中，往往要求实现24小时全天候监控功能，在夜间采光不好时，红外摄像就成为必选项。提高红外人脸图像的识别率，对于提高夜间监控效果具有重要的实际意义。
为了提高红外人脸图像的识别率，一方面可以从红外人脸图像出发，深入研究基于红外人脸图像的识别方法；有研究者在此方面进行了研究，但没有重大突破，识别率仅保持在中等水平，与可见光人脸图像的识别率相比还有巨大差距。另一方面，可见光人脸识别技术的研究由于大型的数据库，大量的研究投入，已取得了最大的进步，趋于成熟。但由于红外面阵相机采用热成像技术，红外人脸图像与可见光人脸图像有很大的差异，不能直接使用或借鉴可见光人脸图像识别算法，因此有研究人员提将红外人脸图像转换为见光人脸图像，并进行了先期的探索，往往利用红外人脸图像与其对应的可见光人脸图像进行监督学习。但是存在两个方面的问题，一方面这种红外和可见光的人脸图像对难以大规模获取；另一方面由于红外到可见光成像域差异巨大，两者之间的转换是一个欠完备的问题，需要大量的先验知识才能实现准确的转换。人工设计提取先验知识帮助实现这个转换存在巨大的困难。
随着近年来深度神经网络技术发展，我们可以利用深度神经网络来学习这个先验知识，特别是对抗生成网络的出现为解决上面的两个问题提供了手段。
发明内容
有鉴于此，本发明的目的在于克服现有技术的不足，提出一种红外人脸图像到可见光人脸图像的转换方法，其利用生成对抗网络技术，将红外人脸图像转换到可见光人脸图像，从而可以借用可见光人脸图像识别技术，大大提高红外人脸识别的效果，为夜间监控用的红外摄像机擦亮了眼睛。
为了实现上述目的，本发明采用如下技术方案：
一种红外人脸图像到可见光人脸图像的转换方法，包括以下步骤：
步骤1、一方面利用现有的红外人脸数据库和可见光人脸数据库中的图像；另一方面使用监控摄像机采集人脸红外图像和可见光人脸图像；构建红外和可见光人脸数据集；
步骤2、对人脸数据集中的图像按眼睛相对位置进行对齐，并变换到相同尺寸大小。
步骤3、构建训练数据集、验证数据集和测试数据集；
步骤4、构建对抗生成网络，采用循环对抗生成方式进行网络训练；
步骤5：生成从红外人脸图像到可见光人脸图像的变换网络。
进一步，所述步骤4构建的对抗生成网络，采用CycleGAN的结构。包括两个生成网络和两个判别网络，分别是：红外到可见光生成网络GA2B、可见光到红外生成网络GB2A红外域判别网络DA、可见光域判别网络DB。A表示红外域，B表可见光域。训练中，真实的红外人脸图像IA-Real经GA2B，再经GB2A后得到生成的红外人脸图像IA-Fake；IA-Real和IA-Fake分别作为DA的输入，由判别网络DA判断是真是假。真实的可见光人脸图像IB-Real经GB2A，再经GA2B后得到生成的可见光人脸图像IB-Fake；IB-Real和IB-Fake分别作为DB的输入，由判别网络DB判断是真是假。同时两个生成网络GA2B和GB2A要保证IA-Real和IA-Fake尽量相似，IB-Real和IB-Fake尽量相似。生成网络的目标是生成尽量真实的假数据以欺骗判别网络，判别网络的目标是提高自己的判别真假数据的能力，两者在对抗中不断完善提高自己的能力。
进一步，所述步骤4对抗生成网络训练时基于批量梯度下降的Adam方法训练网络，批处理大小取1。
本发明的优点和积极效果是：
1、本发明设计合理，将红外人脸图像转换到可见光人脸图像的问题采用对抗生成网络中的生成问题加以解决。同时由于采用CycleGAN形式，无需成对的红外人脸-可见光人脸训练数据，减少了对监督数据的依赖，很好的解决了红外人脸图像到可见光人脸图像转换问题。
2、本发明采用CycleGAN形式的生成对抗网络，获得一个可将红外人脸图像转换成可见光人脸图像的人工神经网络模型；借助此模型可以实现将红外人脸图像转换成对应的可见光人脸图像，从而可借助可见光人脸识别方法提高红外人脸识别的准确率，可广泛用于夜间红外摄像场合。。
附图说明
图1为本发明中的对抗生成网络的示意图；
具体实施方式
以下结合附图对本发明实施例做进一步详述。
一种红外人脸图像到可见光人脸图像的转换方法，包括以下步骤：
步骤1、一方面利用现有的红外人脸数据库和可见光人脸数据库中的图像；另一方面使用监控摄像机采集人脸红外图像和可见光人脸图像；构建红外和可见光人脸数据集；
步骤2、对人脸数据库中的图像按眼睛相对位置进行对齐，并变换到相同尺寸大小。
步骤3、整个数据集随机选择并按照7∶2∶1的关系训练数据集、验证数据集、测试数据集。
在本实施例中，人脸图像大小为48*64像素。
步骤4、构建对抗生成网络，采用循环对抗生成方式进行网络训练：
采用CycleGAN(Jun-Yan Zhu，Taesung Park，Phillip Isola，and AlexeiA.Efros.Unpaired Image-to-Image Translation using Cycle-ConsistentAdversarial Networks，in IEEE International Conference on Computer Vision(ICCV)，2017.)的结构，如图1所示。包括两个生成网络和两个判别网络，分别是：红外到可见光生成网络GA2B、可见光到红外生成网络GB2A红外域判别网络DA、可见光域判别网络DB。A表示红外域，B表可见光域。训练中，真实的红外人脸图像IA-Real经GA2B，再经GB2A后得到生成的红外人脸图像IA-Fake；IA-Real和IA-Fake分别作为DA的输入，由判别网络DA判断是真是假。真实的可见光人脸图像IB-Real经GB2A，再经GA2B后得到生成的可见光人脸图像IB-Fake；IB-Real和IB--Fake分别作为DB的输入，由判别网络DB判断是真是假。同时两个生成网络GA2B和GB2A要保证IA-Real和IA-Fake尽量相似，IB-Real和IB-Fake尽量相似。生成网络的目标是生成尽量真实的假数据以欺骗判别网络，判别网络的目标是提高自己的判别真假数据的能力，两者在对抗中不断完善提高自己的能力。采用基于批量梯度下降的Adam方法训练网络，批处理大小取1。
步骤5：当步骤4完成后，得到从红外人脸图像到可见光人脸图像的变换网络，即红外到可见光生成网络GA2B。
需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (3)

1.一种红外人脸图像到可见光人脸图像的转换方法，其特征在于包括以下步骤：
步骤1、一方面利用现有的红外人脸数据库和可见光人脸数据库中的图像；另一方面使用监控摄像机采集人脸红外图像和可见光人脸图像；构建红外和可见光人脸数据集；
步骤2、对人脸数据集中的图像按眼睛相对位置进行对齐，并变换到相同尺寸大小。
步骤3、构建训练数据集、验证数据集和测试数据集；
步骤4、构建对抗生成网络，采用循环对抗生成方式进行网络训练；
步骤5：生成从红外人脸图像到可见光人脸图像的变换网络。
2.根据权利要求1所述的一种红外人脸图像到可见光人脸图像的转换方法，其特征在于：采用对抗生成网络在红外域与可见光域之间进行人脸图像转换。
3.根据权利要求1所述的一种红外人脸图像到可见光人脸图像的转换方法，其特征在于：步骤4采用CycleGan结构，包括两个生成网络和两个判别网络，分别是：红外到可见光生成网络GA2B、可见光到红外生成网络GB2A红外域判别网络DA、可见光域判别网络DB。A表示红外域，B表可见光域。训练中，真实的红外人脸图像IA-Real经GA2B，再经GB2A后得到生成的红外人脸图像IA-Fake；IA-Real和IA-Fake分别作为DA的输入，由判别网络DA判断是真是假。真实的可见光人脸图像IB-Real经GB2A，再经GA2B后得到生成的可见光人脸图像IB-Fake；IB-Real和IB-Fake分别作为DB的输入，由判别网络DB判断是真是假。同时两个生成网络GA2B和GB2A要保证IA-Real和IA-Fake尽量相似，IB-Real和IB-Fake尽量相似。生成网络的目标是生成尽量真实的假数据以欺骗判别网络，判别网络的目标是提高自己的判别真假数据的能力，两者在对抗中不断完善提高自己的能力。
CN201910437868.0A 2019-05-20 2019-05-20 一种红外人脸图像到可见光人脸图像的转换方法 Pending CN111967291A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910437868.0A CN111967291A (zh) 2019-05-20 2019-05-20 一种红外人脸图像到可见光人脸图像的转换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910437868.0A CN111967291A (zh) 2019-05-20 2019-05-20 一种红外人脸图像到可见光人脸图像的转换方法

Publications (1)

Publication Number Publication Date
CN111967291A true CN111967291A (zh) 2020-11-20

Family

ID=73357860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910437868.0A Pending CN111967291A (zh) 2019-05-20 2019-05-20 一种红外人脸图像到可见光人脸图像的转换方法

Country Status (1)

Country Link
CN (1) CN111967291A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906521A (zh) * 2021-02-04 2021-06-04 上海航天控制技术研究所 一种基于生成对抗网络的红外图像生成系统及方法
CN113111700A (zh) * 2021-02-24 2021-07-13 浙江大华技术股份有限公司 图像生成模型的训练方法、电子设备及存储介质
CN114862665A (zh) * 2022-07-05 2022-08-05 深圳市爱深盈通信息技术有限公司 红外人脸图像的生成方法、生成装置和设备终端

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906521A (zh) * 2021-02-04 2021-06-04 上海航天控制技术研究所 一种基于生成对抗网络的红外图像生成系统及方法
CN113111700A (zh) * 2021-02-24 2021-07-13 浙江大华技术股份有限公司 图像生成模型的训练方法、电子设备及存储介质
CN114862665A (zh) * 2022-07-05 2022-08-05 深圳市爱深盈通信息技术有限公司 红外人脸图像的生成方法、生成装置和设备终端
CN114862665B (zh) * 2022-07-05 2022-12-02 深圳市爱深盈通信息技术有限公司 红外人脸图像的生成方法、生成装置和设备终端

Similar Documents

Publication Publication Date Title
CN111062880B (zh) 一种基于条件生成对抗网络的水下图像实时增强方法
CN108537743B (zh) 一种基于生成对抗网络的面部图像增强方法
CN108520216B (zh) 一种基于步态图像的身份识别方法
CN108537191B (zh) 一种基于结构光摄像头的三维人脸识别方法
CN111967291A (zh) 一种红外人脸图像到可见光人脸图像的转换方法
WO2019010950A1 (zh) 用于图像或视频中行人重识别的深度判别网络模型方法
CN109101865A (zh) 一种基于深度学习的行人重识别方法
CN113139479B (zh) 一种基于光流和rgb模态对比学习的微表情识别方法及系统
CN112016402B (zh) 基于无监督学习的行人重识别领域自适应方法及装置
CN105138954A (zh) 一种图像自动筛选查询识别系统
CN111291669B (zh) 一种双通道俯角人脸融合校正gan网络及人脸融合校正方法
CN111639580B (zh) 一种结合特征分离模型和视角转换模型的步态识别方法
Huang et al. Masked face recognition datasets and validation
WO2023279557A1 (zh) 基于眨眼同步及双目移动检测的伪造视频检验方法及系统
CN106599806A (zh) 一种基于局部曲面几何特征的人体动作识别方法
CN110633655A (zh) 一种attention-attack人脸识别攻击算法
CN112906493A (zh) 一种基于互相关注意力机制的跨模态行人重识别方法
CN111382601A (zh) 生成对抗网络模型的光照人脸图像识别预处理系统及方法
CN110598595B (zh) 一种基于人脸关键点和姿态的多属性人脸生成算法
CN104504370A (zh) 一种结合仿生纹理特征和线状纹理特征的手指静脉识别方法
Zhao et al. The application and implementation of face recognition in authentication system for distance education
Wu et al. Ggvit: Multistream vision transformer network in face2face facial reenactment detection
Pei et al. Convolutional neural networks for class attendance
CN116228899A (zh) 一种监督与无监督学习联合的单像素成像方法和装置
CN112580520B (zh) 一种基于模仿学习的Deepfake检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201120