CN114898429B - 一种热红外-可见光跨模态人脸识别的方法 - Google Patents

一种热红外-可见光跨模态人脸识别的方法 Download PDF

Info

Publication number
CN114898429B
CN114898429B CN202210503206.0A CN202210503206A CN114898429B CN 114898429 B CN114898429 B CN 114898429B CN 202210503206 A CN202210503206 A CN 202210503206A CN 114898429 B CN114898429 B CN 114898429B
Authority
CN
China
Prior art keywords
features
visible light
thermal infrared
feature
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210503206.0A
Other languages
English (en)
Other versions
CN114898429A (zh
Inventor
殷光强
李超
王治国
杨晓宇
刘学婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202210503206.0A priority Critical patent/CN114898429B/zh
Publication of CN114898429A publication Critical patent/CN114898429A/zh
Application granted granted Critical
Publication of CN114898429B publication Critical patent/CN114898429B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Abstract

本发明涉及人脸识别技术领域，特别是涉及一种热红外‑可见光跨模态人脸识别的方法，包括以下步骤：分别对可见光图像和热红外图像进行多级特征的学习；分别对可见光图像和热红外图像进行多级特征的提取；将可见光图像和热红外图像的三级特征利用群卷积的方式进行特征融合，再将融合后的特征输入深度学习网络中，得到最终的识别结果。通过本方法，能有效解决复杂场景下人脸识别的速度与准确度不高的问题。

Description

一种热红外-可见光跨模态人脸识别的方法
技术领域
本发明涉及人脸识别技术领域，特别是涉及一种热红外-可见光跨模态人脸识别的方法。
背景技术
国内外人脸识别的技术手段已经从传统的单模态方法发展到跨模态方法，正在向着人脸识别快速化、精细化方向发展。目前常见的人脸识别方式主要有：基于几何特征的人脸识别、基于神经网络的人脸识别以及近红外-可见光跨模态人脸识别等。基于几何特征的人脸识别准确率较低；基于神经网络的人脸识别需要较多的样本进行训练，但在许多场景中样本数量是很有限的。
现有技术中，提出了公开号为CN101404060，公开日为2009年04月08日的中国发明专利文件，该专利文献所公开的技术方案如下：一种基于可见光与近红外Gabor信息融合的人脸识别方法，该方法包括：分别采集可见光源下和近红外光源下的人脸图像，分别提取两种图像的Gabor特征在特征层进行融合；采用AdaBoost算法对融合后的特征进行特征选择，并采用最近邻分类对其进行相似度的计算和分类。本发明具有非常高的正确率，对光照对人脸识别的影响具有很好的鲁棒性，此外，相比与其他方法，本发明还具有所用特征数少，分类速度快等优点。
上述技术方案在实际使用过程中，会出现以下问题：在完全黑暗的环境下，人脸识别效果仍有较大提升空间，不能快速、有效、安全地在复杂场景下识别出人员身份。
发明内容
为解决上述技术问题，本发明提出了一种热红外-可见光跨模态人脸识别的方法，能有效解决复杂场景下人脸识别的速度与准确度不高的问题。
本发明是通过采用下述技术方案实现的：
一种热红外-可见光跨模态人脸识别的方法，其特征在于：包括以下步骤：
S1. 分别对可见光图像和热红外图像进行多级特征的学习，所述多级特征的学习具体指采用五个卷积层学习到不同深度的特征；
S2. 分别对可见光图像和热红外图像进行多级特征的提取，所述多级特征的提取具体指采用三个相邻深度特征组合模块，将学习到的不同深度的特征组合成三种不同深度的三级特征；
S3. 将可见光图像和热红外图像的三级特征利用群卷积的方式进行特征融合，再将融合后的特征输入深度学习网络中，得到最终的识别结果。
所述步骤S3中的特征融合具体包括以下步骤：
S31. 将可见光图像和热红外图像提取的三级特征，进行级联操作，并通过卷积操作，构成共享特征2；
S32. 将可见光图像和热红外图像提取的三级特征分别各自分成M组，构成分组特征，将可见光图像和热红外图像的分组特征进行一对一的组合，进行交叉级联，构成M个初步的融合特征；
S33. 将上述的M个初步的融合特征分别进行卷积操作，然后组合成一个完整的特征，构成共享特征1；
S34. 将共享特征1和共享特征2，进行级联操作，构成最后的融合特征。
所述步骤S1具体包括以下步骤：
S11. 分别对可见光图像和热红外图像进行采集；
S12. 分别对采集到的可见光图像和热红外图像进行图像预处理操作；
S13. 分别利用五层卷积神经网络训练可见光图像和热红外图像，分别学习出五层不同深度的特征。
所述步骤S12中对采集到的可见光图像进行图像预处理操作具体指：对可见光图像进行灰度化处理、几何变换处理和图像增强处理。
所述步骤S12中对采集到的热红外图像进行图像预处理操作具体指：利用插值法对热红外图像进行预处理。
所述步骤S2具体指：第一个相邻深度特征组合模块提取学习到的前三层特征，将其组合成第一个三级特征；第二个相邻深度特征组合模块提取学习到的中间三层特征，将其组合成第二个三级特征；第三个相邻深度特征组合模块提取学习到的后三层特征，将其组合成第三个三级特征。
与现有技术相比，本发明的有益效果表现在：
1、本发明中，针对复杂场景下的人脸图像，先通过人脸识别技术实现人脸图像的特征提取，然后通过相邻深度特征组合模块将特征组合成三种不同深度的三级特征，再将可见光图像组合的三级特征和热红外图像组合的三级特征做特征融合，以提高复杂场景下人脸识别的速度与准确度。
其中，相邻深度特征组合模块是多级特征的集成的结构，能提高特征提取性能。在分层特征集成机制HIFI 中，集成了来自不同级别的所有卷积层的特征，因此需要学习较多的参数，有较高的计算复杂度。在特征金字塔网络FPN 中，仅集成了两个相邻层中的特征。相邻深度特征组合模块专用于提取每个单峰图像特征，使用多个相邻深度特征组合模块集成多个相邻级别的特征。与特征金字塔网络FPN 相比，本发明中的相邻深度特征组合模块能捕获更多的空间细节。
2、传统的融合模型可以很好地捕捉到连结特征之间的完全跨模态相关性，但单个模态的一些显著特征也可能由于特征数量庞大而淹没在级联特征中，这将降低后续融合特征的可辨识性。另外，在具有多级特征的前提下，直接串联可能会增加网络参数，这对于多模态方法的训练是不可取的。而使用群卷积的方式进行特征融合，可以解决这类的问题。然而，虽然群卷积可以极大地减少参数，但它只能捕捉到同一组内特征之间的部分跨模态相关性，这可能会削弱所有特征映射之间的跨模态相关性。所以在群卷积的基础上，本申请提出用多卷积群融合来代替传统特征融合。
与现有的融合方法相比，本申请所提出的多分支群融合方法可以更好地捕捉图像的跨模态特征。利用多个多分支群融合方法，可以提取出包含语义信息和视觉细节的融合特征，用于显著性目标检测。更重要的是，由于采用卷积，多分支群卷积方法比传统融合方法需要更少的网络参数。
3、本发明中，分别对热红外图像和可见光图像进行图像预处理操作，该预处理可以通过多种类型的图像处理方法增加底库中的照片数量，以图像处理的方式生成人员不同角度、环境、距离的照片，这种方式以较低的人力物力成本获得了多种状况下的人脸照片，提高人脸识别系统的比对成功率。
附图说明
下面将结合说明书附图和具体实施方式对本发明作进一步的详细说明，其中：
图1为本发明中相邻深度特征组合模块的示意图；
图2为本发明中特征融合的示意图。
具体实施方式
实施例1
作为本发明基本实施方式，本发明包括一种热红外-可见光跨模态人脸识别的方法，包括以下步骤：
S1. 分别对可见光图像和热红外图像进行多级特征的学习，所述多级特征的学习具体指采用五个卷积层学习到不同深度的特征。
S2. 分别对可见光图像和热红外图像进行多级特征的提取，所述多级特征的提取具体指采用三个相邻深度特征组合模块，将学习到的不同深度的特征组合成三种不同深度的三级特征。
S3. 将可见光图像和热红外图像的三级特征利用群卷积的方式进行特征融合，再将融合后的特征输入深度学习网络中，得到最终的识别结果。
实施例2
作为本发明一较佳实施方式，本发明包括一种热红外-可见光跨模态人脸识别的方法，包括以下步骤：
S1. 分别对可见光图像和热红外图像进行多级特征的学习，所述多级特征的学习具体指采用五个卷积层学习到不同深度的特征。
S2. 分别对可见光图像和热红外图像进行多级特征的提取，所述多级特征的提取具体指采用三个相邻深度特征组合模块，将学习到的不同深度的特征组合成三种不同深度的三级特征。
该步骤具体包括：第一个相邻深度特征组合模块提取学习到的前三层特征，将其组合成第一个三级特征；第二个相邻深度特征组合模块提取学习到的中间三层特征，将其组合成第二个三级特征；第三个相邻深度特征组合模块提取学习到的后三层特征，将其组合成第三个三级特征。
S3. 将可见光图像和热红外图像的三级特征利用群卷积的方式进行特征融合，再将融合后的特征输入深度学习网络中，得到最终的识别结果。其中，步骤S3中的特征融合可以采用多卷积群融合模块来实现。
所述多卷积群融合模块左边部分是多组融合分支，将连接的输入特征沿着信道先分成 M 组，然后使用多个卷积层再每组融合。右侧为单组融合分支，直接对连接的输入特征进行两个堆叠的规则卷积层，得到融合的特征。最后通过连接两个分支的输出得到融合后的特征。如上所述，多分支群融合模块可以通过单组融合分支捕获图像特征之间的全跨模态关联。通过多组融合分支，可以从每幅单模态输入图像中提取出更多的显著特征。
实施例3
作为本发明最佳实施方式，本发明包括一种热红外-可见光跨模态人脸识别的方法，包括以下步骤：
S1. 分别对可见光图像和热红外图像进行多级特征的学习，具体包括以下步骤：
S11. 分别对可见光图像和热红外图像进行采集。在视频采集端采用两个摄像头进行图像的采集，其中可见光摄像头的分辨率可以为1280×960，热红外摄像头的分辨率可以为640×480。
S12. 分别对采集到的可见光图像和热红外图像进行图像预处理操作，具体包括对可见光图像进行灰度化处理、几何变换处理和图像增强处理，利用插值法对热红外图像进行预处理。
其中，由于成像、采集角度等原因可能造成采集的人脸有一定的变形，对于肉眼来说这些变形并不会带来太大的干扰，但对计算机来说却是截然不同的。对训练数据进行几何变换处理为的是模拟现实中的多种拍摄场景下拍摄人脸的几何失真，通过这种方式可以将人脸识别系统的注意力集中在图像内容的本身特征而不是位置、角度和尺度等其他信息。
其中，插值法用于修改图像的尺寸，所有插值法都可行，单双线性插值法的效果最佳。
S13. 分别利用五层卷积神经网络训练可见光图像和热红外图像，分别学习出五层不同深度的特征。
S2. 分别对可见光图像和热红外图像进行多级特征的提取。在进行可见光图像和热红外图像的多级特征提取前，分别将可见光图像和热红外图像学习到的特征的长宽统一，通道数固定为128。
在进行多级特征的提取时，采用三个相邻深度特征组合模块ADFC，将学习到的不同深度的特征组合成三种不同深度的三级特征。参照说明书附图1，具体为：第一个相邻深度特征组合模块ADFC1提取学习到的前三层特征，将其组合成第一个三级特征；第二个相邻深度特征组合模块ADFC2提取学习到的中间三层特征，将其组合成第二个三级特征；第三个相邻深度特征组合模块ADFC3提取学习到的后三层特征，将其组合成第三个三级特征。
S3. 将可见光图像和热红外图像的三级特征利用群卷积的方式进行特征融合，再将融合后的特征输入深度学习网络中，得到最终的识别结果。其中，参照说明书附图2，特征融合具体包括以下步骤：
S31. 将可见光图像和热红外图像提取的三级特征，进行级联操作，并通过卷积操作，构成共享特征2。
S32. 将可见光图像和热红外图像提取的三级特征分别各自分成M组，构成分组特征，将可见光图像和热红外图像的分组特征进行一对一的组合，进行交叉级联，构成M个初步的融合特征。
S33. 将上述的M个初步的融合特征分别进行卷积操作，然后组合成一个完整的特征，构成共享特征1。
S34. 将共享特征1和共享特征2，进行级联操作，构成最后的融合特征。
综上所述，本领域的普通技术人员阅读本发明文件后，根据本发明的技术方案和技术构思无需创造性脑力劳动而作出的其他各种相应的变换方案，均属于本发明所保护的范围。

Claims (4)

1.一种热红外-可见光跨模态人脸识别的方法，其特征在于：包括以下步骤：
S1. 分别对可见光图像和热红外图像进行多级特征的学习，所述多级特征的学习具体指采用五个卷积层学习到不同深度的特征；
S2. 分别对可见光图像和热红外图像进行多级特征的提取，所述多级特征的提取具体指采用三个相邻深度特征组合模块，将学习到的不同深度的特征组合成三种不同深度的三级特征；
S3. 将可见光图像和热红外图像的三级特征利用群卷积的方式进行特征融合，再将融合后的特征输入深度学习网络中，得到最终的识别结果；
所述步骤S2具体指：第一个相邻深度特征组合模块提取学习到的前三层特征，将其组合成第一个三级特征；第二个相邻深度特征组合模块提取学习到的中间三层特征，将其组合成第二个三级特征；第三个相邻深度特征组合模块提取学习到的后三层特征，将其组合成第三个三级特征；
所述步骤S3中的特征融合具体包括以下步骤：
S31. 将可见光图像和热红外图像提取的三级特征，进行级联操作，并通过卷积操作，构成共享特征2；
S32. 将可见光图像和热红外图像提取的三级特征分别各自分成M组，构成分组特征，将可见光图像和热红外图像的分组特征进行一对一的组合，进行交叉级联，构成M个初步的融合特征；
S33. 将上述的M个初步的融合特征分别进行卷积操作，然后组合成一个完整的特征，构成共享特征1；
S34. 将共享特征1和共享特征2，进行级联操作，构成最后的融合特征。
2.根据权利要求1所述的一种热红外-可见光跨模态人脸识别的方法，其特征在于：所述步骤S1具体包括以下步骤：
S11. 分别对可见光图像和热红外图像进行采集；
S12. 分别对采集到的可见光图像和热红外图像进行图像预处理操作；
S13. 分别利用五层卷积神经网络训练可见光图像和热红外图像，分别学习出五层不同深度的特征。
3.根据权利要求2所述的一种热红外-可见光跨模态人脸识别的方法，其特征在于：所述步骤S12中对采集到的可见光图像进行图像预处理操作具体指：对可见光图像进行灰度化处理、几何变换处理和图像增强处理。
4.根据权利要求2或3所述的一种热红外-可见光跨模态人脸识别的方法，其特征在于：所述步骤S12中对采集到的热红外图像进行图像预处理操作具体指：利用插值法对热红外图像进行预处理。
CN202210503206.0A 2022-05-10 2022-05-10 一种热红外-可见光跨模态人脸识别的方法 Active CN114898429B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210503206.0A CN114898429B (zh) 2022-05-10 2022-05-10 一种热红外-可见光跨模态人脸识别的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210503206.0A CN114898429B (zh) 2022-05-10 2022-05-10 一种热红外-可见光跨模态人脸识别的方法

Publications (2)

Publication Number Publication Date
CN114898429A CN114898429A (zh) 2022-08-12
CN114898429B true CN114898429B (zh) 2023-05-30

Family

ID=82721681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210503206.0A Active CN114898429B (zh) 2022-05-10 2022-05-10 一种热红外-可见光跨模态人脸识别的方法

Country Status (1)

Country Link
CN (1) CN114898429B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709477A (zh) * 2017-02-23 2017-05-24 哈尔滨工业大学深圳研究生院 一种基于自适应得分融合与深度学习的人脸识别方法及系统
WO2019128362A1 (zh) * 2017-12-28 2019-07-04 北京京东尚科信息技术有限公司 人脸识别方法、装置、系统及介质
CN113408385A (zh) * 2021-06-10 2021-09-17 华南理工大学 一种音视频多模态情感分类方法及系统
CN113486712A (zh) * 2021-05-31 2021-10-08 内蒙古大学 一种基于深度学习的多人脸识别方法、系统和介质
CN113536843A (zh) * 2020-04-16 2021-10-22 上海大学 基于多模态融合卷积神经网络的防伪人脸识别系统
CN114187221A (zh) * 2021-12-13 2022-03-15 北京环境特性研究所 基于自适应权重学习的红外与可见光图像融合方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709477A (zh) * 2017-02-23 2017-05-24 哈尔滨工业大学深圳研究生院 一种基于自适应得分融合与深度学习的人脸识别方法及系统
WO2019128362A1 (zh) * 2017-12-28 2019-07-04 北京京东尚科信息技术有限公司 人脸识别方法、装置、系统及介质
CN113536843A (zh) * 2020-04-16 2021-10-22 上海大学 基于多模态融合卷积神经网络的防伪人脸识别系统
CN113486712A (zh) * 2021-05-31 2021-10-08 内蒙古大学 一种基于深度学习的多人脸识别方法、系统和介质
CN113408385A (zh) * 2021-06-10 2021-09-17 华南理工大学 一种音视频多模态情感分类方法及系统
CN114187221A (zh) * 2021-12-13 2022-03-15 北京环境特性研究所 基于自适应权重学习的红外与可见光图像融合方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
Hou Shaoqi等.SAN-GAL: Spatial Attention Network Guided by Attribute Label for Person Re-identification.《WIRELESS COMMUNICATIONS &amp MOBILE COMPUTING 》.2021,第1页. *
Li Ye等.Triplet online instance matching loss for person re-identification.《Neurocomputing》.2020,第1页. *
XinChen.IR and visible light face recognition.《Computer Vision and Image Understanding》.2005,第99卷(第3期),第332–358页. *
刘典婷.红外与可见光人脸图像的融合识别算法研究.《中国博士学位论文全文数据库 信息科技辑》.2010,(第7期),第I138-65页. *
徐亚伟等.基于多层特征深度融合的卷积神经网络人脸识别方法.《平顶山学院学报》.2019,第34卷(第2期),第53-58页. *
徐少平等.基于相邻特征融合的红外与可见光图像自适应融合网络.《模式识别与人工智能》.2022,第35卷(第12期),第1089-1100页. *
李超等.融合SVM和AdaBoost的近红外人脸识别方法.《激光与红外》.2012,第42卷(第2期),第192-196页. *

Also Published As

Publication number Publication date
CN114898429A (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
Zhong et al. Grayscale enhancement colorization network for visible-infrared person re-identification
Liu et al. SwinNet: Swin transformer drives edge-aware RGB-D and RGB-T salient object detection
US10353271B2 (en) Depth estimation method for monocular image based on multi-scale CNN and continuous CRF
CN110210539B (zh) 多级深度特征融合的rgb-t图像显著性目标检测方法
CN110956094A (zh) 一种基于非对称双流网络的rgb-d多模态融合人员检测方法
CN111539255B (zh) 基于多模态图像风格转换的跨模态行人重识别方法
Huang et al. Joint cross-modal and unimodal features for RGB-D salient object detection
CN109508663A (zh) 一种基于多层次监督网络的行人重识别方法
CN112651262B (zh) 一种基于自适应行人对齐的跨模态行人重识别方法
CN115423734B (zh) 一种基于多尺度注意机制的红外与可见光图像融合方法
CN110378234A (zh) 基于TensorFlow构建的卷积神经网络热像人脸识别方法及系统
CN110969634A (zh) 基于生成对抗网络的红外图像电力设备分割方法
Wu et al. An end-to-end heterogeneous restraint network for RGB-D cross-modal person re-identification
CN114882537B (zh) 一种基于神经辐射场的手指新视角图像生成方法
Jian et al. Dual-Branch-UNet: A Dual-Branch Convolutional Neural Network for Medical Image Segmentation.
CN114842524A (zh) 一种基于不规则显著性像素簇的人脸鉴伪方法
CN111881803B (zh) 一种基于改进YOLOv3的畜脸识别方法
CN111881841B (zh) 一种基于双目视觉的人脸检测识别方法
CN111079585B (zh) 图像增强结合伪孪生卷积神经网络的行人再识别方法
CN114898429B (zh) 一种热红外-可见光跨模态人脸识别的方法
CN116956128A (zh) 一种基于超图的多模态多标签分类方法及系统
CN115171148A (zh) 一种基于特定模态特征补偿的跨模态行人重识别方法
CN113869151A (zh) 一种基于特征融合的跨视角步态识别方法及系统
Yang et al. Heterogeneous face detection based on multi‐task cascaded convolutional neural network
CN117392502A (zh) 跨模态特征金字塔注意力网络结构及显著性物体检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant