CN110110606A - 基于神经网络的可见光与红外人脸图像的融合方法 - Google Patents

基于神经网络的可见光与红外人脸图像的融合方法 Download PDF

Info

Publication number
CN110110606A
CN110110606A CN201910292210.5A CN201910292210A CN110110606A CN 110110606 A CN110110606 A CN 110110606A CN 201910292210 A CN201910292210 A CN 201910292210A CN 110110606 A CN110110606 A CN 110110606A
Authority
CN
China
Prior art keywords
image
face
ltp
infrared
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910292210.5A
Other languages
English (en)
Inventor
高静
于子涵
徐江涛
聂凯明
史再峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201910292210.5A priority Critical patent/CN110110606A/zh
Publication of CN110110606A publication Critical patent/CN110110606A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于神经网络的可见光与红外人脸图像的融合方法，包括：提取人脸红外图像和可见光图像的LTP特征值，分别形成LTP特征矩阵；用训练好的SVM分类器检测出带眼镜的人脸红外图像并将眼部特征去除，形成除去眼镜部分特征的人脸红外图像的LTP特征矩阵；将除去眼镜部分特征的人脸红外图像的LTP特征矩阵和可见光图像的LTP特征矩阵输入训练好的ResNet50神经网络进行图像融合，得到融合后的图像。本发明采用可见光人脸图像和红外人脸图像共同提取特征信息，通过ResNet神经网络来进行人脸图像融合，避免红外图像对玻璃物体的敏感性带来的影响。

Description

基于神经网络的可见光与红外人脸图像的融合方法
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于神经网络的可见光与红外人脸图像的融合方法。
背景技术
人脸识别多年来一直是快速发展的研究领域，是当前模式识别和计算机视觉领域的研究热点。面部识别通过将面部与存储在数据库中的面部图像进行比较来识别或验证身份。由于可见光谱中的面部识别受到照明，姿势，面部表情，视点和伪装的变化的影响。热红外(IR)成像对于照明变化更加稳健因为它捕获来自物体的发射能量以产生图像。因此，在不同的照明条件下，使用热红外图像相对于用于面部识别的可见图像具有显著的优点。然而，红外线对玻璃的透射性较差，眼镜、车窗等玻璃物体，会对红外图像产生较大影响。热红外图像对身体和环境温度的变化也存在敏感性。
发明内容
本发明的目的是针对现有技术中存在的技术缺陷，而提供一种基于神经网络的可见光与红外人脸图像的融合方法。
为实现本发明的目的所采用的技术方案是：
一种基于神经网络的可见光与红外人脸图像的融合方法，包括步骤：
提取人脸红外图像和可见光图像的LTP特征值，分别形成LTP特征矩阵；
用训练好的SVM分类器检测出带眼镜的人脸红外图像并将眼部特征去除，形成除去眼镜部分特征的人脸红外图像的LTP特征矩阵；
将除去眼镜部分特征的人脸红外图像的LTP特征矩阵和可见光图像的LTP特征矩阵输入训练好的ResNet50神经网络进行图像融合，得到融合后的图像。
所述提取人脸红外图像和可见光图像的LTP特征值是将原始人脸图像分为若干块区域，对分块后的图像进行LTP算法计算而获得的。
所述SVM分类器是由有眼镜的人脸红外图像与无眼镜的人脸红外图像进行训练而得到的。
与现有技术相比，本发明的有益效果是：
本发明使用ResNet50神经网络模型对图像进行融合，若红外图像中检测到眼镜，图像融合时去除眼部特征，避免了红外图像对玻璃物体的敏感性带来的影响。
附图说明
图1所示为支持向量机分类器检测模型的示意图；
图2所示为ResNet神经网络残差块示意图；
图3所示为基于可见光图像与红外图像的人脸图像融合流程图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明首先对获得的红外人脸图像进行处理，使用LTP算法来提取红外图像的特征，对于眼镜类面部遮挡，使用支持向量机分类器检测眼镜。对于可见光图像，利用LTP算法提取图像特征。
如图1-3所示，本发明基于可见光图像与红外图像的人脸图像融合方法，包括步骤：
(1)提取人脸红外图像和可见光图像的LTP特征值矩阵
首先将原始人脸图像分为S0,S1,S2,…,Sm-1共m块区域，对分块后的图像进行LTP算法的计算。LTP算法公式如下。
R和P分别表示半径圆上的中心像素的灰度值和相邻像素的灰度值，R是半径，P是相邻像素的数量。ic代表第c个像素点，该LTP算法首先对每个像素ic的八个邻域进行采样，每个采样点为iP(P＝0,1,…,7),t为算法阈值。
(2)使用支持向量机分类器检测眼镜
SVM是一种广泛用于模式识别的监督学习方法。如果该人戴着眼镜，则在脸上施加阈值以分割眼镜。考虑到眼镜和皮肤之间的显着温差，这种分割大大简化。将每个热红外(IR)面标准化为32×32像素，并将其进一步转换为长特征向量。使用这些特征向量来训练SVM分类器，该SVM分类器将面部图像分成两类，具有眼镜的和没有眼镜的，识别出有眼镜的红外图像，被分类为有眼镜的红外图像去除眼部的特征，以避免红外图像对玻璃物体的敏感性带来的影响。
通过使用SVM支持向量机分类器检测眼镜，在检测到眼镜的情况下对图像的眼部进行处理，避免了透射性的玻璃对红外图像的影响。
(3)将两个图像特征矩阵输入神经网络进行图像融合
利用训练集对ResNet神经网络进行训练。将除去眼镜部分特征的红外人脸图像的特征矩阵和可见光图像的特征矩阵输入训练好的ResNet50神经网络来进行图像融合，得到融合后的图像。
ResNet神经网络利用残差块的结构，一定程度上解决了梯度消失和梯度爆炸等现象。
本发明中，ResNet神经网络是2015年由微软研究院的四名华人提出的神经网络结构。ResNet神经网络提出残差学习的思想，主要思想是在网络中增加了直连通道从而允许原始输入信息直接传到后面的层中。传统的卷积网络或者全连接网络在信息传递的时候或多或少会存在信息丢失，损耗等问题，同时还有导致梯度消失或者梯度爆炸，导致很深的网络无法训练。ResNet在一定程度上解决了这个问题，通过直接将输入信息绕道传到输出，保护信息的完整性，整个网络只需要学习输入、输出差别的那一部分，简化学习目标和难度。
测试时，使用CASIA NIR-VIS 2.0数据库共包含725个科目。每个受试者有1-22个可见光图像和5-50个近红外脸部图像，适合作为此次人脸图像融合方法的训练集和测试集。ResNet神经网络选择ResNet50的结构，利用谷歌开源的Tensorflow来搭建。卷积神经网络采用Mini-batch方法进行训练可得到较好的结果。
本发明考虑了可见光和热红外图像中包含的特征信息，两者的融合可用于提高人脸识别的准确性，因此提出了本发明的方法。
本发明利用ResNet神经网络来对红外人脸图像和可见光人脸图像进行融合，使融合后的图像既具有红外图像对光照的鲁棒性，同时减小了红外图像受到温度和眼镜等遮挡物的影响。将融合后的图像应用于人脸识别，可以得到很好的识别准确率。
以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.基于神经网络的可见光与红外人脸图像的融合方法，其特征在于，包括步骤；
提取人脸红外图像和可见光图像的LTP特征值，分别形成LTP特征矩阵；
用训练好的SVM分类器检测出带眼镜的人脸红外图像并将眼部特征去除，形成除去眼镜部分特征的人脸红外图像的LTP特征矩阵；
将除去眼镜部分特征的人脸红外图像的LTP特征矩阵和可见光图像的LTP特征矩阵输入训练好的ResNet50神经网络进行图像融合，得到融合后的图像。
2.如权利要求1所述基于神经网络的可见光与红外人脸图像的融合方法，其特征在于，所述提取人脸红外图像和可见光图像的LTP特征值是将原始人脸图像分为若干块区域，对分块后的图像进行LTP算法计算而获得的。
3.如权利要求1所述基于神经网络的可见光与红外人脸图像的融合方法，其特征在于，所述SVM分类器是由有眼镜的人脸红外图像与无眼镜的人脸红外图像进行训练而得到的。
CN201910292210.5A 2019-04-12 2019-04-12 基于神经网络的可见光与红外人脸图像的融合方法 Pending CN110110606A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910292210.5A CN110110606A (zh) 2019-04-12 2019-04-12 基于神经网络的可见光与红外人脸图像的融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910292210.5A CN110110606A (zh) 2019-04-12 2019-04-12 基于神经网络的可见光与红外人脸图像的融合方法

Publications (1)

Publication Number Publication Date
CN110110606A true CN110110606A (zh) 2019-08-09

Family

ID=67484168

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910292210.5A Pending CN110110606A (zh) 2019-04-12 2019-04-12 基于神经网络的可见光与红外人脸图像的融合方法

Country Status (1)

Country Link
CN (1) CN110110606A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111028014A (zh) * 2019-12-11 2020-04-17 秒针信息技术有限公司 一种评估资源投放效果的方法及装置
CN111539247A (zh) * 2020-03-10 2020-08-14 西安电子科技大学 一种超光谱人脸识别方法、装置、电子设备及其存储介质
CN111803027A (zh) * 2020-06-19 2020-10-23 天津大学 人体穴位阻抗与红外热像融合的多信息综合诊断图系统
CN114333010A (zh) * 2021-12-27 2022-04-12 新疆爱华盈通信息技术有限公司 图像识别方法、装置、存储介质和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622589A (zh) * 2012-03-13 2012-08-01 辉路科技（北京）有限公司 一种基于gpu的多光谱人脸检测方法
CN106960202A (zh) * 2017-04-11 2017-07-18 广西师范大学 一种基于可见光与红外图像融合的笑脸识别方法
CN107909093A (zh) * 2017-10-27 2018-04-13 浙江大华技术股份有限公司 一种物品检测的方法及设备
CN108090477A (zh) * 2018-01-23 2018-05-29 北京易智能科技有限公司 一种基于多光谱融合的人脸识别方法与装置
CN108460366A (zh) * 2018-03-27 2018-08-28 百度在线网络技术（北京）有限公司 身份认证方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622589A (zh) * 2012-03-13 2012-08-01 辉路科技（北京）有限公司 一种基于gpu的多光谱人脸检测方法
CN106960202A (zh) * 2017-04-11 2017-07-18 广西师范大学 一种基于可见光与红外图像融合的笑脸识别方法
CN107909093A (zh) * 2017-10-27 2018-04-13 浙江大华技术股份有限公司 一种物品检测的方法及设备
CN108090477A (zh) * 2018-01-23 2018-05-29 北京易智能科技有限公司 一种基于多光谱融合的人脸识别方法与装置
CN108460366A (zh) * 2018-03-27 2018-08-28 百度在线网络技术（北京）有限公司 身份认证方法和装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111028014A (zh) * 2019-12-11 2020-04-17 秒针信息技术有限公司 一种评估资源投放效果的方法及装置
CN111539247A (zh) * 2020-03-10 2020-08-14 西安电子科技大学 一种超光谱人脸识别方法、装置、电子设备及其存储介质
CN111539247B (zh) * 2020-03-10 2023-02-10 西安电子科技大学 一种超光谱人脸识别方法、装置、电子设备及其存储介质
CN111803027A (zh) * 2020-06-19 2020-10-23 天津大学 人体穴位阻抗与红外热像融合的多信息综合诊断图系统
CN111803027B (zh) * 2020-06-19 2023-10-13 天津大学 人体穴位阻抗与红外热像融合的多信息综合诊断图系统
CN114333010A (zh) * 2021-12-27 2022-04-12 新疆爱华盈通信息技术有限公司 图像识别方法、装置、存储介质和电子设备

Similar Documents

Publication Publication Date Title
CN108921100B (zh) 一种基于可见光图像与红外图像融合的人脸识别方法及系统
KR102596897B1 (ko) 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
CN107194341B (zh) Maxout多卷积神经网络融合人脸识别方法和系统
CN110110606A (zh) 基于神经网络的可见光与红外人脸图像的融合方法
US20160371539A1 (en) Method and system for extracting characteristic of three-dimensional face image
US9064145B2 (en) Identity recognition based on multiple feature fusion for an eye image
CN108268859A (zh) 一种基于深度学习的人脸表情识别方法
CN109101865A (zh) 一种基于深度学习的行人重识别方法
CN108664843B (zh) 活体对象识别方法、设备和计算机可读存储介质
CN106650574A (zh) 基于PCANet的人脸识别方法
CN111126240B (zh) 一种三通道特征融合人脸识别方法
CN112818722B (zh) 模块化动态可配置的活体人脸识别系统
CN111783748A (zh) 人脸识别方法、装置、电子设备及存储介质
CN104123543A (zh) 一种基于人脸识别的眼球运动识别方法
CN111666845B (zh) 基于关键帧采样的小样本深度学习多模态手语识别方法
CN112200176B (zh) 人脸图像的质量检测方法、系统和计算机设备
WO2020195732A1 (ja) 画像処理装置、画像処理方法、およびプログラムが格納された記録媒体
CN110378234A (zh) 基于TensorFlow构建的卷积神经网络热像人脸识别方法及系统
CN112541421A (zh) 一种开放空间的行人换装重识别方法
Seal et al. Minutiae based thermal face recognition using blood perfusion data
CN110929570B (zh) 虹膜快速定位装置及其定位方法
Assiri et al. Face emotion recognition based on infrared thermal imagery by applying machine learning and parallelism
Pauca et al. Challenging ocular image recognition
CN117636436A (zh) 基于注意力机制的多人实时面部表情识别方法和系统
Pathak et al. Multimodal eye biometric system based on contour based E-CNN and multi algorithmic feature extraction using SVBF matching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190809

WD01 Invention patent application deemed withdrawn after publication