CN111401107B - 基于特征融合神经网络的多模态人脸识别方法 - Google Patents

基于特征融合神经网络的多模态人脸识别方法 Download PDF

Info

Publication number
CN111401107B
CN111401107B CN201910001632.2A CN201910001632A CN111401107B CN 111401107 B CN111401107 B CN 111401107B CN 201910001632 A CN201910001632 A CN 201910001632A CN 111401107 B CN111401107 B CN 111401107B
Authority
CN
China
Prior art keywords
convolution
face
visible light
layer
near infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910001632.2A
Other languages
English (en)
Other versions
CN111401107A (zh
Inventor
陈嘉君
徐树公
曹姗
张舜卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201910001632.2A priority Critical patent/CN111401107B/zh
Publication of CN111401107A publication Critical patent/CN111401107A/zh
Application granted granted Critical
Publication of CN111401107B publication Critical patent/CN111401107B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于特征融合神经网络的多模态人脸识别方法，通过融合特征卷积神经网络，以预处理后正常光源下的可见光图像和红外光图像作为训练集进行训练，并在训练后对各种光源情况下的可见光图像和红外光图像进行识别。本发明采用特征融合卷积网络，融合可见光人脸和近红外人脸的特征，在应对不同光照强度下，获得更加高的人脸识别结果，在应对无光、弱光，正常光源下，特征融合网络具有高鲁棒性和高准确率。

Description

基于特征融合神经网络的多模态人脸识别方法
技术领域
本发明涉及的是一种人工智能识别领域的技术，具体是一种基于特征融合神经网络的多模态人脸识别方法。
背景技术
现有的人脸识别方法一般采用HOG、LBP、LGBP等算法或神经网络来提取特征进行人脸识别。但这些方法很适合运用于正常光源下的人脸情况。一旦人脸在非正常光强下，人脸识别的准确率就会不理想。
现有的改进技术中有通过先计算拍摄到的人脸图像受光照影响的程度，并根据影响程度调整人脸图像的明暗值，后再通过神经网络进行处理，或通过红外线方式提取人脸图像进行后续特征提取。但这些技术在特征提取前都无法避免地会产生图像中的信息的损失。因而影响后续特征提取以及识别率。
发明内容
本发明针对现有技术存在的上述不足，提出一种基于特征融合神经网络的多模态人脸识别方法，采用特征融合卷积网络，融合可见光人脸和近红外人脸的特征，在应对不同光照强度下，获得更加高的人脸识别结果，在应对无光、弱光，正常光源下，特征融合网络具有高鲁棒性和高准确率。
本发明是通过以下技术方案实现的：
本发明涉及一种基于特征融合神经网络的多模态人脸识别方法，通过融合特征卷积神经网络，以预处理后正常光源下的可见光图像和红外光图像作为训练集进行训练，并在训练后对各种光源情况下的可见光图像和红外光图像进行识别。
所述的预处理是指：按照相同帧率同步截取可见光和近红外的人脸图像，对各光谱图像进行人脸检测、人脸定位和剪裁，分别生成可见光与近红外光下同步的人脸图像，分别记为V(可见光人脸)和N(近红外人脸)。
所述的各种光源包括：正常光源、弱光和无光情况。
所述的融合特征卷积神经网络，包括可见光分支网络层、近红外分支网络层、融合层和预测层。
所述的可见光分支网络层和近红外分支网络层均为卷积神经网络且各包括五个卷积块和一个全连接层，其中：第一卷积块和第二卷积块均包括两个用于特征提取的卷积层和一个用于降维的最大池化层，第三至第五卷积块均包括三个用于特征提取的卷积层和一个用于降维的最大池化层，每一层运算操作后的特征图都经过Relu函数作为非线性激活函数。
可见光与近红外图像分别经过各自的卷积层进行卷积操作提取特征值，之后经过各自网络的全连接层。
所述的融合层通过融合操作将可见光分支网络层最后的全连接层的特征向量与近红外分支网络层最后的全连接层的特征向量串联起来，得到的特征向量包含了可见光的特征和近红外的特征。
在应对不同光强下，可见光图像可获得更多的人脸细节特征，但会严重受到光强的影响，但是近红外却对光强的影响不敏感，所以在恶劣光源下可以获得人脸的特征。在融合过程中，分别将卷积层学习到的可见光与近红外特征进行串联互补，在应对光强影响下，特征信息会比单光谱的更加丰富。并将串联起来的特征向量，送入之后预测层进行人脸预测。
所述的预测层所采用的人脸的标签为one-hot标签，以softmax进行人脸概率预测，通过softmax输出每个注册人脸的概率，取概率最大的人脸作为最后的人脸识别结果；训练损失函数选用交叉熵(Categorical Crossentropy)。
本发明涉及一种实现上述方法的系统，包括：预处理模块、识别模块和结果输出模块，其中：预处理模块将收到的可见光图像和近红外图像进行人脸检测、人脸定位和剪裁处理后输出至包含融合特征卷积神经网络的识别模块，识别模块根据可见光图像和近红外图像对融合特征卷积神经网络进行训练或测试，并输出图像相似概率结果至结果输出模块，结果输出模块经过各概率比较输出最大概率人脸类别作为输出识别结果。
技术效果
本发明采用的特征融合卷积神经网络分别融合了可见光和近红外的优点，近红外弥补了可见光对光强敏感的缺点，可见光弥补了近红外纹理特征少的缺点。首先使用各自分支的卷积网络提取特征，然后经过融合层进行融合。在Oulu-CASIA数据集的识别精度达到了很好的结果。
相比现有技术仅用单光谱训练的人脸识别网络，本发明提出的特征融合卷积神经网络在应对无光，暗光情况下有很高的人脸识别准确率。并且在正常光源下也能获得更好的识别准确率。
附图说明
图1多模态人脸识别实现流程图
图2为提出的融合特征卷积网络。
具体实施方式
如图1所示，为本实施例涉及的一种基于特征融合神经网络的多模态人脸识别方法，通过融合特征卷积神经网络分别对预处理后的可见光图像和红外光图像进行识别。本实施例在Oulu-CASIA公开的近红外与可见光人脸数据集上进行测试。
Oulu-CASIA人脸数据集包含三种不同光源下的可见光人脸和近红外人脸，且近红外人脸图像和可见光人脸图像是一一对应的，其中：数据集的人脸包含六种表情，分别为惊讶，开心，悲伤，生气，恐惧和沮丧，总共包含80个类别的人，并包含两部分，一部分包含50类人，其中大部分是法国人，另一部分包含30类人，其中大部分是中国人；三种光强情况分为无光，弱光和正常光。每个不同的光源下，每个类别的人有30个样本。
步骤1)对于训练数据，先进行数据预处理，分别对正常光源下的可见光和近红外人脸图像进行人脸定位、裁剪和尺寸归一化，使得每个图像的输入尺寸大小为224×224，并给每个人脸图像设置相对应类别的标签，标签形式为one-hot标签格式，作为特征融合的卷积神经网络的输入数据。
本实施例在训练时仅使用正常光源下的人脸图片，每个人取6张注册人脸，即可见光和近红外各480张人脸图片。测试时，在不同光源下，每个人取32张测试图片，即可见光和近红外各1920张人脸图片。
训练过程中，卷积核和权重进行随机初始化，偏置项置为0。采用随机梯度下降(SGD)算法对网络进行网络参数的更新和梯度的优化，当网络迭代次数达到预设值时，训练停止并保存训练好的特征融合卷积神经网络。
所述的特征融合卷积神经网络由可见光卷积网络分支和近红外卷积网络分支组成，各包括五个卷积块和一个全连接层，其中：
第一卷积块包括两个卷积核尺寸为3×3、步长为1×1、卷积核数量为64的卷积层和一个卷积核为2×2、步长为2×2的最大池化层。
第二卷积块包括两个卷积核尺寸为3×3、步长为1×1、卷积核数量为128的卷积层和一个卷积核为2×2、步长为2×2的最大池化层。
第三卷积块包括三个卷积核尺寸为3×3、步长为1×1、卷积核数量为256的卷积层和一个卷积核为2×2、步长为2×2的最大池化层。
第四卷积块包括三个卷积核尺寸为3×3、步长为1×1、卷积核数量为512的卷积层和一个卷积核为2×2、步长为2×2的最大池化层。
第五卷积块包括三个卷积核尺寸为3×3、步长为1×1、卷积核数量为512的卷积层和一个卷积核为2×2、步长为2×2的最大池化层。
两个全连接层各有4096个节点。
在融合层将两个分支网络得到的特征向量进行串联，即得到8192个节点。融合层之后经过一个全连接层，全连接层的节点为80，80为数据集人类别的数量，之后经过softmax激活函数，用于输出不同类别的预测概率。除了融合之后的全连接层，其余卷积层和全连接层都使用ReLU激活函数，进行非线性转换。
步骤2)测试过程：测试的人脸图像包含正常光源、弱光和无光的情况。对测试人脸样本采用和训练阶段同样的数据预处理和融合特征卷积神经网络的步骤。将测试样本输入到保存的特征融合卷积神经网络模型中，输出预测结果，并计算识别准确率。如表1、表2所示，本方法在Oulu-CASIA的公开数据集上能取得很好的结果。与单光谱卷积神经网络人脸识别，特征融合卷积神经网络在应对三种光源下都有很好的表现和结果。
光谱 正常光源 弱光 无光
可见光 98.75％ 6.40％ 8.13％
近红外光 96.30％ 87.03％ 79.84％
表1不同光源下单光谱的人脸识别结果
光照条件 注册人脸个数(3) 注册人脸个数(6)
正常光源 95.63％ 98.75％
弱光 86.97％ 91.56％
无光 80.72％ 85.31％
表2不同光源下的特征融合网络的人脸识别结果
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (2)

1.一种基于特征融合神经网络的多模态人脸识别方法，通过融合特征卷积神经网络，以预处理后正常光源下的可见光图像和红外光图像作为训练集进行训练，并在训练后对各种光源情况下的可见光图像和红外光图像进行识别；
所述的融合特征卷积神经网络，包括可见光分支网络层、近红外分支网络层、融合层和预测层；
所述的可见光分支网络层和近红外分支网络层均为卷积神经网络且各包括五个卷积块和一个全连接层，其中：第一卷积块和第二卷积块均包括两个用于特征提取的卷积层和一个用于降维的最大池化层，第三至第五卷积块均包括三个用于特征提取的卷积层和一个用于降维的最大池化层，每一层运算操作后的特征图都经过Relu函数作为非线性激活函数；可见光与近红外图像分别经过各自的卷积层进行卷积操作提取特征值，之后经过各自网络的全连接层；
所述的第一卷积块包括两个卷积核尺寸为3×3、步长为1×1、卷积核数量为64的卷积层和一个卷积核为2×2、步长为2×2的最大池化层；
第二卷积块包括两个卷积核尺寸为3×3、步长为1×1、卷积核数量为128的卷积层和一个卷积核为2×2、步长为2×2的最大池化层；
第三卷积块包括三个卷积核尺寸为3×3、步长为1×1、卷积核数量为256的卷积层和一个卷积核为2×2、步长为2×2的最大池化层；
第四卷积块包括三个卷积核尺寸为3×3、步长为1×1、卷积核数量为512的卷积层和一个卷积核为2×2、步长为2×2的最大池化层；
第五卷积块包括三个卷积核尺寸为3×3、步长为1×1、卷积核数量为512的卷积层和一个卷积核为2×2、步长为2×2的最大池化层；
两个全连接层各有4096个节点；
所述的融合层通过融合操作将可见光分支网络层最后的全连接层的特征向量与近红外分支网络层最后的全连接层的特征向量串联起来，得到的特征向量包含了可见光的特征和近红外的特征；
所述的预测层所采用的人脸的标签为one-hot标签，以softmax进行人脸概率预测，通过softmax输出每个注册人脸的概率，取概率最大的人脸作为最后的人脸识别结果；训练损失函数选用交叉熵；
所述的预处理是指：按照相同帧率同步截取可见光和近红外的人脸图像，对各光谱图像进行人脸检测、人脸定位和剪裁，分别生成可见光与近红外光下同步的人脸图像，分别记为V(可见光人脸)和N(近红外人脸)。
2.一种实现权利要求1所述方法的系统，其特征在于，包括：预处理模块、识别模块和结果输出模块，其中：预处理模块将收到的可见光图像和近红外图像进行人脸检测、人脸定位和剪裁处理后输出至包含融合特征卷积神经网络的识别模块，识别模块根据可见光图像和近红外图像对融合特征卷积神经网络进行训练或测试，并输出图像相似概率结果至结果输出模块，结果输出模块经过各概率比较输出最大概率人脸类别作为输出识别结果。
CN201910001632.2A 2019-01-02 2019-01-02 基于特征融合神经网络的多模态人脸识别方法 Active CN111401107B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910001632.2A CN111401107B (zh) 2019-01-02 2019-01-02 基于特征融合神经网络的多模态人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910001632.2A CN111401107B (zh) 2019-01-02 2019-01-02 基于特征融合神经网络的多模态人脸识别方法

Publications (2)

Publication Number Publication Date
CN111401107A CN111401107A (zh) 2020-07-10
CN111401107B true CN111401107B (zh) 2023-08-18

Family

ID=71430177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910001632.2A Active CN111401107B (zh) 2019-01-02 2019-01-02 基于特征融合神经网络的多模态人脸识别方法

Country Status (1)

Country Link
CN (1) CN111401107B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111832499A (zh) * 2020-07-17 2020-10-27 东华理工大学 一种简易人脸识别分类系统
CN112101479B (zh) * 2020-09-27 2023-11-03 杭州海康威视数字技术股份有限公司 一种发型识别方法及装置
CN112836605B (zh) * 2021-01-25 2022-08-30 合肥工业大学 一种基于模态增广的近红外与可见光跨模态人脸识别方法
CN112949451B (zh) * 2021-02-24 2022-09-09 安徽大学 通过模态感知特征学习的跨模态目标跟踪方法及系统
CN113052142A (zh) * 2021-04-26 2021-06-29 的卢技术有限公司 一种基于多模态数据的静默活体检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404060A (zh) * 2008-11-10 2009-04-08 北京航空航天大学 一种基于可见光与近红外Gabor信息融合的人脸识别方法
CN106250877A (zh) * 2016-08-19 2016-12-21 深圳市赛为智能股份有限公司 近红外人脸识别方法及装置
CN106709477A (zh) * 2017-02-23 2017-05-24 哈尔滨工业大学深圳研究生院 一种基于自适应得分融合与深度学习的人脸识别方法及系统
CN106909905A (zh) * 2017-03-02 2017-06-30 中科视拓（北京）科技有限公司 一种基于深度学习的多模态人脸识别方法
CN106960202A (zh) * 2017-04-11 2017-07-18 广西师范大学 一种基于可见光与红外图像融合的笑脸识别方法
CN107578432A (zh) * 2017-08-16 2018-01-12 南京航空航天大学 融合可见光与红外两波段图像目标特征的目标识别方法
DE102017131364A1 (de) * 2016-12-28 2018-06-28 Nvidia Corporation Zwanglose erscheinungs-basierte blickschätzung
CN108921100A (zh) * 2018-07-04 2018-11-30 武汉高德智感科技有限公司 一种基于可见光图像与红外图像融合的人脸识别方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110073404B (zh) * 2016-10-21 2023-03-21 南坦生物组学有限责任公司 数字组织病理学和显微解剖

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404060A (zh) * 2008-11-10 2009-04-08 北京航空航天大学 一种基于可见光与近红外Gabor信息融合的人脸识别方法
CN106250877A (zh) * 2016-08-19 2016-12-21 深圳市赛为智能股份有限公司 近红外人脸识别方法及装置
DE102017131364A1 (de) * 2016-12-28 2018-06-28 Nvidia Corporation Zwanglose erscheinungs-basierte blickschätzung
CN106709477A (zh) * 2017-02-23 2017-05-24 哈尔滨工业大学深圳研究生院 一种基于自适应得分融合与深度学习的人脸识别方法及系统
CN106909905A (zh) * 2017-03-02 2017-06-30 中科视拓（北京）科技有限公司 一种基于深度学习的多模态人脸识别方法
CN106960202A (zh) * 2017-04-11 2017-07-18 广西师范大学 一种基于可见光与红外图像融合的笑脸识别方法
CN107578432A (zh) * 2017-08-16 2018-01-12 南京航空航天大学 融合可见光与红外两波段图像目标特征的目标识别方法
CN108921100A (zh) * 2018-07-04 2018-11-30 武汉高德智感科技有限公司 一种基于可见光图像与红外图像融合的人脸识别方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习网络的多光谱行人检测与分割方法研究;宋姚姚;《中国优秀硕士学位论文全文数据库 (信息科技辑)》(第7期);I138-1536 *

Also Published As

Publication number Publication date
CN111401107A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN111401107B (zh) 基于特征融合神经网络的多模态人脸识别方法
CN108133188B (zh) 一种基于运动历史图像与卷积神经网络的行为识别方法
CN110532900B (zh) 基于U-Net和LS-CNN的人脸表情识别方法
CN108334843B (zh) 一种基于改进AlexNet的燃弧识别方法
CN108256482B (zh) 一种基于卷积神经网络进行分布学习的人脸年龄估计方法
CN109165692B (zh) 一种基于弱监督学习的用户性格预测装置及方法
CN109101938B (zh) 一种基于卷积神经网络的多标签年龄估计方法
CN109472284A (zh) 一种基于无偏嵌入零样本学习的电芯缺陷分类方法
CN114241340B (zh) 一种基于双路深度残差网络的图像目标检测方法及系统
CN111257341A (zh) 基于多尺度特征与堆叠式全卷积网络的水下建筑物裂缝检测方法
CN109801232A (zh) 一种基于深度学习的单幅图像去雾方法
CN109740679A (zh) 一种基于卷积神经网络和朴素贝叶斯的目标识别方法
CN112784728A (zh) 基于衣物脱敏网络的多粒度换衣行人重识别方法
CN114724222B (zh) 一种基于多模态的ai数字人情感分析方法
CN111582092A (zh) 一种基于人体骨架的行人异常行为检测方法
CN116343301B (zh) 基于人脸识别的人员信息智能校验系统
CN115758130A (zh) 一种无监督迁移学习的滚动轴承故障诊断方法及系统
CN116152658A (zh) 一种基于域对抗特征融合网络的林火烟雾检测方法
CN107545281B (zh) 一种基于深度学习的单一有害气体红外图像分类识别方法
Anggraini Face recognition using principal component analysis and self organizing maps
CN110991515B (zh) 一种融合视觉上下文的图像描述方法
CN113128284A (zh) 一种多模态情感识别方法和装置
CN114662605A (zh) 基于改进的YOLOv5模型的火焰检测方法
CN112488213A (zh) 一种基于多尺度特征学习网络的火灾图片分类方法
CN116977834A (zh) 一种开放条件下分布内外图像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant