CN113723246A - 一种基于注意力机制的红外宽光谱人脸识别方法及系统 - Google Patents
一种基于注意力机制的红外宽光谱人脸识别方法及系统 Download PDFInfo
- Publication number
- CN113723246A CN113723246A CN202110962848.2A CN202110962848A CN113723246A CN 113723246 A CN113723246 A CN 113723246A CN 202110962848 A CN202110962848 A CN 202110962848A CN 113723246 A CN113723246 A CN 113723246A
- Authority
- CN
- China
- Prior art keywords
- features
- feature
- key
- infrared
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明提供一种基于注意力机制的红外宽光谱人脸识别方法及系统,其中方法包括:获取人脸各个关键区域的红外宽光谱数据;对各关键区域的红外宽光谱数据进行并联的多种不同二维卷积提取局部特征,二维卷积的维度由大到小,得到各关键区域在多种不同卷积维度下由粗到细的多种特征,并将多种由粗到细的特征拼接得到每个区域局部特征,使得局部特征包含全面且丰富的人脸特征;结合注意力机制学习各区域局部特征的注意权重,以将关键区域的局部特征融合得到人脸宽光谱特征向量;基于全连接网络提取人脸宽光谱特征向量的全局特征;基于全局特征判断其所属的人的身份,以进行人脸识别。本发明基于红外宽光谱特征进行人脸识别,提高了人脸识别的准确率。
Description
技术领域
本发明属于生物特征识别与红外宽光谱技术的交叉融合领域,更具体地,涉及一种基于注意力机制的红外宽光谱人脸识别方法及系统。
背景技术
目前基于可见光成像的人脸识别技术已经趋于成熟,但是在某些条件下仍存在弊端,例如:(1)弱光照甚至是无光照;(2)面部进行妆容打扮、做夸张表情、伪装、甚至整容;(3)受照片欺骗。在这些情况下,可见光人脸识别系统的鲁棒性差,识别率降低。
2003年,ZhiHong Pan等人首次探索了近红外光谱范围(0.7μm~1.0μm,包含31个波段)内用于光谱人脸识别的面部光谱测量,由于近红外光谱图像是在连续光谱上的连续图像,可以更好的表示反射、吸收和发射电磁波能量的皮肤信息,提高鲁棒性,验证了在存在面部姿势和表情变化的情况下随着时间的推移,近红外光谱用于人脸识别的实用性。2010年Di.W等人探索可见光光谱范围(0.4μm~0.72μm,包含33个波段)内用于光谱人脸识别的技术应用。利用提取的六个特征波段,采用2DPCA算法提取图像特征,K近邻算法实现人脸图像分类,识别率为78.33%。2015年,Uzair M等人探索了可见光和近红外光谱的总范围为0.4μm~1.09μm的光谱人脸识别方法,利用波带融合将光谱图像进行合并,利用PLS(偏最小二乘法)回归算法实现人脸的识别分类。
综上,上述几种光谱人脸识别算法在光谱范围的选择限于可见光光谱范围和近红外光谱范围,均无法在夜间使用,且上述几种算法均未获得令人满意的识别准确率。
发明内容
针对现有技术的缺陷,本发明的目的在于提供一种基于注意力机制的红外宽光谱人脸识别方法及系统,旨在解决现有光谱人脸识别算法在光谱范围的选择限于可见光光谱范围和近红外光谱范围,且现有人脸识别算法的准确率不高的问题。
为实现上述目的,第一方面,本发明提供了一种基于注意力机制的红外宽光谱人脸识别系统,包括:
红外宽光谱数据获取模块,用于获取人脸各个关键区域的红外宽光谱数据;
并联局部特征提取模块,用于对每个关键区域的红外宽光谱数据进行并联的多种不同的二维卷积提取局部特征,所述二维卷积的维度由大到小,得到每个关键区域在多种不同卷积维度下由粗到细的多种特征,并将多种由粗到细的特征拼接得到每个关键区域的局部特征,使得所述局部特征包含全面且丰富的人脸特征;
注意力机制提取模块,用于结合注意力机制学习各个关键区域局部特征的注意权重,并基于学习的注意权重将所有关键区域的局部特征融合得到人脸宽光谱特征向量;
全局特征提取模块,用三层全连接网络提取人脸宽光谱特征向量的全局特征,每一个全连接层中的每一个节点与上一层的所有节点均相连,用于将上一层提取的特征综合起来;
分类模块,用于基于所述全局特征判断其所属的人的身份,以进行人脸识别。
在一个具体的示例中,人脸关键区域可包括:左眼、右眼、鼻子以及嘴巴四个区域;本领域技术人员可根据实际需要选择其他更多或更少的关键区域。
在一个可选的示例中,所述并联局部特征提取模块用于对每个关键区域的红外宽光谱数据进行并联的多种不同的二维卷积提取局部特征,具体为:
所述并联局部特征提取模块设置多种二维卷积对每个关键区域的红外宽光谱数据进行并联的由粗到细的特征提取;其中,每次特征提取都是对关键区域的红外宽光谱数据进行的,不同的二维卷积对应不同的特征维度特征提取,实现对红外宽光谱数据多种特征维度的特征提取,提取得到由粗到细的特征,特征维度大对应提取的特征相对较粗,特征维度小对应提取的特征相对较细;
所述并联局部特征提取模块将从每个关键区域提取出的由粗到细的多种特征拼接,得到每个关键区域的局部特征。
在一个可选的示例中,所述注意力机制提取模块用于结合注意力机制学习各个关键区域局部特征的注意权重,并基于学习的注意权重将所有关键区域的局部特征融合得到人脸宽光谱特征向量,具体为:
所述注意力机制提取模块融合所有关键区域的局部特征并自动学习各个关键区域局部特征的注意权重,基于学习的注意权重将所有关键区域的局部特征融合得到人脸宽光谱特征向量,从而引导所述分类模块更多的关注具有更好判别特性的特征区域;
所述自动学习各个关键区域局部特征的注意权重,具体为:通过自动学习确定各个关键区域对分类模块进行人脸识别的重要程度,根据重要程度为各个关键区域分配注意权重,从而提高重要程度高的关键区域特征的表达,并抑制重要程度低的关键区域特征的表达。
在一个可选的示例中,所述分类模块通过一层全连接层预测所述全局特征属于每个类的概率;其中,每个类代表一个人的身份标签;所述分类模块的全连接层的最后一层包括多个神经单元,每个神经单元用于预测一个类;
所述分类模块用于基于所述全局特征判断其所属的人的身份,具体为:所述分类模块预测所述全局特征属于每个类的概率,将概率值最大的类判定为所述全局特征所属的类。
在一个可选的示例中,该系统还包括:训练模块;
所述训练模块,用于采用基于Softmax激活函数的交叉熵损失函数训练所述分类模块;Softmax激活函数表示为:交叉熵损失函数Lc表示为:其中:k表示人的类别数,即输出节点的个数,zi表示第i(1≤i≤k)个节点的输出值,yi′表示全局特征预测属于第i类概率所占的百分比,yi为每类的真实标签。
第二方面,本发明提供了一种基于注意力机制的红外宽光谱人脸识别方法,包括如下步骤:
获取人脸各个关键区域的红外宽光谱数据;
对每个关键区域的红外宽光谱数据进行并联的多种不同的二维卷积提取局部特征,所述二维卷积的维度由大到小,得到每个关键区域在多种不同卷积维度下由粗到细的多种特征,并将多种由粗到细的特征拼接得到每个关键区域的局部特征,使得所述局部特征包含全面且丰富的人脸特征;
结合注意力机制学习各个关键区域局部特征的注意权重,并基于学习的注意权重将所有关键区域的局部特征融合得到人脸宽光谱特征向量;
基于三层全连接网络提取人脸宽光谱特征向量的全局特征,每一个全连接层中的每一个节点与上一层的所有节点均相连,用于将上一层提取的特征综合起来;
基于所述全局特征判断其所属的人的身份,以进行人脸识别。
在一个可选的示例中,所述对每个关键区域的红外宽光谱数据进行并联的多种不同的二维卷积提取局部特征,具体为:
设置多种二维卷积对每个关键区域的红外宽光谱数据进行并联的由粗到细的特征提取,其中,每次特征提取都是对关键区域的红外宽光谱数据进行的,不同的二维卷积对应不同的特征提取维度,实现对红外宽光谱数据多种特征维度的提取,特征维度大对应提取的特征相对较粗,特征维度小对应提取的特征相对较细,提取得到由粗到细的特征,以使得拼接后的局部特征包含红外宽光谱数据由粗到细的特征。
在一个可选的示例中,所述结合注意力机制学习各个关键区域局部特征的注意权重,并基于学习的注意权重将所有关键区域的局部特征融合得到人脸宽光谱特征向量,具体为:
融合所有关键区域的局部特征并自动学习各个关键区域局部特征的注意权重,基于学习的注意权重将所有关键区域的局部特征融合得到人脸宽光谱特征向量,从而引导基于所述全局特征判断其所属的人的身份时,更多的关注具有更好判别特性的特征区域;
所述自动学习各个关键区域局部特征的注意权重,具体为:通过自动学习确定各个关键区域对人脸识别的重要程度,根据重要程度为各个关键区域分配注意权重,从而提高重要程度高的关键区域特征的表达,并抑制重要程度低的关键区域特征的表达。
在一个可选的示例中,所述基于所述全局特征判断其所属的人的身份,具体为:
通过一层全连接层预测所述全局特征属于每个类的概率;其中,每个类代表一个人的身份标签;所述一层全连接层的最后一层包括多个神经单元,每个神经单元用于预测一个类;
预测所述全局特征属于每个类的概率,将概率值最大的类判定为所述全局特征所属的类。
在一个可选的示例中,该方法还包括如下步骤:
采用基于Softmax激活函数的交叉熵损失函数衡量所述全连接层的预测值与实际值的差异;
Softmax激活函数表示为:
交叉熵损失函数Lc表示为:
其中:k表示人的类别数,即输出节点的个数,zi表示第i(1≤i≤k)个节点的输出值,yi′表示全局特征预测属于第i类概率所占的百分比,yi为每类的真实标签。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,具有以下有益效果:
1)本发明提出的一种基于注意力机制的红外宽光谱人脸识别方法及系统,可以解决可见光人脸识别算法面临的光照问题和易受照片欺骗等问题;也可以弥补现有光谱人脸识别方法在光谱范围的选择限于可见光光谱范围和近红外光谱范围,对应的识别准确率低,不满足要求的问题,本发明基于红外宽光谱进行人脸识别,通过采用并联局部特征提取模块,并联提取每个关键区域由粗到细的特征,并将每个关键区域由粗到细的特征拼接,得到每个关键区域的局部特征,使得每个关键区域包含人脸全面且丰富的特征,可将人脸识别的准确率提升至98.16%,具有更好的应用前景。
2)本发明提出的一种基于注意力机制的红外宽光谱人脸识别方法及系统,利用红外宽光谱挖掘人脸内部结构及其温度分布信息,从而有效的拓展传统了人脸识别的应用场景限制,对我国公共安全等领域具有重大的社会价值和效益。
附图说明
图1是本发明实施例提供的红外宽光谱人脸识别系统架构图;
图2是本发明实施例提供的同一个体的不同面部区域光谱辐射亮度对比图;
图3是本发明实施例提供的不同个体的同一面部区域光谱辐射亮度对比图;
图4是本发明实施例提供的一种具体的红外宽光谱人脸识别方法流程图;
图5是本发明实施例提供的红外宽光谱人脸识别方法对应的算法框图;
图6是本发明实施例提供的并联局部特征提取模块的流程图;
图7是现有技术中串联的局部特征的提取模块的流程图;
图8是本发明实施例提供的基于注意力机制的特征提取模块的架构图;
图9是本发明实施例提供的全局特征提取模块的架构图;
图10是本发明实施例提供的红外宽光谱人脸识别方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本发明的目的在于提供一种基于注意力机制的红外宽光谱人脸识别方法及系统,旨在解决可见光人脸识别方法仅用于白昼或者光源照射的场合,不能用于夜间没有光照的场合而且不能识别伪装的缺陷。红外宽光谱人脸识别,即通过获取人脸的红外宽光谱信息,可以得知对应人脸的标签或者名字。人体面部由肌肉、脂肪以及血管组织构成,不同人的面部组织结构、骨骼以及各项组织密度、厚度等都具有个体差异性。利用红外宽光谱可以捕获由组织、血液和结构等相关分子组成确定的独特的个人识别模式。
本发明提出利用红外宽光谱信息进行人脸识别,当人表情发生变化或者面对照片的欺骗时,红外宽光谱可以依靠其丰富的数据信息得到准确的识别率。红外宽光谱数据遍布1.3μm~14.4μm波段,利用红外宽光谱进行人脸识别,不同的人体器官如眼睛、鼻子、嘴巴,其组织结构不同,在不同波段上的吸收和发射特性也不相同。本发明提出一种基于注意力机制的红外宽光谱人脸识别方法及系统,该方法在华中科技大学张天序教授团队创建的光谱人脸数据集上的实验结果表明,人脸识别准确率可达98.16%。
图1是本发明实施例提供的红外宽光谱人脸识别系统架构图;如图1所示,包括:
红外宽光谱数据获取模块110,用于获取人脸各个关键区域的红外宽光谱数据;
其中,人脸关键区域可以包括:左眼、右眼、鼻子以及嘴巴四个区域,也可以包括更多或者更少的区域,本领域技术人员可以根据实际需要进行选择;
并联局部特征提取模块120,用于对每个关键区域的红外宽光谱数据进行并联的多种不同的二维卷积提取局部特征,所述二维卷积的维度由大到小,得到每个关键区域在多种不同卷积维度下由粗到细的多种特征,并将多种由粗到细的特征拼接得到每个关键区域的局部特征,使得所述局部特征包含全面且丰富的人脸特征;
注意力机制提取模块130,用于结合注意力机制学习各个关键区域局部特征的注意权重,并基于学习的注意权重将所有关键区域的局部特征融合得到人脸宽光谱特征向量;
全局特征提取模块140,用于基于三层全连接网络提取人脸宽光谱特征向量的全局特征,每一个全连接层中的每一个节点与上一层的所有节点均相连,用于将上一层提取的特征综合起来;
分类模块150,用于基于所述全局特征判断其所属的人的身份,以进行人脸识别。
在一个可选的示例中,所述并联局部特征提取模块120用于对每个关键区域的红外宽光谱数据进行并联的多种不同的二维卷积提取局部特征,具体为:
所述并联局部特征提取模块120设置多种二维卷积对每个关键区域的红外宽光谱数据进行并联的由粗到细的特征提取;其中,每次特征提取都是对关键区域的红外宽光谱数据进行的,不同的二维卷积对应不同的特征维度特征提取,实现对红外宽光谱数据多种特征维度的特征提取,提取得到由粗到细的特征,特征维度大对应提取的特征相对较粗,特征维度小对应提取的特征相对较细;
所述并联局部特征提取模块120将从每个关键区域提取出的由粗到细的多种特征拼接,得到每个关键区域的局部特征。
在一个可选的示例中,所述注意力机制提取模块130用于结合注意力机制学习各个关键区域局部特征的注意权重,并基于学习的注意权重将所有关键区域的局部特征融合得到人脸宽光谱特征向量,具体为:
所述注意力机制提取模块130融合所有关键区域的局部特征并自动学习各个关键区域局部特征的注意权重,基于学习的注意权重将所有关键区域的局部特征融合得到人脸宽光谱特征向量,从而引导所述分类模块更多的关注具有更好判别特性的特征区域;
所述自动学习各个关键区域局部特征的注意权重,具体为:通过自动学习确定各个关键区域对分类模块进行人脸识别的重要程度,根据重要程度为各个关键区域分配注意权重,从而提高重要程度高的关键区域特征的表达,并抑制重要程度低的关键区域特征的表达。
在一个可选的示例中,所述分类模块150通过一层全连接层预测所述全局特征属于每个类的概率;其中,每个类代表一个人的身份标签;所述分类模块的全连接层的最后一层包括多个神经单元,每个神经单元用于预测一个类;
所述分类模块150用于基于所述全局特征判断其所属的人的身份,具体为:所述分类模块预测所述全局特征属于每个类的概率,将概率值最大的类判定为所述全局特征所属的类。
训练模块160,用于采用基于Softmax激活函数的交叉熵损失函数训练所述分类模块;Softmax激活函数表示为:交叉熵损失函数Lc表示为:其中:k表示人的类别数,即输出节点的个数,zi表示第i(1≤i≤k)个节点的输出值,yi′表示全局特征预测属于第i类概率所占的百分比,yi为每类的真实标签。
图2是本发明实施例提供的同一个体的不同面部区域光谱辐射亮度对比图;如图2所示,图2中(a)是0号人不同面部区域光谱辐射亮度对比图,图2中(b)是1号人不同面部区域光谱辐射亮度对比图。可见同一个体的不同面部区域光谱辐射亮度存在差异。
图3是本发明实施例提供的不同个体的同一面部区域光谱辐射亮度对比图;不同个体的同一面部区域其辐射亮度存在明显差距,如图3所示,图3中(a)为不同个体的左眼的光谱对比图,图3中(b)为不同个体的右眼的光谱对比图,图3中(c)为不同个体的鼻子的光谱对比图,图3中(d)为不同个体的为嘴巴的光谱对比图。其中,LE表示左眼、RE表示右眼、Nose表示鼻子、Mouse表示嘴巴,序号0-4分别代表不同的个体。
图2和图3中各个图的横坐标表示波长,纵坐标表示光谱辐射亮度。
在一个具体的实施例中,本发明提供了一种基于注意力机制的红外宽光谱人脸识别方法,整体方法流程图如图4所示,包括以下步骤:
(1)利用红外非成像光谱仪构建人面部光谱数据库。
在暗室实验室环境下,利用红外非成像光谱仪对脸部左眼、右眼、鼻子以及嘴巴四个关键区域采集光谱建立对应的红外宽光谱人脸数据库,适用所测光谱范围为1.3μm~14.4μm,每个区域各采集光谱M个样本。具体的:实验数据共N类人,每类共M个样本,共计N*M个样本。按照3:2对样本划分训练集,测试集。最终训练集3/5M*N个样本,测试集2/5M*N个样本。
(2)搭建卷积神经网络,将训练集及训练标签一起输入卷积神经网络进行训练,对人脸左眼、右眼、鼻子、嘴巴四个关键区域的光谱数据分别进行由粗到细的特征提取,再将提取出的由粗到细的特征向量拼接成一个向量,该向量表示此关键部位经过局部特征提取后的特征向量,对其余三个关键部位做同等处理。融合四个关键部位的局部特征,来提高注意力机制下的识别能力,从而获得所需的卷积神经网络的训练模型。
具体的:如图5所示为本发明红外宽光谱人脸识别方法对应的算法框图,图5中左侧为面部各区域的红外宽光谱信息,图5中间为经过特征提取模块处理后的各区域的光谱特征向量,图5右侧表示对左眼、右眼、鼻子以及嘴巴四个区域的光谱特征向量的分组关注,最后基于交叉熵损失函数优化策略进行模型学习。
(2.1)卷积神经网络特征提取模块主要分为:局部特征提取模块、注意力机制提取模块、全局特征提取模块三部分。
(2.11)局部特征提取模块
红外宽光谱人脸数据库中,每类人的M个样本均包含四个关键区域的红外宽光谱特征向量(例如:1*366维),针对每个关键特征区域Sparts分别设定为:左眼SLE、右眼SRE、鼻子SN、嘴巴SM。
①并联的局部特征提取模块
本发明以下具体实施例以并联局部特征提取模块设置三种二维卷积为例进行举例说明,本领域技术人员可以理解的是,可以选择更多或更少种二维卷积对每个关键区域并行提取由粗到细的特征,本发明对具体的二维卷积个数不做限定。
本发明采用并联的局部特征提取模块,是将四个关键区域的红外宽光谱特征向量输入三种二维卷积对关键区域的特征向量进行并联的由粗到细的特征提取,提取出该关键区域的三种维度的特征,包含的信息量全面且丰富。
局部特征的提取模块的流程如图6所示,卷积核大小均为1,且步长同时为1,通过限定二维卷积的输出数据通道数设置三种二维卷积对关键区域的特征向量进行由粗到细的特征提取,然后再将三种维度的特征,作为关键区域的局部特征,使得最终提取的每个关键区域的局部特征包含的信息全面且丰富。
对每一个关键区域进行并联的由粗到细的特征提取,由此获得某个关键区域由粗到细的三种特征向量,分别为特征向量Sparts_1(1*a维),Sparts_2(1*b维),Sparts_3(1*c维),此时a≠b≠c。将提取出的由粗到细的特征向量Sparts_1、Sparts_2、Sparts_3拼接成Sparts_New(1*(a+b+c)维),此时的Sparts_New为某个关键区域的局部特征,通过该模块可提取出每个关键部位的局部特征:左眼SLE_New、右眼SRE_New、鼻子SN_New、嘴巴SM_New。其中,此处,a可设为200,b可设为100,c可设为66。本领域技术人员可以根据实际需要设置具体参数,以可以实现对每个关键区域进行并联的由粗到细的特征提取为准。
为了进一步说明局部特征提取模块的优越性,设置如下对比方案②和③:
②常规串联局部特征提取模块
常规串联局部特征提取模块,是将四个关键区域的红外宽光谱特征向量输入三层串联的卷积层,将特征逐层提取,该方案相较于方案①,最终仅得到了三层卷积提取后的一种特征,作为关键区域的局部特征,获得局部特征的信息量、信息维度远小于方案①。
串联的局部特征的提取模块的流程如图7所示,对关键区域的特征向量进行串联的三层卷积特征提取,每层设置二维卷积、卷积核大小均为1,且步长同时为1。
对每一个关键区域进行串联的三层卷积特征提取,由此获得某个关键区域由粗到细的三种特征向量,分别为特征向量Sparts_1(1*a维),Sparts_2(1*b维),Sparts_New(1*c维),此时a≠b≠c。此时的Sparts_New为某个关键区域的局部特征,通过该模块可提取出每个关键部位的局部特征。其中,此处,a可设为200,b可设为100,c可设为66。
Sparts_New分别对应四个关键区域经过串联三层卷积输出的特征向量:左眼SLE_New、右眼SRE_New、鼻子SN_New、嘴巴SM_New,传递给下一部分,进行基于注意力机制的特征提取,自动学习各个关键区域特征向量的注意权重,引导分类模型更多的关注具有更好判别特性的特征区域。
③舍弃局部特征提取模块
舍弃局部特征提取模块,该方案相较于方案①②,未经过卷积层的特征提取,未将有用信息突出表现,而是将四个关键区域的红外宽光谱特征向量直接全盘输入注意力机制模块,最不可取,此处仅作对比实验。
舍弃局部特征提取,直接将左眼SLE、右眼SRE、鼻子SN、嘴巴SM转换为左眼SLE_New、右眼SRE_New、鼻子SN_New、嘴巴SM_New,传递给下一部分,进行基于注意力机制的特征提取,自动学习各个关键区域特征向量的注意权重,引导分类模型更多的关注具有更好判别特性的特征区域。
(2.12)基于注意力机制的特征提取模块
通过局部特征的提取,获得了每个关键区域的新特征向量左眼SLE_New、右眼SRE_New、鼻子SN_New、嘴巴SM_New,可更好的表示人脸的光谱信息特征。对于获得的每个区域的光谱特征向量,用基于注意力机制的策略,深化特征提取,有效增强了人脸红外宽光谱信息的特征提取能力。
利用基于注意力机制的特征组注意模块融合左眼SLE_New、右眼SRE_New、鼻子SN_New、嘴巴SM_New关键区域红外宽光谱特征并自动学习各个关键区域特征向量的注意权重,四个关键区域融合后的红外宽光谱特征维度为1*(4*(a+b+c)),从而引导分类模型更多的关注具有更好判别特性的特征区域。
基于注意力机制的红外宽光谱特征提取模块具体实现如图8所示。其包含了光谱嵌入计算、双向GRU编码器层以及光谱注意层,最终输出光谱特征向量。其中GRU(GatedRecurrent Unit)编码器是一种基于双向门控循环单元,双向GRU编码器结构使得数据可以从正反2个方向同时输入。
对于面部各个部位的光谱曲线的分段表达和特征变换,其可变换为一维嵌入[e1,...,en],且其光谱嵌入向量ei的长度为l。
光谱曲线以双向GRU编码器建模表达光谱谱段之间的相关性,对于光谱曲线的一维嵌入[e1,...,en],由双向GRU编码器可得其序列输出信息。双向GRU编码器包含前向GRU序列和后向GRU序列其中,前向序列按照e1到en顺序编码ei,后向序列由en到e1顺序进行编码。
本发明方法的光谱波段的注意模式为通过查询向量筛选出光谱波段中重要的光谱嵌入特征,并对序列信息注意加权以获得整个光谱特征向量,如下:
ui=tanh(Whi+b)
式中,通过单层MLP获得hi的隐藏表示ui;并引入查询向量uquery来查询序列中的重要信息谱段;然后,进行uquery对齐,计算序列中每个ui与uquery的相似性,并利用Softmax函数,计算归一化的权重系数αi;最后,利用归一化权重αi,可以计算得到四个区域的光谱特征向量。
(2.13)全局特征提取模块
对经过注意力模块提取出的面部特征送入三层的全连接网络提取全局特征。全连接网络中,对n-1层和n层而言,n-1层的任意一个节点,都和第n层所有节点有连接。
全局特征提取模块如图9所示,为三层的全连接网络,初始输入设置节点数为4*(a+b+c),输出由N个节点,一共需要N*4*(a+b+c)个权值参数和N个偏置参数。
全连接层的每一个节点都与上一层的所有节点相连,用来把上述提取到的特征综合起来,提取全局特征。
(2.2)损失函数
网络的损失函数为交叉熵损失函数,衡量网络的预测值与实际值的差异,实现多分类的目的。
分类层用N个神经单元预测N类。针对不同人的身份标签分类。本文在特征向量后面增加一层全连接层作为分类模块,以用于得到每个类的预测概率。采用基于Softmax激活函数的交叉熵损失函数训练分类器,Softmax激活函数表示为:
交叉熵损失函数:
其中:k表示人的类别数,即输出节点的个数,zi表示第i(1≤i≤k)个节点的输出得分,yi′表示全局特征预测属于第i类概率所占的百分比,yi为真实标签。
通过交叉熵损失函数判定实际的输出与期望的输出的接近程度。在设定的训练次数Epoch迭代过程中,交叉熵损失函数作为一个评判标准,经过一次次的迭代模型达到不断提高分类识别准确率的目的。
(2.3)评价指标
本发明采用分类领域最常用的准确率评估各个模型的识别精度,准确率公式定义为:
式中:TP为识别正确样本的数量;total为总样本数,Acc为准确率。
将步骤(1)中的数据输送到上述网络中获取所需的卷积神经网络的训练模型。
(3)输入测试集中的红外宽光谱数据,通过卷积神经网络获得红外宽光谱信息的所属人信息。
在一个更具体的实施例中,本发明提供了一种基于注意力机制的红外宽光谱人脸识别方法,包括以下步骤:
(1)利用红外非成像光谱仪组建人面部红外宽光谱数据库。
在暗室实验室环境下,利用红外非成像光谱仪对脸部左眼、右眼、鼻子以及嘴巴四个关键区域分别采集光谱建立对应的红外宽光谱人脸数据库,适用所测光谱范围为1.3μm~14.4μm,设置设备参数每秒扫描10次,扫描时间50s,因此每个区域各采集光谱M个样本。这里设定同一个人的四个关键区域合为一组样本。
实验数据共N类人,每类共M个样本,共计N*M个样本。N类人按照0~N-1进行编号,对样本按照3:2划分训练集,测试集。最终训练集2/3M*N个样本,测试集1/3M*N个样本。
具体地,设M为500,N为40,因此每个区域各采集光谱500个样本。这里设定同一个人的四个关键区域合为一组样本。
实验数据共40类人,每类共500个样本,共计20000个样本。40类人按照0~39进行编号,对样本按照3:2划分训练集,测试集。最终训练集12000个样本,测试集8000个样本。
(2)搭建卷积神经网络,将训练集及训练标签一起输入卷积神经网络进行训练,对人脸左眼、右眼、鼻子、嘴巴四个关键区域的光谱数据进行三层卷积提取特征,将不同卷积核下提取的特征进行拼接,再融合其余关键部位的特征,来提高注意力机制下的识别能力,从而获得所需的卷积神经网络的训练模型。
(2.1)红外宽光谱人脸数据库中,每位志愿者的500个样本均包含四个关键区域的光谱特征向量(1*366维),针对每个关键特征区域Sparts分别设定为:左眼SLE、右眼SRE、鼻子SN、嘴巴SM。
局部特征的提取算法设置卷积核大小均为1,且步长同时为1,对每一个关键区域进行二维卷积局部特征的提取。获得特征向量Sparts_1(1*200维),Sparts_2(1*100维),Sparts_3(1*66维),再将三者拼合成SNewparts一个向量(1*366维),通过该模块可提取出每个关键部位的局部特征。
(2.2)注意力机制的特征提取模块
通过局部特征的提取,获得了每个关键区域的新特征向量SNewparts,可更好的表示人脸的红外宽光谱信息特征。对于获得的每个区域的SNewparts,用基于注意力机制的策略,深化特征提取,有效增强了人脸红外宽光谱信息的特征提取能力。
利用基于注意力机制的特征组注意模块融合各个关键区域红外宽光谱特征并自动学习各个特征组的注意权重,从而引导分类模型更多的关注具有更好判别特性的特征区域。
(2.3)全局特征提取模块
对经过注意力模块提取出的各区域特征送入三层的全连接网络提取全局特征。
全连接层的每一个节点都与上一层的所有节点相连,用来把上述提取到的特征综合起来,提取全局特征。
(2.4)损失函数的选定
网络的损失函数为交叉熵损失函数,衡量网络的预测值与实际值的差异,实现多分类的目的。
分类层40个神经单元预测40类。针对不同人的身份标签分类。本发明在特征向量后面增加一层全连接层用于得到每个类的预测概率。采用基于Softmax激活函数的交叉熵损失函数训练分类器,Softmax激活函数表示为:
交叉熵损失函数:
其中:k表示人的类别数,即输出节点的个数,zi表示第i(1≤i≤k)个节点的输出值,yi′表示全局特征预测属于第i类概率所占的百分比,yi为每类的真实标签。
(2.5)评价指标的选定
本发明采用分类领域最常用的准确率评估各个模型的识别精度,准确率公式定义为:
式中:TP为识别正确样本的数量;total为总样本数,Acc为准确率。
网络的训练时设定训练次数epoch=100,将步骤(1)中的数据输送到上述网络中获取所需的卷积神经网络的训练模型,以应用于后续的测试。
(3)输入测试集中的人脸的红外宽光谱数据,通过卷积神经网络获得光谱信息的所属人信息。
针对于测试集中的40类人,每类人200个样本,一共有8000个样本,将此8000个样本的红外宽光谱数据输送到前述方案①、②和③三组训练好网络中,实验结果如下表1所示。
表1本发明采用并联局部特征提取模块与其他两个方案的准确率对比表
实验方案 | TP(识别正确样本数) | Acc(识别准确率) |
①本发明并联局部特征提取模块 | 7853 | 98.16% |
②常规串联局部特征提取模块 | 7384 | 92.3% |
③舍弃局部特征提取模块 | 7271 | 90.89% |
由表1结果显示,采用本发明提供的方案①并联局部特征提取模块相较于方案②采用常规串联局部特征提取模块,在自建红外宽光谱人脸数据集上,本发明获得更高的人脸识别准确率为98.16%,相比方案②对人脸识别的准确率提升了5.86%。而方案③未采用本发明提供的并联局部特征提取模块进行人脸识别,其识别准确率仅为90.89%,远远不符合实验要求。
由上分析以及结果可知,本发明由于采用了并联的局部特征提取模块,提取人脸各个关键区域的红外宽光谱由粗到细三种维度的特征,包含的特征信息全面且丰富,相比采用串联局部特征提取模块和不对局部特征进行提取的方案,对人脸进行识别的准确率得到了更好的提升,使得人脸识别准确率达到98.16%,可以满足更精准识别率的应用场景要求。
图10为本发明实施例提供的红外宽光谱人脸识别方法的流程图,如图10所示,该方法包括如下步骤:
S101,获取人脸各个关键区域的红外宽光谱数据;
S102,对每个关键区域的红外宽光谱数据进行并联的多种不同的二维卷积提取局部特征,所述二维卷积的维度由大到小,得到每个关键区域在多种不同卷积维度下由粗到细的多种特征,并将多种由粗到细的特征拼接得到每个关键区域的局部特征,使得所述局部特征包含全面且丰富的人脸特征;
S103,结合注意力机制学习各个关键区域局部特征的注意权重,并基于学习的注意权重将所有关键区域的局部特征融合得到人脸宽光谱特征向量;
S104,基于三层全连接网络提取人脸宽光谱特征向量的全局特征,每一个全连接层中的每一个节点与上一层的所有节点均相连,用于将上一层提取的特征综合起来;
S105,基于所述全局特征判断其所属的人的身份,以进行人脸识别。
具体地,图10中各个步骤的详细实现方式可参见前述系统实施例中的介绍,在此不做赘述。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于注意力机制的红外宽光谱人脸识别系统,其特征在于,包括:
红外宽光谱数据获取模块,用于获取人脸各个关键区域的红外宽光谱数据;
并联局部特征提取模块,用于对每个关键区域的红外宽光谱数据进行并联的多种不同的二维卷积提取局部特征,所述二维卷积的维度由大到小,得到每个关键区域在多种不同卷积维度下由粗到细的多种特征,并将多种由粗到细的特征拼接得到每个关键区域的局部特征,使得所述局部特征包含全面且丰富的人脸特征;
注意力机制提取模块,用于结合注意力机制学习各个关键区域局部特征的注意权重,并基于学习的注意权重将所有关键区域的局部特征融合得到人脸宽光谱特征向量;
全局特征提取模块,用三层全连接网络提取人脸宽光谱特征向量的全局特征,每一个全连接层中的每一个节点与上一层的所有节点均相连,用于将上一层提取的特征综合起来;
分类模块,用于基于所述全局特征判断其所属的人的身份,以进行人脸识别。
2.根据权利要求1所述的红外宽光谱人脸识别系统,其特征在于,所述并联局部特征提取模块用于对每个关键区域的红外宽光谱数据进行并联的多种不同的二维卷积提取局部特征,具体为:
所述并联局部特征提取模块设置多种二维卷积对每个关键区域的红外宽光谱数据进行并联的由粗到细的特征提取;其中,每次特征提取都是对关键区域的红外宽光谱数据进行的,不同的二维卷积对应不同的特征维度特征提取,实现对红外宽光谱数据多种特征维度的特征提取,提取得到由粗到细的特征,特征维度大对应提取的特征相对较粗,特征维度小对应提取的特征相对较细;
所述并联局部特征提取模块将从每个关键区域提取出的由粗到细的多种特征拼接,得到每个关键区域的局部特征。
3.根据权利要求1所述的红外宽光谱人脸识别系统,其特征在于,所述注意力机制提取模块用于结合注意力机制学习各个关键区域局部特征的注意权重,并基于学习的注意权重将所有关键区域的局部特征融合得到人脸宽光谱特征向量,具体为:
所述注意力机制提取模块融合所有关键区域的局部特征并自动学习各个关键区域局部特征的注意权重,基于学习的注意权重将所有关键区域的局部特征融合得到人脸宽光谱特征向量,从而引导所述分类模块更多的关注具有更好判别特性的特征区域;
所述自动学习各个关键区域局部特征的注意权重,具体为:通过自动学习确定各个关键区域对分类模块进行人脸识别的重要程度,根据重要程度为各个关键区域分配注意权重,从而提高重要程度高的关键区域特征的表达,并抑制重要程度低的关键区域特征的表达。
4.根据权利要求1所述的红外宽光谱人脸识别系统,其特征在于,所述分类模块通过一层全连接层预测所述全局特征属于每个类的概率;其中,每个类代表一个人的身份标签;所述分类模块的全连接层的最后一层包括多个神经单元,每个神经单元用于预测一个类;
所述分类模块用于基于所述全局特征判断其所属的人的身份,具体为:所述分类模块预测所述全局特征属于每个类的概率,将概率值最大的类判定为所述全局特征所属的类。
6.一种基于注意力机制的红外宽光谱人脸识别方法,其特征在于,包括如下步骤:
获取人脸各个关键区域的红外宽光谱数据;
对每个关键区域的红外宽光谱数据进行并联的多种不同的二维卷积提取局部特征,所述二维卷积的维度由大到小,得到每个关键区域在多种不同卷积维度下由粗到细的多种特征,并将多种由粗到细的特征拼接得到每个关键区域的局部特征,使得所述局部特征包含全面且丰富的人脸特征;
结合注意力机制学习各个关键区域局部特征的注意权重,并基于学习的注意权重将所有关键区域的局部特征融合得到人脸宽光谱特征向量;
基于三层全连接网络提取人脸宽光谱特征向量的全局特征,每一个全连接层中的每一个节点与上一层的所有节点均相连,用于将上一层提取的特征综合起来;
基于所述全局特征判断其所属的人的身份,以进行人脸识别。
7.根据权利要求6所述的红外宽光谱人脸识别方法,其特征在于,所述对每个关键区域的红外宽光谱数据进行并联的多种不同的二维卷积提取局部特征,具体为:
设置多种二维卷积对每个关键区域的红外宽光谱数据进行并联的由粗到细的特征提取,其中,每次特征提取都是对关键区域的红外宽光谱数据进行的,不同的二维卷积对应不同的特征提取维度,实现对红外宽光谱数据多种特征维度的提取,特征维度大对应提取的特征相对较粗,特征维度小对应提取的特征相对较细,提取得到由粗到细的特征,以使得拼接后的局部特征包含红外宽光谱数据由粗到细的特征。
8.根据权利要求6所述的红外宽光谱人脸识别方法,其特征在于,所述结合注意力机制学习各个关键区域局部特征的注意权重,并基于学习的注意权重将所有关键区域的局部特征融合得到人脸宽光谱特征向量,具体为:
融合所有关键区域的局部特征并自动学习各个关键区域局部特征的注意权重,基于学习的注意权重将所有关键区域的局部特征融合得到人脸宽光谱特征向量,从而引导基于所述全局特征判断其所属的人的身份时,更多的关注具有更好判别特性的特征区域;
所述自动学习各个关键区域局部特征的注意权重,具体为:通过自动学习确定各个关键区域对人脸识别的重要程度,根据重要程度为各个关键区域分配注意权重,从而提高重要程度高的关键区域特征的表达,并抑制重要程度低的关键区域特征的表达。
9.根据权利要求6所述的红外宽光谱人脸识别方法,其特征在于,所述基于所述全局特征判断其所属的人的身份,具体为:
通过一层全连接层预测所述全局特征属于每个类的概率;其中,每个类代表一个人的身份标签;所述一层全连接层的最后一层包括多个神经单元,每个神经单元用于预测一个类;
预测所述全局特征属于每个类的概率,将概率值最大的类判定为所述全局特征所属的类。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110962848.2A CN113723246B (zh) | 2021-08-20 | 2021-08-20 | 一种基于注意力机制的红外宽光谱人脸识别方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110962848.2A CN113723246B (zh) | 2021-08-20 | 2021-08-20 | 一种基于注意力机制的红外宽光谱人脸识别方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113723246A true CN113723246A (zh) | 2021-11-30 |
CN113723246B CN113723246B (zh) | 2022-09-02 |
Family
ID=78677346
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110962848.2A Active CN113723246B (zh) | 2021-08-20 | 2021-08-20 | 一种基于注意力机制的红外宽光谱人脸识别方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113723246B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106599797A (zh) * | 2016-11-24 | 2017-04-26 | 北京航空航天大学 | 一种基于局部并行神经网络的红外人脸识别方法 |
EP3428843A1 (en) * | 2017-07-14 | 2019-01-16 | GB Group plc | Improvements relating to face recognition |
CN111539247A (zh) * | 2020-03-10 | 2020-08-14 | 西安电子科技大学 | 一种超光谱人脸识别方法、装置、电子设备及其存储介质 |
CN112115838A (zh) * | 2020-09-11 | 2020-12-22 | 南京华图信息技术有限公司 | 一种热红外图像光谱融合的人脸分类方法 |
CN113221639A (zh) * | 2021-04-01 | 2021-08-06 | 山东大学 | 一种基于多任务学习的代表性au区域提取的微表情识别方法 |
-
2021
- 2021-08-20 CN CN202110962848.2A patent/CN113723246B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106599797A (zh) * | 2016-11-24 | 2017-04-26 | 北京航空航天大学 | 一种基于局部并行神经网络的红外人脸识别方法 |
EP3428843A1 (en) * | 2017-07-14 | 2019-01-16 | GB Group plc | Improvements relating to face recognition |
CN111539247A (zh) * | 2020-03-10 | 2020-08-14 | 西安电子科技大学 | 一种超光谱人脸识别方法、装置、电子设备及其存储介质 |
CN112115838A (zh) * | 2020-09-11 | 2020-12-22 | 南京华图信息技术有限公司 | 一种热红外图像光谱融合的人脸分类方法 |
CN113221639A (zh) * | 2021-04-01 | 2021-08-06 | 山东大学 | 一种基于多任务学习的代表性au区域提取的微表情识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113723246B (zh) | 2022-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | Person search with natural language description | |
CN106599797B (zh) | 一种基于局部并行神经网络的红外人脸识别方法 | |
CN111639544B (zh) | 基于多分支跨连接卷积神经网络的表情识别方法 | |
CN111523462B (zh) | 基于自注意增强cnn的视频序列表情识别系统及方法 | |
CN108520216A (zh) | 一种基于步态图像的身份识别方法 | |
CN109255289B (zh) | 一种基于统一式生成模型的跨衰老人脸识别方法 | |
CN109346159A (zh) | 病例图像分类方法、装置、计算机设备及存储介质 | |
CN112115838B (zh) | 一种热红外图像光谱融合的人脸分类方法 | |
CN109492528A (zh) | 一种基于高斯和深度特征的行人再识别方法 | |
CN112347908B (zh) | 一种基于空间分组注意力模型的外科手术器械图像识别方法 | |
CN113723238B (zh) | 一种人脸轻量网络模型构建方法和人脸识别方法 | |
CN113221655B (zh) | 基于特征空间约束的人脸欺骗检测方法 | |
CN115100709B (zh) | 一种特征分离的图像人脸识别与年龄估计方法 | |
CN112541421A (zh) | 一种开放空间的行人换装重识别方法 | |
CN115731579A (zh) | 基于交叉注意力Transformer网络的陆生动物个体识别方法 | |
CN113723246B (zh) | 一种基于注意力机制的红外宽光谱人脸识别方法及系统 | |
Li et al. | High-Order Correlation-Guided Slide-Level Histology Retrieval With Self-Supervised Hashing | |
CN113343770B (zh) | 一种基于特征筛选的人脸防伪方法 | |
CN114429646A (zh) | 基于深度自注意力变换网络的步态识别方法 | |
CN115439884A (zh) | 一种基于双分支自注意力网络的行人属性识别方法 | |
CN114677755A (zh) | 一种基于分层及分块特征融合的跨视角步态识别方法 | |
CN114627493A (zh) | 一种基于步态特征的身份识别方法及系统 | |
CN113505692A (zh) | 基于受试者工作特征曲线下部分面积优化的人脸识别方法 | |
Li et al. | Recognition algorithm of athletes' partially occluded face based on a deep learning algorithm | |
Ibrahem et al. | Age Invariant Face Recognition Model Based on Convolution Neural Network (CNN) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |