CN112836605A - 一种基于模态增广的近红外与可见光跨模态人脸识别方法 - Google Patents
一种基于模态增广的近红外与可见光跨模态人脸识别方法 Download PDFInfo
- Publication number
- CN112836605A CN112836605A CN202110095445.2A CN202110095445A CN112836605A CN 112836605 A CN112836605 A CN 112836605A CN 202110095445 A CN202110095445 A CN 202110095445A CN 112836605 A CN112836605 A CN 112836605A
- Authority
- CN
- China
- Prior art keywords
- visible light
- infrared
- face image
- face
- auxiliary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明公开一种基于模态增广的近红外与可见光跨模态人脸识别方法,包括:采集近红外人脸图像集和可见光人脸图像集;构建用于近红外人脸到辅助可见光人脸转换的生成对抗网络并训练,将近红外人脸图像集转换成辅助可见光人脸图像;将辅助可见光人脸图像作为辅助模态,与近红外人脸图像集和可见光人脸图像集共同组成三模态图像组;构建卷积神经网络,利用所述三模态图像组训练得到跨模态人脸识别器;将待识别数据输入到所述识别器中进行跨模态人脸识别,输出识别结果。本发明能增加辅助模态以弥补模态之间的差异,充分提取近红外和可见光的跨模态不变人脸特征信息,从而提高近红外与可见光跨模态人脸识别准确度。
Description
技术领域
本发明属于计算机视觉技术领域,具体涉及一种基于模态增广的近红外与可见光跨模态人脸识别方法。
背景技术
人脸识别是计算机视觉领域中研究最为活跃的生物特征识别技术之一。通过开发深卷积神经网络(CNN)模型,可见光下人脸识别的性能达到了99%以上。然而,可见光下人脸图像有一个缺点,即图像的脸部部分的强度很大程度上依赖于光照环境,例如在黑暗的街道或室内,可见光下人脸图像的强度会发生显著变化。
近红外成像已被证明对可见光照明变化不太敏感,所以近红外成像技术为提高极端照明条件下的人脸识别性能提供了一种有效和直接的解决方案。该方法适用于远程甚至夜间的人脸识别,已广泛应用于人脸识别和授权应用,如安全监视和电子护照。然而,由于可见光摄像头的大规模部署,大多数人脸库只包含可见光图像。因此,近红外和可见光人脸图像之间的匹配需求已经急剧增加,并引起了相当大的关注。
不同模态人脸图像成像原理的不同导致了即使是同一个人的近红外模态和可见光模态的人脸图像,但是它们之间仍然存在巨大的视觉差异,这是单通道图像与多通道图像的图像信息严重不对等造成的。而巨大的视觉差异就使得传统的人脸识别算法在跨模态人脸数据集上的识别精度大大降低。
发明内容
本发明为了克服近红外模态与可见光模态的巨大差异,提出一种基于模态增广的近红外与可见光跨模态人脸识别方法,以期能增加辅助模态以弥补模态之间的差异,充分提取近红外与可见光的跨模态人脸不变特征信息,从而提高近红外与可见光跨模态人脸识别准确度和识别效果。
本发明为解决技术问题采用如下技术方案:
本发明一种基于模态增广的近红外与可见光跨模态人脸识别方法的特点在于,包括以下步骤:
步骤1、用近红外相机和光学相机分别采集若干人的近红外人脸图像与可见光人脸图像,并进行人脸检测和尺寸归一化预处理,得到近红外人脸图像集DT1和可见光人脸图像集DT2;
步骤2、将近红外人脸图像集DT1和可见光人脸图像集DT2中属于同一个人的若干张近红外人脸图像和可见光照人脸图像进行对比,将最相似的一对红外人脸图像与可见光人脸图像提取出来构成双模态人脸图像对,进而由若干组双模态人脸图像对构成人脸生成训练数据集DT3;
步骤3、构建生成对抗网络,并将训练数据集DT3输入到生成对抗网络中进行训练,得到用于近红外模态到可见光模态之间人脸转换的生成对抗网络模型,并利用所述网络模型将近红外人脸图像集DT1中所有的近红外人脸图像转换成辅助可见光人脸图像,由所述辅助可见光人脸图像组成可见光人脸图像集DT4;
步骤4、构建卷积神经网络,将可见光人脸图像集DT4作为辅助模态,步骤1中的近红外人脸图像集DT1作为近红外模态,可见光人脸图像集DT2作为可见光模态,共同组成三模态图像组,并一起输入到卷积神经网络中进行训练,得到跨模态人脸识别器;
步骤5、将待识别的近红外人脸图像集输入到所述跨模态人脸识别器中进行跨模态人脸的识别,并输出识别结果。
本发明所述一种基于模态增广的近红外与可见光跨模态人脸识别方法的特点也在于,所述步骤3是按如下过程进行:
步骤3.1、构建由生成器G和鉴别器D组成的生成对抗网络;
所述生成器G包括:包含m1个卷积层的编码模块、包含m2个残差块的转换模块以及包含m3个反卷积层和m4个卷积层的解码模块;
所述鉴别器D包含m5个卷积层;
步骤3.2、将训练数据集DT3中双模态人脸图像对的近红外人脸图像依次输入到所述生成器G中并经过编码、转换和解码后生成辅助可见光人脸图像;
步骤3.3、将训练数据集DT3中对应的双模态人脸图像对的可见光人脸图像和所述辅助可见光人脸图像输入到鉴别器D中并输出鉴别结果;
步骤3.4、设置迭代次数为items_num1,初始学习率设置为lr1;采用Adam优化方法对生成对抗网络中的各个参数进行优化,并在迭代至一半后对学习率lr1进行线性减小,使得第items_num1次迭代时的学习率降为0,直至鉴别器D输出的鉴别结果趋近于0.5,从而得到生成对抗网络模型。
所述步骤4是按如下过程进行:
步骤4.1、构建深度卷积神经网络;
步骤4.1.1、选用ResNet-50卷积神经网络作为基础网络;
步骤4.1.2、采用基础网络最后的池化层输出作为特征表示,并在基础网络的分类层之前添加一个批量规范化层;
步骤4.1.3、设计loss函数,在基础网络最后的池化层后添加多模态身份判别损失函数Lmmi,在批量规范化层后添加交叉模态三元组损失函数Ltrir,则总的损失函数为Ltotal=Lmmi+Ltrir;
步骤4.1.3.1、假设每个训练批次包含s个可见光人脸图像、s个近红外人脸图像和s个生成的可见光人脸图像,利用式(1)构建多模态身份判别损失函数Lmmi:
式(1)中,θ表示在训练中当前的网络模型,n,v,g分别代表近红外模态、可见光模态和辅助模态,i表示图像索引,表示第i幅近红外人脸图像,表示第i幅辅助可见光人脸图像,表示第i幅可见光人脸图像,yi表示第i幅人脸图像的id标签,s表示每个训练批次所包含的图像数量;表示使用当前网络模型θ将第i幅近红外人脸图像识别为标签yi的概率,表示网络模型θ将第i幅辅助可见光人脸图像识别为标签yi的概率,表示网络模型θ将第i幅可见光人脸图像识别为标签yi的概率;
假设第i幅近红外人脸图像是一个锚定的近红外样本,选择欧氏距离最远的近红外与可见光正对和欧氏距离最近的近红外与辅助可见光负对,来构建三元组其中i,j,k分别表示不同的图像索引,表示与锚定近红外样本欧氏距离最远的可见光样本,表示与锚定近红外样本欧氏距离最远的辅助可见光样本;则按照“近红外—可见光—辅助可见光”的模态顺序建立如式(2)所示的三元组损失函数Ln,v,g:
式(2)中,ρ是边缘参数;
步骤4.1.3.3、将可见光模态作为锚定模态,辅助模态作为正模态,近红外模态作为负模态;
假设第i幅可见光人脸图像是一个锚定的可见光样本,选择欧氏距离最远的可见光与辅助可见光正对和欧氏距离最近的可见光与近红外负对,来构建三元组 表示与锚定可见光样本欧氏距离最远的辅助可见光样本,表示与锚定可见光样本欧氏距离最远的近红外样本;则按照“可见光—辅助可见光—近红外”的模态顺序构建如式(3)所示的三元组损失函数Lv,g,n:
步骤4.1.3.4、将可见光模态作为锚定模态,辅助模态作为正模态,近红外模态作为负模态;
假设第i幅辅助可见光人脸图像是一个锚定的辅助可见光样本,选择欧氏距离最远的辅助可见光与近红外正对和欧氏距离最近的辅助可见光与可见光负对,来构建三元组 表示与锚定辅助可见光样本欧氏距离最远的近红外样本,表示与锚定辅助可见光样本欧氏距离最远的可见光样本;则按照“辅助可见光—近红外—可见光”的模态顺序构建如式(4)所示的三元组损失函数Lg,n,v:
步骤4.1.3.5、利用式(5)构建交叉模态三元组损失函数Ltrir:
Ltrir=Ln,v,g+Lv,g,n+Lg,n,v (5)
步骤4.2、设置模型的基础学习率为lr2,总迭代次数为items_num2,每迭代λ次学习率减半,将三模态图像组输入到深度卷积神经网络中,并采用随机梯度下降SGD优化算法对深度卷积神经网络中的各个参数进行迭代优化,直至总损失函数Ltotal不再下降为止,从而得到跨模态人脸识别器。
与已有技术相比,本发明有益效果体现在:
1.本发明将生成对抗网络生成的辅助可见光人脸图像作为辅助模态,与原有的近红外和可见光模态组合设计成三模态跨模态人脸识别解决方案,更充分提取近红外和可见光的跨模态人脸不变特征,从而提高了近红外与可见光跨模态人脸识别准确度。
2.本发明将三种模态的数据共享一个卷积网络的权重以学习三种模态的不变特征,减少了网络参数,提升了跨模态人脸识别的速度。
3.本发明设计了交叉模态三元组损失,并且引入多模态身份判别损失,2个损失函数联合优化跨模态人脸识别模型的学习,更充分提取了近红外和可见光的跨模态人脸不变特征。
附图说明
图1为本发明近红外与可见光跨模态人脸识别方法流程图;
图2为本发明在实际应用中的跨模态人脸识别系统流程图。
具体实施方式
本实施例中,一种基于模态增广的近红外与可见光跨模态人脸识别方法的流程参照图1,具体的说,是按如下步骤进行:
步骤1、用近红外相机和光学相机分别采集若干人的近红外人脸图像与可见光人脸图像,并进行人脸检测和尺寸归一化预处理,得到近红外人脸图像集DT1和可见光人脸图像集DT2;
步骤1.1、分别用近红外相机和普通光学相机采集1000个人的近红外与可见光跨模态人脸图像,近红外和可见光各5张;
步骤1.2、利用MTCNN人脸检测方法,检测图像中的人脸位置并定位68个人脸关键点,再对图像进行裁剪,得到像素值为256×256固定大小的人脸图像,减少照片包含的背景,尽可能保留人脸区域;
步骤1.3、将裁剪后的所有图像划分为训练集、测试集和验证集,其中训练集包含600个人的跨模态人脸图像,训练集中的近红外人脸图像集为DT1,训练集中的可见光人脸图像集为DT2,而验证集和测试集分别包含200个人的跨模态人脸图像;
本实施例中,将采集到的跨模态训练集表示为T={Tn,Tv}。其中表示有Nn个近红外人脸训练图像的近红外人脸训练集,i是图像索引,每个元素都是一个近红外人脸图像;表示有Nv个可见光人脸图像的可见光人脸训练集,其中每个近红外与可见光图像和都与身份标签yi相关联。由于不同相机的光谱不同,近红外图像有单一的过饱和灰度通道,而通常有R、G、B三种不同的颜色通道。
步骤2、将近红外人脸图像集DT1和可见光人脸图像集DT2中属于同一个人的若干张近红外人脸图像和可见光照人脸图像进行对比,将最相似的一对红外人脸图像与可见光人脸图像提取出来构成双模态人脸图像对,例如将人脸大小、表情和拍摄角度最相似的一对红外人脸图像与可见光人脸图像提取出来构成双模态人脸图像对,共筛选出423对跨模态人脸对,进行左右翻转数据增强后共计846组数据,进而由这846组双模态人脸图像对构成人脸生成训练数据集DT3;
步骤3、构建生成对抗网络,并将训练数据集DT3输入到生成对抗网络中进行训练,得到用于近红外模态到可见光模态之间人脸转换的生成对抗网络模型,并利用所述网络模型将DT1中所有的近红外人脸图像转换成辅助可见光人脸图像,由这些辅助可见光人脸图像组成可见光人脸图像集DT4,它保留了近红外图像的结构信息,近似于可见光模态的图像风格。
步骤3.1、构建由生成器G和鉴别器D组成的生成对抗网络;
所述生成器G由以下部分组成:
(1)编码模块:包含3个卷积层,其中输入通道为1;第1个卷积层有13个卷积核大小为7*7的滤波器,步长设为1,0填充;第2个卷积层有26个滤波器,步长设为2,1填充;第3个卷积层有52个滤波器,步长设为1,1填充;激活函数都是PReLu函数;
(2)转换模块:包含9个残差块,其中输入通道数和输出通道数都是52,激活函数设为PReLu;
(3)解码模块:包含2个反卷积层和1个卷积层,其中输入通道数为52;第1个反卷积层有26个滤波器,步长设为2,1填充;第2个反卷积层有13个滤波器,步长设为2,1填充;卷积层有1个滤波器,0填充,反卷积核为7*7;2个反卷积层的激活函数是PReLu,卷积层的激活函数是Tanh;
鉴别器D包含5个卷积层,其中输入通道数为1;第1个卷积层有13个滤波器,步长设置为2,1填充;第2个卷积层有26个滤波器,步长设为2,1填充;第3个卷积层有52个滤波器,步长设为2,1填充;第4个卷积层有104个滤波器,步长设为1,1填充;第5个卷积层有1个滤波器,步长设为1,1填充;激活函数都是PReLu;
步骤3.2、将训练数据集DT3中双模态人脸图像对的近红外人脸图像依次输入到所述生成器G中并经过编码、转换和解码后生成辅助可见光人脸图像;
步骤3.3、将训练数据集DT3中对应的双模态人脸图像对的可见光人脸图像和所述辅助可见光人脸图像输入到鉴别器D中并输出鉴别结果,鉴别结果为0~1之间的数字;
步骤3.4、设置迭代次数为items_num1,初始学习率设置为lr1,并在迭代至一半后对学习率lr1进行线性减小,使得第items_num1次迭代时的学习率降为0,采用Adam优化方法对生成对抗网络中的各个参数进行优化,直至鉴别器D输出的鉴别结果趋近于0.5,从而得到生成对抗网络模型;本实施例中,items_num1=200,lr1=0.0002;
鉴别结果趋近于0.5表示,由当前生成对抗网络模型中生成器G生成的辅助可见光人脸图像已经与训练数据集DT3中双模态人脸图像对的可见光人脸高度相似。
步骤4、构建卷积神经网络,将可见光人脸图像集DT4作为辅助模态,步骤1中的近红外人脸图像集DT1作为近红外模态,可见光人脸图像集DT2作为可见光模态,共同组成三模态图像组,并一起输入到卷积神经网络中进行训练,得到跨模态人脸识别器;该识别器可以跨多种模式挖掘结构关系,使其对颜色变化具有鲁棒性。
步骤4.1、构建深度卷积神经网络;
步骤4.1.1、将三种模态的数据共享一个卷积网络的权重以学习三种模态的不变特征,选用ResNet-50卷积神经网络作为基础网络;
步骤4.1.2、采用基础网络最后的池化层输出作为特征表示,并在基础网络的分类层之前添加一个批量规范化层;
步骤4.1.3、设计loss函数,在基础网络最后的池化层后添加多模态身份判别损失函数Lmmi,在批量规范化层后添加交叉模态三元组损失函数Ltrir,则总的损失函数为Ltotal=Lmmi+Ltrir;
步骤4.1.3.1、假设每个训练批次包含s个可见光人脸图像、s个近红外人脸图像和s个生成的可见光人脸图像,利用式(1)构建多模态身份判别损失函数Lmmi:
式(1)中,θ表示在训练中当前的网络模型,n,v,g分别代表近红外模态、可见光模态和辅助模态,i表示图像索引,表示第i幅近红外人脸图像,表示第i幅辅助可见光人脸图像,表示第i幅可见光人脸图像,yi表示第i幅人脸图像的id标签,s表示每个训练批次所包含的图像数量;表示使用当前网络模型θ将第i幅近红外人脸图像识别为标签yi的概率,表示θ将第i幅辅助可见光人脸图像识别为标签yi的概率,表示θ将第i幅可见光人脸图像识别为标签yi的概率;
步骤4.1.3.2、将第i幅近红外人脸图像和第j幅可见光人脸图像之间的欧氏距离表示为第i幅近红外人脸图像和第k幅可见光人脸图像之间的欧氏距离表示为i,j,k分别表示不同的图像索引;将近红外模态作为锚定模态,可见光模态作为正模态,辅助模态作为负模态;
假设第i幅近红外人脸图像是一个锚定的近红外样本,选择欧氏距离最远的近红外与可见光正对和欧氏距离最近的近红外与辅助可见光负对,来构建三元组其中i,j,k分别表示不同的图像索引,表示与锚定近红外样本欧氏距离最远的可见光样本,表示与锚定近红外样本欧氏距离最远的辅助可见光样本;则按照“近红外—可见光—辅助可见光”的模态顺序建立如式(2)所示的三元组损失函数Ln,v,g:
式(2)中,ρ是边缘参数,本实施例中,ρ=0.3;
步骤4.1.3.3、将第i幅可见光人脸图像和第j幅辅助可见光人脸图像之间的欧氏距离表示为第i幅可见光人脸图像和第k幅近红外人脸图像之间的欧氏距离表示为将可见光模态作为锚定模态,辅助模态作为正模态,近红外模态作为负模态;
假设第i幅可见光人脸图像是一个锚定的可见光样本,选择欧氏距离最远的可见光与辅助可见光正对和欧氏距离最近的可见光与近红外负对,来构建三元组 表示与锚定可见光样本欧氏距离最远的辅助可见光样本,表示与锚定可见光样本欧氏距离最远的近红外样本;则按照“可见光—辅助可见光—近红外”这一模态顺序构建如式(3)所示的的三元组损失函数Lv,g,n:
式(3)中,ρ是边缘参数,本实施例中,ρ=0.3;
步骤4.1.3.4、将第i幅辅助可见光人脸图像和第j幅近红外人脸图像之间的欧氏距离表示为第i幅辅助可见光人脸图像和第k幅可见光人脸图像之间的欧氏距离表示为将辅助可见光模态作为锚定模态,近红外模态作为正模态,可见光模态作为负模态;
假设第i幅辅助可见光人脸图像是一个锚定的辅助可见光样本,选择欧氏距离最远的辅助可见光与近红外正对和欧氏距离最近的辅助可见光与可见光负对,来构建三元组 表示与锚定辅助可见光样本欧氏距离最远的近红外样本,表示与锚定辅助可见光样本欧氏距离最远的可见光样本;则按照“辅助可见光—近红外—可见光”这一模态顺序构建如式(4)所示的三元组损失函数Lg,n,v:
式(4)中,ρ是边缘参数,ρ=0.3;
步骤4.1.3.5、利用式(5)构建交叉模态三元组损失函数Ltrir:
Ltrir=Ln,v,g+Lv,g,n+Lg,n,v (5)
Ltrir最小化最远的交叉模态正对距离和最近的负对距离之间的相对差,提高了对模态变化的鲁棒性。
步骤4.2、设置模型的基础学习率为lr2=0.1,总迭代次数为items_num2=300,每迭代λ次学习率减小一半,λ=50,将三模态图像组输入到深度卷积神经网络中,并采用随机梯度下降SGD优化算法对深度卷积神经网络中的各个参数进行迭代优化,直至总损失函数Ltotal不再下降为止,从而得到跨模态人脸识别器。
步骤5、将待识别的近红外人脸图像集输入到所述跨模态人脸识别器中进行跨模态人脸的识别,并输出识别结果。
在实际应用中,将近红外人脸图像或可见光人脸图像输入到步骤4的跨模态人脸识别器中,通过将近红外人脸图像或可见光人脸图像与注册脸部识别系统时图像数据库中可见脸部图像或近红外图像的高级特征进行比较得到的相似性得分来实现跨模态人脸识别。由于训练网络的目标是获得一致的近红外和可见光跨域特征表达,因此近红外人脸图像或者可见光人脸图像都可以于准确识别。图2就是实际应用时的跨模态人脸识别系统流程图。
Claims (3)
1.一种基于模态增广的近红外与可见光跨模态人脸识别方法,其特征在于,包括以下步骤:
步骤1、用近红外相机和光学相机分别采集若干人的近红外人脸图像与可见光人脸图像,并进行人脸检测和尺寸归一化预处理,得到近红外人脸图像集DT1和可见光人脸图像集DT2;
步骤2、将近红外人脸图像集DT1和可见光人脸图像集DT2中属于同一个人的若干张近红外人脸图像和可见光照人脸图像进行对比,将最相似的一对红外人脸图像与可见光人脸图像提取出来构成双模态人脸图像对,进而由若干组双模态人脸图像对构成人脸生成训练数据集DT3;
步骤3、构建生成对抗网络,并将训练数据集DT3输入到生成对抗网络中进行训练,得到用于近红外模态到可见光模态之间人脸转换的生成对抗网络模型,并利用所述网络模型将近红外人脸图像集DT1中所有的近红外人脸图像转换成辅助可见光人脸图像,由所述辅助可见光人脸图像组成可见光人脸图像集DT4;
步骤4、构建卷积神经网络,将可见光人脸图像集DT4作为辅助模态,步骤1中的近红外人脸图像集DT1作为近红外模态,可见光人脸图像集DT2作为可见光模态,共同组成三模态图像组,并一起输入到卷积神经网络中进行训练,得到跨模态人脸识别器;
步骤5、将待识别的近红外人脸图像集输入到所述跨模态人脸识别器中进行跨模态人脸的识别,并输出识别结果。
2.根据权利要求1所述一种基于模态增广的近红外与可见光跨模态人脸识别方法,其特征在于,所述步骤3是按如下过程进行:
步骤3.1、构建由生成器G和鉴别器D组成的生成对抗网络;
所述生成器G包括:包含m1个卷积层的编码模块、包含m2个残差块的转换模块以及包含m3个反卷积层和m4个卷积层的解码模块;
所述鉴别器D包含m5个卷积层;
步骤3.2、将训练数据集DT3中双模态人脸图像对的近红外人脸图像依次输入到所述生成器G中并经过编码、转换和解码后生成辅助可见光人脸图像;
步骤3.3、将训练数据集DT3中对应的双模态人脸图像对的可见光人脸图像和所述辅助可见光人脸图像输入到鉴别器D中并输出鉴别结果;
步骤3.4、设置迭代次数为items_num1,初始学习率设置为lr1;采用Adam优化方法对生成对抗网络中的各个参数进行优化,并在迭代至一半后对学习率lr1进行线性减小,使得第items_num1次迭代时的学习率降为0,直至鉴别器D输出的鉴别结果趋近于0.5,从而得到生成对抗网络模型。
3.根据权利要求1所述一种基于模态增广的近红外与可见光跨模态人脸识别方法,其特征在于,所述步骤4是按如下过程进行:
步骤4.1、构建深度卷积神经网络;
步骤4.1.1、选用ResNet-50卷积神经网络作为基础网络;
步骤4.1.2、采用基础网络最后的池化层输出作为特征表示,并在基础网络的分类层之前添加一个批量规范化层;
步骤4.1.3、设计loss函数,在基础网络最后的池化层后添加多模态身份判别损失函数Lmmi,在批量规范化层后添加交叉模态三元组损失函数Ltrir,则总的损失函数为Ltotal=Lmmi+Ltrir;
步骤4.1.3.1、假设每个训练批次包含s个可见光人脸图像、s个近红外人脸图像和s个生成的可见光人脸图像,利用式(1)构建多模态身份判别损失函数Lmmi:
式(1)中,θ表示在训练中当前的网络模型,n,v,g分别代表近红外模态、可见光模态和辅助模态,i表示图像索引,表示第i幅近红外人脸图像,表示第i幅辅助可见光人脸图像,表示第i幅可见光人脸图像,yi表示第i幅人脸图像的id标签,s表示每个训练批次所包含的图像数量;表示使用当前网络模型θ将第i幅近红外人脸图像识别为标签yi的概率,表示网络模型θ将第i幅辅助可见光人脸图像识别为标签yi的概率,表示网络模型θ将第i幅可见光人脸图像识别为标签yi的概率;
假设第i幅近红外人脸图像是一个锚定的近红外样本,选择欧氏距离最远的近红外与可见光正对和欧氏距离最近的近红外与辅助可见光负对,来构建三元组其中i,j,k分别表示不同的图像索引,表示与锚定近红外样本欧氏距离最远的可见光样本,表示与锚定近红外样本欧氏距离最远的辅助可见光样本;则按照“近红外—可见光—辅助可见光”的模态顺序建立如式(2)所示的三元组损失函数Ln,v,g:
式(2)中,ρ是边缘参数;
步骤4.1.3.3、将可见光模态作为锚定模态,辅助模态作为正模态,近红外模态作为负模态;
假设第i幅可见光人脸图像是一个锚定的可见光样本,选择欧氏距离最远的可见光与辅助可见光正对和欧氏距离最近的可见光与近红外负对,来构建三元组 表示与锚定可见光样本欧氏距离最远的辅助可见光样本,表示与锚定可见光样本欧氏距离最远的近红外样本;则按照“可见光—辅助可见光—近红外”的模态顺序构建如式(3)所示的三元组损失函数Lv,g,n:
步骤4.1.3.4、将可见光模态作为锚定模态,辅助模态作为正模态,近红外模态作为负模态;
假设第i幅辅助可见光人脸图像是一个锚定的辅助可见光样本,选择欧氏距离最远的辅助可见光与近红外正对和欧氏距离最近的辅助可见光与可见光负对,来构建三元组 表示与锚定辅助可见光样本欧氏距离最远的近红外样本,表示与锚定辅助可见光样本欧氏距离最远的可见光样本;则按照“辅助可见光—近红外—可见光”的模态顺序构建如式(4)所示的三元组损失函数Lg,n,v:
步骤4.1.3.5、利用式(5)构建交叉模态三元组损失函数Ltrir:
Ltrir=Ln,v,g+Lv,g,n+Lg,n,v (5)
步骤4.2、设置模型的基础学习率为lr2,总迭代次数为items_num2,每迭代λ次学习率减半,将三模态图像组输入到深度卷积神经网络中,并采用随机梯度下降SGD优化算法对深度卷积神经网络中的各个参数进行迭代优化,直至总损失函数Ltotal不再下降为止,从而得到跨模态人脸识别器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110095445.2A CN112836605B (zh) | 2021-01-25 | 2021-01-25 | 一种基于模态增广的近红外与可见光跨模态人脸识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110095445.2A CN112836605B (zh) | 2021-01-25 | 2021-01-25 | 一种基于模态增广的近红外与可见光跨模态人脸识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112836605A true CN112836605A (zh) | 2021-05-25 |
CN112836605B CN112836605B (zh) | 2022-08-30 |
Family
ID=75931527
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110095445.2A Active CN112836605B (zh) | 2021-01-25 | 2021-01-25 | 一种基于模态增广的近红外与可见光跨模态人脸识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112836605B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190147320A1 (en) * | 2017-11-15 | 2019-05-16 | Uber Technologies, Inc. | "Matching Adversarial Networks" |
KR20190104929A (ko) * | 2019-08-22 | 2019-09-11 | 엘지전자 주식회사 | 사용자 인증과 기능 실행을 동시에 수행하는 방법 및 이를 위한 전자 디바이스 |
CN111325115A (zh) * | 2020-02-05 | 2020-06-23 | 山东师范大学 | 带有三重约束损失的对抗跨模态行人重识别方法和系统 |
CN111401107A (zh) * | 2019-01-02 | 2020-07-10 | 上海大学 | 基于特征融合神经网络的多模态人脸识别方法 |
CN111539246A (zh) * | 2020-03-10 | 2020-08-14 | 西安电子科技大学 | 一种跨光谱人脸识别方法、装置、电子设备及其存储介质 |
CN111931637A (zh) * | 2020-08-07 | 2020-11-13 | 华南理工大学 | 基于双流卷积神经网络的跨模态行人重识别方法和系统 |
-
2021
- 2021-01-25 CN CN202110095445.2A patent/CN112836605B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190147320A1 (en) * | 2017-11-15 | 2019-05-16 | Uber Technologies, Inc. | "Matching Adversarial Networks" |
CN111401107A (zh) * | 2019-01-02 | 2020-07-10 | 上海大学 | 基于特征融合神经网络的多模态人脸识别方法 |
KR20190104929A (ko) * | 2019-08-22 | 2019-09-11 | 엘지전자 주식회사 | 사용자 인증과 기능 실행을 동시에 수행하는 방법 및 이를 위한 전자 디바이스 |
CN111325115A (zh) * | 2020-02-05 | 2020-06-23 | 山东师范大学 | 带有三重约束损失的对抗跨模态行人重识别方法和系统 |
CN111539246A (zh) * | 2020-03-10 | 2020-08-14 | 西安电子科技大学 | 一种跨光谱人脸识别方法、装置、电子设备及其存储介质 |
CN111931637A (zh) * | 2020-08-07 | 2020-11-13 | 华南理工大学 | 基于双流卷积神经网络的跨模态行人重识别方法和系统 |
Non-Patent Citations (2)
Title |
---|
FELIX JUEFEI-XU 等: ""NIR-VIS heterogeneous face recognition via cross-spectral joint dictionary learning and reconstruction"", 《2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW)》 * |
张帅: ""基于近红外和可见光人脸图像的双模态识别"", 《中国优秀硕士学位论文全文数据库-信息科技辑》 * |
Also Published As
Publication number | Publication date |
---|---|
CN112836605B (zh) | 2022-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4505733B2 (ja) | テクストンを用いる対象物認識方法及び装置 | |
CN110969087B (zh) | 一种步态识别方法及系统 | |
CN109359541A (zh) | 一种基于深度迁移学习的素描人脸识别方法 | |
KR101254177B1 (ko) | 방사형 기저 함수 신경회로망 알고리즘을 이용한 실시간 얼굴 인식 시스템 | |
CN113221641B (zh) | 基于生成对抗网络和注意力机制的视频行人重识别方法 | |
CN109492529A (zh) | 一种多尺度特征提取及全局特征融合的人脸表情识别方法 | |
CN110543846A (zh) | 一种基于生成对抗网络的多姿态人脸图像正面化方法 | |
CN111539255A (zh) | 基于多模态图像风格转换的跨模态行人重识别方法 | |
CN111539351B (zh) | 一种多任务级联的人脸选帧比对方法 | |
CN110472519A (zh) | 一种基于多模型的人脸活体检测方法 | |
CN103136516A (zh) | 可见光与近红外信息融合的人脸识别方法及系统 | |
CN112200176B (zh) | 人脸图像的质量检测方法、系统和计算机设备 | |
CN112507853B (zh) | 一种基于互注意力机制的跨模态行人重识别方法 | |
CN109492528A (zh) | 一种基于高斯和深度特征的行人再识别方法 | |
CN112801054B (zh) | 人脸识别模型的处理方法、人脸识别方法及装置 | |
CN112381987A (zh) | 基于人脸识别的智能门禁防疫系统 | |
CN114387641A (zh) | 基于多尺度卷积网络和ViT的虚假视频检测方法及系统 | |
CN112115838B (zh) | 一种热红外图像光谱融合的人脸分类方法 | |
CN111104852A (zh) | 一种基于启发式高斯云变换的人脸识别技术 | |
CN116385832A (zh) | 双模态生物特征识别网络模型训练方法 | |
CN112084895A (zh) | 一种基于深度学习的行人重识别方法 | |
CN113706404A (zh) | 一种基于自注意力机制的俯角人脸图像校正方法及系统 | |
CN117333908A (zh) | 基于姿态特征对齐的跨模态行人重识别方法 | |
Al-Nima | Human authentication with earprint for secure telephone system | |
CN115690669A (zh) | 一种基于特征分离与因果比较损失的跨模态重识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |