CN114399807A - 一种基于图像转换的跨光谱人脸识别方法及监控设备 - Google Patents

一种基于图像转换的跨光谱人脸识别方法及监控设备 Download PDF

Info

Publication number
CN114399807A
CN114399807A CN202111535305.9A CN202111535305A CN114399807A CN 114399807 A CN114399807 A CN 114399807A CN 202111535305 A CN202111535305 A CN 202111535305A CN 114399807 A CN114399807 A CN 114399807A
Authority
CN
China
Prior art keywords
image
face
visible light
infrared
spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111535305.9A
Other languages
English (en)
Inventor
曹志诚
张嘉轩
庞辽军
赵恒�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202111535305.9A priority Critical patent/CN114399807A/zh
Publication of CN114399807A publication Critical patent/CN114399807A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于模式识别、数字图像处理及机器学习技术领域，公开了一种基于图像转换的跨光谱人脸识别方法及监控设备，所述基于图像转换的跨光谱人脸识别方法，包括：获取可见光人脸图像集和红外线人脸图像集，并对图像集进行预处理；构建跨光谱双向图像转换网络模型，并进行模型训练；将人脸预处理测试图像输入至跨光谱双向图像转换网络模型进行图像双向转换；根据生成的图像，进行人脸匹配，得到可见光人脸匹配分数和红外线人脸匹配分数；将匹配分数使用决策融合算法进行匹配分数融合，使用融合后匹配分数进行人脸识别。本发明可以解决传统人脸识别技术适用范围窄以及现有跨光谱人脸识别技术识别性能不能很好满足需求等问题。

Description

一种基于图像转换的跨光谱人脸识别方法及监控设备
技术领域
本发明属于模式识别、数字图像处理及机器学习技术领域，尤其涉及一种基于图像转换的跨光谱人脸识别方法及监控设备。
背景技术
目前，人脸识别是基于人的面部特征信息进行自动身份识别的一种生物识别技术。相比于其他生物特征，人脸具有普遍性、采集廉价性、非侵入性等优势，成为应用最广泛的生物特征识别技术之一。虽然人脸识别技术的研究成果显著并已广泛运用在工业界中，但多数人脸识别技术采用可见光波段。该方式有着难以克服的缺陷，例如当环境光照不稳定时，或在夜间等复杂光照条件下，人脸识别算法性能会显著下降。而红外线波段由于具有背景光照要求低、穿透力强、可在雨天雾天等气候下成像等优势，可很好地解决光照变化和夜间成像两个难题。因此使用可见光和红外线相结合的跨光谱人脸识别技术在实际中尤为迫切。从目前研究来看，跨光谱人脸识别方法可分成两大类：基于传统机器学习的方法和基于深度学习的方法。由于传统机器学习方法普遍设计繁琐复杂、针对特定情形性能好但鲁棒性差等问题，而逐渐被深度学习方法所替代。
随着深度学习的迅速发展，部分基于深度学习的跨光谱人脸识别方法采用图像生成的方法，如Pix2pix、CycleGAN等。但是，这些图像生成技术大多是针对图像风格迁移设计的，并非针对人脸图像所设计，因此技术本身并不涉及对身份特征的保持。而身份保持问题在人脸识别中又尤为关键，且这其中少数面向人脸图像生成的网络也局限于单向图像生成，不能达到双向图像转换的目的。因此，直接使用这些方法均无法很好地满足当前跨光谱人脸识别对图像转换的需求。
通过上述分析，现有技术存在的问题及缺陷为：传统人脸识别技术适用范围窄以及现有跨光谱人脸识别技术识别性能不能很好满足需求。
解决以上问题及缺陷的难度为：
(1)针对跨光谱人脸识别问题，现有深度学习方法基于风格迁移的图像生成技术不能有效保持图像转换前后人脸身份特征信息，因此在图像转换过程中如何有效对人脸身份特征进行保持是跨光谱人脸识别问题的难点之一。
(2)为了提升跨光谱人脸识别的准确度，现有人脸图像生成网络多局限于单向图像生成，无法对双向异源图像起到平均误差的作用，因此需要设计双向图像转换网络并构建复合型损失函数，进行跨光谱人脸图像生成。
(3)为了进一步提升跨光谱人脸识别的准确度，需要设计合适的决策融合策略对匹配分数进行融合，因此，如何设计决策融合算法从而实现匹配分数融合是一个十分挑战的任务，目前业内对于该问题的研究尚且少见。
解决以上问题及缺陷的意义为：
(1)利用深度学习理论及图像生成技术，提出新的基于图像转换的跨光谱人脸识别方法。该方法保障在跨光谱人脸图像转换过程中的人脸身份特征的保持，并且设计双向图像转换网络，可有效克服光谱波段不同带来的图像模态差异的目的。相比其他传统方法和深度方法具有更高的识别性能、更强的鲁棒性。
(2)通过设计决策融合算法，实现融合后决策为全局最优决策，可进一步提升跨光谱人脸识别的准确度。
发明内容
针对现有技术存在的问题，本发明提供了一种基于图像转换的跨光谱人脸识别方法及监控设备。
本发明是这样实现的，一种基于图像转换的跨光谱人脸识别方法，所述基于图像转换的跨光谱人脸识别方法，包括：
步骤一，获取可见光人脸图像集和红外线人脸图像集，并将可见光人脸图像集和红外线人脸图像集分别对应划分为可见光人脸训练和测试图像集、以及红外线人脸训练和测试图像集，并对可见光人脸训练和测试图像集、以及红外线人脸训练和测试图像集分别进行预处理，以达到增强各图像集中人脸图像质量的目的；
步骤二，构建可见光图像与红外线图像间的跨光谱双向图像转换网络模型，用于对各光谱人脸图像进行特征学习。通过使用可见光和红外线人脸预处理训练图像集对跨光谱双向图像转换网络模型进行训练，以得到训练好的跨光谱双向图像转换网络模型；
步骤三，将可见光和红外线人脸预处理测试图像输入至训练好的跨光谱双向图像转换网络模型进行图像双向转换，得到生成的可见光图像和生成的红外线图像；
步骤四，分别对可见光人脸预处理测试图像和生成的可见光图像、以及红外线人脸预处理测试图像和生成的红外线图像进行人脸匹配，分别得到可见光人脸匹配分数和红外线人脸匹配分数；
步骤五，将可见光人脸匹配分数和红外线人脸匹配分数使用决策融合算法进行匹配分数融合，以实现融合后决策为全局最优决策。使用融合后匹配分数进行人脸识别，以实现跨光谱人脸识别。
进一步，所述步骤一中，对可见光人脸训练和测试图像集、以及红外线人脸训练和测试图像集分别进行预处理以改善后续图像转换效果，并分别得到可见光人脸预处理训练图像集、可见光人脸预处理测试图像集、红外线人脸预处理训练图像集和红外线人脸预处理测试图像集；
所述可见光人脸训练图像集、可见光人脸测试图像集、红外线人脸训练图像集和红外线人脸测试图像集分别进行预处理得到可见光人脸预处理训练图像集、可见光人脸预处理测试图像集、红外线人脸预处理训练图像集和红外线人脸预处理测试图像集，包括：
对可见光人脸训练图像集和可见光人脸测试图像集分别进行灰度转换、归一化处理得到可见光人脸预处理训练图像集和可见光人脸预处理测试图像集；
对红外线人脸训练图像集和红外线人脸测试图像集分别进行图像增强、归一化处理得到红外线人脸预处理训练图像集和红外线人脸预处理测试图像集。
进一步，所述步骤一，具体过程为：
在进行图像双向转换前，对可见光人脸训练图像集、可见光人脸测试图像集、红外线人脸训练图像集和红外线人脸测试图像集中的人脸图像作归一化和对比度调整；
对可见光人脸训练图像集和可见光人脸测试图像集分别进行灰度转换、归一化处理得到可见光人脸预处理训练图像集和可见光人脸预处理测试图像集；
将可见光人脸图像集中的人脸图像首先进行灰度转换，转换为灰度图像，其灰度转换的公式设计具体如下：
Igray＝0.2989×R+0.5870×G+0.1140×B (1)
其中，R、G、B为可见光图像对应的RGB值，Igray为可见光图像进行灰度转换后输出的灰度图像；
然后，再将灰度图像Igray进行最大最小归一化处理，其归一化到[0，255]，归一化公式设计具体如下：
Figure BDA0003412957260000031
其中，In为灰度图像Igray进行归一化后图像输出，Imax和Imin分别为灰度图像Igray中的最大及最小灰度值；
对可见光人脸训练图像集和可见光人脸测试图像集中的每一幅可见光人脸训练图像、可见光人脸测试图像均分别通过上述公式(1)、公式(2)的处理，进而得到可见光人脸预处理训练图像集和可见光人脸预处理测试图像集；
对红外线人脸训练图像集和红外线人脸测试图像集分别进行图像增强、归一化处理得到红外线人脸预处理训练图像集和红外线人脸预处理测试图像集；
将红外线人脸训练图像集和红外线人脸测试图像集中的人脸图像首先使用log算子进行图像增强，其图像增强的公式设计具体如下：
Ie＝logc+1(1+cX) (3)
其中，Ie为图像增强后的图像，X为图像增强前的图像，c是调节对比度的参数，默认c＝10，c越大图像对比度增强越明显；
然后，再对增强后的图像Ie进行归一化处理，其归一化到[0，255]的归一化公式如上述公式(2)；
对红外线人脸训练图像集和红外线人脸测试图像集中的每一幅红外线人脸训练图像、红外线人脸测试图像均分别通过上述公式(3)、公式(2)的处理，进而得到红外线人脸预处理训练图像集和红外线人脸预处理测试图像集。
进一步，所述步骤二中，构建可见光图像与红外线图像间的跨光谱双向图像转换网络模型，包括Vis-to-IR生成器模块、IR-to-Vis生成器模块、可见光判别器模块、红外线判别器模块和身份保持模块；
可见光人脸训练图像作为Vis-to-IR生成器模块的输入，Vis-to-IR生成器模块的输出与IR-to-Vis生成器模块的输入连接；红外线人脸训练图像作为IR-to-Vis生成器模块的输入，IR-to-Vis生成器模块的输出与Vis-to-IR生成器模块的输入连接；可见光判别器模块的输入为可见光人脸训练图像和IR-to-Vis生成器模块输出，可见光判别器模块的输出为对两幅输入人脸图像的匹配结果，并作为对抗损失函数反向传导以更新网络参数，优化网络；红外线判别器模块的输入为红外线人脸训练图像和Vis-to-IR生成器模块的输出，红外线判别器模块的输出为对两幅输入人脸图像的匹配结果，作为对抗损失函数反向传导以更新网络参数，优化网络；身份保持模块(Identity Retaining Module，IRM)包括依次连接的ResNet特征提取模块、特征归一化模块、特征空间映射模块；身份保持模块的输入为可见光或红外线人脸训练图像和Vis-to-IR或IR-to-Vis生成器模块的输出；身份保持模块IRM的输出均为对两幅输入人脸图像特征提取、归一化后，在欧几里得空间中计算所得的欧氏距离，并将其作为身份保持损失函数，反向传导以更新网络参数，优化网络；
所述使用可见光和红外线人脸预处理训练图像集对跨光谱双向图像转换网络模型进行训练，得到训练好的跨光谱双向图像转换网络模型，具体过程为：
构建基于对抗损失、循环一致性损失、合成一致性损失、像素一致性损失和身份保持损失的复合型损失函数；
使用可见光和红外线人脸预处理训练图像集并利用基于对抗损失、循环一致性损失、合成一致性损失、像素一致性损失和身份保持损失的复合型损失函数对跨光谱双向图像转换网络模型进行训练，得到训练好的跨光谱双向图像转换网络模型。
进一步，所述步骤二中，具体过程为：
构建跨光谱双向图像转换网络模型，跨光谱双向图像转换网络模型为一种鲁棒性高、且专门针对跨光谱双向图像转换网络模型；构建可见光图像与红外线图像间的跨光谱双向图像转换网络模型，包括Vis-to-IR生成器模块G、IR-to-Vis生成器模块F、可见光判别器模块DVIS、红外线判别器模块DIR和身份保持模块IRM，其中，Vis-to-IR生成器模块G的输入与可见光人脸训练图像连接，Vis-to-IR生成器模块G的输出与IR-to-Vis生成器模块F的输入连接；IR-to-Vis生成器模块F的输入与红外线人脸训练图像连接，IR-to-Vis生成器模块F的输出与Vis-to-IR生成器模块G的输入连接；可见光判别器模块DVIS的输入为可见光人脸训练图像和IR-to-Vis生成器模块F输出，可见光判别器模块DVIS的输出为对两幅输入人脸图像的匹配结果，并作为对抗损失函数反向传导以更新网络参数，优化网络；红外线判别器模块DIR的输入为红外线人脸训练图像和Vis-to-IR生成器模块F的输出，红外线判别器模块DIR的输出为对两幅输入人脸图像的匹配结果，作为对抗损失函数反向传导以更新网络参数，优化网络；身份保持模块IRM包括依次连接的ResNet特征提取模块、特征归一化模块、特征空间映射模块；身份保持模块的输入为可见光或红外线人脸训练图像和Vis-to-IR或IR-to-Vis生成器模块的输出；身份保持模块IRM的输出均为对两幅输入人脸图像特征提取、归一化后，在欧几里得空间中计算所得的欧氏距离，并将其作为身份保持损失函数，反向传导以更新网络参数，优化网络；
生成器模块采用自编码网络，该网络由1个卷积核为7*7的卷积层，2个卷积核为3*3的卷积层，9个残差块，2个卷积核为3*3的反卷积和1个卷积核为7*7的卷积层构成，每个卷积层的输出会进行实例正则化操作，其中前半部分为编码过程，后半部分为解码过程；判别器模块中网络由9个卷积层、5个最大池化层，2个全连接层和1个二分类层构成；身份保持模块网络依次包含ResNet特征提取模块、特征归一化模块、特征空间映射模块，分别对两幅输入人脸图像进行特征提取、归一化后，在欧几里得空间中计算所得的欧氏距离，并将其作为身份保持损失函数，反向传导以更新网络参数，优化网络；
使用可见光和红外线人脸预处理训练图像集对跨光谱双向图像转换网络模型进行训练，得到训练好的跨光谱双向图像转换网络模型；在模型训练过程中，构建基于对抗损失、循环一致性损失、合成一致性损失、像素一致性损失和身份保持损失的复合型损失函数，具体使用对抗损失、循环一致性损失、合成一致性损失、像素一致性损失和身份保持损失的总和作为该复合型损失函数；具体复合型损失函数的表达式如下：
Loss＝LGAN+λcycLcyc+λsynLsyn+λpcLpc+λIRMLIRM (4)
其中，LGAN、Lcyc、Lsyn、Lpc、LIRM分别表示对抗损失、循环一致性损失、合成一致性损失、像素一致性损失和身份保持损失；λcyc为Lcyc对应系数，λsyn为Lsyn对应系数，λpc为Lpc对应系数，λIRM为LIRM对应系数；上述系数用于调节各损失在复合型损失函数中所占比重；针对其实验特定数据集，其取值分别定为λcyc＝10，λsyn＝30，λpc＝10，λIRM＝10；
具体LGAN、Lcyc、Lsyn、Lpc及LIRM的设计分别如以下各式所示：
Figure BDA0003412957260000061
Lcyc(G,F)＝Ev～Pdata(V)[||F(G(v))-v||1]+Ei～Pdata(I)[||G(F(i))-i||1]…(6)
Lsyn(G,F)＝Ev～P(V),i～P(I)[||F(i)-F(G(v))||1]+Ev～P(V),i～P(I)[||G(v)-G(F(i))||1]……(7)
Lpc(G,F)＝Ev～P(V),i～P(I)[||v-F(i)||1]+Ev～P(V),i～P(I)[||i-G(v)||1]…(8)
Figure BDA0003412957260000062
其中，V和I分别表示跨光谱双向图像转换网络模型对应的可见光输入图像集和红外线输入图像集，v和i分别代表可见光和红外线输入图像的单个样本；LGAN(G,DIR,V,I)是由DIR对i的判别结果和对v经过G生成后的判别结果计算二元交叉熵损失值构成，LGAN(F,DVIS,I,V)由DVIS对v的判别结果和对i经过F生成后的判别结果计算二元交叉熵损失值构成；
其中Lcyc用来保证循环合成图像尽可能逼近原始图像，从而训练高精度生成器；由v经过G生成后再经过F循环生成的图像与v间的L1损失值，和由i经过F生成后再经过G循环生成的图像与i间的L1损失值构成；
其中Lsyn用来保证生成图像尽可能逼近循环合成图像，由i经过F生成后图像与v经过G生成后再经过F循环生成的图像间的L1损失值，和v经过G生成后图像与i经过F生成后再经过G循环生成的图像间的L1损失值构成；
其中Lpc用来保证跨光谱双向图像转换网络的图像低频成分的准确性，由v与i经过F生成图像的L1损失值，和i与v经过G生成图像的L1损失值构成；
其中LIRM用来保证双向图像转换过程中身份信息的准确与一致性，将原图像与生成的跨光谱图像同时输入至人脸特征提取网络，得到各自对应的维度为128的特征向量
Figure BDA0003412957260000071
和
Figure BDA0003412957260000072
再对这两个特征计算欧氏距离作为其损失值；
使用可见光和红外线人脸预处理训练图像集对跨光谱双向图像转换网络模型进行训练，得到训练好的跨光谱双向图像转换网络模型；通过上述公式(4)构建的跨光谱双向图像转换网络模型的复合型损失函数，基于复合型损失函数，并将可见光人脸预处理训练图像集和红外线人脸预处理训练图像集中人脸训练图像输入至跨光谱双向图像转换网络模型中进行训练，训练过程中采用反向传播算法训练跨光谱双向图像转换网络模型，从而得到最终训练好的跨光谱双向图像转换网络模型，用于后续得到生成的可见光图像和生成的红外线图像。
进一步，所述步骤四中，分别对可见光人脸预处理测试图像和生成的可见光图像、以及红外线人脸预处理测试图像和生成的红外线图像进行人脸匹配，分别得到可见光人脸匹配分数和红外线人脸匹配分数，包括：
使用标准的单光谱人脸特征提取模型对可见光人脸预处理测试图像和生成的可见光图像、以及红外线人脸预处理测试图像和生成的红外线图像进行特征提取并归一化，得到可见光人脸预处理测试图像特征向量和生成的可见光图像特征向量，以及红外线人脸预处理测试图像特征向量和生成的红外线图像特征向量；
采用计算特征向量的欧氏距离，对可见光人脸预处理测试图像特征向量和生成的可见光图像特征向量，以及红外线人脸预处理测试图像特征向量和生成的红外图像特征向量进行计算，分别得到可见光人脸匹配分数矩阵和红外线人脸匹配分数矩阵；
根据可见光人脸匹配分数矩阵和红外线人脸匹配分数矩阵，分别计算可见光人脸匹配分数矩阵和红外线人脸匹配分数矩阵的错误接受率、真实接受率、错误率和规范化间距。
进一步，所述步骤五中，可见光人脸匹配分数和红外线人脸匹配分数使用决策融合算法进行匹配分数融合，使用融合后匹配分数进行人脸识别以实现跨光谱人脸识别，具体过程为：
构建基于GAR和d-prime的决策融合算法，根据基于GAR和d-prime的决策融合算法将可见光人脸匹配分数矩阵与红外线人脸匹配分数矩阵进行决策融合；
使用融合后匹配分数进行人脸识别，通过计算融合后匹配分数矩阵的FAR值、GAR值、EER值和d-prime值，进行人脸识别，以实现跨光谱人脸识别。
进一步，所述步骤五中，具体过程为：将可见光人脸匹配分数和红外线人脸匹配分数归一化后使用决策融合算法进行匹配分数融合，使用融合后匹配分数进行人脸识别以实现跨光谱人脸识别；
构建基于GAR和d-prime的决策融合算法进行匹配分数融合，计算得到融合后匹配分数MatchScore，具体公式设计如下：
当d-primeV＞d-primeI时：
Figure BDA0003412957260000081
当d-primeV＜d-primeI时：
Figure BDA0003412957260000082
当d-primeV＝d-primeI时：
Figure BDA0003412957260000083
最终的融合分数为：
MatchScore＝w1×MatchScoreV+w2×MatchScoreI (13)
其中，GV和d-primeV分别为可见光人脸匹配分数的GAR值和d-prime值，GI和d-primeI分别为红外线人脸匹配分数的GAR值和d-prime值，MatchScoreV和MatchScoreI分别为可见光匹配分数和红外线匹配分数，w1和w2为融合过程中通过融合公式计算出的权值；采取上述融合策略根据两个匹配分数的GAR值，自适应计算融合权值，并可保证d-prime值小的匹配矩阵融合权重大于1/2，以达到提升融合效果及匹配度的目的；
基于GAR和d-prime的决策融合算法将可见光人脸匹配分数矩阵与红外线人脸匹配分数矩阵根据公式(14)进行决策融合；使用融合后匹配分数MatchScore进行人脸识别，通过计算融合后匹配分数矩阵的FAR值、GAR值、EER值和d-prime值，以实现跨光谱人脸识别。
本发明的另一目的在于提供一种基于图像转换的跨光谱人脸识别监控设备，所述监控设备包括可见光摄像头及红外线摄像头、视频录像机、只读存储器、显示器、路由器、外部硬盘和电源。所述只读存储器存储有跨光谱人脸识别计算机程序，所述视频录像机用于执行计算机程序及控制整套监控设备的信息交互，所述计算机程序被所述视频录像机执行时，使得所述视频录像机执行所述的基于图像转换的跨光谱人脸识别方法的步骤。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提出了一种包含身份保持模块的图像转换模型、以及可见光和红外线图像间的双向图像转换思路，为了生成图像近似真实的图像分布，同时有效保持身份信息，从而达到显著提升当前跨光谱人脸识别性能的效果；并且提出一种决策融合策略，用于融合双向转换后生成的两个匹配分数，并与传统融合算法进行对比，以达到进一步提升跨光谱人脸图像识别精度的目的，为跨光谱人脸识别技术的推广提供基础支持。
以下将结合附图及具体实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的基于图像转换的跨光谱人脸识别方法流程图。
图2是本发明实施例提供的基于图像转换的跨光谱人脸识别方法中跨光谱双向图像转换网络模型结构示意图。
图3是本发明实施例提供的基于图像转换的跨光谱人脸识别方法中生成器模块及判别器模块的结构示意图；
图3中：图a、生成器模块；图b、判别器模块。
图4是本发明实施例提供的基于图像转换的跨光谱人脸识别方法中身份保持模块的结构示意图。
图5是本发明实施例提供的基于图像转换的跨光谱人脸识别方法中可见光与近红外人脸图像双向生成结果示例示意图；
图5中：图a、在可见光1.5m处拍摄所得人脸图像；图b、可见光图像转换后生成的近红外图像；图c、近红外图像转换后生成的可见光图像；图d、在近红外1.5m处拍摄所得人脸图像。
图6是本发明实施例提供的基于图像转换的跨光谱人脸识别方法中可见光与短波红外人脸图像双向生成结果示例示意图；
图6中：图a、在可见光1.5m处拍摄所得人脸图像；图b、可见光图像转换后生成的短波红外图像；图c、短波红外图像转换后生成的可见光图像；图d、在可见光1.5m处拍摄所得人脸图像。
图7是本发明实施例提供的基于图像转换的跨光谱人脸识别监控设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例一
目前人脸识别技术大多采用可见光成像，但在光线不足和恶劣气候等特殊成像环境下通常表现不佳，而红外线成像技术具备背景光线要求低、雨天雾天等气候下成像等等优势，因此使用可见光和红外线图像的跨光谱人脸识别技术在实际应用中显得尤为迫切。但目前跨光谱人脸识别技术未考虑图像双向转换与分数融合等因素，导致它们的识别率普遍不高，因此直接使用这些方法无法很好满足目前特殊成像环境下的人脸识别需求。基于上述存在的问题，本发明实施例提供了一种基于图像转换的跨光谱人脸识别方法，业内的普通技术人员还可以采用其他的步骤实施，图1所示的本发明提供的基于图像转换的跨光谱人脸识别方法仅仅是一个具体实施例而已。
如图1所示，本发明实施例提供的基于图像转换的跨光谱人脸识别方法，包括：
S101：获取可见光人脸图像集和红外线人脸图像集，并将可见光人脸图像集和红外线人脸图像集分别对应划分为可见光人脸训练和测试图像集、以及红外线人脸训练和测试图像集，并对可见光人脸训练和测试图像集、以及红外线人脸训练和测试图像集分别进行预处理；
S102：构建可见光图像与红外线图像间的跨光谱双向图像转换网络模型，使用可见光和红外线人脸预处理训练图像集对跨光谱双向图像转换网络模型进行训练，得到训练好的跨光谱双向图像转换网络模型；
S103：将可见光和红外线人脸预处理测试图像输入至训练好的跨光谱双向图像转换网络模型进行图像双向转换，得到生成的可见光图像和生成的红外线图像；
S104：分别对可见光人脸预处理测试图像和生成的可见光图像、以及红外线人脸预处理测试图像和生成的红外线图像进行人脸匹配，分别得到可见光人脸匹配分数和红外线人脸匹配分数；
S105：将可见光人脸匹配分数和红外线人脸匹配分数使用决策融合算法进行匹配分数融合，使用融合后匹配分数进行人脸识别以实现跨光谱人脸识别。
本发明实施例提供的S101中，对可见光人脸训练和测试图像集、以及红外线人脸训练和测试图像集分别进行预处理以改善后续图像转换效果，并分别得到可见光人脸预处理训练图像集、可见光人脸预处理测试图像集、红外线人脸预处理训练图像集和红外线人脸预处理测试图像集；
所述可见光人脸训练图像集、可见光人脸测试图像集、红外线人脸训练图像集和红外线人脸测试图像集分别进行预处理得到可见光人脸预处理训练图像集、可见光人脸预处理测试图像集、红外线人脸预处理训练图像集和红外线人脸预处理测试图像集，包括：
对可见光人脸训练图像集和可见光人脸测试图像集分别进行灰度转换、归一化处理得到可见光人脸预处理训练图像集和可见光人脸预处理测试图像集；
对红外线人脸训练图像集和红外线人脸测试图像集分别进行图像增强、归一化处理得到红外线人脸预处理训练图像集和红外线人脸预处理测试图像集。
本发明实施例提供的S101，具体过程为：
在进行图像双向转换前，对可见光人脸训练图像集、可见光人脸测试图像集、红外线人脸训练图像集和红外线人脸测试图像集中的人脸图像作归一化和对比度调整；
对可见光人脸训练图像集和可见光人脸测试图像集分别进行灰度转换、归一化处理得到可见光人脸预处理训练图像集和可见光人脸预处理测试图像集；
将可见光人脸图像集中的人脸图像首先进行灰度转换，转换为灰度图像，其灰度转换的公式设计具体如下：
Igray＝0.2989×R+0.5870×G+0.1140×B (1)
其中，R、G、B为可见光图像对应的RGB值，Igray为可见光图像进行灰度转换后输出的灰度图像；
然后，再将灰度图像Igray进行最大最小归一化处理，其归一化到[0，255]，归一化公式设计具体如下：
Figure BDA0003412957260000111
其中，In为灰度图像Igray进行归一化后图像输出，Imax和Imin分别为灰度图像Igray中的最大及最小灰度值；
对可见光人脸训练图像集和可见光人脸测试图像集中的每一幅可见光人脸训练图像、可见光人脸测试图像均分别通过上述公式(1)、公式(2)的处理，进而得到可见光人脸预处理训练图像集和可见光人脸预处理测试图像集；
对红外线人脸训练图像集和红外线人脸测试图像集分别进行图像增强、归一化处理得到红外线人脸预处理训练图像集和红外线人脸预处理测试图像集；
将红外线人脸训练图像集和红外线人脸测试图像集中的人脸图像首先使用log算子进行图像增强，其图像增强的公式设计具体如下：
Ie＝logc+1(1+cX) (3)
其中，Ie为图像增强后的图像，X为图像增强前的图像，c是调节对比度的参数，默认c＝10，c越大图像对比度增强越明显；
然后，再对增强后的图像Ie进行归一化处理，其归一化到[0，255]的归一化公式如上述公式(2)；
对红外线人脸训练图像集和红外线人脸测试图像集中的每一幅红外线人脸训练图像、红外线人脸测试图像均分别通过上述公式(3)、公式(2)的处理，进而得到红外线人脸预处理训练图像集和红外线人脸预处理测试图像集。
本发明实施例提供的S102中，构建可见光图像与红外线图像间的跨光谱双向图像转换网络模型，包括Vis-to-IR生成器模块、IR-to-Vis生成器模块、可见光判别器模块、红外线判别器模块和身份保持模块；
其中，可见光人脸训练图像作为Vis-to-IR生成器模块的输入，Vis-to-IR生成器模块的输出与IR-to-Vis生成器模块的输入连接；红外线人脸训练图像作为IR-to-Vis生成器模块的输入，IR-to-Vis生成器模块的输出与Vis-to-IR生成器模块的输入连接；可见光判别器模块的输入为可见光人脸训练图像和IR-to-Vis生成器模块输出，可见光判别器模块的输出为对两幅输入人脸图像的匹配结果，并作为对抗损失函数反向传导以更新网络参数，优化网络；红外线判别器模块的输入为红外线人脸训练图像和Vis-to-IR生成器模块的输出，红外线判别器模块的输出为对两幅输入人脸图像的匹配结果，作为对抗损失函数反向传导以更新网络参数，优化网络；身份保持模块(Identity Retaining Module，IRM)包括依次连接的ResNet特征提取模块、特征归一化模块、特征空间映射模块。身份保持模块的输入为可见光或红外线人脸训练图像和Vis-to-IR或IR-to-Vis生成器模块的输出；身份保持模块IRM的输出均为对两幅输入人脸图像特征提取、归一化后，在欧几里得空间中计算所得的欧氏距离，并将其作为身份保持损失函数，反向传导以更新网络参数，优化网络。
本发明实施例提供的S102中，使用可见光和红外线人脸预处理训练图像集对跨光谱双向图像转换网络模型进行训练，得到训练好的跨光谱双向图像转换网络模型，具体过程为：
构建基于对抗损失、循环一致性损失、合成一致性损失、像素一致性损失和身份保持损失的复合型损失函数；
使用可见光和红外线人脸预处理训练图像集并利用基于对抗损失、循环一致性损失、合成一致性损失、像素一致性损失和身份保持损失的复合型损失函数对跨光谱双向图像转换网络模型进行训练，得到训练好的跨光谱双向图像转换网络模型。
本发明实施例提供的S102，具体过程为：
构建跨光谱双向图像转换网络模型，跨光谱双向图像转换网络模型为一种鲁棒性高、且专门针对跨光谱双向图像转换网络模型；
具体地：构建可见光图像与红外线图像间的跨光谱双向图像转换网络模型，包括Vis-to-IR生成器模块G、IR-to-Vis生成器模块F、可见光判别器模块DVIS、红外线判别器模块DIR和身份保持模块IRM，其中，Vis-to-IR生成器模块G的输入与可见光人脸训练图像连接，Vis-to-IR生成器模块G的输出与IR-to-Vis生成器模块F的输入连接；IR-to-Vis生成器模块F的输入与红外线人脸训练图像连接，IR-to-Vis生成器模块F的输出与Vis-to-IR生成器模块G的输入连接；可见光判别器模块DVIS的输入为可见光人脸训练图像和IR-to-Vis生成器模块F输出，可见光判别器模块DVIS的输出为对两幅输入人脸图像的匹配结果，并作为对抗损失函数反向传导以更新网络参数，优化网络；红外线判别器模块DIR的输入为红外线人脸训练图像和Vis-to-IR生成器模块F的输出，红外线判别器模块DIR的输出为对两幅输入人脸图像的匹配结果，作为对抗损失函数反向传导以更新网络参数，优化网络；身份保持模块IRM包括依次连接的ResNet特征提取模块、特征归一化模块、特征空间映射模块。所述身份保持模块的输入为可见光或红外线人脸训练图像和Vis-to-IR或IR-to-Vis生成器模块的输出；身份保持模块IRM的输出均为对两幅输入人脸图像特征提取、归一化后，在欧几里得空间中计算所得的欧氏距离，并将其作为身份保持损失函数，反向传导以更新网络参数，优化网络。
生成器模块采用自编码网络，该网络由1个卷积核为7*7的卷积层，2个卷积核为3*3的卷积层，9个残差块，2个卷积核为3*3的反卷积和1个卷积核为7*7的卷积层构成，每个卷积层的输出会进行实例正则化操作，其中前半部分为编码过程，后半部分为解码过程；判别器模块中网络由9个卷积层、5个最大池化层，2个全连接层和1个二分类层构成；身份保持模块网络依次包含ResNet特征提取模块、特征归一化模块、特征空间映射模块，分别对两幅输入人脸图像进行特征提取、归一化后，在欧几里得空间中计算所得的欧氏距离，并将其作为身份保持损失函数，反向传导以更新网络参数，优化网络；
使用可见光和红外线人脸预处理训练图像集对跨光谱双向图像转换网络模型进行训练，得到训练好的跨光谱双向图像转换网络模型。
在模型训练过程中，构建了基于对抗损失、循环一致性损失、合成一致性损失、像素一致性损失和身份保持损失的复合型损失函数，具体使用对抗损失、循环一致性损失、合成一致性损失、像素一致性损失和身份保持损失的总和作为该复合型损失函数；具体复合型损失函数的表达式如下：
Loss＝LGAN+λcycLcyc+λsynLsyn+λpcLpc+λIRMLIRM (4)
其中，LGAN、Lcyc、Lsyn、Lpc、LIRM分别表示对抗损失、循环一致性损失、合成一致性损失、像素一致性损失和身份保持损失；λcyc为Lcyc对应系数，λsyn为Lsyn对应系数，λpc为Lpc对应系数，λIRM为LIRM对应系数；上述系数用于调节各损失在复合型损失函数中所占比重；针对其实验特定数据集，其取值分别定为λcyc＝10，λsyn＝30，λpc＝10，λIRM＝10；
具体LGAN、Lcyc、Lsyn、Lpc及LIRM的设计分别如以下各式所示：
Figure BDA0003412957260000141
Lcyc(G,F)＝Ev～Pdata(V)[||F(G(v))-v||1]+Ei～Pdata(I)[||G(F(i))-i||1]……(6)
Lsyn(G,F)＝Ev～P(V),i～P(I)[||F(i)-F(G(v))||1]+Ev～P(V),i～P(I)[||G(v)-G(F(i))||1]……(7)
Lpc(G,F)＝Ev～P(V),i～P(I)[||v-F(i)||1]+Ev～P(V),i～P(I)[||i-G(v)||1]…(8)
Figure BDA0003412957260000142
其中，V和I分别表示跨光谱双向图像转换网络模型对应的可见光输入图像集和红外线输入图像集，v和i分别代表可见光和红外线输入图像的单个样本。LGAN(G,DIR,V,I)是由DIR对i的判别结果和对v经过G生成后的判别结果计算二元交叉熵损失值构成，LGAN(F,DVIS,I,V)由DVIS对v的判别结果和对i经过F生成后的判别结果计算二元交叉熵损失值构成；
其中Lcyc用来保证循环合成图像尽可能逼近原始图像，从而训练高精度生成器。由v经过G生成后再经过F循环生成的图像与v间的L1损失值，和由i经过F生成后再经过G循环生成的图像与i间的L1损失值构成；
其中Lsyn用来保证生成图像尽可能逼近循环合成图像，由i经过F生成后图像与v经过G生成后再经过F循环生成的图像间的L1损失值，和v经过G生成后图像与i经过F生成后再经过G循环生成的图像间的L1损失值构成；
其中Lpc用来保证跨光谱双向图像转换网络的图像低频成分的准确性，由v与i经过F生成图像的L1损失值，和i与v经过G生成图像的L1损失值构成；
其中LIRM用来保证双向图像转换过程中身份信息的准确与一致性，将原图像与生成的跨光谱图像同时输入至人脸特征提取网络，得到各自对应的维度为128的特征向量
Figure BDA0003412957260000151
和
Figure BDA0003412957260000152
再对这两个特征计算欧氏距离作为其损失值；
进一步地，使用所述可见光和红外线人脸预处理训练图像集对所述跨光谱双向图像转换网络模型进行训练，得到训练好的跨光谱双向图像转换网络模型。
通过上述公式(4)构建的跨光谱双向图像转换网络模型的复合型损失函数，基于该复合型损失函数，并将可见光人脸预处理训练图像集和红外线人脸预处理训练图像集中人脸训练图像输入至跨光谱双向图像转换网络模型中进行训练，训练过程中具体可以采用反向传播算法训练跨光谱双向图像转换网络模型，从而得到本实施例最终训练好的跨光谱双向图像转换网络模型，用于后续得到生成的可见光图像和生成的红外线图像。
本发明实施例提供的S104中，分别对可见光人脸预处理测试图像和生成的可见光图像、以及红外线人脸预处理测试图像和生成的红外线图像进行人脸匹配，分别得到可见光人脸匹配分数和红外线人脸匹配分数，包括：
使用标准的单光谱人脸特征提取模型如FaceNet等对可见光人脸预处理测试图像和生成的可见光图像、以及红外线人脸预处理测试图像和生成的红外线图像进行特征提取并归一化，得到可见光人脸预处理测试图像特征向量和生成的可见光图像特征向量，以及红外线人脸预处理测试图像特征向量和生成的红外线图像特征向量；
采用计算特征向量的欧氏距离，对可见光人脸预处理测试图像特征向量和生成的可见光图像特征向量，以及红外线人脸预处理测试图像特征向量和生成的红外图像特征向量进行计算，分别得到可见光人脸匹配分数矩阵和红外线人脸匹配分数矩阵；
根据可见光人脸匹配分数矩阵和红外线人脸匹配分数矩阵，分别计算可见光人脸匹配分数矩阵和红外线人脸匹配分数矩阵的错误接受率(False accept rate,FAR)、真实接受率(Genuine accept rate，GAR)、等错误率(Equal error rate,EER)和规范化间距(d-prime)。
本发明实施例提供的S105中，可见光人脸匹配分数和红外线人脸匹配分数使用决策融合算法进行匹配分数融合，使用融合后匹配分数进行人脸识别以实现跨光谱人脸识别，具体过程为：
构建基于GAR和d-prime的决策融合算法，根据基于GAR和d-prime的决策融合算法将可见光人脸匹配分数矩阵与红外线人脸匹配分数矩阵进行决策融合；
使用融合后匹配分数进行人脸识别，通过计算融合后匹配分数矩阵的FAR值、GAR值、EER值和d-prime值，进行人脸识别，以实现跨光谱人脸识别。
具体过程为：将可见光人脸匹配分数和所述红外线人脸匹配分数归一化后使用决策融合算法进行匹配分数融合，使用融合后匹配分数进行人脸识别以实现跨光谱人脸识别；
构建基于GAR和d-prime的决策融合算法进行匹配分数融合，计算得到融合后匹配分数MatchScore，具体公式设计如下：
当d-primeV＞d-primeI时：
Figure BDA0003412957260000161
当d-primeV＜d-primeI时：
Figure BDA0003412957260000162
当d-primeV＝d-primeI时：
Figure BDA0003412957260000163
最终的融合分数为：
MatchScore＝w1×MatchScoreV+w2×MatchScoreI (13)
其中，GV和d-primeV分别为可见光人脸匹配分数的GAR值和d-prime值，GI和d-primeI分别为红外线人脸匹配分数的GAR值和d-prime值，MatchScoreV和MatchScoreI分别为可见光匹配分数和红外线匹配分数，w1和w2为融合过程中通过融合公式计算出的权值。采取上述融合策略的优势在于可根据两个匹配分数的GAR值，自适应计算融合权值，并可保证d-prime值小的匹配矩阵融合权重大于1/2，以达到提升融合效果及匹配度的目的。
进一步地，基于GAR和d-prime的决策融合算法将可见光人脸匹配分数矩阵与红外线人脸匹配分数矩阵根据公式(14)进行决策融合；使用融合后匹配分数MatchScore进行人脸识别，通过计算融合后匹配分数矩阵的FAR值、GAR值、EER值和d-prime值，以实现跨光谱人脸识别。
为了验证本发明提出的基于图像转换的跨光谱人脸识别方法的优越性，本发明给出多个公开人脸图像集上的图像转换结果样本，请参见图5a～5d和图6a～6d，图5a～5d是本发明实施例提供的基于图像转换的跨光谱人脸识别方法中在CASIA人脸图像集下，可见光人脸图像与近红外人脸图像双向生成结果示例，具体地：图5a为在可见光1.5m处拍摄所得人脸图像，图5d为在近红外1.5m处拍摄所得人脸图像，图5b为可见光图像转换后生成的近红外图像，
表1本实施例跨光谱图像双向转换网络模型中生成器的具体网络参数
Figure BDA0003412957260000171
图5c为近红外图像转换后生成的可见光图像；图6a～6d是本发明实施例在TINDERS人脸图像集下，可见光人脸图像与短波红外人脸图像双向生成结果示例，具体地：图6a为在可见光1.5m处拍摄所得人脸图像，图6d为在短波红外1.5m处拍摄所得人脸图像，图6b为可见光图像转换后生成的短波红外图像，图6c为短波红外图像转换后生成的可见光图像。
本实施例验证过程中跨光谱双向图像转换网络模型中生成器中每一层参数设计具体参见表1，卷积过程中为减少输入图像和生成图像的伪影，1层、15层采用反射填充方式(reflection padding)填充为3，其他层中padding方式为1填充。其中，跨光谱双向图像转换网络模型生成器中每一层的参数根据实际情况而设计，本实施例以表1中具体参数设计进行识别验证。
本实施例验证过程中跨光谱图像双向转换网络模型中判别器每一层的参数设计具体参见表2。
表2本实施例跨光谱图像双向转换网络模型中判别器的具体网络参数
Figure BDA0003412957260000181
本实施例验证过程中跨光谱图像双向转换网络模型中身份保持模块结构示意图，具体参照图4。身份保持模块IRM中依次包含ResNet特征提取模块、特征归一化模块L2、特征空间映射模块ED。其中身份保持模块IRM输入图像Batch首先被裁剪至固定尺寸；ResNet特征提取模块、特征归一化模块L2、特征空间映射模块ED可分别通过现有常见方法实现，具体实现方式不限。
为说明本发明的跨光谱双向图像转换网络模型的跨光谱转换效果优于其他主流图像生成方法，将其与其他现有公开方法如基于CF共享子空间的图像生成方法、基于Pix2pix的图像生成方法和基于CycleGAN的图像生成方法等进行了对比，分别计算了双向生成图像与对应波段原图的真实接受率(GAR)、等误率(EER)、规范化间距(d-prime)和Fréchet Inception距离(FID)，其中真实接受率(GAR)和规范化间距(d-prime)越大说明图像生成质量越好，等误率(EER)越小说明图像生成质量越好，Fréchet Inception距离(FID)表示的是生成图像的特征向量与真实图像的特征向量之间的距离，该距离越近，表明生成模型的效果越好，即图像的清晰度高，且多样性丰富。
表3本实施例提供的不同图像转换方法匹配分数对比结果(CASIA数据集)
Figure BDA0003412957260000191
表3对比结果表明，采用本发明的跨光谱双向图像转换网络模型在CASIA数据集可见光波段取得最大的真实接受率(GAR)和规范化间距(d-prime)、最小等误率(EER)和Fréchet Inception距离；类似的，本发明的跨光谱双向图像转换网络模型在CASIA数据集近红外波段上同样具有最大真实接受率(GAR)和规范化间距(d-prime)、最小等误率(EER)和次优的Fréchet Inception距离(FID)。
表4本实施例提供的不同图像转换方法匹配分数对比结果(TINDERS数据集)
Figure BDA0003412957260000201
由表4结果表明，采用本发明的跨光谱双向图像转换网络模型在TINDERS数据集可见光波段上取得最大的真实接受率(GAR)和次优的规范化间距(d-prime)，以及最小Fréchet Inception距离(FID)和次小的等误率(EER)；在红外线波段获得最大的真实接受率(GAR)和规范化间距(d-prime)、最小的Fréchet Inception距离(FID)和次优的等误率(EER)。
从整体图像双向转换实验结果来看，本发明的跨光谱双向图像转换网络的人脸双向生成性能的指标大多数为最优结果，少数为次优结果，从而说明本发明方法的性能整体优于其他主流图像生成方法。
设计决策融合算法进行匹配分数对比。请参见表5，表5分别给出了采用最大值融合算法、算术平均融合算法和基于GAR和d-prime的决策融合算法，进行匹配分数融合，得到对应的真实接受率(GAR)、等误率(EER)和规范化间距(d-prime)对比结果。
由表5和表6对比结果可以看出，使用本发明基于GAR和d-prime的决策融合算法进行匹配分数融合后，其GAR、EER和d-prime等性能评价指标均显著超过了未进行融合前的结果(见表3和表4)；同时，本发明进行决策融合后的性能评价指标也高于最大值融合算法、几何平均融合算法和算术融合算法等传统融合方法。基于GAR和d-prime的决策融合算法考虑了转换后单光谱下匹配分数的真实接受率(GAR)和规范化间距(d-prime)，使融合后的匹配分数既起到了平均误差的作用，又确保了类内与类间特征的距离，因此使得最终的决策结果是全局最优决策。
表5不同决策融合算法匹配分数对比结果(CASIA数据集)
Figure BDA0003412957260000211
表6不同决策融合算法匹配分数对比结果(TINDERS数据集)
Figure BDA0003412957260000212
可见，本实施例针对传统人脸识别方法仅采用可见光的局限性，引入了红外线波段进行双向图像转换，有效克服因环境光照不确定变化的影响，使该技术适用于白天夜间、晴天和雨雪等多种环境下；本实施例针对跨光谱人脸识别问题，设计了跨光谱双向图像转换网络模型，将可见光人和红外线人脸图像进行双向图像转换得到各自对应生成的人脸图像；本实施例针对跨光谱人脸识别问题特别设计了一种复合型损失函数，具体由对抗损失、循环一致性损失、合成一致性损失、像素一致性损失和身份保持损失五部分构成，此复合型损失函数的选择既保证了生成图像质量的真实性，又保留了人脸的身份信息，达到将跨光谱问题转化成单光谱问题，从而有利于人脸识别准确度的提升；本实施例针对单光谱下生成的可见光匹配分数和红外线匹配分数，设计了基于GAR和d-prime的决策融合算法，将单光谱下的匹配分数，使用决策融合算法进行融合，融合后的匹配分数既起到了平均误差的作用，又确保了类内与类间特征距离，从而使最终的决策结果是全局最优决策，达到提升最终人脸识别的性能。
本实施例提出了一套完整的基于图像转换的跨光谱人脸识别技术，可以解决传统人脸识别技术的适用范围窄、识别性能不高、且特征提取鲁棒性差等诸多缺陷；本实施例为人脸识别的实用化提供了新理论和新算法支持，使得人脸识别技术变得更加实用、可靠和普及化；本实施例可以广泛应用于户外、夜间、雨雪和其他复杂环境下的考勤、民用监控、公安执法、进出管控、小区入口等等应用场合。
实施例二
在上述实施例一的基础上，本实施例提供了一种基于图像转换的跨光谱人脸识别监控设备，图7为所述监控设备的结构示意图。该监控设备包括可见光摄像头及红外线摄像头、视频录像机、显示器、路由器、只读存储器、外部硬盘和电源；
视频录像机用于控制整套监控设备的信息交互，可见光摄像头及红外线摄像头分别用于采集可将光及红外线监控图像，只读存储器(ROM)用于存放本发明跨光谱人脸识别方法所对应的计算机程序，显示器用于实时显示所采集监控图像，路由器用于该监控设备与外界其他设备的连接，外部硬盘用于存储摄像头采集的监控图像数据，电源用于为整体监控设备进行供电。
所述跨光谱人脸识别监控设备运行时，通过视频录像机处理器(CPU)读取只读存储器中的计算机程序代码，并执行程序。该计算机程序在被执行时实现以下步骤：
步骤1、控制可见光与红外线摄像头进行人脸图像采集，获取可见光人脸图像集、红外线人脸图像集。
步骤2、对可见光人脸图像集、红外线人脸图像集进行预处理得到可见光人脸预处理图像集、红外线人脸预处理图像集。
具体而言，本发明实施例的步骤2采用对可见光人脸训练图像集和可见光人脸测试图像集分别进行灰度转换、归一化处理得到可见光人脸预处理训练图像集和可见光人脸预处理测试图像集；对红外线人脸训练图像集和红外线人脸测试图像集分别进行图像增强、归一化处理得到红外线人脸预处理训练图像集和红外线人脸预处理测试图像集。
步骤3、构建可见光图像与红外线图像间的跨光谱双向图像转换网络模型，并进行训练，保存训练模型参数。
具体而言，本实施例的步骤3包括：
构建的跨光谱双向图像转换网络模型，包括Vis-to-IR生成器模块G、IR-to-Vis生成器模块F、可见光判别器模块DVIS、红外线判别器模块DIR、和身份保持模块IRM。生成器模块由1个7*7卷积，2个3*3的卷积，9个残差块，2个3*3的反卷积和1个7*7的卷积构成，每个卷积层的输出会进行实例正则化操作，其中前半部分为编码过程，后半部分为解码过程；判别器模块由9个卷积层、5个最大池化层，2个全连接层和1个二分类层构成；身份保持模块IRM依次包含ResNet特征提取模块、特征归一化模块、特征空间映射模块；
构建了基于对抗损失、循环一致性损失、合成一致性损失、像素一致性损失和身份保持损失的复合型损失函数作为损失函数；使用可见光和红外线人脸预处理训练图像集并利用基于对抗损失、循环一致性损失、合成一致性损失、像素一致性损失和身份保持损失的复合型损失函数对跨光谱双向图像转换网络模型进行训练，得到训练好的跨光谱双向图像转换网络模型，保存各个情形下对应的参数，一共有两个网络模型，分别对应可见光与近红外的双向图像转换网络参数，和可见光与短波红外的双向图像转换网络参数
步骤4、使用训练好的网络模型进行图像生成。
具体而言，本实施例的步骤4将可见光和红外线人脸预处理测试图像输入至训练好的跨光谱双向图像转换网络模型进行图像双向转换，得到生成的可见光图像和生成的红外线图像。
步骤5、分别对可见光人脸预处理测试图像和生成的可见光图像、以及红外线人脸预处理测试图像和生成的红外线图像进行人脸匹配，分别得到可见光人脸匹配分数和红外线人脸匹配分数。
具体而言，本实施例的步骤5包括：
使用单光谱人脸特征提取模型如FaceNet对可见光人脸预处理测试图像和生成的可见光图像、以及红外线人脸预处理测试图像和生成的红外线图像进行特征提取并归一化，得到可见光人脸预处理测试图像特征向量和生成的可见光图像特征向量，以及红外线人脸预处理测试图像特征向量和生成的红外线图像特征向量；
采用计算特征向量的欧氏距离，对可见光人脸预处理测试图像特征向量和生成的可见光图像特征向量，以及红外线人脸预处理测试图像特征向量和生成的红外线图像特征向量进行计算，分别得到可见光人脸匹配分数矩阵和红外线人脸匹配分数矩阵；
根据所述可见光人脸匹配分数矩阵和红外线人脸匹配分数矩阵，分别计算可见光人脸匹配分数矩阵和红外线人脸匹配分数矩阵的FAR值、GAR值、EER值和d-prime值。
步骤6、进行决策融合，计算匹配结果，以实现跨光谱人脸识别，最后将跨光谱人脸识别结果输出到显示器中。
具体而言，本实施例步骤6包括：
构建基于GAR和d-prime的决策融合算法进行匹配分数融合；
将可见光人脸匹配分数矩阵与红外线人脸匹配分数矩阵依据决策融合算法进行融合；
使用融合后匹配分数进行人脸识别，通过计算所述融合后匹配分数矩阵的FAR值、GAR值、EER值和d-prime值，进行人脸识别，得到最终匹配结果。
本实施例提供的基于图像转换的跨光谱人脸识别监控设备，可以执行上述跨光谱人脸识别方法实施例，其实现原理和技术效果类似，在此不再赘述。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘Solid StateDisk(SSD))等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于图像转换的跨光谱人脸识别方法，其特征在于，所述基于图像转换的跨光谱人脸识别方法包括：
步骤一，获取可见光人脸图像集和红外线人脸图像集，并将可见光人脸图像集和红外线人脸图像集分别对应划分为可见光人脸训练和测试图像集、以及红外线人脸训练和测试图像集，对可见光人脸训练和测试图像集、以及红外线人脸训练和测试图像集分别进行预处理；
步骤二，构建可见光图像与红外线图像间的跨光谱双向图像转换网络模型，使用可见光和红外线人脸预处理训练图像集对跨光谱双向图像转换网络模型进行训练，得到训练好的跨光谱双向图像转换网络模型；
步骤三，将可见光和红外线人脸预处理测试图像输入至训练好的跨光谱双向图像转换网络模型进行图像双向转换，得到生成的可见光图像和生成的红外线图像；
步骤四，分别对可见光人脸预处理测试图像和生成的可见光图像、以及红外线人脸预处理测试图像和生成的红外线图像进行人脸匹配，分别得到可见光人脸匹配分数和红外线人脸匹配分数；
步骤五，将可见光人脸匹配分数和红外线人脸匹配分数使用决策融合算法进行匹配分数融合，使用融合后匹配分数进行人脸识别以实现跨光谱人脸识别。
2.如权利要求1所述基于图像转换的跨光谱人脸识别方法，其特征在于，所述步骤一中对可见光人脸训练和测试图像集、以及红外线人脸训练和测试图像集分别进行预处理以改善后续图像转换效果，并分别得到可见光人脸预处理训练图像集、可见光人脸预处理测试图像集、红外线人脸预处理训练图像集和红外线人脸预处理测试图像集；
所述可见光人脸训练图像集、可见光人脸测试图像集、红外线人脸训练图像集和红外线人脸测试图像集分别进行预处理得到可见光人脸预处理训练图像集、可见光人脸预处理测试图像集、红外线人脸预处理训练图像集和红外线人脸预处理测试图像集包括：
对可见光人脸训练图像集和可见光人脸测试图像集分别进行灰度转换、归一化处理得到可见光人脸预处理训练图像集和可见光人脸预处理测试图像集；
对红外线人脸训练图像集和红外线人脸测试图像集分别进行图像增强、归一化处理得到红外线人脸预处理训练图像集和红外线人脸预处理测试图像集。
3.如权利要求1所述基于图像转换的跨光谱人脸识别方法，其特征在于，所述步骤一具体过程为：
在进行图像双向转换前，对可见光人脸训练图像集、可见光人脸测试图像集、红外线人脸训练图像集和红外线人脸测试图像集中的人脸图像作归一化和对比度调整；
对可见光人脸训练图像集和可见光人脸测试图像集分别进行灰度转换、归一化处理得到可见光人脸预处理训练图像集和可见光人脸预处理测试图像集；
将可见光人脸图像集中的人脸图像首先进行灰度转换，转换为灰度图像，其灰度转换的公式设计具体如下：
Igray＝0.2989×R+0.5870×G+0.1140×B (1)
其中，R、G、B为可见光图像对应的RGB值，Igray为可见光图像进行灰度转换后输出的灰度图像；
然后，再将灰度图像Igray进行最大最小归一化处理，其归一化到[0，255]，归一化公式设计具体如下：
Figure FDA0003412957250000021
其中，In为灰度图像Igray进行归一化后图像输出，Imax和Imin分别为灰度图像Igray中的最大及最小灰度值；
对可见光人脸训练图像集和可见光人脸测试图像集中的每一幅可见光人脸训练图像、可见光人脸测试图像均分别通过上述公式(1)、公式(2)的处理，进而得到可见光人脸预处理训练图像集和可见光人脸预处理测试图像集；
对红外线人脸训练图像集和红外线人脸测试图像集分别进行图像增强、归一化处理得到红外线人脸预处理训练图像集和红外线人脸预处理测试图像集；
将红外线人脸训练图像集和红外线人脸测试图像集中的人脸图像首先使用log算子进行图像增强，其图像增强的公式设计具体如下：
Ie＝logc+1(1+cX) (3)
其中，Ie为图像增强后的图像，X为图像增强前的图像，c是调节对比度的参数，默认c＝10，c越大图像对比度增强越明显；
然后，再对增强后的图像Ie进行归一化处理，其归一化到[0，255]的归一化公式如上述公式(2)；
对红外线人脸训练图像集和红外线人脸测试图像集中的每一幅红外线人脸训练图像、红外线人脸测试图像均分别通过上述公式(3)、公式(2)的处理，进而得到红外线人脸预处理训练图像集和红外线人脸预处理测试图像集。
4.如权利要求1所述基于图像转换的跨光谱人脸识别方法，其特征在于，所述步骤二中构建可见光图像与红外线图像间的跨光谱双向图像转换网络模型，包括Vis-to-IR生成器模块、IR-to-Vis生成器模块、可见光判别器模块、红外线判别器模块和身份保持模块IRM；
可见光人脸训练图像作为Vis-to-IR生成器模块的输入，Vis-to-IR生成器模块的输出与IR-to-Vis生成器模块的输入连接；红外线人脸训练图像作为IR-to-Vis生成器模块的输入，IR-to-Vis生成器模块的输出与Vis-to-IR生成器模块的输入连接；可见光判别器模块的输入为可见光人脸训练图像和IR-to-Vis生成器模块输出，可见光判别器模块的输出为对两幅输入人脸图像的匹配结果，并作为对抗损失函数反向传导以更新网络参数，优化网络；红外线判别器模块的输入为红外线人脸训练图像和Vis-to-IR生成器模块的输出，红外线判别器模块的输出为对两幅输入人脸图像的匹配结果，作为对抗损失函数反向传导以更新网络参数，优化网络；身份保持模块包括依次连接的ResNet特征提取模块、特征归一化模块、特征空间映射模块；身份保持模块IRM的输入为可见光或红外线人脸训练图像和Vis-to-IR或IR-to-Vis生成器模块的输出；身份保持模块IRM的输出均为对两幅输入人脸图像特征提取、归一化后，在欧几里得空间中计算所得的欧氏距离，并将其作为身份保持损失函数，反向传导以更新网络参数，优化网络；
所述使用可见光和红外线人脸预处理训练图像集对跨光谱双向图像转换网络模型进行训练，得到训练好的跨光谱双向图像转换网络模型，具体过程为：
构建基于对抗损失、循环一致性损失、合成一致性损失、像素一致性损失和身份保持损失的复合型损失函数；
使用可见光和红外线人脸预处理训练图像集并利用基于对抗损失、循环一致性损失、合成一致性损失、像素一致性损失和身份保持损失的复合型损失函数对跨光谱双向图像转换网络模型进行训练，得到训练好的跨光谱双向图像转换网络模型。
5.如权利要求1所述基于图像转换的跨光谱人脸识别方法，其特征在于，所述步骤二中构建跨光谱双向图像转换网络模型的具体过程为：
跨光谱双向图像转换网络模型为一种鲁棒性高、且专门针对跨光谱图像转换的网络模型，构建可见光图像与红外线图像间的跨光谱双向图像转换网络模型，包括Vis-to-IR生成器模块G、IR-to-Vis生成器模块F、可见光判别器模块DVIS、红外线判别器模块DIR和身份保持模块IRM，其中，Vis-to-IR生成器模块G的输入与可见光人脸训练图像连接，Vis-to-IR生成器模块G的输出与IR-to-Vis生成器模块F的输入连接；IR-to-Vis生成器模块F的输入与红外线人脸训练图像连接，IR-to-Vis生成器模块F的输出与Vis-to-IR生成器模块G的输入连接；可见光判别器模块DVIS的输入为可见光人脸训练图像和IR-to-Vis生成器模块F输出，可见光判别器模块DVIS的输出为对两幅输入人脸图像的匹配结果，并作为对抗损失函数反向传导以更新网络参数，优化网络；红外线判别器模块DIR的输入为红外线人脸训练图像和Vis-to-IR生成器模块F的输出，红外线判别器模块DIR的输出为对两幅输入人脸图像的匹配结果，作为对抗损失函数反向传导以更新网络参数，优化网络；身份保持模块IRM包括依次连接的ResNet特征提取模块、特征归一化模块、特征空间映射模块；身份保持模块IRM的输入为可见光或红外线人脸训练图像和Vis-to-IR或IR-to-Vis生成器模块的输出；身份保持模块IRM的输出均为对两幅输入人脸图像特征提取、归一化后，在欧几里得空间中计算所得的欧氏距离，并将其作为身份保持损失函数，反向传导以更新网络参数，优化网络；
生成器模块采用自编码网络，该网络由1个卷积核为7*7的卷积层，2个卷积核为3*3的卷积层，9个残差块，2个卷积核为3*3的反卷积和1个卷积核为7*7的卷积层构成，每个卷积层的输出会进行正则化操作，其中前半部分为编码过程，后半部分为解码过程；判别器模块中网络由9个卷积层、5个最大池化层，2个全连接层和1个二分类层构成；身份保持模块网络依次包含ResNet特征提取模块、特征归一化模块、特征空间映射模块，分别对两幅输入人脸图像进行特征提取、归一化后，在欧几里得空间中计算所得的欧氏距离，并将其作为身份保持损失函数，反向传导以更新网络参数，优化网络；
6.如权利要求1所述基于图像转换的跨光谱人脸识别方法，其特征在于，所述步骤二中跨光谱双向图像转换网络模型的具体训练过程为：
使用可见光和红外线人脸预处理训练图像集对跨光谱双向图像转换网络模型进行训练，得到训练好的跨光谱双向图像转换网络模型；在模型训练过程中，构建基于对抗损失、循环一致性损失、合成一致性损失、像素一致性损失和身份保持损失的复合型损失函数，具体使用对抗损失、循环一致性损失、合成一致性损失、像素一致性损失和身份保持损失的总和作为该复合型损失函数；具体复合型损失函数的表达式如下：
Loss＝LGAN+λcycLcyc+λsynLsyn+λpcLpc+λIRMLIRM (4)
其中，LGAN、Lcyc、Lsyn、Lpc、LIRM分别表示对抗损失、循环一致性损失、合成一致性损失、像素一致性损失和身份保持损失；λcyc为Lcyc对应系数，λsyn为Lsyn对应系数，λpc为Lpc对应系数，λIRM为LIRM对应系数；上述系数用于调节各损失在复合型损失函数中所占比重；针对其实验特定数据集，其取值分别定为λcyc＝10，λsyn＝30，λpc＝10，λIRM＝10；
具体LGAN、Lcyc、Lsyn、Lpc及LIRM的设计分别如以下各式所示：
Figure FDA0003412957250000051
Lcyc(G,F)＝Ev～Pdata(V)[||F(G(v))-v||1]+Ei～Pdata(I)[||G(F(i))-i||1]…(6)
Lsyn(G,F)＝Ev～P(V),i～P(I)[||F(i)-F(G(v))||1]+Ev～P(V),i～P(I)[||G(v)-G(F(i))||1]……(7)
Lpc(G,F)＝Ev～P(V),i～P(I)[||v-F(i)||1]+Ev～P(V),i～P(I)[||i-G(v)||1]…(8)
Figure FDA0003412957250000052
其中，V和I分别表示跨光谱双向图像转换网络模型对应的可见光输入图像集和红外线输入图像集，v和i分别代表可见光和红外线输入图像的单个样本；LGAN(G,DIR,V,I)是由DIR对i的判别结果和对v经过G生成后的判别结果计算二元交叉熵损失值构成，LGAN(F,DVIS,I,V)由DVIS对v的判别结果和对i经过F生成后的判别结果计算二元交叉熵损失值构成；
其中Lcyc用来保证循环合成图像尽可能逼近原始图像，从而训练高精度生成器；由v经过G生成后再经过F循环生成的图像与v间的L1损失值，和由i经过F生成后再经过G循环生成的图像与i间的L1损失值构成；
其中Lsyn用来保证生成图像尽可能逼近循环合成图像，由i经过F生成后图像与v经过G生成后再经过F循环生成的图像间的L1损失值，和v经过G生成后图像与i经过F生成后再经过G循环生成的图像间的L1损失值构成；
其中Lpc用来保证跨光谱双向图像转换网络的图像低频成分的准确性，由v与i经过F生成图像的L1损失值，和i与v经过G生成图像的L1损失值构成；
其中LIRM用来保证双向图像转换过程中身份信息的准确与一致性，将原图像与生成的跨光谱图像同时输入至人脸特征提取网络，得到各自对应的维度为128的特征向量
Figure FDA0003412957250000053
和
Figure FDA0003412957250000061
再对这两个特征计算欧氏距离作为其损失值；
使用可见光和红外线人脸预处理训练图像集对跨光谱双向图像转换网络模型进行训练，得到训练好的跨光谱双向图像转换网络模型；通过上述公式(4)构建的跨光谱双向图像转换网络模型的复合型损失函数，基于复合型损失函数，并将可见光人脸预处理训练图像集和红外线人脸预处理训练图像集中人脸训练图像输入至跨光谱双向图像转换网络模型中进行训练，训练过程中采用反向传播算法训练跨光谱双向图像转换网络模型，从而得到最终训练好的跨光谱双向图像转换网络模型，用于后续得到生成的可见光图像和生成的红外线图像。
7.如权利要求1所述基于图像转换的跨光谱人脸识别方法，其特征在于，所述步骤四中分别对可见光人脸预处理测试图像和生成的可见光图像、以及红外线人脸预处理测试图像和生成的红外线图像进行人脸匹配，分别得到可见光人脸匹配分数和红外线人脸匹配分数包括：
使用标准的单光谱人脸特征提取模型对可见光人脸预处理测试图像和生成的可见光图像、以及红外线人脸预处理测试图像和生成的红外线图像进行特征提取并归一化，得到可见光人脸预处理测试图像特征向量和生成的可见光图像特征向量，以及红外线人脸预处理测试图像特征向量和生成的红外线图像特征向量；
采用计算特征向量的欧氏距离，对可见光人脸预处理测试图像特征向量和生成的可见光图像特征向量，以及红外线人脸预处理测试图像特征向量和生成的红外图像特征向量进行计算，分别得到可见光人脸匹配分数矩阵和红外线人脸匹配分数矩阵；
根据可见光人脸匹配分数矩阵和红外线人脸匹配分数矩阵，分别计算可见光人脸匹配分数矩阵和红外线人脸匹配分数矩阵的错误接受率(False accept rate,FAR)、真实接受率(Genuine accept rate，GAR)、等错误率(Equal error rate,EER)和规范化间距(d-prime)。
8.如权利要求1所述基于图像转换的跨光谱人脸识别方法，其特征在于，所述步骤五中可见光人脸匹配分数和红外线人脸匹配分数使用决策融合算法进行匹配分数融合，使用融合后匹配分数进行人脸识别以实现跨光谱人脸识别具体过程为：
构建基于GAR和d-prime的决策融合算法，根据基于GAR和d-prime的决策融合算法将可见光人脸匹配分数矩阵与红外线人脸匹配分数矩阵进行决策融合；
使用融合后匹配分数进行人脸识别，通过计算融合后匹配分数矩阵的FAR值、GAR值、EER值和d-prime值，进行人脸识别，以实现跨光谱人脸识别。
9.如权利要求1所述基于图像转换的跨光谱人脸识别方法，其特征在于，所述步骤五中具体过程为：将可见光人脸匹配分数和红外线人脸匹配分数归一化后使用决策融合算法进行匹配分数融合，使用融合后匹配分数进行人脸识别以实现跨光谱人脸识别；
构建基于GAR和d-prime的决策融合算法进行匹配分数融合，计算得到融合后匹配分数MatchScore，具体公式设计如下：
当d-primeV＞d-primeI时：
Figure FDA0003412957250000071
当d-primeV＜d-primeI时：
Figure FDA0003412957250000072
当d-primeV＝d-primeI时：
Figure FDA0003412957250000073
最终的融合分数为：
MatchScore＝w1×MatchScoreV+w2×MatchScoreI (13)
其中，GV和d-primeV分别为可见光人脸匹配分数的GAR值和d-prime值，GI和d-primeI分别为红外线人脸匹配分数的GAR值和d-prime值，MatchScoreV和MatchScoreI分别为可见光匹配分数和红外线匹配分数，w1和w2为融合过程中通过融合公式计算出的权值；采取上述融合策略根据两个匹配分数的GAR值，自适应计算融合权值，并保证d-prime值小的匹配矩阵融合权重大于1/2，以达到提升融合效果及匹配度的目的；
基于GAR和d-prime的决策融合算法将可见光人脸匹配分数矩阵与红外线人脸匹配分数矩阵根据公式(14)进行决策融合；使用融合后匹配分数MatchScore进行人脸识别，通过计算融合后匹配分数矩阵的FAR值、GAR值、EER值和d-prime值，以实现跨光谱人脸识别。
10.一种基于图像转换的跨光谱人脸识别的监控设备，其特征在于，所述监控设备包括可见光摄像头及红外线摄像头、视频录像机、只读存储器、显示器、路由器、外部硬盘和电源，所述只读存储器存储有跨光谱人脸识别计算机程序，所述视频录像机用于执行计算机程序及控制整套监控设备的信息交互，所述计算机程序被所述视频录像机执行时，使得所述监控设备执行权利要求1～8任意一项所述的基于图像转换的跨光谱人脸识别方法的步骤。
CN202111535305.9A 2021-12-15 2021-12-15 一种基于图像转换的跨光谱人脸识别方法及监控设备 Pending CN114399807A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111535305.9A CN114399807A (zh) 2021-12-15 2021-12-15 一种基于图像转换的跨光谱人脸识别方法及监控设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111535305.9A CN114399807A (zh) 2021-12-15 2021-12-15 一种基于图像转换的跨光谱人脸识别方法及监控设备

Publications (1)

Publication Number Publication Date
CN114399807A true CN114399807A (zh) 2022-04-26

Family

ID=81226089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111535305.9A Pending CN114399807A (zh) 2021-12-15 2021-12-15 一种基于图像转换的跨光谱人脸识别方法及监控设备

Country Status (1)

Country Link
CN (1) CN114399807A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117611442A (zh) * 2024-01-19 2024-02-27 第六镜科技(成都)有限公司 一种近红外人脸图像生成方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117611442A (zh) * 2024-01-19 2024-02-27 第六镜科技(成都)有限公司 一种近红外人脸图像生成方法

Similar Documents

Publication Publication Date Title
Kuang et al. Single infrared image optical noise removal using a deep convolutional neural network
Ma et al. GANMcC: A generative adversarial network with multiclassification constraints for infrared and visible image fusion
Wan et al. Automated colorization of a grayscale image with seed points propagation
Yang et al. Infrared and visible image fusion via texture conditional generative adversarial network
CN109815893B (zh) 基于循环生成对抗网络的彩色人脸图像光照域归一化的方法
CN111539247B (zh) 一种超光谱人脸识别方法、装置、电子设备及其存储介质
CN109145745B (zh) 一种遮挡情况下的人脸识别方法
CN110059586B (zh) 一种基于空洞残差注意力结构的虹膜定位分割系统
US20210019872A1 (en) Detecting near-duplicate image
CN109544497A (zh) 用于输电线路检测的图像融合方法及电子设备
US20070296730A1 (en) Texture synthesis using dimensionality-reduced appearance space
CN102117413A (zh) 基于多层特征的不良图像自动过滤方法
US11887341B2 (en) Systems and methods for hue based encoding of a digital image
CN111539246A (zh) 一种跨光谱人脸识别方法、装置、电子设备及其存储介质
CN112052730B (zh) 一种3d动态人像识别监控设备及方法
Luo et al. ClawGAN: Claw connection-based generative adversarial networks for facial image translation in thermal to RGB visible light
CN113537111A (zh) 基于双支路深度卷积网络的虹膜分割方法
CN109409305A (zh) 一种人脸图像清晰度评价方法及装置
Wang et al. Infrared and visible image fusion via decoupling network
CN116229528A (zh) 一种活体掌静脉检测方法、装置、设备及存储介质
CN114399807A (zh) 一种基于图像转换的跨光谱人脸识别方法及监控设备
CN105809132B (zh) 一种改进的压缩感知人脸识别方法
Zheng et al. Overwater image dehazing via cycle-consistent generative adversarial network
CN117576755A (zh) 一种超光谱人脸融合与识别方法、电子设备及存储介质
Pathak et al. Multimodal eye biometric system based on contour based E-CNN and multi algorithmic feature extraction using SVBF matching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination