CN111695407A - 基于多光谱融合的性别识别方法、系统、存储介质及终端 - Google Patents

基于多光谱融合的性别识别方法、系统、存储介质及终端 Download PDF

Info

Publication number
CN111695407A
CN111695407A CN202010328440.5A CN202010328440A CN111695407A CN 111695407 A CN111695407 A CN 111695407A CN 202010328440 A CN202010328440 A CN 202010328440A CN 111695407 A CN111695407 A CN 111695407A
Authority
CN
China
Prior art keywords
fusion
multispectral
neural network
sub
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010328440.5A
Other languages
English (en)
Other versions
CN111695407B (zh
Inventor
赵恒�
曹志诚
秦国立
庞辽军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010328440.5A priority Critical patent/CN111695407B/zh
Publication of CN111695407A publication Critical patent/CN111695407A/zh
Application granted granted Critical
Publication of CN111695407B publication Critical patent/CN111695407B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于数字图像处理和模式识别技术领域，公开了一种基于多光谱融合的性别识别方法、系统、存储介质及终端，采用多个波段的摄像头采集人脸图像并做图像预处理；卷积神经网络模块用于后续人脸图像特征学习；分别对可见光和各子波段红外线进行预训练，得到各自的预训练模型参数；将可见光和各子波段红外线对应的网络模块进行并联，并在网络末端增加一个多光谱特征融合层；在并联融合式神经网络后面添加全连接层进行识别分类，并用多光谱数据进行重新训练以得到最终性别识别结果。本发明在实现时的具体融合子波段可从可见光、近红外、短波红外、中波红外与长波红外等五个子波段中任选与组合；具有高精度的特点以及较强的鲁棒性。

Description

基于多光谱融合的性别识别方法、系统、存储介质及终端
技术领域
本发明属于数字图像处理和模式识别技术领域，尤其涉及一种基于多光谱融合的性别识别方法、系统、存储介质及终端。
背景技术
目前，当今世界已全面进入信息化时代，现代社会里的性别信息则是一个不容忽视的重要人口属性。近年来，由于人口属性的性别信息被广泛地应用在人员监控、人口研究、内容索引、投放目标广告等领域，使用计算机视觉技术来识别性别属性的研究已经获得了极大的关注度。
传统性别识别方法多以各类手动设计的特征提取算子与分类器为基础，该类方法设计复杂，精度不高，鲁棒性差，难以对复杂环境下的目标进行准确的性别识别判断，因此传统方法越来越难以满足当下的性别识别需求。而随着卷积神经网络的飞速发展，它已经在计算机视觉领域取得了巨大的成功，逐渐成为了解决各类计算机视觉任务的主流方法之一。相较于传统方法，一方面，卷积神经网络关于输入图像特征提取的精确程度可以通过改变网络深度，调整网络宽度进行调节；另一方面，扩大网络的数据输入，利用现在大数据的优点，将会有效提高判断识别的效果。另一方面，目前性别识别技术大多采用可见光成像手段，该类技术局限于白天光线充足的良好条件下，在光线不足和恶劣气候等环境下通常表现不佳，难以满足现实世界中各种复杂环境。因此，将红外线成像手段与可见光成像手段结合起来可以形成高精度和鲁棒性强的巨大优势。首先，引入红外线成像手段具有背景光线要求低、雨天雾天等气候下成像等等优势，弥补了可见光成像在诸多恶劣环境下的不足；其次，将可见光与红外线等多个波段结合起来的多光谱性别识别思路，可避免人脸特征提取时有用面部信息的利用受到限制。多光谱特征融合技术可充分利用红外图像中的热辐射信息或皮肤反射属性与可见光图像中的详细纹理信息，得到更高性别识别精度与更强鲁棒性，从而满足现实世界中各种复杂环境下的性别识别需求。
通过上述分析，现有技术存在的问题及缺陷为：
(1)传统性别识别方法多以各类手动设计的特征提取算子与分类器为基础，该类方法设计复杂，精度不高，鲁棒性差，难以对复杂环境下的目标进行准确的性别识别判断，越来越难以满足当下的性别识别需求。
(2)目前性别识别技术大多采用可见光成像手段，该类技术局限于白天光线充足的良好条件下，在光线不足和恶劣气候等环境下通常表现不佳，难以满足现实世界中各种复杂环境。
为了解决上诉问题及缺陷，其难度在于：
(1)需要摒弃传统性别识别技术普遍采用手动设计算子的做法，提出新的基于深度学习的性别识别方法，自主设计基于卷积神经网络的性别识别算法。而新自主设计的卷积神经网络必须具备精度高和鲁棒性强的特性，其性能需要进行大量的实验验证。
(2)为了弥补现有基于可见光成像的性别识别技术的缺陷，需要引入包含红外线各波段的多光谱成像手段。而多光谱成像用于性别识别的可行性尚属未知，需要进行实验验证。此外，多光谱摄像头采集的多光谱人脸数据往往无法直接使用，需要做必要的预处理和图像增强等，这也是基于多光谱性别识别的难点之一。
(3)为了体现多光谱性别识别优于单纯可见光的优势，需要设计基于深度学习的且可同时输入多个光谱图像的新型融合式网络。怎样设计包含特征融合层的卷积神经网络结构、从而实现多光谱特征融合是一个十分挑战的任务，目前业内对于该问题的研究尚且少见。
解决以上问题及缺陷，其意义在于：
(1)利用深度学习理论，提出新的自动特征提取及性别识别方法。该方法保障其在各个波段下的准确率，相比其传统方法具有更高的识别性能、更强的鲁棒性。
(2)通过采用多光谱成像技术和设计多光谱特征融合网络，实现了多光谱性别识别这一新技术，从而弥补了传统基于单纯可见光的性别识别准确率不高或不可行的缺陷，在光线不足和恶劣气候等环境下亦可使用，满足现实世界中各种复杂环境的需求。
发明内容
针对现有技术存在的问题，本发明提供了一种基于多光谱融合的性别识别方法、系统、存储介质及终端。
本发明是这样实现的，一种基于多光谱融合的性别识别方法，所述基于多光谱融合的性别识别方法采用多个波段的摄像头采集人脸图像并做图像预处理；设计基础卷积神经网络模块并用于后续人脸图像特征学习；使用基础卷积神经网络模块分别对可见光和各子波段红外线进行预训练，得到各自的预训练模型参数；将可见光和各子波段红外线对应的网络模块进行并联，并在网络末端增加一个多光谱特征融合层；在并联融合式神经网络后面添加全连接层进行识别分类，并用多光谱数据进行重新训练以得到最终性别识别结果。
进一步，所述基于多光谱融合的性别识别方法包括：
步骤一，使用多个光谱子波段的摄像头进行人脸图像采集，并对各个子波段的人脸图像进行相适应的预处理，得到质量增强后的多光谱人脸图像；
步骤二，设计一个通用的基础卷积神经网络模块，通过基础卷积神经网络模块对后续的各光谱人脸图像进行特征学习；
步骤三，先使用可见光下的数据集在这个基础卷积神经网络模块下进行预训练，得到识别结果，并保存参数，其模型记为Net1；再使用近红外线下的数据集对基础卷积神经网络模块重新开始进行预训练，得到识别结果，保存参数，其模型为Net2；使用短波红外线的数据对未经训练过的基础卷积神经网络模块进行预训练，得到识别结果，保存参数，其模型为Net3；使用中波红外的数据对未经训练过的基础卷积神经网络模块进行预训练，得到识别结果，保存参数，其模型为Net4；最后，使用长波红外的数据对未经训练过的基础卷积神经网络模块进行预训练，得到识别结果，保存参数，其模型为Net5；
步骤四，通过步骤二、三之后，将可见光、近红外线、短波红外线、中波红外线、长波红外线五个子波段对应的基础网络模块Net1，Net2，Net3，Net4，Net5进行并联，并在网络模块的末端增加一个特征融合层；
步骤五，基于步骤四，对五个预训练的卷积神经网络模型Net1，Net2，Net3，Net4，Net5进行并联与特征融合之后，在特征融合层之后加入全连接层以进行最后识别分类任务，并用多光谱数据进行重新训练以得到最终识别结果，在可见光、近红外、短波红外、中波红外和长波红外子波段中进行任意选取组合。
进一步，所述步骤一多光谱人脸图像采集与图像预处理包括：采用可见光、近红外、短波红外、中波红外和长波红外波段的摄像头进行人脸图像采集；并对各子波段的人脸图像进行相适应的预处理，其中可见光图像转换为灰度图像并做归一化处理，近红外做基于直方图均衡化的对比度增强处理，短波红外做基于对数非线性变换的对比度增强处理，中波红外与长波红外做基于解卷积神经网络的图像增强处理。
进一步，所述步骤二的基础卷积神经网络模块，由4个卷积层、4个池化层和2个全连接层构成，且在2个全连接层中还引入了一个随机失活层。
进一步，所述步骤三得到各模型的参数包括：
(1)使用设计的卷积神经网络结构去进行训练，保存各个情形下对应的参数，一共有五个网络模型，分别对应可见光，近红外，短波红外，中波红外，长波红外五个情形；
(2)每种子波段情形下的数据集均被划分为训练集和测试集两个部分，训练集所占比例为3/4，测试集所占比例为1/4。
进一步，所述步骤四的特征融合包括：
(1)各子波段情形下的网络模型输出各自对应的特征图，即x1，x2，x3，x4，x5，这里的每个特征xi(i＝1，2，3，4，5)，都是1×m的向量；
(2)对各特征图分别赋予权值∝i(i＝1，2，3，4，5)，权值∝i也是1×m的向量；
(3)将各特征图xi与各权值∝i对应相乘后再级联，得到多光谱融合特征图xf。xf是1×5m的向量。其运算过程如下：
∝i＝[∝11，∝21，∝31，…，∝m1]T (1)
其中i＝1，2，3，4，5；
xi＝[x11，x21，x31，...，xm1]T (2)
其中i＝1，2，3，4，5；
xf＝[∝1*x1，∝2*x2，∝3*x3，∝4*x4，∝5*x5] (3)
此处，xf为同一对象在五种波段情形下采集的人脸图像进行特征融合后的特征图，符号*代表向量元素点乘运算。∝i之间满足关系：∝1+∝2+∝3+∝4+∝5＝I。
所述步骤五的基于多光谱融合的性别识别方法包括：
(1)将各子波段情形的网络模型参数导入，继续使用多光谱人脸数据集进行训练融合网络，即通过训练特征融合层权值和分类的全连接层参数来进行识别分类；
(2)然后输入待测试的识别对象，通过步骤二所设计的卷积神经网络结构，得到特征图，进行特征融合，最后得到识别分类的预测结果。
本发明的另一目的在于提供一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行权利要求任意一项所述包括下列步骤：采用多个波段的摄像头采集人脸图像并做图像预处理；设计基础卷积神经网络模块并用于后续人脸图像特征学习；使用基础卷积神经网络模块分别对可见光和各子波段红外线进行预训练，得到各自的预训练模型参数；将可见光和各子波段红外线对应的网络模块进行并联，并在网络末端增加一个多光谱特征融合层；在并联融合式神经网络后面添加全连接层进行识别分类，并用多光谱数据进行重新训练以得到最终性别识别结果。
本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述的性别识别方法。
本发明的另一目的在于提供一种实施所述基于多光谱融合的性别识别方法的基于多光谱融合的性别识别系统，所述基于多光谱融合的性别识别系统包括：
图像预处理模块，用于采用多个波段的摄像头采集人脸图像并做图像预处理；
人脸图像特征学习模块，用于设计基础卷积神经网络模块并用于后续人脸图像特征学习；
预训练模型参数获取模块，用于使用该网络模块分别对可见光和各子波段红外线进行预训练，得到各自的预训练模型参数；
网络模块并联模块，用于将可见光和各子波段红外线对应的网络模块进行并联，并在网络末端增加一个多光谱特征融合层；
识别分类模块，用于在并联融合式神经网络后面添加全连接层进行识别分类，并用多光谱数据进行重新训练以得到最终性别识别结果。
本发明的另一目的在于提供一种终端，所述终端搭载所述的基于多光谱融合的性别识别系统。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明自主设计了一个基础卷积神经网络模块，该模块具有良好的特征提取能力，通过该模块对输入的人脸图像进行特征学习；与此同时，本发明提出在网络的输入端分别增加可见光、近红外、短波红外、中波红外和长波红外下的多波段人脸图像，并在网络的末端进行特征融合，来解决在复杂多变环境下的性别识别问题，改善现存方法的不足，提高识别的精度。
与现有技术相比，本发明具有以下优点：
(1)本发明设计了用于面部特征提取的基础卷积神经网络模块，该模块具有计算量小、特征学习能力强的优点。
(2)本发明提出的多光谱特征融合思路，即先使用同一个基础网络模块去训练不同摄像头下的同一待识别对像，以得到不同子波段下的模型和参数，再对各子波段的特征进行融合和重新训练得到最终多光谱性别识别模型和参数，该思路能适应更多更复杂的情形，例如在夜晚、远距离等复杂性别识别环境；并且能显著提升性别识别准确率和鲁棒性。
(3)本发明利用前面的设计基础，可以根据采集设备和实际任务的精度需求，灵活改动输入图像的种类，调整网络的并联结构，基于该设计在实际使用中，比传统方法具有更好的灵活性，更高的精度，能应对更加复杂多变的情形。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于多光谱融合的性别识别方法流程图。
图2是本发明实施例提供的基于多光谱融合的性别识别方法实现流程图。
图3是本发明实施例提供的用于中波长波红外人脸增强的基于盲解卷积原理的反卷积网络结构图。
图4是本发明实施例提供的基础神经网络模块结构图。
图5是本发明实施例提供的特征融合层、共享全连接层的详细结构图。
图6是本发明实施例提供的一种多光谱融性别识别方法的总体网络结构图。
图7是本发明实施例提供的多光谱人脸图像样例图。
图8是本发明实施例提供的一种多光谱融合性别识别系统示意图。
图9是本发明实施例提供的一种多光谱融合性别识别计算机程序流程图。
图10是本发明实施例提供的一种多光谱融合性别识别存储介质示意图。
图11是本发明实施例提供的一种多光谱融合性别识别终端示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
针对现有技术存在的问题，本发明提供了一种基于多光谱融合的性别识别方法。
如图1所示，本发明提供的基于多光谱融合的性别识别方法包括以下步骤：
S101：采用多个波段的摄像头采集人脸图像并做相应图像预处理；
S102：设计基础卷积神经网络模块并用于后续人脸图像特征学习；
S103：使用该网络模块分别对可见光和各子波段红外线进行预训练，得到各自的预训练模型参数；
S104：将可见光和各子波段红外线对应的网络模块进行并联，并在网络末端增加一个多光谱特征融合层；
S105：在并联融合式神经网络后面添加全连接层进行识别分类，并用多光谱数据进行重新训练以得到最终性别识别结果。
下面结合附图对本发明的技术方案作进一步的描述。
如图2所示，本发明提供的基于多光谱融合的性别识别方法包括以下步骤：
步骤一，首先开启设备上的对应多个光谱子波段的摄像头，采用可见光、近红外、短波红外、中波红外和长波红外等波段进行人脸图像采集；并对各子波段的人脸图像进行相适应的预处理，其中可见光图像转换为灰度图像并做归一化处理，近红外做基于直方图均衡化的对比度增强处理，短波红外做基于对数非线性变换的对比度增强处理，中波红外与长波红外做基于解卷积神经网络的图像增强处理。此外，为了避免因数据划分过程引入额外的偏差对识别的性能产生影响，所以保证了各个波段数据分布是一致的，即令各个波段的数据量相等。
具体而言，采用普通可见光相机进行可见光人脸图像采集，采用750-1000nm的近红外波段进行近红外人脸图像采集，采用1-3μm的短波红外波段进行短波红外人脸图像采集，采用3-5μm的中波红外波段进行中波红外人脸图像采集，采用8-14μm的长波红外波段进行长波红外人脸图像采集。
对可见光人脸图像进行预处理时，使用以下公式将其转换为灰度图像：
Igray＝0.299×R+0.587×G+0.114×B；
然后使用以下公式归一化到[0，255]：
Figure BDA0002464073540000091
这里Igray为可见光灰度化后的图像，In为归一化后的灰度图像，Imax和Imin分别为可见光图像的最大及最小灰度值。
对于红外图像，本发明将短波红外(SWIR)数据集图像使用以下公式进行了log变换：
I＝log(1+x)；
其中I为人脸图像，然后再将其使用步骤(1)中同样的方法归一化到[0,255]。
对于近红外(NIR)数据集图像先使用上述公式转换为灰度图像，再通过以下公式进行直方图均衡化(Histogram equalization)：
Figure BDA0002464073540000092
Figure BDA0002464073540000093
Figure BDA0002464073540000094
其中，ni代表灰度值i出现的次数，Imax和Imin分别为可见光图像的最大及最小灰度值，L为均衡化后的灰度级数，为256。px(i)为该灰度值在图像中出现的概率，cdfx(i)为该灰度值的累计值，h(i)为原图像灰度值进行均衡化后的灰度值，round表示将求得的灰度值进行四舍五入。
对于中波红外(MWIR)和长波红外(LWIR)数据集图像，基于盲解卷积(blinddeconvolution)原理，采用了卷积神经网络的图像解卷积技术进行图像增强的预处理，该网络的具体结构如图3所示。首先将采集的人脸图像(其尺寸大小为120×120)，通过卷积核大小为1×60×32的卷积层，再通过卷积核大小60×1×32的卷积层，得到61×61×32的图像特征。接着通过卷积核大小为1×1×256的卷积层，继续通过1×1×512的卷积层，得到61×61×512的图像特征。最后通过卷积核大小为60×60×512的反卷积层，得到盲解卷积的结果，即原始图像的增强图像，其大小尺寸重建为原来的120×120。
步骤二，设计一个通用的基础卷积神经网络模块，通过该网络模块对后续的各光谱人脸图像进行特征学习。该基础卷积神经网络模块由4个卷积层、4个池化层和2个全连接层构成，且在2个全连接层中还引入了一个随机失活层(dropout)。该基础网络模块的结构如图4所示。
具体来说，本步骤的基础卷积神经网络模块的网络连接方式为：将采集的人脸图像通过预处理，与第一卷积层C1连接，通过第一池化层P1。第一池化层P1的输出与第二卷积层C2的输入连接，再通过第二池化层P2的输出，与第三卷积层C3的输入连接，得到第三池化层P3的输出。最后将其与第四卷积层C4的输入连接，通过第四池化层P4得到人脸图像的特征，即整个网络的特征提取层部分。之后通过第一独立全连接层FC1与第二独立全连接层FC2得到基础卷积神经网络模块的分类结果。
步骤三，分别将可见光、近红外、短波红外、中波红外、长波红外的数据集，输入到卷积神经网络中，进行训练后，保存各自的模型参数，分别记为Net1，Net2，Net3，Net4，Net5。
具体来说，先使用可见光下的数据集在这个基础卷积神经网络模块下进行预训练，得到识别结果，并保存参数，其模型记为Net1；类似的，再使用近红外线下的数据集对基础卷积神经网络模块重新开始进行预训练，得到识别结果，保存参数，其模型为Net2；再类似的，使用短波红外线的数据对未经训练过的基础卷积神经网络模块进行预训练，得到识别结果，保存参数，其模型为Net3；再类似的，使用中波红外的数据对未经训练过的基础卷积神经网络模块进行预训练，得到识别结果，保存参数，其模型为Net4；最后，使用长波红外的数据对未经训练过的基础卷积神经网络模块进行预训练，得到识别结果，保存参数，其模型为Net5；
步骤四，通过步骤一至步骤三之后，同时载入可见光、近红外、短波红外、中波红外、长波红外的预训练保存的参数，并输入训练集图像，从而输出得到五个网络各自的特征图。在此基础上再进行进一步的特征融合，得到性别识别的整个网络结构。本步骤的特征融合网络层如图5前端浅灰色部分所示，包含各子波段情形下的2个独立全连接层和后续的1个共享全连接层。
具体来说，将Net1，Net2，Net3，Net4，Net5等五个子波段对应的基础网络模块进行并联，在网络模块的末端增加特征融合层，即对五个网络输出得到的特征图x1，x2，x3，x4，x5，分别搭配权值∝1，∝2，∝3，∝4，∝5得到融合之后的特征图xf，其运算过程如下：
∝i＝[∝11，∝21，∝31，...，∝m1]T (1)
其中i＝1，2，3，4，5。这里的每个权值是1×m的向量；
xi＝[x11，x21，x31，...，xm1]T (2)
其中i＝1，2，3，4，5。这里的每个特征xi(i＝1，2，3，4，5)，也是1×m的向量；
xf＝[∝1*x1，∝2*x2，∝3*x3，∝4*x4，∝5*x5] (3)
此处，xf为同一对象在五个情形下采集的人脸图像进行特征融合后的特征图，即1×5m的向量。xi与∝i是元素点乘关系(符号*代表向量元素点乘运算)，即每个子波段下的特征图向量各元素与权值向量的各元素对应相乘。各向量元素点乘之后进行首尾相连，得到最终融合特征图。同时，为了保证融合后的特征图的归一化，∝i之间满足关系：∝1+∝2+∝3+∝4+∝5＝I，其中I是各分量均为1的1×m向量。
步骤五，基于步骤四，对五个预训练的卷积神经网络模型Net1，Net2，Net3，Net4，Net5进行并联与特征融合之后，在特征融合层之后加入全局性质的共享全连接层(sharedfull connection，SFC)以进行最后的识别分类任务，并用多光谱数据进行重新训练以得到最终并联融合式多光谱性别识别网络的模型与参数。本步骤的分类层如图5后端深灰色部分所示。
具体来说，本步骤的分类层是由两个全局性质的共享全连接层构成，即图5中的第二共享全连接层(SFC2)和第三共享全连接层(SFC3)。承接步骤四，第一共享全连接层SFC1(即步骤四特征融合模块的最后一层)的输出与第二共享全连接层SFC2的输入连接，第二共享全连接层SFC2的输出与第三共享全连接层SFC3的输入连接，在第三共享全连接层的输出即是多个光谱进行特征融合之后的分类结果。
值得注意的是，该方法的具体多光谱波段可根据实际采集设备条件以及任务所需的精度要求，在可见光、近红外、短波红外、中波红外和长波红外等子波段中进行任意选取组合。
最后测试阶段，重新启动摄像头，采集待识别对象的可见光、近红外、短波红外、中波红外、长波红外图像(即测试图像)，输入到系统中，在经过上述步骤所述的多光谱特征融合网络之后，得到性别识别的结果。
本发明设计的多光谱特征融合网络的详细结构图如图6所示，具体网络参数如表1所总结。
表1多光谱特征融合网络的参数总结
Figure BDA0002464073540000121
Figure BDA0002464073540000131
下面结合实验对本发明的技术效果作详细的描述。
本发明设计以下实验从实际性别识别性能角度进行论证：
1、实验设置
在PC机的Python 3.6环境下进行仿真，PC机配置i7-3770处器，主频为3.4-GHz，显卡Nvidia Quadro M2000，实验数据来自公开的数据集TINDERS和CASIA(NIR-VIS 2.0)，前者为西佛吉里亚大学公开的可见光、近红外、短波红外数据库(多光谱样例人脸如图7所示)，后者为中科院公开的来自700余亚洲人的可见光与近红外数据库。其数据集采集信息的总结如表2所示。
表2实验数据集总结
Figure BDA0002464073540000132
2、实验结果与分析
实验1：用本发明提供的方法，在TINDERS数据集下进行了性别识别对比试验，结果如表3所示。具体来说，实验中分别输入可见光(Visible)、近红外(NIR)、短波红外(SWIR)等波段人脸数据，然后通过保存训练后的网络参数，可见光情形保存为网络一，近红外情形保存为网络二，短波红外情形保存为网络三。再通过Python中的Keras深度学习框架同时调用三种网络的网络参数，进行三种情形下人脸图像并联输入的特征融合。
表3中可以看出，单一的可见光网络一的识别准确率能达到93.75％，近红外网络二能达到94.85％，短波红外能达到91.28％，当三个网络进行特征融合的准确率是97.43％。该对比结果明显证明了本发明提供的采用多光谱特征融合的方法相对于传统不进行光谱融合的方法(即单纯可见光或单纯红外线)有明显的识别性能提升。
另一方面，为了说明本发明基于深度学习的基础卷积网络模块的优越性，我们将本发明方法与传统非深度学习的方法(如表中所示的C-LBP算法和HOG算法)进行对比，对比时只涉及可见光单光谱，不进行光谱融合。结果显示，本发明方法(仅基础网络)的可见光识别准确率(93.75％)比C-LBP算法的可见光识别准确率高出2.05％，也比HOG算法的可见光识别准确率高出1.44％。该对比结果明显证明了本发明基于深度学习的识别方法相对于传统非深度学习方法有明显的识别性能提升。
综上结果，本发明提供的基于多光谱融合的方法比传统基于单光谱的性别识别方法准确度更高；多光谱的引入还解决了传统基于可见光识别方法存在的夜间等恶劣环境不能进行工作的问题。
表3 TINDERS数据集下本发明方法和其他方法性别识别性能对比
Figure BDA0002464073540000141
实验2：用本发明提供的方法在CASIA数据集下进行了性别识别对比试验，结果如表4所示。具体来说，实验中分别输入可见光(Visible)和近红外(NIR)，然后通过保存训练后的网络参数，可见光情形保存为网络一，近红外情形保存为网络二。再通过Python中的Keras深度学习框架实现可见光与近红外的并联输入，最后调用之前训练的网络进行特征提取，进行两种情形下人脸图像的特征融合。
从表4可以看出，一方面，采用本发明方法时，单一的可见光网络一的识别准确率能达到92.03％，单一的近红外网络二能达到92.45％，当两个网络进行特征融合后的准确率是96.57％。该对比结果明显证明了本发明提供的采用多光谱特征融合的方法相对于传统不进行光谱融合的方法(即单纯可见光或单纯红外线)有明显的识别性能提升。另一方面，采用本发明方法的基础神经网络模块时，对比传统非深度学习方法，其中传统的C-LBP算法在可将光条件下准确率为84.53％，传统的HOG算法在可将光条件下准确率为85.87％，而本发明方法的准确率为92.03％。相比而言，本发明方法具有十分明显的性能提升作用。
表4 CASIA数据集下本发明方法和其他方法性别识别性能对比
Figure BDA0002464073540000151
以上实验均表明，本发明的基于特征融合的多光谱性别识别方法能够显著提高性别识别的准确度，较传统的相比识别方法有准确率更改、鲁棒性更强且能解决传统单纯可见光性别识别方法无法在夜间等恶劣环境下工作的缺陷。
实施例2
在上述实施例1的基础上，请参见图8，图8是本发明实施例提供的一种多光谱融合的性别识别系统示意图。本发明实施例提供了一种多光谱融合的性别识别系统，该系统包括：
图像采集与预处理模块，用于可见光和红外线多个波段的多光谱人脸图像采集与图像预处理。
具体而言，本发明实施例的图像采集与预处理模块采用可见光、近红外、短波红外、中波红外和长波红外波段的摄像头进行人脸图像采集；并对各子波段的人脸图像进行相适应的预处理，其中可见光图像转换为灰度图像并做归一化处理，近红外做基于直方图均衡化的对比度增强处理，短波红外做基于对数非线性变换的对比度增强处理，中波红外与长波红外做基于解卷积神经网络的图像增强处理。
人脸图像特征学习模块，用于设计基础卷积神经网络模块并用于后续人脸图像特征学习。
具体而言，本发明实施例的人脸图像特征学习模块由4个卷积层、4个池化层和2个全连接层构成，且在2个全连接层中还引入了一个随机失活层。
预训练模型参数获取模块，用于使用基础网络模块分别对可见光和各子波段红外线进行预训练，得到各自的预训练模型参数。
具体而言，本发明实施例的预训练模型参数获取模块包括：
(1)使用设计的卷积神经网络结构去进行训练，保存各个情形下对应的参数，一共有五个网络模型，分别对应可见光，近红外，短波红外，中波红外，长波红外五个情形；
(2)每种子波段情形下的数据集均被划分为训练集和测试集两个部分，训练集所占比例为3/4，测试集所占比例为1/4。
多光谱融合模块，用于将可见光和各子波段红外线对应的网络模块进行并联融合，并在网络末端增加一个多光谱特征融合层。
具体而言，本发明实施例的多光谱融合模块对各子波段情形下的特征图xi(i＝1，2，3，4，5)赋予权值∝i(i＝1，2，3，4，5)，再将各特征图与其相应权值对应相乘，随后再级联起来得到多光谱融合特征图xf。其运算过程可表达为：xf＝[∝1*x1，∝2*x2，∝3*x3，∝4*x4，∝5*x5]。
识别分类模块，用于在并联融合式神经网络后面添加全连接层进行识别分类，并用多光谱数据进行重新训练以得到最终性别识别结果。
具体而言，本发明实施例的识别分类模块将各子波段情形的网络模型参数导入，继续使用多光谱人脸数据集进行训练融合网络，即通过训练特征融合层权值和分类的全连接层参数来进行识别分类；然后输入待测试的识别对象，通过人脸图像特征学习模块得到特征图，进行特征融合，最后得到识别分类的预测结果。
本发明实施例提供的一种基于多光谱融合的性别识别系统，可以执行上述基于多光谱融合的性别识别实施例，其实现原理和技术效果类似，在此不再赘述。
实施例3
在上述实施例1的基础上，请参见图9，图9是本发明实施例提供的一种计算机程序的流程示意图。本发明实施例提供的一种计算机程序，被处理器执行时实现以下步骤：
步骤一，程序开始，进行必要初始化。
步骤二，使用可见光和红外线多个波段的多光谱人脸图像采集与图像预处理。
具体而言，本发明实施例的步骤二采用可见光、近红外、短波红外、中波红外和长波红外波段的摄像头进行人脸图像采集；并对各子波段的人脸图像进行相适应的预处理，其中可见光图像转换为灰度图像并做归一化处理，近红外做基于直方图均衡化的对比度增强处理，短波红外做基于对数非线性变换的对比度增强处理，中波红外与长波红外做基于解卷积神经网络的图像增强处理。
步骤三，构建基础卷积神经网络模块并用于后续人脸图像特征学习。
具体而言，本发明实施例的步骤4构建一个由4个卷积层、4个池化层和2个全连接层构成的基础神经网络模块用于后续人脸图像特征学习。且在2个全连接层中还引入了一个随机失活层。
步骤四，使用基础网络模块分别对可见光和各子波段红外线进行预训练，得到各自的预训练模型参数。
具体而言，本发明实施例的步骤四包括：
(1)使用设计的卷积神经网络结构去进行训练，保存各个情形下对应的参数，一共有五个网络模型，分别对应可见光，近红外，短波红外，中波红外，长波红外五个情形；
(2)每种子波段情形下的数据集均被划分为训练集和测试集两个部分，训练集所占比例为3/4，测试集所占比例为1/4。
步骤五，将可见光和各子波段红外线对应的网络模块进行并联融合，并在网络末端增加一个多光谱特征融合层。
具体而言，本发明实施例的步骤五对各子波段情形下的特征图xi(i＝1，2，3，4，5)赋予权值∝i(i＝1，2，3，4，5)，再将各特征图与其相应权值对应相乘，随后再级联起来得到多光谱融合特征图xf。其运算过程可表达为：xf＝[∝1*x1，∝2*x2，∝3*x3，∝4*x4，∝5*x5]。
步骤六，在并联融合式神经网络后面添加全连接层进行识别分类，并用多光谱数据进行重新训练以得到最终性别识别结果。
具体而言，本发明实施例的步骤六包括：
(1)将各子波段情形的网络模型参数导入，继续使用多光谱人脸数据集进行训练融合网络，即通过训练特征融合层权值和分类的全连接层参数来进行识别分类；
(2)然后输入待测试的识别对象，通过人脸图像特征学习模块得到特征图，进行特征融合，最后得到识别分类的预测结果。
步骤七，程序需要结束时退出程序。
本发明实施例提供的一种计算机可读存储介质，可以执行上述基于多光谱融合的性别识别方法实施例、上述基于多光谱融合的性别识别系统实施例，其实现原理和技术效果类似，在此不再赘述。
实施例4
在上述实施例3的基础上，请参见图10，图10是本发明实施例提供的一种计算机可读存储介质的结构示意图。本发明实施例提供的一种计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时实现以下步骤：
步骤一，使用可见光和红外线多个波段的多光谱人脸图像采集与图像预处理。
具体而言，本发明实施例的步骤1采用可见光、近红外、短波红外、中波红外和长波红外波段的摄像头进行人脸图像采集；并对各子波段的人脸图像进行相适应的预处理，其中可见光图像转换为灰度图像并做归一化处理，近红外做基于直方图均衡化的对比度增强处理，短波红外做基于对数非线性变换的对比度增强处理，中波红外与长波红外做基于解卷积神经网络的图像增强处理。
步骤二，设计基础卷积神经网络模块并用于后续人脸图像特征学习。
具体而言，本发明实施例的步骤二设计一个由4个卷积层、4个池化层和2个全连接层构成的基础神经网络模块用于后续人脸图像特征学习。且在2个全连接层中还引入了一个随机失活层。
步骤三，使用基础网络模块分别对可见光和各子波段红外线进行预训练，得到各自的预训练模型参数。
具体而言，本发明实施例的步骤三包括：
(1)使用设计的卷积神经网络结构去进行训练，保存各个情形下对应的参数，一共有五个网络模型，分别对应可见光，近红外，短波红外，中波红外，长波红外五个情形；
(2)每种子波段情形下的数据集均被划分为训练集和测试集两个部分，训练集所占比例为3/4，测试集所占比例为1/4。
步骤四，将可见光和各子波段红外线对应的网络模块进行并联融合，并在网络末端增加一个多光谱特征融合层。
具体而言，本发明实施例的步骤四对各子波段情形下的特征图xi(i＝1，2，3，4，5)赋予权值∝i(i＝1，2，3，4，5)，再将各特征图与其相应权值对应相乘，随后再级联起来得到多光谱融合特征图xf。其运算过程可表达为：xf＝[∝1*x1，∝2*x2，∝3*x3，∝4*x4，∝5*x5]。
步骤五，在并联融合式神经网络后面添加全连接层进行识别分类，并用多光谱数据进行重新训练以得到最终性别识别结果。
具体而言，本发明实施例的步骤五包括：
(1)将各子波段情形的网络模型参数导入，继续使用多光谱人脸数据集进行训练融合网络，即通过训练特征融合层权值和分类的全连接层参数来进行识别分类；
(2)然后输入待测试的识别对象，通过人脸图像特征学习模块得到特征图，进行特征融合，最后得到识别分类的预测结果。
本发明实施例提供的一种计算机可读存储介质，可以执行上述基于多光谱融合的性别识别方法实施例、上述基于多光谱融合的性别识别系统实施例，上述基于多光谱融合的性别识别程序实施例，其实现原理和技术效果类似，在此不再赘述。
实施例5
在上述实施例的基础上，请参见图11，图11是本发明实施例提供的一种性别识别终端的结构示意图。本发明实施例提供的一种性别识别终端，该终端包括图像采集器、显示器、处理器、通信接口、存储器、通信总线和外围应用系统，其中，图像采集器、显示器、处理器、通信接口、存储器和外围调用系统通过通信总线完成相互间的通信；
图像采集器用于采集多光谱人脸图像数据；
显示器用于显示多光谱人脸图像与显示性别识别结果；
存储器，用于存放计算机程序；
外围应用系统，用于外围系统功能实现，充当上位机，调用性别识别结果用于其他基于性别识别的应用目的；
处理器，用于执行存储器上所存放的计算机程序时，该计算机程序被处理器执行时实现以下步骤：
步骤一，使用可见光和红外线多个波段的多光谱人脸图像采集与图像预处理。
具体而言，本发明实施例的步骤1采用可见光、近红外、短波红外、中波红外和长波红外波段的摄像头进行人脸图像采集；并对各子波段的人脸图像进行相适应的预处理，其中可见光图像转换为灰度图像并做归一化处理，近红外做基于直方图均衡化的对比度增强处理，短波红外做基于对数非线性变换的对比度增强处理，中波红外与长波红外做基于解卷积神经网络的图像增强处理。
步骤二，设计基础卷积神经网络模块并用于后续人脸图像特征学习。
具体而言，本发明实施例的步骤二设计一个由4个卷积层、4个池化层和2个全连接层构成的基础神经网络模块用于后续人脸图像特征学习。且在2个全连接层中还引入了一个随机失活层。
步骤三，使用基础网络模块分别对可见光和各子波段红外线进行预训练，得到各自的预训练模型参数。
具体而言，本发明实施例的步骤3包括：
(1)使用设计的卷积神经网络结构去进行训练，保存各个情形下对应的参数，一共有五个网络模型，分别对应可见光，近红外，短波红外，中波红外，长波红外五个情形；
(2)每种子波段情形下的数据集均被划分为训练集和测试集两个部分，训练集所占比例为3/4，测试集所占比例为1/4。
步骤四，将可见光和各子波段红外线对应的网络模块进行并联融合，并在网络末端增加一个多光谱特征融合层。
具体而言，本发明实施例的步骤四对各子波段情形下的特征图xi(i＝1，2，3，4，5)赋予权值∝i(i＝1，2，3，4，5)，再将各特征图与其相应权值对应相乘，随后再级联起来得到多光谱融合特征图xf。其运算过程可表达为：xf＝[∝1*x1，∝2*x2，∝3*x3，∝4*x4，∝5*x5]。
步骤五，在并联融合式神经网络后面添加全连接层进行识别分类，并用多光谱数据进行重新训练以得到最终性别识别结果。
具体而言，本发明实施例的步骤五包括：
(1)将各子波段情形的网络模型参数导入，继续使用多光谱人脸数据集进行训练融合网络，即通过训练特征融合层权值和分类的全连接层参数来进行识别分类；
(2)然后输入待测试的识别对象，通过人脸图像特征学习模块得到特征图，进行特征融合，最后得到识别分类的预测结果。
步骤六，相应外围应用系统的请求，将步骤五的性别识别结果发送至外围系统，实现其他基于性别识别结果的外围应用目的。该外围应用系统在实际实现时并不做限定，下面仅做举例：(1)基于性别识别的门禁系统，可用于某些特定环境下的限定性别出入，如部署在男女宿舍楼内部用于进出管理；(2)基于性别识别的人群属性统计分析系统，可部署在需要监控分析行人属性的场合，如商家对进出店内的消费者进行性别属性统计分析。
本发明实施例提供的一种超光谱人脸识别终端，可以执行上述基于多光谱融合的性别识别方法实施例、上述基于多光谱融合的性别识别系统实施例、上述超光谱人脸识别程序实施例、上述超光谱人脸识别存储介质实施例，其实现原理和技术效果类似，在此不再赘述。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于多光谱融合的性别识别方法，其特征在于，所述基于多光谱融合的性别识别方法采用多个波段的摄像头采集人脸图像并做图像预处理；设计基础卷积神经网络模块并用于后续人脸图像特征学习；使用基础卷积神经网络模块分别对可见光和各子波段红外线进行预训练，得到各自的预训练模型参数；将可见光和各子波段红外线对应的网络模块进行并联，并在网络末端增加一个多光谱特征融合层；在并联融合式神经网络后面添加共享全连接层进行识别分类，并用多光谱数据进行重新训练以得到最终性别识别结果。
2.如权利要求1所述的基于多光谱融合的性别识别方法，其特征在于，所述基于多光谱融合的性别识别方法包括：
步骤一，使用多个光谱子波段的摄像头进行人脸图像采集，并对各个子波段的人脸图像进行相适应的预处理，得到质量增强后的多光谱人脸图像；
步骤二，设计一个通用的基础卷积神经网络模块，通过基础卷积神经网络模块对后续的各光谱人脸图像进行特征学习；
步骤三，先使用可见光下的数据集在这个基础卷积神经网络模块下进行预训练，得到识别结果，并保存参数，其模型记为Net1；再使用近红外线下的数据集对基础卷积神经网络模块重新开始进行预训练，得到识别结果，保存参数，其模型为Net2；使用短波红外线的数据对未经训练过的基础卷积神经网络模块进行预训练，得到识别结果，保存参数，其模型为Net3；使用中波红外的数据对未经训练过的基础卷积神经网络模块进行预训练，得到识别结果，保存参数，其模型为Net4；最后，使用长波红外的数据对未经训练过的基础卷积神经网络模块进行预训练，得到识别结果，保存参数，其模型为Net5；
步骤四，通过步骤二、三之后，将可见光、近红外线、短波红外线、中波红外线、长波红外线五个子波段对应的基础网络模块Net1，Net2，Net3，Net4，Net5进行并联，并在网络模块的末端增加一个特征融合层；
步骤五，基于步骤四，对五个预训练的卷积神经网络模型Net1，Net2，Net3，Net4，Net5进行并联与特征融合之后，在特征融合层之后加入全连接层以进行最后识别分类任务，并用多光谱数据进行重新训练以得到最终识别结果，在可见光、近红外、短波红外、中波红外和长波红外子波段中进行任意选取组合。
3.如权利要求2所述的基于多光谱融合的性别识别方法，其特征在于，所述步骤一多光谱人脸图像采集与图像预处理包括：采用可见光、近红外、短波红外、中波红外和长波红外波段的摄像头进行人脸图像采集；并对各子波段的人脸图像进行相适应的预处理，其中可见光图像转换为灰度图像并做归一化处理，近红外做基于直方图均衡化的对比度增强处理，短波红外做基于对数非线性变换的对比度增强处理，中波红外与长波红外做基于解卷积神经网络的图像增强处理。
4.如权利要求2所述的基于多光谱融合的性别识别方法，其特征在于，所述步骤二的基础卷积神经网络模块，由4个卷积层、4个池化层和2个全连接层构成，且在2个全连接层中还引入了一个随机失活层。
5.如权利要求2所述的基于多光谱融合的性别识别方法，其特征在于，所述步骤三得到各模型的参数包括：
(1)使用设计的卷积神经网络结构去进行训练，保存各个情形下对应的参数，一共有五个网络模型，分别对应可见光，近红外，短波红外，中波红外，长波红外五个情形；
(2)每种子波段情形下的数据集均被划分为训练集和测试集两个部分，训练集所占比例为3/4，测试集所占比例为1/4。
6.如权利要求2所述的基于多光谱融合的性别识别方法，其特征在于，所述步骤四的特征融合包括：
(1)各子波段情形下的网络模型输出各自对应的特征图，即x1，x2，x3，x4，x5，这里的每个特征xi(i＝1，2，3，4，5)，都是为1×m的向量；
(2)对各特征图分别赋予权值∝i(i＝1，2，3，4，5)，权值∝i也是1×m的向量；
(3)将各特征图xi与各权值∝i对应相乘后再级联，得到多光谱融合特征图xf，其运算过程如下：
∝i＝[∝11，∝21，∝31，...，∝m1]T (1)
其中i＝1，2，3，4，5；
xi＝[x11，x21，x31，…，xm1]T (2)
其中i＝1，2，3，4，5；
xf＝[∝1*x1，∝2*x2，∝3*x3，∝4*x4，∝5*x5] (3)
此处，xf为同一对象在五种波段情形下采集的人脸图像进行特征融合后的特征图；∝i之间满足关系，∝1+∝2+∝3+∝4+∝5＝I，其中I是各分量均为1的1×m向量；xi与∝i相乘时遵循点乘关系，即各对应元素相乘。
所述步骤五的性别识别方法包括：
(1)将各子波段情形的网络模型参数导入，继续使用多光谱人脸数据集进行训练融合网络，即通过训练特征融合层权值和分类层共享全连接参数来进行识别分类；
(2)然后输入待测试的识别对象，通过步骤二所设计的卷积神经网络结构，得到特征图，进行特征融合，最后得到识别分类的预测结果。
7.一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行权利要求任意一项所述包括下列步骤：采用多个波段的摄像头采集人脸图像并做直方图均衡化、非线性变换增强、解卷积增强等图像预处理和归一化处理；设计基础卷积神经网络模块并用于后续人脸图像特征学习；使用基础卷积神经网络模块分别对可见光和各子波段红外线进行预训练，得到各自的预训练模型参数；将可见光和各子波段红外线对应的网络模块进行并联，并在网络末端增加一个多光谱特征融合层；在并联融合式神经网络后面添加全连接层进行识别分类，并用多光谱数据进行重新训练以得到最终性别识别结果。
8.一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施如权利要求1～6任意一项所述的基于多光谱融合的性别识别方法。
9.一种实施权利要求1～6任意一项所述基于多光谱融合的性别识别方法的性别识别系统，其特征在于，所述基于多光谱融合的性别识别系统包括：
图像预处理模块，用于采用多个波段的摄像头采集人脸图像并做图像预处理；
人脸图像特征学习模块，用于设计基础卷积神经网络模块并用于后续人脸图像特征学习；
预训练模型参数获取模块，用于使用该网络模块分别对可见光和各子波段红外线进行预训练，得到各自的预训练模型参数；
多光谱并联融合模块，用于将可见光和各子波段红外线对应的网络模块进行并联，并在网络末端增加一个多光谱特征融合层；
识别分类模块，用于在并联融合式神经网络后面添加共享全连接层进行识别分类，并用多光谱数据进行重新训练以得到最终性别识别结果。
10.一种终端，其特征在于，所述终端搭载权利要求9所述的基于多光谱融合的性别识别系统。
CN202010328440.5A 2020-04-23 2020-04-23 基于多光谱融合的性别识别方法、系统、存储介质及终端 Active CN111695407B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010328440.5A CN111695407B (zh) 2020-04-23 2020-04-23 基于多光谱融合的性别识别方法、系统、存储介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010328440.5A CN111695407B (zh) 2020-04-23 2020-04-23 基于多光谱融合的性别识别方法、系统、存储介质及终端

Publications (2)

Publication Number Publication Date
CN111695407A true CN111695407A (zh) 2020-09-22
CN111695407B CN111695407B (zh) 2023-04-07

Family

ID=72476624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010328440.5A Active CN111695407B (zh) 2020-04-23 2020-04-23 基于多光谱融合的性别识别方法、系统、存储介质及终端

Country Status (1)

Country Link
CN (1) CN111695407B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113109666A (zh) * 2021-04-09 2021-07-13 河南省博海大数据科技有限公司 一种基于深度卷积神经网络的轨道电路故障诊断方法
CN113205470A (zh) * 2021-03-19 2021-08-03 昆明物理研究所 基于色调饱和度映射的红外中短波双色融合方法
CN113537233A (zh) * 2021-06-03 2021-10-22 北京航空航天大学 融合可见光和近红外信息的典型目标材质属性提取方法及装置
CN114119443A (zh) * 2021-11-28 2022-03-01 特斯联科技集团有限公司 一种基于多光谱相机的图像融合系统
CN115131412A (zh) * 2022-05-13 2022-09-30 国网浙江省电力有限公司宁波供电公司 多光谱图像融合过程中的图像处理方法
WO2022228396A1 (zh) * 2021-04-27 2022-11-03 山东威高宏瑞医学科技有限公司 内窥镜多光谱图像处理系统及处理和训练方法
US20220398820A1 (en) * 2021-06-11 2022-12-15 University Of Southern California Multispectral biometrics system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492529A (zh) * 2018-10-08 2019-03-19 中国矿业大学 一种多尺度特征提取及全局特征融合的人脸表情识别方法
US20190087726A1 (en) * 2017-08-30 2019-03-21 The Board Of Regents Of The University Of Texas System Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications
CN110443865A (zh) * 2019-07-29 2019-11-12 北京理工大学 基于rgb相机和深度神经网络的多光谱成像方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190087726A1 (en) * 2017-08-30 2019-03-21 The Board Of Regents Of The University Of Texas System Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications
CN109492529A (zh) * 2018-10-08 2019-03-19 中国矿业大学 一种多尺度特征提取及全局特征融合的人脸表情识别方法
CN110443865A (zh) * 2019-07-29 2019-11-12 北京理工大学 基于rgb相机和深度神经网络的多光谱成像方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张典;汪海涛;姜瑛;陈星;: "基于轻量网络的近红外光和可见光融合的异质人脸识别" *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205470A (zh) * 2021-03-19 2021-08-03 昆明物理研究所 基于色调饱和度映射的红外中短波双色融合方法
CN113205470B (zh) * 2021-03-19 2022-08-30 昆明物理研究所 基于色调饱和度映射的红外中短波双色融合方法
CN113109666A (zh) * 2021-04-09 2021-07-13 河南省博海大数据科技有限公司 一种基于深度卷积神经网络的轨道电路故障诊断方法
CN113109666B (zh) * 2021-04-09 2024-03-15 河南省博海大数据科技有限公司 一种基于深度卷积神经网络的轨道电路故障诊断方法
WO2022228396A1 (zh) * 2021-04-27 2022-11-03 山东威高宏瑞医学科技有限公司 内窥镜多光谱图像处理系统及处理和训练方法
CN113537233A (zh) * 2021-06-03 2021-10-22 北京航空航天大学 融合可见光和近红外信息的典型目标材质属性提取方法及装置
CN113537233B (zh) * 2021-06-03 2023-07-18 北京航空航天大学 融合可见光和近红外信息的典型目标材质属性提取方法及装置
US20220398820A1 (en) * 2021-06-11 2022-12-15 University Of Southern California Multispectral biometrics system
CN114119443A (zh) * 2021-11-28 2022-03-01 特斯联科技集团有限公司 一种基于多光谱相机的图像融合系统
CN115131412A (zh) * 2022-05-13 2022-09-30 国网浙江省电力有限公司宁波供电公司 多光谱图像融合过程中的图像处理方法
CN115131412B (zh) * 2022-05-13 2024-05-14 国网浙江省电力有限公司宁波供电公司 多光谱图像融合过程中的图像处理方法

Also Published As

Publication number Publication date
CN111695407B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN111695407B (zh) 基于多光谱融合的性别识别方法、系统、存储介质及终端
US11151403B2 (en) Method and apparatus for segmenting sky area, and convolutional neural network
CN108615010B (zh) 基于平行卷积神经网络特征图融合的人脸表情识别方法
CN106529447B (zh) 一种小样本人脸识别方法
CN110163813B (zh) 一种图像去雨方法、装置、可读存储介质及终端设备
CN110321910B (zh) 面向点云的特征提取方法、装置及设备
CN110348357B (zh) 一种基于深度卷积神经网络的快速目标检测方法
CN108537742A (zh) 一种基于生成对抗网络的遥感图像全色锐化方法
CN108875821A (zh) 分类模型的训练方法和装置、移动终端、可读存储介质
CN111160273B (zh) 一种高光谱图像空谱联合分类方法及装置
CN109753996B (zh) 基于三维轻量化深度网络的高光谱图像分类方法
Zhang et al. Cloud detection method using CNN based on cascaded feature attention and channel attention
Liang et al. An improved DualGAN for near-infrared image colorization
CN114463637A (zh) 一种基于深度学习的冬小麦遥感识别分析方法和系统
CN113159189A (zh) 基于双分支多注意力卷积神经网络的高光谱图像分类方法及系统
Ahmad et al. Hybrid dense network with attention mechanism for hyperspectral image classification
CN113435254A (zh) 一种基于哨兵二号影像的耕地深度学习提取方法
Jenifa et al. Classification of cotton leaf disease using multi-support vector machine
CN110688966A (zh) 语义指导的行人重识别方法
CN110414338B (zh) 基于稀疏注意力网络的行人再辨识方法
CN117391981A (zh) 一种基于低光照明和自适应约束的红外与可见光图像融合方法
CN111539248B (zh) 一种红外线人脸检测方法、装置及其电子设备
Ranjan et al. Recent CNN advancements for stratification of hyperspectral images
CN111027608A (zh) 一种基于深度学习的星系分类与识别的方法及装置
CN116311086B (zh) 植物监测方法、植物监测模型的训练方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant