CN114038045A - 一种跨模态人脸识别模型构建方法、装置及电子设备 - Google Patents

Abstract

本发明公开了一种跨模态人脸识别模型构建方法、装置及电子设备，获取可见光和近红外模式下的人脸图像数据集；利用人脸关键点检测算法对人脸图像数据集中的人脸图像进行关键点检测；从人脸图像数据集中提取每一个人脸图像包含的多个关键点，从多个关键点中选取目标关键点所在的子图像；将人脸图像数据集以及人脸图像数据集中每一个人脸图像对应的多个目标关键点所在的子图像形成的不同组合输入到目标神经网络模型；根据每一个人脸图像与其对应的每一个组合之间的关联度对所述目标神经网络模型进行训练直至得到用于在可见光模式和近红外模式下进行人脸识别的人脸识别模型，该方法提高了跨模态环境下人脸识别的准确率。

Description

一种跨模态人脸识别模型构建方法、装置及电子设备

技术领域

本发明涉及人脸识别技术领域，具体涉及一种跨模态人脸识别模型构建方法、装置及电子设备。

背景技术

采用可见光－近红外自适应摄像头进行人脸识别，可以随着光照环境切换摄像头的不同工作模式。在光照强度满足ISP模块设定的阈值时，可以切换到可见光的模式，反之，切换到近红外模式。由于近红外摄像头分布范围不及可见光的广泛，且存在侵犯用户隐私问题，难以大量搜集近红外图像数据，为了解决模态差异，现阶段跨模态人脸识别的方法主要有：(1)基于可见光图像，设计提取模态不变的特征，通过迁移学习，将人脸图像从一个模态变换到另一个模态，该方法存在领域不适应问题，模型泛化能力差，识别准确率较低；(2)提取两种模态的图像特征，组合成新的特征信息，投影到一个共同的子空间上，该方法受限于当前的人脸识别数据集ID数量，难以训练准确率较高的模型；(3)利用生成对抗式网络，生成近似近红外图像数据集，逼近近红外图像人脸特征分布趋势，该方法基于可见光图像提取特征并生成近似近红外图像来训练近红外模式下的人脸识别模型，使得近红外模式下的人脸识别模型训练过程复杂且识别准确率低。

发明内容

有鉴于此，本发明实施例提供了涉及一种跨模态人脸识别模型构建方法、装置及电子设备，以解决现有技术中跨模态环境下的人脸识别模型训练复杂且人脸识别准确率低的技术问题。

本发明提出的技术方案如下：

本发明实施例第一方面提供一种跨模态人脸识别模型构建方法，该跨模态人脸识别模型构建方法包括：获取人脸图像数据集，其中所述人脸图像数据集包含在可见光模式下获取的人脸图像以及在近红外模式下获取的人脸图像；利用人脸关键点检测算法对所述人脸图像数据集中的人脸图像进行关键点检测；从所述人脸图像数据集中提取每一个人脸图像包含的多个关键点，从所述多个关键点中选取目标关键点所在的子图像；将所述人脸图像数据集以及所述人脸图像数据集中每一个人脸图像对应的所述多个目标关键点所在的子图像形成的不同组合输入到目标神经网络模型；利用所述目标神经网络模型中的分类模块确定每一个人脸图像与其对应的每一个组合之间的关联度；根据每一个人脸图像与其对应的每一个组合之间的关联度对所述目标神经网络模型进行训练直至得到用于在可见光模式和近红外模式下进行人脸识别的人脸识别模型。

可选地，所述利用人脸关键点检测算法对所述人脸图像数据集中的人脸图像进行关键点识别之后，所述从所述人脸图像数据集中提取每一个人脸图像包含的多个关键点，从所述多个关键点选取目标关键点所在的子图像之前，所述方法包括：按照预设人脸模板对识别到的人脸图像中的关键点进行修正完成人脸对齐操作。

可选地，将所述人脸图像数据集以及所述人脸图像数据集中每一个人脸图像对应的所述多个目标关键点所在的子图像形成的不同组合输入到目标神经网络模型之前，所述方法还包括：获取预训练人脸图像数据集；利用所述预训练人脸图像数据集确定预训练神经网络模型；利用所述获取的人脸图像数据集对所述预训练神经网络模型进行训练得到所述目标神经网络模型。

可选地，对目标神经网络模型进行训练，包括：确定在训练过程中所述目标神经网络模型对应的损失函数的损失值，直至所述损失函数的损失值满足预设条件得到用于在可见光模式和近红外模式下进行人脸识别的人脸识别模型。

本发明实施例第二方面提供一种跨模态人脸识别模型构建装置，该跨模态人脸识别模型构建装置包括：获取模块，用于获取人脸图像数据集，其中所述人脸图像数据集包含在可见光模式下获取的人脸图像以及在近红外模式下获取的人脸图像；检测模块，用于利用人脸关键点检测算法对所述人脸图像数据集中的人脸图像进行关键点检测；选取模块，用于从所述人脸图像数据集中提取每一个人脸图像包含的多个关键点，从所述多个关键点中选取目标关键点所在的子图像；输入模块，用于将所述人脸图像数据集以及所述人脸图像数据集中每一个人脸图像对应的所述多个目标关键点所在的子图像形成的不同组合输入到目标神经网络模型；确定模块，用于利用所述目标神经网络模型中的分类模块确定每一个人脸图像与其对应的每一个组合之间的关联度；训练模块，用于根据每一个人脸图像与其对应的每一个组合之间的关联度对所述目标神经网络模型进行训练直至得到用于在可见光模式和近红外模式下进行人脸识别的人脸识别模型。

可选地，所述装置还包括：对齐模块，用于按照预设人脸模板对识别到的人脸图像中的关键点进行修正完成人脸对齐操作。

可选地，所述装置还包括：第一获取模块，用于获取预训练人脸图像数据集；第一确定模块，用于利用所述预训练人脸图像数据集确定预训练神经网络模型；第一训练模块，用于利用所述获取的人脸图像数据集对所述预训练神经网络模型进行训练得到所述目标神经网络模型。

可选地，所述装置还包括：第二确定模块，用于确定在训练过程中所述目标神经网络模型对应的损失函数的损失值，直至所述损失函数的损失值满足预设条件得到用于在可见光模式和近红外模式下进行人脸识别的人脸识别模型。

本发明实施例第三方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如本发明实施例第一方面及第一方面任一项所述的跨模态人脸识别模型构建方法。

本发明实施例第四方面提供一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如本发明实施例第一方面及第一方面任一项所述的跨模态人脸识别模型构建方法。

本发明提供的技术方案，具有如下效果：

本发明实施例提供的跨模态人脸识别模型构建方法，获取人脸图像数据集，其中所述人脸图像数据集包含在可见光模式下获取的人脸图像以及在近红外模式下获取的人脸图像；利用人脸关键点检测算法对所述人脸图像数据集中的人脸图像进行关键点检测；从所述人脸图像数据集中提取每一个人脸图像包含的多个关键点，从所述多个关键点中选取目标关键点所在的子图像；将所述人脸图像数据集以及所述人脸图像数据集中每一个人脸图像对应的所述多个目标关键点所在的子图像形成的不同组合输入到目标神经网络模型；利用所述目标神经网络模型中的分类模块确定每一个人脸图像与其对应的每一个组合之间的关联度；根据每一个人脸图像与其对应的每一个组合之间的关联度对所述目标神经网络模型进行训练直至得到用于在可见光模式和近红外模式下进行人脸识别的人脸识别模型。该方法利用每一个人脸图像与其对应的每一个组合之间的关联度对神经网络模型中进行训练，训练过程简单；而且利用该关联度可以同时直接完成两种模式下的人脸识别，不需要转换，提高了跨模态模式下人脸识别的准确率。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的跨模态人脸识别模型构建方法的流程图；

图2是根据本发明实施例的跨模态人脸识别模型构建装置的结构框图；

图3是根据本发明实施例提供的计算机可读存储介质的结构示意图；

图4是根据本发明实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种跨模态人脸识别模型构建方法，如图1所示，该方法包括如下步骤：

步骤S101：获取人脸图像数据集，其中人脸图像数据集包含在可见光模式下获取的人脸图像以及在近红外模式下获取的人脸图像。具体地，该人脸图像数据集中图像为同一人脸ID在可见光模式下获取的人脸图像以及在近红外模式下获取的人脸图像。在获取多模态环境下人脸图像数据集之前，利用近红外和可见光摄像头搭建数据采集平台，然后利用该平台进行本地数据集采集，采集过程中要保证每一个人脸ID图像集包含近红外图像和可见光图像。在一实施例中，采集人脸ID数目为一万。

步骤S102：利用人脸关键点检测算法对人脸图像数据集中的人脸图像进行关键点检测。具体地，对采集的图像集进行人脸检测之前，获取每个图像的人脸检测框，然后利用人脸检测算法对数据集中目标人脸进行检测，利用人脸关键点检测算法对人脸图像数据集中的近红外图像和可见光图像分别进行关键点检测，得到近红外图像人脸关键点与可见光图像人脸关键点。其中，人脸检测算法是指定位出图像集中的人脸位置，为后续人脸关键点检测算法提供初始输入框，人脸关键点检测算法是指定位出给定人脸图像的关键点位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等68个关键点位置。本申请实施例对该人脸检测算法和人脸关键点检测算法不作限定，只要能满足人脸检测和关键点识别需求即可。

步骤S103：从人脸图像数据集中提取每一个人脸图像包含的多个关键点，从多个关键点中选取目标关键点所在的子图像。具体地，获取人脸图像数据集之后，提取每一个人脸图像包含的68个关键点，并通过这68个关键点中选取5个目标关键点，包括左眼中心点、右眼中心点、鼻尖点、嘴巴两个嘴角点，根据该5个关键点的位置裁剪出左眼、右眼、鼻子、嘴巴四个子图像。其中，每个区域子图像大小调整到统一尺寸256＊256。

步骤S104：将人脸图像数据集以及人脸图像数据集中每一个人脸图像对应的多个目标关键点所在的子图像形成的不同组合输入到目标神经网络模型。具体地，获取人脸图像和多个目标关键点所在的子图像之后，输入目标神经网络模型中的特征提取网络模块，得到人脸图像和多个目标关键点所在的子图像特征，按照一定的顺序，对人脸图像和多个目标关键点所在的子图像的特征进行组合，然后将形成的不同组合输入到目标神经网络模型特征融合模块中。

在一实施例中，将裁剪出的左眼、右眼、鼻子、嘴巴四个子图像以及对应的整个人脸图像分别输入主干网络NetA即目标神经网络模型特征提取模块。其中，主干网络指轻量化的深度残差学习框架。然后，将组合特征输入到目标神经网络模型特征融合模块，其中，该模块指全连接层构成的网络模块。

步骤S105：利用目标神经网络模型中的分类模块确定每一个人脸图像与其对应的每一个组合之间的关联度。具体地，对整个人脸图像和多个目标关键点所在的子图像的特征进行组合之后，利用目标神经网络模型中的分类模块对该组合特征进行分类识别，并学习每一个人脸图像与其对应的每一个组合之间的关联度。例如通过对左眼所在的子图像、右眼所在的子图像、鼻子所在的子图像以及嘴巴所在的子图像进行不同形式的组合拼接后，只有一种组合的拼接结果是能较优地代表人脸个体图像的细粒度表征信息，不受模态环境影响，记为组合M，其他组合形式均为次优地代表人脸个体图像的细粒度表征信息，易受模态环境影响，记为组合N。将各个组合分别赋予可学习的关联度系数进行特征级联，输入分类模型，使用circle loss进行监督学习。circle loss包含三元损失函数tripletloss，适合对成对的不同组合特征进行监督学习。设置该关联度系数的范围为(0，1)，对该关联度系数进行随机初始化赋值操作为0.4～0.5，通过监督学习，该关联度系数逐渐收敛，呈现如下分布：组合M对应的关联度系数逐渐趋向于1，组合N对应的关联度系数逐渐趋向于0。

步骤S106：根据每一个人脸图像与其对应的每一个组合之间的关联度对目标神经网络模型进行训练直至得到用于在可见光模式和近红外模式下进行人脸识别的模型。具体地，在自适应学习每一个人脸图像与其对应的每一个组合之间的关联度过程中，该关联度可以辅助监督训练目标神经网络模型，利用网络学习到多模态环境下人脸主要特征，该特征不受跨模态影响，直至训练收敛，最终得到用于在可见光模式和近红外模式下进行人脸识别模型。通过学习面部区域特征关联度，加强目标神经网络的训练，使得模型在跨模态人脸识别中，将关联度最大的关键区域特征组合作为最终的人脸主要特征，提高了跨模态人脸识别的准确率。

本发明实施例提供的跨模态人脸识别模型构建方法，获取人脸图像数据集，其中人脸图像数据集包含在可见光模式下获取的人脸图像以及在近红外模式下获取的人脸图像；利用人脸关键点检测算法对人脸图像数据集中的人脸图像进行关键点检测；从人脸图像数据集中提取每一个人脸图像包含的多个关键点，从多个关键点中选取目标关键点所在的子图像；将人脸图像数据集以及人脸图像数据集中每一个人脸图像对应的多个目标关键点所在的子图像形成的不同组合输入到目标神经网络模型；利用目标神经网络模型中的分类模块确定每一个人脸图像与其对应的每一个组合之间的关联度；根据每一个人脸图像与其对应的每一个组合之间的关联度对目标神经网络模型进行训练直至得到用于在可见光模式和近红外模式下进行人脸识别的人脸识别模型。该方法利用每一个人脸图像与其对应的每一个组合之间的关联度对神经网络模型中进行训练，训练过程简单；而且利用该关联度可以同时直接完成两种模式下的人脸识别，不需要转换，提高了跨模态模式下人脸识别的准确率。

作为本发明实施例一种可选的实施方式，在步骤102之后和步骤103之前，该方法还包括：按照预设人脸模板对识别到的人脸图像中的关键点进行修正完成人脸对齐操作。

具体地，获取人脸关键点之后，首先设置人脸标准模板，然后按照该模板对人脸图像进行对齐操作，即对检测到的人脸图像中的关键点进行修正。其中，人脸标准模板指两个眼睛中心点、鼻尖点、两个嘴巴角点等五个点有固定值，不随人脸的不同而发生变化。其中，以模板图像左上角的点为坐标原点的坐标轴上，整个人脸图像的每一个关键点在对应的整个人脸图像中的位置信息对应的坐标(x，y)，例如可以分别为：左眼所在位置的坐标为(38.29，51.69)、右眼所在位置的坐标为(73.53，51.50)、鼻子所在位置的坐标为(56.05，71.73)、嘴巴两侧对应的点所在位置的坐标为(41.54，92.36)和(70.72，92.20)。

人脸对齐可以根据据现有人脸对应位置的五个关键点坐标和标准模板五个点位置坐标，计算得出仿射变换矩阵，然后和现有人脸图像进行相乘，完成人脸对齐。

在一实施例中，将人脸图像A和作为人脸模板的标准模板B进行匹配。其中，人脸图像A包含五个关键点A1～A5，标准模板B包括五个关键点B1～B5。通过点与点的对应关系，利用仿射变换求解变换矩阵M。将A1～A5和M相乘即可完成人脸对齐。

作为本发明实施例一种可选的实施方式，将人脸图像数据集以及人脸图像数据集中每一个人脸图像对应的多个目标关键点所在的子图像形成的不同组合输入到目标神经网络模型之前，该方法还包括：获取预训练人脸图像数据集；利用预训练人脸图像数据集确定预训练神经网络模型；利用获取的人脸图像数据集对预训练神经网络模型进行训练得到目标神经网络模型。其中，获取的人脸图像数据集指对识别到的人脸图像中的关键点进行修正之后得到的标准的人脸图像数据集。

具体地，在获取预训练人脸图像数据集之前，首先对人脸图像进行处理。

在一实施例中，将人脸图像缩放到256＊256，并进行灰度化处理，得到图像每个像素的灰度值，将每个像素RGB三个通道的数值均设置为该灰度值。

然后获取公开的人脸识别数据集glint360k，并在mobilefacenet上的基础上进行修改得到适配应用平台的主干网络NetA预训练模型即预训练神经网络模型。其中，人脸识别数据集glint360k具有36万类别数和1700万张照片；mobilefacenet是运行在移动设备上的轻量化网络；主干网络NetA预训练模型在公开的benchmark测试集上准确度为lfw－99.66，cfp－96.04，agedb－95.8。

确定预训练神经网络模型之后，使用上面获取的包含在可见光模式下获取的人脸图像以及在近红外模式下获取的人脸图像的人脸图像数据集，同时设置学习率、batch＿size等超参数对预训练神经网络模型进行微调得到目标神经网络模型。具体地，通过迁移学习进行网络微调，能够加速收敛，提升模型的泛化能力。在一实施例中，学习率设置为0.0001，batch size设置为128，其他相应的超参数均保持不变。

作为本发明实施例一种可选的实施方式，在确定目标神经网络模型之后，对该模型进行训练直至得到用于在可见光模式和近红外模式下进行人脸识别的模型。具体地，首先对输入目标神经网络模型中的每一个关键子图像和整个人脸图像提取特征向量，按照一定规则对特征向量进行组合，输入一个全连接层构成的特征融合模块，然后根据每一个人脸图像与其对应的每一个组合之间的可学习关联度与特征融合模块输出的特征向量确定最终的特征向量，最后确定在训练过程中目标神经网络模型对应损失函数circle loss的损失值，直至该模型收敛，得到用于在可见光模式和近红外模式下进行人脸识别的人脸识别模型。具体地，当损失值达到一定数值并保持稳定时，模型收敛，训练结束，得到用于在可见光模式和近红外模式下进行人脸识别的模型。

在一实施例中，在主干网络NetA预训练模型中对裁剪出得到的左眼、右眼、鼻子、嘴巴四个区域子图像和整个人脸图像提取512维特征向量，记为f1，f2，f3，f4，f5，依次表示左眼、右眼、鼻子、嘴巴、整个人脸图像的特征向量。其中，提取向量的维数没有特定的数值，此处选择提取512维特征向量，仅仅是考虑当前部署模型的运行速度和模型精度而设置。本方案中对提取向量的维数不做具体限定。

将提取的五个特征向量按照顺序依次进行两两结合，得到十个1024维特征向量，并将十个特征向量输入一个全连接层Fc得到特征向量fa，并学习人脸关键点子图像特征之间的关联度。

将特征向量fa输入十个全连接层，并获取十个1024维特征向量，然后设置十个不同的可学习自适应权重r来表征人脸关键点子图像特征之间的关联度强度，根据该权重r和输入十个全连接层获取的十个1024维特征向量进行加权计算得到最终的512维特征向量fb，最后使用circle loss作为损失函数，训练目标神经网络模型直至得到用于在可见光模式和近红外模式下进行人脸识别的模型。

在一实施例中，n张近红外图像和n张可见光图像，输入到主干网络NetA之后得到相应的特征A和B，其中各自的特征由鼻子、眼睛等面部特征进行随机组合得到。然后将该特征输入到全连接层，通过损失函数进行监督学习，实现配准。

本发明实施例还提供一种跨模态人脸识别模型构建装置，如图2所示，该装置包括：

获取模块401，用于获取人脸图像数据集，其中人脸图像数据集包含在可见光模式下获取的人脸图像以及在近红外模式下获取的人脸图像；详细内容参见上述方法实施例中步骤S101的相关描述。

检测模块402，用于利用人脸关键点检测算法对人脸图像数据集中的人脸图像进行关键点检测；详细内容参见上述方法实施例中步骤S102的相关描述。

选取模块403，用于从人脸图像数据集中提取每一个人脸图像包含的多个关键点，从多个关键点中选取目标关键点所在的子图像；详细内容参见上述方法实施例中步骤S103的相关描述。

输入模块404，用于将人脸图像数据集以及人脸图像数据集中每一个人脸图像对应的多个目标关键点所在的子图像形成的不同组合输入到目标神经网络模型；详细内容参见上述方法实施例中步骤S104的相关描述。

确定模块405，用于利用目标神经网络模型中的分类模块确定每一个人脸图像与其对应的每一个组合之间的关联度；详细内容参见上述方法实施例中步骤S105的相关描述。

训练模块406，用于根据每一个人脸图像与其对应的每一个组合之间的关联度对目标神经网络模型进行训练直至得到用于在可见光模式和近红外模式下进行人脸识别的人脸识别模型；详细内容参见上述方法实施例中步骤S106的相关描述。

本发明实施例提供的跨模态人脸识别模型构建装置，获取人脸图像数据集，其中人脸图像数据集包含在可见光模式下获取的人脸图像以及在近红外模式下获取的人脸图像；利用人脸关键点检测算法对人脸图像数据集中的人脸图像进行关键点检测；从人脸图像数据集中提取每一个人脸图像包含的多个关键点，从多个关键点中选取目标关键点所在的子图像；将人脸图像数据集以及人脸图像数据集中每一个人脸图像对应的多个目标关键点所在的子图像形成的不同组合输入到目标神经网络模型；利用目标神经网络模型中的分类模块确定每一个人脸图像与其对应的每一个组合之间的关联度；根据每一个人脸图像与其对应的每一个组合之间的关联度对目标神经网络模型进行训练直至得到用于在可见光模式和近红外模式下进行人脸识别的人脸识别模型。该方法利用每一个人脸图像与其对应的每一个组合之间的关联度对神经网络模型中进行训练，训练过程简单；而且利用该关联度可以同时直接完成两种模式下的人脸识别，不需要转换，提高了跨模态模式下人脸识别的准确率。

作为本发明实施例一种可选的实施方式，该装置还包括：对齐模块，用于按照预设人脸模板对识别到的人脸图像中的关键点进行修正完成人脸对齐操作。

作为本发明实施例一种可选的实施方式，该装置还包括：第一获取模块，用于获取预训练人脸图像数据集；第一确定模块，用于利用预训练人脸图像数据集确定预训练神经网络模型；第一训练模块，用于利用获取的人脸图像数据集对预训练神经网络模型进行训练得到目标神经网络模型。

作为本发明实施例一种可选的实施方式，该装置还包括：第二确定模块，用于确定在训练过程中目标神经网络模型对应的损失函数的损失值，直至损失函数的损失值满足预设条件得到用于在可见光模式和近红外模式下进行人脸识别的人脸识别模型。

本发明实施例提供的跨模态人脸识别模型构建装置的功能描述详细参见上述实施例中跨模态人脸识别模型构建方法描述。

本发明实施例还提供一种存储介质，如图3所示，其上存储有计算机程序601，该指令被处理器执行时实现上述实施例中跨模态人脸识别模型构建方法的步骤。该存储介质上还存储有音视频流数据，特征帧数据、交互请求信令、加密数据以及预设数据大小等。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

本发明实施例还提供了一种电子设备，如图4所示，该电子设备可以包括处理器51和存储器52，其中处理器51和存储器52可以通过总线或者其他方式连接，图4中以通过总线连接为例。

处理器51可以为中央处理器(Central Processing Unit，CPU)。处理器51还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器52作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的对应的程序指令/模块。处理器51通过运行存储在存储器52中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的跨模态人脸识别模型构建方法。

存储器52可以包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需要的应用程序；存储数据区可存储处理器51所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器52可选包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至处理器51。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器52中，当被所述处理器51执行时，执行如图1所示实施例中的跨模态人脸识别模型构建方法。

上述电子设备具体细节可以对应参阅图1所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种跨模态人脸识别模型构建方法，其特征在于，包括如下步骤：

获取人脸图像数据集，其中所述人脸图像数据集包含在可见光模式下获取的人脸图像以及在近红外模式下获取的人脸图像；

利用人脸关键点检测算法对所述人脸图像数据集中的人脸图像进行关键点检测；

从所述人脸图像数据集中提取每一个人脸图像包含的多个关键点，从所述多个关键点中选取目标关键点所在的子图像；

将所述人脸图像数据集以及所述人脸图像数据集中每一个人脸图像对应的所述多个目标关键点所在的子图像形成的不同组合输入到目标神经网络模型；

利用所述目标神经网络模型中的分类模块确定每一个人脸图像与其对应的每一个组合之间的关联度；

根据每一个人脸图像与其对应的每一个组合之间的关联度对所述目标神经网络模型进行训练直至得到用于在可见光模式和近红外模式下进行人脸识别的人脸识别模型。

2.根据权利要求1所述的方法，其特征在于，所述利用人脸关键点检测算法对所述人脸图像数据集中的人脸图像进行关键点检测之后，所述从所述人脸图像数据集中提取每一个人脸图像包含的多个关键点，从所述多个关键点选取目标关键点所在的子图像之前，所述方法包括：

按照预设人脸模板对识别到的人脸图像中的关键点进行修正完成人脸对齐操作。

3.根据权利要求1所述的方法，其特征在于，将所述人脸图像数据集以及所述人脸图像数据集中每一个人脸图像对应的所述多个目标关键点所在的子图像形成的不同组合输入到目标神经网络模型之前，所述方法还包括：

获取预训练人脸图像数据集；

利用所述预训练人脸图像数据集确定预训练神经网络模型；

利用所述获取的人脸图像数据集对所述预训练神经网络模型进行训练得到所述目标神经网络模型。

4.根据权利要求1所述的方法，其特征在于，对目标神经网络模型进行训练，包括：

确定在训练过程中所述目标神经网络模型对应的损失函数的损失值，直至所述损失函数的损失值满足预设条件得到用于在可见光模式和近红外模式下进行人脸识别的人脸识别模型。

5.一种跨模态人脸识别模型构建装置，其特征在于，包括：

获取模块，用于获取人脸图像数据集，其中所述人脸图像数据集包含在可见光模式下获取的人脸图像以及在近红外模式下获取的人脸图像；

检测模块，用于利用人脸关键点检测算法对所述人脸图像数据集中的人脸图像进行关键点检测；

选取模块，用于从所述人脸图像数据集中提取每一个人脸图像包含的多个关键点，从所述多个关键点中选取目标关键点所在的子图像；

输入模块，用于将所述人脸图像数据集以及所述人脸图像数据集中每一个人脸图像对应的所述多个目标关键点所在的子图像形成的不同组合输入到目标神经网络模型；

确定模块，用于利用所述目标神经网络模型中的分类模块确定每一个人脸图像与其对应的每一个组合之间的关联度；

训练模块，用于根据每一个人脸图像与其对应的每一个组合之间的关联度对所述目标神经网络模型进行训练直至得到用于在可见光模式和近红外模式下进行人脸识别的人脸识别模型。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

对齐模块，用于按照预设人脸模板对识别到的人脸图像中的关键点进行修正完成人脸对齐操作。

7.根据权利要求5所述的装置，其特征在于，所述装置还包括：

第一获取模块，用于获取预训练人脸图像数据集；

第一确定模块，用于利用所述预训练人脸图像数据集确定预训练神经网络模型；

第一训练模块，用于利用所述获取的人脸图像数据集对所述预训练神经网络模型进行训练得到所述目标神经网络模型。

8.根据权利要求5所述的装置，其特征在于，所述装置还包括：

第二确定模块，用于确定在训练过程中所述目标神经网络模型对应的损失函数的损失值，直至所述损失函数的损失值满足预设条件得到用于在可见光模式和近红外模式下进行人脸识别的人脸识别模型。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如权利要求1－4任一项所述的跨模态人脸识别模型构建方法。

10.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如权利要求1－4任一项所述的跨模态人脸识别模型构建方法。

Images