CN111652138B - 戴口罩人脸识别方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种戴口罩人脸识别方法，该方法一方面调整了传统人脸识别网络的结构，在传统的全人脸特征提取网络边上新增局部特征模块，用来提取人眼处的特征，原有人脸特征之后增加专门的眼部特征，从而使得整体识别更倾向于学习眼部特征，从而可以增强眼部特征识别的精准度；另外，该方法中提出一种新的增量式损失函数，将类别内的所有图片提取的特征进行一定的留存，避免了学习样本总量过大时对前面的样本的遗忘，基于该种损失函数进行眼部特征提取网络的更新可以进一步聚拢类内距离，经过一定训练次数后，可以实现更严格的眼部特征提取约束，实现精准区分。本申请还提供了一种戴口罩人脸识别装置、设备及一种可读存储介质，具有上述有益效果。

Description

戴口罩人脸识别方法、装置、设备及存储介质

技术领域

本申请涉及存储技术领域，特别涉及一种戴口罩人脸识别方法、装置、设备及一种可读存储介质。

背景技术

人脸识别是当前人工智能最火的研究方向之一，是一种基于人脸部图像特征来进行身份识别的算法。人脸识别广义上来讲是一个分类任务，训练时将一个人当成一个类，使不同人之间尽量在特征空间中分开。人脸识别不同于传统意义上的分类任务，因为人脸的多样性，所以训练时和实际使用时的分类数以及类别往往是不一样的(人脸识别中，一个人就是一个类别，所以实际使用时的人很可能不在训练样本中)，是一个开集任务，这就使得人脸识别对类内距离的要求更高，样本之间的距离要更小更紧凑，不然在处理不在训练集中的样本时很容易出现误识别。

人脸识别很依赖个人脸部的五官信息，当人戴上口罩后，嘴部以及鼻子等部位被遮挡，仅剩眼睛较有辨识度，从仅剩的眼睛处着手，人与人之间区分度更小。由于特征较少，所以对于戴口罩的人脸识别，需要良好的聚类，增大类间距离，减小类内距离，对聚类要求更加严格。

而相关技术中基于传统的人脸特征识别网络的进行人脸识别的方式针对戴口罩的人脸进行识别精度较低。

因此，如何提升戴口罩的人脸识别精准度，是本领域技术人员急需解决的问题。

发明内容

本申请的目的是提供一种戴口罩人脸识别方法，该方法可以提升戴口罩的人脸识别精准度；本申请的另一目的是提供一种戴口罩人脸识别装置、设备及一种可读存储介质。

为解决上述技术问题，本申请提供一种戴口罩人脸识别方法，包括：

确定待识别的人脸图像，以及所述人脸图像中的眼部图像；

将人脸图像输入至全脸特征提取网络进行人脸特征提取，并获取所述人脸特征提取中得到的全脸特征值；

将所述眼部图像输入至眼部特征提取网络进行眼部特征提取，并获取所述眼部特征提取中得到的眼部特征值；其中，所述眼部特征提取网络加入了基于类别内所有历史眼部特征值进行类内距离约束的增量式损失函数；

根据所述全脸特征值以及所述眼部特征值进行人脸识别。

可选地，所述眼部特征提取网络的更新方法，包括：

获取所述眼部特征值以及对应的所述眼部特征提取网络中分类层权重；

将所述眼部特征值添加至对应类的历史特征矩阵中，以更新所述历史特征矩阵；

计算所述历史特征矩阵与所述分类层权重的间距；

根据所述间距对眼部特征提取网络进行参数更新反馈。

可选地，将所述眼部特征值添加至对应类的历史特征矩阵中，包括：

计算所述眼部特征值与对应类的历史特征矩阵的加权和。

可选地，计算所述历史特征矩阵与所述分类层权重的间距，包括：

计算所述历史特征矩阵与所述分类层权重间的余弦距离，将所述余弦距离作为所述间距。

可选地，根据所述间距对眼部特征提取网络进行参数更新反馈，包括：

统计多类别下的平均间距；

将所述平均间距作为损失函数对所述眼部特征提取网络进行参数更新反馈。

可选地，在将所述眼部特征值添加至对应类的历史特征矩阵中之前，还包括：

将所述分类层权重以及所述眼部特征值转换为fp16格式。

可选地，在将所述眼部特征值添加至对应类的历史特征矩阵中，以更新所述历史特征矩阵之后，还包括：

确定所述历史特征矩阵中眼部特征值的迭代次数；

判断所述迭代次数是否达到阈值；

若达到，将所述历史特征矩阵置零。

本申请还提供了一种戴口罩人脸识别装置，包括：

图像确定单元，用于确定待识别的人脸图像，以及所述人脸图像中的眼部图像；

第一提取单元，用于将人脸图像输入至全脸特征提取网络进行人脸特征提取，并获取所述人脸特征提取中得到的全脸特征值；

第二提取单元，用于将所述眼部图像输入至眼部特征提取网络进行眼部特征提取，并获取所述眼部特征提取中得到的眼部特征值；其中，所述眼部特征提取网络加入了基于类别内所有历史眼部特征值进行类内距离约束的增量式损失函数；

特征值识别单元，用于根据所述全脸特征值以及所述眼部特征值进行人脸识别。

本申请还提供了一种戴口罩人脸识别设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现所述的戴口罩人脸识别方法的步骤。

本申请还提供了一种可读存储介质，所述可读存储介质上存储有程序，所述程序被处理器执行时实现所述戴口罩人脸识别方法的步骤。

本申请所提供的戴口罩人脸识别方法，该方法一方面调整了传统人脸识别网络的结构，在传统的全人脸特征提取网络边上新增局部特征模块，用来提取人眼处的特征，原有人脸特征之后增加专门的眼部特征，从而改变五官特征在人脸识别中的占比权重，使得整体识别更倾向于学习眼部特征，从而可以增强眼部特征识别的精准度；另外，该方法中提出加入了一种新的增量式损失函数，将类别内的所有图片提取的特征进行一定的留存，避免了学习样本总量过大时对前面的样本的遗忘，该损失函数可以跟现有任何人脸识别损失函数结合使用，基于该种损失函数进行眼部特征提取网络的更新可以进一步聚拢类内距离，经过一定训练次数后，可以实现更严格的眼部特征提取约束，实现精准区分。

本申请还提供了一种戴口罩人脸识别装置、设备及一种可读存储介质，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的一种戴口罩人脸识别方法的流程图；

图2为本申请实施例提供的一种眼部图像示意图；

图3为本申请实施例提供的一种传统的人脸识别网络特征提取过程示意图；

图4为本申请实施例提供的一种本申请提供的人脸识别网络特征提取过程示意图；

图5为本申请实施例提供的一种类中心示意图；

图6为本申请实施例提供的一种戴口罩人脸识别装置的结构框图；

图7为本申请实施例提供的一种戴口罩人脸识别设备的结构示意图。

具体实施方式

本申请的核心是提供一种戴口罩人脸识别方法，该方法可以提升戴口罩的人脸识别精准度；本申请的另一核心是提供一种戴口罩人脸识别装置、设备及一种可读存储介质。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参考图1，图1为本实施例提供的戴口罩人脸识别方法的流程图，该方法主要包括：

步骤s110、确定待识别的人脸图像，以及人脸图像中的眼部图像；

待识别的人脸图像为戴口罩的人脸图像，眼部图像为戴口罩的人脸图像中眼部区域图像，如图2所示为一种眼部图像示意图。

由于本申请针对的是戴口罩的人脸识别，有意着手于人脸的眼部特征。由于人脸图像传入网络之前会经过定点与一定变换(五官基准点会被放在固定的点上)，所以只要取得图像的固定区域即为眼睛，即可得到人脸图像中的眼部图像。本实施例中对于眼部图像的提取实现方式不做限定，可以参照相关技术实现。

步骤s120、将人脸图像输入至全脸特征提取网络进行人脸特征提取，并获取人脸特征提取中得到的全脸特征值；

其中，全脸特征提取网络指传统的基于全脸进行特征提取实现身份识别的网络，该网络可以将人脸图片归纳为一定维度的向量，这些向量就可以表示这张人脸，通过对这些特征的比对(余弦距离、欧氏距离等)就可以判断两张照片是否为同一个人。本实施例中对于该步骤中具体采用的全脸特征提取网络的网络模型结构以及网络模型的类型不做限定，可以参照相关人脸识别技术中选取精准度相对较高的网络模型结构进行设置。

将人脸图像输入至全脸特征提取网络进行人脸特征提取，网络经过图像特征提取即可得到人脸图像的全脸特征值。

步骤s130、将眼部图像输入至眼部特征提取网络进行眼部特征提取，并获取眼部特征提取中得到的眼部特征值；

需要说明的是，本实施例中对于步骤s120与步骤s130的执行顺序不做限定，可以先执行步骤s120，也可以先执行步骤s130，两步骤也可以并行执行，如图1所示。

在戴口罩的人脸识别中，人脸特征较少，为保证识别的精准度，需要通过对某个人全部样本的学习，从而学习出这个人的固定特征问题，实现良好聚类。本申请中调整了传统人脸识别网络的结构，在原有网络的基础上，单独搭建一个只学习眼部特征的网络，如图3所示为一种传统的人脸识别网络特征提取过程示意图，图4所示为一种本申请提供的人脸识别网络特征提取过程示意图，本申请中在传统的全人脸特征提取网络外加入一个局部特征模块用来提取人眼处的特征，即眼部特征提取网络(图4中小型特征网络)，从而改变五官特征在人脸识别中的占比权重，使得特征提取过程更倾向于眼部特征，从而可以更精准地识别眼部特征数据，保证侧重眼部特征的精准人脸识别。

而传统的人脸识别损失函数(又称为代价函数，损失函数定义了训练的模型和真实标签的差异性评价，所以损失函数的好坏直接影响着所训练出来的模型的效果)由于BatchSize(指一次训练所选取的样本数。不使用BatchSize时，意味着将所有训练样本一次性输入到神经网络中间，然后再计算其反向，由于应用了所有的样本，所以能更好的概括训练集。但是现有的深度学习任务，样本的数量都很大，例如人脸识别中训练集的样本数量动辄成百万上千万，一次全部输入网络中时，会引起内存以及显存的爆炸。所以引入了BatchSize的概念，每次迭代抽样式的选取一定样本，即可以保证下降方向近乎正确，又可以减小显存的消耗)的缘故，主要集中在对当前BatchSize内的样本进行一定比对，不可能将同一类样本一次全部放在网络中去学习。这样，当学习样本总量过大时，经过后面多步的学习，可能会对前面的样本会有一定的遗忘，这个特性在戴口罩的人脸识别中尤为突出，为保证特征提取的精度，本实施例中眼部特征提取网络加入了基于类别内所有历史眼部特征值进行类内距离(同一个类之间样本在某个空间(余弦、欧式)中的距离。表征了当前模型所判断的当前类的样本在特征空间中的紧凑程度)约束的增量式损失函数，增量式的损失函数可以接在任何损失函数之后，将每个类在每个Epoch(将全部样本训练一次所使用的迭代步数)内的所有图片特征进行一定的加权留存(指更新权重参数时，不仅考虑当前Batch(批次)内特征，还融合了之前的特征，来进行权重更新)从而整体约束某一个类的类内距离，作为一个更严格的约束，从而使得类内样本更相似，类间样本有更大的区分度。本损失函数为增量式，可以加在任意损失函数后作为一个单独的约束。

而本实施例中对于具体的基于上述增量式损失函数进行眼部特征提取网络的更新的方式不做限定，可以根据实际计算精度要求进行设定。

需要说明的是，本实施例中对于眼部特征提取网络的特征维度不做限定，由于眼部特征相对于全脸特征维度少，眼部特征提取网络的特征维度可以小于全脸特征提取网络的特征维度，比如原网络特征维度为512维，眼部网络特征维度可以为64维。本实施例中仅以上述维度设置形式为例，其他维度设置均可参照本实施例的介绍，在此不再赘述。另外，本实施例中对眼部特征提取网络的网络结构也不做限定，可以根据计算的需要进行网络模型的搭建。

步骤s140、根据全脸特征值以及眼部特征值进行人脸识别。

做前向推理时，同时结合全脸特征值以及眼部特征值，实现对于待识别人脸的人脸识别，将全脸特征提取网络(以512维为例)与眼部特征提取网络(以64维为例)得到的特征值接起来作为一张图片的输出(即做前向推理时的特征维度为512+64＝576维)，可以将全脸特征提取网络与眼部特征提取网络的损失函数相加作为系统的损失函数来进行反向梯度计算。

而其中，根据全脸特征值以及眼部特征值进行人脸识别的实现方式不做限定，可以将眼部特征值添加至全脸特征值中，将两特征值合并后基于整体特征值进行人脸识别。其中，需要说明的是，基于特征值进行人脸识别的实现过程可以参照相关技术中的实现方式，本实施例中对此不再赘述。

基于上述介绍，本实施例提供的戴口罩人脸识别方法中，一方面调整了传统人脸识别网络的结构，在传统的全人脸特征提取网络边上新增局部特征模块，用来提取人眼处的特征，原有人脸特征之后增加专门的眼部特征，从而改变五官特征在人脸识别中的占比权重，使得整体识别更倾向于学习眼部特征，从而可以增强眼部特征识别的精准度；另外，该方法中加入了一种新的增量式损失函数，将类别内的所有图片提取的特征进行一定的留存，避免了学习样本总量过大时对前面的样本的遗忘，基于该种损失函数进行眼部特征提取网络的更新可以进一步聚拢类内距离，经过一定训练次数后，可以实现更严格的眼部特征提取约束，实现精准区分。

上述实施例中对眼部特征提取网络的更新方法不做限定，本实施例中以一种具体的实现方式为例进行介绍。

眼部特征提取网络的更新方法主要可以包括以下步骤：

(1)获取眼部特征值以及对应的眼部特征提取网络中分类层权重；

分类层的权重W代表了各类的类中心，为了计算类内累计样本与类中心的距离，首先需要传入权重W和样本特征。

(2)将眼部特征值添加至对应类的历史特征矩阵中，以更新历史特征矩阵；

预先一个类似矩阵数据库的模块，将眼部特征值添加至对应类的历史特征矩阵中，从而保证每个类的所有特征值可以留存在数据库中，使该矩阵中留存的每类特征，不仅有当前识别组内该类的特征，还有历史识别的图片内该类的特征。其中具体的特征值添加方式不做限定，可选地，一种将眼部特征值添加至对应类的历史特征矩阵中的方式为：计算眼部特征值与对应类的历史特征矩阵的加权和。例如，可以以下述函数作为一个类别下眼部特征值的添加规则：

其中，x为当前添加的眼部特征值，y为历史特征矩阵，以64维为例，β为0到1之间的小数，表示当前特征的加权系数，根据上述计算方式，将两部分的加权和作为下一次迭代中的历史特征矩阵，继续添加新的特征值，该种添加方式不仅可以留存所有历史特征值，保证识别的精准度，而且不会对存储空间产生过多的占用。

本实施例中仅以上述实现方式为例进行介绍，其他实现方式均可参照本实施例的介绍，在此不再赘述。

其中，需要说明的是，特征值的添加是添加至对应类的历史特征矩阵中，而一般对于人脸识别一个人就是一类，因此，新的特征值是添加至历史对于该人进行特征提取得到的特征值矩阵中。

(3)计算历史特征矩阵与分类层权重的间距；

将当前特征值添加至历史特征矩阵，实现对于历史特征矩阵的更新后，计算更新后的历史特征矩阵与分类层权重的间距，分类层权重指示类中心，即样本中一个类别的中心特征值，类中心示意图如图5所示，图中W表示类中心，X是某个样本的特征。将每个类在一定的迭代步数内的所有图片特征进行一定的加权留存在数据库中，然后跟类中心所比对，从而整体约束某一个类的类内距离，间距越小，指示两值越接近，特征提取效果越好。

其中，具体的间距计算算法本实施例中不做限定，可选地，一种计算历史特征矩阵与分类层权重的间距的方式如下：计算历史特征矩阵与分类层权重间的余弦距离，将余弦距离作为间距。

分别计算每一类对应的历史特征矩阵与当前权重的余弦距离，将余弦距离作为间距计算方式简单，且可以精准显示矩阵与权重间的差距。本实施例中仅以上述计算方式为例进行介绍，其他间距计算方式均可参照本实施例的介绍，在此不再赘述。

(4)根据间距对眼部特征提取网络进行参数更新反馈。

参数更新反馈即对眼部特征提取网络中各层参数进行反馈调节的过程，具体的实现过程可以参照相关技术，本实施例中对此不做赘述。

而由于识别过程中一般涉及多类别，为简化计算过程的同时保证精准的参数反馈调整，可选地，根据间距对眼部特征提取网络进行参数更新反馈，具体可以统计多类别下的平均间距；将平均间距作为损失函数对眼部特征提取网络进行参数更新反馈。

进一步地，在将眼部特征值添加至对应类的历史特征矩阵中之前，可以进一步执行以下步骤：将分类层权重以及眼部特征值转换为fp16格式。

因为人脸识别的分类数一般较多，直接存储数据的方法较占存储空间，将传入的权重以及特征，转化为fp16格式，可节省存储空间。

进一步地，在将眼部特征值添加至对应类的历史特征矩阵中，以更新历史特征矩阵之后，可以进一步执行以下步骤：

确定历史特征矩阵中眼部特征值的迭代次数；

判断迭代次数是否达到阈值；

若达到，将历史特征矩阵置零。

由于太老的特征分类效果可能较差，留存在矩阵内可能会对模型有负影响，可以经过一定训练次数(如一个Epoch)后，将历史特征矩阵重新置零，清空数据库再重新填入，从而获取最新的类内距离信息。

需要说明的是，由于本实施例提出的损失函数为增量式，因此可以加在任意损失函数后作为一个单独的约束，提升识别精准度。

为加深对本实施例提供的网络更新方法的理解，以下一种具体的完整实现方式为例进行介绍。需要说明的是，基于本实施例的其他实现方式均可参照下述介绍，在此不再赘述。

1、首先构建一个维度为(num_class，64)的特征矩阵，并将它初始化为全零矩阵，该矩阵可更新不可训练，作为历史特征矩阵，可以使用TF框架来编写程序,程序如下：

self.save_matrix＝tf.Variable(tf.zeros([cfg.num_classes,64],dtype＝tf.float16),name＝'save_matrix',trainable＝False)

2、给函数传入权重W和Batch内样本特征，具体函数传入形式如下所示：

loss_save,mat,tmp_ts＝tools.save_softmax().cos_save(fc64,Y[num],weight,global_step)

上述函数中fc64为当前Batch中样本的64维特征，维度为(Batch，64)，全连接层中的权重Weight为当前传出来的分类层权重参数，维度为(num_class，64)，其中num_class为分类总数，在本任务中就是训练集的总人数。Y[num]为当前Batch的Label，维度为(Batch，1)。globel_step为当前的迭代次数，主要用来清零我们后面所构建的特征数据库。

将传入的权重以及特征，转化为fp16格式。

3、定义完save_matrix矩阵，剩下的就是不断迭代更新该矩阵，使该矩阵中留存的每类特征，不仅有当前Batch内该类的特征，还有之前Batch内该类的特征。

计算眼部特征值与对应类的历史特征矩阵的加权和：

其中，x为当前添加的眼部特征值，y为历史特征矩阵，β为0到1之间的小数，表示当前特征的加权系数。一个Epoch将save_matrix重新置零。

分别计算每一类对应的save_matrix中特征与当前权重的余弦距离，将各类累加后求平均值输出。

本损失函数为增量式，可以加在任意损失函数后作为一个单独的约束，针对其他分类数较少的分类网络，也可以使用该损失函数进一步增强聚类效果，而且添加前的损失函数依然可以继续使用。如下函数中的loss_save。loss_op＝softmax_loss+l2_loss+loss_save

本实施例提出的64维眼部特征提取网络相较于原始网络，由于层数较少、特征维度较低，模型大小并不会有太多的增长，因此可以避免对于系统产生过重的计算负担。

针对本文提出损失函数及结构的有效性，使用了1900张带口罩的人脸作为测试集，5万张不在底库中的照片作为误识别测试集。识别底库容量为1万张。使用相同训练集训练后。在1％误识阈值的情况下，识别率如下表1。测试的1900张样本与对应底库的平均相似度也从原来的0.55提升到0.62，可见，本实施例提出的方法能有效减小类内距离。

表1

请参考图6，图6为本实施例提供的戴口罩人脸识别装置的结构框图；主要包括：图像确定单元210、第一提取单元220、第二提取单元230以及特征值识别单元240。本实施例提供的戴口罩人脸识别装置可与上述戴口罩人脸识别方法相互对照。

其中，图像确定单元210主要用于确定待识别的人脸图像，以及人脸图像中的眼部图像；

第一提取单元220主要用于将人脸图像输入至全脸特征提取网络进行人脸特征提取，并获取人脸特征提取中得到的全脸特征值；

第二提取单元230主要用于将眼部图像输入至眼部特征提取网络进行眼部特征提取，并获取眼部特征提取中得到的眼部特征值；其中，眼部特征提取网络加入了基于类别内所有历史眼部特征值进行类内距离约束的增量式损失函数；

特征值识别单元240主要用于根据全脸特征值以及眼部特征值进行人脸识别。

本实施例提供一种戴口罩人脸识别设备，主要包括：存储器以及处理器。

其中，存储器用于存储程序；

处理器用于执行程序时实现如上述实施例介绍的戴口罩人脸识别方法的步骤，具体可参照上述戴口罩人脸识别方法的介绍。

请参考图7，为本实施例提供的戴口罩人脸识别设备的结构示意图，该戴口罩人脸识别设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)322(例如，一个或一个以上处理器)和存储器332，一个或一个以上存储应用程序342或数据344的存储介质330(例如一个或一个以上海量存储设备)。其中，存储器332和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地，中央处理器322可以设置为与存储介质330通信，在戴口罩人脸识别设备301上执行存储介质330中的一系列指令操作。

戴口罩人脸识别设备301还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作系统341，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

上面图1所描述的戴口罩人脸识别方法中的步骤可以由本实施例介绍的戴口罩人脸识别设备的结构实现。

本实施例公开一种可读存储介质，其上存储有程序，程序被处理器执行时实现如上述实施例介绍的戴口罩人脸识别方法的步骤，具体可参照上述实施例中对戴口罩人脸识别方法的介绍。

该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的戴口罩人脸识别方法、装置、设备及可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (9)

1.一种戴口罩人脸识别方法，其特征在于，包括：

确定待识别的人脸图像，以及所述人脸图像中的眼部图像；

将人脸图像输入至全脸特征提取网络进行人脸特征提取，并获取所述人脸特征提取中得到的全脸特征值；

将所述眼部图像输入至眼部特征提取网络进行眼部特征提取，并获取所述眼部特征提取中得到的眼部特征值；其中，所述眼部特征提取网络加入了基于类别内所有历史眼部特征值进行类内距离约束的增量式损失函数；眼部特征提取网络为在全脸特征提取网络外加入的一个局部特征模块；

根据所述全脸特征值以及所述眼部特征值进行人脸识别；

其中，所述眼部特征提取网络的更新方法，包括：

获取所述眼部特征值以及对应的所述眼部特征提取网络中分类层权重；

将所述眼部特征值添加至对应类的历史特征矩阵中，以更新所述历史特征矩阵；

计算所述历史特征矩阵与所述分类层权重的间距；

根据所述间距对眼部特征提取网络进行参数更新反馈。

2.如权利要求1所述的戴口罩人脸识别方法，其特征在于，将所述眼部特征值添加至对应类的历史特征矩阵中，包括：

计算所述眼部特征值与对应类的历史特征矩阵的加权和。

3.如权利要求1所述的戴口罩人脸识别方法，其特征在于，计算所述历史特征矩阵与所述分类层权重的间距，包括：

计算所述历史特征矩阵与所述分类层权重间的余弦距离，将所述余弦距离作为所述间距。

4.如权利要求1所述的戴口罩人脸识别方法，其特征在于，根据所述间距对眼部特征提取网络进行参数更新反馈，包括：

统计多类别下的平均间距；

将所述平均间距作为损失函数对所述眼部特征提取网络进行参数更新反馈。

5.如权利要求1所述的戴口罩人脸识别方法，其特征在于，在将所述眼部特征值添加至对应类的历史特征矩阵中之前，还包括：

将所述分类层权重以及所述眼部特征值转换为fp16格式。

6.如权利要求1所述的戴口罩人脸识别方法，其特征在于，在将所述眼部特征值添加至对应类的历史特征矩阵中，以更新所述历史特征矩阵之后，还包括：

确定所述历史特征矩阵中眼部特征值的迭代次数；

判断所述迭代次数是否达到阈值；

若达到，将所述历史特征矩阵置零。

7.一种戴口罩人脸识别装置，其特征在于，包括：

图像确定单元，用于确定待识别的人脸图像，以及所述人脸图像中的眼部图像；

第一提取单元，用于将人脸图像输入至全脸特征提取网络进行人脸特征提取，并获取所述人脸特征提取中得到的全脸特征值；

第二提取单元，用于将所述眼部图像输入至眼部特征提取网络进行眼部特征提取，并获取所述眼部特征提取中得到的眼部特征值；其中，所述眼部特征提取网络加入了基于类别内所有历史眼部特征值进行类内距离约束的增量式损失函数；眼部特征提取网络为在全脸特征提取网络外加入的一个局部特征模块；

特征值识别单元，用于根据所述全脸特征值以及所述眼部特征值进行人脸识别；

其中，所述眼部特征提取网络的更新过程，包括：获取所述眼部特征值以及对应的所述眼部特征提取网络中分类层权重；将所述眼部特征值添加至对应类的历史特征矩阵中，以更新所述历史特征矩阵；计算所述历史特征矩阵与所述分类层权重的间距；根据所述间距对眼部特征提取网络进行参数更新反馈。

8.一种戴口罩人脸识别设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述的戴口罩人脸识别方法的步骤。

9.一种可读存储介质，其特征在于，所述可读存储介质上存储有程序，所述程序被处理器执行时实现如权利要求1至6任一项所述戴口罩人脸识别方法的步骤。