CN114693987A - 模型生成方法、装置和存储介质及人脸识别方法和装置 - Google Patents

Abstract

本公开涉及一种模型生成方法、装置和存储介质及人脸识别方法和装置，该模型生成方法包括：获取第一样本集合，第一样本集合包括多个第一口罩人脸图像；对每个第一口罩人脸图像进行第一处理得到对应的监督信息，监督信息为对应的第一口罩人脸图像中未被口罩遮挡的人脸图像；将每个第一口罩人脸图像与对应的监督信息组成第一样本对，以获取包含多个第一样本对的第一训练样本集合；采用第一训练样本集合对初始空间变换模型进行训练，得到已训练的空间变换模型。本公开针对原有人脸识别模型进行了针对性升级，提升人脸可见区域权重，在局部特征增强方面设计了相应策略，加强了对眼睛、眉毛等重点区域的识别，提升了佩戴口罩下的人脸识别准确率。

Description

模型生成方法、装置和存储介质及人脸识别方法和装置

技术领域

本公开涉及人脸识别技术领域，尤其涉及一种模型生成方法、装置和存储介质及人脸识别方法和装置。

背景技术

佩戴口罩属于大面积人脸遮挡，在人脸识别领域中，由于人脸识别模型主要是依据人脸面部特征进行身份判定，因此对佩戴口罩的人脸进行识别时，人脸识别模型无法准确检测人脸位置、定位五官关键点，大大降低了识别效果，且识别准确率低。对佩戴口罩的人脸进行识别一直以来都是公认难题。

发明内容

为了解决上述对口罩人脸进行人脸识别难度高、识别不准确的技术问题，本公开提供了一种模型生成方法、装置和存储介质及人脸识别方法和装置。

第一方面，本公开提供了一种模型生成方法，该模型生成方法包括：

获取第一样本集合，第一样本集合包括m个第一口罩人脸图像；

对每个第一口罩人脸图像进行第一处理得到对应的监督信息，监督信息为对应的第一口罩人脸图像中未被口罩遮挡的人脸图像；

将每个第一口罩人脸图像与对应的监督信息组成第一样本对，以获取包含m个第一样本对的第一训练样本集合；

采用第一训练样本集合对初始空间变换模型进行训练，得到已训练的空间变换模型；

其中，已训练的空间变换模型可以用于口罩人脸识别中的有效人脸提取，

第一处理至少包括裁剪处理。

可选地，采用第一训练样本集合对初始空间变换模型进行训练，得到已训练的空间变换模型，包括：

获取包含n个第一口罩人脸图像的当前第一子训练样本集，n小于m；

将当前第一子训练样本集中的n个第一口罩人脸图像分别输入到当前空间转换模型中进行空间变换，以得到n个当前第一有效人脸图；

当前第一子训练样本集为：第一训练样本集合中、用于训练当前空间转换模型的第一子训练样本集；

当前空间转换模型为：经过当前第一子训练样本集之前的所有第一子训练样本集训练后得到的空间转换模型；

将n个当前第一有效人脸图输入到已训练的第一特征提取网络，以提取每个当前第一有效人脸图的第一特征；

将当前第一子训练样本集中的n个监督信息输入到已训练的第一特征提取网络，以提取每个监督信息的第二特征；

获取每个第一特征与对应的第二特征的第一余弦距离；

根据n个第一余弦距离得到第一损失值；

判断第一损失值是否小于等于第一阈值；

利用第一损失值对当前空间转换模型的训练参数进行更新；

若第一损失值大于第一阈值，则获取下一第一子训练样本集作为当前第一子训练样本集，执行将当前第一子训练样本集中的n个第一口罩人脸图像分别输入到当前空间转换模型中进行空间变换，以得到n个当前第一有效人脸图；

若第一损失值小于等于第一阈值，则结束训练，将更新的空间转换模型作为已训练的空间变换模型。

可选地，其特征在于，根据n个第一余弦距离得到第一损失值，包括：

根据损失函数和n个第一余弦距离计算得到第一损失值。

可选地，初始空间变换模型和已训练的空间变换模型均包含依次连接的卷积层、第一倒残差层、平均池化层、第二倒残差层、全局平均池化层和全连接层。

第二方面，本公开提供了一种口罩人脸识别方法，该人脸识别方法包括：

获取待识别口罩人脸图像；

待识别口罩人脸图像中的待识别人脸被口罩部分遮挡；

利用已训练的口罩人脸识别模型对待识别口罩人脸图像进行有效人脸提取和人脸特征提取，以获得待识别口罩人脸图像中的待识别人脸的有效人脸特征；

其中，已训练的口罩人脸识别模型包括：用于有效人脸提取的已训练的空间变换模型和用于特征提取的已训练的口罩人脸特征提取模型；

有效人脸特征为待识别口罩人脸图像中未被口罩遮挡的人脸的人脸特征；

计算待识别人脸的有效人脸特征与预存的已知人脸集合中的每个已知人脸的有效人脸特征之间的相似度，以获得对应的多个相似度；

基于多个相似度对待识别人脸进行人脸识别。

可选地，已训练的口罩人脸识别模型还包括已训练的口罩人脸特征提取模型；

在利用已训练的口罩人脸识别模型对待识别口罩人脸图像进行有效人脸提取和人脸特征提取，以获得待识别口罩人脸图像中的待识别人脸的有效人脸特征之前，方法还包括：

将已训练的空间变换模型嵌入至初始口罩人脸特征提取模型的第一层得到待训练口罩人脸特征提取模型，

获取第二训练样本集合，第二训练样本集合包括多个已标记标签的第二口罩人脸图像，

采用第二训练样本集合对待训练口罩人脸特征提取模型进行训练，得到已训练的口罩人脸特征提取模型。

可选地，利用已训练的口罩人脸识别模型对待识别口罩人脸图像进行有效人脸提取和人脸特征提取，以获得待识别口罩人脸图像中的待识别人脸的有效人脸特征，包括：

将待识别口罩人脸图像输入到已训练的空间变换模型进行空间变换，以获得待识别口罩人脸图像中的待识别人脸的有效人脸图；

将待识别人脸的有效人脸图输入到已训练的口罩人脸特征提取模型，以获得待识别口罩人脸图像中的待识别人脸的有效人脸特征。

第三方面，本公开提供了一种模型生成装置，该模型生成装置包括：

第一样本获取模块，用于获取第一样本集合，第一样本集合包括m个第一口罩人脸图像；

第一处理模块，用于对每个第一口罩人脸图像进行第一处理得到对应的监督信息，监督信息为对应的第一口罩人脸图像中未被口罩遮挡的人脸图像；

第一训练样本生成模块，用于将每个第一口罩人脸图像与对应的监督信息组成第一样本对，以获取包含m个第一样本对的第一训练样本集合；

第一训练模块，用于采用第一训练样本集合对初始空间变换模型进行训练，得到已训练的空间变换模型；

其中，第一处理至少包括裁剪处理。

第四方面，本公开提供了一种口罩人脸识别装置，该人脸识别装置包括：

图像获取模块，用于获取待识别口罩人脸图像；

待识别口罩人脸图像中的待识别人脸被口罩部分遮挡；

特征提取模块，用于利用已训练的口罩人脸识别模型对待识别口罩人脸图像进行有效人脸提取和人脸特征提取，以获得待识别口罩人脸图像中的待识别人脸的有效人脸特征；

其中，已训练的口罩人脸识别模型包括：用于有效人脸提取的已训练的空间变换模型；

有效人脸特征为待识别口罩人脸图像中未被口罩遮挡的人脸的人脸特征；

相似度获取模块，用于计计算待识别人脸的有效人脸特征与预存的已知人脸集合中的每个已知人脸的有效人脸特征之间的相似度，以获得对应的多个相似度；

识别模块，用于基于多个相似度对待识别人脸进行人脸识别。

可选地，已训练的空间变换模型是根据前面所述的模型生成装置得到的。

第五方面，本公开提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行如前面任一项的模型生成方法的步骤。

第六方面，本公开提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行如前面任一项的口罩人脸识别方法的步骤。

第七方面，本公开提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时执行如前面任一项的模型生成方法的步骤。

第八方面，本公开提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时执行如前面任一项的口罩人脸识别方法的步骤。

本公开实施例提供的上述技术方案与现有技术相比具有如下优点：

本公开通过获取第一样本集合，第一样本集合包括多个第一口罩人脸图像；对每个第一口罩人脸图像进行第一处理得到对应的监督信息，监督信息为对应的第一口罩人脸图像中未被口罩遮挡部分的人脸图像；将每个第一口罩人脸图像与对应的监督信息组成第一样本对，以获取包含多个第一样本对的第一训练样本集合；采用第一训练样本集合对初始空间变换模型进行训练，得到已训练的空间变换模型。该已训练的空间变换模型对口罩人脸进行空间变换得到包括眼睛、眉毛等重点区域的有效人脸图，针对原有人脸识别模型进行了针对性升级，提升人脸可见区域权重，在局部特征增强方面设计了相应策略，加强了对眼睛、眉毛等重点区域的识别，提升了佩戴口罩下的人脸识别准确率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开一实施例提供的一模型生成方法的流程示意图；

图2为本公开一实施例提供的一口罩人脸识别方法的流程示意图；

图3为本公开一实施例提供的一模型生成装置的结构框图；

图4为本公开一实施例提供的一口罩人脸识别装置的结构框图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

图1为本公开一实施例提供的一模型生成方法的流程示意图。参考图1，该模型生成方法包括以下步骤：

S100A：获取第一样本集合，第一样本集合包括多个第一口罩人脸图像。

具体地，第一口罩人脸图像为佩戴口罩的人脸图像。每个第一口罩人脸图像中的人脸部分被口罩遮挡，眼睛、眉毛、额头等部分部位位于口罩之外且可见。

第一样本集合中包括了大量的第一口罩人脸图像，以作为训练STN网络模型的样本。

第一口罩人脸图像的获取方式可以为：

通过对大量不同的正常人脸(没有佩戴口罩的人脸)图像添加口罩的方式获取大量的第一口罩人脸图像。此方法可以减少大量口罩人脸图像的拍摄工作，快速获得口罩人脸图像。

当然也可以通过摄像装置对不同的佩戴口罩的人脸进行拍摄得到大量的第一口罩人脸图像。

S200A：对每个第一口罩人脸图像进行第一处理得到对应的监督信息，监督信息为对应的第一口罩人脸图像中未被口罩遮挡部分的人脸图像。

具体地，第一处理至少包括裁剪处理。裁剪处理的目的是将口罩人脸图像中口罩以外、未被口罩遮挡的人脸图像裁剪出来。监督信息为第一口罩人脸图像至少经过裁剪处理后得到的图像。

可选地，第一处理还包括校正处理，例如倾斜校正；还可以包括去噪处理，例如噪声干扰处理等。校正处理的目的是将倾斜的人脸图像校正为没有倾斜的人脸图像，以及将人脸图像居中。去噪处理的目的是将裁剪出来的人脸图像中的背景等干扰因素去除。当然第一处理还可以包括图像加强处理，使图像更清晰更容易识别。

S300A：将每个第一口罩人脸图像与对应的监督信息组成第一样本对，以获取包含多个第一样本对的第一训练样本集合。

具体地，每个第一口罩人脸图像有对应的监督信息，一个第一口罩人脸图像与对应的监督信息组成一个第一样本对。所有第一口罩人脸图像对应的所有第一样本对组成了第一训练样本集合。因此，第一训练样本集合包括了多个第一样本对。

S400A：采用第一训练样本集合对初始空间变换模型进行训练，得到已训练的空间变换模型。

具体地，空间变换模型可以为STN网络模型。STN网络模型(Spatial TransformerNetworks)为空间变换网络模型。STN网络模型允许神经网络学习如何对输入图像执行空间变换，以提高模型的几何不变性。例如，STN网络模型具有裁剪感兴趣的区域，缩放和校正图像的方向等功能。

本申请已训练的空间变换模型可以应用于口罩人脸识别中对口罩人脸图像进行空间转换，以得到有效人脸图像。有效人脸图像为口罩人脸图像中位于口罩之外的人脸区域图像。

本公开针对原有人脸识别算法模型进行了针对性升级，提升人脸可见区域权重，在局部特征增强方面设计了相应策略，如加强了对眼睛、眉毛等重点区域的识别，提升了佩戴口罩下的人脸识别准确率。

在一个实施例中，步骤S400A具体包括以下步骤：

S410：获取包含n个第一口罩人脸图像的当前第一子训练样本集，n小于m。

在一个具体实施例中，步骤S300中得到的第一训练样本集合包含m个第一样本对，对这m个第一样本对进行分组，得到多组第一子训练样本集，每个第一子训练样本集包括n个第一样本对。其中，n小于m，且m和n为大于0的正整数。每个第一子训练样本集中所包含的第一样本对的数量n可以相同也可以不同。

每个第一子训练样本集所包含的第一样本对的数量n取决于该空间变换模型能够并行处理的图像的数量。

每个第一子训练样本集用于对待训练模型进行一次训练。所有第一子训练样本集按照顺序依次对待训练模型进行训练。当前第一子训练样本集为多组第一子训练样本集中的一个。

在一个具体实施例中，当前第一子训练样本集还可以是：通过在当前训练时刻从第一训练样本集合中随机选取或按照预设规则选取的n个第一样本对组成的。

S420：将当前第一子训练样本集中的n个第一口罩人脸图像分别输入到当前空间转换模型中进行空间变换，以得到n个当前第一有效人脸图。

具体地，当前第一子训练样本集为：第一训练样本集合中、用于训练当前空间转换模型的第一子训练样本集。

当前空间转换模型为：经过当前第一子训练样本集之前的所有第一子训练样本集训练后得到的空间转换模型。

每组第一子训练样本集当前要训练的当前空间转换模型都是由前面已使用的第一子训练样本集训练过的、处于半完成状态的空间转换模型。

当前第一子训练样本集中包含了n个第一样本对，因此，当前第一子训练样本集中包含了n个第一口罩人脸图像和对应的n个监督信息。将这n个第一口罩人脸图像输入到当前空间转换模型中进行空间转换，可以得到对应的n个第一有效人脸图。其中，空间转换至少包括裁剪处理。第一有效人脸图为经过当前空间转换模型的至少裁剪处理后得到的人脸图像。由于第一有效人脸图处于训练阶段得到的有效人脸图，因此，第一有效人脸图可能为未被口罩遮挡的部分人脸，也可能不是完完全全未被口罩遮挡的部分人脸。

监督信息是经过确定裁剪处理得到的未被口罩遮挡的部分人脸。监督信息是每个第一口罩人脸输入至空间变换模型后输出的期望结果。

第一有效人脸图与监督信息一一对应。

S430：将n个当前第一有效人脸图输入到已训练的第一特征提取网络，以提取每个当前第一有效人脸图的第一特征。

S440：将当前第一子训练样本集中的n个监督信息输入到已训练的第一特征提取网络，以提取每个监督信息的第二特征。

具体地，已训练的第一特征提取网络是通过现有技术得到的特征提取网络，本申请不再赘述。将当前空间转换模型输出的n个当前第一有效人脸图输入到已训练的第一特征提取网络，可以提取出每个当前第一有效人脸图的第一特征。将当前第一子训练样本集中的每个监督信息输入到已训练的第一特征提取网络，可以提取每个监督信息的第二特征。

S450：获取每个第一特征与对应的第二特征的第一余弦距离。

具体地，第一有效人脸图与监督信息一一对应，通过将第一有效人脸图的第一特征与对应的监督信息的第二特征进行计算，可以得到二者的第一余弦距离。每个第一样本对都对应有一个第一余弦距离。因此，当前第一子训练样本集对应有n个第一余弦距离。

S460：根据n个第一余弦距离得到第一损失值。

具体地，

根据损失函数和n个第一余弦距离计算得到第一损失值。

损失函数可以使用Insightface函数。

S470：利用第一损失值对当前空间转换模型的训练参数进行更新。

具体地，第一损失值用于表征当前空间转换模型的训练效果，第一损失值越小，代表空间转换模型输出的结果越接近监督信息(期望结果)。

S480：判断第一损失值是否小于等于第一阈值。

S481：若第一损失值大于第一阈值，则获取下一第一子训练样本集作为当前第一子训练样本集，执行步骤S420。

S482：若第一损失值小于等于第一阈值，则结束训练，将更新的空间转换模型或当前空间转换模型作为已训练的空间变换模型。

具体地，如果第一损失值小于等于第一阈值，则代表当前空间转换模型输出的结果已经达到期望效果，训练完成。最终得到的已训练的空间转换模块可以是当前空间转换模型，也可以是根据第一损失值对当前空间转换模型的训练参数进行更新后得到的空间转换模型。

在一个具体实施例中，下一第一子训练样本集可以是：从分组得到的多个第一子训练样本集中不重复选择的，也可以是在下一训练时刻从第一训练样本集合中随机选取或按照预设规则选取的n个第一样本对组成的。

在一个实施例中，初始空间变换模型和已训练的空间变换模型均包含依次连接的卷积层、第一倒残差层、平均池化层、第二倒残差层、全局平均池化层和全连接层。

具体地，空间变换模型包括1)本地网络(Localisation Network)，用于生成空间变换参数；2)网格生成器(Grid Genator)，用于计算目标特征图和原特征图的坐标对应关系；3)采样器(Sampler)，根据坐标对应关系实现对原特征图的像素采样，以输出空间变换后的图像。

其中，空间变换模型中的本地网络包括依次连接的卷积层、第一倒残差层、平均池化层、第二倒残差层、全局平均池化层和全连接层。

卷积层位于本地网络的第一层，卷积核的尺寸和步长可以根据实际应用设置。卷积核的尺寸尽量能够让网络有足够的感受野。例如卷积使用尺寸为5×5，步长为2的卷积核。让网络有足够的感受野的同时可以减小特征图的尺寸，减小后续步骤的计算量。

第一倒残差层位于本地网络中卷积层的后面，用于第一次特征提取得到第一特征图。

平均池化层位于本地网络中第一倒残差层的后面，用于进一步减小第一特征图尺寸。

第二倒残差层位于本地网络中平均池化层的后面，用于第二次特征提取得到第二征图。

全局平均池化层位于本地网络中第二倒残差层的后面，用于进行特征图的融合。即，将第一特征图和第二特征图进行融合。

全连接层位于本地网络中全局平均池化层的后面，用于输出空间变换参数。

网络在提取足够的特征以有效生成空间变换参数的基础上充分考虑模块的计算量，减小模块在移动端对模型的效率影响。

表1为一个实施例中本地网络各层参数表。参考表1，为112x112特征向量的图像，输入至卷积层，该卷积层采用尺寸为5x5、步长为2的卷积核，卷积层的通道为32。卷积层输出56*56*32的第一特征向量。

56*56*32的第一特征向量作为输入传至第一倒残差层。第一倒残差层的通道为64，步长为1。第一倒残差层输出56*56*64的第二特征向量。

56*56*64的第二特征向量作为输入传至平均池化层。平均池化层的通道为64，步长为2。平均池化层输出28*28*64的第三特征向量。

28*28*64的第三特征向量作为输入传至第二倒残差层。第二倒残差层的通道为128，步长为1。第二倒残差层输出28*28*128的第四特征向量。

28*28*128的第四特征向量作为输入传至全局平均池化层。全局平均池化层的通道为128，步长为2。全局平均池化层输出具有128个元素的一维特征向量。

一维特征向量作为输入传至全连接层。全连接层的步长为1。全连接层输出6个参数。这6个参数即为空间变换参数。

表1：本地网络各层参数表

操作层	通道	步长	输出
				卷积层5x5	32	2	56*56*32
第一倒残差层	64	1	56*56*64
				平均池化层	64	2	28*28*64
第二倒残差层	128	1	28*28*128
				全局平均池化层	128	2	128
全连接层	-	1	6

以上得到的6个空间变换参数输入至网格生成器，计算目标特征图和原特征图的坐标对应关系，采样器根据网格生成器得到的坐标对应关系实现对原特征图的像素采样，进而输出经过空间变换后的图像。

通过上述得到的已训练的空间转换模型可以对口罩人脸图像中未被口罩遮挡的人脸部分裁剪出来。使后续人脸识别能够聚焦人脸特征，便于人脸识别。

图2为本公开一实施例提供的一口罩人脸识别方法的流程示意图；参考图2，该口罩人脸识别方法包括以下步骤：

S100B：获取待识别口罩人脸图像。

具体地，待识别口罩人脸图像为待识别人脸被口罩部分遮挡的人脸图像。待识别口罩人脸图像可以来自外部设备，由外部设备传送到已训练的口罩人脸识别模型进行人脸识别。

S200B：利用已训练的口罩人脸识别模型对待识别口罩人脸图像进行有效人脸提取和人脸特征提取，以获得待识别口罩人脸图像中的待识别人脸的有效人脸特征。

具体他，已训练的口罩人脸识别模型包括：用于有效人脸提取的已训练的空间变换模型和用于特征提取的已训练的口罩人脸特征提取模型，已训练的空间变换模型是根据前面任一项的模型生成方法得到的。

有效人脸特征为待识别口罩人脸图像中未被口罩遮挡的人脸的人脸特征。

本公开已训练的口罩人脸识别模型可以对待识别口罩人脸图像进行有效人脸提取，然后进行人脸特征提取，以得到有效人脸特征。先进行有效人脸提取可以加强对口罩外未被口罩遮挡的部分人脸图像中的重点区域(例如眼睛、眉毛、额头等)的识别，去除口罩部分的干扰因素，提高了佩戴口罩的人脸识别的准确率。

S300B：计算待识别人脸的有效人脸特征与预存的已知人脸集合中的每个已知人脸的有效人脸特征之间的相似度，以获得对应的多个相似度。

具体地，已知人脸集合可以是现有的人脸。例如，已知人脸集合为黑名单人脸集合，存储有各个列入黑名单的人员的人脸图像，用于检测是否有黑名单人员出现。已知人脸集合还可以是公司员工人脸集合，存储有公司全部员工的人脸图像，用于检测来访人员是否为该公司的员工或是否有未经过授权进入的外来人。当然，已知人脸集合不仅仅局限于上述应用场景，本申请的已知人脸集合具体根据实际应用场景预先设置。

已知人脸集合中的每个已知人脸的有效人脸特征可以是预先根据已训练的口罩人脸识别模型得到的，并存储于已知人脸数据库中。

S400B：基于多个相似度对待识别人脸进行人脸识别。

具体地，人脸识别通常包括人脸验证和人脸辨识两种任务。人脸验证是验证两个人脸图像中的两个人脸是否属于同一个人，其属于二分类问题，随机猜的正确率是50％。人脸辨识是从一个人脸群组中识别出待识别人脸的身份。这是多分类问题。无论哪种任务，都需要进行两个人脸图像之间的对比。

进行人脸识别的方法可以采用常规技术实现。通过计算两个人脸之间的人脸特征的相似度来识别人脸。也就是说，可以通过计算两个人脸之间的相似度来确定两个人脸是否属于同一人。

如果两个人脸属于同一个人，则它们之间的相似度必然是在数值上偏大；相反，如果两个人脸不属于同一个人，则它们的相似度的取值必然偏小。

在一个实施例中，已训练的口罩人脸识别模型还包括已训练的口罩人脸特征提取模型。在步骤S200B之前，该口罩人脸识别方法还包括以下步骤：

S010B：将已训练的空间变换模型嵌入至初始口罩人脸特征提取模型的第一层得到待训练口罩人脸特征提取模型，

S020B：获取第二训练样本集合，第二训练样本集合包括多个已标记标签的第二口罩人脸图像，

S030B：采用第二训练样本集合对待训练口罩人脸特征提取模型进行训练，得到已训练的口罩人脸特征提取模型。

具体地，口罩人脸特征提取模型是用于对口罩以外的有效人脸进行特征提取的模型。已训练的空间转换模型用于对最初得到的口罩人脸图像进行裁剪等空间转换处理得到口罩以外的有效人脸图像。

因为本申请的第二口罩人脸图像包括了口罩部分的图像，属于干扰因素，因此，通过已训练的空间转换模型可以将第二口罩人脸图像中口罩部分的图像裁剪掉，保留口罩以外的有效人脸图像，将口罩以外的有效人脸图像作为训练初始口罩人脸特征提取模型的样本，可以更好的训练口罩人脸特征提取模型，使得口罩人脸特征提取模型只提取有效人脸部分的有效人脸特征，不会提取口罩部分的特征，利用人脸识别，且减少计算量。

当然，本申请已训练的口罩人脸特征提取模型的训练样本也可以不使用已训练的空间变换模型来进行空间变换处理，而是直接使用已裁剪出有效人脸的有效人脸样本图像来训练待训练的口罩人脸特征提取模型。

本公开的口罩人脸特征提取模型可以选择MobilefaceNet轻量级网络作为基本架构，更符合移动端的应用场景。

在一个实施例中，步骤S200B具体包括以下步骤：

S210B：将待识别口罩人脸图像输入到已训练的空间变换模型进行空间变换，以获得待识别口罩人脸图像中的待识别人脸的有效人脸图；

S220B：将待识别人脸的有效人脸图输入到已训练的口罩人脸特征提取模型，以获得待识别口罩人脸图像中的待识别人脸的有效人脸特征。

具体地，本申请中的已训练的口罩人脸识别模型包括已训练的空间转换模型和已训练的口罩人脸特征提取模型。

已训练的空间转换模型用于对最初得到的口罩人脸图像进行裁剪等空间转换处理得到口罩以外的有效人脸图像。已训练的口罩人脸特征提取模型用于对已训练的空间转换模型得到的有效人脸进行人脸特征提取得到有效人脸特征。有效人脸特征包括眼睛、眉毛、额头等部分人脸特征。

应该理解的是，上述各个流程中的各个步骤并不是必然按照固定顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述各个流程中至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图3为本公开一实施例提供的一模型生成装置的结构框图；该模型生成装置包括：

第一样本获取模块100A，用于获取第一样本集合，第一样本集合包括m个第一口罩人脸图像；

第一处理模块200A，用于对每个第一口罩人脸图像进行第一处理得到对应的监督信息，监督信息为对应的第一口罩人脸图像中未被口罩遮挡的人脸图像；

第一训练样本生成模块300A，用于将每个第一口罩人脸图像与对应的监督信息组成第一样本对，以获取包含m个第一样本对的第一训练样本集合；

第一训练模块400A，用于采用第一训练样本集合对初始空间变换模型进行训练，得到已训练的空间变换模型；

其中，第一处理至少包括裁剪处理。

在一个实施例中，第一训练模块400A，具体包括：

取样模块410A，用于获取包含n个第一口罩人脸图像的当前第一子训练样本集，n小于m；

第一空间变换模块420A，用于将当前第一子训练样本集中的n个第一口罩人脸图像分别输入到当前空间转换模型中进行空间变换，以得到n个当前第一有效人脸图；

其中，当前第一子训练样本集为：第一训练样本集合中、用于训练当前空间转换模型的第一子训练样本集；

当前空间转换模型为：经过当前第一子训练样本集之前的所有第一子训练样本集训练后得到的空间转换模型；

第一特征提取模块430A，用于将n个当前第一有效人脸图输入到已训练的第一特征提取网络，以提取每个当前第一有效人脸图的第一特征；

第二特征提取模块440A，用于将当前第一子训练样本集中的n个监督信息输入到已训练的第一特征提取网络，以提取每个监督信息的第二特征；

第一余弦距离获取模块450A，用于获取每个第一特征与对应的第二特征的第一余弦距离；

第一损失值获取模块460A，用于根据n个第一余弦距离得到第一损失值；

第一判断模块470A，用于判断第一损失值是否小于等于第一阈值；

更新模块480A，用于利用第一损失值对当前空间转换模型的训练参数进行更新；

循环模块481A，用于若第一损失值大于第一阈值，则获取下一第一子训练样本集作为当前第一子训练样本集，执行将当前第一子训练样本集中的n个第一口罩人脸图像分别输入到当前空间转换模型中进行空间变换，以得到n个当前第一有效人脸图；

结束模块482A，用于若第一损失值小于等于第一阈值，则结束训练，将更新的空间转换模型或当前空间转换模型作为已训练的空间变换模型。

在一个实施例中，第一损失值获取模块460A具体用于根据损失函数和n个第一余弦距离计算得到第一损失值。

在一个实施例中，初始空间变换模型和已训练的空间变换模型均包含依次连接的卷积层、第一倒残差层、平均池化层、第二倒残差层、全局平均池化层和全连接层。

图4为本公开一实施例提供的一口罩人脸识别装置的结构框图。参考图4，该口罩人脸识别装置包括：

图像获取模块100B，用于获取待识别口罩人脸图像；

待识别口罩人脸图像中的待识别人脸被口罩部分遮挡；

特征提取模块200B，用于利用已训练的口罩人脸识别模型对待识别口罩人脸图像进行有效人脸提取和人脸特征提取，以获得待识别口罩人脸图像中的待识别人脸的有效人脸特征；

其中，已训练的口罩人脸识别模型包括：用于有效人脸提取的已训练的空间变换模型和已训练的口罩人脸特征提取提取模型；

有效人脸特征为待识别口罩人脸图像中未被口罩遮挡的人脸的人脸特征；

相似度获取模块300B，用于计算待识别人脸的有效人脸特征与预存的已知人脸集合中的每个已知人脸的有效人脸特征之间的相似度，以获得对应的多个相似度；

识别模块400B，用于基于多个相似度对待识别人脸进行人脸识别。

在一个实施例中，已训练的空间变换模型是根据前面任一项的模型生成装置得到的。

在一个实施例中，该口罩人脸识别装置还包括：

嵌入模块010B，用于将已训练的空间变换模型嵌入至初始口罩人脸特征提取模型的第一层得到待训练口罩人脸特征提取模型，

第一样本获取模块020B，用于获取第二训练样本集合，第二训练样本集合包括p个已标记标签的第二口罩人脸图像，

第二训练模块030B，用于采用第二训练样本集合对待训练口罩人脸特征提取模型进行训练，得到已训练的口罩人脸特征提取模型。

在一个实施例中，特征提取模块200B，具体包括：

第二空间变换模块210B，用于将待识别口罩人脸图像输入到已训练的空间变换模型进行空间变换，以获得待识别口罩人脸图像中的待识别人脸的有效人脸图；

子特征提取模块220B，用于将待识别人脸的有效人脸图输入到已训练的口罩人脸特征提取模型，以获得待识别口罩人脸图像中的待识别人脸的有效人脸特征。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取第一样本集合，第一样本集合包括m个第一口罩人脸图像；对每个第一口罩人脸图像进行第一处理得到对应的监督信息，监督信息为对应的第一口罩人脸图像中未被口罩遮挡的人脸图像；将每个第一口罩人脸图像与对应的监督信息组成第一样本对，以获取包含m个第一样本对的第一训练样本集合；采用第一训练样本集合对初始空间变换模型进行训练，得到已训练的空间变换模型；其中，第一处理至少包括裁剪处理。

在一个实施例中，计算机程序被处理器执行时还实现上述任一项模型生成方法的各个步骤。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：获取第一样本集合，第一样本集合包括m个第一口罩人脸图像；对每个第一口罩人脸图像进行第一处理得到对应的监督信息，监督信息为对应的第一口罩人脸图像中未被口罩遮挡的人脸图像；将每个第一口罩人脸图像与对应的监督信息组成第一样本对，以获取包含m个第一样本对的第一训练样本集合；采用第一训练样本集合对初始空间变换模型进行训练，得到已训练的空间变换模型；其中，第一处理至少包括裁剪处理。

在一个实施例中，处理器执行计算机程序时还实现上述任一项模型生成方法的各个步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取待识别口罩人脸图像；待识别口罩人脸图像中的待识别人脸被口罩部分遮挡；利用已训练的口罩人脸识别模型对待识别口罩人脸图像进行有效人脸提取和人脸特征提取，以获得待识别口罩人脸图像中的待识别人脸的有效人脸特征；其中，已训练的口罩人脸识别模型包括：用于有效人脸提取的已训练的空间变换模型，已训练的空间变换模型是根据前面任一项的模型生成方法得到的；有效人脸特征为待识别口罩人脸图像中未被口罩遮挡的人脸的人脸特征；计算待识别人脸的有效人脸特征与预存的已知人脸集合中的每个已知人脸的有效人脸特征之间的相似度，以获得对应的多个相似度；基于多个相似度对待识别人脸进行人脸识别。

在一个实施例中，计算机程序被处理器执行时还实现上述任一项口罩人脸识别方法的各个步骤。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：获取待识别口罩人脸图像；待识别口罩人脸图像中的待识别人脸被口罩部分遮挡；利用已训练的口罩人脸识别模型对待识别口罩人脸图像进行有效人脸提取和人脸特征提取，以获得待识别口罩人脸图像中的待识别人脸的有效人脸特征；其中，已训练的口罩人脸识别模型包括：用于有效人脸提取的已训练的空间变换模型，已训练的空间变换模型是根据前面任一项的模型生成方法得到的；有效人脸特征为待识别口罩人脸图像中未被口罩遮挡的人脸的人脸特征；计算待识别人脸的有效人脸特征与预存的已知人脸集合中的每个已知人脸的有效人脸特征之间的相似度，以获得对应的多个相似度；基于多个相似度对待识别人脸进行人脸识别。

在一个实施例中，处理器执行计算机程序时还实现上述任一项口罩人脸识别方法的各个步骤。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种模型生成方法，其特征在于，所述方法包括：

获取第一样本集合，所述第一样本集合包括m个第一口罩人脸图像；

对每个所述第一口罩人脸图像进行第一处理得到对应的监督信息，所述监督信息为对应的所述第一口罩人脸图像中未被口罩遮挡的人脸图像；

将每个所述第一口罩人脸图像与对应的监督信息组成第一样本对，以获取包含所述m个所述第一样本对的第一训练样本集合；

采用所述第一训练样本集合对初始空间变换模型进行训练，得到已训练的空间变换模型；

其中，所述第一处理至少包括裁剪处理。

2.根据权利要求1所述的模型生成方法，其特征在于，所述采用所述第一训练样本集合对初始空间变换模型进行训练，得到已训练的空间变换模型，包括：

获取包含n个第一口罩人脸图像的当前第一子训练样本集，n小于m；

将所述n个第一口罩人脸图像分别输入到当前空间转换模型中进行空间变换，以得到n个当前第一有效人脸图；

所述当前第一子训练样本集为：所述第一训练样本集合中、用于训练所述当前空间转换模型的第一子训练样本集；

所述当前空间转换模型为：经过当前第一子训练样本集之前的所有第一子训练样本集训练后得到的空间转换模型；

将n个所述当前第一有效人脸图像输入到已训练的第一特征提取网络，以提取每个所述当前第一有效人脸图的第一特征；

将所述当前第一子训练样本集中的n个监督信息输入到已训练的第一特征提取网络，以提取每个所述监督信息的第二特征；

获取每个第一特征与对应的第二特征的第一余弦距离；

根据n个第一余弦距离得到第一损失值；

判断所述第一损失值是否小于等于第一阈值；

利用所述第一损失值对所述当前空间转换模型的训练参数进行更新；

若所述第一损失值大于第一阈值，则获取下一第一子训练样本集作为当前第一子训练样本集，执行所述将当前第一子训练样本集中的n个第一口罩人脸图像分别输入到当前空间转换模型中进行空间变换，以得到n个当前第一有效人脸图；

若所述第一损失值小于等于第一阈值，则结束训练，将更新的空间转换模型或所述当前空间转换模型作为已训练的空间变换模型。

3.根据权利要求1所述的模型生成方法，其特征在于，所述初始空间变换模型和已训练的空间变换模型均包含依次连接的卷积层、第一倒残差层、平均池化层、第二倒残差层、全局平均池化层和全连接层。

4.一种口罩人脸识别方法，其特征在于，所述口罩人脸识别方法包括：

获取待识别口罩人脸图像；

所述待识别口罩人脸图像中的待识别人脸被口罩部分遮挡；

利用已训练的口罩人脸识别模型对所述待识别口罩人脸图像进行有效人脸提取和人脸特征提取，以获得所述待识别口罩人脸图像中的待识别人脸的有效人脸特征；

其中，所述已训练的口罩人脸识别模型包括：用于有效人脸提取的已训练的空间变换模型和用于特征提取的已训练的口罩人脸特征提取模型；

所述有效人脸特征为所述待识别口罩人脸图像中未被口罩遮挡的人脸的人脸特征；

计算所述待识别人脸的有效人脸特征与预存的已知人脸集合中的每个已知人脸的有效人脸特征之间的相似度，以获得对应的多个相似度；

基于所述多个相似度对所述待识别人脸进行人脸识别。

5.根据权利要求4所述的人脸识别方法，其特征在于，所述已训练的空间变换模型是根据权利要求1-3任一项所述的模型生成方法得到的。

6.根据权利要求4所述的人脸识别方法，其特征在于，

在利用已训练的口罩人脸识别模型对所述待识别口罩人脸图像进行有效人脸提取和人脸特征提取，以获得所述待识别口罩人脸图像中的待识别人脸的有效人脸特征之前，所述方法还包括：

将所述已训练的空间变换模型嵌入至初始口罩人脸特征提取模型的第一层得到待训练口罩人脸特征提取模型，

获取第二训练样本集合，所述第二训练样本集合包括p个已标记标签的第二口罩人脸图像，

采用所述第二训练样本集合对所述待训练口罩人脸特征提取模型进行训练，得到已训练的口罩人脸特征提取模型。

7.根据权利要求6所述的人脸识别方法，其特征在于，所述利用已训练的口罩人脸识别模型对所述待识别口罩人脸图像进行有效人脸提取和人脸特征提取，以获得所述待识别口罩人脸图像中的待识别人脸的有效人脸特征，包括：

将所述待识别口罩人脸图像输入到已训练的空间变换模型进行空间变换，以获得所述待识别口罩人脸图像中的待识别人脸的有效人脸图；

将所述待识别人脸的有效人脸图输入到已训练的口罩人脸特征提取模型，以获得所述待识别口罩人脸图像中的待识别人脸的有效人脸特征。

8.一种模型生成装置，其特征在于，所述模型生成装置包括：

第一样本获取模块，用于获取第一样本集合，所述第一样本集合包括m个第一口罩人脸图像；

第一处理模块，用于对每个所述第一口罩人脸图像进行第一处理得到对应的监督信息，所述监督信息为对应的所述第一口罩人脸图像中未被口罩遮挡的人脸图像；

第一训练样本生成模块，用于将每个所述第一口罩人脸图像与对应的监督信息组成第一样本对，以获取包含所述m个所述第一样本对的第一训练样本集合；

第一训练模块，用于采用所述第一训练样本集合对初始空间变换模型进行训练，得到已训练的空间变换模型；

其中，所述第一处理至少包括裁剪处理。

9.一种口罩人脸识别装置，其特征在于，所述人脸识别装置包括：

图像获取模块，用于获取待识别口罩人脸图像；

所述待识别口罩人脸图像中的待识别人脸被口罩部分遮挡；

特征提取模块，用于利用已训练的口罩人脸识别模型对所述待识别口罩人脸图像进行有效人脸提取和人脸特征提取，以获得所述待识别口罩人脸图像中的待识别人脸的有效人脸特征；

其中，所述已训练的口罩人脸识别模型包括：用于有效人脸提取的已训练的空间变换模型和用于特征提取的已训练的口罩人脸特征提取模型；

所述有效人脸特征为所述待识别口罩人脸图像中未被口罩遮挡的人脸的人脸特征；

相似度获取模块，用于计计算所述待识别人脸的有效人脸特征与预存的已知人脸集合中的每个已知人脸的有效人脸特征之间的相似度，以获得对应的多个相似度；

识别模块，用于基于所述多个相似度对所述待识别人脸进行人脸识别。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1-3任一项所述的模型生成方法的步骤。

Images