CN112070015A - 一种融合遮挡场景的人脸识别方法、系统、设备及介质 - Google Patents

Abstract

本发明提供的一种融合遮挡场景的人脸识别方法、系统、设备及介质，根据无遮挡场景目标人脸的关键点信息和遮挡场景模板生成遮挡场景目标人脸；基于无遮挡场景目标人脸和遮挡场景目标人脸生成融合遮挡场景的特征图；根据融合遮挡场景的特征图获取人脸特征，对待识别的无遮挡场景人脸、遮挡场景人脸进行人脸识别。本发明不仅能够对无遮挡场景目标人脸进行识别，还可以对遮挡场景目标人脸进行识别。在以高性能识别遮挡图片时，也能保持对无遮挡图片的高性能识别；使得本发明不仅能够识别存在角度、遮挡等问题图片，还可以解决遮挡人脸与无遮挡人脸的兼容识别问题，使本发明通过一个人脸识别模型能够同时以高性能的识别能力识别无遮挡人脸和遮挡人脸。

Description

一种融合遮挡场景的人脸识别方法、系统、设备及介质

技术领域

本发明涉及人脸识别技术领域，特别是涉及一种融合遮挡场景的人脸识别方法、系统、设备及介质。

背景技术

自然场景下的人脸识别存在诸多挑战。由于没有约束，现场拍摄的图片会出现大量如角度、遮挡、模糊等问题造成的质量不好的图片，这些质量不好的照片会影响人脸识别模型的识别率。同时，大面积的遮挡问题也会影响人脸识别模型的识别性能。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种融合遮挡场景的人脸识别方法、系统、设备及介质，用于解决现有人脸识别模型不能同时识别无遮挡人脸以及遮挡人脸的问题。

为实现上述目的及其他相关目的，本发明提供一种融合遮挡场景的人脸识别方法，包括以下步骤：

根据无遮挡场景目标人脸的关键点信息和遮挡场景模板生成遮挡场景目标人脸；

基于无遮挡场景目标人脸和遮挡场景目标人脸生成融合遮挡场景的特征图；

根据所述融合遮挡场景的特征图获取人脸特征，对待识别的无遮挡场景人脸、遮挡场景人脸进行人脸识别。

可选地，所述特征图生成过程，包括：通过神经网络训练所述特征图，在所述神经网络的浅层特征图中将无遮挡场景目标人脸、遮挡场景目标人脸分别划分为多个局部区域；

对每个局部区域进行特征提取，通过激活函数输出对应的特征向量；

将从每个局部区域获得的特征向量作为该局部区域的自学习权重，并在神经网络的深层特征图中加权融合所有局部区域的自学习权重，生成所述融合遮挡场景的特征图。

可选地，对待识别的无遮挡场景人脸、遮挡场景人脸进行人脸识别，包括：

获取根据所述融合遮挡场景的特征图提取的人脸特征，对所述人脸特征进行分类并加入分类训练损失；

在无遮挡场景以及遮挡场景下训练进行分类且加入分类训练损失的人脸特征，生成融合遮挡场景的人脸识别模型；

根据所述融合遮挡场景的人脸识别模型对待识别的无遮挡场景人脸、遮挡场景人脸进行人脸识别。

可选地，通过人脸检测算法对无遮挡场景目标人脸图片进行检测，获取目标人脸区域以及无遮挡场景目标人脸的关键点信息；

通过对齐算法将目标人脸区域中的五官对齐至固定区域，放缩无遮挡场景目标人脸至固定尺寸；并在固定尺寸下结合遮挡场景模板对无遮挡场景目标人脸进行数据增强，生成遮挡场景目标人脸。

可选地，所述局部区域包括以下至少之一：上半脸、下半脸、左眼、右眼、鼻子、嘴巴。

可选地，所述遮挡场景模板包括以下至少之一：口罩模板、墨镜模板；

遮挡场景目标人脸包括以下之一：口罩遮挡场景目标人脸、墨镜遮挡场景目标人脸。

可选地，获取所述无遮挡场景目标人脸的关键点信息，根据鼻梁、脸颊、下巴的关键点位置生成口罩模板；并将所述口罩模板与所述无遮挡场景目标人脸进行贴合，生成所述口罩遮挡场景目标人脸；

根据眼角、鼻尖的关键点位置生成墨镜模板；并将所述墨镜模板与所述无遮挡场景目标人脸进行贴合，生成所述墨镜遮挡场景目标人脸。

可选地，对所述神经网络的浅层特征图进行下采样，获得所述深层特征图。

本发明还提供一种融合遮挡场景的人脸识别系统，包括有：

遮挡场景人脸生成模块，用于根据无遮挡场景目标人脸的关键点信息和遮挡场景模板生成遮挡场景目标人脸；

场景融合模块，用于根据无遮挡场景目标人脸和遮挡场景目标人脸生成融合遮挡场景的特征图；

人脸识别模块，用于根据所述融合遮挡场景的特征图获取人脸特征，对待识别的无遮挡场景人脸、遮挡场景人脸进行人脸识别。

可选地，所述场景融合模块生成特征图的过程具体包括：

在神经网络的浅层特征图中分别将无遮挡场景目标人脸、遮挡场景目标人脸划分为多个局部区域；

对每个局部区域进行特征提取，通过激活函数输出对应的特征向量；

将从每个局部区域获得的特征向量作为该局部区域的自学习权重，并在神经网络的深层特征图中加权融合所有局部区域的自学习权重，生成所述融合遮挡场景的特征图。

可选地，所述人脸识别模块对待识别的无遮挡场景人脸、遮挡场景人脸进行人脸识别的过程具体包括：

获取根据所述融合遮挡场景的特征图提取的人脸特征，对所述人脸特征进行分类并加入分类训练损失；

在无遮挡场景以及遮挡场景下训练进行分类且加入分类训练损失的人脸特征，生成融合遮挡场景的人脸识别模型；

根据所述融合遮挡场景的人脸识别模型对待识别的无遮挡场景人脸、遮挡场景人脸进行人脸识别。

可选地，所述局部区域包括以下至少之一：上半脸、下半脸、左眼、右眼、鼻子、嘴巴。

可选地，若所述遮挡场景模板为口罩模板，则所述遮挡场景人脸生成模块获取所述无遮挡场景目标人脸的关键点信息，根据鼻梁、脸颊、下巴的关键点位置生成口罩模板；

将所述口罩模板与所述无遮挡场景目标人脸进行贴合，生成所述口罩遮挡场景目标人脸。

可选地，若所述遮挡场景模板为墨镜模板，则所述遮挡场景人脸生成模块获取所述无遮挡场景目标人脸的关键点信息，根据眼角、鼻尖的关键点位置生成墨镜模板；

将所述墨镜模板与所述无遮挡场景目标人脸进行贴合，生成所述墨镜遮挡场景目标人脸。

本发明还提供一种融合遮挡场景的人脸识别设备，包括有：

根据无遮挡场景目标人脸的关键点信息和遮挡场景模板生成遮挡场景目标人脸；

基于无遮挡场景目标人脸和遮挡场景目标人脸生成融合遮挡场景的特征图；

根据所述融合遮挡场景的特征图获取人脸特征，对待识别的无遮挡场景人脸、遮挡场景人脸进行人脸识别。

本发明还提供一种设备，包括：

一个或多个处理器；和

存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行所述指令时，使得所述设备执行如上述中任意一项所述的方法。

本发明还提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行所述指令时，使得设备执行如上述中任意一项所述的方法。

如上所述，本发明提供的一种融合遮挡场景的人脸识别方法、系统、设备及介质，具有以下有益效果：根据无遮挡场景目标人脸的关键点信息和遮挡场景模板生成遮挡场景目标人脸；基于无遮挡场景目标人脸和遮挡场景目标人脸生成融合遮挡场景的特征图；根据融合遮挡场景的特征图提取人脸特征，对待识别的无遮挡场景人脸、遮挡场景人脸进行人脸识别。本发明不仅能够对无遮挡场景目标人脸进行识别，还可以对遮挡场景目标人脸进行识别。而且在以高性能识别遮挡图片时，也能保持对无遮挡图片的高性能识别；使得本发明不仅能够识别存在角度、遮挡等问题图片，还可以解决遮挡人脸与无遮挡人脸的兼容识别问题，使本发明通过一个人脸识别模型能够同时以高性能的识别能力识别无遮挡人脸和遮挡人脸。

附图说明

图1为一实施例提供的融合遮挡场景的人脸识别方法流程示意图；

图2为一实施例提供的生成的口罩遮挡人脸示意图；

图3为一实施例提供的生成的墨镜遮挡人脸示意图；

图4为另一实施例提供的人脸识别方法流程示意图；

图5为一实施例提供的细粒度划分示意图；

图6为一实施例提供的自注意力模块结构示意图；

图7为一实施例提供的融合遮挡场景的人脸识别系统的硬件结构示意图；

图8为一实施例提供的终端设备的硬件结构示意图；

图9为另一实施例提供的终端设备的硬件结构示意图。

元件标号说明

M10 遮挡场景人脸生成模块

M20 场景融合模块

M30 人脸识别模块

1100 输入设备

1101 第一处理器

1102 输出设备

1103 第一存储器

1104 通信总线

1200 处理组件

1201 第二处理器

1202 第二存储器

1203 通信组件

1204 电源组件

1205 多媒体组件

1206 语音组件

1207 输入/输出接口

1208 传感器组件

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

细粒度：就是将业务模型中的完整对象加以细分，从而得到更科学合理的对象模型，直观的说就是划分出很多对象。

自学习：在无监督的条件下，通过网络训练，依靠自生学习出对结果有正向作用的知识。

发明人研究发现，在训练无遮挡人脸识别模型时，加入遮挡人脸数据来训练目前的无遮挡人脸识别模型，可以在一定程度上提升无遮挡人脸识别模型对遮挡人脸的识别性能。但是，发明人同时发现，在加入遮挡人脸数据后，会影响无遮挡人脸识别模型识别无遮挡人脸的识别性能，降低其人脸识别率。以戴口罩的遮挡为例，口罩遮住人脸鼻梁及以下的关键部位，直接让整个人脸下半区域的特征失效，从而影响传统卷积神经网络CNN提取特征的方式，引入了干扰信息。而目前的主流做法是在训练无遮挡人脸识别模型时，加入遮挡数据进行训练，从而能够在一定程度上提升遮挡人脸的性能，但是会对非遮挡人脸的识别率造成损伤，降低其识别性能。因此，发明人研究出了一种能够同时以高性能来识别无遮挡人脸和遮挡人脸的人脸识别方法。

请参阅图1至图6所示，本发明提供一种融合遮挡场景的人脸识别方法，包括以下步骤：

S100，根据无遮挡场景目标人脸的关键点信息和遮挡场景模板对无遮挡场景目标人脸进行数据增强，生成遮挡场景目标人脸；

S200，基于无遮挡场景目标人脸和遮挡场景目标人脸生成融合遮挡场景的特征图；

S300，根据融合遮挡场景的特征图提取人脸特征，对待识别的无遮挡场景人脸、遮挡场景人脸进行人脸识别。

本方法根据无遮挡场景目标人脸的关键点信息和遮挡场景模板生成遮挡场景目标人脸；基于无遮挡场景目标人脸和遮挡场景目标人脸生成融合遮挡场景的特征图；根据融合遮挡场景的特征图提取人脸特征，对待识别的无遮挡场景人脸、遮挡场景人脸进行人脸识别。本方法不仅能够对无遮挡场景目标人脸进行识别，还可以对遮挡场景目标人脸进行识别。而且在以高性能识别遮挡图片时，也能保持对无遮挡图片的高性能识别；使得本发明不仅能够识别存在角度、遮挡等问题图片，还可以解决遮挡人脸与无遮挡人脸的兼容识别问题，使本发明通过一个人脸识别模型能够同时以高性能的识别能力识别无遮挡人脸和遮挡人脸。

根据上述记载，本申请实施例可以通过人脸检测算法对无遮挡场景目标人脸图片进行检测，获取目标人脸区域以及无遮挡场景目标人脸的关键点信息。在获得目标人脸区域、无遮挡场景目标人脸的关键点信息后，通过对齐算法将目标人脸区域中的五官对齐至固定区域，放缩无遮挡场景目标人脸至固定尺寸(例如128px*128px的尺寸或128*128的尺寸)；并在固定尺寸(例如128px*128px的尺寸或128*128的尺寸)下结合遮挡场景模板对无遮挡场景目标人脸进行数据增强，生成遮挡场景目标人脸。

根据上述记载，在一示例性实施例中，可以通过人脸位置先验知识在神经网络的浅层特征图中分别将无遮挡场景目标人脸、遮挡场景目标人脸划分为多个局部区域；对每个局部区域进行特征提取，通过激活函数输出对应的特征向量；将从每个局部区域获得的特征向量作为该局部区域的自学习权重，并在神经网络的深层特征图中加权融合所有局部区域的自学习权重，生成融合遮挡场景的特征图。作为示例，本申请实施例通过对神经网络的浅层特征图进行下采样，获得深层特征图；其中，神经网络可以是卷积神经网络。本申请实施例中局部区域包括以下至少之一：上半脸、下半脸、左眼、右眼、鼻子、嘴巴。

根据上述记载，还包括：获取根据融合遮挡场景的特征图提取的人脸特征，对这些人脸特征进行分类，并在分类后加入分类训练损失；在无遮挡场景以及遮挡场景下训练进行分类且加入分类训练损失的人脸特征，生成融合遮挡场景的人脸识别模型；根据融合遮挡场景的人脸识别模型以高性能的识别能力同时对待识别的无遮挡场景人脸、遮挡场景人脸进行人脸识别。

根据上述记载，在一些示例性实施例中，遮挡场景可以是口罩遮挡场景，墨镜遮挡场景。其中，遮挡场景模板包括以下之一：口罩模板、墨镜模板。遮挡场景目标人脸包括以下之一：口罩遮挡场景目标人脸、墨镜遮挡场景目标人脸。作为示例，生成口罩遮挡场景目标人脸的过程可以是：获取无遮挡场景目标人脸的关键点信息，根据鼻梁、脸颊、下巴的关键点位置生成口罩模板；将口罩模板与无遮挡场景目标人脸进行贴合，生成口罩遮挡场景目标人脸。本示例中，生成的口罩遮挡场景目标人脸如图2所示。作为另一示例，生成墨镜遮挡场景目标人脸的过程可以是：获取无遮挡场景目标人脸的关键点信息，根据眼角、鼻尖的关键点位置生成墨镜模板；将墨镜模板与无遮挡场景目标人脸进行贴合，生成墨镜遮挡场景目标人脸。本示例中，生成的墨镜遮挡场景目标人脸如图3所示。

根据上述记载，在一具体示例性实施例中，基于遮挡场景的人脸识别过程如下：

预处理阶段，进行人脸识别的准备工作，包括人脸检测，关键点检测，人脸对齐等操作。具体地，通过人脸检测算法对无遮挡场景目标人脸图片进行检测，获取目标人脸区域以及无遮挡场景目标人脸的关键点信息。在获得目标人脸区域、无遮挡场景目标人脸的关键点信息后，通过对齐算法将目标人脸区域中的五官对齐至固定区域，放缩无遮挡场景目标人脸至固定尺寸(例如128px*128px的尺寸或128*128的尺寸)。

数据生成阶段，利用口罩及墨镜模板，在无遮挡人脸的图片上根据关键点信息生成遮挡数据。具体地，在固定尺寸(例如128px*128px的尺寸或128*128的尺寸)下结合遮挡场景模板对无遮挡场景目标人脸进行数据增强，生成遮挡场景目标人脸。其中，遮挡场景模板包括以下之一：口罩模板、墨镜模板。遮挡场景目标人脸包括以下之一：口罩遮挡场景目标人脸、墨镜遮挡场景目标人脸。作为示例，生成口罩遮挡场景目标人脸的过程可以是：获取无遮挡场景目标人脸的关键点信息，根据鼻梁、脸颊、下巴的关键点位置生成口罩模板；将口罩模板与无遮挡场景目标人脸进行贴合，生成口罩遮挡场景目标人脸。本示例中，生成的口罩遮挡场景目标人脸如图2所示。作为另一示例，生成墨镜遮挡场景目标人脸的过程可以是：获取无遮挡场景目标人脸的关键点信息，根据眼角、鼻尖的关键点位置生成墨镜模板；将墨镜模板与无遮挡场景目标人脸进行贴合，生成墨镜遮挡场景目标人脸。本示例中，生成的墨镜遮挡场景目标人脸如图3所示。

细粒度特征提取阶段，如图4和图5所示，通过人脸位置先验知识在神经网络的浅层特征图中对人脸空间信息进行划分，细分为上半脸、下半脸、左眼、右眼、鼻子、嘴巴6个局部区域，并各自独立进行特征提取，最终在深层特征图与全局信息进行加权融合。具体地，通过人脸位置先验知识在神经网络的浅层特征图中分别将无遮挡场景目标人脸、遮挡场景目标人脸划分为上半脸、下半脸、左眼、右眼、鼻子、嘴巴这6个局部区域。本申请实施例通过人脸先验知识来进行局部区域的划分，对人脸中4个具有高辨识度的区域(双眼口鼻)和上下半张人脸独立进行特征提取。如图4所示，在stage3的特征图(16*16)进行细粒度划分，这个阶段不仅保持了人脸空间的相对位置信息，而且不会带来太多的计算压力。局部区域为全局区域的一个子区域，空间位置关系图5所示，每个子区域各自接一个神经网络，神经网络的结构与全局区域的结构相同，但是神经网络的参数不进行共享。其中，本申请实施例中的神经网络可以是卷积神经网络。本申请实施例还可以从更浅层的阶段进行细粒度特征提取，比如从stage2(32*32)进行划分提取。在挑选出人脸局部区域时，本申请实施例可以不借助人脸位置先验知识在神经网络的浅层特征图中对人脸空间信息进行划分，还可以根据关键点信息动态选择局部区域(双眼口鼻)的位置。

自注意力阶段，利用浅层特征图的知识，通过一个轻量级网络输出6维特征向量，并将这6维特征向量表示为6个局部区域的自学习权重。具体地，提供一个自注意力模块，用于对每个局部区域进行特征提取，通过激活函数输出对应的特征向量；将从每个局部区域获得的特征向量作为该局部区域的自学习权重；自注意力模块组成如图6所示。如图6所示，输入c*16*16大小特征图，即input(c*16*16)；按通道方向取平均值，即ChannelMean(16*16)；拉伸成256维的特征向量，即Flatten(1*256)；经过第一全连接层Full connect(64)处理；再经过第一激活函数ReLu(64)处理；再经过第二全连接层Full connect(6)处理；最后经过第二激活函数Sigmoid(6)输出6维特征向量。并将最终输出的6维特征向量表示为6个不同局部区域的自学习权重。在自注意力阶段，通过不同图像的特点，学习不同局部区域的权重因子，赋予各个局部区域不同的权重，避免因遮挡而产生干扰特征。

局部特征融合阶段，在神经网络的深层特征图中加权融合所有局部区域的自学习权重，生成融合遮挡场景的特征图。具体地，经过浅层的区域划分及特征提取，得到了各子区域的深层特征表达，每个子区域的深层特征乘上对应的自注意力权重，最终再加到全局区域的深层特征图(即stage4的特征图(8*8))上的对应子区域中，融合为新特征图；新特征图即为融合遮挡场景的特征图。作为另一示例，本申请实施例还可以选择在feature层进行特征融合，每个局部区域提取512维度的特征，共有6个512维度的局部特征，乘上各自的权重后与全局特征相加，形成融合后的512维特征。

分类训练学习阶段，获取根据融合遮挡场景的特征图提取的人脸特征，对这些人脸特征进行分类，并在分类后加入分类训练损失loss；在无遮挡场景以及遮挡场景下训练进行分类且加入分类训练损失的人脸特征，生成融合遮挡场景的人脸识别模型；根据融合遮挡场景的人脸识别模型以高性能的识别能力同时对待识别的无遮挡场景人脸、遮挡场景人脸进行人脸识别。具体地，从局部特征融合阶段得到的新特征图中提取人脸特征，对这些人脸特征在feature层进行分类，并在分类后加入分类训练损失。根据加入分类训练损失的人脸特征同时进行三个场景下的人脸识别分类任务：口罩、无遮挡、墨镜，生成一个融合遮挡场景的人脸识别模型。生成的人脸识别模型可以直接用于识别无遮挡场景目标人脸、遮挡场景目标人脸。本申请通过把带有遮挡的人脸与不带遮挡的人脸数据独立成不同的loss(损失)训练，并且在进行损失训练时共享特征层；这样训练生成的人脸识别模型不仅能够以高性能识别遮挡人脸，也能够保持对无遮挡人脸的高性能识别。与现有技术中的主流识别方法相比，本申请不仅能够在大幅提升遮挡识别性能的同时，还能较好的保持非遮挡人脸的高性能识别。

根据上述记载，本申请实施例中神经网络的浅层包括：输入(128*128)、stage1(64*64)、stage2(32*32)、stage3(16*16)，浅层对应的特征图为浅层特征图。神经网络的深层包括：Stage4(8*8)，深沉对应的特征图为深层特征图。本申请实施例通过对神经网络的浅层特征图进行下采样，获得深层特征图。

本发明提出一种融合遮挡场景的人脸识别方法，根据无遮挡场景目标人脸的关键点信息和遮挡场景模板生成遮挡场景目标人脸；基于无遮挡场景目标人脸和遮挡场景目标人脸生成融合遮挡场景的特征图；根据融合遮挡场景的特征图提取人脸特征，对待识别的无遮挡场景人脸、遮挡场景人脸进行人脸识别。本方法设计了一套通过多分支特征提取再融合的模型架构，在浅层对人脸进行细粒度的划分，各自的分支进行特征提取，在神经网络的深层把各自的特征图进行加权融合，最终达到了有效过滤遮挡区域，提升最终识别率的目的。本方法不仅有效提升了在口罩、墨镜等遮挡情况下的人脸图片的识别性能。而且还能够使用多任务训练的方式，解决遮挡人脸与非遮挡人脸的兼容性差的问题。同时通过把带有遮挡的人脸与不带遮挡的人脸数据独立成不同的损失训练，并且在进行损失训练时共享特征层；这样训练生成的人脸识别模型不仅能够以高性能识别遮挡人脸，也能够保持对无遮挡人脸的高性能识别。而且，本方法是利用端到端训练，易于快速部署，从中间浅层划分多个局部区域，不会带来参数量压力，实现简单且高效。而且本方法不仅能够对无遮挡场景目标人脸进行识别，还可以对遮挡场景目标人脸进行识别。而且在以高性能识别遮挡图片时，也能保持对无遮挡图片的高性能识别；使得本方法不仅能够识别存在角度、遮挡等问题图片，还可以解决遮挡人脸与无遮挡人脸的兼容识别问题，使本方法通过一个人脸识别模型能够同时以高性能的识别能力识别无遮挡人脸和遮挡人脸。与现有技术相比，本方法显著提高了对遮挡人脸图片的人脸识别性能；做到遮挡人脸与非遮挡人脸识别性能的兼容，在一定程度上提升了非遮挡人脸的识别率。

如图2至图7所示，本发明还提供一种融合遮挡场景的人脸识别系统，包括有：

遮挡场景人脸生成模块M10，用于根据无遮挡场景目标人脸的关键点信息和遮挡场景模板对无遮挡场景目标人脸进行数据增强，生成遮挡场景目标人脸；

场景融合模块M20，用于根据无遮挡场景目标人脸和遮挡场景目标人脸生成融合遮挡场景的特征图；

人脸识别模块M30，用于根据所述融合遮挡场景的特征图获取人脸特征，对待识别的无遮挡场景人脸、遮挡场景人脸进行人脸识别。

本系统根据无遮挡场景目标人脸的关键点信息和遮挡场景模板生成遮挡场景目标人脸；基于无遮挡场景目标人脸和遮挡场景目标人脸生成融合遮挡场景的特征图；根据融合遮挡场景的特征图提取人脸特征，对待识别的无遮挡场景人脸、遮挡场景人脸进行人脸识别。本系统不仅能够对无遮挡场景目标人脸进行识别，还可以对遮挡场景目标人脸进行识别。而且在以高性能识别遮挡图片时，也能保持对无遮挡图片的高性能识别；使得本发明不仅能够识别存在角度、遮挡等问题图片，还可以解决遮挡人脸与无遮挡人脸的兼容识别问题，使本发明通过一个人脸识别模型能够同时以高性能的识别能力识别无遮挡人脸和遮挡人脸。

根据上述记载，本申请实施例可以通过人脸检测算法对无遮挡场景目标人脸图片进行检测，获取目标人脸区域以及无遮挡场景目标人脸的关键点信息。在获得目标人脸区域、无遮挡场景目标人脸的关键点信息后，通过对齐算法将目标人脸区域中的五官对齐至固定区域，放缩无遮挡场景目标人脸至固定尺寸(例如128px*128px的尺寸或128*128的尺寸)；并在固定尺寸(例如128px*128px的尺寸或128*128的尺寸)下结合遮挡场景模板对无遮挡场景目标人脸进行数据增强，生成遮挡场景目标人脸。

根据上述记载，在一示例性实施例中，场景融合模块生成特征图的过程具体包括：可以通过人脸位置先验知识在神经网络的浅层特征图中分别将无遮挡场景目标人脸、遮挡场景目标人脸划分为多个局部区域；对每个局部区域进行特征提取，通过激活函数输出对应的特征向量；将从每个局部区域获得的特征向量作为该局部区域的自学习权重，并在神经网络的深层特征图中加权融合所有局部区域的自学习权重，生成融合遮挡场景的特征图。作为示例，本申请实施例通过对神经网络的浅层特征图进行下采样，获得深层特征图；其中，神经网络可以是卷积神经网络。本申请实施例中局部区域包括以下至少之一：上半脸、下半脸、左眼、右眼、鼻子、嘴巴。

根据上述记载，在人脸识别模块对待识别的无遮挡场景人脸、遮挡场景人脸进行人脸识别的过程中，还包括：获取根据融合遮挡场景的特征图提取的人脸特征，对这些人脸特征进行分类，并在分类后加入分类训练损失；在无遮挡场景以及遮挡场景下训练进行分类且加入分类训练损失的人脸特征，生成融合遮挡场景的人脸识别模型；根据融合遮挡场景的人脸识别模型以高性能的识别能力同时对待识别的无遮挡场景人脸、遮挡场景人脸进行人脸识别。

根据上述记载，在一些示例性实施例中，遮挡场景可以是口罩遮挡场景，墨镜遮挡场景。其中，遮挡场景模板包括以下之一：口罩模板、墨镜模板。遮挡场景目标人脸包括以下之一：口罩遮挡场景目标人脸、墨镜遮挡场景目标人脸。作为示例，生成口罩遮挡场景目标人脸的过程可以是：获取无遮挡场景目标人脸的关键点信息，根据鼻梁、脸颊、下巴的关键点位置生成口罩模板；将口罩模板与无遮挡场景目标人脸进行贴合，生成口罩遮挡场景目标人脸。本示例中，生成的口罩遮挡场景目标人脸如图2所示。作为另一示例，生成墨镜遮挡场景目标人脸的过程可以是：获取无遮挡场景目标人脸的关键点信息，根据眼角、鼻尖的关键点位置生成墨镜模板；将墨镜模板与无遮挡场景目标人脸进行贴合，生成墨镜遮挡场景目标人脸。本示例中，生成的墨镜遮挡场景目标人脸如图3所示。

根据上述记载，在一具体示例性实施例中，基于遮挡场景的人脸识别过程如下：

预处理阶段，进行人脸识别的准备工作，包括人脸检测，关键点检测，人脸对齐等操作。具体地，通过人脸检测算法对无遮挡场景目标人脸图片进行检测，获取目标人脸区域以及无遮挡场景目标人脸的关键点信息。在获得目标人脸区域、无遮挡场景目标人脸的关键点信息后，通过对齐算法将目标人脸区域中的五官对齐至固定区域，放缩无遮挡场景目标人脸至固定尺寸(例如128px*128px的尺寸或128*128的尺寸)。

数据生成阶段，利用口罩及墨镜模板，在无遮挡人脸的图片上根据关键点信息生成遮挡数据。具体地，在固定尺寸(例如128px*128px的尺寸或128*128的尺寸)下结合遮挡场景模板对无遮挡场景目标人脸进行数据增强，生成遮挡场景目标人脸。其中，遮挡场景模板包括以下之一：口罩模板、墨镜模板。遮挡场景目标人脸包括以下之一：口罩遮挡场景目标人脸、墨镜遮挡场景目标人脸。作为示例，生成口罩遮挡场景目标人脸的过程可以是：获取无遮挡场景目标人脸的关键点信息，根据鼻梁、脸颊、下巴的关键点位置生成口罩模板；将口罩模板与无遮挡场景目标人脸进行贴合，生成口罩遮挡场景目标人脸。本示例中，生成的口罩遮挡场景目标人脸如图2所示。作为另一示例，生成墨镜遮挡场景目标人脸的过程可以是：获取无遮挡场景目标人脸的关键点信息，根据眼角、鼻尖的关键点位置生成墨镜模板；将墨镜模板与无遮挡场景目标人脸进行贴合，生成墨镜遮挡场景目标人脸。本示例中，生成的墨镜遮挡场景目标人脸如图3所示。

细粒度特征提取阶段，如图4和图5所示，通过人脸位置先验知识在神经网络的浅层特征图中对人脸空间信息进行划分，细分为上半脸、下半脸、左眼、右眼、鼻子、嘴巴6个局部区域，并各自独立进行特征提取，最终在深层特征图与全局信息进行加权融合。具体地，通过人脸位置先验知识在神经网络的浅层特征图中分别将无遮挡场景目标人脸、遮挡场景目标人脸划分为上半脸、下半脸、左眼、右眼、鼻子、嘴巴这6个局部区域。本申请实施例通过人脸先验知识来进行局部区域的划分，对人脸中4个具有高辨识度的区域(双眼口鼻)和上下半张人脸独立进行特征提取。如图4所示，在stage3的特征图(16*16)进行细粒度划分，这个阶段不仅保持了人脸空间的相对位置信息，而且不会带来太多的计算压力。局部区域为全局区域的一个子区域，空间位置关系图5所示，每个子区域各自接一个神经网络，神经网络的结构与全局区域的结构相同，但是神经网络的参数不进行共享。其中，本申请实施例中的神经网络可以是卷积神经网络。本申请实施例还可以从更浅层的阶段进行细粒度特征提取，比如从stage2(32*32)进行划分提取。在挑选出人脸局部区域时，本申请实施例可以不借助人脸位置先验知识在神经网络的浅层特征图中对人脸空间信息进行划分，还可以根据关键点信息动态选择局部区域(双眼口鼻)的位置。

自注意力阶段，利用浅层特征图的知识，通过一个轻量级网络输出6维特征向量，并将这6维特征向量表示为6个局部区域的自学习权重。具体地，提供一个自注意力模块，用于对每个局部区域进行特征提取，通过激活函数输出对应的特征向量；将从每个局部区域获得的特征向量作为该局部区域的自学习权重；自注意力模块组成如图6所示。如图6所示，输入c*16*16大小特征图，即input(c*16*16)；按通道方向取平均值，即ChannelMean(16*16)；拉伸成256维的特征向量，即Flatten(1*256)；经过第一全连接层Full connect(64)处理；再经过第一激活函数ReLu(64)处理；再经过第二全连接层Full connect(6)处理；最后经过第二激活函数Sigmoid(6)输出6维特征向量。并将最终输出的6维特征向量表示为6个不同局部区域的自学习权重。在自注意力阶段，通过不同图像的特点，学习不同局部区域的权重因子，赋予各个局部区域不同的权重，避免因遮挡而产生干扰特征。

局部特征融合阶段，在神经网络的深层特征图中加权融合所有局部区域的自学习权重，生成融合遮挡场景的特征图。具体地，经过浅层的区域划分及特征提取，得到了各子区域的深层特征表达，每个子区域的深层特征乘上对应的自注意力权重，最终再加到全局区域的深层特征图(即stage4的特征图(8*8))上的对应子区域中，融合为新特征图；新特征图即为融合遮挡场景的特征图。作为另一示例，本申请实施例还可以选择在feature层进行特征融合，每个局部区域提取512维度的特征，共有6个512维度的局部特征，乘上各自的权重后与全局特征相加，形成融合后的512维特征。

根据上述记载，本申请实施例中神经网络的浅层包括：输入(128*128)、stage1(64*64)、stage2(32*32)、stage3(16*16)，浅层对应的特征图为浅层特征图。神经网络的深层包括：Stage4(8*8)，深沉对应的特征图为深层特征图。本申请实施例通过对神经网络的浅层特征图进行下采样，获得深层特征图。

本发明提出了一种融合遮挡场景的人脸识别系统，根据无遮挡场景目标人脸的关键点信息和遮挡场景模板生成遮挡场景目标人脸；基于无遮挡场景目标人脸和遮挡场景目标人脸生成融合遮挡场景的特征图；根据融合遮挡场景的特征图提取人脸特征，对待识别的无遮挡场景人脸、遮挡场景人脸进行人脸识别。本系统设计了一套通过多分支特征提取再融合的模型架构，在浅层对人脸进行细粒度的划分，各自的分支进行特征提取，在神经网络的深层把各自的特征图进行加权融合，最终达到了有效过滤遮挡区域，提升最终识别率的目的。本系统不仅有效提升了在口罩、墨镜等遮挡情况下的人脸图片的识别性能。而且还能够使用多任务训练的方式，解决遮挡人脸与非遮挡人脸的兼容性差的问题。同时提出多任务训练的方式，把带有遮挡的人脸与不带遮挡的人脸数据独立成不同的损失训练，并且共享特征层。这样训练生成的人脸识别模型不仅能够以高性能识别遮挡人脸，也能够保持对无遮挡人脸的高性能识别。而且，本系统是利用端到端训练，易于快速部署，从中间浅层划分多个局部区域，不会带来参数量压力，实现简单且高效。而且本系统不仅能够对无遮挡场景目标人脸进行识别，还可以对遮挡场景目标人脸进行识别。而且在以高性能识别遮挡图片时，也能保持对无遮挡图片的高性能识别；使得本系统不仅能够识别存在角度、遮挡等问题图片，还可以解决遮挡人脸与无遮挡人脸的兼容识别问题，使本系统通过一个人脸识别模型能够同时以高性能的识别能力识别无遮挡人脸和遮挡人脸。与现有技术相比，本系统显著提高了对遮挡人脸图片的人脸识别性能；做到遮挡人脸与非遮挡人脸识别性能的兼容，在一定程度上提升了非遮挡人脸的识别率。

本申请实施例还提供了一种融合遮挡场景的人脸识别设备，包括有：

根据无遮挡场景目标人脸的关键点信息和遮挡场景模板对无遮挡场景目标人脸进行数据增强，生成遮挡场景目标人脸；

基于无遮挡场景目标人脸和遮挡场景目标人脸生成融合遮挡场景的特征图；

根据融合遮挡场景的特征图提取人脸特征，对待识别的无遮挡场景人脸、遮挡场景人脸进行人脸识别。

在本实施例中，该融合遮挡场景的人脸识别设备执行上述系统或方法，具体功能和技术效果参照上述实施例即可，此处不再赘述。

本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中所述方法所包含步骤的指令(instructions)。

图8为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。

可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。

可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。

在本实施例中，该终端设备的处理器包括用于执行各设备中语音识别装置各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。

图9为本申请的一个实施例提供的终端设备的硬件结构示意图。图9是对图8在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。

第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。

第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。

处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述数据处理方法中的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。

电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。

多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。

输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。

传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。

通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。

由上可知，在图9实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图8实施例中的输入设备的实现方式。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (17)

1.一种融合遮挡场景的人脸识别方法，其特征在于，包括以下步骤：

根据无遮挡场景目标人脸的关键点信息和遮挡场景模板生成遮挡场景目标人脸；

基于无遮挡场景目标人脸和遮挡场景目标人脸生成融合遮挡场景的特征图；

根据所述融合遮挡场景的特征图获取人脸特征，对待识别的无遮挡场景人脸或遮挡场景人脸进行人脸识别。

2.根据权利要求1所述的融合遮挡场景的人脸识别方法，其特征在于，所述特征图生成过程，包括：通过神经网络训练所述特征图，在所述神经网络的浅层特征图中将无遮挡场景目标人脸、遮挡场景目标人脸分别划分为多个局部区域；

对每个局部区域进行特征提取，通过激活函数输出对应的特征向量；

将从每个局部区域获得的特征向量作为该局部区域的自学习权重，并在神经网络的深层特征图中加权融合所有局部区域的自学习权重，生成所述融合遮挡场景的特征图。

3.根据权利要求1所述的融合遮挡场景的人脸识别方法，其特征在于，对待识别的无遮挡场景人脸、遮挡场景人脸进行人脸识别，包括：

获取根据所述融合遮挡场景的特征图提取的人脸特征，对所述人脸特征进行分类并加入分类训练损失；

在无遮挡场景以及遮挡场景下训练进行分类且加入分类训练损失的人脸特征，生成融合遮挡场景的人脸识别模型；

根据所述融合遮挡场景的人脸识别模型对待识别的无遮挡场景人脸、遮挡场景人脸进行人脸识别。

4.根据权利要求1所述的融合遮挡场景的人脸识别方法，其特征在于，通过人脸检测算法对无遮挡场景目标人脸图片进行检测，获取目标人脸区域以及无遮挡场景目标人脸的关键点信息；

通过对齐算法将目标人脸区域中的五官对齐至固定区域，放缩无遮挡场景目标人脸至固定尺寸；并在固定尺寸下结合遮挡场景模板对无遮挡场景目标人脸进行数据增强，生成遮挡场景目标人脸。

5.根据权利要求2所述的融合遮挡场景的人脸识别方法，其特征在于，所述局部区域包括以下至少之一：上半脸、下半脸、左眼、右眼、鼻子、嘴巴。

6.根据权利要求1所述的融合遮挡场景的人脸识别方法，其特征在于，所述遮挡场景模板包括以下至少之一：口罩模板、墨镜模板；

遮挡场景目标人脸包括以下之一：口罩遮挡场景目标人脸、墨镜遮挡场景目标人脸。

7.根据权利要求6所述的融合遮挡场景的人脸识别方法，其特征在于，获取所述无遮挡场景目标人脸的关键点信息，根据鼻梁、脸颊、下巴的关键点位置生成口罩模板；并将所述口罩模板与所述无遮挡场景目标人脸进行贴合，生成所述口罩遮挡场景目标人脸；

根据眼角、鼻尖的关键点位置生成墨镜模板；并将所述墨镜模板与所述无遮挡场景目标人脸进行贴合，生成所述墨镜遮挡场景目标人脸。

8.根据权利要求2所述的融合遮挡场景的人脸识别方法，其特征在于，对所述神经网络的浅层特征图进行下采样，获得所述深层特征图。

9.一种融合遮挡场景的人脸识别系统，其特征在于，包括有：

遮挡场景人脸生成模块，用于根据无遮挡场景目标人脸的关键点信息和遮挡场景模板生成遮挡场景目标人脸；

场景融合模块，用于根据无遮挡场景目标人脸和遮挡场景目标人脸生成融合遮挡场景的特征图；

人脸识别模块，用于根据所述融合遮挡场景的特征图获取人脸特征，对待识别的无遮挡场景人脸、遮挡场景人脸进行人脸识别。

10.根据权利要求9所述的融合遮挡场景的人脸识别系统，其特征在于，所述场景融合模块生成特征图的过程具体包括：

在神经网络的浅层特征图中分别将无遮挡场景目标人脸、遮挡场景目标人脸划分为多个局部区域；

对每个局部区域进行特征提取，通过激活函数输出对应的特征向量；

将从每个局部区域获得的特征向量作为该局部区域的自学习权重，并在神经网络的深层特征图中加权融合所有局部区域的自学习权重，生成所述融合遮挡场景的特征图。

11.根据权利要求9所述的融合遮挡场景的人脸识别系统，其特征在于，所述人脸识别模块对待识别的无遮挡场景人脸、遮挡场景人脸进行人脸识别的过程具体包括：

获取根据所述融合遮挡场景的特征图提取的人脸特征，对所述人脸特征进行分类并加入分类训练损失；

在无遮挡场景以及遮挡场景下训练进行分类且加入分类训练损失的人脸特征，生成融合遮挡场景的人脸识别模型；

根据所述融合遮挡场景的人脸识别模型对待识别的无遮挡场景人脸、遮挡场景人脸进行人脸识别。

12.根据权利要求10所述的融合遮挡场景的人脸识别系统，其特征在于，所述局部区域包括以下至少之一：上半脸、下半脸、左眼、右眼、鼻子、嘴巴。

13.根据权利要求12所述的融合遮挡场景的人脸识别系统，其特征在于，若所述遮挡场景模板为口罩模板，则所述遮挡场景人脸生成模块获取所述无遮挡场景目标人脸的关键点信息，根据鼻梁、脸颊、下巴的关键点位置生成口罩模板；

将所述口罩模板与所述无遮挡场景目标人脸进行贴合，生成所述口罩遮挡场景目标人脸。

14.根据权利要求12所述的融合遮挡场景的人脸识别系统，其特征在于，若所述遮挡场景模板为墨镜模板，则所述遮挡场景人脸生成模块获取所述无遮挡场景目标人脸的关键点信息，根据眼角、鼻尖的关键点位置生成墨镜模板；

将所述墨镜模板与所述无遮挡场景目标人脸进行贴合，生成所述墨镜遮挡场景目标人脸。

15.一种融合遮挡场景的人脸识别设备，其特征在于，包括有：

根据无遮挡场景目标人脸的关键点信息和遮挡场景模板生成遮挡场景目标人脸；

基于无遮挡场景目标人脸和遮挡场景目标人脸生成融合遮挡场景的特征图；

根据所述融合遮挡场景的特征图获取人脸特征，对待识别的无遮挡场景人脸、遮挡场景人脸进行人脸识别。

16.一种设备，其特征在于，包括：

一个或多个处理器；和

存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行所述指令时，使得所述设备执行如权利要求1-8中任意一项所述的方法。

17.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行所述指令时，使得设备执行如权利要求1-8中任意一项所述的方法。

Images