CN114360033A - 基于图卷积融合网络的口罩人脸识别方法、系统及设备 - Google Patents

Abstract

本发明公开了一种基于图卷积融合网络的口罩人脸识别方法、系统及设备，首先利用改进ResNet‑50网络对输入的口罩人脸图像进行特征表示，同时利用人脸关键点检测技术得到输入人脸的眉眼RoI信息；然后将人脸特征图和眉眼RoI信息输入到眉眼区域池化模块得到眉眼局部特征以及全局特征，再通过图卷积融合网络得出最终的人脸判别特征；最后，使用ArcFace损失函数优化CNN骨架和图卷积融合网络的参数，使得最终产生更具判别性的口罩人脸识别特征。本发明方法有效克服了现有人脸识别方法在口罩遮挡情况下精度低的问题。

Description

基于图卷积融合网络的口罩人脸识别方法、系统及设备

技术领域

本发明属于计算机视觉技术领域，涉及一种戴口罩的人脸识别方法、系统及设备，具体涉及一种基于图卷积融合网络的口罩人脸识别方法、系统及设备。

技术背景

自疫情开始以来，佩戴口罩几乎是所有国家和地区居民出行的必备操作。但严重的面部遮挡会对人脸识别技术构成严重挑战，受此影响，类似手机解锁、安检验票、闸机通行、安防监控等场景应用的人脸识别准确率均会出现不同程度的下降。如何针对面部遮挡和复杂噪声进行有效建模，恢复出真实面部信息，是鲁棒人脸识别中重要且具有挑战性的问题。

美国国家标准与技术协会（NIST）的一项研究发现，戴上足够覆盖口鼻的口罩会导致一些最广泛使用的面部识别算法（包括松下和三星等厂商所设计的89种面部识别方法）的错误率高达5%至50%。遮挡下的人脸识别是业界公认的难题，口罩人脸作为遮挡人脸的特殊情况，其识别难度具体表现在三方面：1）戴上口罩后，因鼻子、嘴巴等五官信息被遮挡，人脸面部可用于辨别的信息会大幅减少；2）脸部轮廓等可辨别信息在物理分布上不均衡，因此按照传统思路训练出的人脸识别模型，精度都会出现大幅下降；3）戴口罩的人脸数据样本集很稀缺。

最初的口罩人脸识别算法采用口罩人脸数据增广的方式来提升戴口罩下的人脸识别准确度，然而，现实生活中存在口罩样式多样、口罩遮挡范围不确定等问题，这些对基于数据增广的口罩人脸识别方法影响较大。自 2021年以来，越来越多研究者开始关注眼部关键点的判别特征，提升模型在口罩遮挡情况下的表现，这已经成为口罩人脸识别的重要发展趋势。然而，受限于口罩佩戴方式以及人脸库规模，现有的口罩人脸识别技术并不可靠，有待为戴口罩这种重度遮挡的人脸识别问题探索更有效的方法。

发明内容

为了解决上述技术问题，本发明结合图卷积网络，提供了一种基于图卷积融合网络的口罩人脸识别方法、系统及设备，通过将口罩人脸的眉眼特征与全局特征融合，提取人脸眉眼部分更具判别性的特征，达到准确识别戴口罩人脸目的。

本发明的方法所采用的技术方案是：一种基于图卷积融合网络的口罩人脸识别方法，包括以下步骤：

步骤1：对口罩人脸图像进行特征表示，获得人脸特征图；

其中，采用改进ResNet-50网络，对源于自然拍摄且经过人脸对齐后的图像进行特征提取；所述改进ResNet-50网络，是在ResNet-50网络中去掉平均池化层和全连接层后获得的网络，通过4个CNN块学习得到四个特征图，记为F₁，F₂，F₃，F₄；

步骤2：获取人脸图像对应的眉眼RoI信息；

步骤3：将人脸特征图和眉眼RoI信息转化为对应的眉眼局部特征以及全局特征；所述眉眼局部特征包括左眉特征，右眉特征，左眼特征和右眼特征；

步骤4：融合眉眼局部特征和全局特征，得到最终的人脸判别特征。

本发明的系统所采用的技术方案是：一种基于图卷积融合网络的口罩人脸识别系统，包括以下模块：

模块1，用于对口罩人脸图像进行特征表示，获得人脸特征图；

其中，采用改进ResNet-50网络，对源于自然拍摄且经过人脸对齐后的图像进行特征提取；所述改进ResNet-50网络，是在ResNet-50网络中去掉平均池化层和全连接层后获得的网络，通过4个CNN块学习得到四个特征图，记为F₁，F₂，F₃，F₄；

模块2，用于获取人脸图像对应的眉眼RoI信息；

模块3，用于将人脸特征图和眉眼RoI信息转化为对应的眉眼局部特征以及全局特征；所述眉眼局部特征包括左眉特征，右眉特征，左眼特征和右眼特征；

模块4，用于融合眉眼局部特征和全局特征，得到最终的人脸判别特征。

本发明的设备所采用的技术方案是：一种基于图卷积融合网络的口罩人脸识别设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现所述的基于图卷积融合网络的口罩人脸识别方法。

与现有的口罩人脸识别方法相比，本发明具有以下的优点与积极效果：

（1）口罩人脸图像丢失了大部分人脸信息，人脸面部可用于辨别的信息会大幅减少。本发明基于口罩人脸可见部分的对称性提出一种基于图卷积融合网络的口罩人脸识别方法，强化对人脸眉眼部分特征的表达，有针对性的学习有效人脸信息，解决了口罩人脸识别可靠性低的问题。

（2）本发明引入人脸关键点检测模型，提取全局人脸关键点特征图，结合全局人脸特征以及基于注意力机制的局部特征，实现多粒度、多维度的人脸特征融合，尽可能挖掘人脸信息，解决口罩遮挡导致身份信息不足的问题。

附图说明

图1：本发明实施例的方法流程图。

图2：本发明实施例的眉眼区域池化网络结构图。

图3：本发明实施例的图卷积融合网络结构图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施案例对本发明做进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

基于图卷积融合网络的口罩人脸识别方法是一种端到端的人脸识别方法，首先，针对口罩遮挡对人脸识别带来的影响，建立能有效解决遮挡问题的图卷积融合网络；然后，基于之前的人脸识别方法，创建更有效的眉眼局部特征提取网络，设计端到端的基于图卷积融合的口罩人脸识别方法。

请见图1，本发明提供的一种基于图卷积融合网络的口罩人脸识别方法，包括以下步骤：

步骤1：对口罩人脸图像进行特征表示，其中口罩人脸图像来源于自然拍摄且经过人脸对齐后的图片，获得人脸特征图；

本实施例中，采用改进ResNet-50网络，对源于自然拍摄且经过人脸对齐后的图像进行特征提取；所述改进ResNet-50网络，是在ResNet-50网络中去掉平均池化层和全连接层后获得的网络，通过4个CNN块（Block1 到 Block4）学习得到四个特征图，记为F₁，F₂，F₃，F₄；

若输入图片大小为H×W， H和W分别表示图像的高度和宽度，则四个特征图F₁，F₂， F₃，F₄的大小分别为H/2×W/2，H/4×W/4，H/8×W/8，H/16×W/16；将提取的特征记为

，其中

分别代表图像的高度、宽度和通道数。

步骤2：通过人脸关键点检测技术得到获取人脸图像对应的眉眼RoI信息；

本实施例中，步骤2的具体实现包括以下子步骤：

步骤2.1：采用人脸关键点检测方法来提取口罩人脸面部关键点坐标；

步骤2.2：人脸关键点坐标进一步生成眉眼RoI信息，RoI信息表示如下：

其中P ⁱ 表示人脸图像眉眼第i部分的关键点坐标集合，

分别表示第i部分的 关键点的横坐标和纵坐标，

表示RoI区域的左上角和右下角坐标，

代表margin以增加容错率。

步骤3：利用眉眼区域池化网络将人脸特征图和眉眼RoI信息转化为对应的眉眼局部特征以及全局特征；其中眉眼局部特征包括左眉特征，右眉特征，左眼特征和右眼特征；

请见图2，本实施例的眉眼区域池化网络，输入为人脸图像通过ResNet50网络学习到的三个特征图F₂，F₃，F₄以及人脸图像对应的眉眼RoI信息，网络内部包含三个RoI池化模块和一个全局池化模块，最后分别执行四次特征级联操作；通过眉眼区域池化网络将人脸特征图和眉眼RoI信息转化为对应的眉眼局部特征以及全局特征。

本实施例中，步骤3的具体实现包括以下子步骤：

步骤3.1：利用步骤2中得到的眉眼RoI信息对步骤1中得到的三个特征图（F₂，F₃，F₄）的四个区域进行Roi-Pooling操作，所述四个区域包括双眼和双眉，对于每个区域得到的三个特征图F₂，F₃，F₄；

步骤3.2：采用特征级联的方式分别将每个区域对应的三个阶段特征融合为每个 区域对应的局部特征

；

步骤3.3：对步骤1中得到的F₄特征进行全局池化操作得到全局特征F_g。

步骤4：通过图卷积融合网络融合眉眼局部特征和全局特征，得到最终的人脸判别特征；

请见图3，本实施例的图卷积融合网络，输入为眉眼局部特征以及全局特征，网络内部包含三个隐含层，第一层包含512个节点；第二层层包含256个节点，第三层包含128个节点；每个层之间使用ReLU激活函数进行激活，输出为人脸判别特征。

本实施例中，步骤4的具体实现包括以下子步骤：

步骤4.1：构建图

；其中，v表示节点集合，由1个全局节点和2个局部节 点组成；

表示边集合，由1个全局节点连接所有的局部节点的边组成；局部节点由特征对

组成，全局节点由全局特征F_g组成，

；

表示图结构，其中d表 示眉眼特征维度；

步骤4.2：建立图节点之间的联系，将全局节点作为图的第一个节点，邻接矩阵

定义为：

其中

，然后正则化邻接矩阵为

；

步骤4.3：通过图卷积融合网络逐层传播，融合眉眼局部特征和全局特征，得到最终的人脸判别特征；

所述图卷积融合网络逐层传播过程如下：

；

其中

表示图特征的第l层，以步骤3中输出的全局和局部特征作为初始化，

表示图学习参数，

表示ReLU激活函数，整个图卷积融合网络共有3层，最终输出

作为人脸判别特征。

本实施例采用的改进ResNet-50网络和通过图卷积融合网络，均是通过ArcFace损失函数优化改进ResNet-50网络和通过图卷积融合网络的参数，获得训练好的改进ResNet-50网络和通过图卷积融合网络，使得最终产生具判别性的口罩人脸识别特征。

本发明首先一方面利用CNN基础骨架（改进ResNet-50网络）对输入的口罩人脸图像进行特征表示，另一方面利用人脸关键点检测技术得到输入人脸的眉眼RoI信息，然后将人脸特征图和眉眼RoI信息输入到眉眼区域池化模块得到眉眼局部特征以及全局特征，再通过图卷积融合网络得出最终的人脸判别特征，使用ArcFace损失函数优化CNN骨架和图卷积融合网络的参数，使得最终产生更具判别性的口罩人脸识别特征。本发明方法有效克服了现有人脸识别方法对口罩遮挡人脸效果差的局限。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (10)

1.一种基于图卷积融合网络的口罩人脸识别方法，其特征在于，包括以下步骤：

步骤1：对口罩人脸图像进行特征表示，获得人脸特征图；

其中，采用改进ResNet-50网络，对源于自然拍摄且经过人脸对齐后的图像进行特征提取；所述改进ResNet-50网络，是在ResNet-50网络中去掉平均池化层和全连接层后获得的网络，通过4个CNN块学习得到四个特征图，记为F₁，F₂，F₃，F₄；

步骤2：获取人脸图像对应的眉眼RoI信息；

步骤3：将人脸特征图和眉眼RoI信息转化为对应的眉眼局部特征以及全局特征；所述眉眼局部特征包括左眉特征，右眉特征，左眼特征和右眼特征；

步骤4：融合眉眼局部特征和全局特征，得到最终的人脸判别特征。

2.根据权利要求1所述的基于图卷积融合网络的口罩人脸识别方法，其特征在于：步骤 1中，若输入图片大小为H×W， H和W分别表示图像的高度和宽度，则四个特征图F₁，F₂，F₃，F₄ 的大小分别为H/2×W/2，H/4×W/4，H/8×W/8，H/16×W/16；将提取的特征记为

，其中

分别代表图像的高度、宽度和通道数。

3.根据权利要求1所述的基于图卷积融合网络的口罩人脸识别方法，其特征在于，步骤2的具体实现包括以下子步骤：

步骤2.1：采用face-alignment人脸关键点检测方法来提取口罩人脸面部关键点坐标；

步骤2.2：人脸关键点坐标进一步生成眉眼RoI信息，RoI信息表示如下：

其中P ⁱ 表示人脸图像眉眼第i部分的关键点坐标集合，

分别表示第i部分的关键 点的横坐标和纵坐标，

表示RoI区域的左上角和右下角坐标，

代 表margin以增加容错率。

4.根据权利要求1所述的基于图卷积融合网络的口罩人脸识别方法，其特征在于：步骤3中，采用眉眼区域池化网络将人脸特征图和眉眼RoI信息转化为对应的眉眼局部特征以及全局特征；

所述眉眼区域池化网络，输入为人脸图像通过ResNet50网络学习到的三个特征图F₂，F₃，F₄以及人脸图像对应的眉眼RoI信息，网络内部包含三个RoI池化模块和一个全局池化模块，最后分别执行四次特征级联操作；通过眉眼区域池化网络将人脸特征图和眉眼RoI信息转化为对应的眉眼局部特征以及全局特征。

5.根据权利要求1所述的基于图卷积融合网络的口罩人脸识别方法，其特征在于：步骤4中，通过图卷积融合网络融合眉眼局部特征和全局特征；

所述图卷积融合网络，输入为眉眼局部特征以及全局特征，网络内部包含三个隐含层，第一层包含512个节点；第二层层包含256个节点，第三层包含128个节点；每个层之间使用ReLU激活函数进行激活，输出为人脸判别特征。

6.根据权利要求1所述的基于图卷积融合网络的口罩人脸识别方法，其特征在于，步骤3的具体实现包括以下子步骤：

步骤3.1：利用步骤2中得到的眉眼RoI信息对步骤1中得到的三个特征图（F₂，F₃，F₄）的四个区域进行Roi-Pooling操作，所述四个区域包括双眼和双眉，对于每个区域得到的三个特征图F₂，F₃，F₄；

步骤3.2：采用特征级联的方式分别将每个区域对应的三个阶段特征融合为每个区域 对应的局部特征

；

步骤3.3：对步骤1中得到的F₄特征进行全局池化操作得到全局特征F_g。

7.根据权利要求6所述的基于图卷积融合网络的口罩人脸识别方法，其特征在于，步骤4的具体实现包括以下子步骤：

步骤4.1：构建图

；其中，v表示节点集合，由1个全局节点和2个局部节点组 成；

表示边集合，由1个全局节点连接所有的局部节点的边组成；局部节点由特征对

组成，全局节点由全局特征F_g组成，

；

表示图结构，其中d表示 眉眼特征维度；

步骤4.2：建立图节点之间的联系，将全局节点作为图的第一个节点，邻接矩阵

定义为：

其中

，然后正则化邻接矩阵为

；

步骤4.3：通过图卷积融合网络逐层传播，融合眉眼局部特征和全局特征，得到最终的人脸判别特征；

所述图卷积融合网络逐层传播过程如下：

；

其中

表示图特征的第l层，以步骤3中输出的全局和局部特征作为初始化，

表示 图学习参数，

表示ReLU激活函数，整个图卷积融合网络共有3层，最终输出

作为人脸 判别特征。

8.根据权利要求1-7任意一项所述的基于图卷积融合网络的口罩人脸识别方法，其特征在于：所述改进ResNet-50网络和通过图卷积融合网络，均是通过ArcFace损失函数优化改进ResNet-50网络和通过图卷积融合网络的参数，获得训练好的改进ResNet-50网络和通过图卷积融合网络，使得最终产生更具判别性的口罩人脸识别特征。

9.一种基于图卷积融合网络的口罩人脸识别系统，其特征在于，包括以下模块：

模块1，用于对口罩人脸图像进行特征表示，获得人脸特征图；

其中，采用改进ResNet-50网络，对源于自然拍摄且经过人脸对齐后的图像进行特征提取；所述改进ResNet-50网络，是在ResNet-50网络中去掉平均池化层和全连接层后获得的网络，通过4个CNN块学习得到四个特征图，记为F₁，F₂，F₃，F₄；

模块2，用于获取人脸图像对应的眉眼RoI信息；

模块3，用于将人脸特征图和眉眼RoI信息转化为对应的眉眼局部特征以及全局特征；所述眉眼局部特征包括左眉特征，右眉特征，左眼特征和右眼特征；

模块4，用于融合眉眼局部特征和全局特征，得到最终的人脸判别特征。

10.一种基于图卷积融合网络的口罩人脸识别设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的基于图卷积融合网络的口罩人脸识别方法。

Images