CN116503932A - 重点区域加权的眼周特征提取方法、系统及存储介质 - Google Patents

Abstract

一种重点区域加权的眼周特征提取方法、系统及存储介质，涉及生物特征识别技术领域。所述方法包括：获取待检测眼周图像；将待检测眼周图像输入至训练完成的眼周特征提取网络，眼周特征提取网络包括重点区域分割网络和特征提取网络，重点区域分割网络包括多个卷积阶段，特征提取网络包括多个特征提取阶段；通过重点区域分割网络确定待检测眼周图像在各卷积阶段的重点区域；通过特征提取网络确定待检测眼周图像在各特征提取阶段的特征图；基于各重点区域对各特征图进行加权处理，得到目标特征图；对目标特征图进行标准化处理，得到眼周特征。实施本申请提供的技术方案，可以提高对眼周特征提取的准确性，进而提高对人脸或者虹膜识别的准确率。

Description

重点区域加权的眼周特征提取方法、系统及存储介质

技术领域

本申请涉及生物特征识别技术领域，具体涉及一种重点区域加权的眼周特征提取方法、系统及存储介质。

背景技术

生物特征识别技术拥有方法新颖、移植性强、辨识度高、容错率低、使用便捷等众多优点，因此被广泛研究。目前常用的生物识别技术需要获取完整、清晰的生物特征，例如人脸识别、虹膜识别。但是近些年，面向少约束场景下的生物特征识别技术逐渐成为了研究热点，而眼周区域包含了丰富的颜色和纹理特征，与整个人脸区域相比受年龄变换和表情变化影响较小，具有较高的区分性和稳定性，因此眼周可以作为人脸或者虹膜的一种补充模态进行辅助识别。

在进行人脸识别任务时，人员可能因为佩戴口罩而只露出眼周区域，或者进行虹膜识别时，虹膜拍摄得不清晰时，可以借助对眼周区域进行特征提取的方式来进行辅助识别。在此情况下，若人员佩戴眼镜，则识别到的眼周图像中包括镜框或镜框产生的光斑区域，均会极大的影响对眼周特征的提取，进而降低对人脸或者虹膜识别的准确率。

发明内容

本申请提供了一种重点区域加权的眼周特征提取方法、系统及存储介质，具有提高对眼周特征提取的准确性，进而提高对人脸或者虹膜识别准确率。

第一方面，本申请提供了一种重点区域加权的眼周特征提取方法，采用如下技术方案：

获取待检测眼周图像；

将所述待检测眼周图像输入至训练完成的眼周特征提取网络，所述眼周特征提取网络包括重点区域分割网络和特征提取网络，所述重点区域分割网络包括多个卷积阶段，所述特征提取网络包括多个特征提取阶段；

通过所述重点区域分割网络确定所述待检测眼周图像在各所述卷积阶段的重点区域；

通过所述特征提取网络确定所述待检测眼周图像在各所述特征提取阶段的特征图；

基于各所述重点区域对各所述特征图进行加权处理，得到目标特征图；

对所述目标特征图进行标准化处理，得到眼周特征。

通过采用上述技术方案，将待检测眼周图像首先通过重点区域分割网络，可以获得待检测眼周图像的重点区域，使得眼周特征提取网络更关注眼周的重点区域，再将待检测眼周图像通过特征提取网络，可以获得将眼周特征提取出来的特征图，再基于重点区域对特征图进行加权处理，可以减少眼周特征提取网络对不关注区域如眼镜、光斑区域的处理，减少计算量的同时提高了对眼周特征提取的准确率，进而提高对人脸或者虹膜识别的准确率。

可选的，所述获取待检测眼周图像之前，还包括：构建初始眼周特征提取网络，所述初始眼周特征提取网络包括初始重点区域分割网络和初始特征提取网络，所述初始重点区域分割网络包括多个卷积训练阶段，所述初始特征提取网络包括多个特征提取训练阶段；采用多组眼周图像样本对所述初始重点区域分割网络进行训练，得到训练完成的重点区域分割网络，采用所述多组眼周图像样本以及所述训练完成的重点区域分割网络对所述初始特征提取网络进行训练，得到每相邻两个特征提取训练阶段的形状拓扑特征；计算所述每相邻两个特征提取训练阶段的形状拓扑特征的相似度；基于各所述相似度计算相似度损失值，并计算所述初始眼周特征提取网络在训练过程中的分类损失值；当各所述相似度损失值与所述分类损失值之和低于预设损失值时停止训练，得到训练完成的眼周特征提取网络。

通过采用上述技术方案，基于各训练样本预先对初始眼周特征提取网络进行训练，得到每相邻两个特征提取训练阶段的形状拓扑特征，并基于每相邻两个特征提取训练阶段的形状拓扑特征的相似度损失值，以及训练过程中的分类损失值之和作为停止训练标准，即相似度损失值与分类损失值之和低于预设损失值时停止训练，以训练出准确度较高的眼周特征提取网络，从而提高对眼周特征提取的准确率。

可选的，所述通过所述重点区域分割网络确定所述待检测眼周图像在各所述卷积阶段的重点区域，包括：将所述待检测眼周图像输入至所述重点区域分割网络中进行卷积处理，得到各所述卷积阶段对应分辨率的卷积特征图；将各所述对应分辨率的卷积特征图转换成各对应的掩膜图像；根据各所述掩膜图像以及特征自适应权重融合公式进行融合处理，得到各掩膜图像的重点区域。

通过采用上述技术方案，将待检测眼周图像经过重点区域分割网络可以得到的各阶段的掩膜图像，并根据各阶段的掩膜图像以及特征自适应权重融合公式进行融合处理，可以得到各掩膜图像的重点区域，使得眼周特征提取网络更关注重点区域，减少网络的计算量的同时提高对眼周特征的识别准确性。

可选的，所述根据各所述掩膜图像以及特征自适应权重融合公式进行融合处理，得到各掩膜图像的重点区域，包括：将最后一卷积阶段的掩膜图像进行上采样处理，得到最后一卷积阶段的上采样掩膜图像，将所述最后一卷积阶段的上采样掩膜图像与上一卷积阶段的掩膜图像按照特征自适应权重融合公式进行融合，得到上一卷积阶段的掩膜图像的重点区域；将所述上一卷积阶段的掩膜图像的重点区域作为所述最后一卷积阶段的掩膜图像，并执行所述将最后一卷积阶段的掩膜图像进行上采样处理，得到最后一卷积阶段的上采样掩膜图像，将所述最后一卷积阶段的上采样掩膜图像与上一卷积阶段的掩膜图像按照特征自适应权重融合公式进行融合的步骤，直到所有卷积阶段完成融合，得到各所述卷积阶段的重点区域；所述特征自适应权重融合公式为：；所述/>为第j卷积阶段与第i卷积阶段的掩膜图像融合后的重点区域，所述第i卷积阶段为所述第j卷积阶段的上一卷积阶段，所述/>为网络参数，所述/>为第j卷积阶段上采样得到的掩膜图像，所述/>为第i卷积阶段的掩膜图像。

通过采用上述技术方案，通过特征自适应权重融合公式，可以较好地将各阶段的掩膜图像与上一阶段对应的掩膜图像进行融合，从而得到较为准确的各掩膜图像的重点区域。

可选的，所述通过所述特征提取网络确定所述待检测眼周图像在各所述特征提取阶段的特征图，包括：

若当前特征提取阶段为第一特征提取阶段，则将所述待检测眼周图像进行下采样处理，得到当前特征提取阶段的下采样的特征图；将所述当前特征提取阶段的下采样的特征图进行自注意力处理，得到自注意力处理后的特征图；获取对所述自注意力处理后的特征图进行残差操作后得到的残差处理图，将所述残差处理图输入到多层感知机处理，得到所述当前特征提取阶段的特征图；

若当前特征提取阶段不为第一特征提取阶段，则对上一特征提取阶段的特征图与对应卷积阶段得到的重点区域进行加权，得到上一特征提取阶段的加权后的特征图，在所述当前特征提取阶段，对所述上一特征提取阶段的加权后的特征图进行下采样处理，得到当前特征提取阶段的下采样的特征图；将所述当前特征提取阶段的下采样的特征图进行自注意力处理，得到自注意力处理后的特征图；获取对所述自注意力处理后的特征图进行残差操作后得到的残差处理图，将所述残差处理图输入到多层感知机处理，得到所述当前特征提取阶段的特征图，直到得到各所述特征提取阶段的特征图。

通过采用上述技术方案，将待检测眼周图像进行下采样处理，可以减少网络的计算量，再将下采样处理后的特征图依次进行自注意力处理以及多层感知机处理，可以实现对待检测眼周图像进行逐级的特征提取，进一步提升对眼周特征提取的准确性。

可选的，所述将所述下采样的特征图进行自注意力处理，得到自注意力处理后的特征图，包括：将所述下采样的特征图分别通过三个第一卷积核的卷积处理，得到第一特征图、第二特征图以及第三特征图；将所述第二特征图以及第三特征图分别通过第二卷积核的卷积处理得到对应的第二卷积特征图和第三卷积特征图，所述第二卷积核大于所述第一卷积核；将所述第一特征图与所述第二卷积特征图进行矩阵相乘，并进行归一化处理后通过softmax层得到权重值；将所述权重值与所述第三卷积特征图进行矩阵相乘，得到自注意力处理后的特征图。

通过采用上述技术方案，将下采样的特征图通过三个第一卷积核的卷积处理，可以获得统一维度的三个特征图，并且再添加第二卷积核的卷积处理，可以获得分辨率减少的特征图，从而在进行矩阵相乘时，减少网络的计算量，通过自注意力处理实现了在空间维度上对眼周特征的提取。

可选的，所述获取对所述自注意力处理后的特征图进行残差操作后得到的残差处理图，将所述残差处理图输入到多层感知机处理，得到当前特征提取阶段的特征图，包括：将所述自注意力处理后的特征图与所述下采样的特征图相加，得到残差处理图；将所述残差处理图依次通过两个相连的第一卷积核的卷积处理，得到当前特征提取阶段的特征图。

通过采用上述技术方案，将自注意力处理后的特征图与下采样的特征图进行残差操作，可以获得更加精细化的残差处理图，将残差处理图依次通过两个相连的第一卷积核的卷积处理，可以使得在通道维度上进行增加和缩小通道数，以获取到更加丰富的眼周特征图。

可选的，所述重点区域包括眼睛区域、眉毛区域、镜框区域以及光斑区域，所述基于各所述重点区域对各所述特征图进行加权处理，得到目标特征图，包括：基于各所述重点区域对各所述特征图按照特征加权公式进行加权处理，得到目标特征图；所述特征加权公式为：；所述/>为输出的目标特征图，/>为输入的特征提取阶段的特征图，所述/>为预设的加权系数，所述/>为重点区域中的眼睛区域或眉毛区域，所述为重点区域中镜框区域或光斑区域，所述其他为其他区域，所述/>为特征图中各元素的坐标。

通过采用上述技术方案，基于重点区域对各特征图按照特征加权公式进行加权，可以获得更准确且更具鲁棒性的目标特征图。

在本申请的第二方面提供了一种重点区域加权的眼周特征提取系统，所述系统包括：

眼周图像获取模块，用于获取待检测眼周图像；

眼周图像输入模块，用于将所述待检测眼周图像输入至训练完成的眼周特征提取网络，所述眼周特征提取网络包括重点区域分割网络和特征提取网络，所述重点区域分割网络包括多个卷积阶段，所述特征提取网络包括多个特征提取阶段；

掩膜重点区确定模块，用于通过所述重点区域分割网络确定所述待检测眼周图像在各所述卷积阶段的重点区域；

特征图确定模块，用于通过所述特征提取网络确定所述待检测眼周图像在各所述特征提取阶段的特征图；

特征图加权模块，用于基于各所述重点区域对各所述特征图进行加权处理，得到目标特征图；

眼周特征获取模块，用于对所述目标特征图进行标准化处理，得到眼周特征。

在本申请的第三方面提供了一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。

在本申请的第四方面提供了一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。

综上所述，本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

1、本申请将待检测眼周图像首先通过重点区域分割网络，可以获得待检测眼周图像的重点区域，使得网络更关注眼周的重点区域，再将待检测眼周图像通过特征提取网络，可以获得将眼周特征提取出来的特征图，再基于重点区域与特征图进行加权，可以减少网络对不关注区域如眼镜、光斑区域的处理，减少计算量的同时提高了对眼周特征提取的准确率，进而提高对人脸或者虹膜识别的准确率。

2、本申请通过重点区域分割网络可以分割出待检测眼周图像中的眼睛、眉毛、镜框以及光斑，并将待检测眼周图像经过重点区域分割网络得到的各阶段的掩膜图像与上一阶段对应的掩膜图像进行融合，可以得到各掩膜图像的重点区域，使得网络更关注重点区域，减少网络的计算量的同时提高对眼周特征的识别准确性。

3、本申请将待检测眼周图像进行下采样处理，可以减少网络的计算量，再将下采样处理后的特征图依次进行自注意力处理以及多层感知机处理，可以实现对待检测眼周图像进行逐级的特征提取，进一步提升对眼周特征提取的准确性。

附图说明

图1是本申请实施例提供的一种示例性的人脸识别的眼周区域图像的示意图；

图2是本申请实施例提供的一种眼周特征提取网络训练时的网络框架图；

图3是本申请实施例提供的一种重点区域加权的眼周特征提取方法的流程示意图；

图4是本申请实施例提供的一种待检测眼周图像示例图；

图5是本申请实施例提供的一种眼周特征提取网络的框架图；

图6是本申请实施例提供的重点区域分割网络确定重点区域的流程示意图；

图7是本申请实施例提供的一种掩膜图像的举例示例图；

图8是本申请实施例提供的掩膜图像融合过程的流程示意图；

图9是本申请实施例提供的特征提取网络确定特征图的流程示意图；

图10是本申请实施例提供的自注意力处理的流程示意图；

图11是本申请实施例提供的自注意力处理的结构示意图；

图12是本申请实施例提供的多层感知机处理的结构示意图；

图13是本申请实施例提供的种重点区域加权的眼周特征提取系统的模块结构示意图；

图14是本申请实施例的提供的一种电子设备的结构示意图。

附图标记说明：1、眼周图像获取模块；2、眼周图像输入模块；3、掩膜重点区确定模块；4、特征图确定模块；5、特征图加权模块；6、眼周特征获取模块；1000、电子设备；1001、处理器；1002、通信总线；1003、用户接口；1004、网络接口；1005、存储器。

具体实施方式

为了使本领域的技术人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。

在本申请实施例的描述中，“例如”或者“举例来说”等词用于表示作例子、例证或说明。本申请实施例中被描述为“例如”或者“举例来说”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“例如”或者“举例来说”等词旨在以具体方式呈现相关概念。

在本申请实施例的描述中，术语“多个”的含义是指两个或两个以上。例如，多个系统是指两个或两个以上的系统，多个屏幕终端是指两个或两个以上的屏幕终端。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

为了便于理解本申请实施例提供的方法及系统，在介绍本申请实施例之前，先对本申请实施例的背景进行介绍。

人脸识别技术是一种基于生物特征的身份验证技术，它通过对人脸进行采集、提取和比对等过程，实现对人脸身份的确认。目前常用的基于生物特征的身份验证技术需要获取完整、清晰的生物特征，例如一整张脸部等。但是随着科技的发展以及人们生活方式的改变，面向少约束场景下的生物特征识别技术近些年逐渐成为研究热点，也即是当人员脸部特征较少时，尤其是佩戴口罩时的人脸识别，此时眼周图像可以作为人脸或者虹膜识别的一种补充模态进行辅助识别。

眼周图像是指以眼睛周围为主要区域的图像，包括有眼睛、眉毛、眼袋、眼角等部位，但是在眼周图像中，相对比其他区域，眼睛和眉毛这两个区域会提供更具有判别力的信息，如图1所示，为一种示例性的人脸识别的眼周区域图像，图中虚线框部分可以为人员的眼周区域，在进行人脸或者虹膜识别时，可以将眼睛和眉毛两个区域作为一种补充模态进行辅助识别，但是在此情况下，若人员佩戴眼镜，则镜框会影响对眼周轮廓的提取，以及由镜框产生的光斑也会导致眼周区域的亮度和对比度的变化，即镜框和光斑均会影响对眼周特征的提取，进而降低对人脸或者虹膜识别的准确率。

经过上述内容的背景介绍，本领域技术人员可以了解现有技术中存在的问题，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清除、完整的描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。

为解决上述问题，本申请实施例提供了一种眼周特征提取网络，并基于该眼周特征提取网络来实现对眼周特征的提取，降低镜框和光斑对眼周特征的提取的影响，进而提高对人脸或者虹膜识别准确率。

作为一种可选的实施例，在应用该眼周特征提取网络来进行眼周特征识别之前，需要预先对眼周特征提取网络进行训练，以得到训练完成的眼周特征提取网络。请参见图2，为本申请实施例提供的一种眼周特征提取网络训练时的网络框架图。

具体的，首先构建初始的眼周特征提取网络，如图2所示，该初始的眼周特征提取网络包括有下半部分的初始重点区域分割网络，和中间部分的初始特征提取网络，初始重点区域分割网络包括多个卷积训练阶段，在本申请实施例中可以为四个卷积训练阶段；初始特征提取网络包括多个特征提取训练阶段，在本申请实施例中可以为四个特征提取训练阶段。

进一步地，首先采用多组眼周图像样本对初始重点区域分割网络进行训练，该初始重点区域分割网络可以将眼周图像中的眼睛、眉毛、镜框以及光斑分割出来，将眼周图像输入至初始重点区域分割网络中的四个卷积训练阶段进行卷积处理，从而可以得到各卷积训练阶段对应的掩膜图像，直至初始重点区域分割网络分割出符合预置标准的掩膜图像时停止训练，可根据实际需求自行设置标准的掩膜图像的参数范围，即当分割出的掩膜图像的参数在标准的掩膜图像的参数范围内，即为符合预置标准的掩膜图像，则获得训练完成的重点区域分割网络。

再将多组眼周图像样本输入至初始特征提取网络中，经过四个特征提取训练阶段，可以得到各特征提取训练阶段的特征图。由于在眼周识别中，眼周图像中的眼睛和眉毛的结构特征是比较重要的，对识别结果影响较大，所以在特征提取网络中，需要尽可能保证不丢失形状信息。本申请采用一种由浅至深的形状自监督训练方法对初始特征提取网络进行监督训练，如图2所示，初始的眼周特征提取网络还包括上半部分的形状自监督训练网络。需要说明的是，在进行特征提取网络训练时，由于重点区域分割网络已经提前训练好，所以重点区域分割网络中的参数不会发生改变，不会跟着一起训练。

示例性地，以第一特征提取训练阶段和第二特征提取训练阶段为例，采用Sobel算子或者采用卷积神经网络（1*1卷积），将待检测眼周图像样本输入至初始特征提取网络中的第一特征提取训练阶段，得到第一训练特征图F1，提取第一特征图F1中的眼睛和眉毛的边缘形状，再通过图神经网络（Graph Neural Network，GNN），可以提取出眼睛和眉毛的边缘信息的形状拓扑特征G1。将第一训练特征图F1与第一卷积训练阶段的重点区域进行加权，得到加权后的训练特征图，将加权后的训练特征图经过第二特征提取训练阶段，得到第二特征图F2，将第二特征图F2进行上采样处理，使得第二特征图F2大小与第一特征图F1相同，采用相同的方式提取出对上采样处理后的特征图的眼睛和眉毛的边缘信息的形状拓扑特征G2。可使用Graph kernel算法计算G1和G2之间的相似度，同理可以计算出G2和G3之间的相似度以及G3和G4之间的相似度。在训练过程中相似度越高，则说明网络训练得越好。在训练过程中可以基于三个相似度输入至损失函数里面计算出相似度损失值，并且在整个网络训练过程中也会产生分类损失值，基于分类损失函数SoftmaxLoss可以计算出初始的眼周特征提取网络在训练过程中的分类损失值，当相似度损失值与分类损失值之和低于预设损失值时停止训练，得到训练完成的眼周特征提取网络。本申请实施例采用的形状自监督训练方法，可以加快初始特征提取网络收敛速度，同时还能训练出准确度较高的眼周特征提取网络。

在一个实施例中，请参考图3，特提出了一种重点区域加权的眼周特征提取方法流程示意图，该方法可依赖于计算机程序实现，可依赖于单片机实现，也可运行于基于冯诺依曼体系的基于点区域加权的眼周特征提取系统上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行，具体的，在本申请实施例中该方法可以应用在人脸识别的终端设备上，该方法包括步骤10至步骤50，上述步骤如下：

步骤10：获取待检测眼周图像。

待检测眼周图像在本申请实施例中可以理解为一种包含眼睛周围区域的图像。具体的，在进行人脸识别任务时，终端设备识别到人脸区域，由于人员可能在佩戴口罩的情况下，无法识别到口罩遮挡区域，所以将识别到的人脸区域中的眼周图像进行截取，通过获取眼周图像来进行眼周特征提取，进而来辅助人脸识别。

请参见图4，为本申请实施例提供的一种待检测眼周图像示例图，该眼周图像可以由眼睛、眉毛、镜框以及光斑等多个部分组成。本申请主要解决人员在佩戴眼镜情况下的眼周特征提取。需要说明的是，对于在获取到待检测眼周图像后，若检测到人员没有佩戴眼镜的情况也同样适用本方案，即在后续的重点区域分割网络中不需要将镜框和光斑进行分割。

步骤20：将待检测眼周图像输入至训练完成的眼周特征提取网络。

在本申请实施例中，眼周特征提取网络为上述训练完成的眼周特征提取网络，后续的方法中均使用的是训练完成的眼周特征提取网络，用于对待检测眼周图像进行眼周特征的提取。

请参见图5，为本申请实施例提供的眼周特征提取网络的框架图。眼周特征提取网络包括重点区域分割网络和特征提取网络两个部分。重点区域分割网络包括四个卷积阶段。特征提取网络包括四个特征提取阶段，每一个特征提取阶段由下采样模块和堆叠多个的全局特征提取块组成。下采样减少了网络的计算量，多个全局特征提取块可以逐级的提取眼周特征。在本申请实施例中第一阶段至第四阶段分别堆叠了2、3、6、2个全局特征提取块，该全局特征提取块堆叠的数量可以自行调整。其中，特征提取网络中第一阶段的下采样模块为卷积层，其他三个下采样模块为最大池化。

示例性地，将待检测眼周图像输入至训练完成的眼周特征提取网络中，待检测的眼周图像首先会经过重点区域分割网络进行处理，再经过特征提取网络进行处理，最后将经过这两个网络的结果进行加权得到眼周特征。

步骤30：通过重点区域分割网络确定待检测眼周图像在各卷积阶段的重点区域。

在本申请实施例中，重点区域分割网络是一种全卷积网络，可以将待检测眼周图像中的眼睛、眉毛、镜框和光斑分割出来。各卷积阶段在本申请实施例中可以为四个阶段的卷积。重点区域指的是待检测眼周图像经过重点区域分割网络后得到的感兴趣区域，比如眼睛、眉毛、镜框以及光斑四个区域。

请参见图6，为本申请实施例提供的重点区域分割网络确定重点区域的流程示意图，在上述实施例的基础上，作为一种可选的实施例，通过重点区域分割网络确定待检测眼周图像在各卷积阶段的重点区域这一步骤，还可以包括步骤301-步骤303。

步骤301：将待检测眼周图像输入至重点区域分割网络中进行卷积处理，得到各卷积阶段对应分辨率的卷积特征图。

具体的，如图3所示，在本申请实施例中重点区域分割网络中分为四个卷积阶段，将待检测的眼周图像输入至重点区域分割网络中的第一卷积阶段，得到第一阶段的卷积特征图，再将第一阶段的卷积特征图输入至重点区域分割网络中的第二卷积阶段，得到第二阶段的卷积特征图，将第二阶段的卷积特征图输入至重点区域分割网络中的第三卷积阶段，得到第三阶段的卷积特征图，再将第三阶段的卷积特征图输入至重点区域分割网络中的第四卷积阶段，得到第四阶段的卷积特征图。其中，经过各卷积阶段后的会得到对应不同分辨率的特征图，并且从第一卷积阶段到第四卷积阶段，特征图的细粒度越高，所呈现的细节信息越多。

示例性地，假设待检测的眼周图像的分辨率大小为，经过第一卷积阶段Conv1后，得到的第一阶段卷积特征图大小为/>，当第一阶段卷积特征图经过第二卷积阶段Conv2后，得到的第二阶段卷积特征图大小为/>，当第二阶段卷积特征图经过第三卷积阶段Conv3后，得到的第三阶段卷积特征图大小为/>，当第三阶段卷积特征图经过第四卷积阶段Conv4后，得到的第四阶段卷积特征图大小为/>。

步骤302：将各对应分辨率的卷积特征图转换成各对应的掩膜图像。

具体的，可以采用Sigmoid函数将各对应分辨率的卷积特征图转换成各对应的掩膜图像，Sigmoid函数是一种可以用作神经网络的激活函数，可以将变量映射到0和1之间，用来做二分类。在本申请实施例中，Sigmoid函数可以将各对应分辨率的卷积特征图映射到0和1之间，从而得到一种二进制的掩膜图像，其中，像素值为1的位置表示需要显示的区域，将像素值为0的位置表示需要隐藏的区域。

请参见图7，为本申请实施例提供的一种掩膜图像的举例示例图。在本申请实施例中，掩膜图像可以包括五个区域，即眼睛区域A1、眉毛区域B2、镜框区域C3、光斑区域D4以及其他区域E5，其中，其他区域可以理解为掩膜图像中的背景区域，左右眼区域可以对称，以左眼为例进行说明。

示例性地，采用Sigmoid函数，将四个分辨率的卷积特征图分别转换成对应的掩膜图像，例如，将第一阶段卷积特征图转换成对应的掩膜图像S1，将第二阶段卷积特征图转换成对应的掩膜图像S2，其中在转换过程中，各卷积特征图的分辨率不变。

步骤303：根据各掩膜图像以及特征自适应权重融合公式进行融合处理，得到各掩膜图像的重点区域。

在本申请实施例中，由于各掩膜图像中的各元素特征是对应的，所以可以通过将各掩膜图像进行逐级融合处理，并能对掩膜图像中的眼周特征进行加强，从而得到各掩膜图像的重点区域，各掩膜图像的重点区域包括眼睛、眉毛、镜框以及光斑区域，使得眼周特征提取网络更关注重点区域，减少了网络的计算量。

由于各掩膜图像的分辨率大小不同，所以在进行融合处理前，需要将后一卷积阶段的掩膜图像进行上采样处理，从而得到与上一卷积阶段分辨率相同的图像，再进行特征融合。比如，第四卷积阶段对应的掩膜图像S4的分辨率为，将掩膜图像S4进行上采样后分辨率为/>，即与第三卷积阶段对应的掩膜图像S3的分辨率相同，其中上采样采用的方法可以为双线插值方法。

请参见图8，为本申请实施例提供的掩膜图像融合过程的流程示意图，在上述实施例的基础上，作为一种可选的实施例，根据各掩膜图像以及特征自适应权重融合公式进行融合处理，得到各掩膜图像的重点区域这一步骤，还可以包括步骤3031-步骤3032：

步骤3031：将最后一卷积阶段的掩膜图像进行上采样处理，得到最后一卷积阶段的上采样掩膜图像，将最后一卷积阶段的上采样掩膜图像与上一卷积阶段的掩膜图像按照特征自适应权重融合公式进行融合，得到上一卷积阶段的掩膜图像的重点区域。

具体的，在本申请实施例中，最后一卷积阶段的掩膜图像可以为第四卷积阶段对应的掩膜图像S4，将掩膜图像S4进行上采样处理，得到第四卷积阶段上采样处理后的掩膜图像，再将上采样处理后的掩膜图像/>与第三卷积阶段的掩膜图像S3按照特征自适应权重融合公式进行融合，得到第三卷积阶段的掩膜图像的重点区域S34，需要说明的是第四卷积阶段的掩膜图像即为重点区域。

其中，特征自适应权重融合公式为：；/>为第j卷积阶段与第i卷积阶段的掩膜图像融合后的重点区域，第i卷积阶段为第j卷积阶段的上一卷积阶段，/>为网络参数，/>会在网络训练过程中进行自适应调整，当/>相较/>重要时，/>会相较减小。/>为第j卷积阶段上采样得到的掩膜图像，/>为第i卷积阶段的掩膜图像。

示例性地，第三卷积阶段的掩膜图像的重点区域S34的融合计算公式可以为：。

步骤3032：将上一卷积阶段的掩膜图像的重点区域作为最后一卷积阶段的掩膜图像，并执行将最后一卷积阶段的掩膜图像进行上采样处理，得到最后一卷积阶段的上采样掩膜图像，将最后一卷积阶段的上采样掩膜图像与上一卷积阶段的掩膜图像按照特征自适应权重融合公式进行融合的步骤，直到所有卷积阶段完成融合，得到各卷积阶段的重点区域。

具体的，将第三卷积阶段的掩膜图像的重点区域S34进行上采样处理，得到第三卷积阶段的上采样处理后的掩膜图像，将上采样处理后的掩膜图像/>与第二卷积阶段的掩膜图像S2按照特征自适应权重融合公式进行融合，得到第二卷积阶段的掩膜图像的重点区域S234。再将第二卷积阶段的掩膜图像的重点区域S234进行上采样处理，得到第二卷积阶段的上采样处理后的掩膜图像/>，将上采样处理后的掩膜图像/>与第一卷积阶段的掩膜图像S1按照特征自适应权重融合公式进行融合，得到第一卷积阶段的掩膜图像的重点区域S1234，即可获得各卷积阶段的重点区域，通过多个阶段的融合可以对重点区域进行特征加强，同时还可以对于不关注区域如镜框和光斑的特征进行减弱，使得网络对该不关注区域进行减处理。

步骤40：通过特征提取网络确定待检测眼周图像在各特征提取阶段的特征图。

具体的，在本申请实施例中，特征提取网络由四个特征提取阶段组成，每个特征提取阶段的网络结构由下采样模块和堆叠多个全局特征提取块组成，通过各特征提取阶段的全局特征提取模块可以实现对眼周特征的逐级提取。并且每一个特征提取阶段堆叠的全局特征提取模块数量可以自行调整，需保证第三特征提取阶段堆叠的最多即可，本申请实施例中第一特征提取阶段至第四特征提取阶段分别堆叠了2、3、6、2个全局特征提取块。

其中特征提取网络中第一特征提取阶段的下采样模块为卷积层，其他三个下采样模块为最大池化层。最大池化层是用于对输入数据进行下采样操作，从而减少网络计算量，提高网络模型的鲁棒性，最大池化层通常跟在卷积层后面，其作用是对卷积层输出的特征图进行降维采样，将特征图中每个区域中的最大值提取出来，作为下一层的输入。

请参见图9，为本申请实施例提供的特征提取网络确定特征图的流程示意图，在上述实施例的基础上，作为一种可选的实施例，通过特征提取网络确定待检测眼周图像在当前特征提取阶段的特征图这一步骤，还可以包括步骤401-步骤403。

步骤401：若当前特征提取阶段为第一特征提取阶段，则将待检测眼周图像进行下采样处理，得到下采样的特征图。

下采样是一种数据处理方法，用于减少数据量和降低分辨率，以节省存储空间各计算资源。在本申请实施例中，下采样处理指的是降低图像的分辨率，即减少图像中像素数目。

具体的，将待检测的眼周图像首先经过第一特征提取阶段的下采样处理，即可获得分辨率减少的下采样的特征图，比如待检测的眼周图像分辨率大小为，则经过第一特征提取阶段的下采样处理后的特征图分辨率大小为/>。

步骤402：将下采样的特征图进行自注意力处理，得到自注意力处理后的特征图。

自注意力是指一种用于计算卷积神经网络中特征图之间相互作用的注意力机制，在本申请实施例中，自注意力是通过计算特征图中每个位置与其他位置的相似度，从而为每个位置分配一个权重。这些权重可以用来加权聚合特征图中不同位置的信息，从而提高特征图的表达能力和泛化性能。

请参见图10，为本申请实施例提供的自注意力处理的流程示意图，在上述实施例的基础上，作为一种可选的实施例，将下采样的特征图进行自注意力处理，得到自注意力处理后的特征图这一步骤，还可以包括步骤4021-步骤4024：

步骤4021：将下采样的特征图分别通过三个第一卷积核的卷积处理，得到第一特征图、第二特征图以及第三特征图。

具体的，第一卷积核的卷积处理是指卷积核的尺寸为1*1卷积层，与传统的卷积操作不同的是，1*1卷积层不会在空间维度上滑动卷积核，而是在通道维度上进行卷积，在本申请实施例中，1*1的卷积层用来调整通道数量，通过增加或减少网络中的特征通道，从而可以控制网络的复杂度和计算量。

示例性地，请参见图11，为本申请实施例提供的一种自注意力处理的结构示意图，下面结合图11来进行说明。将下采样的特征图分别通过三个1*1的卷积层，得到第一特征图Q、第二特征图K以及第三特征图V，通过1*1卷积处理将第一特征图Q、第二特征图K以及第三特征图V在通道维度上进行了统一，为后续的矩阵乘法提供基础。同时，在1*1卷积层处理后添加激活函数，提升了网络的表达能力。需要说明的是，通过1*1卷积层处理并未改变特征图的大小。

步骤4022：将第二特征图以及第三特征图分别通过第二卷积核的卷积处理得到对应的第二卷积特征图和第三卷积特征图。

具体的，第二卷积核的卷积处理可以为大于第一卷积核的卷积处理，例如卷积核为3*3的卷积层，通过第二卷积核的卷积处理可以实现对特征图在不同层级上的特征提取，同时也减少了特征图的分辨率。

示例性的，将第二特征图K以及第三特征图V分别通过卷积层，得到对应的第二卷积特征图和第三卷积特征图/>。

步骤4023：将第一特征图与第二卷积特征图进行矩阵相乘，并进行归一化处理后通过softmax层得到权重值。

具体的，在自注意力处理中，矩阵相乘是指将查询特征图与键特征图进行矩阵乘法运算，得到注意力分数矩阵，注意力分数矩阵表示了查询特征图中每个位置与键特征图中每个位置之间的相似度，用于计算每个位置对其他位置的注意力权重。softmax层是一种用于将输入向量转化为概率分布的输出层，在softmax层中，输入向量中的每个元素都被转化为一个介于0和1之间的实数，且所有元素的和为1，即可以将神经网络的输出转化为概率的形式。

示例性地，将第一特征图Q与第二卷积特征图进行矩阵相乘，得到注意力分数矩阵，将注意力分数矩阵进行归一化处理后，再通过softmax层，即可得到权重值W。

步骤4024：将权重值与第三卷积特征图进行矩阵相乘，得到自注意力处理后的特征图。

示例性地，将权重值W与第三卷积特征图进行矩阵相乘，得到自注意力处理后的特征图，自注意力处理实现了在空间维度上进行了特征的提取。

步骤403：获取对自注意力处理后的特征图进行残差操作后得到的残差处理图，将残差处理图输入到多层感知机处理，得到当前特征提取阶段的特征图。

残差是指在神经网络中，每一层学习的是上一层的残差，并不是学习原始的特征映射，可以解决在深层神经网络中梯度消失和过拟合问题。在本申请实施例中，残差处理图是将自注意力处理后的特征图与下采样的特征图中的对应元素进行相加得到。

请参见图12，为本申请实施例提供的多层感知机处理的结构示意图。

具体的，获取自注意力处理后的特征图与下采样的特征图中的对应元素相加，得到残差处理图，将残差处理图依次通过两个相连的第一卷积核的卷积处理，得到当前第一特征提取阶段的特征图。其中，第一卷积核的卷积处理可以为卷积核为1*1的卷积层，经过第一个1*1卷积层后可以将残差处理图的通道数增加N倍，经过第二个1*1卷积层后可以将残差处理图的通道数再缩小N倍，在本申请实施例中N可以为4。通道数对网络的性能和效率有着重要的影响，随着通道数的增加，网络的容量也会随之增加，从而提高网络的表达能力和泛化性能。在本申请实施例中，通过多层感知机处理后，使得特征图在通道维度上进行增加和缩小通道数，以获得更加丰富的眼周特征，需要说明的是，通过多层感知机处理后并未改变特征图的大小。

需要说明的是，在一种可行的实施例中，若当前特征提取阶段不为第一特征提取阶段，即为第二特征提取阶段、第三特征提取阶段或者第四特征提取阶段。则对上一特征提取阶段的特征图与对应卷积阶段得到的重点区域进行加权，得到上一特征提取阶段的加权后的特征图，在当前特征提取阶段，对上一特征提取阶段的加权后的特征图进行下采样处理，下采样处理的过程可参照步骤401，得到当前特征提取阶段的下采样的特征图，再将当前特征提取阶段的下采样的特征图进行自注意力处理，自注意力处理过程可参照步骤4021-步骤4024，得到自注意力处理后的特征图；获取对自注意力处理后的特征图进行残差操作后得到的残差处理图，将残差处理图输入到多层感知机处理，多层感知机处理过程可参照步骤403，得到当前特征提取阶段的特征图，直到得到各特征提取阶段的特征图。

示例性地，若当前阶段为第二特征提取阶段，则对第一特征提取阶段的特征图F1与对应卷积阶段得到的重点区域S1234进行加权，加权的步骤可参照步骤50，得到第一特征提取阶段的加权后的特征图。在第二特征提取阶段中，将第一特征提取阶段的加权后的特征图进行下采样处理，得到第二特征提取阶段的下采样的特征图，再进行自注意力处理，得到自注意力处理后的特征图；获取对自注意力处理后的特征图进行残差操作后得到的残差处理图，将残差处理图输入到多层感知机处理，得到第二特征提取阶段的特征图F2，按照上述方法即可得到第三特征提取阶段的特征图F3以及第四特征提取阶段的特征图F4，即可得到各特征提取阶段的特征图。

步骤50：基于各重点区域对各特征图进行加权处理，得到目标特征图。

具体的，待检测眼周图像分辨率大小为，经过第一特征提取阶段中的下采样处理，分辨率大小变为/>，再经过自注意力处理和多层感知机处理后，得到特征图F1，其中自注意力处理和多层感知机处理并不会改变特征图的分辨率大小。所以特征图F1分辨率大小变为/>。

其中，由于人脸的各部位具有一些代表性的关键点，如眼睛、眉毛、鼻子等部位的中心点以及边缘点，所以在获取到待检测的眼周图像后，可以利用人脸关键点检测算法来确定眼睛以及眉毛区域，以及可以用深度学习模型训练出一个用于识别眼镜和光斑的模型，以此来实现对眼睛区域、眉毛区域、镜框区域以及光斑区域的识别与划分。进一步地，按照特征加权公式，将特征图F1与第一卷积阶段的掩膜图像的重点区域S1234进行加权处理，得到加权后的第一阶段目标特征图；

其中，特征加权公式为：；/>为输出的目标特征图，/>为输入的特征提取阶段的特征图，/>为预设的加权系数，其中/>可以为大于1的正数，/>为重点区域中的眼睛区域或眉毛区域，/>为重点区域中镜框区域或光斑区域，其他为其他区域，为特征图中各元素的坐标。

再进一步地，将第一阶段目标特征图再输入至第二特征提取阶段中，得到第二特征提取阶段的分辨率大小为的特征图F2，按照特征加权公式，将特征图F2与第二卷积阶段的掩膜图像的重点区域S234进行加权处理，得到加权后的第二阶段目标特征图。同理，将第二阶段目标特征图再输入至第三特征提取阶段中，得到第三特征提取阶段的分辨率大小为/>的特征图F3，按照特征加权公式，将特征图F3与第三阶段的掩膜图像的重点区域S34进行加权处理，得到加权后的第三阶段目标特征图。最后，将第三阶段目标特征图再输入至第四特征提取阶段中，得到第四特征提取阶段的分辨率大小为/>特征图F4，按照特征加权公式，将特征图F4与第四阶段的掩膜图像的重点区域S4进行加权处理，得到加权后的第四阶段目标特征图，并将第四阶段目标特征图作为该待检测眼周图像的目标特征图。

示例性地，为了进一步理解该特征加权公式，在本申请实施例以特征图F4与第四阶段的掩膜图像的重点区域S4的加权计算进行举例说明。由于重点区域S4和特征图F4的分辨率大小均是，所以可以进行加权处理。在进行加权处理的过程中，若是检测到重点区域S4的元素位置坐标处于/>，即眼睛区域或眉毛区域，则将特征图F4对应元素位置像素乘以预设的加权系数k；若是检测到重点区域S4的元素位置坐标处于/>，即镜框区域或光斑区域，则特征图F4对应元素位置像素设置为0；若是检测到重点区域S4的元素位置坐标处于其他区域，即背景区域，则不改变特征图F4对应元素位置像素。

步骤60：对目标特征图进行标准化处理，得到眼周特征。

具体的，将目标特征图输入至一维的Batch Normalization中进行标准化处理，Batch Normalization是一种深度神经网络的正则化方法，对于目标特征图中的每一个通道，计算mini-batch中所有图像的均值和方差，再将mini-batch中所有图像减去均值，然后除以方差，得到标准化后的结果，对于每个通道，可以使用学习的缩放因子和偏移量对标准化后的结果进行缩放和平移，得到最终的输出的标准化结果，即可获得最终的眼周特征。该眼周特征可以为一个1024维度的特征向量，这些特征向量包含了眼周图像的高层次信息，具有较高的表达能力和鲁棒性。

请参见图13，为本申请实施例提供的一种重点区域加权的眼周特征提取系统模块示意图，该重点区域加权的眼周特征提取系统可以包括：眼周图像获取模块1、眼周图像输入模块2、掩膜重点区确定模块3、特征图确定模块4、特征图加权模块5以及眼周特征获取模块6，其中：

眼周图像获取模块1，用于获取待检测眼周图像；

眼周图像输入模块2，用于将所述待检测眼周图像输入至训练完成的眼周特征提取网络，所述眼周特征提取网络包括重点区域分割网络和特征提取网络，所述重点区域分割网络包括多个卷积阶段，所述特征提取网络包括多个特征提取阶段；

掩膜重点区确定模块3，用于通过所述重点区域分割网络确定所述待检测眼周图像在各所述卷积阶段的重点区域；

特征图确定模块4，用于通过所述特征提取网络确定所述待检测眼周图像在各所述特征提取阶段的特征图；

特征图加权模块5，用于基于各所述重点区域对各所述特征图进行加权处理，得到目标特征图；

眼周特征获取模块6，用于对所述目标特征图进行标准化处理，得到眼周特征。

重点区域加权的眼周特征提取系统可以内置于终端中，也可以内置于服务器中，具体执行上述方法实施例流程，具体请详见上述重点区域加权的眼周特征提取系统方法实施例的内容，在此不再赘述。本申请实施例提供的重点区域加权的眼周特征提取系统，可以将待检测眼周图像首先通过重点区域分割网络，可以获得网络更关注的掩膜图像的重点区域，再将待检测眼周图像通过特征提取网络，可以获得将眼周特征提取出来的特征图，最后基于掩膜图像的重点区域与特征图进行加权，可以减少网络对不关注区域如眼镜、光斑区域的处理，减少计算量的同时提高了对眼周特征提取的准确率，进而提高人脸识别的准确率。

在上述各实施例的基础上，作为一种可选的实施例，重点区域加权的眼周特征提取系统还可以包括：眼周特征提取网络训练模块，该眼周特征提取网络训练模块可以包括初始网络构建单元、网络训练单元、损失值计算单元以及训练停止判断单元。

初始网络构建单元，用于构建初始眼周特征提取网络，所述初始眼周特征提取网络包括初始重点区域分割网络和初始特征提取网络，所述初始重点区域分割网络包括多个卷积阶段，所述初始特征提取网络包括多个特征提取阶段；

网络训练单元，用于采用多组眼周图像样本先后对所述初始重点区域分割网络和所述初始特征提取网络进行训练，得到每相邻两个特征提取阶段的形状拓扑特征；

损失值计算单元，用于计算所述每相邻两个特征提取阶段的形状拓扑特征的相似度；基于各所述相似度计算相似度损失值，并计算训练过程中的分类损失值；

训练停止判断单元，用于当各所述相似度损失值与所述分类损失值之和低于预设损失值时停止训练，得到训练完成的眼周特征提取网络。

在上述各实施例的基础上，作为一种可选的实施例，掩膜重点区确定模块3可以包括：

卷积特征图获取单元，用于将所述待检测眼周图像输入至所述重点区域分割网络中进行卷积处理，得到各所述卷积阶段对应分辨率的卷积特征图；

掩膜图像获取单元，用于将各所述对应分辨率的卷积特征图转换成各对应的掩膜图像；

重点区域获取单元，用于根据各所述掩膜图像以及特征自适应权重融合公式进行融合处理，得到各掩膜图像的重点区域。

在上述各实施例的基础上，作为一种可选的实施例，重点区域获取单元可以包括：

重点区域融合子单元：用于将最后一卷积阶段的掩膜图像进行上采样处理，得到最后一卷积阶段的上采样掩膜图像，将所述最后一卷积阶段的上采样掩膜图像与上一卷积阶段的掩膜图像按照特征自适应权重融合公式进行融合，得到上一卷积阶段的掩膜图像的重点区域；

各重点区域获取子单元：用于将所述上一卷积阶段的掩膜图像的重点区域作为所述最后一卷积阶段的掩膜图像，并执行所述将最后一卷积阶段的掩膜图像进行上采样处理，得到最后一卷积阶段的上采样掩膜图像，将所述最后一卷积阶段的上采样掩膜图像与上一卷积阶段的掩膜图像按照特征自适应权重融合公式进行融合的步骤，直到所有卷积阶段完成融合，得到各所述卷积阶段的重点区域。

在上述各实施例的基础上，作为一种可选的实施例，特征图确定模块4可以包括：

第一特征图确定单元：用于若当前特征提取阶段为第一特征提取阶段，则将所述待检测眼周图像进行下采样处理，得到当前特征提取阶段的下采样的特征图；将所述当前特征提取阶段的下采样的特征图进行自注意力处理，得到自注意力处理后的特征图；获取对所述自注意力处理后的特征图进行残差操作后得到的残差处理图，将所述残差处理图进行多层感知机处理，得到当前特征提取阶段的特征图；

其他特征图确定单元，用于若当前特征提取阶段不为第一特征提取阶段，则对上一特征提取阶段的特征图与对应卷积阶段得到的重点区域进行加权，得到上一特征提取阶段的加权后的特征图，并在所述当前特征提取阶段，对所述上一特征提取阶段的加权后的特征图进行下采样处理，得到当前特征提取阶段的下采样的特征图；将所述当前特征提取阶段的下采样的特征图进行自注意力处理，得到自注意力处理后的特征图；获取对所述自注意力处理后的特征图进行残差操作后得到的残差处理图，将所述残差处理图进行多层感知机处理，得到当前特征提取阶段的特征图，直到得到各所述特征提取阶段的特征图。

在上述各实施例的基础上，作为一种可选的实施例，自注意力处理单元可以包括：

第一卷积处理子单元：用于将所述当前特征提取阶段的下采样的特征图分别通过三个第一卷积核的卷积处理，得到第一特征图、第二特征图以及第三特征图；

第二卷积处理子单元：用于将所述第二特征图以及第三特征图分别通过第二卷积核的卷积处理得到对应的第二卷积特征图和第三卷积特征图，所述第二卷积核大于所述第一卷积核；

权重值计算子单元：用于将所述第一特征图与所述第二卷积特征图进行矩阵相乘，并进行归一化处理后通过softmax层得到权重值；

矩阵相乘子单元：用于将所述权重值与所述第三卷积特征图进行矩阵相乘，得到自注意力处理后的特征图。

在上述各实施例的基础上，作为一种可选的实施例，多层感知机处理单元可以包括：

残差处理子单元：用于将所述自注意力处理后的特征图与所述下采样的特征图中的对应元素相加，得到残差处理图；

卷积处理子单元：用于将所述残差处理图依次通过两个相连的第一卷积核的卷积处理，得到当前特征提取阶段的特征图。

在上述各实施例的基础上，作为一种可选的实施例，特征图加权模块5可以包括：

加权计算单元：用于基于各所述重点区域对各所述特征图按照特征加权公式进行加权处理，得到目标特征图。

需要说明的是：上述实施例提供的系统在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的系统和方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本申请实施例还提供了一种计算机存储介质，计算机存储介质可以存储有多条指令，指令适于由处理器加载并执行如上述图1~图12所示实施例的重点区域加权的眼周特征提取方法，具体执行过程可以参见图1~图12所示实施例的具体说明，在此不进行赘述。

请参照图14本申请还公开一种电子设备。图14是本申请实施例的公开的一种电子设备的结构示意图。该电子设备1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。

其中，通信总线1002用于实现这些组件之间的连接通信。

其中，用户接口1003可以包括显示屏（Display）、摄像头（Camera），可选用户接口1003还可以包括标准的有线接口、无线接口。

其中，网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。

其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种接口和线路连接整个服务器内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行服务器的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理（Digital Signal Processing，DSP）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）、可编程逻辑阵列（ProgrammableLogicArray，PLA）中的至少一种硬件形式来实现。处理器1001可集成中央处理器（CentralProcessing Unit，CPU）、图像处理器（Graphics Processing Unit，GPU）和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。

其中，存储器1005可以包括随机存储器（Random Access Memory，RAM），也可以包括只读存储器（Read-OnlyMemory）。可选的，该存储器1005包括非瞬时性计算机可读介质（non-transitory computer-readable storage medium）。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令（比如触控功能、声音播放功能、图像播放功能等）、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。参照图14，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及一种重点区域加权的眼周特征提取的应用程序。

在图14所示的电子设备1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储一种重点区域加权的眼周特征提取的应用程序，当由一个或多个处理器1001执行时，使得电子设备1000执行如上述实施例中一个或多个所述的方法。需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必需的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几种实施方式中，应该理解到，所披露的装置，可通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口，装置或单元的间接耦合或通信连接，可以是电性或其他的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例方法的全部或部分步骤。而前述的存储器包括：U盘、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述者，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践真理的公开后，将容易想到本公开的其他实施方案。

本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的范围和精神由权利要求限定。

Claims (10)

1.一种重点区域加权的眼周特征提取方法，其特征在于，所述方法包括：

获取待检测眼周图像；

将所述待检测眼周图像输入至训练完成的眼周特征提取网络，所述眼周特征提取网络包括重点区域分割网络和特征提取网络，所述重点区域分割网络包括多个卷积阶段，所述特征提取网络包括多个特征提取阶段；

通过所述重点区域分割网络确定所述待检测眼周图像在各所述卷积阶段的重点区域；

通过所述特征提取网络确定所述待检测眼周图像在各所述特征提取阶段的特征图；

基于各所述重点区域对各所述特征图进行加权处理，得到目标特征图；

对所述目标特征图进行标准化处理，得到眼周特征。

2.根据权利要求1所述的重点区域加权的眼周特征提取方法，其特征在于，所述获取待检测眼周图像之前，还包括：

构建初始眼周特征提取网络，所述初始眼周特征提取网络包括初始重点区域分割网络和初始特征提取网络，所述初始重点区域分割网络包括多个卷积训练阶段，所述初始特征提取网络包括多个特征提取训练阶段；

采用多组眼周图像样本对所述初始重点区域分割网络进行训练，得到训练完成的重点区域分割网络；

采用所述多组眼周图像样本以及所述训练完成的重点区域分割网络对所述初始特征提取网络进行训练，得到每相邻两个特征提取训练阶段的形状拓扑特征；

计算所述每相邻两个特征提取训练阶段的形状拓扑特征的相似度；

基于各所述相似度计算相似度损失值，并计算所述初始眼周特征提取网络在训练过程中的分类损失值；

当各所述相似度损失值与所述分类损失值之和低于预设损失值时停止训练，得到训练完成的眼周特征提取网络。

3.根据权利要求1所述的重点区域加权的眼周特征提取方法，其特征在于，所述通过所述重点区域分割网络确定所述待检测眼周图像在各所述卷积阶段的重点区域，包括：

将所述待检测眼周图像输入至所述重点区域分割网络中进行卷积处理，得到各所述卷积阶段对应分辨率的卷积特征图；

将各所述对应分辨率的卷积特征图转换成各对应的掩膜图像；

根据各所述掩膜图像以及特征自适应权重融合公式进行融合处理，得到各掩膜图像的重点区域。

4.根据权利要求3所述的重点区域加权的眼周特征提取方法，其特征在于，所述根据各所述掩膜图像以及特征自适应权重融合公式进行融合处理，得到各掩膜图像的重点区域，包括：

将最后一卷积阶段的掩膜图像进行上采样处理，得到最后一卷积阶段的上采样掩膜图像，将所述最后一卷积阶段的上采样掩膜图像与上一卷积阶段的掩膜图像按照特征自适应权重融合公式进行融合，得到上一卷积阶段的掩膜图像的重点区域；

将所述上一卷积阶段的掩膜图像的重点区域作为所述最后一卷积阶段的掩膜图像，并执行所述将最后一卷积阶段的掩膜图像进行上采样处理，得到最后一卷积阶段的上采样掩膜图像，将所述最后一卷积阶段的上采样掩膜图像与上一卷积阶段的掩膜图像按照特征自适应权重融合公式进行融合的步骤，直到所有卷积阶段完成融合，得到各所述卷积阶段的重点区域；

所述特征自适应权重融合公式为：；所述/>为第j卷积阶段与第i卷积阶段的掩膜图像融合后的重点区域，所述第i卷积阶段为所述第j卷积阶段的上一卷积阶段，所述/>为网络参数，所述/>为第j卷积阶段上采样得到的掩膜图像，所述/>为第i卷积阶段的掩膜图像。

5.根据权利要求1所述的重点区域加权的眼周特征提取方法，其特征在于，所述通过所述特征提取网络确定所述待检测眼周图像在各所述特征提取阶段的特征图，包括：

若当前特征提取阶段为第一特征提取阶段，则将所述待检测眼周图像进行下采样处理，得到所述当前特征提取阶段的下采样的特征图；将所述当前特征提取阶段的下采样的特征图进行自注意力处理，得到自注意力处理后的特征图；获取对所述自注意力处理后的特征图进行残差操作后得到的残差处理图，将所述残差处理图输入到多层感知机处理，得到所述当前特征提取阶段的特征图；

若当前特征提取阶段不为第一特征提取阶段，则对上一特征提取阶段的特征图与对应卷积阶段得到的重点区域进行加权，得到上一特征提取阶段的加权后的特征图，在所述当前特征提取阶段，对所述上一特征提取阶段的加权后的特征图进行下采样处理，得到所述当前特征提取阶段的下采样的特征图；将所述当前特征提取阶段的下采样的特征图进行自注意力处理，得到自注意力处理后的特征图；获取对所述自注意力处理后的特征图进行残差操作后得到的残差处理图，将所述残差处理图输入到多层感知机处理，得到所述当前特征提取阶段的特征图，直到得到各所述特征提取阶段的特征图。

6.根据权利要求5所述的重点区域加权的眼周特征提取方法，其特征在于，

所述将所述当前特征提取阶段的下采样的特征图进行自注意力处理，得到自注意力处理后的特征图，包括：

将所述当前特征提取阶段的下采样的特征图分别通过三个第一卷积核的卷积处理，得到第一特征图、第二特征图以及第三特征图；

将所述第二特征图以及第三特征图分别通过第二卷积核的卷积处理得到对应的第二卷积特征图和第三卷积特征图，所述第二卷积核大于所述第一卷积核；

将所述第一特征图与所述第二卷积特征图进行矩阵相乘，并进行归一化处理后通过softmax层得到权重值；

将所述权重值与所述第三卷积特征图进行矩阵相乘，得到自注意力处理后的特征图。

7.根据权利要求5所述的重点区域加权的眼周特征提取方法，其特征在于，所述获取对所述自注意力处理后的特征图进行残差操作后得到的残差处理图，将所述残差处理图输入到多层感知机处理，得到当前特征提取阶段的特征图，包括：

将所述自注意力处理后的特征图与所述下采样的特征图相加，得到残差处理图；

将所述残差处理图依次通过两个相连的第一卷积核的卷积处理，得到当前特征提取阶段的特征图。

8.根据权利要求1所述的重点区域加权的眼周特征提取方法，其特征在于，所述重点区域包括眼睛区域、眉毛区域、镜框区域以及光斑区域，所述基于各所述重点区域对各所述特征图进行加权处理，得到目标特征图，包括：

基于各所述重点区域对各所述特征图按照特征加权公式进行加权处理，得到目标特征图；

所述特征加权公式为：；所述/>为输出的目标特征图，所述为输入的特征提取阶段的特征图，所述/>为预设的加权系数，所述/>为重点区域中的眼睛区域或眉毛区域，所述/>为重点区域中镜框区域或光斑区域，所述其他为其他区域，所述为特征图中各元素的坐标。

9.一种重点区域加权的眼周特征提取系统，其特征在于，所述系统包括：

眼周图像获取模块（1），用于获取待检测眼周图像；

眼周图像输入模块（2），用于将所述待检测眼周图像输入至训练完成的眼周特征提取网络，所述眼周特征提取网络包括重点区域分割网络和特征提取网络，所述重点区域分割网络包括多个卷积阶段，所述特征提取网络包括多个特征提取阶段；

掩膜重点区确定模块（3），用于通过所述重点区域分割网络确定所述待检测眼周图像在各所述卷积阶段的重点区域；

特征图确定模块（4），用于通过所述特征提取网络确定所述待检测眼周图像在各所述特征提取阶段的特征图；

特征图加权模块（5），用于基于各所述重点区域对各所述特征图进行加权处理，得到目标特征图；

眼周特征获取模块（6），用于对所述目标特征图进行标准化处理，得到眼周特征。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适用于由处理器加载并执行如权利要求1~8任意一项所述的方法。