CN112364827A - 人脸识别方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种人脸识别方法、装置、计算机设备和存储介质。所述方法通过获取待识别图像；提取待识别图像中的完整人脸图像以及特定区域人脸图像；基于预设人脸识别网络获取完整人脸图像以及特定区域人脸图像对应的待识别人脸特征；根据待识别人脸特征对待识别图像进行人脸识别。本申请中，在人脸识别的过程中，分别提取出完整人脸图像以及特定区域人脸图像对应的特征，而后进行特征融合，获得待识别人脸特征，并基于待识别人脸特征来辅助进行人脸识别，可以在基本不影响正常人脸识别性能的同时，提高人脸被部分遮挡下的人脸识别性能。

Description

人脸识别方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种人脸识别方法、装置、计算机设备和存储介质。

背景技术

随着人工智能技术的发展，人脸识别技术也开始在移动支付以及安全管理等方面越来越广泛地得到应用。人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别。

然而现有的人脸识别方法在某些人脸被遮挡的情况下无法进行准确的人脸识别，例如随着新冠疫情的爆发，越来越多的人开始戴口罩出行。这对人脸识别在支付场景下的应用带来了巨大的挑战。由于口罩的遮挡，现有的人脸识别系统无法获取足够的脸部身份信息，识别精度相较于不戴口罩状态下明显下降。

目前，对于上述情况，一般基于现有的人脸识别系统，以同样方式处理部分被遮挡人脸和完整人脸。然而现有的人脸识别系统不能获取到足够的脸部身份信息，导致部分被遮挡人脸的相似度整体偏低，识别精度相较于完整人脸情况明显下降。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高人脸被部分遮挡情况下人脸识别精度的人脸识别方法、装置、计算机设备和存储介质。

一种人脸识别方法，所述方法包括：

获取待识别图像；

提取所述待识别图像中的完整人脸图像以及特定区域人脸图像；

基于预设人脸识别网络获取所述完整人脸图像以及特定区域人脸图像对应的待识别人脸特征；

根据所述待识别人脸特征对所述待识别图像进行人脸识别。

一种人脸识别装置，所述装置包括：

数据获取模块，用于获取待识别图像；

图像提取模块，用于提取所述待识别图像中的完整人脸图像以及特定区域人脸图像；

特征提取模块，用于基于预设人脸识别网络获取所述完整人脸图像以及特定区域人脸图像对应的待识别人脸特征，所述待识别人脸特征由所述完整人脸图像应的人脸特征以及特定区域人脸图像对应的人脸特征融合获取；

人脸识别模块，用于根据所述待识别人脸特征对所述待识别图像进行人脸识别。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取待识别图像；

提取所述待识别图像中的完整人脸图像以及特定区域人脸图像；

基于预设人脸识别网络获取所述完整人脸图像以及特定区域人脸图像对应的待识别人脸特征；

根据所述待识别人脸特征对所述待识别图像进行人脸识别。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取待识别图像；

提取所述待识别图像中的完整人脸图像以及特定区域人脸图像；

基于预设人脸识别网络获取所述完整人脸图像以及特定区域人脸图像对应的待识别人脸特征；

根据所述待识别人脸特征对所述待识别图像进行人脸识别。

上述人脸识别方法、装置、计算机设备和存储介质，通过获取待识别图像；提取待识别图像中的完整人脸图像以及特定区域人脸图像；基于预设人脸识别网络获取完整人脸图像以及特定区域人脸图像对应的待识别人脸特征；根据待识别人脸特征对待识别图像进行人脸识别。本申请中，在人脸识别的过程中，分别提取出完整人脸图像以及特定区域人脸图像对应的特征，而后进行特征融合，获得待识别人脸特征，并基于待识别人脸特征来辅助进行人脸识别，可以在基本不影响正常人脸识别性能的同时，提高人脸被部分遮挡下的人脸识别性能。

附图说明

图1为一个实施例中人脸识别方法的应用环境图；

图2为一个实施例中人脸识别方法的流程示意图；

图3为一个实施例中构建预设人脸识别网络步骤的流程示意图；

图4为一个实施例中预设人脸识别网络在特征提取阶段的信息流示意图；

图5为一个实施例中获取预设融合特征模块步骤的流程示意图；

图6为一个实施例中融合特征模块的结构示意图；

图7为一个实施例中确定完整人脸图像以及特定区域人脸图像步骤的流程示意图；

图8为另一个实施例中确定特定区域人脸图像步骤的流程示意图；

图9为一个实施例中完整人脸图像以及分割后的特定区域人脸图像的示意图；

图10为一个实施例中人脸识别过程的简要步骤示意图；

图11为一个实施例中人脸识别装置的结构框图；

图12为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。在本申请中，主要通过计算机视觉技术来实现对图像内目标人脸的识别。特别适用于1戴口罩的人脸进行识别。

本申请提供的人脸识别方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102可以向服务器104发送包含人脸的待识别图像，以通过服务器104来进行图像中所包含人脸信息的识别，服务器104则获取终端102提交的待识别图像；提取待识别图像中的完整人脸图像以及特定区域人脸图像；基于预设人脸识别网络获取完整人脸图像以及特定区域人脸图像对应的待识别人脸特征，待识别人脸特征由完整人脸图像应的人脸特征以及特定区域人脸图像对应的人脸特征融合获取；根据待识别人脸特征对待识别图像进行人脸识别。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。在另一个实施例中，非必要的，本申请的人脸识别提取方法也可以应用于终端，用户可以直接在终端侧执行该方法。

在一个实施例中，如图2所示，提供了一种人脸识别方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：

步骤201，获取待识别图像。

其中，待识别图像是指本申请人脸识别方法所识别的目标图像，待识别图像内包含具体的人脸信息。在其中一个实施例中，本申请的人脸识别方法适用于进行移动支付过程中的人脸识别，此时终端102可以为移动支付对应收银终端，收银终端通过摄像头拍摄用户人脸信息，获取待识别图像，而后将待识别图像提交至远程的服务器104进行图像识别。具体地，本申请的人脸识别方法适用于对人脸被部分遮挡，例如对戴口罩的人脸进行识别，因此，在收银终端处用户无需摘下口罩。在另一个实施例中，本申请的人脸识别方法适用于在门禁解锁的过程中进行人脸识别，此时对应的终端102则为门禁终端。

具体地，当终端102方需要进行人脸识别操作时，可以先通过摄像头的传感器件采集带用户脸部图像的待识别图像，而后通过网络将待识别图像传输至服务器104，通过服务器104来对待识别图像中所包含的人脸信息进行识别。具体地，终端102采集的待识别图像中所包含的人脸图像应为包含待识别用户完整脸部的图像。

步骤203，提取待识别图像中的完整人脸图像以及特定区域人脸图像。

其中，完整人脸图像是指包含整个正面脸部的图像，即去除掉待识别图像中非人脸区域后的图像。完整人脸图像具体可以通过人脸检测以及配准等处理方法获取。而特定区域人脸图像则是完整人脸图像的一部分，在其中一个实施例中，特定区域人脸图像具体是指人脸中鼻尖部分以上的图像。在实际生活中，口罩一般用于遮挡口鼻。因此，在戴口罩的人脸图像中，口罩一般位于下半脸图像中，因而上人脸图像中的特征点并未受到口罩的影响，可以用于辅助进行人脸识别，提高戴口罩人脸识别的准确率。在另一个实施例中，还可以对戴眼罩的人脸图像进行识别，一般位于上半脸图像中，因而下人脸图像中的特征点并未受到眼罩的影响。

具体地，在得到待识别图像后，需要进行人脸识别前的预处理，这一过程具体可以为通过人脸检测以及配准操作，从获取的待识别图像中提取完整人脸图像。而后检测完整人脸图像中的几个关键特征点，并基于这些关键特征点来对完整人脸图像进行分割，得到的即为特定区域人脸图像。

步骤205，基于预设人脸识别网络获取完整人脸图像以及特定区域人脸图像对应的待识别人脸特征。

其中，待识别人脸特征是指通过对人脸图像进行特征提取操作后所获得的信息。特征提取是指通过一些数字来表征人脸信息,这些数字就是我们要提取的特征。设人脸识别网络具体为基于不同的神经网络融合而来的网络，所融合的神经网络包括了用于提取完整人脸图像中人脸特征的网络，用于提取特定区域人脸图像中人脸特征的网络以及融合完整人脸图像中人脸特征以及相应的特定区域人脸图像中人脸特征的融合网络。预设人脸识别网络具体适用于分别提取完整人脸图像以及特定区域人脸的人脸图像中所包含的人脸特征，而后融合特征得到完整的待识别人脸特征。

具体地，本申请中的预设人脸识别网络主要用于提取人脸中所包含的人脸特征，在进行特征提取时，可以将所得到的完整人脸图像以及特定区域人脸图像同时输入到预设人脸识别网络，预设人脸图像分别提取完整人脸图像以及特定区域人脸图像中的人脸特征，通过对所提取到的人脸特征进行融合处理，得到最终用于人脸识别处理的待识别人脸特征。这部分待识别人脸特征已经融合了完整的人脸以及特定区域人脸的特征，该预设人脸识别网络可以更加有效利用人脸的上半部分信息，从而在基本不影响正常人脸识别性能的同时，显著提高戴口罩状态下人脸识别性能。

步骤207，根据待识别人脸特征对待识别图像进行人脸识别。

其中，人脸识别具体用于识别待识别图像中人脸的身份信息。

具体地，所要识别的用户的人脸信息可以在进行图像识别前就被预先保存在人脸特征数据库内。服务器104可以通过网络与人脸特征数据库连接，在得到待识别人脸特征后，服务器104可以将所得到的待识别人脸特征与人脸特征数据库内所存的人脸特征进行对比，获取特征之间的相似度，而后基于相似度，确定待识别人脸特征相似的数据库内人脸特征，而后基于数据库内人脸特征对应的身份信息，来确定待识别图像中人脸的身份信息。在其中一个实施例中，本申请的人脸识别方法用于在移动支付过程中进行人脸识别，这时，用户在进行刷脸支付前，需要先在移动支付的APP(Application，应用程序)中登记相应的人脸信息，当登记完成后，用户的人脸信息被保存在移动支付对应的人脸数据库内，而在进行人脸识别时，服务器104即可将待识别人脸特征与移动支付对应的人脸数据库内的人脸特征数据进行对比，来确定用户相应的人脸信息，从而进行后续的移动端支付的资源转移操作。在另一个实施例中，本申请的人脸识别方法用于在门禁控制过程中进行人脸识别，这时，用户在进行刷脸开门前，需要先在门禁应用中登记相应的人脸信息，以进行后续的人脸识别操作。

上述人脸识别方法，通过获取待识别图像；提取待识别图像中的完整人脸图像以及特定区域人脸图像；基于预设人脸识别网络获取完整人脸图像以及特定区域人脸图像对应的待识别人脸特征；根据待识别人脸特征对待识别图像进行人脸识别。本申请中，在人脸识别的过程中，分别提取出完整人脸图像以及特定区域人脸图像对应的特征，而后进行特征融合，获得待识别人脸特征，并基于待识别人脸特征来辅助进行人脸识别，可以在基本不影响正常人脸识别性能的同时，提高人脸被部分遮挡下的人脸识别性能。

在其中一个实施例中，如图3所示，步骤205之前，还包括

步骤302，获取带身份标注的训练人脸图像。

步骤304，根据带身份标注的训练人脸图像中的完整人脸图像获取第一模型训练数据，根据带身份标注的训练人脸图像中的特定区域人脸图像获取第二模型训练数据。

步骤306，根据第一模型训练数据以及第二模型训练数据对预设初始神经网络模型进行训练，获取得到已训练的第一网络以及已训练的第二网络，第一网络以及第二网络中对应特征提取阶段的特征层大小相同，第一网络用于完整人脸特征提取，第二网络用于特定区域人脸特征提取。

步骤308，根据已训练的第一网络以及已训练的第二网络，构建预设人脸识别网络。

其中，带身份标注是指可以基于标注信息来确定输入模型的人脸图像对应的正确识别结果。可以利用海量带身份标注的人脸图像来进行预设人脸识别网络的训练，从而保证人脸识别网络的可用性。其中带身份标注的训练人脸图像具体为RGB人脸图片，可以通过如上文中的人脸检测处理以及配准处理，提取其中的完整人脸图像，并切割出完整人脸图像中的特定区域人脸图像。第一模型数据用于对预设初始神经网络模型进行训练，获得其中的第一网络，可以用于对完整的人脸进行识别。由于带身份标注的RGB人脸图片可以利用大量的开源数据，因此可以使用大的网络结构，例如ResNet101，训练得到一个识别性能较高的人脸识别模型。基于特定区域人脸的人脸提特征模型通过将原始的海量的带身份标注的RGB人脸图片，经过上述处理得到特定区域人脸后，再通过上述同样方式训练得到。由于该网络起到辅助原始人脸识别模型的作用，因此可以采用较小的模型结构，如ResNet34。同样的，由于不需要这个模型具备很强的识别性能，因此往往可以使用原始图片的一部分来生成特定区域人脸用于训练该网络。上述两个网络只需要每个阶段的特征层大小一致即可。而后通过训练完成的第一网络以及第一网络即可构成本申请中用于进行特征提取的预设人脸识别网络。

具体地，在进行人脸识别之前，还需要构建用于进行人脸识别的预设人脸识别网络。这一过程具体可以基于海量带身份标注的训练人脸图像来进行。首先通过类似于人脸识别过程中的人脸检测处理以及配准处理，来得到训练人脸图像对应的完整人脸图像以及特定区域人脸的人脸图像。而后基于完整人脸图像来训练大的第一网络，基于特定区域人脸的人脸图像来训练较小的第一网络，用来辅助第一网络进行人脸识别。最后，可以根据训练完成后的第一网络以及第一网络构建预设人脸识别网络。基于预设人脸识别网络来进行部分遮挡下人脸的人脸识别。在本实施例中，通过带身份标注的训练人脸图像来进行预设人脸识别网络中各部分网络的训练，可以有效保证所得到的预设人脸识别网络的识别准确率。

在其中一个实施例中，预设初始神经网络模型包括初始第一网络、初始第二网络以及预设融合特征模块，初始第一网络以及初始第二网络中当前特征提取阶段的输出数据作为预设融合特征模块的输入数据，预设融合特征模块的输出数据作为初始第一网络中下一特征提取阶段的部分输入数据，步骤607包括：

将第一模型训练数据输入初始第一网络，将第一模型训练数据对应的第二模型训练数据输入初始第二网络；在特征提取阶段，通过预设融合特征模块融合初始第一网络以及初始第二网络的输出数据，获取阶段融合特征，将阶段融合特征作为初始第一网络对应的下一特征提取阶段的部分输入数据；获取第一网络对第一模型训练数据的特征提取结果；根据特征提取结果以及第一模型训练数据对应的身份标注，调整初始第一网络以及初始第二网络的模型参数，当模型训练次数未达到预设训练次数阈值时，更新第一模型数据，返回将第一模型训练数据输入初始第一网络，将第一模型训练数据对应的第二模型训练数据输入初始第二网络的步骤；当模型训练次数达到预设训练次数阈值时，根据模型参数调整后的初始第一网络获取第一网络，根据模型参数调整后的初始第二网络获取第一网络。

其中预设融合特征模块用于根据输入图片的遮挡程度自动融合上述已经得到的大小网络的特征。即用于对特征提取各阶段中，将第一网络以及第一网络提取的特征进行融合的模块，在每个特征提取的阶段都有一个融合特征模块与之匹配。融合特征模块可以将融合得到的特征作为下一阶段特征提取过程中的输入数据。通过多阶段的融合处理，最终第一网络输出的特征提取结果，即为第一模型训练数据以及第一模型训练数据对应的第二模型训练数据对应的输出结果。

具体地，在第一网络以及第一网络的训练过程中，需要通过特征融合的方式来在特征提取阶段进行处理，因此在训练过程中，同时将第一模型训练数据中的一张完整人脸图像以及第二模型训练数据中的特定区域人脸图像，分别输入至初始第一网络以及初始第二网络，而在特征提取的阶段，则按阶段的提取人脸图像中的特征，每一个阶段提取完成后，都会将初始第一网络以及初始第二网络提取得到的特征进行融合处理，并将其输入至初始第一网络中后续的特征提取阶段。具体地，特征提取阶段的信息流示意图可以参照图4所示。当得到特征提取结果后，可以基于特征提取结果以及第一模型训练数据对应的身份标注，来对初始第一网络以及初始第二网络的模型参数进行更新，同步不管更换输入值初始神经网络的训练数据来对预设人脸识别网络进行迭代训练，当迭代的次数到达阈值时，即可获得训练完成的第一网络以及第一网络。在另一个实施例中，可以在第一网络以及第一网络对应的模型损失函数收敛后完成模型的训练。本实施例中，通过特征融合的方式来对模型进行训练，可以有效保证预设人脸识别网络能有效结合完整人脸以及特定区域人脸的人脸特征进行识别，提高人脸识别过程中的识别准确率。

在其中一个实施例中，如图5所示，特征提取之前，还包括：

步骤502，构建SENet结构的初始融合特征模块。

步骤504，获取完整人脸图像，和完整人脸图像对应的特定区域人脸图像之间随机遮挡的融合模块样本。

步骤506，根据融合模块样本对初始融合特征模块进行训练，获取预设融合特征模块。

其中，在进行模型融合之前，还需要完成对融合特征模块的训练，融合特征模块用于根据输入图片的遮挡程度自动融合上述已经得到的大小网络的特征。因此需要获取完整人脸图像，和完整人脸图像对应的特定区域人脸图像之间随机遮挡的融合模块样本来作为融合特征模块的训练样本。

具体地，为了更充分的利用第一网络从特定区域人脸中提取的信息，在每一个特征提取的阶段都加入了一个融合特征模块。融合特征模块的结构采用与SENet类似的结构，在其中一个实施例中，融合特征模块具体可以参照图6所示。通过为每个通道设置一个权重进行两个网络特征的信息融合。在每一个融合特征后增加一个1x1卷积层，使得融合得到的特征通道数与原始大网络的通道数一致。训练融合特征模块的整个过程同训练大网络时类似，只是保持大小提特征网络权重固定，只训练融合特征模块的参数。输入图片采用介于原始图片和特定区域人脸图片之间随机遮挡的人脸样本，从而使训练过程中融合特征模块可学习到根据输入图片的遮挡程度自适应融合大小网络特征的能力。本申请中，通过对融合特征模块的构建以及训练，可以有效保证第一网络以及第一网络的模型训练效率。

在一个实施例中，如图7所示，步骤203包括：

步骤702，对待识别图像进行人脸检测处理以及配准处理，获取待识别图像中的完整人脸图像；

步骤704，获取完整人脸图像中的人脸关键点坐标。

步骤706，基于人脸关键点坐标获取完整人脸图像中的特定区域人脸图像。

其中，在人脸识别的过程中，搭建人脸识别系统的第一步是人脸检测，也就是在图片中找到人脸的位置。在人脸检测处理的过程中，服务器104获得的输入是一张可能含有人脸的待识别图像，输出是人脸位置的矩形框。一般来说，人脸检测应该可以正确检测出图片中存在的所有人脸，不能有遗漏，也不能再错检。而配准处理又被称为人脸对齐，可以将面部人工定义的关键点进行检测，即定位出人脸的关键特征点，比如眼睛，鼻子，嘴巴的具体位置。定义的关键点数目因不同人工的定义而不同，有39点，68点等。通过人脸检测与配准算法,可精确提取出人脸的关键特征,以方便后续的人脸任务的进行。

具体地，在得到一张待处理图像后，服务器104首先要进行对图像进行人脸识别前的预处理步骤，主要包括有人脸检测处理以及配准处理。其中人脸检测具体可以通过基于MTCNN(Multi-task convolutional neural network，多任务卷积神经网络)YOLO(YouOnly Look Once)算法、RetinaFace算法或者SSD(Single Shot MultiBox Detector)算法所构建的检测模型来进行。而人脸配准处理则可以通过SDM(Supervised Descent Method)以及FPS(frame per second)3000等回归算法进行处理。通过人脸检测处理以及配准处理，即可获取包含完整人脸的完整人脸图像以及完整人脸图像中配准检测出的人脸关键点，而后基于配准处理的结果即可获取完整人脸图像中的人脸关键点坐标。而后即可根据人脸关键点坐标来对所获得的完整人脸图像进行分割得到特定区域人脸图像。本实施例中，通过对待识别图像进行人脸检测处理以及配准处理，可以有效地提取出待识别图像中的完整人脸图像，进而获取完整人脸图像中的特定区域人脸图像，可以有效提高后续人脸识别过程中的识别准确率。

在其中一个实施例中，如图8所示，人脸关键点包括鼻尖点以及瞳孔点，所步骤706包括：

步骤801，根据鼻尖点确定完整人脸图像对应的人脸分割线。

步骤803，根据人脸分割线对完整人脸图像进行分割，将包含瞳孔点的分割后图像作为特定区域人脸图像。

其中，人脸分割线实在本申请中用于分割上下部分的人脸，具体地，本申请中可以基于配准处理中检测出的人脸关键点来进行人脸分割，从而获取特定区域人脸图像。即根据对齐的参考人脸关键点坐标得到特定区域人脸图片，在本实施例中，将人脸关键点中的鼻尖作为分割上下半脸的分割点，并根据鼻尖点来确定上下半脸的分割线，从而根据人脸分割线对完整人脸图像进行分割。而包含有瞳孔点的分割后图像一般不会被口罩遮挡，因此可以作为辅助人脸识别的特定区域人脸图像。而嘴角点在戴口罩的情况下会被遮挡，所以将包含嘴角点的下半脸图像舍弃。

具体地，在进行人脸检测处理以及配准处理，就可以识别出人脸中的各个关键点。而后获取完整人脸图像中的人脸关键点坐标，基于对齐后的鼻尖点坐标，来对完整人脸图像的矩形框进行切割，其中分割为带瞳孔点的上半部分人脸以及下半部分人脸(如果是未戴口罩的人脸，此处下半部分人脸则携带有嘴角特征点，如果戴口罩人脸，则无法检测出嘴角特征点)。在其中一个实施例中，完整人脸图像以及分割后的特定区域人脸图像具体可以参照图9，本实施例中，通过人脸关键点中的嘴角点来进行人脸图像的分割，可以更加准确地切割出符合要求的特定区域人脸图像，从而提高人脸识别过程的识别准确性。

在其中一个实施例中，步骤207包括：将待识别人脸特征与预设人脸数据库的已验证人脸特征进行对比，获取待识别人脸特征与已验证人脸特征的相似度；当相似度高于预设人脸相似度阈值时，根据已验证人脸特征对应的已验证身份信息，获取待识别图像对应的识别结果。

其中，预设人脸数据库用于存放以确认身份人脸信息，库内保存有用户的已验证人脸特征。用户在进行人脸识别之前，可以先将自身的人脸信息上传至服务器，而后保存到预设人脸数据库中。而预设人脸相似度阈值则可以基于实际业务的误视率需求以及通过率需求来进行设置。

当进行人脸识别时，服务器104先提取实时拍摄的用户图片内的待识别人脸特征，而后将其与已验证人脸特征进行一一对比，获取相似度，而后基于待识别人脸特征与预设人脸数据库的已验证人脸特征的相似度阈值来确定待识别人脸特征是否为当前的已验证人脸特征，当相似度高于相似度阈值时,则认为待识别图像中的人脸与当前的已验证人脸特征是相同人的人脸，反之则为非同人。在本实施例中，通过待识别人脸特征与预设人脸数据库的已验证人脸特征进行对比，并基于阈值进行相似人脸的认证，可以有效保证人脸识别过程中的识别准确性。

本申请还提供一种应用场景，该应用场景应用上述的人脸识别方法。具体地，该人脸识别方法在该应用场景的应用如下：

在一个移动支付的场景下，用户可以选择刷脸(在支付时拍摄人脸)来代替输入支付密码进行支付。具体地，用户想要开通刷脸支付时，首先需要按照操作指示来上传自己的人脸特征，用户可以选择打开摄像头拍摄现有的人脸图像或者选择相册内的人脸图像来完成初始的已验证人脸数据上传的过程。移动支付服务器集群中用于人脸识别验证的服务器获得用户上传的已验证人脸图像，提取已验证人脸图像中的完整人脸图像以及特定区域人脸图像，而后通过预设人脸识别网络来提取完整人脸图像以及特定区域人脸图像对应的人脸特征，并将这部分已验证人脸对应的人脸特征储存至预设人脸信息数据库中，并将这部分数据与上传人脸数据的用户相关联。当用户在进行实时的移动支付时，可以通过收银台的摄像头拍摄人脸图像，并将其作为待识别上传至用于人脸识别的服务器，服务器获取待识别图像；提取待识别图像中的完整人脸图像以及特定区域人脸图像；基于预设人脸识别网络获取完整人脸图像以及特定区域人脸图像对应的待识别人脸特征，待识别人脸特征由完整人脸图像应的人脸特征以及特定区域人脸图像对应的人脸特征融合获取；根据待识别人脸特征对待识别图像进行人脸识别。识别的简要过程可以参照图10所示，主要包括以下几个步骤：Step1：由RGB传感器抓拍包含用户A人脸图像的RGB图片。Step2：对RGB图片经过检测对齐后得到整张人脸图片a，将图片a根据人脸关键点坐标截去鼻子以下部分，得到特定区域人脸图片ah。Step3：对预处理之后的整张人脸图片a和特定区域人脸图片ah同时输入到人脸识别网络中，得到特征Fa Step4：选择注册用户库中的用户B，将用户A的人脸特征与用户B的人脸特征进行比对，得到相似度sim；Step5：将上步中得到的人脸相似度sim,与预设的阈值th比较，若高于th,则认为A与B是同人，反之则为非同人；遍历注册用户库中所有用户，执行Step4与Step5。

在一个具体的实施例中，提取待识别图像中的完整人脸图像以及特定区域人脸图像的过程包括：对待识别图像进行人脸检测处理以及配准处理，获取待识别图像中的完整人脸图像；获取完整人脸图像中的人脸关键点坐标；基于人脸关键点坐标获取完整人脸图像中的特定区域人脸图像。根据待识别人脸特征对待识别图像进行人脸识别的过程则包括：将待识别人脸特征与预设人脸数据库的已验证人脸特征进行对比，获取待识别人脸特征与已验证人脸特征的相似度；当相似度高于预设人脸相似度阈值时，根据已验证人脸特征对应的身份信息，获取待识别图像对应的识别结果。同时在事先还需要进行预设人脸识别网络的训练。这一过程具体包括：获取带身份标注的训练人脸图像；根据带身份标注的训练人脸图像中的完整人脸图像获取第一模型训练数据，根据带身份标注的训练人脸图像中的特定区域人脸图像获取第二模型训练数据；根据第一模型训练数据以及第二模型训练数据对预设初始神经网络模型进行训练，获取得到已训练的第一网络以及已训练的第二网络，第一网络以及第二网络中对应特征提取阶段的特征层大小相同，第一网络用于完整人脸特征提取，第二网络用于特定区域人脸特征提取；根据已训练的第一网络以及已训练的第二网络，构建预设人脸识别网络。根据第一模型训练数据以及第二模型训练数据对预设初始神经网络模型进行训练，获取得到已训练的第一网络以及已训练的第一网络包括：根据第一模型训练数据以及第二模型训练数据对预设初始神经网络模型进行训练，获取得到已训练的第一网络以及已训练的第二网络包括：将第一模型训练数据输入初始第一网络，将第一模型训练数据对应的第二模型训练数据输入初始第二网络；在特征提取阶段，通过预设融合特征模块融合初始第一网络以及初始第二网络的输出数据，获取阶段融合特征，将阶段融合特征作为初始第一网络对应的下一特征提取阶段的部分输入数据；获取第一网络对第一模型训练数据的特征提取结果；根据特征提取结果以及第一模型训练数据对应的身份标注，调整初始第一网络以及初始第二网络的模型参数，当模型训练次数未达到预设训练次数阈值时，更新第一模型数据，返回将第一模型训练数据输入初始第一网络，将第一模型训练数据对应的第二模型训练数据输入初始第二网络的步骤；当模型训练次数达到预设训练次数阈值时，根据模型参数调整后的初始第一网络获取第一网络，根据模型参数调整后的初始第二网络获取第一网络。而预设融合特征模块的构建过程则包括：构建SENet结构的初始融合特征模块；获取完整人脸图像，和完整人脸图像对应的特定区域人脸图像之间随机遮挡的融合模块样本；根据融合模块样本对初始融合特征模块进行训练，获取预设融合特征模块。

应该理解的是，虽然图2-8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-8中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图11所示，提供了一种人脸识别装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：数据获取模块1102、图像提取模块1104、特征提取模块1106和人脸识别模块1108，其中：

数据获取模块1102，用于获取待识别图像。

图像提取模块1104，用于提取待识别图像中的完整人脸图像以及特定区域人脸图像。

特征提取模块1106，用于基于预设人脸识别网络获取完整人脸图像以及特定区域人脸图像对应的待识别人脸特征。

人脸识别模块1108，用于根据待识别人脸特征对待识别图像进行人脸识别。

在其中一个实施例中，图像提取模块1104具体用于：对待识别图像进行人脸检测处理以及配准处理，获取待识别图像中的完整人脸图像；获取完整人脸图像中的人脸关键点坐标；基于人脸关键点坐标获取完整人脸图像中的特定区域人脸图像。

在其中一个实施例中，人脸关键点包括鼻尖点以及瞳孔点，图像提取模块1203还用于：根据鼻尖点确定完整人脸图像对应的人脸分割线；根据人脸分割线对完整人脸图像进行分割，将包含瞳孔点的分割后图像作为特定区域人脸图像。

在其中一个实施例中，还包括网络训练模块，用于：获取带身份标注的训练人脸图像；根据带身份标注的训练人脸图像中的完整人脸图像获取第一模型训练数据，根据带身份标注的训练人脸图像中的特定区域人脸图像获取第二模型训练数据；根据第一模型训练数据以及第二模型训练数据对预设初始神经网络模型进行训练，获取得到已训练的第一网络以及已训练的第二网络，第一网络以及第二网络中对应特征提取阶段的特征层大小相同，第一网络用于完整人脸特征提取，第二网络用于特定区域人脸特征提取；根据已训练的第一网络以及已训练的第二网络，构建预设人脸识别网络。

在其中一个实施例中，网络训练模块还用于：将第一模型训练数据输入初始第一网络，将第一模型训练数据对应的第二模型训练数据输入初始第二网络；在特征提取阶段，通过预设融合特征模块融合初始第一网络以及初始第二网络的输出数据，获取阶段融合特征，将阶段融合特征作为初始第一网络对应的下一特征提取阶段的部分输入数据；获取第一网络对第一模型训练数据的特征提取结果；根据特征提取结果以及第一模型训练数据对应的身份标注，调整初始第一网络以及初始第二网络的模型参数，当模型训练次数未达到预设训练次数阈值时，更新第一模型数据，返回将第一模型训练数据输入初始第一网络，将第一模型训练数据对应的第二模型训练数据输入初始第二网络的步骤；当模型训练次数达到预设训练次数阈值时，根据模型参数调整后的初始第一网络获取第一网络，根据模型参数调整后的初始第二网络获取第一网络。

在其中一个实施例中，还包括融合模块训练模块，用于：构建SENet结构的初始融合特征模块；获取完整人脸图像，和完整人脸图像对应的特定区域人脸图像之间随机遮挡的融合模块样本；根据融合模块样本对初始融合特征模块进行训练，获取预设融合特征模块。

在其中一个实施例中，人脸识别模块1108具体用于：将待识别人脸特征与预设人脸数据库的已验证人脸特征进行对比，获取待识别人脸特征与已验证人脸特征的相似度；当相似度高于预设人脸相似度阈值时，根据已验证人脸特征对应的已验证身份信息，获取待识别图像对应的识别结果。

关于人脸识别装置的具体限定可以参见上文中对于人脸识别方法的限定，在此不再赘述。上述人脸识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储人脸识别数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种人脸识别方法。

本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种人脸识别方法，其特征在于，所述方法包括：

获取待识别图像；

提取所述待识别图像中的完整人脸图像以及特定区域人脸图像；

基于预设人脸识别网络获取所述完整人脸图像以及特定区域人脸图像对应的待识别人脸特征；

根据所述待识别人脸特征对所述待识别图像进行人脸识别。

2.根据权利要求1所述的方法，其特征在于，所述基于预设人脸识别网络获取所述完整人脸图像以及特定区域人脸图像对应的人脸特征之前，还包括：

获取带身份标注的训练人脸图像；

根据所述带身份标注的训练人脸图像中的完整人脸图像获取第一模型训练数据，根据所述带身份标注的训练人脸图像中的特定区域人脸图像获取第二模型训练数据；

根据所述第一模型训练数据以及所述第二模型训练数据对预设初始神经网络模型进行训练，获取得到已训练的第一网络以及已训练的第二网络，所述第一网络以及所述第二网络中对应特征提取阶段的特征层大小相同，所述第一网络用于完整人脸特征提取，所述第二网络用于特定区域人脸特征提取；

根据所述已训练的第一网络以及所述已训练的第二网络，构建预设人脸识别网络。

3.根据权利要求2所述的方法，其特征在于，所述预设初始神经网络模型包括初始第一网络、初始第二网络以及预设融合特征模块，所述初始第一网络以及所述初始第二网络中当前特征提取阶段的输出数据作为所述预设融合特征模块的输入数据，所述预设融合特征模块的输出数据作为所述初始第一网络中下一特征提取阶段的部分输入数据；

所述根据所述第一模型训练数据以及所述第二模型训练数据对预设初始神经网络模型进行训练，获取得到已训练的第一网络以及已训练的第二网络包括：

将所述第一模型训练数据输入初始第一网络，将所述第一模型训练数据对应的第二模型训练数据输入初始第二网络；

在特征提取阶段，通过预设融合特征模块融合所述初始第一网络以及所述初始第二网络的输出数据，获取阶段融合特征，将所述阶段融合特征作为所述初始第一网络对应的下一特征提取阶段的部分输入数据；

获取所述第一网络对所述第一模型训练数据的特征提取结果；

根据所述特征提取结果以及所述第一模型训练数据对应的身份标注，调整所述初始第一网络以及初始第二网络的模型参数，当模型训练次数未达到预设训练次数阈值时，更新所述第一模型数据，返回将所述第一模型训练数据输入初始第一网络，将所述第一模型训练数据对应的第二模型训练数据输入初始第二网络的步骤；

当模型训练次数达到预设训练次数阈值时，根据模型参数调整后的初始第一网络获取第一网络，根据模型参数调整后的初始第二网络获取第一网络。

4.根据权利要求3所述的方法，其特征在于，所述在特征提取阶段，通过预设融合特征模块融合所述初始第一网络提取的所述完整人脸特征，以及所述初始第二网络提取的特定区域人脸辅助特征，获取人脸融合特征，将所述人脸融合特征作为所述初始第一网络对应的下一特征提取阶段的输入数据之前，还包括：

构建SENet结构的初始融合特征模块；

获取所述完整人脸图像，和所述完整人脸图像对应的特定区域人脸图像之间随机遮挡的融合模块样本；

根据所述融合模块样本对所述初始融合特征模块进行训练，获取预设融合特征模块。

5.根据权利要求1所述的方法，其特征在于，所述提取所述待识别图像中的完整人脸图像以及特定区域人脸图像包括：

对所述待识别图像进行人脸检测处理以及配准处理，获取所述待识别图像中的完整人脸图像；

获取所述完整人脸图像中的人脸关键点坐标；

基于所述人脸关键点坐标获取所述完整人脸图像中的特定区域人脸图像。

6.根据权利要求5所述的方法，其特征在于，所述人脸关键点包括鼻尖点以及瞳孔点，所述基于所述人脸关键点坐标获取所述完整人脸图像中的特定区域人脸图像包括：

根据所述鼻尖点确定所述完整人脸图像对应的人脸分割线；

根据所述人脸分割线对所述完整人脸图像进行分割，将包含瞳孔点的分割后图像作为特定区域人脸图像。

7.根据权利要求1所述的方法，其特征在于，所述根据所述待识别人脸特征对所述待识别图像进行人脸识别包括：

将所述待识别人脸特征与预设人脸数据库的已验证人脸特征进行对比，获取所述待识别人脸特征与所述已验证人脸特征的相似度；

当所述相似度高于预设人脸相似度阈值时，根据所述已验证人脸特征对应的已验证身份信息，获取所述待识别图像对应的识别结果。

8.一种人脸识别装置，其特征在于，所述装置包括：

数据获取模块，用于获取待识别图像；

图像提取模块，用于提取所述待识别图像中的完整人脸图像以及特定区域人脸图像；

特征提取模块，用于基于预设人脸识别网络获取所述完整人脸图像以及特定区域人脸图像对应的待识别人脸特征；

人脸识别模块，用于根据所述待识别人脸特征对所述待识别图像进行人脸识别。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images