CN109886223B - 人脸识别方法、底库录入方法、装置及电子设备 - Google Patents

Abstract

本发明提供了一种人脸识别方法、底库录入方法、装置和电子设备，涉及图像处理技术领域。本发明提供的人脸识别方法、底库录入方法、装置和电子设备，在人脸识别过程中，除了提取待识别图像中的人脸全局特征之外，还可以根据用户确定的局部特征区域，提取待识别图像中的人脸局部特征，结合人脸全局特征和人脸局部特征，共同进行人脸识别。其中，人脸局部特征可以体现出人脸的细节特征，从而可以区分长相相近的用户，如双胞胎或近亲属等，有助于提高人脸识别的准确性。

Description

人脸识别方法、底库录入方法、装置及电子设备

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种人脸识别方法、底库录入方法、装置及电子设备。

背景技术

人脸识别技术在近几年迅速发展，在人们的日常生活中应用日益广泛。例如，在人脸解锁、刷脸付款等多种场景中，均会使用人脸识别技术对待识别用户进行身份验证。目前，电子设备可以采集待识别用户的人脸图像，利用人脸识别技术将采集的人脸图像与底库图像进行比对，进而进行身份验证。

由于现有的人脸识别技术通常仅关注人脸的全局特征，包括五官特征和脸庞轮廓等，而不关注人脸的细节特征，因此人脸识别的准确性较差，无法区分长相相近的用户。

发明内容

有鉴于此，本发明的目的在于提供一种人脸识别方法、底库录入方法、装置及电子设备，有助于提高人脸识别的准确性。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种人脸识别方法，所述方法包括：

获取待识别图像中的人脸图像和人脸关键点位置；

对所述人脸图像进行特征提取，得到第一人脸全局特征；

根据所述人脸关键点位置和预存的局部特征区域相对位置，从所述人脸图像中获取局部特征区域图像；所述局部特征区域相对位置是根据用户确定的局部特征区域得到的所述局部特征区域相对于人脸关键点的位置；

对所述局部特征区域图像进行特征提取，得到第一人脸局部特征；

根据所述第一人脸全局特征和所述第一人脸局部特征，生成第一人脸综合特征；

基于所述第一人脸综合特征和预存的底库数据，确定人脸识别结果。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述获取待识别图像中的人脸图像和人脸关键点位置的步骤，包括：

通过人脸检测器从所述待识别图像中获取人脸图像；

基于所述人脸图像确定人脸关键点位置。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，根据所述人脸关键点位置和预存的局部特征区域相对位置，从所述人脸图像中获取局部特征区域图像的步骤，包括：

根据所述人脸关键点位置和预存的局部特征区域相对位置，确定局部特征区域在所述人脸图像中的位置；

根据所述局部特征区域在所述人脸中的位置，从所述人脸图像中分割出初始局部特征区域图像；

对所述初始局部特征区域图像进行尺度归一化变换，得到所述局部特征区域图像。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，对所述初始局部特征区域图像进行尺度归一化变换，得到所述局部特征区域图像的步骤，包括：

通过仿射变换将所述初始局部特征区域图像映射至预设尺度，得到所述局部特征区域图像。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，对所述人脸图像进行特征提取，得到第一人脸全局特征的步骤，包括：

将所述人脸图像输入全局特征提取网络，得到所述全局特征提取网络输出的第一人脸全局特征；

对所述局部特征区域图像进行特征提取，得到第一人脸局部特征的步骤，包括：

将所述局部特征区域图像输入局部特征提取网络，得到所述局部特征提取网络输出的第一人脸局部特征。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，根据所述第一人脸全局特征和所述第一人脸局部特征，生成第一人脸综合特征的步骤，包括：

将所述第一人脸全局特征和所述第一人脸局部特征均输入循环神经网络，得到循环神经网络输出的第一人脸综合特征。

结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述底库数据包括根据底库人脸图像得到的第二人脸综合特征；基于所述第一人脸综合特征和预存的底库数据，确定人脸识别结果的步骤，包括：

计算所述第一人脸综合特征与所述第二人脸综合特征的相似度值；

基于所述相似度值，确定人脸识别结果。

第二方面，本发明实施例提供了一种底库录入方法，所述方法包括：

将获取的底库人脸图像展示给用户；

接收用户在所述底库人脸图像上选定的局部特征区域；

获取所述底库人脸图像的人脸关键点位置；

根据所述局部特征区域在所述底库人脸图像中的位置和所述底库人脸图像的人脸关键点位置，得到局部特征区域相对位置；

将所述底库人脸图像和所述局部特征区域相对位置保存为底库数据。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，根据所述局部特征区域在所述底库人脸图像中的位置和所述底库人脸图像的人脸关键点位置，得到局部特征区域相对位置的步骤，包括：

获取预存的线性插值函数；

将所述局部特征区域在所述底库人脸图像中的位置坐标和所述底库人脸图像的人脸关键点的位置坐标代入所述线性插值函数，确定所述线性插值函数的参数；

采用确定参数后的线性插值函数表示所述局部特征区域相对于所述人脸关键点的位置，得到所述局部特征区域相对位置。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，得到局部特征区域相对位置之后，所述方法还包括：

对所述底库人脸图像进行特征提取，得到第二人脸全局特征；

根据所述局部特征区域在所述底库人脸图像中的位置，从所述底库人脸图像中获取局部图像；

对所述局部图像进行特征提取，得到第二人脸局部特征；

根据所述第二人脸全局特征和所述第二人脸局部特征，生成第二人脸综合特征；

将所述第二人脸综合特征添加至所述底库数据。

第三方面，本发明实施例提供了一种人脸识别装置，所述装置包括：

信息获取模块，用于获取待识别图像中的人脸图像和人脸关键点位置；

全局特征提取模块，用于对所述人脸图像进行特征提取，得到第一人脸全局特征；

局部图像获取模块，用于根据所述人脸关键点位置和预存的局部特征区域相对位置，从所述人脸图像中获取局部特征区域图像；所述局部特征区域相对位置是根据用户确定的局部特征区域得到的所述局部特征区域相对于人脸关键点的位置；

局部特征提取模块，用于对所述局部特征区域图像进行特征提取，得到第一人脸局部特征；

综合特征生成模块，用于根据所述第一人脸全局特征和所述第一人脸局部特征，生成第一人脸综合特征；

人脸识别模块，用于基于所述第一人脸综合特征和预存的底库数据，确定人脸识别结果。

第四方面，本发明实施例提供了一种底库录入装置，所述装置包括：

局部区域确定模块，用于将获取的底库人脸图像展示给用户；接收用户在所述底库人脸图像上选定的局部特征区域；

关键点位置确定模块，用于获取所述底库人脸图像的人脸关键点位置；

相对位置确定模块，用于根据所述局部特征区域在所述底库人脸图像中的位置和所述底库人脸图像的人脸关键点位置，得到局部特征区域相对位置；

数据保存模块，用于将所述底库人脸图像和所述局部特征区域相对位置保存为底库数据。

第五方面，本发明实施例提供了一种电子设备，包括图像采集装置、存储装置和处理器；

所述图像采集装置，用于采集图像数据；

所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行第一方面中任一项或第二方面中任一项所述的方法。

第六方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面中任一项或第二方面中任一项所述的方法的步骤。

本发明实施例提供的人脸识别方法、底库录入方法、装置和电子设备，在人脸识别过程中，除了提取待识别图像中的人脸全局特征之外，还可以根据用户确定的局部特征区域，提取待识别图像中的人脸局部特征，结合人脸全局特征和人脸局部特征，共同进行人脸识别。其中，人脸局部特征可以体现出人脸的细节特征，从而可以区分长相相近的用户，如双胞胎或近亲属等，有助于提高人脸识别的准确性。

本发明的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例所提供的一种电子设备的结构示意图；

图2示出了本发明实施例所提供的一种人脸识别方法的流程图；

图3示出了本发明实施例所提供的一种底库录入方法的流程图；

图4示出了本发明实施例所提供的一种人脸识别装置的结构框图；

图5示出了本发明实施例所提供的一种底库录入装置的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下文中所用的词语“示例性”的意思为“用作例子、实施例或说明性”。作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本发明，在下文的具体实施方式中给出了很多具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。为了更加凸显本发明的主旨，在一些实施例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述。

由于现有的人脸识别技术通常仅关注人脸的全局特征，而不关注人脸的细节特征，因此人脸识别的准确性较差，无法区分长相相近的用户。基于此，本发明实施例提供的一种人脸识别方法、底库录入方法、装置及电子设备，有助于提高人脸识别的准确性。

实施例一：

首先，参照图1来描述用于实现本发明实施例的人脸识别方法、底库录入方法和装置的示例电子设备100。

如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以是中央处理单元(CPU)、图形处理单元(Graphics ProcessingUnit，GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。例如，图像采集装置110可以用于拍摄待识别用户的人脸图像等，可选地，图像采集装置110可以是红外相机或RGB(彩色)相机，红外相机包括红外光发射器和图像采集器。红外光发射器可以发射红外光，图像采集器红外光照射下的待识别用户的红外图像。

示例性地，用于实现根据本发明实施例的人脸识别方法和装置的示例电子设备100可以被实现在电子相机或身份验证设备(如打卡机、人证一体机等)上，也可以被实现在诸如智能手机、平板电脑等移动终端上，还可以被实现在自助服务机、挂号机等固定设施上。

实施例二：

以下结合附图和具体实施方式详细介绍本发明实施例提供的人脸识别方法。需要说明的是，附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图2示出了本发明实施例所提供的一种人脸识别方法的流程图，如图2所示，该方法包括如下步骤：

步骤S202，获取待识别图像中的人脸图像和人脸关键点位置。

其中，待识别图像可以是图片格式的图像，也可以是视频中的图像帧，本发明实施例不作限制。电子设备可以通过图像采集装置获取待识别用户人脸的图像，作为待识别图像。例如，电子设备在执行某些操作时，需要通过图像采集装置拍摄包含待识别用户人脸的图像，上述操作包括但不限于人脸解锁操作、刷脸付款操作等。

获取待识别图像之后，可以通过人脸检测器从待识别图像中获取人脸图像，基于所述人脸图像确定人脸关键点位置。其中，人脸检测器可以采用预先训练好的卷积神经网络，其网络结构可以参照目标检测网络实现。需要说明的是，本领域技术人员也可以采用其他各种人脸检测方法来检测所述待识别图像中的人脸区域，得到人脸检测框，进而从待识别图像中分割出人脸图像，基于所述人脸图像确定人脸关键点位置，所述人脸关键点位置为人脸关键点在人脸图像中的位置，人脸关键点包括但不限于五官关键点和脸庞轮廓关键点等。

在一些实施例中，从待识别图像中分割出来的人脸区域图像，可能存在人脸角度倾斜的现象，此时，可以通过人脸对齐调整人脸区域图像的角度，得到所需的人脸图像。例如，可以采用级联回归器进行人脸对齐操作。

步骤S204，对人脸图像进行特征提取，得到第一人脸全局特征。

具体地，可以采用训练好的全局特征提取网络提取人脸图像的第一人脸全局特征。将人脸图像输入全局特征提取网络，得到全局特征提取网络输出的第一人脸全局特征。

步骤S206，根据人脸关键点位置和预存的局部特征区域相对位置，从人脸图像中获取局部特征区域图像。

其中，所述局部特征区域相对位置是指人脸图像中局部特征区域相对于人脸关键点的位置，局部特征区域是由用户确定的。局部特征区域可以是一个，也可以是多个，每个局部特征区域都对应有一个局部特征区域相对位置。

进一步地说，局部特征区域相对位置可以包含在底库数据中。在进行人脸识别之前，用户需要先将底库人脸图像录入底库数据中，之后每次人脸识别过程，均将采集的待识别图像与底库数据中的底库人脸图像进行比对，判断相似度。在用户录入底库的过程中，电子设备通过图像采集装置采集用户的人脸图像，作为底库人脸图像，通过显示装置向用户展示所述底库人脸图像。用户可以将自己区别于其它人的脸部细节特征在底库人脸图像上进行标记，即在显示的底库人脸图像上选出局部特征区域，所述局部特征区域可以包括但不限于常见的斑、痣、疤痕等。可以理解的是，用户可以选出多个局部特征区域。接收到用户在底库人脸图像上选定的局部特征区域后，确定局部特征区域在底库人脸图像中的位置和底库人脸图像的人脸关键点的位置，采用人脸关键点的位置坐标表示局部特征区域的位置坐标。例如，可以采用多个人脸关键点的位置坐标来表示一个局部特征区域的位置坐标，得到该局部特征区域与所述多个人脸关键点的相对位置关系，即该局部特征区域的局部特征区域相对位置，将局部特征区域相对位置保存至底库数据中。

进行人脸识别的过程中，从待识别的人脸图像中的人脸关键点位置和预存的局部特征区域相对位置，可以确定局部特征区域在人脸图像中的位置，从人脸图像中分割出局部特征区域图像。如果底库数据中保存有多个局部特征区域相对位置，则该步骤可以得到多个局部特征区域图像。

在一种可选的实施例中，为了使局部特征区域图像能够满足下述的局部特征提取网络对输入图像尺寸的要求，可以对从人脸图像中分割出的初始局部特征区域图像进行尺度归一化变换，得到局部特征区域图像。例如，可以通过仿射变换将初始局部特征区域图像映射至预设尺度，得到局部特征区域图像。假设从人脸图像中分割出的初始局部特征区域图像为矩形图像，对于每一个初始局部特征区域图像，均可以通过仿射变换对图像的尺寸进行缩放，将初始局部特征区域图像映射为短边长度等于第一预设值(或长边长度等于第二预设值)的矩形图像。示例性地，第一预设值或第二预设值可以是96，单位为像素。仿射变换前后图像的长宽比不变。

进一步地说，对于每一个矩形的初始局部特征区域图像，可以确定该初始局部特征区域图像的短边长度和长边长度，进而确定该初始局部特征区域图像的长宽比。变换后图像的短边长度等于第一预设值，根据长宽比和短边对应的第一预设值，可以确定变换后图像的长边长度。根据初始局部特征区域图像的短边长度与变换后图像的短边长度，以及初始局部特征区域图像的长边长度与变换后图像的长边长度，可以确定仿射矩阵。根据仿射矩阵，可以计算初始局部特征区域图像中的各个像素点在变换后得到的局部特征区域图像中的位置坐标，进而得到局部特征区域图像。

步骤S208，对局部特征区域图像进行特征提取，得到第一人脸局部特征。

具体地，可以采用训练好的局部特征提取网络提取人脸图像的第一人脸局部特征。将局部特征区域图像输入局部特征提取网络，得到局部特征提取网络输出的第一人脸局部特征。

如果步骤S206得到多个局部特征区域图像，可以将所述多个局部特征区域图像依次输入局部特征提取网络，对应得到多个第一人脸局部特征。

上述的全局特征提取网络和局部特征提取网络均可以采用训练好的卷积神经网络实现，其网络结构可以是但不限于VGG、ResNet、ShuffleNet、InceptionNet等网络结构。全局特征提取网络和局部特征提取网络也可以采用全卷积神经网络(FullyConvolutional Neuron networks，FCN)实现。全卷积神经网络可以包括至少一个卷积层和至少一个池化层。卷积层和池化层可以间隔设置，即相邻的池化层之间可以设置一个或多个卷积层。每个卷积层包括一个或多个用于从输入图像中提取特征信息的卷积核，用卷积核按照一定的步长遍历输入图像的像素矩阵，得到至少一个特征值，由至少一个特征值组成卷积特征图。池化层用于将卷积层输出的卷积特征图进行降维处理，最后一个池化层输出从所述输入图像中提取的特征。

步骤S210，根据第一人脸全局特征和第一人脸局部特征，生成第一人脸综合特征。

通过循环神经网络可以将第一人脸全局特征和第一人脸局部特征结合，生成第一人脸综合特征。或者说，将第一人脸全局特征和第一人脸局部特征均输入循环神经网络，得到循环神经网络输出的第一人脸综合特征。循环神经网络包括至少一个隐藏层，隐藏层可以存储先前时间步的网络的内部状态信息，通过信息反馈机制，循环神经网络可以根据来自先前时间步的网络的内部状态信息计算当前时间步的输出。将第一人脸全局特征和第一人脸局部特征均输入循环神经网络，通过学习，循环神经网络可以将第一人脸全局特征和第一人脸局部特征不断融合，最终输出第一人脸综合特征。

步骤S212，基于第一人脸综合特征和预存的底库数据，确定人脸识别结果。

在一种可选的实施例中，如果底库数据中包括根据底库人脸图像得到的第二人脸综合特征。可以直接计算第一人脸综合特征与第二人脸综合特征的相似度值，基于所述相似度值，确定人脸识别结果。例如，上述的第一人脸综合特征和第二人脸综合特征均可以理解为特征向量。可以采用距离度量函数计算第一人脸综合特征与第二人脸综合特征之间的相似度值。距离度量函数可以是但不限于欧式距离函数(如L2距离函数)、曼哈顿距离函数、夹角余弦函数、切比雪夫距离函数、汉明距离函数或马氏距离函数中的一种。如果得到的相似度值大于或等于设定阈值，则人脸识别结果为通过。如果得到的相似度值小于设定阈值，则人脸识别结果为未通过。示例性地，设定阈值可以是80％或90％。

在另一种可选的实施例中，如果底库数据中包括底库人脸图像，则可以通过人脸检测器检测底库人脸图像中的人脸关键点位置。通过全局特征提取网络对底库人脸图像进行特征提取，得到底库人脸图像对应的第二人脸全局特征。根据预存的局部特征区域相对位置和底库人脸图像中的人脸关键点位置，从底库人脸图像中获取局部特征区域图像，将得到的局部特征区域图像输入局部特征提取网络，得到底库人脸图像对应的第二人脸局部特征。根据第二人脸全局特征和第二人脸局部特征，生成第二人脸综合特征，再计算第一人脸综合特征与第二人脸综合特征的相似度值，基于所述相似度值，确定人脸识别结果。

在实际应用场景中，电子设备可以根据人脸识别结果确定是否进行后续操作。如果人脸识别结果为通过，则可以进行后续的解锁或付款等操作。

本发明实施例提供的人脸识别方法，在人脸识别过程中，除了提取待识别图像中的人脸全局特征之外，还可以根据用户确定的局部特征区域，提取待识别图像中的人脸局部特征，结合人脸全局特征和人脸局部特征，共同进行人脸识别。其中，人脸局部特征可以体现出人脸的细节特征，从而可以区分长相相近的用户，如双胞胎或近亲属等，有助于提高人脸识别的准确性。

在上述人脸识别过程中，进行特征提取时，使用了全局特征提取网络、局部特征提取网络和循环神经网络。其中，全局特征提取网络、局部特征提取网络可以并行设置，循环神经网络连接在全局特征提取网络和局部特征提取网络之后，三个网络组成特征提取模型。为了使特征提取模型可以直接应用于人脸识别，输出较为准确可靠的结果，需要预先对特征提取模型进行训练。

在一种可选的实施例中，可以单独对全局特征提取网络、局部特征提取网络和循环神经网络进行训练。

对全局特征提取网络进行训练的过程如下：获取大量的人脸图像作为训练图像，获取每一张训练图像的全局标注特征。将训练图像输入全局特征提取网络，得到训练图像对应的全局特征。将训练图像对应的全局特征和训练图像的全局标注特征进行对比，得到全局特征提取网络的第一损失值。基于第一损失值对全局特征提取网络的参数进行训练。

对局部特征提取网络进行训练的过程如下：获取每一张训练图像的局部标注特征。从训练图像中分割出包含人脸细节特征的局部特征区域图像，将局部特征区域图像映射至预设尺度，然后输入局部特征提取网络，得到训练图像对应的局部特征。将训练图像对应的局部特征和训练图像的局部标注特征进行对比，得到局部特征提取网络的第二损失值。基于第二损失值对局部特征提取网络的参数进行训练。

对循环神经网络进行训练的过程如下：获取每一张训练图像的综合标注特征。分别获取训练图像对应的全局特征和局部特征，将全局特征和局部特征输入循环神经网络，得到循环神经网络输出的训练图像对应的综合特征。将训练图像对应的综合特征和训练图像的综合标注特征进行对比，得到循环神经网络的第三损失值。基于第三损失值对循环神经网络的参数进行训练。

在上述训练过程中，计算损失值时使用的损失函数可以是但不限于多分类交叉熵损失函数、与度量学习相关的对比损失函数(contrastive Loss)或三元组损失函数(triplet Loss)等。

在另一种可选的实施例中，可以对特征提取模型进行整体训练。训练过程如下：获取大量的人脸图像作为训练图像，分别获取每一张训练图像的全局标注特征、局部标注特征和综合标注特征。参照上述记载，利用训练图像可以得到全局特征提取网络的第一损失值、局部特征提取网络的第二损失值和循环神经网络的第三损失值。对第一损失值、第二损失值和第三损失值进行加权后求和，得到整体损失值，基于整体损失值对特征提取模型进行整体训练。

实施例三：

与上述方法实施例提供的人脸识别方法相对应地，本实施例提供了一种底库录入方法。图3示出了本发明实施例所提供的一种底库录入方法的流程图，如图3所示，该方法包括如下步骤：

步骤S302，将获取的底库人脸图像展示给用户。

在进行人脸识别之前，电子设备可以获取用户的人脸图像作为底库人脸图像保存至底库数据中。可选地，电子设备可以实时采集用户的人脸图像作为底库图像，也可以请用户选择预先存储的图像，从所述图像中获取人脸区域的图像作为底库人脸图像。例如，在刷脸付款应用场景中，电子设备可以在用户注册阶段采集用户的人脸图像录入底库数据。在人脸解锁应用场景中，电子设备可以在初始化阶段采集用户的人脸图像录入底库数据。

在本发明实施例中，人脸识别的过程需要进行细节特征的辨识，因此，在录入底库的过程中，可以让用户在底库人脸图像上标记自己区别于其它人的脸部细节特征。将获取的底库人脸图像通过显示界面展示给用户，从而使用户可以自主在底库人脸图像上选择细节特征对应的局部特征区域。

步骤S304，接收用户在底库人脸图像上选定的局部特征区域。

用户可以在底库人脸图像上拉选一个或多个局部特征区域，可以通过鼠标或触摸屏等输入设备接收用户的区域选择操作。

步骤S306，获取底库人脸图像的人脸关键点位置。

可以通过人脸检测器或其它人脸检测方法确定底库人脸图像中的人脸关键点位置。

步骤S308，根据局部特征区域在底库人脸图像中的位置和底库人脸图像的人脸关键点位置，得到局部特征区域相对位置。

接收到用户在底库人脸图像上选定的局部特征区域，即可确定局部特征区域在底库人脸图像中的位置。此时，局部特征区域的位置坐标和人脸关键点的位置坐标均为已知，因此可以得到局部特征区域与人脸关键点的相对位置，即局部特征区域相对位置。可选地，可以通过至少两个人脸关键点的位置坐标的线性插值表示局部特征区域的位置坐标，进而得到局部特征区域与人脸关键点的相对位置。譬如，可以预先设置包含未知参数的线性插值函数，其中的未知参数可以通过局部特征区域的位置坐标和人脸关键点的位置坐标确定。获取预存的线性插值函数，将局部特征区域在底库人脸图像中的位置坐标和底库人脸图像的人脸关键点的位置坐标代入线性插值函数，通过计算可以确定线性插值函数的参数。采用确定参数后的线性插值函数表示局部特征区域相对于人脸关键点的位置，得到所述局部特征区域相对位置。

示例性地，采用底库人脸图像中n个人脸关键点的位置坐标表示某一个局部特征区域的位置坐标。假设n个人脸关键点的位置坐标分别为(x_1,y_1)、(x_2,y_2)、...(x_n,y_n)，局部特征区域的位置坐标为(x,y)。如果局部特征区域为矩形，(x,y)可以理解为局部特征区域左上角的位置坐标或右下角的位置坐标。可以理解的是，通过人脸关键点的位置坐标既可以表示局部特征区域左上角的位置坐标，也可以表示局部特征区域右下角的位置坐标，可以表示局部特征区域中任意一点的位置坐标。

预存的线性插值函数的表达式如下：

其中，x_i为第i个人脸关键点的横坐标，y_i为第i个人脸关键点的纵坐标，alpha_i为待求的未知参数，共有n个未知参数。上述线性插值函数可以理解为通过人脸关键点的横坐标表示局部特征区域的横坐标，通过人脸关键点的纵坐标表示局部特征区域的纵坐标。将局部特征区域的位置坐标和人脸关键点的位置坐标代入上述线性插值函数，即可确定出alpha_i的值。在实际应用中，由于人脸关键点的数量较多，可以分别利用多组人脸关键点进行线性插值函数计算，因此会得到多组alpha_i的值。对于得到的多组alpha_i的值，可以选择所有alpha_i的绝对值之和最小的一组alpha_i的值作为线性插值函数的参数，或者选择所有alpha_i的平方和最小的一组alpha_i的值作为线性插值函数的参数。通过确定参数后的线性插值函数表示局部特征区域相对位置。

在人脸识别过程中，获取待识别的人脸图像中的人脸关键点位置后，根据确定参数后的线性插值函数，即可确定局部特征区域在人脸图像中的位置。

步骤S310，将底库人脸图像和局部特征区域相对位置保存为底库数据。

如果用户选择了多个局部特征区域，则底库数据中将保存多个局部特征区域相对位置。

本发明实施例提供的底库录入方法，在录入底库的过程中，可以让用户自主选择局部特征区域，在底库数据中保存了局部特征区域相对位置，从而在人脸识别过程中，可以根据局部特征区域相对位置获取待识别的人脸图像中的局部特征区域图像，提取待识别的人脸图像中的人脸局部特征，人脸局部特征可以体现出人脸的细节特征，从而可以区分长相相近的用户，如双胞胎或近亲属等，有助于提高人脸识别的准确性。

在一种可选的实施例中，底库数据中还可以保存底库人脸图像对应的第二人脸综合特征。上述底库录入方法还可以包括：对底库人脸图像进行特征提取，得到第二人脸全局特征，根据局部特征区域在底库人脸图像中的位置，从底库人脸图像中获取局部图像，对局部图像进行特征提取，得到第二人脸局部特征，根据第二人脸全局特征和第二人脸局部特征，生成第二人脸综合特征。将第二人脸综合特征添加至底库数据。

如果底库数据中保存了第二人脸综合特征，则在人脸识别过程中，无需再从底库人脸图像中提取第二人脸中特征，可以直接计算待识别的人脸图像对应的第一人脸综合特征与第二人脸综合特征的相似度，因此可以节约程序，提高人脸识别的效率。

实施例四：

与上述实施例二提供的人脸识别方法相对应地，本实施例提供了一种人脸识别装置，参见图4所示的一种人脸识别装置的结构示意图，该装置包括：

信息获取模块41，用于获取待识别图像中的人脸图像和人脸关键点位置；

全局特征提取模块42，用于对所述人脸图像进行特征提取，得到第一人脸全局特征；

局部图像获取模块43，用于根据所述人脸关键点位置和预存的局部特征区域相对位置，从所述人脸图像中获取局部特征区域图像；所述局部特征区域相对位置是根据用户确定的局部特征区域得到的所述局部特征区域相对于人脸关键点的位置；

局部特征提取模块44，用于对所述局部特征区域图像进行特征提取，得到第一人脸局部特征；

综合特征生成模块45，用于根据所述第一人脸全局特征和所述第一人脸局部特征，生成第一人脸综合特征；

人脸识别模块46，用于基于所述第一人脸综合特征和预存的底库数据，确定人脸识别结果。

其中，信息获取模块41还可以用于：通过人脸检测器从所述待识别图像中获取人脸图像；基于所述人脸图像确定人脸关键点位置。

局部图像获取模块43还可以用于：根据所述人脸关键点位置和预存的局部特征区域相对位置，确定局部特征区域在所述人脸图像中的位置；根据所述局部特征区域在所述人脸图像中的位置，从所述人脸图像中分割出初始局部特征区域图像；对所述初始局部特征区域图像进行尺度归一化变换，得到所述局部特征区域图像。

局部图像获取模块43还可以用于：通过仿射变换将所述初始局部特征区域图像映射至预设尺度，得到所述局部特征区域图像。

全局特征提取模块42还可以用于：将所述人脸图像输入全局特征提取网络，得到所述全局特征提取网络输出的第一人脸全局特征；

局部特征提取模块44还可以用于：将所述局部特征区域图像输入局部特征提取网络，得到所述局部特征提取网络输出的第一人脸局部特征。

综合特征生成模块45还可以用于：将所述第一人脸全局特征和所述第一人脸局部特征均输入循环神经网络，得到循环神经网络输出的第一人脸综合特征。

所述底库数据包括根据底库人脸图像得到的第二人脸综合特征；人脸识别模块46还可以用于：计算所述第一人脸综合特征与所述第二人脸综合特征的相似度值；基于所述相似度值，确定人脸识别结果。

本发明实施例提供的人脸识别装置，在人脸识别过程中，除了提取待识别图像中的人脸全局特征之外，还可以根据用户确定的局部特征区域，提取待识别图像中的人脸局部特征，结合人脸全局特征和人脸局部特征，共同进行人脸识别。其中，人脸局部特征可以体现出人脸的细节特征，从而可以区分长相相近的用户，如双胞胎或近亲属等，有助于提高人脸识别的准确性。

本实施例所提供的人脸识别装置，其实现原理及产生的技术效果和前述实施例二的人脸识别方法相同，为简要描述，装置实施例部分未提及之处，可参考前述实施例二中的相应内容。

实施例五：

与上述实施例三提供的底库录入方法相对应地，本实施例提供了一种底库录入装置，参见图5所示的一种底库录入装置的结构示意图，该装置包括：

局部区域确定模块51，用于将获取的底库人脸图像展示给用户；接收用户在所述底库人脸图像上选定的局部特征区域；

关键点位置确定模块52，用于获取所述底库人脸图像的人脸关键点位置；

相对位置确定模块53，用于根据所述局部特征区域在所述底库人脸图像中的位置和所述底库人脸图像的人脸关键点位置，得到局部特征区域相对位置；

数据保存模块54，用于将所述底库人脸图像和所述局部特征区域相对位置保存为底库数据。

其中，相对位置确定模块53，还可以用于：获取预存的线性插值函数；将所述局部特征区域在所述底库人脸图像中的位置坐标和所述底库人脸图像的人脸关键点的位置坐标代入所述线性插值函数，确定所述线性插值函数的参数；采用确定参数后的线性插值函数表示所述局部特征区域相对于所述人脸关键点的位置，得到所述局部特征区域相对位置。

数据保存模块54还可以用于：对所述底库人脸图像进行特征提取，得到第二人脸全局特征；根据所述局部特征区域在所述底库人脸图像中的位置，从所述底库人脸图像中获取局部图像；对所述局部图像进行特征提取，得到第二人脸局部特征；根据所述第二人脸全局特征和所述第二人脸局部特征，生成第二人脸综合特征；将所述第二人脸综合特征添加至所述底库数据。

此外，本发明实施例提供了一种电子设备，图像采集装置、存储装置和处理器。所述图像采集装置，用于采集图像数据。所述存储装置上存储有计算机程序，所述处理器执行存储装置上的一种计算机程序时，可以实现前述实施例二和/或实施例三提供的方法的步骤。与现有技术中只关注人脸的全局特征相比，本发明实施例还结合了人脸的局部特征，可以识别出人脸的细节特征，从而可以区分长相相近的用户，如双胞胎或近亲属等，有助于提高人脸识别的准确性。

进一步，本实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述前述实施例二或实施例三所提供的方法的步骤。

本发明实施例所提供的人脸识别方法及装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面实施例二或实施例三中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。

Claims (13)

1.一种人脸识别方法，其特征在于，所述方法包括：

获取待识别图像中的人脸图像和人脸关键点位置；

对所述人脸图像进行特征提取，得到第一人脸全局特征；

根据所述人脸关键点位置和预存的局部特征区域相对位置，从所述人脸图像中获取局部特征区域图像；所述局部特征区域相对位置是根据用户确定的局部特征区域得到的所述局部特征区域相对于人脸关键点的位置；所述局部特征区域相对位置预先通过下述方式得到：

获取预存的线性插值函数；

将所述局部特征区域在底库人脸图像中的位置坐标和所述底库人脸图像的人脸关键点的位置坐标代入所述线性插值函数，确定所述线性插值函数的参数；

采用确定参数后的线性插值函数表示所述局部特征区域相对于所述人脸关键点的位置，得到所述局部特征区域相对位置；

对所述局部特征区域图像进行特征提取，得到第一人脸局部特征；

根据所述第一人脸全局特征和所述第一人脸局部特征，生成第一人脸综合特征；

基于所述第一人脸综合特征和预存的底库数据，确定人脸识别结果。

2.根据权利要求1所述的方法，其特征在于，所述获取待识别图像中的人脸图像和人脸关键点位置的步骤，包括：

通过人脸检测器从所述待识别图像中获取人脸图像；

基于所述人脸图像确定人脸关键点位置。

3.根据权利要求1所述的方法，其特征在于，根据所述人脸关键点位置和预存的局部特征区域相对位置，从所述人脸图像中获取局部特征区域图像的步骤，包括：

根据所述人脸关键点位置和预存的局部特征区域相对位置，确定局部特征区域在所述人脸图像中的位置；

根据所述局部特征区域在所述人脸图像中的位置，从所述人脸图像中分割出初始局部特征区域图像；

对所述初始局部特征区域图像进行尺度归一化变换，得到所述局部特征区域图像。

4.根据权利要求3所述的方法，其特征在于，对所述初始局部特征区域图像进行尺度归一化变换，得到所述局部特征区域图像的步骤，包括：

通过仿射变换将所述初始局部特征区域图像映射至预设尺度，得到所述局部特征区域图像。

5.根据权利要求1所述的方法，其特征在于，对所述人脸图像进行特征提取，得到第一人脸全局特征的步骤，包括：

将所述人脸图像输入全局特征提取网络，得到所述全局特征提取网络输出的第一人脸全局特征；

对所述局部特征区域图像进行特征提取，得到第一人脸局部特征的步骤，包括：

将所述局部特征区域图像输入局部特征提取网络，得到所述局部特征提取网络输出的第一人脸局部特征。

6.根据权利要求1所述的方法，其特征在于，根据所述第一人脸全局特征和所述第一人脸局部特征，生成第一人脸综合特征的步骤，包括：

将所述第一人脸全局特征和所述第一人脸局部特征均输入循环神经网络，得到循环神经网络输出的第一人脸综合特征。

7.根据权利要求1所述的方法，其特征在于，所述底库数据包括根据底库人脸图像得到的第二人脸综合特征；基于所述第一人脸综合特征和预存的底库数据，确定人脸识别结果的步骤，包括：

计算所述第一人脸综合特征与所述第二人脸综合特征的相似度值；

基于所述相似度值，确定人脸识别结果。

8.一种底库录入方法，其特征在于，所述方法包括：

将获取的底库人脸图像展示给用户；

接收用户在所述底库人脸图像上选定的局部特征区域；

获取所述底库人脸图像的人脸关键点位置；

获取预存的线性插值函数；

将所述局部特征区域在所述底库人脸图像中的位置坐标和所述底库人脸图像的人脸关键点的位置坐标代入所述线性插值函数，确定所述线性插值函数的参数；

采用确定参数后的线性插值函数表示所述局部特征区域相对于所述人脸关键点的位置，得到所述局部特征区域相对位置；

将所述底库人脸图像和所述局部特征区域相对位置保存为底库数据。

9.根据权利要求8所述的方法，其特征在于，得到局部特征区域相对位置之后，所述方法还包括：

对所述底库人脸图像进行特征提取，得到第二人脸全局特征；

根据所述局部特征区域在所述底库人脸图像中的位置，从所述底库人脸图像中获取局部图像；

对所述局部图像进行特征提取，得到第二人脸局部特征；

根据所述第二人脸全局特征和所述第二人脸局部特征，生成第二人脸综合特征；

将所述第二人脸综合特征添加至所述底库数据。

10.一种人脸识别装置，其特征在于，所述装置包括：

信息获取模块，用于获取待识别图像中的人脸图像和人脸关键点位置；

全局特征提取模块，用于对所述人脸图像进行特征提取，得到第一人脸全局特征；

局部图像获取模块，用于根据所述人脸关键点位置和预存的局部特征区域相对位置，从所述人脸图像中获取局部特征区域图像；所述局部特征区域相对位置是根据用户确定的局部特征区域得到的所述局部特征区域相对于人脸关键点的位置；所述局部特征区域相对位置预先通过下述方式得到：获取预存的线性插值函数；将所述局部特征区域在底库人脸图像中的位置坐标和所述底库人脸图像的人脸关键点的位置坐标代入所述线性插值函数，确定所述线性插值函数的参数；采用确定参数后的线性插值函数表示所述局部特征区域相对于所述人脸关键点的位置，得到所述局部特征区域相对位置；

局部特征提取模块，用于对所述局部特征区域图像进行特征提取，得到第一人脸局部特征；

综合特征生成模块，用于根据所述第一人脸全局特征和所述第一人脸局部特征，生成第一人脸综合特征；

人脸识别模块，用于基于所述第一人脸综合特征和预存的底库数据，确定人脸识别结果。

11.一种底库录入装置，其特征在于，所述装置包括：

局部区域确定模块，用于将获取的底库人脸图像展示给用户；接收用户在所述底库人脸图像上选定的局部特征区域；

关键点位置确定模块，用于获取所述底库人脸图像的人脸关键点位置；

相对位置确定模块，用于获取预存的线性插值函数；将所述局部特征区域在所述底库人脸图像中的位置坐标和所述底库人脸图像的人脸关键点的位置坐标代入所述线性插值函数，确定所述线性插值函数的参数；采用确定参数后的线性插值函数表示所述局部特征区域相对于所述人脸关键点的位置，得到所述局部特征区域相对位置；

数据保存模块，用于将所述底库人脸图像和所述局部特征区域相对位置保存为底库数据。

12.一种电子设备，其特征在于，包括图像采集装置、存储装置和处理器；

所述图像采集装置，用于采集图像数据；

所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至7中任一项或权利要求8至9中任一项所述的方法。

13.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至7中任一项或权利要求8至9中任一项所述的方法的步骤。

Images