CN110222566A - 一种人脸特征的获取方法、装置、终端及存储介质 - Google Patents

Abstract

本发明提供了一种人脸特征的获取方法、装置、终端及存储介质，该方法包括：根据待识别人脸图像，利用卷积神经网络模型获取待识别人脸的目标特征信息，目标特征信息包括至少两个人脸局部区域的特征信息；根据待识别人脸图像，利用图卷积神经网络模型获取待识别人脸的几何特征信息；对目标特征信息和几何特征信息进行融合，以获取用于人脸识别的人脸特征信息。因此，通过将人脸局部区域的特征信息与待识别人脸的几何特征信息进行融合，进而生成能够考虑到待识别人脸图像的几何特征的人脸特征信息，进而克服由于忽略每个像素的几何位置关系而导致的人脸识别效果差的问题，保证人脸识别效果。

Description

一种人脸特征的获取方法、装置、终端及存储介质

技术领域

本发明属于图像处理领域，特别是涉及一种人脸特征的获取方法、装置、终端及存储介质。

背景技术

目前，现有技术中所采用的人脸特征识别方法是基于人脸关键点抠出多个局部区域，利用卷积神经网络(英文：Convolutional Neural Network；缩写：CNN)提取多个局部区域特征，再融合后得到对于整个人脸的特征信息。然后，可以根据特征比对，识别判断两个人脸是否为同一个体的人脸。

但是，由于在进行人脸识别图像的获取过程中，可能出现大角度的旋转或者在外界环境光较弱的情况，此时采集到的人脸识别图像可能造成人脸关键点检测错误或者失败，进而影响人脸识别的效果，难以保证人脸识别的有效性。

发明内容

有鉴于此，本发明提供一种人脸特征的获取方法、装置、终端及存储介质，以便解决现有技术存在的人脸识别效果差的问题。

依据本发明实施例的第一方面，提供了一种人脸特征的获取方法，该方法可以包括：

根据待识别人脸图像，利用卷积神经网络模型获取待识别人脸的目标特征信息，所述目标特征信息包括至少两个人脸局部区域的特征信息；

根据所述待识别人脸图像，利用图卷积神经网络模型获取所述待识别人脸的几何特征信息；

对所述目标特征信息和所述几何特征信息进行融合，以获取用于人脸识别的人脸特征信息。

依据本发明实施例的第二方面，提供了一种人脸特征的获取装置，该装置可以包括：

目标信息获取模块，用于根据待识别人脸图像，利用卷积神经网络模型获取待识别人脸的目标特征信息，所述目标特征信息包括至少两个人脸局部区域的特征信息；

几何信息获取模块，用于根据所述待识别人脸图像，利用图卷积神经网络模型获取所述待识别人脸的几何特征信息；

信息融合模块，用于对所述目标特征信息和所述几何特征信息进行融合，以获取用于人脸识别的人脸特征信息。

依据本发明实施例的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的人脸特征的获取方法的步骤。

依据本发明实施例的第四方面，提供了一种终端，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面项所述的人脸特征的获取方法的步骤。

本发明实施例，根据待识别人脸图像，利用卷积神经网络模型获取待识别人脸的目标特征信息，所述目标特征信息包括至少两个人脸局部区域的特征信息；根据所述待识别人脸图像，利用图卷积神经网络模型获取所述待识别人脸的几何特征信息；对所述目标特征信息和所述几何特征信息进行融合，以获取用于人脸识别的人脸特征信息。因此，通过将人脸局部区域的特征信息与待识别人脸的几何特征信息进行融合，进而生成能够考虑到待识别人脸图像的几何特征的人脸特征信息，进而克服由于忽略每个像素的几何位置关系而导致的人脸识别效果差的问题，保证人脸识别效果。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明实施例提供的一种人脸特征的获取方法的步骤流程图；

图2是本发明实施例提供的一种人脸特征的获取方法的具体步骤流程图；

图3是本发明实施例提供的一种人脸局部区域的示意图；

图4是本发明实施例提供的一种人脸特征的获取方法的具体步骤流程图；

图5是本发明实施例提供的一种人脸特征的获取方法的具体步骤流程图；

图6是本发明实施例提供的一种人脸特征的获取方法的具体步骤流程图；

图7是本发明实施例提供的一种人脸特征的获取装置的框图；

图8是本发明实施例提供的一种目标信息获取模块的框图；

图9是本发明实施例提供的一种几何信息获取模块的框图；

图10是本发明实施例提供的一种终端结构的框图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

图1是本发明实施例提供的一种人脸特征的获取方法的步骤流程图，如图1所示，该方法可以包括：

步骤101，根据待识别人脸图像，利用卷积神经网络模型获取待识别人脸的目标特征信息。

其中，目标特征信息包括至少两个人脸局部区域的特征信息。

在具体应用中，在对待识别人脸图像进行特征提取的情况下，可以先利用CNN模型识别人脸局部区域的特征信息，例如可以是鼻子区域的特征信息、左侧眼睛区域的特征信息、左侧眼睛区域的特征信息等信息。示例地，可以将待识别人脸图像划分成几个区域，分别利用对应的卷积神经网络模型进行特征提取，以便于与下面步骤的几何特征进行融合。可选的，目标特征信息包括眉毛区域特征信息和嘴巴区域特征信息。

步骤102，根据待识别人脸图像，利用图卷积神经网络模型获取待识别人脸的几何特征信息。

示例地，图卷积神经网络(英文：Graph Convolutional Neural Network；缩写：GCN)能够动态学习低维空间中最优的网络拓扑结构并做全局推理，经过多层图卷积后获得人脸图像上的几何特征信息。本发明的技术方案采用GCN的目的在于，学习当前人脸图像上像素之间最佳的连接方式，并获得待识别人脸的一个全局几何特征，该全局几何特征用于表明待识别人脸在待识别人脸图像中的位置、方向、周长和面积等方面的特征，在具体应用中，可以利用预先训练好的GCN网络，提取待识别人脸的全局几何特征，即作为几何特征信息与CNN提取到的局部特征进行融合，以便于下面步骤生成准确的人脸特征信息。

步骤103，对目标特征信息和几何特征信息进行融合，以获取用于人脸识别的人脸特征信息。

在具体应用中，可以将上述步骤中获取到的目标特征信息和几何特征信息直接进行相加处理，作为人脸特征信息；或者还可以利用线性回归算法，拟合出最优的最小二乘法，再对目标特征信息和几何特征信息进行线性相加，以生成人脸特征信息。示例地，人脸特征信息可以包括眉毛区域特征信息、嘴巴区域特征信息、眼睛区域特征信息以及其他局部区域的特征信息，是在对步骤102所获取到的目标特征信息进行几何特征信息的融合后所确定的人脸特征信息。

需要说明的是，根据本发明的技术方案，获取到待识别人脸图像的人脸特征信息后，与已有的人脸图像上人脸特征信息进行比对，在这两个人脸特征信息的相似度大于一定阈值的情况下，可以确定上述两个人脸特征信息属于同一个人，即人脸图像验证通过，可以进行例如屏幕解锁或者验证授权等操作；也可以利用本发明的技术方案所获取到的人脸特征信息进行人脸比对，从而进行目标人物的查找等操作。

综上所述，本发明提供的人脸特征的获取方法，根据待识别人脸图像，利用卷积神经网络模型获取待识别人脸的目标特征信息，目标特征信息包括至少两个人脸局部区域的特征信息；根据待识别人脸图像，利用图卷积神经网络模型获取待识别人脸的几何特征信息；对目标特征信息和几何特征信息进行融合，以获取用于人脸识别的人脸特征信息。因此，通过将人脸局部区域的特征信息与待识别人脸的几何特征信息进行融合，进而生成能够考虑到待识别人脸图像的几何特征的人脸特征信息，进而克服由于忽略各个像素点的几何位置关系而导致的人脸识别效果差的问题，保证人脸识别效果。

可选的，图2是本发明实施例提供的一种人脸特征的获取方法的具体步骤流程图，如图2所示，步骤101所述的根据待识别人脸图像，利用图卷积神经网络模型获取待识别人脸的几何特征信息，可以包括：

步骤1011，对待识别人脸图像进行关键点检测，获取待识别人脸的左侧眉毛关键点、右侧眉毛关键点和嘴巴关键点。

示例地，通过获取待识别人脸图像中的左侧眉毛、右侧眉毛、左侧眼睛、右侧眼睛、鼻子等关键点，进而可以以这些关键点为基础，在待识别人脸图像中抠出局部区域，例如左侧眉毛区域，嘴巴区域以及右侧眉毛区域，以分别用于进行目标特征提取。

优选的，左侧眉毛关键点包括：左侧眉毛左角关键点、左侧眉毛右角关键点，右侧眉毛关键点包括右侧眉毛右角关键点、右侧眉毛左角关键点，嘴巴关键点包括左嘴角关键点、右嘴角关键点。

步骤1012，根据左侧眉毛关键点、右侧眉毛关键点和嘴巴关键点，分别对应确定左侧眉毛区域、右侧眉毛区域和嘴巴区域。

其中，左侧眉毛区域包括基于左侧眉毛左角关键点确定的区域和基于左侧眉毛右角关键点确定的区域，右侧眉毛区域包括基于右侧眉毛右角关键点确定的区域和基于右侧眉毛左角关键点确定的区域，嘴巴区域包括基于左嘴角关键点确定的区域和基于右嘴角关键点确定的区域。

示例地，以步骤1011确定的左侧眉毛关键点(左侧眉毛左角关键点和左侧眉毛右角关键点)、右侧眉毛关键点(右侧眉毛右角关键点和右侧眉毛左角关键点)为基础，分别利用预先训练好的区域划分模型(神经网络模型)在待识别人脸图像上划分出四个局部区域。如图3所示，可以先将基于左侧眉毛左角关键点(4)为中心，确定出的矩形框作为左侧眉毛的左角区域(虚线框1)和将左侧眉毛右角关键点(5)为中心，确定出的矩形框作为左侧眉毛区域的右角区域(虚线框2)，之后再类似的确定右侧眉毛区域；以及，嘴巴区域，示例地，将步骤1011所确定的嘴巴关键点，利用预先训练的用于确定嘴巴区域确定的网络模型，从待识别人脸图像中抠取对应的嘴巴的两侧区域，如图3所示的区域(虚线框3)，先基于左嘴角关键点(6)确定该区域后，再基于右嘴角关键点所确定的区域，从而将两侧眉毛区域(四个子区域)和嘴巴区域(两个子区域)从待识别人脸图像中分别圈出来。因此，通过在整个人待识别脸图像中所圈出的上述多个局部区域，更加有利于进行眉毛区域特征信息和嘴巴区域特征信息的提取。

步骤1013，在左侧眉毛区域、右侧眉毛区域上分别利用第一卷积神经网络模型和第二卷积神经网络模型提取待识别人脸的眉毛区域特征信息。

其中，从待识别人脸图像中所圈出的局部区域(两侧眉毛的四个子区域和嘴巴的两个子区域)，均对应有特征信息，也就是说眉毛区域特征信息包括左侧眉毛的特征信息和右侧眉毛的特征信息，左侧眉毛的特征信息包括左侧眉毛的右角特征信息和左侧眉毛的左角特征信息，右侧眉毛的特征信息包括右侧眉毛的右角特征信息和右侧眉毛的左角特征信息，第一卷积神经网络模型用于提取左侧眉毛的右角特征信息和右侧眉毛的左角特征信息，第二卷积神经网络模型用于提取左侧眉毛的左角特征信息和右侧眉毛的右角特征信息。

示例地，对于左侧眉毛的右角区域和右侧眉毛的左角区域可以采用第一卷积神经网络模型，进行特征信息的提取；右侧眉毛的右角区域和左侧眉毛的左角区域可以采用第二卷积神经网络模型进行特征信息的提取。对于不同的人脸关键点位置，采用对应的神经网络模型进行特征提取有利于特征提取结果的准确性的提高，对于第一卷积神经网络模型和第二卷积神经网络模型的训练，可以专门利用训练图片的局部区域进行训练，以更好的提升CNN网络的训练效果和特征提取效果。

步骤1014，在嘴巴区域上利用第三卷积神经网络模型提取待识别人脸的嘴巴区域特征信息。

示例地，嘴巴区域如图3中所示，包括待识别人脸的左嘴角关键点(6)确定的左角区域(虚线框3)以及由右嘴角关键点(7)确定的右角区域(虚线框8)，嘴巴区域特征信息中可以包括嘴巴两侧的特征信息，即嘴巴左侧的特征信息和嘴巴右侧的特征信息对于嘴巴区域特征信息的提取所采用的第三卷积神经网络模型，也是预先根据多张训练图片中嘴巴部分的图像信息训练生成的，以实现对嘴巴区域特征信息的准确提取。

需要说明的是，在进行步骤1011至步骤1014的操作时，可以先进行左脸的局部区域的特征信息的提取，也就是先提取左侧眉毛的特征信息和嘴巴左侧的特征信息，之后类似的，再对右侧眉毛的特征信息和嘴巴右侧的特征信息进行提取，具体的执行顺序本发明不做限制。

需要说明的是，根据本发明所示的实施例，优选的，提取嘴巴区域特征信息和眉毛区域特征信息，进而能够在在较低计算量的基础上实现对人脸特征的精确提取。此外，还可以提取例如鼻子、眼睛等人脸局部区域的特征信息，用以丰富所提取到的目标特征信息，进而保证人脸识别的效果。

可选的，图4是本发明实施例提供的一种人脸特征的获取方法的具体步骤流程图，如图4所示，步骤102所述的根据待识别人脸图像，利用图卷积神经网络模型获取待识别人脸的几何特征信息，可以包括：

步骤1021，对待识别人脸图像建立距离矩阵。

其中，距离矩阵中包括待识别人脸图像中各个像素点之间的欧式距离。

示例地，对待识别人脸图像根据像素点生成网格，每一个网格是待识别人脸图像中的一个像素点，之后分别计算任意两个像素点之间的欧式距离，并放入距离矩阵的对应位置上，以生成距离矩阵。例如，在待识别人脸图像上有N*N个像素点时，第一行的第一个像素点与第一行的第二个像素点之间的欧式距离放在距离矩阵的第一行第二列上，第一行的第一个像素点与第一列的第三个像素点之间的欧式距离放在距离矩阵的第三行第一列上，以此类推，直至生成N²*N²大小的距离矩阵。

可选的，该步骤如图5所示，包括如下步骤：

步骤10211，根据待识别人脸图像的像素，将待识别人脸图像划分成多个像素点组成的像素点集合。

具体的，待识别人脸图像的像素，也就是待识别人脸图像的分辨率，用于表明待识别人脸图像所显示出的水平和垂直像素的数组，如分辨率为1366×768时，即可以将待识别人脸图像在横向上划分出1366个像素点，在竖向上划分出768个像素点。也就是说，该像素点集合中包括1366×768个像素点。

此外，可选的，在生成待识别人脸图像对应的像素点集合时，还可以通过对待识别人脸图像构建对应的网格，例如将待识别人脸图像划分成1024×1024的网格，其中每个网格即表示一个像素点，即生成像素点集合，且对应的该像素点集合中包括1024×1024个像素点，本发明实施例具体不做限制。

步骤10212，分别计算像素点集合中各个像素点之间的欧式距离，以生成距离矩阵。

示例地，对1366×768个像素点分别计算两两之间的欧式距离，进而生成距离矩阵，即M×M维的距离矩阵，其中，M＝1366×768。

步骤1022，根据距离矩阵，生成待识别人脸图像对应的邻接矩阵。

其中，邻接矩阵中包括与每个像素点的欧式距离最近的预设个数的其他像素点的欧式距离权重。

在具体应用中，GCN的表达式如下：

F＝A*X*W；

其中，A是邻接矩阵，可以通过对距离矩阵的初始化，利用网络训练过程获取优化结果；X作为输入，表示待识别人脸图像中的像素点所组成的向量，例如一张像素为96×96的人脸，对应X就是将96×96的像素点矩阵转换成9216×1的向量；W作为参数矩阵，是预先训练出的用以进行像素特征维度变换，例如当W是1×256的矩阵时，F所对应的维度为9216×256。

可选的，该步骤如图6所示，包括如下步骤：

步骤10221，利用邻近算法，对距离矩阵中的各个欧式距离进行比对，以确定每个像素点的相似像素点。

其中，相似像素点包括与每个像素点的欧式距离最近的预设个数的像素点。

可选的，相当于对每个像素点只考虑欧式空间中距离最近的预设个数的像素点，例如预设个数为8，则可以用一个3×3的窗体对邻接矩阵从左到右，从上到下进行滑动，获取距离最近的8个像素点作为相似像素点，用以生成邻接矩阵。需要说明的是，邻近算法(缩写：kNN；英文：k-Nearest Neighbor)是数据挖掘分类技术中最简单的方法之一，每个样本都可以用它最接近的k个邻居来代表，其核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该算法在确定分类决策上依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。此外，对于相似像素点的生成还可以基于反向传播算法，将每个像素点的相似像素点的选取过程设置为可学习的，进而对选取过程进行更迭和优化，使得在损失函数最小的情况下，选择最优的结果作为相似像素点。

步骤10222，根据相似像素点，生成相似像素点矩阵。

示例地，对距离矩阵进行上述步骤的筛选，对于每个像素点均选取预设个数的相似像素点，并将其他非相似像素点对应的欧式距离设置为0，进而将距离矩阵生成相似像素点矩阵。

步骤10223，将通过归一化处理的相似像素点矩阵作为邻接矩阵。

示例地，对相似像素点矩阵中的每个欧式距离进行高斯函数加权，以获取归一化处理的距离权重值，作为邻接矩阵。其中，进行归一化处理所采用的高斯函数中的参数可以是基于对GCN进行预先训练所获取到的参数值，以保证归一化处理的准确性。

步骤1023，将邻接矩阵和待识别人脸图像作为图卷积神经网络模型的输入，以将图卷积神经网络模型的输出作为几何特征信息。

示例地，利用GCN对上述步骤生成的邻接矩阵和待识别人脸图像进行卷积处理，以生成与待识别人脸图像对应的几何特征信息，也就是说，将根据步骤10221-步骤10223所确定的邻接矩阵作为GCN中的A矩阵，再将待识别人脸图像信息作为输入X，以将获取到的GCN输出F作为几何特征信息。

此外，该生成的几何特征信息是一个1×1024的向量，与步骤101所提取到的目标特征信息的大小一致，可以直接进行相加，进而作为人脸局部区域的特征信息，以进行人脸特征的识别。

图7是本发明实施例提供的一种人脸特征的获取装置的框图，如图7所示，该装置700包括：

目标信息获取模块710，用于根据待识别人脸图像，利用卷积神经网络模型获取待识别人脸的目标特征信息，目标特征信息包括至少两个人脸局部区域的特征信息。

几何信息获取模块720，用于根据待识别人脸图像，利用图卷积神经网络模型获取待识别人脸的几何特征信息。

信息融合模块730，用于对目标特征信息和几何特征信息进行融合，以获取用于人脸识别的人脸特征信息。

可选的，目标特征信息包括眉毛区域特征信息和嘴巴区域特征信息；图8是本发明实施例提供的一种目标信息获取模块的框图，如图8所示，该目标信息获取模块710，包括：

关键点获取子模块711，用于对待识别人脸图像进行关键点检测，获取待识别人脸的左侧眉毛关键点、右侧眉毛关键点和嘴巴关键点。

区域确定子模块712，用于根据左侧眉毛关键点、右侧眉毛关键点和嘴巴关键点，分别对应确定左侧眉毛区域、右侧眉毛区域和嘴巴区域。

信息提取子模块713，用于在左侧眉毛区域、右侧眉毛区域上分别利用第一卷积神经网络模型和第二卷积神经网络模型提取待识别人脸的眉毛区域特征信息，眉毛区域特征信息包括左侧眉毛的特征信息和右侧眉毛的特征信息。

信息提取子模块713，还用于在嘴巴区域上利用第三卷积神经网络模型提取待识别人脸的嘴巴区域特征信息，嘴巴区域特征信息包括嘴巴两侧的特征信息。

可选的，左侧眉毛关键点包括：左侧眉毛左角关键点、左侧眉毛右角关键点，右侧眉毛关键点包括右侧眉毛右角关键点、右侧眉毛左角关键点，嘴巴关键点包括左嘴角关键点、右嘴角关键点；左侧眉毛区域包括基于左侧眉毛左角关键点确定的区域和基于左侧眉毛右角关键点确定的区域，右侧眉毛区域包括基于右侧眉毛右角关键点确定的区域和基于右侧眉毛左角关键点确定的区域，嘴巴区域包括基于左嘴角关键点确定的区域和基于右嘴角关键点确定的区域。

可选的，图9是本发明实施例提供的一种几何信息获取模块的框图，如图9所示，该几何信息获取模块720，包括：

矩阵建立子模块721，用于对待识别人脸图像建立距离矩阵，距离矩阵中包括待识别人脸图像中各个像素点之间的欧式距离。

矩阵生成子模块722，用于根据距离矩阵，生成待识别人脸图像对应的邻接矩阵，邻接矩阵中包括与每个像素点的欧式距离最近的预设个数的其他像素点的欧式距离权重。

信息输入子模块723，用于将邻接矩阵和待识别人脸图像作为图卷积神经网络模型的输入，以将图卷积神经网络模型的输出作为几何特征信息。

可选的，所述矩阵建立子模块721，包括：

像素点划分单元7211，用于根据待识别人脸图像的像素，将待识别人脸图像划分成多个像素点组成的像素点集合。

距离计算单元7212，用于分别计算像素点集合中各个像素点之间的欧式距离，以生成距离矩阵。

可选的，矩阵生成子模块722，包括：

距离比对单元7221，用于利用邻近算法，对距离矩阵中的各个欧式距离进行比对，以确定每个像素点的相似像素点，相似像素点包括与每个像素点的欧式距离最近的预设个数的像素点。

矩阵生成单元7222，用于根据相似像素点，生成相似像素点矩阵。

矩阵确定单元7223，用于将通过归一化处理的相似像素点矩阵作为邻接矩阵。

可选的，信息融合模块730，用于：

将目标特征信息和几何特征信息进行相加处理，以生成人脸特征信息；或者

利用线性回归算法，对目标特征信息和几何特征信息进行线性相加，以生成人脸特征信息。

另外，本发明实施例还提供一种终端，如图10所示，该终端1000包括处理器1020，存储器1010以及存储在存储器1010上并可在处理上运行的计算机程序，该计算机程序被处理器1020执行时实现上述实施例所述的人脸特征的获取方法的实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述的人脸特征的获取方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，可以为只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random AccessMemory，简称RAM)、磁碟或者光盘等。

对于上述装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域技术人员易于想到的是：上述各个实施例的任意组合应用都是可行的，故上述各个实施例之间的任意组合都是本发明的实施方案，但是由于篇幅限制，本说明书在此就不一一详述了。

在此提供的人脸特征的获取方法不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造具有本发明方案的系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的人脸特征的获取方法中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种人脸特征的获取方法，其特征在于，所述方法包括：

根据待识别人脸图像，利用卷积神经网络模型获取待识别人脸的目标特征信息，所述目标特征信息包括至少两个人脸局部区域的特征信息；

根据所述待识别人脸图像，利用图卷积神经网络模型获取所述待识别人脸的几何特征信息；

对所述目标特征信息和所述几何特征信息进行融合，以获取用于人脸识别的人脸特征信息。

2.根据权利要求1所述的方法，其特征在于，所述目标特征信息包括眉毛区域特征信息和嘴巴区域特征信息；所述根据待识别人脸图像，利用卷积神经网络模型获取待识别人脸的目标特征信息，包括：

对所述待识别人脸图像进行关键点检测，获取所述待识别人脸的左侧眉毛关键点、右侧眉毛关键点和嘴巴关键点；

根据所述左侧眉毛关键点、所述右侧眉毛关键点和所述嘴巴关键点，分别对应确定右侧眉毛区域、左侧眉毛区域和嘴巴区域；

在所述右侧眉毛区域、所述左侧眉毛区域上分别利用第一卷积神经网络模型和第二卷积神经网络模型提取所述待识别人脸的所述眉毛区域特征信息，所述眉毛区域特征信息包括左侧眉毛的特征信息和右侧眉毛的特征信息；

在所述嘴巴区域上利用第三卷积神经网络模型提取所述待识别人脸的所述嘴巴区域特征信息。

3.根据权利要求2所述的方法，其特征在于，所述左侧眉毛关键点包括：左侧眉毛左角关键点、左侧眉毛右角关键点，所述右侧眉毛关键点包括右侧眉毛右角关键点、右侧眉毛左角关键点，所述嘴巴关键点包括左嘴角关键点、右嘴角关键点；所述左侧眉毛区域包括基于所述左侧眉毛左角关键点确定的区域和基于所述左侧眉毛右角关键点确定的区域，所述右侧眉毛区域包括基于所述右侧眉毛右角关键点确定的区域和基于所述右侧眉毛左角关键点确定的区域，所述嘴巴区域包括基于所述左嘴角关键点确定的区域和基于所述右嘴角关键点确定的区域。

4.根据权利要求1所述的方法，其特征在于，所述根据所述待识别人脸图像，利用图卷积神经网络模型获取所述待识别人脸的几何特征信息，包括：

对所述待识别人脸图像建立距离矩阵，所述距离矩阵中包括所述待识别人脸图像中各个像素点之间的欧式距离；

根据所述距离矩阵，生成所述待识别人脸图像对应的邻接矩阵，所述邻接矩阵中包括与所述每个像素点的欧式距离最近的预设个数的其他像素点的欧式距离权重；

将所述邻接矩阵和所述待识别人脸图像作为所述图卷积神经网络模型的输入，以将所述图卷积神经网络模型的输出作为所述几何特征信息。

5.根据权利要求4所述的方法，其特征在于，所述对所述待识别人脸图像建立距离矩阵，包括：

根据所述待识别人脸图像的像素，将所述待识别人脸图像划分成多个像素点组成的像素点集合；

分别计算所述像素点集合中各个像素点之间的欧式距离，以生成所述距离矩阵。

6.根据权利要求4所述的方法，其特征在于，所述根据所述距离矩阵，生成所述待识别人脸图像对应的邻接矩阵，包括：

利用邻近算法，对所述距离矩阵中的各个欧式距离进行比对，以确定所述每个像素点的相似像素点，所述相似像素点包括与所述每个像素点的欧式距离最近的所述预设个数的像素点；

根据所述相似像素点，生成相似像素点矩阵；

将通过归一化处理的所述相似像素点矩阵作为所述邻接矩阵。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述对所述目标特征信息和所述几何特征信息进行融合，以获取用于人脸识别的人脸特征信息，包括：

将所述目标特征信息和所述几何特征信息进行相加处理，以生成所述人脸特征信息；或者

利用线性回归算法，对所述目标特征信息和所述几何特征信息进行线性相加，以生成所述人脸特征信息。

8.一种人脸特征的获取装置，其特征在于，所述装置包括：

目标信息获取模块，用于根据待识别人脸图像，利用卷积神经网络模型获取待识别人脸的目标特征信息，所述目标特征信息包括至少两个人脸局部区域的特征信息；

几何信息获取模块，用于根据所述待识别人脸图像，利用图卷积神经网络模型获取所述待识别人脸的几何特征信息；

信息融合模块，用于对所述目标特征信息和所述几何特征信息进行融合，以获取用于人脸识别的人脸特征信息。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的人脸特征的获取方法的步骤。

10.一种终端，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的人脸特征的获取方法的步骤。