CN108090433A

CN108090433A - 人脸识别方法及装置、存储介质、处理器

Info

Publication number: CN108090433A
Application number: CN201711326014.2A
Authority: CN
Inventors: 陈龙华; 陈连增; 黄世志; 姚鸿富
Original assignee: Xiamen Micro Technology Co Ltd
Current assignee: Xiamen Micro Technology Co Ltd
Priority date: 2017-12-12
Filing date: 2017-12-12
Publication date: 2018-05-29
Anticipated expiration: 2037-12-12
Also published as: CN108090433B

Abstract

本申请公开了一种人脸识别方法及装置、存储介质、处理器。其中，该方法包括：获取待识别目标对象的人脸图像；使用预设模型对人脸图像进行分析，确定人脸图像对应的多个特征向量，其中，预设模型为使用多组数据通过机器学习训练得到的，多组数据中的每组数据均包括：人脸图像和与人脸图像对应的特征向量；获取特征向量与预设特征库中的基准特征向量的相似度；基于多个特征向量对应的相似度和为多个特征向量对应的相似度分配的权重确定人脸图像所属的类型。本申请解决了相关技术中在数据量较少的情况下，人脸识别的准确率比较低的技术问题。

Description

人脸识别方法及装置、存储介质、处理器

技术领域

本申请涉及图像识别领域，具体而言，涉及一种人脸识别方法及装置、存储介质、处理器。

背景技术

目前，随着人脸检测技术的不断发展，各种优秀的人脸检测算法不断出现，效果已经接近甚至在某些情况超越人眼的识别能力。这样显著能力主要归功两个方面：深度学习和海量数据。深度学习可以自动学习图像特征，提取出更加全面的人脸特征，海量数据可以提升人脸识别的精度。

当前存在的基于深度神经网络的人脸识别模型使用了分类层：中间层为人脸图像的向量映射，然后以分类层作为输出层。但是，该人脸识别模型的识别效率低。海量的数据训练能够提升人脸识别模型性能，然而收集大量的人脸数据是一件极其困难的工作。同时，目前针对视频处理的方法，主要是提取视频图像中的某些帧的人脸信息，利用深度学习进行训练和检测识别，但是，上述人脸识别方案存在以下缺点：现有技术的缺点是，在人脸识别模块，只是做了特征距离计算，根据距离大小判断人脸相似性，这种在数据量少的情况下，准确性会比较低。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请提供了一种人脸识别方法及装置、存储介质、处理器，以至少解决相关技术中在数据量较少的情况下，人脸识别的准确率比较低的技术问题。

一方面，本申请提供了一种人脸识别方法，包括：获取待识别目标对象的人脸图像；使用预设模型对人脸图像进行分析，确定人脸图像对应的多个特征向量，其中，预设模型为使用多组数据通过机器学习训练得到的，多组数据中的每组数据均包括：人脸图像和与人脸图像对应的特征向量；获取特征向量与预设特征库中的基准特征向量的相似度；基于多个特征向量对应的相似度和为多个特征向量对应的相似度分配的权重确定人脸图像所属的类型。

可选地，基于多个特征向量对应的相似度和为多个特征向量对应的相似度分配的权重确定人脸图像所属的类型，包括：依据为与多个特征向量对应的相似度分配的权重，对多个特征向量的相似度进行加权计算，得到计算结果；依据计算结果确定类型。

可选地，依据计算结果确定类型，包括：确定计算结果所属的取值区间；依据预设映射关系确定与取值区间对应的类型，并将与取值区间对应的类型作为人脸图像所属的类型。

可选地，基于多个特征向量对应的相似度和为多个特征向量对应的相似度分配的权重确定人脸图像所属的类型之前，方法还包括：比较多个特征向量对应的相似度与同一预设阈值的大小；按照比较结果为与多个特征向量对应的相似度分配权重，其中，在比较结果指示相似度大于预设阈值时分配的权重小于比较结果指示相似度小于预设阈值时分配的权重。

可选地，按照比较结果为与多个特征向量对应的相似度分配权重，包括：按照以下方式确定与多个特征向量对应的权重：W＝1/x+a，其中，x为特征向量对应的相似度，a为常数值，其中，在比较结果指示相似度大于预设阈值时，a的取值为a1；在比较结果指示相似度大于预设阈值时，a的取值为a2，其中，a1大于a2。

可选地，获取特征向量与预设特征库中的基准特征向量的相似度，包括：获取特征向量与基准特征向量之间的欧式距离；将欧式距离作为特征向量与预设特征库中的基准特征向量的相似度。

可选地，预设模型包括：卷积神经网络模型，卷积神经网络模型包括：输入层I，卷积层C1，卷积层C2，池化层P1，卷积层C3，池化层P2，局部卷积层LC1，池化层P3，局部卷积层LC2，池化层P4，局部卷积层LC3，全连接层FC，其中，局部卷积层LC1和局部卷积层LC3包括激活函数。

可选地，人脸图像中包括时间信息。

另一方面，本申请提供了一种人脸识别装置，包括：第一获取模块，用于获取待识别目标对象的人脸图像；第一确定模块，用于使用预设模型对人脸图像进行分析，确定人脸图像对应的多个特征向量，其中，预设模型为使用多组数据通过机器学习训练得到的，多组数据中的每组数据均包括：人脸图像和与人脸图像对应的特征向量；第二获取模块，用于获取特征向量与预设特征库中的基准特征向量的相似度；第二确定模块，用于基于多个特征向量对应的相似度和为多个特征向量对应的相似度分配的权重确定人脸图像所属的类型。

另一方面，本申请提供了一种存储介质，所述存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行以上所述的人脸识别方法。

另一方面，本申请提供了一种处理器，所述处理器用于运行程序，其中，程序运行时执行以上所述的人脸识别方法。

在本申请实施例中，采用对人脸图像进行分析得到特征向量与基准特征向量的相似度，并为相似度分配权重的方式，同时考虑了特征向量和权重，从而实现提高识别准确率的技术效果，进而解决了相关技术中在数据量较少的情况下，人脸识别的准确率比较低的技术问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的一种人脸识别方法的流程示意图；

图2为根据本申请实施例的一种卷积神经网络模型的结构示意图；

图3是根据本申请实施例的一种人脸识别装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本申请实施例，提供了一种人脸识别方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本申请实施例的人脸识别方法，如图1所示，该方法包括如下步骤：

步骤S102，获取待识别目标对象的人脸图像；

可选地，使用OpenCV打开网络摄像头，并一帧一帧的读取视频图像，使用Dl ib做图像人脸检测，当检测到人脸时，同时检测人脸关键点，并给图像加上时间信息。根据人脸关键点位置，使用OpenFace进行人脸对齐，最后对处理过的图像大小进行归一化处理，例如归一化至112*96。上述关键点包括但不限于：(眼角的位置、鼻子的位置、脸的轮廓点)。

从上面描述可以看出，人脸图像中可以携带有时间信息，这样，在进行人脸图像的识别时，可以考虑时间因素。

步骤S104，使用预设模型对人脸图像进行分析，确定人脸图像对应的多个特征向量，其中，预设模型为使用多组数据通过机器学习训练得到的，多组数据中的每组数据均包括：人脸图像和与人脸图像对应的特征向量；

可选地，预设模型包括：卷积神经网络模型，如图2所示，卷积神经网络模型包括：输入层I，卷积层C1，卷积层C2，池化层P1，卷积层C3，池化层P2，局部卷积层LC1，池化层P3，局部卷积层LC2，池化层P4，局部卷积层LC3，全连接层FC。由此可见，本申请实施例提出的神经网络模型由输入层、卷积层、池化层、局部卷积层(包括激活函数)和全连接层组合而成，并且使用了堆叠卷积层，能使卷积层变少，同时有更多的非线性变换，对特征的学习能力更强。

其中，上述神经网络模型可以通过以下方式建立和训练：搭建卷积神经网络模型；引入Center loss中心损失函数；训练卷积神经网络模型。以下详细说明：

其中，卷积神经网络提取人脸128维特征的具体实现过程：

具体的网络模型从输入层I开始，依次经过卷积层C1，卷积层C2，池化层P1，卷积层C3，池化层P2，局部卷积层LC1，池化层P3，局部卷积层LC2，池化层P4，局部卷积层LC3，全连接层FC。

所用数据集(WebFace数据库)作为训练集规模可以为50万图像，约1万人，分批次输入搭建好的卷积神经网络模型；通过Center loss训练卷积神经网络模型；获得训练好的卷积神经网络模型。

步骤S106，获取特征向量与预设特征库中的基准特征向量的相似度；

可选地，该相似度可以使用欧式距离体现，但不限于此：获取特征向量与基准特征向量之间的欧式距离；将欧式距离作为特征向量与预设特征库中的基准特征向量的相似度。

步骤S108，基于多个特征向量对应的相似度和为多个特征向量对应的相似度分配的权重确定人脸图像所属的类型。

可选地，步骤S108可以通过以下过程实现，但不限于此：依据为与多个特征向量对应的相似度分配的权重，对多个特征向量的相似度进行加权计算，得到计算结果；依据计算结果确定类型，即依据加权结果确定人脸图像所属的类型，其中，该类型包括但不限于：待识别对象的身份、年龄、生理状态、情绪状态等等。

在依据计算结果确定人脸图像所属的类型时，可以通过以下方式实现，但不限于此：确定计算结果所属的取值区间；依据预设映射关系确定与取值区间对应的类型，并将与取值区间对应的类型作为人脸图像所属的类型。在另一个可选实施例中，还可以上述取值区间可以直接使用一个独立的取值代替，即一个独立的取值对应一个类型。

可选地，基于多个特征向量对应的相似度和为多个特征向量对应的相似度分配的权重确定人脸图像所属的类型之前，比较多个特征向量对应的相似度与同一预设阈值的大小；按照比较结果为与多个特征向量对应的相似度分配权重，其中，在比较结果指示相似度大于预设阈值时分配的权重小于比较结果指示相似度小于预设阈值时分配的权重。

其中，可以按照以下方式确定与多个特征向量对应的权重：W＝1/x+a，其中，x为特征向量对应的相似度，a为常数值，其中，在比较结果指示相似度大于预设阈值时，a的取值为a1；在比较结果指示相似度大于预设阈值时，a的取值为a2，其中，a1大于a2。

以下以一个应用实例详细说明人脸识别的流程。该应用实例包括以下步骤：

S1：摄像头采集数据实时处理

使用OpenCV打开网络摄像头，并一帧一帧的读取视频图像，使用Dlib做图像人脸检测，当检测到人脸时，同时检测人脸关键点，并给图像加上时间信息。根据人脸关键点位置，使用OpenFace进行人脸对齐，最后对处理过的图像大小归一化至112*96。

S2：搭建本发明实施例提出的卷积神经网络模型

利用深度学习框架Torch，搭建本发明提出的基于卷积神经网络模型，如附图2所示。

其中，输入层I大小为112*96*3，依次经过

卷积层C1(卷积核大小3*3，滑动步长为1，填充为0，输出为32)，

卷积层C2(卷积核大小3*3，滑动步长为1，填充为0，输出为32)，

池化层P1(卷积核大小2*2，滑动步长为1，填充为0，输出为32)，

卷积层C3(卷积核大小3*3，滑动步长为1，填充为0，输出为64)，

池化层P2(卷积核大小2*2，滑动步长为1，填充为0，输出为64)，

局部卷积层LC1(卷积核大小4*4，滑动步长为1，填充为0，输出为128)，

池化层P3(卷积核大小2*2，滑动步长为1，填充为0，输出为128)，

局部卷积层LC2(卷积核大小2*2，滑动步长为1，填充为0，输出为256)，

池化层P4(卷积核大小2*2，滑动步长为1，填充为0，输出为256)，

局部卷积层LC3(卷积核大小1*1，滑动步长为1，填充为0，输出为512)，

全连接层FC(维度为512)

把训练集依次输入搭建好的卷积神经网络模型，使用32的batch(数据块)规模，基础学习率0.045，每6400迭代学习率乘以0.9，weight decay(权值衰减)为0.0002，momentum(动量参数)为0.9，训练约四十万次迭代。

引入”center loss”训练神经网络，计算损失函数，通过向前和反向计算，计算出神经网络各层的更新值，对各层的权值进行更新，实现减少loss的目的。

获得卷积神经网络模型

例如：训练数据集为100个人，其中每人10张，总共1000张图片，将数据输入S2生成的卷积神经网络模型，神经网络能对每一张人脸产生一个128维的特征向量，即生成1000*128的向量空间即为特征库Y。同时生成对应的分类标签，存放在列表A中，如[A_1,1,A_1,2,A_1,3,…,A_100,8,A_100,9,A_100,10]，其中A_1,1表示为第一个人的第一张照片，类别为A1，A_1,2表示为第一个人的第二张照片，类别为A1，接下去以此类推。

S3.人脸特征比对与识别

将待识别图像传入卷积神经网络模型生成对应特征向量，再与特征库比对计算欧式距离，判定两张图像的相似度，是其距离越小越相似。阈值设定，当距离小于阈值时，则判定为相似。

传统的方法是认为，人脸越是相似，彼此间的距离也就越小，但该算法的缺陷是可能会选择距离最近的近邻，所以本专利引入一种补偿的方法是根据距离的远近为其赋以相应的权值。引入“反函数”作为权重计算依据，加入常数项(为反函数的分母中的常数项)，当距离大于阈值时，常数项为10，小于阈值时，常数项为0.01，既保证近邻项赋以很大的权重，同时能避免样本不均衡的情况。计算过程如下：

例如：将待计算图像的特征向量X表示为1*128，特征库Y向量表示为1000*128，计算对应的欧式距离，求得1000*1的向量Z，如array[(0.344,0.512,0.452,0.381,…,0.539,0.655)]。

例如，假定阈值为0.5，计算向量距离对应的加权和为S1,S2,S3,…,S1000

按图像类别计算权重，如SA1，为A1类。SA1＝S1+S2+…+S10

统计图像类别与加权和的对应列表，见表1

表1

类别	加权和
		A1	6.43
A2	0.23
		A3	1.56
…	…
		A99	0.46
A100	4.59

由上述统计表可知，加权和6.43对应的类型为A1。

图3是根据本申请实施例的一种人脸识别装置的结构示意图。如图3所示，该装置包括：

第一获取模块30，用于获取待识别目标对象的人脸图像；

第一确定模块32，用于使用预设模型对人脸图像进行分析，确定人脸图像对应的多个特征向量，其中，预设模型为使用多组数据通过机器学习训练得到的，多组数据中的每组数据均包括：人脸图像和与人脸图像对应的特征向量；

第二获取模块34，用于获取特征向量与预设特征库中的基准特征向量的相似度；

第二确定模块36，用于基于多个特征向量对应的相似度和为多个特征向量对应的相似度分配的权重确定人脸图像所属的类型。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，例如，对于后者，可以通过以下方式来实现：上述各个模块位于同一处理器中；或者，上述各个模块以任意组合的方式位于不同的处理器中。

需要说明的是，人脸识别装置的优选实施方式，可以参见图1所对应方法实施例的相关描述，此处不再赘述。

本申请实施例还提供了一种存储介质，该存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行以上所述的人脸识别方法。

本申请实施例还提供了一种处理器，该处理器用于运行程序，其中，程序运行时执行以上所述的人脸识别方法。

通过上述步骤，可以避免样本不均衡导致的准确率低的问题，实现提高识别准确率的技术效果，进而解决了相关技术中在数据量较少的情况下，人脸识别的准确率比较低的技术问题。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims

1.一种人脸识别方法，其特征在于，包括：

获取待识别目标对象的人脸图像；

使用预设模型对所述人脸图像进行分析，确定所述人脸图像对应的多个特征向量，其中，所述预设模型为使用多组数据通过机器学习训练得到的，所述多组数据中的每组数据均包括：所述人脸图像和与所述人脸图像对应的特征向量；

获取所述特征向量与预设特征库中的基准特征向量的相似度；

基于所述多个特征向量对应的相似度和为所述多个特征向量对应的相似度分配的权重确定所述人脸图像所属的类型。

2.根据权利要求1所述的方法，其特征在于，基于所述多个特征向量对应的相似度和为所述多个特征向量对应的相似度分配的权重确定所述人脸图像所属的类型，包括：

依据为与所述多个特征向量对应的相似度分配的权重，对所述多个特征向量的相似度进行加权计算，得到计算结果；

依据所述计算结果确定所述类型。

3.根据权利要求2所述的方法，其特征在于，依据所述计算结果确定所述类型，包括：

确定所述计算结果所属的取值区间；

依据预设映射关系确定与所述取值区间对应的类型，并将与所述取值区间对应的类型作为所述人脸图像所属的类型。

4.根据权利要求1所述的方法，其特征在于，基于所述多个特征向量对应的相似度和为所述多个特征向量对应的相似度分配的权重确定所述人脸图像所属的类型之前，所述方法还包括：

比较所述多个特征向量对应的相似度与同一预设阈值的大小；按照比较结果为与所述多个特征向量对应的相似度分配所述权重，其中，在所述比较结果指示相似度大于所述预设阈值时分配的权重小于所述比较结果指示相似度小于所述预设阈值时分配的权重。

5.根据权利要求4所述的方法，其特征在于，按照比较结果为与所述多个特征向量对应的相似度分配所述权重，包括：按照以下方式确定与所述多个特征向量对应的权重：

W＝1/x+a，其中，x为特征向量对应的相似度，a为常数值，其中，在所述比较结果指示相似度大于所述预设阈值时，a的取值为a1；在所述比较结果指示相似度大于所述预设阈值时，a的取值为a2，其中，a1大于a2。

6.根据权利要求1所述的方法，其特征在于，获取所述特征向量与预设特征库中的基准特征向量的相似度，包括：

获取所述特征向量与所述基准特征向量之间的欧式距离；

将所述欧式距离作为所述特征向量与预设特征库中的基准特征向量的相似度。

7.根据权利要求1至6中任意一项所述的方法，其特征在于，所述预设模型包括：卷积神经网络模型，所述卷积神经网络模型包括：

输入层I，卷积层C1，卷积层C2，池化层P1，卷积层C3，池化层P2，局部卷积层LC1，池化层P3，局部卷积层LC2，池化层P4，局部卷积层LC3，全连接层FC，其中，所述局部卷积层LC1和局部卷积层LC3包括激活函数。

8.根据权利要求1至6中任意一项所述的方法，其特征在于，所述人脸图像中包括时间信息。

9.一种人脸识别装置，其特征在于，包括：

第一获取模块，用于获取待识别目标对象的人脸图像；

第一确定模块，用于使用预设模型对所述人脸图像进行分析，确定所述人脸图像对应的多个特征向量，其中，所述预设模型为使用多组数据通过机器学习训练得到的，所述多组数据中的每组数据均包括：所述人脸图像和与所述人脸图像对应的特征向量；

第二获取模块，用于获取所述特征向量与预设特征库中的基准特征向量的相似度；

第二确定模块，用于基于所述多个特征向量对应的相似度和为所述多个特征向量对应的相似度分配的权重确定所述人脸图像所属的类型。

10.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至8中任意一项所述的人脸识别方法。

11.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至8中任意一项所述的人脸识别方法。