CN109726619A - 一种基于参数共享的卷积神经网络人脸识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于参数共享的卷积神经网络人脸识别方法，包括：获取人脸图像训练样本；根据所述人脸图像训练样本训练基于参数共享的卷积神经网络模型；获取待识别的人脸图像；根据所述卷积神经网络模型从所述人脸图像中提取出人脸特征；根据所述人脸特征对所述人脸图像进行人脸识别。另外，本发明公开了一种基于参数共享的卷积神经网络人脸识别系统。本发明能够在保证人脸识别准确率的同时，减小模型规模，提高运算效率和空间利用率。

Description

一种基于参数共享的卷积神经网络人脸识别方法及系统

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于参数共享的卷积神经网络人脸识别方法及系统。

背景技术

随着计算机硬件的不断提升，以及大型人脸数据库的获取越来越方便，加上深度学习算法的不断发展，基于深度卷积神经网络的人脸识别方法性能已经越来越高，基于深度学习的人脸识别系统越来越普及。移动支付、门禁系统、员工签到系统、安防系统、VIP客户管理系统等都嵌入了人脸识别算法。

人脸识别通常需要提取人脸特征，然后根据特征计算不同人脸之间的相似度来进行人脸匹配。人脸识别技术从最初的提取人脸几何特征到基于PCA技术的Eigenface以及基于LDA的Fisherface，再到后来的Haar，sift，LBP等特征提取方法，识别准确率不断的提升。虽然如此，这些基于常规机器学习的方法准确率还有待提高，同时基于人工提取特征的方式较为麻烦，而且人工提取的特征也不一定是合适的。直到如DeepFace，DeepID，FaceNet等深度学习人脸识别方法的出现，人脸识别准确率最终超越了人类的极限，而且越来越实用化。

基于深度卷积神经网络的人脸识别算法准确率已经超越人类的识别准确率，但是它仍存在一些弊端。首先，基于深度卷积神经网络的人脸识别算法通常是很深的神经网络，其参数非常多，导致一个深度神经网络模型需要占用非常大的存储空间；其次，由于参数较多，算法运行时必然占用较大的内存；最后，深度卷积神经网络本质上是输入数据与网络参数之间的矩阵运算，网络规模的大小严重影响计算速度，而利用GPU等芯片进行加速虽然可以解决速度问题，但是也增加了硬件成本。

早期比较成功的基于深度神经网络的人脸识别方法如deepid采用25个结构一样的独立神经网络模型提取人脸特征，然后再对25个网络提取的特征进行组合，降维，作为最终的人脸特征进行人脸匹配，这样的模型非常占用资源。在神经网络模型精简方面，VGG提出了一种模块化的卷积神经网络模型，模型中所有的卷积核尺寸都设置为3×3大小，有效减小了网络参数的规模。而google则提出了一系列的网络改进版本，旨在提升网络的表达能力，同时能充分利用存储空间，尽量简化网络，减小模型参数。首先在googlenet中提出了inception layer的概念，然后在后续的版本中逐步使用3×3的卷积核代替更大的卷积核，最后将n×n的卷积核用1×n与n×1的卷积核组合，在保证准确率的同时，降低了模型的参数，减小了计算量，提高了空间利用率。

虽然以上网络结构的调整在一定程度上提高了硬件资源的利用率，但是基于深度神经网络的人脸识别算法模型越来越深，意味着网络参数依然会非常庞大，上述的模型效率问题依然存在。

发明内容

本发明针对现有技术中存在的问题，提供了一种基于参数共享的卷积神经网络人脸识别方法及系统，能够在保证人脸识别准确率的同时，减小模型规模，提高运算效率和空间利用率。

本发明就上述技术问题而提出的技术方案如下：

一方面，本发明提供一种基于参数共享的卷积神经网络人脸识别方法，包括：

获取人脸图像训练样本；

根据所述人脸图像训练样本训练基于参数共享的卷积神经网络模型；

获取待识别的人脸图像；

根据所述卷积神经网络模型从所述人脸图像中提取出人脸特征；

根据所述人脸特征对所述人脸图像进行人脸识别。

进一步地，所述人脸图像训练样本包括每个人的至少一张人脸样本图像；

在所述根据所述人脸图像训练样本训练基于参数共享的卷积神经网络模型之前，还包括：

调整每张人脸样本图像的大小和方位，使所有人脸样本图像中的人脸对齐。

进一步地，所述卷积神经网络模型包括权值共享模块、子网络模块和连接模块；所述子网络模块包括结构互不相同的第一分支和第二分支；

所述根据所述人脸图像训练样本训练基于参数共享的卷积神经网络模型，具体包括：

根据所述人脸图像训练样本依次训练所述权值共享模块和所述第一分支的参数以及所述第二分支的参数；

对整个模型的参数进行微调，完成所述卷积神经网络模型的训练。

进一步地，所述根据所述人脸图像训练样本依次训练所述权值共享模块和所述第一分支的参数以及所述第二分支的参数，具体包括：

将所述人脸图像训练样本输入所述权值共享模块，并固定所述第二分支的参数，根据softmaxloss评价函数对所述权值共享模块和所述第一分支的参数进行反向更新，直到所述卷积神经网络模型收敛；

固定所述权值共享模块和所述第一分支的参数，根据softmaxloss评价函数对所述第二分支的参数进行反向更新，直到所述卷积神经网络模型收敛。

进一步地，所述对整个模型的参数进行微调，完成所述卷积神经网络模型的训练，具体包括：

根据softmaxloss评价函数和centerloss评价函数对整个模型的参数进行微调，直到所述卷积神经网络模型收敛，完成所述卷积神经网络模型的训练。

进一步地，在所述根据所述卷积神经网络模型从所述人脸图像中提取出人脸特征之前还包括：

调整待识别的人脸图像的大小和方位，使所述人脸图像中的人脸与所述人脸样本图像的人脸对齐。

进一步地，所述根据所述卷积神经网络模型从所述人脸图像中提取出人脸特征，具体包括：

将待识别的人脸图像输入至所述权值共享模块提取人脸的浅层特征，使所述第一分支和所述第二分支共用所述浅层特征；

通过所述第一分支和所述第二分支分别提取人脸的高层特征；

通过所述连接模块获取所述第一分支和所述第二分支所提取的特征，输出最终的人脸特征。

进一步地，所述根据所述人脸特征对所述人脸图像进行人脸识别，具体包括：

分别计算所述人脸特征与数据库中存储的每个人脸信息的相似度；

若计算的最高相似度大于预设阈值，则将所述人脸图像识别为所述最高相似度所对应的人脸。

进一步地，所述基于参数共享的卷积神经网络人脸识别方法还包括：

若计算的最高相似度小于预设阈值，则将所述人脸图像判定为陌生人脸图像，以采集所述陌生人脸图像的人脸信息存储到数据库中。

另一方面，本发明提供一种基于参数共享的卷积神经网络人脸识别系统，所述系统能够应用上述基于参数共享的卷积神经网络人脸识别方法，所述系统包括：

样本获取模块，用于获取人脸图像训练样本；

模型训练模块，用于根据所述人脸图像训练样本训练基于参数共享的卷积神经网络模型；

图像获取模块，用于获取待识别的人脸图像；

提取模块，用于根据所述卷积神经网络模型从所述人脸图像中提取出人脸特征；以及，

识别模块，用于根据所述人脸特征对所述人脸图像进行人脸识别。

本发明实施例提供的技术方案带来的有益效果是：

采用基于参数共享的卷积神经网络模型作为人脸识别算法的核心，避免人工提取特征带来的不足，同时训练出来的卷积神经网络模型具有非常高的识别准确率，另外引入参数共享，减小卷积神经网络模型的参数数量，精简模型规模；在卷积神经网络模型中引入子网络模块，子网络模块的两个分支结构相互独立且各不相同，使得模型具有一定的多样性，能够增强网络的表达能力，提高识别准确率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的基于参数共享的卷积神经网络人脸识别方法的流程示意图；

图2是本发明实施例提供的基于参数共享的卷积神经网络人脸识别方法中的卷积神经网络模型的结构示意图；

图3是本发明实施例提供的基于参数共享的卷积神经网络人脸识别系统的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

本发明实施例提供了一种基于参数共享的卷积神经网络人脸识别方法，参见图1，该方法包括：

S1、获取人脸图像训练样本；

S2、根据所述人脸图像训练样本训练基于参数共享的卷积神经网络模型；

S3、获取待识别的人脸图像；

S4、根据所述卷积神经网络模型从所述人脸图像中提取出人脸特征；

S5、根据所述人脸特征对所述人脸图像进行人脸识别。

需要说明的是，所述人脸图像训练样本包括多个文件夹，每个文件夹对应一个人，且每个文件夹中具有该人的至少一张人脸样本图像，即每个文件夹中存放有该人的不同照片。

在步骤S1之前，且在步骤S2，即所述根据所述人脸图像训练样本训练基于参数共享的卷积神经网络模型之前，还包括：

调整每张人脸样本图像的大小和方位，使所有人脸样本图像中的人脸对齐。

需要说明的是，利用人脸对齐方法提取人脸样本图像中的特征点进行对齐，以实现人脸对齐。本实施例获取人脸样本图像中的五个特征点的坐标，即两个眼睛中心点坐标、鼻尖坐标和两边嘴角坐标。在获取特征点的坐标后，根据坐标对人脸样本图像进行旋转和缩放，最后将所有人脸样本图像裁剪为统一大小的图片，并保证每个人脸样本图像中的五个特征点基本在相同位置，从而完成人脸样本图像的对齐操作，并根据对齐后的人脸图像训练样本训练基于参数共享的卷积神经网络模型。其中，还可根据实际需要采用不同的人脸对齐方法使所有人脸样本图像中的人脸对齐，在此不再一一赘述。

进一步地，如图2所示，所述卷积神经网络模型包括权值共享模块、子网络模块和连接模块；所述子网络模块包括结构互不相同的第一分支和第二分支。

需要说明的是，搭建基于参数共享的卷积神经网络模型，利用深度学习工具编写模型定义文件。卷积神经网络模型还包括数据层，以及模型训练所需的softmaxloss模块和centerloss模块。其中，数据层用于获取输入的图像数据。

权值共享模块主要由卷积层和采样层组成，用于提取人脸的浅层特征，作为后续高级多样化特征提取网络输入。权值共享模块的引入使得多分支网络可以专注于更高层的特征提取，整个网络只需提取一次浅层特征，该浅层特征为所有的子网络分支共用，使得每个分支不必都执行相同的提取浅层特征操作，提高了模型的运行效率。同时，由于浅层特征只提取一次，而且权值共享模块为所有分支共用，这样精简了模型，减小了网络的参数。

子网络模块包含两个分支，分别为第一分支和第二分支。其中第一分支主要由三个inception层以及一个全连接层(bottleneck)构成，inception层的效果在googlenet中已经得到了有效的验证，但是googlenet中的inception层较多，人脸识别不必使用那么多inception层。少量的inception层的引入既保证了模型的准确率，又使得模型较为精简。第二分支主要由三个residual层以及一个全连接层(bottleneck)构成，residual层的效果也由resnet中得到了验证。两个分支组合，保证了模型的高准确率。同时，由于两个分支具有不同的网络结构，使得整个网络具有多样性，能够提取更为丰富的人脸特征，模型的融合进一步提升了网络的准确率。

连接模块主要包含一个bottleneck层，该层用于将子网络模块中两个分支的bottleneck连接起来，作为模型最终的特征表示层，该层也称为整个网络的bottleneck层。

softmaxloss模块和centerloss模块分别具有评价函数softmaxloss和评价函数centerloss，评价函数主要是训练卷积神经网络模型时使用。模型训练完毕后，在实际人脸识别场景下，评价函数被剔除。

进一步地，在步骤S2中，所述根据所述人脸图像训练样本训练基于参数共享的卷积神经网络模型，具体包括：

根据所述人脸图像训练样本依次训练所述权值共享模块和所述第一分支的参数以及所述第二分支的参数；

对整个模型的参数进行微调，完成所述卷积神经网络模型的训练。

进一步地，所述根据所述人脸图像训练样本依次训练所述权值共享模块和所述第一分支的参数以及所述第二分支的参数，具体包括：

将所述人脸图像训练样本输入所述权值共享模块，并固定所述第二分支的参数，根据softmaxloss评价函数对所述权值共享模块和所述第一分支的参数进行反向更新，直到所述卷积神经网络模型收敛；

固定所述权值共享模块和所述第一分支的参数，根据softmaxloss评价函数对所述第二分支的参数进行反向更新，直到所述卷积神经网络模型收敛。

进一步地，所述对整个模型的参数进行微调，完成所述卷积神经网络模型的训练，具体包括：

根据softmaxloss评价函数和centerloss评价函数对整个模型的参数进行微调，直到所述卷积神经网络模型收敛，完成所述卷积神经网络模型的训练。

需要说明的是，在训练模型时，先固定第二分支的参数，利用softmaxloss模块训练权值共享模块和子网络模块的第一分支，使用梯度下降法对网络参数进行反向更新。其中softmaxloss作为一种评价函数，常用于图像分类训练中，其形式如下所示：

其中，z_y为对应的样本类别标签y的网络层输出，m为训练样本类别数量(即训练样本中包含多少个不同人的照片)。

进而，固定权值共享模块和子网络模块的第一分支的参数，利用softmaxloss模块训练子网络模块的第二分支，同样使用梯度下降法对网络参数进行反向更新。

经过两次更新后，粗糙的模型已经训练完毕，但是为了使得模型具备更好的辨识度，即对同一个人不同图片提取的特征(bottleneck)尽量接近，而不同人之间的照片所提取的特征(bottleneck)差别尽量大，此处在子网络模块后面连接一个连接模块，采用centerloss评价函数结合softmaxloss评价函数对模型进行微调，因此结合后的评价函数为如下形式：

L＝l(y，z)+λL_c

其中，l(y，z)为softmaxloss评价函数，L_c为centerloss评价函数，λ为比例因子。

Centerloss评价函数的表示形式如下所示：

其中，x_i为第i张图片的特征值，为该图片所属分类的中心(该分类的特征值的中心)。

例如，本实施例在训练过程中选择CASIA-WebFace人脸数据集，该数据集包含10575个不同人的人脸图像，即人脸图像训练样本类别标签数量为10575。微调时网络选择的比例因子λ为0.008。softmaxloss评价函数中的m设为128，即每次使用128个样本更新网络参数，训练迭代次数230000次，初始学习率为0.01，分别在80000，150000次的时候调整学习率，缩放因子为0.1，即每次调整后的学习率为调整前的十分之一。在微调过程中，每次使用128个样本更新网络参数，训练迭代次数40000次，初始学习率为0.001，分别在20000，30000次的时候调整学习率，缩放因子为0.1。

进一步地，在步骤S3中，利用摄像头或任何可能的方式获取待识别的人脸图像。

进一步地，在步骤S3之前，且在步骤S4，即所述根据所述卷积神经网络模型从所述人脸图像中提取出人脸特征之前，还包括：

调整待识别的人脸图像的大小和方位，使所述人脸图像中的人脸与所述人脸样本图像的人脸对齐。

其中，同样利用人脸对齐方法提取待识别的人脸图像中的特征点，并对人脸图像进行缩放和旋转，使人脸图像与人脸图像训练样本中的人脸对齐，以将对齐后的人脸图像输入至训练后的卷积神经网络模型进行人脸识别。

进一步地，在步骤S4中，所述根据所述卷积神经网络模型从所述人脸图像中提取出人脸特征，具体包括：

将待识别的人脸图像输入至所述权值共享模块提取人脸的浅层特征，使所述第一分支和所述第二分支共用所述浅层特征；

通过所述第一分支和所述第二分支分别提取人脸的高层特征；

通过所述连接模块获取所述第一分支和所述第二分支所提取的特征，输出最终的人脸特征。

其中，提取连接模块的bottleneck输出作为人脸特征，该人脸特征为一个行向量。

进一步地，在步骤S5中，所述根据所述人脸特征对所述人脸图像进行人脸识别，具体包括：

分别计算所述人脸特征与数据库中存储的每个人脸信息的相似度；

若计算的最高相似度大于预设阈值，则将所述人脸图像识别为所述最高相似度所对应的人脸。

进一步地，所述基于参数共享的卷积神经网络人脸识别方法还包括：

若计算的最高相似度小于预设阈值，则将所述人脸图像判定为陌生人脸图像，以采集所述陌生人脸图像的人脸信息存储到数据库中。

需要说明的是，在识别之前，将采集到的每个人的照片对齐后分别存放在一个独立的文件夹中，提取每个人的人脸图像的特征，并将每个人的特征与其类别标签一一对应的存储在数据库中。其中，每个人的特征及对应的类别标签即为人脸信息，该人脸信息为一个特征向量。

在识别时，将提取出的人脸特征的向量分别与数据库中的每个特征向量进行对比，计算相似度。其中，相似度的计算可选择欧式距离、余弦相似度或者马氏距离等。进而，将对比结果中的最大相似度与预设的阈值进行比较，若最大相似度高于阈值，则判定待识别的人脸图像为数据库中与其相似度最高的人脸信息对应的类别，否则判定待识别的人脸图像为陌生人脸图像，可通过对陌生人脸图像的人脸信息进行采集和存储，以丰富数据库类别。

通过实验发现，本实施例在保证模型准确率的同时有效控制了模型规模的大小，减小了模型的参数。其中网络模型的大小为87.28M，网络准确率为98.23％。

本发明实施例采用基于参数共享的卷积神经网络模型作为人脸识别算法的核心，避免人工提取特征带来的不足，同时训练出来的模型具有非常高的识别准确率。由于模型中引入了权值共享模块，有效降低了模型的规模，减小了模型的参数。同时加入子网络模块，子网络模块中的两个分支结构相互独立且各不相同，使得模型具有一定的多样性，能够增强网络的表达能力，提高识别准确率。最后训练过程中先更新权值共享模块和子网络模块的第一分支，待模型收敛后再固定两者，仅更新子网络模块的第二分支，避免参数的重复更新，节省了不必要的训练时间，提升了卷积神经网络模型的训练效率。

本发明实施例提供了一种基于参数共享的卷积神经网络人脸识别系统，能够实现上述基于参数共享的卷积神经网络人脸识别方法的所有流程，参见图3，所述系统包括：

样本获取模块1，用于获取人脸图像训练样本；

模型训练模块2，用于根据所述人脸图像训练样本训练基于参数共享的卷积神经网络模型；

图像获取模块3，用于获取待识别的人脸图像；

提取模块4，用于根据所述卷积神经网络模型从所述人脸图像中提取出人脸特征；以及，

识别模块5，用于根据所述人脸特征对所述人脸图像进行人脸识别。

本发明实施例采用基于参数共享的卷积神经网络模型作为人脸识别算法的核心，避免人工提取特征带来的不足，同时训练出来的模型具有非常高的识别准确率。由于模型中引入了权值共享模块，有效降低了模型的规模，减小了模型的参数。同时加入子网络模块，子网络模块中的两个分支结构相互独立且各不相同，使得模型具有一定的多样性，能够增强网络的表达能力，提高识别准确率。最后训练过程中先更新权值共享模块和子网络模块的第一分支，待模型收敛后再固定两者，仅更新子网络模块的第二分支，避免参数的重复更新，节省了不必要的训练时间，提升了卷积神经网络模型的训练效率。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于参数共享的卷积神经网络人脸识别方法，其特征在于，包括：

获取人脸图像训练样本；

根据所述人脸图像训练样本训练基于参数共享的卷积神经网络模型；

获取待识别的人脸图像；

根据所述卷积神经网络模型从所述人脸图像中提取出人脸特征；

根据所述人脸特征对所述人脸图像进行人脸识别。

2.如权利要求1所述的基于参数共享的卷积神经网络人脸识别方法，其特征在于，所述人脸图像训练样本包括每个人的至少一张人脸样本图像；

在所述根据所述人脸图像训练样本训练基于参数共享的卷积神经网络模型之前，还包括：

调整每张人脸样本图像的大小和方位，使所有人脸样本图像中的人脸对齐。

3.如权利要求1所述的基于参数共享的卷积神经网络人脸识别方法，其特征在于，所述卷积神经网络模型包括权值共享模块、子网络模块和连接模块；所述子网络模块包括结构互不相同的第一分支和第二分支；

所述根据所述人脸图像训练样本训练基于参数共享的卷积神经网络模型，具体包括：

根据所述人脸图像训练样本依次训练所述权值共享模块和所述第一分支的参数以及所述第二分支的参数；

对整个模型的参数进行微调，完成所述卷积神经网络模型的训练。

4.如权利要求3所述的基于参数共享的卷积神经网络人脸识别方法，其特征在于，所述根据所述人脸图像训练样本依次训练所述权值共享模块和所述第一分支的参数以及所述第二分支的参数，具体包括：

将所述人脸图像训练样本输入所述权值共享模块，并固定所述第二分支的参数，根据softmaxloss评价函数对所述权值共享模块和所述第一分支的参数进行反向更新，直到所述卷积神经网络模型收敛；

固定所述权值共享模块和所述第一分支的参数，根据softmaxloss评价函数对所述第二分支的参数进行反向更新，直到所述卷积神经网络模型收敛。

5.如权利要求3所述的基于参数共享的卷积神经网络人脸识别方法，其特征在于，所述对整个模型的参数进行微调，完成所述卷积神经网络模型的训练，具体包括：

根据softmaxloss评价函数和centerloss评价函数对整个模型的参数进行微调，直到所述卷积神经网络模型收敛，完成所述卷积神经网络模型的训练。

6.如权利要求2所述的基于参数共享的卷积神经网络人脸识别方法，其特征在于，在所述根据所述卷积神经网络模型从所述人脸图像中提取出人脸特征之前还包括：

调整待识别的人脸图像的大小和方位，使所述人脸图像中的人脸与所述人脸样本图像的人脸对齐。

7.如权利要求3所述的基于参数共享的卷积神经网络人脸识别方法，其特征在于，所述根据所述卷积神经网络模型从所述人脸图像中提取出人脸特征，具体包括：

将待识别的人脸图像输入至所述权值共享模块提取人脸的浅层特征，使所述第一分支和所述第二分支共用所述浅层特征；

通过所述第一分支和所述第二分支分别提取人脸的高层特征；

通过所述连接模块获取所述第一分支和所述第二分支所提取的特征，输出最终的人脸特征。

8.如权利要求1所述的基于参数共享的卷积神经网络人脸识别方法，其特征在于，所述根据所述人脸特征对所述人脸图像进行人脸识别，具体包括：

分别计算所述人脸特征与数据库中存储的每个人脸信息的相似度；

若计算的最高相似度大于预设阈值，则将所述人脸图像识别为所述最高相似度所对应的人脸。

9.如权利要求8所述的基于参数共享的卷积神经网络人脸识别方法，其特征在于，所述基于参数共享的卷积神经网络人脸识别方法还包括：

若计算的最高相似度小于预设阈值，则将所述人脸图像判定为陌生人脸图像，以采集所述陌生人脸图像的人脸信息存储到数据库中。

10.一种基于参数共享的卷积神经网络人脸识别系统，其特征在于，所述系统能够应用如权利要求1至9任一项所述的基于参数共享的卷积神经网络人脸识别方法，所述系统包括：

样本获取模块，用于获取人脸图像训练样本；

模型训练模块，用于根据所述人脸图像训练样本训练基于参数共享的卷积神经网络模型；

图像获取模块，用于获取待识别的人脸图像；

提取模块，用于根据所述卷积神经网络模型从所述人脸图像中提取出人脸特征；以及，

识别模块，用于根据所述人脸特征对所述人脸图像进行人脸识别。