CN107886064B - 一种基于卷积神经网络的人脸识别场景适应的方法 - Google Patents

Abstract

一种基于卷积神经网络的人脸识别场景适应的方法，包括：1)收集人脸数据并做好分类标签，对数据做预处理和增强，分成训练集和验证集；2)将训练集数据送入设计好的卷积神经网络进行训练，得到预训练模型；3)用验证集数据测试预训练模型，根据测试结果调整训练参数重新训练；4)重复3)获得最佳预训练模型；5)根据不同应用场景收集人脸图像数据，在新收集的数据上微调预训练模型，得到新的适应场景的模型；6)用适应场景模型对待测试人脸图像提取特征，对特征中人脸五官部分做加权操作，得到最终特征向量；7)用余弦距离度量最终特征向量，判断是否是目标人脸，输出结果。本发明的优点：保证了人脸识别的准确性及模型的场景适应性。

Description

一种基于卷积神经网络的人脸识别场景适应的方法

技术领域

本发明涉及人脸识别分析领域，尤其涉及一种基于卷积神经网络与迁移学习相结合的人脸识别场景适应方法。

背景技术

随着互联网科技的快速发展进步，公共安全以及个人隐私等对科技的需求愈发迫切。近几十年来生物特征识别技术经过飞速的发展，可以很好的解决以上问题。生物特征作为一种人体的内在属性，拥有很强的自身稳定性与独特性。目前生物特征识别技术主要包括人脸识别、指纹识别、虹膜识别、声音识别等。相对与其他生物特征识别技术，人脸识别技术具有易采集、非接触、友好等特点，易于被人接受。公安部门在抓捕逃犯时，使用人脸识别技术可以通过监控视频快速追踪逃犯行踪，不仅极大提高工作效率，而且大大节省人力。当前个人财产、隐私等保密手段主要包括密码、指纹、磁条等，这些传统的保密手段容易被伪造、破译，已经不能满足现代社会经济活动和社会安全防范的需要。人脸识别技术只提取人脸特征，不易被盗取，完全能够取代传统的保密方式。因此，人脸识别技术能满足当前社会不、同人群的各种需求。

人脸识别技术主要包含两个难点：

1)人脸识别的准确率

2)多场景适应性

与本发明相关的现有技术一——基于模板匹配的人脸识别方法

现有技术一的技术方案

手工设计一种人脸特征，选取一张或者几张人脸图像提取特征生成模板。对待识别人脸图像提取特征，比较待识别人脸特征和模板特征，通过设定阈值来判断是否是目标人脸。

现有技术一的缺点：

1)需要手工设计复杂特征，难度比较大；

2)对光线、形变等干扰因素抗性差，准确率低。

与本发明有关的现有技术二——基于卷积神经网络的人脸识别方法

现有技术二的技术方案

收集大量人脸数据并制作标签，设计一种卷积神经网络开始训练模型。选取一张或者几张人脸图像提取特征生成模板对待识别人脸图像提取特征，比较待识别人脸特征和模板特征，通过设定阈值来判断是否是目标人脸。

现有技术二的缺点：

1)对不同场景适应效果差；

2)提取特征时对整张人脸图像操作，不能强调五官等重要差异性大的部位。

发明内容

本发明所要解决的技术问题在于提供了一种能够适应各种场景进行人脸识别，并且提升人脸识别准确率的基于卷积神经网络的人脸识别场景适应的方法。

本发明是通过以下技术方案解决上述技术问题的：一种基于卷积神经网络的人脸识别场景适应的方法，包括下述步骤：

1)收集人脸数据并做好分类标签，对做好标签的人脸图像数据做预处理和数据增强，分成训练集和验证集两部分；

2)将1)中获得的训练集数据送入设计好的卷积神经网络进行训练，得到预训练模型；

3)用1)中验证数据集测试2)中训练得到的预训练模型，根据测试结果调整训练参数重新训练；

4)重复3)获得最佳预训练模型；

5)根据不同应用场景收集少量人脸图像数据，在新收集的数据上微调4)中的预训练模型，得到新的适应场景的模型；

6)用5)中得到的适应场景模型对待测试人脸图像提取特征，对得到的特征中对应人脸五官部分做加权操作，得到最终特征向量，

7)用余弦距离度量6)中得到的最终特征向量，判断是否是目标人脸，输出结果。

作为优化的技术方案，所述步骤1)中，将人脸图像调整到128*128大小，且对训练集做颜色直方图均衡化、水平镜像翻转、高斯模糊、添加随机噪声操作。

作为优化的技术方案，所述步骤2)具体包括：设计卷积神经网络，该卷积神经网络包含5个3*3卷积层，5个1*1卷积层，4个池化层，6个MFM激活层，一个全连接层以及损失函数层；3*3卷积层与1*1卷积层结合组成卷积单元；卷积单元之后连接MFM激活层；卷积神经网络中所有池化层均采用最大池化方式，最后一层池化层输出256*8*8特征图；全连接层设定256个神经元，在提取特征时获得一个256维的向量；设定学习策略以及训练参数，将1)得到的训练集送入设计好的卷积神经网络进行训练，得到最初的预训练模型。

作为优化的技术方案，所述步骤5)具体包括：

用在训练数据上获得的最佳预训练模型参数初始化卷积神经网络参数；

将收集到的少量当前场景人脸图像送入网络，进行迭代训练；

得到适应当前场景人脸识别的深度卷积神经网络模型。

作为更进一步具体的方案，所述迭代训练采用梯度下降法，参数更新公式如下：

W_t+1＝W_t+V_t+1

其中，t、t+1为迭代次数，V_t为第t次迭代权重参数更新量，V_t+1为第t+1次迭代权重参数更新量，W_t、W_t+1分别为第t次、第t+1次权重参数，μ是冲量项，一般取0.9，α为学习率，本实验中取e-6，

是计算偏导函数。在微调过程中，采用固定学习率的方法，设置学习率为e-6。

作为优化的技术方案，所述步骤6)具体包括：

对输入图像进行人脸关键点检测，根据得到的人脸关键点计算获得脸部五官区域；

输入测试图像，经过卷积神经网络计算得到全连接层输入的8*8特征图；

计算原始图像中脸部五官区域与全连接层输入的8*8特征图对应位置，对该区域特征乘以一个权重系数，得到最终输出特征图；

将该最终特征图输入到全连接层，映射得到目标特征向量。

作为更进一步具体的方案，对该区域特征乘以一个权重系数，得到最终输出特征图具体采用的加权计算公式为：

其中X_ij是原始特征矩阵，X_ij′是加权之后输出特征矩阵，λ是权重参数，Region为原始特征矩阵中对应人脸的关键区域。

作为优化的技术方案，所述步骤7)具体包括：

计算6)中得到的目标特征向量与人脸库中每一个特征向量的余弦距离，找出人脸库中与目标特征向量余弦距离最大的特征向量，若最大余弦距离大于设定的阈值，则输出该特征向量对应的人脸，否则，人脸库中没有与待识别人脸相似的人脸图像。

本发明相比现有技术具有以下优点：

1)卷积神经网络微调的场景适应性

基于卷积神经网络的人脸识别准确率较高，但是对场景适应性效果不好，所以先预训练一个基于卷积神经网络的人脸识别模型，再用当前场景人脸图像对预训练得到人脸识别模型进行微调，既保证了人脸识别的准确性，又保证了模型的场景适应性。

2)部分特征加权处理

卷积神经网络提取特征是对整个输入图像操作的，没有体现人脸的关键性，所以对对应人脸五官部位的特征进行加权处理，既体强调了五官部位的重要性，又极大的提高了人脸识别的准确率。

附图说明

图1是基于卷积神经网络的人脸识别场景适应的方法的流程图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

请参阅图1，本发明基于卷积神经网络的人脸识别场景适应的方法包括下述步骤：

1)收集人脸数据并做好分类标签，对做好标签的人脸图像数据做预处理和数据增强，分成训练集和验证集两部分；

收集10000类人脸数据，每类20张共200000张人脸图像，对这些数据做人脸矫处理，并且将处理结果数据分成两部分：训练集(每类15张人脸图像)，验证集(每类5张人脸图像)；经过多次实验，我们选择将人脸图像调整到128*128大小；为了使模型得到充分训练，对训练集做颜色直方图均衡化、水平镜像翻转、高斯模糊、添加随机噪声等操作，以此增强数据。

2)将1)中获得的训练集数据送入设计好的卷积神经网络进行训练，得到预训练模型；

设计卷积神经网络，该卷积神经网络包含5个3*3卷积层，5个1*1卷积层，4个池化层，6个MFM激活层，一个全连接层以及损失函数层；3*3卷积层与1*1卷积层结合组成卷积单元，能够极大增加卷积神经网络的拟合能力；相比于其他激活层，卷积单元之后连接MFM激活层使得人脸有效信息得到充分保留；卷积神经网络中所有池化层均采用最大池化方式，最后一层池化层输出256*8*8特征图；全连接层设定256个神经元，在提取特征时可以获得一个256维的向量；设定学习策略以及训练参数，将1)得到的训练集送入设计好的卷积神经网络进行训练，得到最初的预训练模型。

3)用1)中验证数据集测试2)中训练得到的预训练模型，根据测试结果调整训练参数重新训练；

用1)中的验证人脸数据集测试2)中训练得到的预训练模型，根据预训练模型在验证集上的测试结果以及训练过程中神经网络损失变化情况调整训练参数以及网络参数继续训练。

4)重复3)获得最佳预训练模型；

重复3)，直至得到的预训练模型在验证集人脸数据上测试的结果达到要求，并且训练过程中神经网络损失收敛的一定范围之内，停止重复训练，此时都得到最佳预训练模型。

5)根据不同应用场景收集少量人脸图像数据，在新收集的数据上微调4)中的预训练模型，得到新的适应场景的模型，具体包括：

用在训练数据上获得的最佳预训练模型参数初始化卷积神经网络参数；

将收集到的少量当前场景人脸图像送入网络，进行迭代训练；

得到适应当前场景人脸识别的深度卷积神经网络模型。

6)用5)中得到的适应场景模型对待测试人脸图像提取特征，对得到的特征中对应人脸五官部分做加权操作，得到最终特征向量，具体包括：

对输入图像进行人脸关键点检测，根据得到的人脸关键点计算获得脸部五官区域；

输入测试图像，经过卷积神经网络计算得到全连接层输入的8*8特征图；

计算原始图像中脸部五官区域与全连接层输入的8*8特征图对应位置，对该区域特征乘以一个权重系数，得到最终输出特征图；

将该最终特征图输入到全连接层，映射得到目标特征向量。

7)用余弦距离度量6)中得到的最终特征向量，判断是否是目标人脸，输出结果。

计算6)中得到的目标特征向量与人脸库中每一个特征向量的余弦距离，找出人脸库中与目标特征向量余弦距离最大的特征向量，若最大余弦距离大于设定的阈值，则输出该特征向量对应的人脸，否则，人脸库中没有与待识别人脸相似的人脸图像。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于卷积神经网络的人脸识别场景适应的方法，其特征在于：包括下述步骤：

1)收集人脸数据并做好分类标签，对做好标签的人脸图像数据做预处理和数据增强，分成训练集和验证集两部分；

2)将1)中获得的训练集数据送入设计好的卷积神经网络进行训练，得到预训练模型，具体包括：设计卷积神经网络，该卷积神经网络包含5个3*3卷积层，5个1*1卷积层，4个池化层，6个MFM激活层，一个全连接层以及损失函数层；3*3卷积层与1*1卷积层结合组成卷积单元；卷积单元之后连接MFM激活层；卷积神经网络中所有池化层均采用最大池化方式，最后一层池化层输出256*8*8特征图；全连接层设定256个神经元，在提取特征时获得一个256维的向量；设定学习策略以及训练参数，将1)得到的训练集送入设计好的卷积神经网络进行训练，得到最初的预训练模型；

3)用1)中验证数据集测试2)中训练得到的预训练模型，根据测试结果调整训练参数重新训练；

4)重复3)获得最佳预训练模型；

5)根据不同应用场景收集少量人脸图像数据，在新收集的数据上微调4)中的预训练模型，得到新的适应场景的模型；

6)用5)中得到的适应场景模型对待测试人脸图像提取特征，对得到的特征中对应人脸五官部分做加权操作，得到最终特征向量；

7)用余弦距离度量6)中得到的最终特征向量，判断是否是目标人脸，输出结果。

2.如权利要求1所述的一种基于卷积神经网络的人脸识别场景适应的方法，其特征在于：

所述步骤1)中，将人脸图像调整到128*128大小，且对训练集做颜色直方图均衡化、水平镜像翻转、高斯模糊、添加随机噪声操作。

3.如权利要求1所述的一种基于卷积神经网络的人脸识别场景适应的方法，其特征在于：所述步骤5)具体包括：

用在训练数据上获得的最佳预训练模型参数初始化卷积神经网络参数；

将收集到的少量当前场景人脸图像送入网络，进行迭代训练；

得到适应当前场景人脸识别的深度卷积神经网络模型。

4.如权利要求3所述的一种基于卷积神经网络的人脸识别场景适应的方法，其特征在于：所述步骤5)具体包括：

作为更进一步具体的方案，所述迭代训练采用梯度下降法，参数更新公式如下：

V_t+1＝μV_t-α▽L(W_t)

W_t+1＝W_t+V_t+1

其中，t、t+1为迭代次数，V_t为第t次迭代权重参数更新量，V_t+1为第t+1次迭代权重参数更新量，W_t、W_t+1分别为第t次、第t+1次权重参数，μ是冲量项，一般取0.9，α为学习率，本实验中取e-6，▽L是计算偏导函数；在微调过程中，采用固定学习率的方法，设置学习率为e-6。

5.如权利要求1所述的一种基于卷积神经网络的人脸识别场景适应的方法，其特征在于：所述步骤6)具体包括：

对输入图像进行人脸关键点检测，根据得到的人脸关键点计算获得脸部五官区域；

输入测试图像，经过卷积神经网络计算得到全连接层输入的8*8特征图；

计算原始图像中脸部五官区域与全连接层输入的8*8特征图对应位置，对该区域特征乘以一个权重系数，得到最终输出特征图；

将该最终输出特征图输入到全连接层，映射得到目标特征向量。

6.如权利要求5所述的一种基于卷积神经网络的人脸识别场景适应的方法，其特征在于：

对该区域特征乘以一个权重系数，得到最终输出特征图具体采用的加权计算公式为：

其中X_ij是原始特征矩阵，X_ij′是加权之后输出特征矩阵，λ是权重参数，Region为原始特征矩阵中对应人脸的关键区域。

7.如权利要求5所述的一种基于卷积神经网络的人脸识别场景适应的方法，其特征在于：所述步骤7)具体包括：

计算6)中得到的目标特征向量与人脸库中每一个特征向量的余弦距离，找出人脸库中与目标特征向量余弦距离最大的特征向量，若最大余弦距离大于设定的阈值，则输出该特征向量对应的人脸，否则，人脸库中没有与待识别人脸相似的人脸图像。

Images