CN107506702A - 基于多角度的人脸识别模型训练及测试系统及方法 - Google Patents

Abstract

本发明公开了一种基于多角度的人脸识别模型训练及测试系统，包括人脸样本库角度划分模块、多角度样本组合训练模块、结合人脸角度的损失函数计算模块、多角度人脸识别模型测试模块。本发明适用多角度人脸的识别，能够克服了非正脸在人脸识别过程中识别效果差的问题，提高非正脸在人脸识别过程中的准确性。

Description

基于多角度的人脸识别模型训练及测试系统及方法

技术领域

本发明属于深度神经网络提取脸部特征的深度学习领域，涉及到神经网络、模式识别等技术，尤其涉及到基于多角度的人脸识别模型训练及测试方法。

背景技术

人脸识别技术是现今人工智能以及模式识别的研究热点，是一种依据人的面部特征自动进行身份鉴别的生物识别结束。它在访问控制、司法应用、电子商务和视频监控等领域都有广泛的应用。

随着科技的发展，人脸识别的应用范围不断扩大，逐渐从公安刑侦领域，推广到民用市场，如具有人脸识别功能的防盗门、人脸识别考勤系统等，被广泛应用于安防领域。但是这些系统在现实场景应用过程中对于待识别人脸的姿态有较高要求，人脸正面识别效果及准确率明显高于带有一定偏差角度的人脸，在实时场景中的人常处一种运动状态，无法保证采集人脸为清晰正面照，于对于抓拍到的侧脸照片存在十分困难的识别问题。

解决上述问题的关键就是要克服非正脸难以识别的问题，根据待测人脸角度与特定的人脸识别模型相结合实现身份的正确匹配，提高现实场景下非正脸的识别准确率。人脸识别技术的传统方法是基于人脸特征点提取对比完成识别。现在常用的特征提取方法包括主成分分析法(简称PCA算法)、局部二值模式算法(简称LBP算法)等，但是这些方法具有局限性，通常对于正面人脸的特征提取有作用，而对于非正面人脸的特征提取而言这些算法均会失效，人脸特征提取模型的有效性直接影响到分类的速度和识别性能。所以要实现多角度非正面人脸的准确识别要通过更有效的解决方法。

发明内容

本发明克服了现有技术的不足之处，提出了一种基于多角度的人脸识别模型训练及测试方法，意在利用卷积神经网络训练出适用于多角度的人脸识别模型，提高非正脸在人脸识别过程的识别况下的身份识别正确性。

本发明为达上述发明目的，采用如下技术方案：

基于多角度的人脸识别模型训练及测试系统的特点体现在四个模块：包括人脸样本库角度划分模块、多角度训练样本组合模块、结合人脸角度的损失函数计算模块、多角度人脸识别模型测试模块。

所述人脸样本库角度划分模块首先选择N个不同身份的人脸，每一个身份有P张连续角度变化人脸照片作为一组人脸多角度照片序列，设定左右方向旋转角度分别为α和-α，上下方向旋转角度分别为β和-β。将待训练的人脸样本按照上述两个方向旋转角度进行划分，每一组多角度照片序列以θ₁为角度间隔将左右方向旋转角度区间(-α,α)划分为m类，即m＝(α/θ₁)×2，以θ₂为角度间隔将上下方向旋转角度区间(-β,β)划分为n类，即n＝(α/θ₂)×2，则一组人脸多角

度照片序列共可划分为m×n类，m×n类的角度

划分范围可归纳为下面四种表达形式：

{(α₀∈[k₁θ₁,k₁θ₁+θ₁),β₀∈[k₂θ₂,k₂θ₂+θ₂)),

(α₀∈[-(k₁θ₁+θ₁),-k₁θ₁),β₀∈[k₂θ₂,k₂θ₂+θ₂)),

(α₀∈[k₁θ₁,k₁θ₁+θ₁),β₀∈[-(k₂θ₂+θ₂),-k₂θ₂)),

(α₀∈[-(k₁θ₁+θ₁),-k₁θ₁),β₀∈[-(k₂θ₂+θ₂),-k₂θ₂))}

其中k₁,k₂为整数，k₁∈[0,m),k₂∈[0,n)，α₀,β₀分别表示训练样本中人脸左右方向旋角度和上下方向旋转角度；

每一类训练样本有N个不同身份，每一个训练样本标签包括α₀,β₀以及所属身份，进而完成了多角度人脸识别模型训练样本数据库的构建；

所述多角度训练样本组合模块，根据人脸样本库角度划分模块确定所需训练模型的个数为人脸样本按照角度进行划分的类别数即m×n个，在进行其中某一个角度类别人脸识别模型训练时，在训练样本中添加一定比例的相邻角度类别的人脸训练样本，以提高模型的识别效果。即在训练人脸角度类别为(α₀∈[α₁,α₂),β₀∈[β₁,β₂))对应的人脸识别模型时，在角度范围为(α₀∈[α₁,α₂),β₀∈[β₁,β₂))的训练样本中添加占当前模型训练样本数量s％的相邻人脸角度范围为(α₀∈[α₂,α₂+θ₁),β₀∈[β₁,β₂))，(α₀∈[α₁-θ₁,α₁),β₀∈[β₁,β₂))，(α₀∈[α₁,α₂),β₀∈[β₁-θ₂,β₁)),α₀∈[α₁,α₂),β₀∈[β₂,β₂+θ₂)的样本进行训练，以此类推，得到每一个模型的训练样本组合，通过基于多层神经网络的人脸识别训练分别获得适应于m×n类不同人脸角度的m×n个人脸识别模型。

所述结合人脸角度的损失函数计算模块是在损失函数计算公式基础上加入角度参数，其中，未加入人脸角度值的损失函数计算公式为：

其中：x_i∈R^d表示第i个样本的特征，y_i表示第i个样本的身份标签，w_j代表权重的第j个列；b为偏置项,n为总训练样本的身份类别数。

结合人脸多角度值计算损失函数，将人脸旋转角度α、β加入到公式(1)的计算过程中，结合人脸样本库角度划分模块与多角度训练样本组合模块，将人脸多角度值计算损失函数分为两种情况进行计算：

当前训练模型对应的人脸左右旋转方向角度范围为[α₁,α₂)，上下旋转方向角度范围为[β₁,β₂)，输入训练样本的人脸角度为α₀，β₀:

1.当α₀∈[α₁,α₂),β₀∈[β₁,β₂)时损失函数计算公式为公式(1)；

2.当时，损失函数计算公式为：

所述多角度的人脸识别模型测试模块首先对每一个测试照片进行人脸在左右方向和上下方向角度值得计算，进而确定所使用的多角度的人脸识别模型类别，再将对应角度类别的人脸识别模型提取特征与多角度人脸识别模型训练样本数据库中属于该模型人脸角度类别的N个人的特征进行余弦相似度计算，选取余弦相似度最大的人脸标签作为最终的识别结果。

本发明基于多角度的人脸识别模型训练及测试方法的特点是按如下步骤进行：

步骤1、选择N个不同身份的人脸且每一个身份具有P张连续角度变化照片作为训练样本数据集，将每一个身份的多角度照片作为一组人脸多角度照片序列；

步骤2、将每一组人脸多角度照片序列按照左右方向旋转和上下方向旋转两个方向进行人脸角度划分，每一组多角度照片序列以θ₁为角度间隔将左右旋转角度区间(-α,α)划分为m类,以θ₂为角度间隔将上下旋转角度区间(-β,β)划分为n类,则一组人脸多角度照片序列共可划分为m×n类，每一类有N个不同身份标签；步骤3、利用已划分的m×n类多角度人脸数据集训练m×n个适用于不同角度范围的人脸识别模型，在训练每一个角度类别的样本中添加一定数量相邻角度的训练样本进行训练，进而得到每一个模型的训练样本组合；

步骤4、在多角度人脸识别模型训练网络中结合人脸多角度值计算损失函数；

步骤5、利用按照步骤2、步骤3选择和分类好的多角度人脸训练数据集以及在损失函数中加入角度变量的训练网络开始m×n个多角度人脸识别子模型的训练；

步骤6、对每一个测试照片进行人脸在左右方向和上下方向α、β角度值的计算，确定所属角度类别，选取对应的人脸识别模型，利用适合该角度的人脸识别模型提取特征，分别与该子模型训练样本数据库中属于该子模型人脸角度类别的N个人的特征进行余弦相似度计算，选取余弦相似度最大的人脸标签作为最终的识别结果。

与现有技术相比，本发明的有益效果体现在：

1.本发明提出一种适用于多角度人脸识别的训练及测试方法，根据人脸不同角度训练出多个适用于多种人脸角度识别模型，首先判断待测人脸角度，再根据角度选择对应该人脸识别角度范围的人脸识别模型，采取角度不同人脸识别模型不同的策略，克服了在人脸识别过程中非正脸识别效果差的问题。

2.本发明在多角度人脸识别模型训练样本的选择及分类阶段，将人脸训练样本按照左右旋转和上下旋转两个方向的角度进行分类，在人脸识别模型实际应用过程中人基本处于一种运动状态，人脸姿态是随机的，角度不是单一方向变化，将左右方向旋转和上下方向转动相结合，训练的多角度人脸识别模型能够适应真实场景下的各种姿态的人脸识别。

3.本发明利用多角度人脸样本训练多个人脸识别模型过程中，在训练每一个人脸角度类别模型的对应人脸角度样本中会添加一定比例的相邻人脸角度的样本，例如，在训练人脸正面识别模型时会在正面样本数据集中加入一定数量的相邻角度的非正面照样本，在人脸角度不断连续变化的动态场景下能够提高模型之间的衔接连贯性。

4.本发明在多角度人脸识别模型训练神经网络中结合人脸多角度值计算损失函数，当输入训练样本角度属于训练目标模型人脸识别角度范围时，利用公式(1)计算损失函数，当输入训练样本角度不属于训练目标模型人脸识别角度范围时，利用公式(2)计算损失函数，保证了目标训练模型在其所识别的人脸角度范围内的有效性，同时增加了与其邻近角度人脸的识别兼容性。

附图说明

图1是多角度人脸识别模型训练及测试方法流程示意图。

图2是多角度样本组合训练模块示意图。

图3是多角度人脸识别模型测试模块示意图。

具体实施方式

下面结合附图对本发明作进一步说明。

本实施例中，如图1所示，本发明的基于多角度的人脸识别模型训练及测试系统，具体实现包括四个核心模块：人脸样本库角度划分模块、多角度训练样本组合模块、结合人脸角度的损失函数计算模块、多角度人脸识别模型测试模块。

人脸样本库角度划分模块，首先选择N个不同人的每一个人脸的P张连续角度变化的照片作为一组人脸多角度照片序列，将待训练的人脸照片按照左右旋转和上下旋转两个方向角度进行划分，左右旋转角度变化范围[-α,α]＝[-75°,75°]，上下旋转角度变化范围[-β,β]＝[-45°,45°]，每一组多角度照片序列以θ₁＝25°为角度间隔将[-α,α]角度区间划分为m＝150/25＝6类,以θ₂＝15°为角度间隔将[-β,β]角度区间划分为n＝90/15＝6类，则一组人脸多角度照片序列按照角度范围不同可划分为6×6＝36类，36类的角度范围可归纳为下面四种表达形式：

{(α₀∈[k₁×25°,k₁×25°+25°),β₀∈[k₂×15°,k₂×15°+15°)),

(α₀∈[-(k₁×25°+25°),-k₁×25°),β₀∈[k₂×15°,k₂×15°+15°)),

(α₀∈[k₁×25°,k₁×25°+25°),β₀∈[-(k₂×15°+15°),-k₂×15°)),

(α₀∈[-(k₁×25°+25°),-k₁×25°),β₀∈[-(k₂×15°+15°),-k₂×15°))}

其中k₁,k₂为整数，k₁∈[0,m),k₂∈[0,n)，α₀,β₀分别表示训练样本中人脸左右方向旋角度和上下方向旋转角度；

每一类中有N个不同身份标签。每一类中的每一个训练样本标签包括其α、β值以及所属身份，进而完成了多角度人脸识别模型训练样本数据库的构建。

多角度训练样本组合模块，根据多角度人脸识别模型训练样本的选择及分类确定所需训练模型的个数为人脸样本按照角度进行划分的类别数即m×n＝36个，在训练其中某一个人脸角度类别的人脸识别模型时，在该人脸角度类别训练样本中添加一定比例的相邻角度类别的人脸训练样本，训练所识别人脸角度范围在(α₀∈[0°,25°),β₀∈[0°,15°))的人脸识别模型时，在该角度范围的每个身份的40张训练样本中额外添加该身份在角度范围为(α₀∈[25°,50°),β₀∈[0°,15°))和(α₀∈[0°,25°),β₀∈[15°,30°))的8个训练样本，则每个类中的每个身份具有48张训练样本，每个类的训练样本总数为N×48个。

结合人脸角度的损失函数计算模块，结合关于多角度人脸识别模型训练样本的选择及分类，将人脸多角度值计算损失函数分为两种情况进行计算：

当前训练模型对应的人脸左右旋转方向角度范围为[0°,25°)，上下旋转方向角度范围为[0°,15°)，输入训练样本的人脸角度为α₀，β₀:

1.当α₀∈[0°,25°],β₀∈[0°,15°]时损失函数计算公式为：

2.当时，损失函数计算公式为：

多角度的人脸识别模型测试模块首先对每一个测试照片进行人脸在左右方向和上下方向α、β角度值的计算，确定所属角度类别，选取对应的人脸识别模型，利用适合该角度的人脸识别模型提取特征，分别与多角度人脸识别模型训练样本数据库中属于该模型人脸角度类别的N个人的特征进行余弦相似度计算，选取余弦相似度最大的人脸标签作为最终的识别结果。

Claims (6)

1.一种基于多角度的人脸识别模型训练及测试系统，包括人脸样本库角度划分模块、多角度样本组合训练模块、结合人脸角度的损失函数计算模块、多角度人脸识别模型测试模块，其特征在于：

所述人脸样本库角度划分模块，将具有多张连续角度变化人脸照片的多个不同身份的人脸按左右方向和上下方向进行划分，完成多角度人脸识别模型训练样本数据库的构建；

所述多角度样本组合训练模块，利用所述不同人脸角度的样本获得不同人脸识别子模型；

所述结合人脸角度的损失函数计算模块，将人脸左右方向旋转和上下方向旋转角度加入到损失函数的计算过程中；

所述多角度人脸识别模型测试模块，对每一个测试照片进行人脸在左右方向和上下方向旋转角度值的计算，确定所要使用的多角度的人脸识别子模型。

2.如权利要求1所述的基于多角度的人脸识别模型训练及测试系统，其特征在于：所述人脸样本库角度划分模块，首先选择N个不同身份的人脸，每一个身份有P张连续角度变化人脸照片，将其作为一组人脸多角度照片序列，假设左右方向旋转角度最大值为α，上下方向旋转角度最大值为β，向左和向下方向的角度为负值，向右和向上方向的角度为正值；将待训练的人脸样本按照上述两个方向旋转角度进行划分，每一组多角度照片序列以θ₁为角度间隔将左右方向旋转角度区间(-α,α)划分为m类，即m＝(α/θ₁)×2，以θ₂为角度间隔将上下方向旋转角度区间(-β,β)划分为n类，即n＝(α/θ₂)×2，则一组人脸多角度照片序列共可划分为m×n类，所有m×n类的角度范围可归纳为下面四种表达形式：

{(α₀∈[k₁θ₁,k₁θ₁+θ₁),β₀∈[k₂θ₂,k₂θ₂+θ₂)),

(α₀∈[-(k₁θ₁+θ₁),-k₁θ₁),β₀∈[k₂θ₂,k₂θ₂+θ₂)),

(α₀∈[k₁θ₁,k₁θ₁+θ₁),β₀∈[-(k₂θ₂+θ₂),-k₂θ₂)),

(α₀∈[-(k₁θ₁+θ₁),-k₁θ₁),β₀∈[-(k₂θ₂+θ₂),-k₂θ₂))}

其中k₁,k₂为整数，k₁∈[0,m),k₂∈[0,n)，α₀,β₀分别表示训练样本中人脸左右方向旋角度和上下方向旋转角度；

每一类训练样本有N个不同身份，每一个训练样本标签包括α₀,β₀值以及所属身份，进而完成多角度人脸识别模型训练样本数据库的构建。

3.如权利要求1所述的基于多角度的人脸识别模型训练及测试系统，其特征在于：所述多角度训练样本组合模块，利用不同人脸角度的样本获得不同人脸识别子模型的方法：根据多角度人脸识别模型训练样本的选择及分类确定所需训练的人脸识别子模型个数，即为人脸样本按照角度进行划分的类别数m×n个，在训练适用于某一个人脸角度类别的人脸识别子模型时，在该人脸角度类别训练样本中添加占当前模型训练样本数量s％的相邻人脸角度类别中的人脸训练样本参与训练，即在训练人脸角度类别为(α₀∈[α₁,α₂),β₀∈[β₁,β₂))，对应的人脸识别子模型时，在角度范围为(α₀∈[α₁,α₂),β₀∈[β₁,β₂))的训练样本中添加占当前训练样本数量s％的角度范围为：

的样本进行训练，进而得到每一个模型的训练样本组合，通过基于多层神经网络的人脸识别训练分别获得适应于m×n类不同人脸角度的m×n个人脸识别子模型。

4.如权利要求1所述的基于多角度的人脸识别模型训练及测试系统，其特征在于：所述结合人脸角度的损失函数计算模块，将人脸左右方向旋转和上下方向旋转角度加入到损失函数的计算过程中，根据每一个子模型的训练样本组合形式，将结合人脸角度值的损失函数分为两种情况进行计算：

当前训练模型对应的人脸左右方向旋转角度范围为[α₁,α₂)，上下方向旋转角度范围为[β₁,β₂)，输入训练样本的人脸角度为α₀，β₀:

当α₀∈[α₁,α₂),β₀∈[β₁,β₂)时，损失函数计算公式为：

当时，损失函数计算公式为：

其中：x_i∈R^d表示第i个样本的特征，y_i表示第i个样本的身份标签，w_j代表权重的第j个列；b为偏置项,n为总训练样本的身份类别数。

5.如权利要求1所述的基于多角度的人脸识别模型训练及测试系统，其特征在于：所述多角度人脸识别模型测试模块，首先对每一个测试照片进行人脸在左右方向和上下方向旋转角度值的计算，进而确定所要使用的多角度的人脸识别子模型，调用适合该人脸角度类别的人脸识别子模型，再将该子模型提取的人脸特征向量与该子模型训练样本数据库中属于该子模型人脸角度类别的训练样本组合中N个人的特征进行余弦相似度计算，选取余弦相似度最大的人脸标签作为最终的识别结果。

6.一种基于多角度的人脸识别模型训练及测试方法，其特征在于：按照如下步骤进行：

步骤1、选择N个不同身份的人脸且每一个身份具有P张连续角度变化照片作为训练样本数据集，将每一个身份的多角度照片作为一组人脸多角度照片序列；

步骤2、将每一组人脸多角度照片序列按照左右方向旋转和上下方向旋转两个方向进行人脸角度划分，每一组多角度照片序列以θ₁为角度间隔将左右旋转角度区间(-α,α)划分为m类,以θ₂为角度间隔将上下旋转角度区间(-β,β)划分为n类,则一组人脸多角度照片序列共可划分为m×n类，每一类有N个不同身份标签；

步骤3、利用已划分的m×n类多角度人脸数据集训练m×n个适用于不同角度范围的人脸识别模型，在训练每一个角度类别的样本中添加一定数量相邻角度的训练样本进行训练，进而得到每一个模型的训练样本组合；

步骤4、在多角度人脸识别模型训练网络中结合人脸多角度值计算损失函数；

步骤5、利用按照步骤2、步骤3选择和分类好的多角度人脸训练数据集以及在损失函数中加入角度变量的训练网络开始m×n个多角度人脸识别子模型的训练；

步骤6、对每一个测试照片进行人脸在左右方向和上下方向α、β角度值的计算，确定所属角度类别，选取对应的人脸识别模型，利用适合该角度的人脸识别模型提取特征，分别与该子模型训练样本数据库中属于该子模型人脸角度类别的N个人的特征进行余弦相似度计算，选取余弦相似度最大的人脸标签作为最终的识别结果。