CN106228142A - 基于卷积神经网络和贝叶斯决策的人脸验证方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络和贝叶斯决策的人脸验证方法，其步骤为：1)用人脸训练数据库训练卷积神经网络和贝叶斯模型；2)将测试数据库进行人脸检测、对齐等预处理，随机将测试人脸组合成6000对人脸；3)用卷积神经网络提取测试人脸图像对的特征向量，计算相似度；4)将特征向量经PCA降维后送入贝叶斯网络，结合相似度计算后验概率，设定阈值并判定每对人脸是否属于同一个人。本发明增强了人脸认证的鲁棒性，提高了人脸认证速度和准确率，可运用在身份认证，公共安全等领域。

Description

基于卷积神经网络和贝叶斯决策的人脸验证方法

技术领域

本发明属于图像处理技术领域，更进一步涉及模式识别和人工智能技术领域中的一种基于卷积神经网络和贝叶斯决策的人脸验证方法。本发明是利用从卷积神经网络得到的图像特征信息，通过贝叶斯决策的方法公布了一种新的人脸验证系统，其包括人脸检测、人脸预处理、人脸特征提取和人脸认证等内容，增强了人脸认证的鲁棒性，提高了人脸认证速度和准确率。可适用于身份认证，公共安全等领域，提高图像处理的精度和效率。

背景技术

随着人脸识别技术的不断发展，人脸图像在安全领域的应用越来越广泛。近几年来开始出现人脸识别解锁，人脸考勤机，人脸识别门禁，刷脸支付等等应用，在一些对安全性能要求比较高的应用场合中，对人脸验证技术提出更高的要求，传统的人脸识别技术面临严峻的挑战。人脸认证是将两张人脸图片或者视频帧进行比对验证，判断这两张人脸图片或者视频帧是否属于同一个人，本发明主要研究人脸图像的比对验证问题。人脸的检测和认证受到诸多因素的影响，其核心挑战在于如何区分背景、遮挡、表情、光线和年龄等因素引起的类内变化和由于本身身份不同而引起的类间变化。

李久超,姚兆和姜辉在其发表的论文“基于PCA的人脸验证”([J].科学导报,2015(14))中提出了一种基于模糊隶属度的PCA人脸验证方法。该方法采用人脸视频作为输入，利用人脸视频数据库，通过主成分分析进行特征提取，进行人脸验证。该方法将高维度的人脸模式识别问题转化为低维度问题，将人脸数据进行空间映射，使得映射后的人脸数据在子空间中具有紧凑一致性，在低维子空间完成人脸的认证匹配，提高了人脸认证效率。但是，该方法仍然存在的不足之处是，由于该方法属于基于统一子空间分析的认证方法，其实时性无法得到保证，一旦遭遇自然背景复杂、人脸模式多变的情况下，其认证精度也无法得到满意的效果。

北京中星微电子有限公司在其申请的专利“分类器训练方法和装置以及人脸认证方法和装置”(申请号：200910241623.7公开号：101719222A)中公开了一种分类器训练方法和装置以及人脸认证方法和装置。该发明的方法是将人脸图像划分为若干相互交叠的子区域，先利用人脸图像在每个子区域内的特征向量分别为各子区域训练一个子区域分类器，使每个子区域分类器可输出一置信度，用于表示基于该子区域内所具有的特征向量，可确定特征向量所属人脸为真的概率；再利用各子区域分类器输出的置信度训练得到一综合分类器，使该综合分类器能够基于其各子区域所对应的置信度确定人脸是否为真。在人脸认证时可通过子区域分类器更多地利用人脸局部特征，并基于人脸局部特征所对应的置信度综合判断该人脸是否为真，从而提高人脸认证的准确性。但是，该方法仍然存在不足之处，由于该方法是基于样本学习的认证方法,自学习能力差,容易出现人脸模型过拟合，也不具备较高的鲁棒性。

北京建筑工程学院在其申请的专利“基于神经网络的人脸识别方法”(申请号：CN201210545155.4公开号：CN103020602A)中公开了一种基于神经网络的人脸识别方法。该发明的方法首先通过已知类别的人脸图像对神经网络进行训练，将人脸特征的提取用神经网络的学习过程实现，将人脸特征的描述用连接权大小表示，然后用训练样本测试训练好的神经网络并确定分类阈值；在识别阶段，将待识别人脸图像输入到神经网络，计算神经网络输出向量，取其中最大分量与分类阈值比较给出识别结果。但是该方法仍然存在的不足之处是，由于该方法是基于神经网络学习的人脸认证方法，虽然其识别效果比较理想，自学习能力强，但是针对人脸认证，其类内区分度远远小于类间区分度，类内区分度需要得到提升。

发明内容

本发明的目的在于克服上述已有技术的不足，提出一种基于卷积神经网络和贝叶斯决策的人脸验证方法，增强人脸认证的鲁棒性，提高人脸认证速度和准确率。

本发明的技术思路是：基于卷积神经网络的深度学习算法结合贝叶斯统计决策方法，先用卷积神经网络提取出人脸对的关键特征，经过降维处理后再送入贝叶斯分类器进行分类判决，判定其是否属于同一个人。

为实现上述目的，本发明包括如下主要步骤：

(1)预处理训练样本：

(1a)选择海量人脸图像数据库中的样本作为训练样本；

(1b)使用opencv库中的Haar特征检测器检测训练样本图像中的人脸五官特征点并定位，使用opencv库中的cv.getAffineTransform(·)函数对定位后的特征点进行仿射变换，实现训练样本的对齐预处理，使用opencv库中的cv.SetImageROI(·)函数将对齐后的样本图像进行人脸图像分割预处理，得到精简训练样本；

(1c)利用caffe框架脚本将精简训练样本转变成lmdb格式的数据；

(2)训练卷积神经网络：

(2a)将卷积神经网络中每个隐藏层的初始权重均赋予一个随机值，每个隐藏层的初始偏置全赋予0值；

(2b)按照下式，计算卷积神经网络中每一个隐藏层的输出向量：

${x_j}^{\left(l\right)}=f(\underset{i\∈M}{\Σ}{x_i}^{(l-1)}*{W_i}^{\left(l\right)}+{b_i}^{\left(l\right)})$

其中，x_j ^(l)表示卷积神经网络中第l个隐藏层的第j个输出向量，f表示线性变换操作，∑表示求和操作，i表示第i个输入的lmdb数据，M表示输入lmdb数据的集合，x_i ^(l)表示第l个隐藏层中的第i个输入的lmdb数据，l表示神经网络的第l个隐藏层，*表示卷积操作，W_i ^(l)表示第l个隐藏层的第i个输入的权重矩阵，b_i ^(l)表示第l个隐藏层的第i个输入的偏置矩阵；

(2c)按照下式，更新卷积神经网络的参数：

${W_i}^{\left(1\right)}={W_i}^{\left(1\right)}-\mathrm{\α}\frac{\∂}{\∂{W_i}^{\left(1\right)}}J(W,b)$

${b_i}^{\left(1\right)}={b_i}^{\left(1\right)}-\mathrm{\α}\frac{\∂}{\∂{b_i}^{\left(1\right)}}J(W,b)$

其中，W_i ^(l)表示卷积神经网络中第l个隐藏层的第i个输入lmdb格式的数据的权重矩阵，i表示第i个输入lmdb格式的数据，α表示学习率，通常采用经验值0.1，表示对W_i ^(l)求梯度操作，J(W,b)表示第l个隐藏层的输出向量，b_i ^(l)表示卷积神经网络中第l个隐藏层的第i个输入lmdb格式的数据的偏置矩阵，表示对b_i ^(l)求梯度操作；

(2d)判断神经网络的输出是否满足终止条件，若是，执行步骤(2e)，否则，执行步骤(2c)；

(2e)神经网络的每个权重W_i ^(l)和每个偏置b_i ^(l)均收敛到了合适的值，训练得到了最优化卷积神经网络；

(3)获得子精简训练样本：

从精简训练样本数据库中抽取3000对相同人脸图像和3000对不同人脸图像，作为主成分分析PCA模型和贝叶斯模型训练的子精简训练样本；

(4)训练主成分分析PCA模型：

(4a)按照下式，对子精简训练样本进行归一化处理，得到归一化后的精简训练样本的特征向量矩阵：

$V^{\′}=\frac{V-\stackrel{\‾}{V}}{\mathrm{\σ}}$

其中，V′表示归一化后的子精简训练样本的特征向量矩阵，V表示子精简训练样本的特征向量矩阵，大小为m×n，m表示子精简训练样本的数量，n表示子精简训练样本图像的维度，表示子精简训练样本图像的特征向量的均值，σ表示子精简训练样本图像的特征向量的标准差；

(4b)按照下式，计算子精简训练样本的的协方差矩阵：

$C=\frac{1}{m}{V}^{\′T}\·V$

其中，C表示子精简训练样本的协方差矩阵，m表示精简训练样本的数量，V′表示归一化后子精简训练样本的特征向量矩阵，V表示子精简训练样本图像的特征向量矩阵；

(4c)调用numpy模块中的eig(·)函数计算子精简训练样本的的协方差矩阵C的特征值和特征向量，对特征值进行从大到小排序，得到对应前个最大特征值的特征向量，将该特征向量作为降维矩阵；

(5)提取人脸关键特征：

将精简训练样本子数据库的lmdb数据输入到卷积神经网络中，提取出4096维人脸关键特征；

(6)对人脸关键特征进行降维操作：

将4096维人脸特征与PCA模型的降维矩阵相乘，将每一个特征降至768维；

(7)划分子样本：

将子精简训练样本数据库划分成3000对相同人脸图像组成的同类子数据库和3000对不同人脸图像组成的异类子数据库；

(8)训练联合贝叶斯模型：

(8a)将类内标签矩阵和类间标签矩阵均设定为3000*3000大小，将矩阵中的每个元素赋予随机初值，分别计算类内标签矩阵和类间标签矩阵的协方差矩阵；

(8b)按照下式，更新类内标签矩阵的协方差矩阵和类间标签矩阵的协方差矩阵：

$S_{\mathrm{\μ}}=n^{-1}\underset{i}{\Σ}{\mathrm{\μ}}_i{{\mathrm{\μ}}_i}^T$

$S_{\mathrm{\ϵ}}=n^{-1}\underset{i}{\Σ}\underset{j}{\Σ}{\mathrm{\ϵ}}_{ij}{{\mathrm{\ϵ}}_{ij}}^T$

其中，S_μ表示更新后的类内标签矩阵μ的协方差矩阵，n表示更新的次数，∑表示求和操作，i表示矩阵的第i行，μ_i表示类内标签矩阵μ的第i行，T表示转置操作，S_ε表示更新后的类间标签矩阵ε的协方差矩阵，ε_ij表示类间标签矩阵ε中位于第i行第j列的元素值；

(8c)判断更新后的协方差矩阵S_μ和S_ε的值是否均不再减小，若是，训练阶段结束，执行步骤(9)，否则，执行步骤(8b)；

(9)预处理测试样本：

(9a)从国际公开LFW数据库中任意选取3000对相同人脸图像和3000对不相同人脸图像作为测试样本；

(9b)检测测试样本图像中的人脸五官特征点并定位，对定位后的特征点进行仿射变换，实现测试样本的对齐预处理，根据定位后的特征点对经过对齐处理后的测试样本进行人脸图像分割预处理，得到精简测试样本；

(9c)利用caffe框架脚本得到精简测试样本的lmdb格式的数据；

(10)获取精简测试样本的图像特征向量：

将精简测试样本的lmdb数据分别输入卷积神经网络，获得精简测试样本图像的4096维图像特征向量；

(11)计算先验概率：

计算每对4096维人脸特征之间的余弦相似度，将每个余弦相似度值作为判断该人脸对属于同一人的先验概率；

(12)降维处理：

将4096维人脸特征向量与PCA模型的降维矩阵相乘，将其降至768维；

(13)计算后验概率：

将每对768维特征向量输入训练好的贝叶斯模型，计算每对特征向量对应的贝叶斯调整因子，将每对特征向量的调整因子与判断对应人脸对属于同一人的先验概率相乘，计算出每一个人脸图像对属于同一个人的后验概率；

(14)赋予标签：

(14a)将后验概率大于0.85的图像对，赋予同类标签；

(14b)将后验概率小于或等于0.85的图像对，赋予不同类标签；

(15)按照下式，计算从国际公开LFW数据库中选取的6000对样本图像的认证准确率和召回率：

$p=\frac{n}{N}$

$r=\frac{n_1}{N_1}$

其中，p表示从国际公开LFW数据库中选取的6000对样本图像的认证准确率，n表示判定正确的人脸对数目，N表示总共测试的人脸对数目，r表示从国际公开LFW数据库中选取的6000对样本图像的召回率，n₁表示人脸测试对中判定为同类且判定结果正确的数目，N₁表示同类人脸对总数目。

本发明与现有技术相比，具有如下优点：

第一，由于本发明使用了卷积神经网络提取图像特征，克服了现有技术自学习能力差，人脸模型容易过拟合，鲁棒性低的缺点，使得本发明具有更强的自主学习能力，更好的泛化性和更高的鲁棒性。

第二，由于本发明使用了主成分分析PCA模型对图像特征进行了降维操作，经实验测试得到每对人脸图像进行认证的平均时间只有0.06秒，克服了现有技术实时性不强的缺点，使得本发明提高了人脸认证的实时性。

第三，由于本发明使用了贝叶斯模型计算后验概率，克服了现有技术采用单纯的卷积神经网络对类内变化区分度不高的缺点，使得本发明进一步提高了认证的准确率。

附图说明

图1是本发明的流程图；

图2是本发明测试性能曲线图；

图3是本发明的仿真图。

具体实施方式

下面结合附图，对本发明的步骤作进一步的详细描述。

参照附图1，本发明实现的具体步骤如下。

步骤1，预处理训练样本。

选择海量人脸图像数据库中的样本作为训练样本，其中海量人脸图像数据库包括PubFig人脸数据库，WDRef人脸数据库、CelebFaces人脸数据库、非公开的通过网上爬取的人脸图片。

使用opencv库中的Haar特征检测器检测训练样本图像中的人脸五官特征点并定位，使用opencv库中的cv.getAffineTransform(·)函数对定位后的特征点进行仿射变换，实现训练样本的对齐预处理，使用opencv库中的cv.SetImageROI(·)函数将对齐后的样本图像进行人脸图像分割预处理，得到精简训练样本。

利用caffe框架脚本将精简训练样本转变成lmdb格式的数据。

步骤2，训练卷积神经网络。

第1步，将卷积神经网络中每个隐藏层的初始权重均赋予一个随机值，每个隐藏层的初始偏置全赋予0值。

第2步，按照下式，计算卷积神经网络中每一个隐藏层的输出向量：

${x_j}^{\left(l\right)}=f(\underset{i\∈M}{\Σ}{x_i}^{(l-1)}*{W_i}^{\left(l\right)}+{b_i}^{\left(l\right)})$

其中，x_j ^(l)表示卷积神经网络中第l个隐藏层的第j个输出向量，f表示线性变换操作，∑表示求和操作，i表示第i个输入的lmdb数据，M表示输入lmdb数据的集合，x_i ^(l)表示第l个隐藏层中的第i个输入的lmdb数据，l表示神经网络的第l个隐藏层，*表示卷积操作，W_i ^(l)表示第l个隐藏层的第i个输入的权重矩阵，b_i ^(l)表示第l个隐藏层的第i个输入的偏置矩阵。

第3步，按照下式，更新卷积神经网络的参数：

${W_i}^{\left(1\right)}={W_i}^{\left(1\right)}-\mathrm{\α}\frac{\∂}{\∂{W_i}^{\left(1\right)}}J(W,b)$

${b_i}^{\left(1\right)}={b_i}^{\left(1\right)}-\mathrm{\α}\frac{\∂}{\∂{b_i}^{\left(1\right)}}J(W,b)$

其中，W_i ^(l)表示卷积神经网络中第l个隐藏层的第i个输入lmdb格式的数据的权重矩阵，i表示第i个输入lmdb格式的数据，α表示学习率，通常采用经验值0.1，表示对W_i ^(l)求梯度操作，J(W,b)表示第l个隐藏层的输出向量，b_i ^(l)表示卷积神经网络中第l个隐藏层的第i个输入lmdb格式的数据的偏置矩阵，表示对b_i ^(l)求梯度操作。

第4步，判断神经网络的输出是否满足终止条件，若是，执行本步骤的第5步，否则，执行本步骤的第3步。

终止条件是指同时满足以下两个条件的情形：

条件1：神经网络输出的准确率不再提高；

条件2：神经网络输出的损失率不再降低。

第5步，神经网络的每个权重W_i ^(l)和每个偏置b_i ^(l)均收敛到了合适的值，训练得到了最优化卷积神经网络。

步骤3，获得子精简训练样本。

从精简训练样本数据库中抽取3000对相同人脸图像和3000对不同人脸图像，作为主成分分析PCA模型和贝叶斯模型训练的子精简训练样本。

步骤4，训练主成分分析PCA模型。

按照下式，对子精简训练样本进行归一化处理，得到归一化后的精简训练样本的特征向量矩阵：

$V^{\′}=\frac{V-\stackrel{\‾}{V}}{\mathrm{\σ}}$

其中，V′表示归一化后的子精简训练样本的特征向量矩阵，V表示子精简训练样本的特征向量矩阵，大小为m*n，m表示子精简训练样本的数量，n表示子精简训练样本图像的维度，表示子精简训练样本图像的特征向量的均值，σ表示子精简训练样本图像的特征向量的标准差。

按照下式，计算子精简训练样本的的协方差矩阵：

$C=\frac{1}{m}{V}^{\′T}\·V$

其中，C表示子精简训练样本的协方差矩阵，m表示精简训练样本的数量，V′表示归一化后子精简训练样本的特征向量矩阵，V表示子精简训练样本图像的特征向量矩阵。

调用numpy模块中的eig(·)函数，计算子精简训练样本的的协方差矩阵的特征值和特征向量，将特征值从大到小排序，得到对应前768个特征值的特征向量，将768个特征向量按列组成降维矩阵。

步骤5，提取人脸关键特征。

将精简训练样本子数据库的lmdb数据输入到卷积神经网络中，提取出4096维人脸关键特征。

步骤6，对人脸关键特征进行降维操作。

将4096维人脸特征与主成分分析PCA模型的降维矩阵相乘，将每一个特征降至768维。

步骤7，划分子样本。

将子精简训练样本数据库划分成3000对相同人脸图像组成的同类子数据库和3000对不同人脸图像组成的异类子数据库。

步骤8，得到贝叶斯模型,

第1步，将类内标签矩阵和类间标签矩阵均设定为3000*3000大小，将矩阵中的每个元素赋予随机初值。

第2步，按照下式，分别计算类内标签矩阵和类间标签矩阵的协方差矩阵：

$C=\frac{1}{m}{V}^{\′T}\·V$

其中，S表示标签矩阵的协方差矩阵，m表示常数3000，V'表示归一化后的标签矩阵，V表示标签矩阵。

第3步，按照下式，更新类内标签矩阵的协方差矩阵和类间标签矩阵的协方差矩阵：

$S_{\mathrm{\μ}}=n^{-1}\underset{i}{\Σ}{\mathrm{\μ}}_i{{\mathrm{\μ}}_i}^T$

$S_{\mathrm{\ϵ}}=n^{-1}\underset{i}{\Σ}\underset{j}{\Σ}{\mathrm{\ϵ}}_{ij}{{\mathrm{\ϵ}}_{ij}}^T$

其中，S_μ表示更新后的类内标签矩阵μ的协方差矩阵，n表示更新的次数，∑表示求和操作，i表示矩阵的第i行，μ_i表示类内标签矩阵μ的第i行，T表示转置操作，S_ε表示更新后的类间标签矩阵ε的协方差矩阵，ε_ij表示类间标签矩阵ε中位于第i行第j列的元素值。

第4步，按照下式，计算类内标签协方差矩阵的更新比例差值和类间标签协方差矩阵的更新比例差值：

${\mathrm{\δ}}_{\mathrm{\μ}}=\frac{\left|\right|S_{\mathrm{\μ}}^j\left|\right|-\left|\right|S_{\mathrm{\μ}}^{j-1}\left|\right|}{\left|\right|S_{\mathrm{\μ}}^j\left|\right|}$

${\mathrm{\δ}}_{\mathrm{\ϵ}}=\frac{\left|\right|S_{\mathrm{\ϵ}}^j\left|\right|-\left|\right|S_{\mathrm{\ϵ}}^{j-1}\left|\right|}{\left|\right|S_{\mathrm{\ϵ}}^j\left|\right|}$

其中，δ_μ表示类内标签协方差矩阵的更新比例差值，表示第j次更新后的类内标签矩阵μ的协方差矩阵，||||表示求矩阵范数的操作，表示第j次更新前的类内标签矩阵μ的协方差矩阵，δ_ε表示类间标签协方差矩阵的更新比例差值，表示第j次更新后的类内标签矩阵ε的协方差矩阵，表示第j次更新前的类内标签矩阵ε的协方差矩阵。

第5步，判断类内标签协方差矩阵的更新比例差值δ_μ和类间标签协方差矩阵的更新比例差值δ_ε的值是否均小于10^-6，若是，训练阶段结束，执行步骤9，否则，执行本步骤的第3步。

步骤9，预处理测试样本

从国际公开LFW数据库中任意选取3000对相同人脸图像和3000对不相同人脸图像作为测试样本。

检测测试样本图像中的人脸五官特征点并定位，对定位后的特征点进行仿射变换，实现测试样本的对齐预处理，根据定位后的特征点对经过对齐处理后的测试样本进行人脸图像分割预处理，得到精简测试样本。

利用caffe框架脚本得到精简测试样本的lmdb格式的数据。

步骤10，获取特征向量

将精简测试样本的lmdb数据分别输入卷积神经网络，获得精简测试样本图像的4096维图像特征向量。

步骤11，计算余弦相似度值。

按照下式，计算每对4096维人脸特征之间的余弦相似度：

$sim(X,Y)=\frac{X\·Y}{\left|\right|X\left|\right|\·\left|\right|Y\left|\right|}$

其中，sim(X,Y)表示两个特征向量间的余弦相似度，X和Y分别表示两个精简测试样本图像的特征向量，||||表示求向量大小操作。

将每个余弦相似度值作为判断该人脸对属于同一人的先验概率。

步骤12，降维处理。

将4096维人脸特征向量与PCA模型的降维矩阵相乘，将其降至768维。

步骤13，计算后验概率。

根据下式计算每对特征向量对应的贝叶斯调整因子：

$lg(x,y)=x^T({\left(S_{\mathrm{\μ}}+S_{\mathrm{\ϵ}}\right)}^{-1}-S_{\mathrm{\ϵ}}^{-1})x+y^T({\left(S_{\mathrm{\μ}}+S_{\mathrm{\ϵ}}\right)}^{-1}-S_{\mathrm{\ϵ}}^{-1})y-2x^T(-{\left(2S_{\mathrm{\μ}}-S_{\mathrm{\ϵ}}\right)}^{-1})S_{\mathrm{\μ}}{S}_{\mathrm{\ϵ}}^{-1})y$

其中，lg(x,y)表示特征向量x和特征向量y的贝叶斯调整因子，T表示矩阵的转置操作，S_μ表示类内标签矩阵的协方差矩阵，S_ε表示类间标签矩阵的协方差矩阵。

按照下式，将每对特征向量的调整因子与判断对应人脸对属于同一人的先验概率相乘，计算出每一个人脸图像对属于同一个人的后验概率：

P(H_S|X,Y)＝σ×P(H_S)

其中，P(H_S|X,Y)表示在已知精简测试样本图像X和精简测试样本图像Y的条件下，两个图像属于同一个人脸的后验概率，σ表示精简测试样本图像X和精简测试样本图像Y的贝叶斯调整因子，P(H_S)表示两个图像属于同类的概率，即先验概率。

步骤14，赋予标签。

将后验概率大于0.85的图像对，赋予同类标签。

将后验概率小于或等于0.85的图像对，赋予不同类标签。

步骤15，按照下式，计算从国际公开LFW数据库中选取的6000对样本图像的认证准确率和召回率：

$p=\frac{n}{N}$

$r=\frac{n_1}{N_1}$

其中，p表示从国际公开LFW数据库中选取的6000对样本图像的认证准确率，n表示判定正确的人脸对数目，N表示总共测试的人脸对数目，r表示从国际公开LFW数据库中选取的6000对样本图像的召回率，n₁表示人脸测试对中判定为同类且判定结果正确的数目，N₁表示同类人脸对总数目。

本发明的效果可以通过以下仿真实验做进一步的说明。

1.仿真条件：

在CPU为Pentium(R)Dual-Core T4300 2.10GHZ、内存2G、WINDOWS 7系统上进行了仿真。

2.仿真内容：

仿真实验1：绘制本发明的负正类率FPR和真正类率TPR根据阈值变化的接受者操作特性ROC曲线，以达到对本发明分类性能的评估。

在仿真实验中，用到了负正类率FPR和真正类率TPR，其计算公式如下：

FPR＝FP/(FP+TN)

TPR＝TP/(TP+FN)

其中，真正类TP表示将测试集数据中正样本预测为正的个数，假负类FN表示将测试集数据中正样本预测为负的个数，假正类FP表示将测试集数据中负样本预测为正的个数，真负类TN表示将测试集数据中负样本预测为负的个数。

附图2为负正类率FPR和真正类率TPR根据阈值变化的接受者操作特性ROC曲线，图2中的横坐标为负正类率FPR，纵坐标为真正类率TPR。

一个好的分类算法需要使得负正类率FPR足够小，真正类率TPR足够大，体现在附图2的曲线上就是ROC曲线越接近左上角，分类判决器性能越好。从附图2中可以看出，ROC曲线非常接近左上角，分类性能好。

仿真实验2：计算人脸认证的准确率和召回率。

本发明的计算人脸认证准确率和召回率仿真实验从国际公开LFW数据库中任意选取3000对相同人脸图像和3000对不相同人脸图像作为实验样本。计算人脸认证的准确率和召回率仿真实验的具体实验结果如表1所示：

表1，准确率和召回率在LFW数据集上仿真实验结果一览表

	准确率	召回率	测试对
				同类	0.92	0.96	3000
异类	0.96	0.92	3000
				平均/总计	0.94	0.94	6000

表1中的“同类”表示图像对属于同一个人，表1中的“异类”表示图像对属于不同的人。从表1中可以看出，本发明方法对LFW数据集中6000对测试样本的平均准确率是94％，其中3000对相同人脸对的识别率是92％，3000对不同人脸对的识别率是96％；对6000对测试样本的平均召回率是94％，其中3000对相同人脸对的召回率是96％，3000对不同人脸对的召回率是92％；识别率和召回率均非常高，说明本发明方法识别性能非常好。

仿真实验3：可视化演示仿真实验。

本发明的整个可视化演示仿真实验的步骤如下：输入待测试人脸对，在经过卷积神经网络特征提取和贝叶斯判决后，输出判决结果，系统的输出为“相同”表明判决结果为同一个人，输出“不同”表明判决结果为不同的人。

参照附图3，图3中共有8对人脸对，每对人脸分别显示输入的人脸对图像和输出的判决结果以及3个相关参数，参数从左到右分别是未经过修正的余弦相似度度量值sim(X,Y)，贝叶斯调整因子σ和验证所用的时间。

从附图3中可以看出，本发明能够有效区分人脸照片对是否属于同一个人，且对年龄、表情、遮挡、化妆、姿态等因素引起的类内变化和由于本身身份不同而引起的类间变化都具有很好的鲁棒性。

Claims (7)

1.一种基于卷积神经网络和贝叶斯决策的人脸验证方法，实现步骤包括如下：

(1)预处理训练样本：

(1a)选取海量人脸图像数据库中的样本作为训练样本；

(1b)使用opencv库中的Haar特征检测器检测训练样本图像中的人脸五官特征点并定位，使用opencv库中的cv.getAffineTransform(·)函数对定位后的特征点进行仿射变换，实现训练样本的对齐预处理，使用opencv库中的cv.SetImageROI(·)函数将对齐后的样本图像进行人脸图像分割预处理，得到精简训练样本；

(1c)利用caffe框架脚本将精简训练样本转变成lmdb格式的数据；

(2)训练卷积神经网络：

(2a)将卷积神经网络中每个隐藏层的初始权重均赋予一个随机值，每个隐藏层的初始偏置全赋予0值；

(2b)按照下式，计算卷积神经网络中每一个隐藏层的输出向量：

${x_j}^{\left(l\right)}=f(\underset{i\∈M}{\Σ}{x_l}^{(l-1)}*{W_i}^{\left(l\right)}+{b_i}^{\left(l\right)})$

其中，x_j ^(l)表示卷积神经网络中第l个隐藏层的第j个输出向量，f表示线性变换操作，∑表示求和操作，i表示第i个输入的lmdb格式的数据，∈表示属于符号，M表示输入lmdb格式的数据集合，x_i ^(l)表示第l个隐藏层中的第i个输入的lmdb格式的数据，*表示卷积操作，W_i ^(l)表示第l个隐藏层的第i个输入的权重矩阵，b_i ^(l)表示第l个隐藏层的第i个输入的偏置矩阵；

(2c)按照下式，更新卷积神经网络的参数：

${W_i}^{\left(1\right)}={W_i}^{\left(1\right)}-\mathrm{\α}\frac{\∂}{\∂{W_i}^{\left(1\right)}}J(W,b)$

${b_i}^{\left(1\right)}={b_i}^{\left(1\right)}-\mathrm{\α}\frac{\∂}{\∂{b_i}^{\left(1\right)}}J(W,b)$

其中，W_i ^(l)表示卷积神经网络中第l个隐藏层的第i个输入lmdb格式的数据的权重矩阵，i表示第i个输入lmdb格式的数据，α表示学习率，通常采用经验值0.1，表示对W_i ^(l)求梯度操作，J(W,b)表示第l个隐藏层的输出向量，b_i ^(l)表示卷积神经网络中第l个隐藏层的第i个输入lmdb格式的数据的偏置矩阵，表示对b_i ^(l)求梯度操作；

(2d)判断神经网络最后一个隐藏层的输出向量是否满足终止条件，若是，则执行步骤(2e)，否则，执行步骤(2c)；

(2e)神经网络的每个权重W_i ^(l)和每个偏置b_i ^(l)均收敛到了合适的值，训练得到了最优化卷积神经网络；

(3)获得子精简训练样本：

从精简训练样本数据库中抽取3000对相同人脸图像和3000对不同人脸图像，作为主成分分析PCA模型和贝叶斯模型训练的子精简训练样本；

(4)训练主成分分析PCA模型：

(4a)按照下式，对子精简训练样本进行归一化处理，得到归一化后的精简训练样本的特征向量矩阵：

$V^{\′}=\frac{V-\stackrel{\‾}{V}}{\mathrm{\σ}}$

其中，V′表示归一化后的子精简训练样本的特征向量矩阵，V表示子精简训练样本的m行n列的特征向量矩阵，m表示子精简训练样本的总数，n表示子精简训练样本图像的维度，表示子精简训练样本图像的特征向量的均值，σ表示子精简训练样本图像的特征向量的标准差；

(4b)按照下式，计算子精简训练样本的的协方差矩阵：

$C=\frac{1}{m}{V}^{\′T}\·V$

其中，C表示子精简训练样本的协方差矩阵，m表示精简训练样本的总数，V′表示归一化后子精简训练样本的特征向量矩阵，T表示矩阵的转置操作，V表示子精简训练样本图像的特征向量矩阵；

(4c)调用numpy模块中的eig(·)函数，计算子精简训练样本的的协方差矩阵的特征值和特征向量，将特征值从大到小排序，得到对应前768个特征值的特征向量，将768个特征向量按列组成降维矩阵；

(5)提取人脸关键特征：

将精简训练样本子数据库的lmdb格式的数据输入到卷积神经网络中，提取出4096维人脸关键特征；

(6)对人脸关键特征进行降维操作：

将4096维人脸特征与主成分分析PCA模型的降维矩阵相乘，将每一个特征向量降至768维；

(7)划分子样本：

将子精简训练样本数据库划分成3000对相同人脸图像组成的同类子数据库和3000对不同人脸图像组成的异类子数据库；

(8)训练联合贝叶斯模型：

(8a)将类内标签矩阵和类间标签矩阵均设定为3000*3000大小，将矩阵中的每个元素赋予随机初值，分别计算类内标签矩阵和类间标签矩阵的协方差矩阵；

(8b)按照下式，更新类内标签矩阵的协方差矩阵和类间标签矩阵的协方差矩阵：

$S_{\mathrm{\μ}}=n^{-1}\underset{i}{\Σ}{\mathrm{\μ}}_i{{\mathrm{\μ}}_i}^T$

$S_{\mathrm{\ϵ}}=n^{-1}\underset{i}{\Σ}\underset{j}{\Σ}{\mathrm{\ϵ}}_{ij}{{\mathrm{\ϵ}}_{ij}}^T$

其中，S_μ表示更新后的类内标签矩阵μ的协方差矩阵，n表示更新的次数，∑表示求和操作，i表示矩阵的第i行，μ_i表示类内标签矩阵μ的第i行，T表示转置操作，S_ε表示更新后的类间标签矩阵ε的协方差矩阵，ε_ij表示类间标签矩阵ε中位于第i行第j列的元素值；

(8c)判断更新后的协方差矩阵S_μ和S_ε的值是否均不再减小，若是，训练阶段结束，执行步骤(9)，否则，执行步骤(8b)；

(9)预处理测试样本：

(9a)从国际公开LFW数据库中任意选取3000对相同人脸图像和3000对不相同人脸图像作为测试样本；

(9b)检测测试样本图像中的人脸五官特征点并定位，对定位后的特征点进行仿射变换，实现测试样本的对齐预处理，根据定位后的特征点对经过对齐处理后的测试样本进行人脸图像分割预处理，得到精简测试样本；

(9c)利用caffe框架脚本得到精简测试样本的lmdb格式的数据；

(10)获取精简测试样本的图像特征向量：

将精简测试样本的lmdb格式的数据分别输入卷积神经网络，获得精简测试样本图像的4096维图像特征向量；

(11)计算余弦相似度值：

计算每对4096维人脸特征之间的余弦相似度，将每个余弦相似度值作为判断该人脸对属于同一人的先验概率；

(12)降维处理：

将4096维人脸特征向量与主成分分析PCA模型的降维矩阵相乘，将其降至768维；

(13)计算后验概率：

将每对768维特征向量输入训练好的贝叶斯模型，计算每对特征向量对应的贝叶斯调整因子，将每对特征向量的调整因子与对应人脸对属于同一人的先验概率相乘，计算出每一个人脸图像对属于同一个人的后验概率；

(14)赋予标签：

(14a)将后验概率大于0.85的图像对，赋予同类标签；

(14b)将后验概率小于或等于0.85的图像对，赋予不同类标签；

(15)按照下式，计算从国际公开LFW数据库中选取的6000对样本图像的认证准确率和召回率：

$p=\frac{n}{N}$

$r=\frac{n_1}{N_1}$

其中，p表示从国际公开LFW数据库中选取的6000对样本图像的认证准确率，n表示判定正确的人脸对数目，N表示总共测试的人脸对数目，r表示从国际公开LFW数据库中选取的6000对样本图像的召回率，n₁表示人脸测试对中判定为同类且判定结果正确的数目，N₁表示同类人脸对总数目。

2.根据权利要求1所述的基于卷积神经网络和贝叶斯决策的人脸验证方法，其特征在于：步骤(2a)中所述的卷积神经网络是由16个层组成，其中第1层是原始数据输入层，其余15个层均是隐藏层。

3.根据权利要求1所述的基于卷积神经网络和贝叶斯决策的人脸验证方法，其特征在于：步骤(2d)中所述的终止条件是指同时满足以下两个条件的情形：

条件1：神经网络输出的准确率不再提高；

条件2：神经网络输出的损失率不再降低。

4.根据权利要求1所述的基于卷积神经网络和贝叶斯决策的人脸验证方法，其特征在于：步骤(8a)中所述的分别计算类内标签矩阵和类间标签矩阵的协方差矩阵的公式如下：

$S=\frac{1}{m}{V}^{\′T}\·V$

其中，S表示标签矩阵的协方差矩阵，m表示常数3000，V'表示归一化后的标签矩阵，T表示转置操作，V表示标签矩阵。

5.根据权利要求1所述的基于卷积神经网络和贝叶斯决策的人脸验证测试方法，其特征在于：步骤(11)中所述的余弦相似度是根据如下公式计算得到：

$sim(X,Y)=\frac{X\·Y}{\left|\right|X\left|\right|\·\left|\right|Y\left|\right|}$

其中，sim(X,Y)表示两个特征向量间的余弦相似度，X和Y分别表示两个精简测试样本图像的特征向量，|| ||表示求向量大小操作。

6.根据权利要求1所述的基于卷积神经网络和贝叶斯决策的人脸验证训练方法，其特征在于：步骤(13)中所述的计算每对特征向量对应的贝叶斯调整因子计算公式如下：

$\lg (x,y)=x^T({\left(S_{\mathrm{\μ}}+S_{\mathrm{\ϵ}}\right)}^{-1}-S_{\mathrm{\ϵ}}^{-1})x+y^T({\left(S_{\mathrm{\μ}}+S_{\mathrm{\ϵ}}\right)}^{-1}-S_{\mathrm{\ϵ}}^{-1})y-2x^T(-{\left(2S_{\mathrm{\μ}}-S_{\mathrm{\ϵ}}\right)}^{-1})S_{\mathrm{\μ}}{S_{\mathrm{\ϵ}}}^{-1})y$

其中，lg(x,y)表示特征向量x和特征向量y的贝叶斯调整因子，T表示矩阵的转置操作，S_μ表示类内标签矩阵的协方差矩阵，S_ε表示类间标签矩阵的协方差矩阵。

7.根据权利要求2所述的基于卷积神经网络和贝叶斯决策的人脸验证测试方法，其特征在于：步骤(13)中所述的人脸图像对属于同一个人的后验概率，根据如下公式计算得到：

P(H_S|X,Y)＝σ_XY×P(H_S)

其中，P(H_S|X,Y)表示在已知精简测试样本图像X和精简测试样本图像Y的条件下，两个图像属于同一个人脸的后验概率，σ_XY表示精简测试样本图像X和精简测试样本图像Y的贝叶斯调整因子，P(H_S)表示两个图像属于同类的概率，即先验概率。