CN106599856A - 一种联合人脸检测、定位和识别的方法 - Google Patents

Abstract

本发明涉及人脸识别领域，公开了一种联合人脸检测、定位和识别的方法，将人脸检测、人脸定位、人脸识别统一起来用一个模型来完成三部分操作，提高人脸识别的效率和准确率。本发明借助随机森林的每棵分类回归树，利用数学判定方法来对树的叶子节点进行分类和回归的功能界定，实现随机森林在训练的过程中同时进行人脸检测和人脸定位的功能训练；再利用多层回归器对特征优化，以及核函数对获取的特征进行线性化映射处理，获取最佳的人脸识别信息；最终通过随机森林的编码的方法将人脸检测、人脸定位、人脸识别的信息进行保存，即获取人脸识别的最终模型。本发明适用于VR等是计算机视觉产业。

Description

一种联合人脸检测、定位和识别的方法

技术领域

本发明涉及人脸识别领域，特别涉及一种联合人脸检测、定位和识别的方法。

背景技术

脸识别技术是计算机视觉和机器学习领域中一个重要的研究课题，在信息安全、人机交互、图像检索等方面有着广阔的应用前景。人脸识别技术可以用来创建友好自然的人机交互方式，使得人与计算机之间的交流更加轻松自然。

目前的人脸识别技术主要分为三部分：人脸检测，人脸定位，人脸识别三大部分。但是由于人脸检测、人脸定位、人脸识别各自的功能不一样，人脸检测主要是提取特征进行人脸非人脸的分类，侧重于分类器的训练，人脸定位主要是提取特征来获取人脸的形状特征，人脸识别主要是提取特征来进行人脸识别。由于各自的功能定位不一样导致不同导致提取的特征不一样，不易统一，因而目前的主要研究主要是对人脸检测，人脸定位，人脸识别三个部分分离开来进行研究，即对每个部分都要训练一个模型，这样一方面会导致三者之间参数的调节不协调，另一方面三个模型分开训练，会加大模型的训练时间，同时三个模型用于人脸识别也会使人脸识别整个过程模型大小变得更大，此外三个模型的分别加载会影响识别的效率。这些都影响了人脸识别的效率和准确率，因而需要一种新方法来将人脸检测，人脸定位，人脸识别三个过程统一，来缩短整个识别过程的训练时间，来进一步提高人脸识别的效率和准确率。

发明内容

本发明要解决的技术问题是：提供一种联合人脸检测、定位和识别的方法，将人脸检测、人脸定位、人脸识别统一起来用一个模型来完成三部分操作，提高人脸识别的效率和准确率。

为解决上述问题，本发明采用的技术方案是：借助随机森林的每棵分类回归树，利用数学判定方法来对树的叶子节点进行分类和回归的功能界定，实现随机森林在训练的过程中同时进行人脸检测和人脸定位的功能训练；再利用多层回归器对特征优化，以及核函数对获取的特征进行线性化映射处理，获取最佳的人脸识别信息；最终通过随机森林的编码的方法将人脸检测、人脸定位、人脸识别的信息进行保存，即获取人脸识别的最终模型。

本发明的具体步骤包括：

步骤a：有放回从训练样本中选取根节点。

步骤b：判断当前节点是否达到终止条件，如果当前节点达到终止条件，则设置当前节点为叶子节点，进入步骤c；如果当前节点没有达到终止条件，则进行根节点训练，并返回步骤a。

步骤c：对叶子节点进行分类和回归的功能界定。利用随机森林方法来实现检测和定位的联合，随机森林有很多分类回归树组成，通过一定的数学判定方法对每个分类回归树的节点进行检测和定位的功能划分，分类回归树在距离根节点比较近的几层偏重于分类，在接近叶子节点的几层偏重于回归，分类的目的主要用于实现人脸检测的分类器，回归的目的主要是回归人脸特征形状，实现人脸定位，最终通过随机森林方法实现人脸检测和人脸定位的功能联合实现同步训练。

对于界定为分类的叶子节点，首先获取各叶子节点的特征和阈值，然后获取各叶子节点的特征和阈值的权值向量，然后进行分类，对错误的分类样本分配更大的权值，正确的分类样本赋予更小的权值，每次更新后用相同的弱分类算法产生新的分类假设序列，构成多分类器，然后用加权的方法进行级联，得到最终的人脸分类器特征。

对于界定为回归的叶子节点，首先获取叶子节点的人脸形状特征，然后利用多层回归器对人脸形状特征进行优化，最后运用核函数对人脸形状特征进行线性化映射处理。多层回归器的分层结构特点、迭代计算优势，能够有效的降低计算复杂度。上一层回归器处理较大的人脸变化保证鲁棒性，本层回归器在在上一层回归器训练基础上，处理细微的人脸变化保证精度。训练本层回归器时，其相应的上一层回归器的特征必须保持不变，加快训练速度，加强回归器的稳定性。

步骤d：将获取的人脸分类器特征以及经过核函数处理后的人脸形状特征，通过随机森林编码进行综合，生成人脸识别模型。整个过程分类、回归、识别的特征信息都是采用采用随机森林的编码方式进行，便于对整个过程数据信息的设置、修改和保存，建立了人脸检测、人脸定位、人脸识别特征的统一关系，最终生成的模型中包括人脸检测、人脸定位、人脸识别所需要的全部特征信息。

进一步的，根节点进行训练方法包括：无放回的随机选取特征，利用选取的特征寻找分类效果最好的一维特征及其阈值，分别记为K、Th，如果当前节点上样本第K维特征小于Th的样本，则被划到右节点，否则划为左节点。

进一步的，步骤c利用以下公式对叶子节点进行分类和回归的功能界定：p(t)＝1-0.1t,t＝1,2,...,T，其中，p(t)表示用于分类的概率，t为当前训练的阶段，T为总的训练阶数。

进一步的，步骤c对于界定为分类的叶子节点，选用Gini值做为评判标准，通过当前节点的Gini值减去左子节点的Gini和右子节点的Gini，取最大值，从而寻找出各节点的特征和阈值。

进一步的，步骤d对于界定为回归的叶子节点，选用方差做为评判标准，通过求当前节点训练集的方差减去左子节点的方差和右子节点的方差，取最大值，从而寻找出人脸形状特征。

进一步的，步骤d利用局部二值特征回归的方法，获取局部二值特征，然后对全局进行二次回归，获取当前最佳人脸特征。

本发明的有益效果是：通过本发明的方法在人脸识别的过程中只用加载这个最终的人脸识别模型，就可以完成最终的人脸识别，省去过去需要加载人脸检测分类器模型、人脸定位模型、人脸识别模型的繁琐过程，可以快速高效准确的实现人脸识别。

附图说明

图1为实施例的流程图；

图2为根节点训练流程图。

具体实施方式

现有技术都是着眼于人脸识别这部分研究，来寻求不同的方法优化人脸检测、人脸定位、人脸识别各部分所需的特征，来提升准确率或效率，但都没有提供一种将人脸检测、人脸定位、人脸识别统一起来用一个模型来完成三部分操作的方案，实施例提供了一种全新的方法将人脸检测、人脸定位和人脸识别这几个部分有机的联合起来，通过随机森林、数学判定方法、多层回归器和核函数的方法，将三者建立统一模型，统一调参，最终达到人脸识别高效准确的识别效果。实例提的整个流程过程见图1和图2：

步骤1：准备训练样本及相关参数。给定训练集(记为M)，测试集(记为N)，特征维数(记为Φ)。确定初始参数：使用的到分类回归树(记为CART)的数量(记为H)，每棵树的深度(记为d)，每棵树的每个节点使用到的特征数量(记为φ)，多层回归器的层数为n,初始层数设为0。终止判定条件：节点上最少样本数(记为M_min),节点上最少的信息增益(记为G_min)。

步骤2：有放回选取根节点进行训练。从M中有放回的抽取大小和M一样的训练集M(h)(h指第h棵树)，作为根节点。

步骤3：判断当前节点是否达到终止条件。如果当前节点达到终止条件，则设置当前节点为叶子节点。如果当前节点没有达到终止条件，则从Φ维特征中无放回的随机选取φ维特征。

步骤3.1如果当前节点没有达到终止条件，如图2则从Φ维特征中无放回的随机选取φ维特征。利用φ维特征，寻找分类效果最好的一维特征(记为K)及其阈值(记为Th)，如果当前节点上样本第K维特征小于Th的样本被划到右节点，其余的划为左节点。

步骤3.2：如果当前节点达到终止条件，则设置当前节点为叶子节点，并判断该叶子节点是用于分类还是用于回归(这里用经验公式来判断，也可以采用其他方法)。

经验公式：

p(t)＝1-0.1t,t＝1,2,...,T (1)

p(t)表示用于分类的概率，t为当前训练的阶段，T为总的训练阶数。

如果是分类问题，该叶子节点的预测输出为当前节点样本集合中数量最多的一类占当前样本集的比例；如果是回归问题，预测输出为当前节点样本集各个样本值得平均值。

步骤3.2.1：对于分类问题，选取评判标准(这里选用Gini值作为评判标准，也可以选用其它评判)来，寻找最佳分类特征和阈值。选用Gini值做为评判标准时，直接使用argmax(Gini-GiniLeft-GiniRight),即寻找最佳的特征和阈值，使得当前节点的Gini值减去左子节点的Gini(记为GiniLeft)和右子节点的Gini(GiniRight)，取最大值，一系列节点的argmax(Gini-GiniLeft-GiniRight)构成权值向量，然后用常见的分类算法(如AdaBoost算法等)进行分类，对错误的分类样本分配更大的权值，正确的分类样本赋予更小的权值，每次更新后用相同的弱分类算法产生新的分类假设序列，构成多分类器，然后用加权的方法进行级联，得到最终的人脸分类器。

步骤3.2.2：对于回归问题，选取评判标准(这里选用方差做为评判标准，也可以选用其他评判标准)，寻找最佳回归形状特征。选用方差做为评判标准时，直接使用argmax(Var-VarLeft-VarRight)，即当前节点训练集的方差Var减去减去左子节点的方差(记为VarLeft)和右子节点的方差(记为VarRight)，取最大值。

步骤4：利用多层回归器(这里设置为双层回归器，也可以根据需要来调整为多层)来获取人脸识别所需的人脸形状特征。

步骤4.1：根据步骤3.2.2获取的用于形状特征，利用随机森林进行编码，然后进行回归校准，获取最佳人脸特征(这里利用局部二值特征回归的方法，快速获取局部二值特征，然后对全局进行二次回归，获取当前最佳人脸特征，也可以利用其他特征)。

回归的过程可以简单总结为如下形式：

S^t＝S^t-1+ΔS^t,t＝1,...,T (2)

S代表形状特征,S^t代表第t阶段的形状特征，ΔS^t表示偏移量。

其中ΔS^t是关键，具体计算过程如下：

ΔS^t＝W^tΦ^t(I,S^t-1) (3)

S^t-1为前一层级得到的形状特征，Φ^t为特征映射函数，W^t为一个线性回归矩阵。

Φ^t可以被分解为一系列的独立局部特征映射函数的集合，记为L为特征点数目，为第l个特征点的第t阶段的特征映射函数：

其中，为第i个训练数据的回归目标的标准形状增量，为局部回归输出，I_i为第i个训练数据的输入图像，π_l从向量中提取两个分量(2l-1,2l)，表示第i个训练数据的第l个特征点的真实二维偏移量。

根据式(4)得到局部二值特征和局部线性回归输出拼合二值特征形成全局特征映射函数Φ^t，最小化目标函数式(5)，得到全局线性回归W^t：

第一项为回归目标，第二项为W^t的L₂正则化项，λ为控制正则化的强度。

步骤4.2：如果没有达到所需多层回归器的层数要求，计算当前最佳人脸样本集的各个样本值为均值，重复执行步骤3.2.2和步骤4.1的操作。

步骤4.3：经过步骤4.1、步骤4.2后，运用核函数对人脸特征进行线性化映射处理。

基于核函数的线性区分分析方法采用核函数ψ(x)，将输入图像映射到新的人脸空间(记为F)。在新的人脸空间F中，类间分布定义为：

其中，是第k个类中所有图像通过核函数ψ(x)映射到人脸空间F中后的均值，h^ψ是训练集中所有图像通过核函数ψ(x)映射到人脸空间F中后的均值，

类间分布的定义为：

假定所有数据在特征空间F中以均值h^ψ为中心，记为F(h^ψ＝0)，定义矩阵A：

A＝[ψ(x₁),ψ(x₂),...,ψ(x_M)] (8)

根据式(8)将式(6)和(7)简化并合并得

A(I-C)A^TG＝λ'AA^TG (9)

其中，C为对角矩阵，即C＝diag{C₁,C₂,...,C_L}，子矩阵{C_k|k＝1,2,...,L}的大小为v_k×v_k，所有元素的均值v_k为加权系数。

根据再生核函数的理论可知，式(9)的解存在于特征空间中，可得：

其中，B＝[α₁,α₂,...,α_M]^T，合并式(9)和式(10)，简化得：

E(I-W)EB＝λ'EEB (11)

其中，E＝AA^T是训练数据集的核矩阵，E_ij＝ψ(x_i)ψ(x_j)，映射函数可以利用相关核函数在原始数据E_ij＝e(x_i,x_j)求得，e(x_i,x_j)为二维高斯函数。

假设所有数据在特征空间F中不以均值h^ψ为中心，记为F(h^ψ≠0)，则需要对数据进行转换。我们定义矩阵

根据式(12)，将式(10)和(11)合并化简得：

其中，是将原始图像映射到人脸空间F中，以均值h^ψ为中心的核矩阵。I_M中所有元素的值均为1/M。

步骤4.4：执行完步骤4.3后，完成人脸数据库特征的核函数和映射矩阵处理，得到新的人脸特征。输入测试图象时，同样进行核函数和映射矩阵处理，然后与新的人连数据库特征进行匹配，选出相似度最高的库中特征对人脸身份进行鉴定，完成人脸识别的过程。

步骤5：将获取的人脸最佳分类器特征以及经过核函数处理后的人脸形状特征，通过随机森林编码进行综合，生成人脸识别模型。

以上描述了本发明的基本原理和主要的特征，说明书的描述只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (6)

1.一种联合人脸检测、定位和识别的方法，其特征在于，包括以下步骤：

步骤a：有放回的从训练样本中选取根节点；

步骤b：判断当前节点是否达到终止条件，如果当前节点达到终止条件，则设置当前节点为叶子节点，进入步骤c；如果当前节点没有达到终止条件，则进行根节点训练，并返回步骤a；

步骤c：对叶子节点进行分类和回归的功能界定；

对于界定为分类的叶子节点，首先获取各叶子节点的特征和阈值，然后获取各叶子节点的特征和阈值的权值向量，然后进行分类，对错误的分类样本分配更大的权值，正确的分类样本赋予更小的权值，每次更新后用相同的弱分类算法产生新的分类假设序列，构成多分类器，然后用加权的方法进行级联，得到最终的人脸分类器特征；

对于界定为回归的叶子节点，首先获取叶子节点的人脸形状特征，然后利用多层回归器对人脸形状特征进行优化，最后运用核函数对人脸形状特征进行线性化映射处理；

步骤d：将获取的人脸分类器特征以及经过核函数处理后的人脸形状特征，通过随机森林编码进行综合，生成人脸识别模型。

2.根据权利要求1所述的一种联合人脸检测、定位和识别的方法，其特征在于，根节点进行训练方法包括：无放回的随机选取特征，利用选取的特征寻找分类效果最好的一维特征及其阈值，分别记为K、Th，如果当前节点上样本第K维特征小于Th的样本，则被划到右节点，否则划为左节点。

3.根据权利要求1所述的一种联合人脸检测、定位和识别的方法，其特征在于，步骤c利用以下公式对叶子节点进行分类和回归的功能界定：p(t)＝1-0.1t,t＝1,2,...,T，其中，p(t)表示用于分类的概率，t为当前训练的阶段，T为总的训练阶数。

4.根据权利要求1所述的一种联合人脸检测、定位和识别的方法，其特征在于，步骤c对于界定为分类的叶子节点，选用Gini值做为评判标准，通过当前节点的Gini值减去左子节点的Gini和右子节点的Gini，取最大值，从而寻找出各节点的特征和阈值。

5.根据权利要求1或4所述的一种联合人脸检测、定位和识别的方法，其特征在于，步骤d对于界定为回归的叶子节点，选用方差做为评判标准，通过求当前节点训练集的方差减去左子节点的方差和右子节点的方差，取最大值，从而寻找出人脸形状特征。

6.根据权利要求1所述的一种联合人脸检测、定位和识别的方法，其特征在于，步骤d利用局部二值特征回归的方法，获取局部二值特征，然后对全局进行二次回归，获取当前最佳人脸特征。