CN107993311B - 一种用于半监督人脸识别门禁系统的代价敏感隐语义回归方法 - Google Patents

Abstract

本发明公开了一种用于半监督人脸识别门禁系统的代价敏感隐语义回归方法；属于人脸图像处理领域；包含如下步骤：设置错分代价矩阵；代价敏感的隐语义回归；模型预测；本发明针对真实人脸识别门禁系统中的半监督和代价敏感学习问题，设计了一种代价敏感的统一学习框架，用于联合学习人脸图像的隐语义表示、无标签训练样本的标签信息和代价敏感的分类器。在仅使用少量监督训练样本的条件下，本发明提出的代价敏感隐语义回归模型能够最小化人脸识别门禁系统的整体错分损失，因此具有较高的实用价值。

Description

一种用于半监督人脸识别门禁系统的代价敏感隐语义回归 方法

技术领域

本发明属于人脸图像处理领域，特别涉及一种用于半监督人脸识别门禁系统的代价敏感隐语义回归方法。

背景技术

随着科学技术的发展，人脸识别技术取得了飞速发展和广泛应用。传统的人脸识别方法追求最小的识别错误率，即假设不同错分所带来的损失相同。然而，在真实的人脸识别应用中，这一假设往往不成立，不同错分所带来的损失不同。例如，在人脸识别门禁系统中，存在入侵者类I和合法者类G_i,i＝1,2,L,c-1。一般而言，将入侵者错分成合法者的损失高于将合法者错分成入侵者的损失，而将合法者错分成其他合法者的损失又要低于将合法者错分成入侵者的损失。此外，在真实的人脸识别应用中，用于训练识别模型的训练样本集通常是半监督的，即训练集中只有少量监督样本，大部分样本的标签信息未知。这是因为要获取样本的标签信息难，需要付出大量人力和财力。

针对人脸识别门禁系统中的不同错分损失问题和半监督学习问题，研究者提出了代价敏感的半监督学习方法。它们采用两步学习的策略，即先标签扩展无标签样本的标签信息，然后根据监督样本的标签信息和学得的无监督样本的标签信息，将错分代价信息嵌入学习算法，设计代价敏感的学习模型。

虽然现有代价敏感的半监督学习方法，在人脸识别门禁系统中取得了不错的识别性能，其两步学习的策略主要存在如下两个方面的缺陷：1)采用的标签扩展算法代价不敏感，如稀疏学习或L₂范数方法。这将导致错误的标签预测结果，从而丢失大量有用的代价信息。2)标签扩展和代价敏感的学习模型相互独立，很难预学习得到全局最优的标签信息，用于随后的代价敏感学习模型。

发明内容

发明目的：本发明为了解决人脸识别门禁系统中的不同错分损失问题和半监督学习问题，提出了一种用于半监督人脸识别门禁系统的代价敏感隐语义回归方法，从而在仅使用少量监督训练样本的条件下，学得的最优分类器能够最小化人脸识别门禁系统的整体错分损失，有效的将入侵者拒之门外，而允许合法者进入。

发明内容：本发明公开了一种用于半监督人脸识别门禁系统的代价敏感隐语义回归方法，包含如下步骤：

步骤1，设置错分代价矩阵；

步骤2，建立代价敏感的隐语义回归模型；

步骤3，模型预测：利用步骤2学得的代价敏感分类器，预测待验证的人脸图像；

步骤2“代价敏感的隐语义回归”构建了一种代价敏感的统一学习框架，用于联合学习人脸图像的隐语义特征S、训练样本的标签矩阵F和代价敏感的分类器W，该统一学习框架的目标函数表达式为：

s.t.||f_i||₀＝1,f_i∈{0,1}^c,i＝1,2,L,N (1)

其中，X＝[x₁,K x_N]∈R^D×N表示分布于D维空间上的N个训练样本；B∈R^D×d表示d维隐语义空间；h(i)定义了第i个训练样本的重要性；c表示样本的类别数；s_i和f_i分别表示第i个样本的隐语义特征和其预测标签；标签矩阵

由N_l个监督样本的标签矩阵Y_L和全零矩阵构成；Q∈R^c×N表示惩罚矩阵；

是为了避免过拟合的正则化项；e表示矩阵点积；||g||_F表示Frobenius范数；μ,γ,λ是三个平衡参数。

进一步地，人脸图像隐语义特征S的学习过程，不仅依赖于人脸图像X本身，还有效利用了训练样本的标签矩阵F和代价敏感的分类器W，人脸图像隐语义特征S的学习函数为：

进一步地，在鲁棒的隐语义空间中，基于代价敏感的分类器W，学习训练样本的标签矩阵F；并且通过定义代价敏感的正则化项，有效利用了监督样本的标签信息Y_L，训练样本的标签矩阵F的学习函数为：

s.t.||f_i||₀＝1,f_i∈{0,1}^c,i＝1,2,L,N (3)。

进一步地，在鲁棒的隐语义空间中，基于训练样本的标签矩阵F，学习代价敏感的分类器W，使得学得的最优分类器W满足最小错分损失准则，代价敏感分类器W的学习函数为：

进一步地，采用如下的核心步骤，进行交替迭代的求解，

步骤2-3：固定变量S、F以及W，优化求解如下的目标函数

采用拉格朗日乘子法，更新隐语义空间B＝XS^T(SS^T+λI)^-1，I∈R^d×d是单位矩阵；

步骤2-4：固定变量B、F以及W，优化求解公式(2)所定义的目标函数，这里，本发明对每一个训练样本分别求解其隐语义表示s_i,i＝1,L,N，具体地，采用拉格朗日乘子法，获得样本x_i的隐语义表示s_i＝(B^TB+μh(i)WW^T+λI)^-1(B^Tx_i+μh(i)Wf_i)；

步骤2-5：固定变量B、S以及W，优化求解公式(3)所定义的目标函数，这里，本发明对每一个训练样本分别求解其预测标签f_i,i＝1,L,N，具体地，采用穷举法，令预测标签f_i的c个元素值依次为1，将获得最大目标函数值的f_i作为该样本的预测标签；

步骤2-6：固定变量B、S以及F，优化求解公式(4)所定义的目标函数，具体地，采用拉格朗日乘子法，获得代价敏感的分类器W＝(μSHS^T)^-1(μSHF)，其中H＝diag(h(1),L,h(N))；

步骤2-7：根据步骤2-3～2-6学得的变量值B、S、F以及W，计算公式(1)所定义的目标函数值。如果第t次与第t-1次目标函数值的差，小于某个阈值T，或者迭代次数t达到最大迭代次数T_n，算法结束；否则，返回步骤2-3继续执行。

进一步地，步骤3的具体步骤如下：

步骤3-1：根据步骤2学得的隐语义空间B，矩阵分解待测试图像x_t，

采用拉格朗日乘子法，获得隐语义表示

I∈R^d×d是单位矩阵；

步骤3-2：采用步骤2学得的代价敏感分类器W和隐语义表示

对人脸图像x_t分类，如果

向量中的第k个元素获得了最大值，那么待测试图像x_t就属于第k类。

本发明是专门针对半监督人脸识别门禁系统而提出的人脸识别方法。与现有技术相比，本发明具有以下特征：

首先，本发明提出了一种代价敏感的统一学习框架，用于联合学习人脸图像的隐语义特征S、训练样本的标签矩阵F和代价敏感的分类器W。代价敏感的分类器W和标签矩阵F的学习过程相互依赖，交替更新。这不仅建立了标签扩展和代价敏感学习模型之间的联系，有利于获得最优的标签信息，而且使得标签扩展过程代价敏感，避免了代价信息的丢失。

其次，本发明学得的代价敏感分类器W满足最小错分损失准则。相应地，本发明提出的统一学习框架，经过多次迭代，能够保证收敛，获得封闭解。

附图说明

图1为本发明整体流程图。

图2为本发明中代价敏感的隐语义回归步骤的子流程图。

图3为本发明中模型预测步骤的子流程图。

具体实施方式

以下结合附图说明本发明的具体实施方式。

如图1所示，本发明公开了一种用于半监督人脸识别门禁系统的代价敏感隐语义回归方法，具体步骤如下：

步骤1，设置错分代价矩阵C：假设在人脸识别门禁系统中，存在入侵者类I和c-1个合法者类G_i,i＝1,2,L,c-1。对于任意一张待测试人脸图像，可能存在如下三种不同类型的错分：1)False rejection：错误的将合法者错分成入侵者；2)False acceptance：错误的将入侵者错分成合法者；3)False identification：错误的将某一合法者错分成其他合法者。相应地，本发明用符号C_GI、C_IG、C_GG分别表示上述三种错分的错分代价，并得到表1所示的错分代价矩阵。值得注意的是，这里错分代价矩阵C可由门禁系统的使用者或领域专家自主设置。本发明的实验结果表明，对于不同设置的错分代价矩阵，本发明都能获得较高识别效果。

表1错分代价矩阵C

	G<sub>1</sub>	…	G<sub>c-1</sub>	I
					G<sub>1</sub>	0	…	C<sub>GG</sub>	C<sub>GI</sub>
…
					G<sub>c-1</sub>	C<sub>GG</sub>	…	0	C<sub>GI</sub>
I	C<sub>IG</sub>	…	C<sub>IG</sub>	0

步骤2，建立代价敏感的隐语义回归模型：通过构建一种代价敏感的统一学习框架，联合学习人脸图像的隐语义特征S、训练样本的标签矩阵F和代价敏感的分类器W。该统一学习框架的目标函数表达式为：

s.t.||f_i||₀＝1,f_i∈{0,1}^c,i＝1,2,L,N

其中，X＝[x₁,K x_N]∈R^D×N表示分布于D维空间上的N个训练样本；B∈R^D×d表示d维隐语义空间；h(i)定义了第i个训练样本的重要性；c表示样本的类别数；s_i和f_i分别表示第i个样本的隐语义特征和其预测标签；标签矩阵

由N_l个监督样本的标签矩阵Y_L和全零矩阵构成；Q∈R^c×N表示惩罚矩阵；

是为了避免过拟合的正则化项；e表示矩阵点积；||g||_F表示Frobenius范数；μ,γ,λ是三个平衡参数。

对于公式(1)所定义的统一学习框架，本发明采用交替迭代的方法，求解、更新变量B、S、F以及W。如图2所示，步骤2的具体实施步骤如下：

步骤2-1：人脸向量归一化。归一化是图像预处理中最重要的内容之一，是一种简化计算的方式，对平移、旋转、缩放等仿射变换具有不变性，是获得高识别率的基础保障，给定人脸向量

采用公式

将人脸向量归一到单位向量x。

步骤2-2：随机生成4个变量B、S、F以及W的初始值。

步骤2-3：固定变量S、F以及W，优化求解如下的目标函数

采用拉格朗日乘子法，更新隐语义空间B＝XS^T(SS^T+λI)^-1，I∈R^d×d是单位矩阵。

步骤2-4：固定变量B、F以及W，优化求解如下的目标函数

这里，本发明对每一个训练样本分别求解其隐语义表示s_i,i＝1,L,N。具体地，采用拉格朗日乘子法，获得样本x_i的隐语义表示s_i＝(B^TB+μh(i)WW^T+λI)^-1(B^Tx_i+μh(i)Wf_i)。

步骤2-5：固定变量B、S以及W，优化求解如下的目标函数

s.t.||f_i||₀＝1,f_i∈{0,1}^c,i＝1,2,L,N

这里，本发明对每一个训练样本分别求解其预测标签f_i,i＝1,L,N。具体地，采用穷举法，令预测标签f_i的c个元素值依次为1，将获得最大目标函数值的f_i作为该样本的预测标签。

步骤2-6：固定变量B、S以及F，优化求解如下的目标函数

采用拉格朗日乘子法，获得代价敏感的分类器W＝(μSHS^T)^-1(μSHF)，其中H∈R^N×N＝diag(h(1),L,h(N))。

步骤2-7：根据步骤2-3～2-6学得的变量值B、S、F以及W，计算公式(1)定义的目标函数值。如果第t次与第t-1次目标函数值的差，小于某个阈值T，或者迭代次数t达到最大迭代次数T_n，算法结束；否则，返回步骤2-3继续执行。

步骤3，模型预测：利用步骤2学得的代价敏感分类器，预测待验证的人脸图像。如图3所示，具体步骤如下：

步骤3-1：根据步骤2学得的隐语义空间B，矩阵分解待测试图像x_t。

采用拉格朗日乘子法，获得隐语义表示

I∈R^d×d是单位矩阵。

步骤3-2：采用步骤2学得的代价敏感分类器W和隐语义表示

对人脸图像x_t分类。具体地，如果

向量中的第k个元素获得了最大值，那么待测试图像x_t就属于第k类。

以上对本发明所提供的一种用于半监督人脸识别门禁系统的代价敏感隐语义回归方法进行了详细介绍。值得注意的是，具体实现该技术方案的方法和途径有很多，以上所述仅是本发明的优选实施方式，只用于帮助理解本发明的方法及核心思想；同时，对于本领域的一般技术人员，在本发明核心思想的基础上，做出的修改和调整都将视为本发明的保护范围。综上所述，本说明书内容不应理解为对本发明的限制，本发明的保护范围应由所附的权利要求来限定。

Claims (6)

1.一种用于半监督人脸识别门禁系统的代价敏感隐语义回归方法，其特征在于，包含如下步骤：

步骤1，设置错分代价矩阵；

步骤2，建立代价敏感的隐语义回归模型；

步骤3，模型预测：利用步骤2学得的代价敏感分类器，预测待验证的人脸图像；

步骤2“代价敏感的隐语义回归”构建了一种代价敏感的统一学习框架，用于联合学习人脸图像的隐语义特征S、训练样本的标签矩阵F和代价敏感的分类器W，该统一学习框架的目标函数表达式为：

其中，X＝[x₁,K x_N]∈R^D×N表示分布于D维空间上的N个训练样本；B∈R^D×d表示d维隐语义空间；h(i)定义了第i个训练样本的重要性；c表示样本的类别数；s_i和f_i分别表示第i个样本的隐语义特征和其预测标签；标签矩阵

由N_l个监督样本的标签矩阵Y_L和全零矩阵构成；Q∈R^c×N表示惩罚矩阵；

是为了避免过拟合的正则化项；e表示矩阵点积；||g||_F表示Frobenius范数；μ,γ,λ是三个平衡参数。

2.如权利要求1所述的一种用于半监督人脸识别门禁系统的代价敏感隐语义回归方法，其特征在于，人脸图像隐语义特征S的学习过程，不仅依赖于人脸图像X本身，还有效利用了训练样本的标签矩阵F和代价敏感的分类器W，人脸图像隐语义特征S的学习函数为：

3.如权利要求1所述的一种用于半监督人脸识别门禁系统的代价敏感隐语义回归方法，其特征在于，在鲁棒的隐语义空间中，基于代价敏感的分类器W，学习训练样本的标签矩阵F；并且通过定义代价敏感的正则化项，有效利用了监督样本的标签信息Y_L，训练样本的标签矩阵F的学习函数为：

4.如权利要求1所述的一种用于半监督人脸识别门禁系统的代价敏感隐语义回归方法，其特征在于，在鲁棒的隐语义空间中，基于训练样本的标签矩阵F，学习代价敏感的分类器W，使得学得的最优分类器W满足最小错分损失准则，代价敏感分类器W的学习函数为：

5.如权利要求1所述的一种用于半监督人脸识别门禁系统的代价敏感隐语义回归方法，其特征在于，采用如下的核心步骤，进行交替迭代的求解；

步骤2-3：固定变量S、F以及W，优化求解如下的目标函数

采用拉格朗日乘子法，更新隐语义空间B＝XS^T(SS^T+λI)^-1，I∈R^d×d是单位矩阵；

步骤2-4：固定变量B、F以及W，优化求解公式(2)所定义的目标函数，这里，本发明对每一个训练样本分别求解其隐语义表示s_i,i＝1,L,N，具体地，采用拉格朗日乘子法，获得样本x_i的隐语义表示s_i＝(B^TB+μh(i)WW^T+λI)^-1(B^Tx_i+μh(i)Wf_i)；

步骤2-5：固定变量B、S以及W，优化求解公式(3)所定义的目标函数，这里，本发明对每一个训练样本分别求解其预测标签f_i,i＝1,L,N，具体地，采用穷举法，令预测标签f_i的c个元素值依次为1，将获得最大目标函数值的f_i作为该样本的预测标签；

步骤2-6：固定变量B、S以及F，优化求解公式(4)所定义的目标函数，具体地，采用拉格朗日乘子法，获得代价敏感的分类器W＝(μSHS^T)^-1(μSHF)，其中H＝diag(h(1),L,h(N))；

步骤2-7：根据步骤2-3～2-6学得的变量值B、S、F以及W，计算公式(1)所定义的目标函数值，如果第t次与第t-1次目标函数值的差，小于某个阈值T，或者迭代次数t达到最大迭代次数T_n，算法结束；否则，返回步骤2-3继续执行。

6.如权利要求1所述的一种用于半监督人脸识别门禁系统的代价敏感隐语义回归方法，其特征在于，步骤3的具体步骤如下：

步骤3-1：根据步骤2学得的隐语义空间B，矩阵分解待测试图像x_t，

采用拉格朗日乘子法，获得隐语义表示

I∈R^d×d是单位矩阵；

步骤3-2：采用步骤2学得的代价敏感分类器W和隐语义表示

对人脸图像x_t分类，如果

向量中的第k个元素获得了最大值，那么待测试图像x_t就属于第k类。

Images