CN111008575B - 一种基于多尺度上下文信息融合的鲁棒人脸识别方法 - Google Patents

Abstract

本发明提出了一种基于多尺度上下文信息融合的鲁棒人脸识别方法，包括以下步骤：获取人脸关键点上下文信息；在特定尺度下对关键点图像块集合进行分；对待识别样本进行多尺度集成分类。本发明充分考虑人脸图像不同部位的上下文语义信息差异，提出使用检测到的关键点周围图像块集合来描述人脸图像不同部位的上下文语义信息，并使用多尺度集成方法来降低待识别样本图像块的尺度大小对识别效果的影响，提高了识别精度，为后续人脸识别方法的发展提供帮助。

Description

一种基于多尺度上下文信息融合的鲁棒人脸识别方法

技术领域

本发明涉及一种图像识别方法，具体的说是一种基于多尺度上下文信息融合的鲁棒人脸识别方法，属于图形识别技术领域。

背景技术

人脸识别是计算机视觉领域中的一项热门的研究课题，它将计算机图像处理技术和统计学技术融入到一起，并以其非接触性、非侵扰性等优点广泛应用于各个领域，如：金融领域、公安系统、社保领域、机场安检人脸识别等。基于图像块的人脸识别方法更是取得了显著性能，通常是先对待识别样本分块，再把多个尺度的图像块识别分类结果集成起来得到最终待识别样本的分类结果。基于图像块的多尺度集成人脸识别方法具有一个明显的优势是它考虑了不同尺度图像块对识别效果的影响。然而这些方法只是把待识别样本直接进行分块识别，并没有考虑到人脸图像不同部位包含的上下文语义信息不同，对局部特征的描述也不同，从而对最终识别结果所作贡献的大小不同。

将现有的人脸检测和识别方法归类如下：

1.通过显性形状回归进行面部对齐[1]自动检测待识别人脸图像的关键点，有利于对面部局部特征进行描述，其对姿势，表情和遮挡变化具有鲁棒性。

[1]X.Cao,Y.Wei,F.Wen,J.Sun,“Face alignment by explicit shaperegression”Int.J.Computer.Vis.107(2)(2014),pp.177–190.

2.基于协同表示的分类方法(CRC)[2]待识别样本用所有类的训练样本进行线性表示，哪一类的训练样本对待识别样本的表示贡献最多，就把待识别样本归为哪一类。

[2]L.Zhang,M.Yang,and X.Feng,“Sparse representation or collaborativerepresentation:Which helps face recognition？”in Proc.Int.Conf.Comput.Vis.(ICCV),Nov.2011,pp.471–478.

3.基于多尺度图像块的协作表示人脸识别(MSPCRC)[3]对待识别人脸图像进行分块，对每一块图像利用CRC分类，再把待识别样本不同尺度的分类结果利用间隔分布优化方法集成起来得到最终的识别结果。

[3]P.Zhu,L.Zhang,Q.Hu,and Simon C.K.Shiu,“Multi-scale Patch basedCollaborative Representation for Face Recognition with Margin DistributionOptimization”in ECCV 2012.

4.基于图像块集合的协作表示人脸识别(ISCRC)[4]将待识别人脸图像和训练图像分别看作一个和若干个集合，把待识别人脸图像集在若干训练图像集上利用CRC分类，再根据最小重构误差得到最终分类识别结果。

[4]P.Zhu,W.Zuo,L.Zhang,S.Shiu,and D.Zhang,“Image Set basedCollaborative Representation for Face Recognition”IEEE Trans.on InformationForensics and Security,vol.9,No.7,pp.1120-1132,July 2014.

以上人脸识别方法中，一方面当训练样本数目较少时，待识别样本不能很好的被表示出来，另一方面MSPCRC是直接把待识别样本分块，没有考虑到人脸图像不同部位包含的上下文语义信息不同，对面部局部特征的描述不同，对最终识别效果所做的贡献不同。

发明内容

本发明所要解决的技术问题是，克服现有技术的不足而提供一种基于多尺度上下文信息融合的鲁棒人脸识别方法，能充分利用人脸图像的多尺度上下文语义信息，达到提高识别率的目的。

本发明提供一种基于多尺度上下文信息融合的鲁棒人脸识别方法，包括以下步骤：

S1、获取人脸关键点上下文信息；转至步骤S2；

S2、在特定尺度下对关键点图像块集合进行分类；转至步骤S3；

S3、对待识别样本进行多尺度集成分类，输出待识别样本的类标。

本发明的目的是对人脸图像进行关键点检测，把检测到的关键点部位及其周围一定窗口大小的区域分块，可以得到多个图像块集合，先对每个关键点处的图像块集合在特定尺度下进行分类，再把不同尺度的图像块分类结果进行融合得到最终待识别人脸图像的分类结果。

作为本发明的进一步技术方案，步骤S1的具体方法如下：

S101、设有一待识别样本集为Y,Y＝[Y₁,Y₂,…,Y_i…,Y_M],且Y_i∈Y表示其中一个样本，利用文献[1]中提到的方法对待识别样本进行关键点检测；

S102、设自动检测出H个关键点，对关键点部位及其周围一定窗口大小的区域进行分块，可得到H个图像块集合Y_i,且Y_i＝[y₁,y₂,…,y_j…,y_H],其中y_j表示第i个待识别样本中的第j个关键点处的图像块集合，每个关键点处窗口内图像块的数目N可根据(1)式获得，

上式中，图像块的数目N由窗口大小w、图像块大小p以及步长s决定。

步骤S102中，待识别样本Y_i可划分为H个p×N的图像块集合。

步骤S2的具体方法如下：

S201、对每个人脸关键点图像块集合分类；转至步骤S202；

S202、对所有关键点进行投票分类。

步骤S201的具体方法如下：

(1)给定c个类的训练样本集X＝[X₁,X₂…X_k…X_c],可以看作是c个类训练样本的级联组合，且X_k表示第k个类的训练样本，将待识别样本的每个关键点图像块集合Y_i和训练样本集X分别看作一个凸包，则第j个关键点图像块集合y_j与训练样本集X之间的距离可定义为，

min_a,b||y_ja-Xb||²s.t.∑a_s＝1 (2)

上式中，y_j表示第i个待识别样本的第j个关键点图像块集合，X表示对应位置的训练样本图像块集合，a、b为系数向量，a_s表示该图像块集合中第s个图像块的系数，∑a_s＝1避免了a＝b＝0的无效解；

(2)为获得稳定解系数,对a和b施加l_p范数约束，将(2)式变形为，

上式中，δ₁与δ₂均为很小的正常数；

则，(3)式的拉格朗日形式方程为，

上式中，λ₁与λ₂为平衡表示残差与正则化项的正常数；

(3)当使用l₂范数时，(4)式具有闭合形式的解，其拉格朗日形式的方程变为，

上式中，λ₃是拉格朗日乘子，e是元素均为1的行向量，a^T与b^T分别表示系数向量a与b的转置，I为单位矩阵；

那么，令

A＝[y_j-X]，

d＝[e 0]^T,则(5)式变为，

L(z,λ₃)＝z^TA^TAz+z^TBz+λ₃(d^Tz-1) (6)

为求解(6)式，可令，

由式(7)和(8)，可得到式(5)闭合形式的解，

其中，z₀＝(A^TA+B)^-1d，

表示与X_k相关联的系数向量；当获得系数

和

后，根据

计算该关键点图像块集合y_j与每个类的训练样本对应位置的图像块集合之间的相似度，并根据式(10)来判断该图像块集合分到哪一类，

Identity(y_j)＝argmin_k{r_k} (10)

上式中，

其中y_j表示第i个待识别样本的第j个关键点图像块集合，X_k表示对应位置的第k个类的训练样本图像块集合，

表示与X_k相关联的系数向量。

步骤S202的具体方法如下：

对于待识别样本Y_i的H个人脸关键点图像块集合，根据步骤201可以得到H个关键点图像块集合的分类结果，再根据相对多数投票法，若H个关键点图像块集合中分到第k类的关键点图像块集合数目最多，则在该尺度下待识别样本就分到第k类。

步骤S3的具体方法如下：

S301、基于多尺度上下文信息融合的人脸识别输出可以看作是特殊的分类任务，对于二分类问题，设给定一个待识别样本集S＝{(Y_i,z_i)}，其中i＝1,2,…,M，z_i＝{+1,-1}，设该待识别样本每个关键点图像块集合中图像块的大小可以划分为s个不同尺度，则该s个不同尺度的识别结果构成空间Q∈R^M×s，同时w＝[w₁,w₂,…,w_j…,w_s]为不同尺度识别输出的权重向量，满足

S302、对于多分类问题，给定一个待识别样本Y_i∈S,在s个不同尺度下的识别输出为{h_ij}，其中i＝1,2,…,M，j＝1,2,…s,定义决策矩阵D＝{d_ij}，其中i＝1,2,…,M，j＝1,2,…,s，则

其中，z_i是待识别样本Y_i的标签，当d_ij＝+1时，则Y_i被正确地分为第i类，否则Y_i被错误分类；

S303、将待识别样本Y_i∈S的集成间隔定义为

集成间隔反映了待识别样本被错误分类的程度，当集成间隔为正数时，待识别样本被正确分类，在学习尺度权重时，应尽可能使集成间隔大，间隔最大化问题通常可以转化成合页损失函数的最小化问题，故待识别样本Y_i∈S的集成损失为：

其中，w_j表示待识别样本在第j个尺度下识别输出的权重向量；

S304、对于待识别样本集S，其集成平方损失为，

其中，ε(Y_i)表示待识别样本Y_i的集成间隔，D是决策矩阵，w是尺度权重向量，e是元素为1且长度为s的单位向量；

S305、为学习到最优的尺度权重向量，应使(13)式的集成损失最小，为获得(13)式唯一且鲁棒性的解，基于AdaBoost原理，提出基于l₁正则化约束的最小二乘优化法来最小化集成损失及求解权重，

其中，D是决策矩阵，w是尺度权重向量，τ表示正则化参数，w_j表示待识别样本在第j个尺度下识别输出的权重向量；

S306、约束

等价于ew＝1,e是元素均为1的列向量，则

令

可以得到，

S307、获得尺度权重后，对于待识别样本Y_i,其类标识别输出为

z_i＝argmax_k＝{∑w_j|h_ij＝k} (17)

其中，h_ij表示待识别样本Y_i在第j个尺度下的识别输出，k表示待识别样本Y_i在第j个尺度下输出为第i类的标签总数。

对待识别样本进行多尺度集成分类，待识别样本的每个关键点图像块集合中图像块的尺度与每一类训练样本的数目对待识别样本的识别结果有很大影响，故把待识别样本不同尺度的识别结果融合起来以降低图像块集合中图像块的尺度对识别结果的影响。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明提出一种用于人脸识别的基于多尺度上下文信息融合的方法，本发明的方法充分考虑人脸图像不同部位的上下文语义信息差异，提出使用检测到的关键点周围图像块集合来描述人脸图像不同部位的上下文语义信息，并使用多尺度集成方法来降低待识别样本图像块的尺度大小对识别效果的影响，提高了识别精度，为后续人脸识别方法的发展提供帮助。

附图说明

图1为本发明的流程图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护权限不限于下述的实施例。

本实施例提出了一种基于多尺度上下文信息融合的鲁棒人脸识别方法，如图1所示，包括以下步骤：

S1、获取人脸关键点上下文信息

步骤S1的具体方法如下：

S101、设有一待识别样本集为Y,Y＝[Y₁,Y₂,…,Y_i…,Y_M],M表示该待识别样本集Y中样本的总数，且Y_i∈Y表示其中一个样本，利用文献[1]中提到的方法对待识别样本进行关键点检测；

S102、设自动检测出H个关键点，对关键点部位及其周围一定窗口大小的区域进行分块，可得到H个图像块集合Y_i,且Y_i＝[y₁,y₂,…,y_j…,y_H],H表示该待识别样本Y_i中图像块集合的数目，其中y_j表示第i个待识别样本中的第j个关键点处的图像块集合，每个关键点处窗口内图像块的数目N可根据(1)式获得，

上式中，图像块的数目N由窗口大小w、图像块大小p以及步长s决定。待识别样本Y_i可划分为H个p×N的图像块集合。

S2、在特定尺度下对关键点图像块集合进行分类

步骤S2的具体方法如下：

S201、对每个人脸关键点图像块集合分类

步骤S201的具体方法如下：

(1)给定c个类的训练样本集X＝[X₁,X₂…X_k…X_c],可以看作是c个类训练样本的级联组合，且X_k表示第k个类的训练样本。将待识别样本的每个关键点图像块集合Y_i和训练样本集X分别看作一个凸包，则第j个关键点图像块集合y_j与训练样本集X之间的距离可定义为，

min_a,b||y_ja-Xb||²s.t.∑a_s＝1 (2)

上式中，y_j表示第i个待识别样本的第j个关键点图像块集合，X表示对应位置的训练样本图像块集合，a、b为系数向量，a_s表示该图像块集合中第s个图像块的系数，∑a_s＝1避免了a＝b＝0的无效解。

(2)为获得稳定解系数,对a和b施加l_p范数约束，将(2)式变形为，

上式中，δ₁与δ₂均为很小的正常数。

其拉格朗日形式方程为，

上式中，λ₁与λ₂为平衡表示残差与正则化项的正常数。

(3)当使用l₂范数时，(4)式具有闭合形式的解，其拉格朗日形式的方程变为，

上式中，L表示拉格朗日方程，λ₃是拉格朗日乘子，e是元素均为1的行向量，a^T与b^T分别表示系数向量a与b的转置，I为单位矩阵；

那么，令

A＝[y_j-X]，

d＝[e 0]^T,则(5)式变为，

L(z,λ₃)＝z^TA^TAz+z^TBz+λ₃(d^Tz-1) (6)

式中，z^T表示z的转置，A^T表示A的转置，d^T表示d的转置；

为求解(6)式，可令，

由式(7)和(8)，可得到式(5)闭合形式的解，

这里，z₀＝(A^TA+B)^-1d，

表示与y_j相关联的系数向量，

表示与X_k相关联的系数向量。当获得系数

和

后，根据

计算该关键点图像块集合y_j与每个类的训练样本对应位置的图像块集合之间的相似度，并根据式(10)来判断该图像块集合分到哪一类，

Identity(y_j)＝argmin_k{r_k} (10)

上式中，r_k表示该关键点图像块集合y_j与第k类的训练样本对应位置的图像块集合之间的相似度，

其中y_j表示第i个待识别样本的第j个关键点图像块集合，X_k表示对应位置的第k个类的训练样本图像块集合，

表示与X_k相关联的系数向量。

S202、对所有关键点进行投票分类

步骤S202的具体方法如下：

对于待识别样本Y_i的H个人脸关键点图像块集合，根据步骤201可以得到H个关键点图像块集合的分类结果，再根据相对多数投票法，若H个关键点图像块集合中分到第k类的关键点图像块集合数目最多，则在该尺度下待识别样本就分到第k类。

S3、对待识别样本进行多尺度集成分类，输出待识别样本的类标

待识别样本的每个关键点图像块集合中图像块的尺度与每一类训练样本的数目对待识别样本的识别结果有很大影响，故把待识别样本不同尺度的识别结果集成起来以降低图像块集合中图像块的尺度对识别结果的影响。

步骤S3的具体方法如下：

S301、基于多尺度上下文信息融合的人脸识别输出可以看作是特殊的分类任务，对于二分类问题，设给定一个待识别样本集S＝{(Y_i,z_i)}，其中i＝1,2,…,M，z_i＝{+1,-1}，z_i表示分类标签，设该待识别样本每个关键点图像块集合中图像块的大小可以划分s个不同尺度，则该s个不同尺度的识别结果构成空间Q∈R^M×s，R^M×s表示空间Q的维度，同时w＝[w₁,w₂,…,w_j…,w_s]为不同尺度识别输出的权重向量，满足

w_j表示第j个尺度下识别输出的权重向量，s表示权重向量的个数。

S302、对于多分类问题，给定一个待识别样本Y_i∈S,在s个不同尺度下的识别输出为{h_ij}，其中i＝1,2,…,M，j＝1,2,…s,h_ij表示待识别样本Y_i在第j个尺度下的识别输出，定义决策矩阵D＝{d_ij}，d_ij表示决策矩阵D内的元素，其中i＝1,2,…,M，j＝1,2,…,s，则

其中，z_i是待识别样本Y_i的标签，当d_ij＝+1时，则Y_i被正确地分为第i类，否则Y_i被错误分类。

S303、将待识别样本Y_i∈S的集成间隔定义为

集成间隔反映了待识别样本被错误分类的程度，当集成间隔为正数时，待识别样本被正确分类，在学习尺度权重时，应尽可能使集成间隔大，间隔最大化问题通常可以转化成合页损失函数的最小化问题。故待识别样本Y_i∈S的集成损失为：

其中，w_j表示待识别样本在第j个尺度下识别输出的权重向量。

S304、对于待识别样本集S，其集成平方损失为，

其中，ε(Y_i)表示待识别样本Y_i的集成间隔，D是决策矩阵，w是尺度权重向量，e是元素为1且长度为s的单位向量。

S305、为学习到最优的尺度权重向量，应使(13)式的集成损失最小，为获得(13)式唯一且鲁棒性的解，基于AdaBoost原理，提出基于l₁正则化约束的最小二乘优化法来最小化集成损失及求解权重：

其中，D是决策矩阵，w是尺度权重向量，τ表示正则化参数，w_j表示待识别样本在第j个尺度下识别输出的权重向量，

表示尺度权重向量最小值。

S306、约束

等价于ew＝1,e是元素均为1的列向量，则

令

可以得到，

S307、获得尺度权重后，对于待识别样本Y_i,其类标识别输出为

z_i＝argmax_k＝{∑w_j|h_ij＝k} (17)

其中，h_ij表示待识别样本Y_i在第j个尺度下的识别输出，k表示待识别样本Y_i在第j个尺度下输出为第i类的标签总数。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.一种基于多尺度上下文信息融合的鲁棒人脸识别方法，其特征在于，包括以下步骤：

S1、获取人脸关键点上下文信息；转至步骤S2；

S2、在特定尺度下对关键点图像块集合进行分类；具体方法如下：

S201、对每个人脸关键点图像块集合分类；转至步骤S202；

S202、对所有关键点进行投票分类；具体方法如下：

(1)给定c个类的训练样本集X＝[X₁,X₂…X_k…X_c],且

表示第k个类的训练样本，将待识别样本的每个关键点图像块集合和训练样本集X分别看作一个凸包，则第j个关键点图像块集合y_j与训练样本集X之间的距离可定义为，

min_a,b||y_ja-Xb||² s.t.∑a_s＝1 (2)

上式中，y_j表示第i个待识别样本的第j个关键点图像块集合，X表示对应位置的训练样本图像块集合，a、b为系数向量，a_s表示该图像块集合中第s个图像块的系数，∑a_s＝1避免了a＝b＝0的无效解；

(2)为获得稳定解系数,对a和b施加l_p范数约束，将(2)式变形为，

上式中，δ₁与δ₂均为很小的正常数；

则，(3)式的拉格朗日形式方程为，

上式中，λ₁与λ₂为平衡表示残差与正则化项的正常数；

(3)当使用l₂范数时，(4)式具有闭合形式的解，其拉格朗日形式的方程变为，

上式中，λ₃是拉格朗日乘子，e是元素均为1的行向量，a^T与b^T分别表示系数向量a与b的转置，I为单位矩阵；

那么，令

A＝[y_j-X]，

d＝[e 0]^T,则(5)式变为，

L(z,λ₃)＝z^TA^TAz+z^TBz+λ₃(d^Tz-1) (6)

为求解(6)式，可令，

由式(7)和(8)，可得到式(5)闭合形式的解，

其中，z₀＝(A^TA+B)^-1d，

表示与X_k相关联的系数向量；当获得系数

和

后，根据

计算该关键点图像块集合y_j与每个类的训练样本对应位置的图像块集合之间的相似度，并根据式(10)来判断该图像块集合分到哪一类，

Identity(y_j)＝arg min_k{r_k} (10)

上式中，

其中y_j表示第i个待识别样本的第j个关键点图像块集合，X_k表示对应位置的第k个类的训练样本图像块集合，

表示与X_k相关联的系数向量；

转至步骤S3；

S3、对待识别样本进行多尺度集成分类。

2.根据权利要求1所述一种基于多尺度上下文信息融合的鲁棒人脸识别方法，其特征在于，步骤S1的具体方法如下：

S101、设有一待识别样本集为Y,Y＝[Y₁,Y₂,…,Y_i…,Y_M],M表示该待识别样本集Y中样本的总数，且Y_i∈Y表示其中一个样本，对待识别样本进行关键点检测；

S102、设自动检测出H个关键点，对关键点部位及其周围一定窗口大小的区域进行分块，可得到H个图像块集合Y′,且Y′＝[y₁,y₂,…,y_j…,y_H],其中y_j表示第i个待识别样本中的第j个关键点处的图像块集合，每个关键点处窗口内图像块的数目N可根据(1)式获得，

上式中，图像块的数目N由窗口大小w、图像块大小p以及步长s决定。

3.根据权利要求2所述一种基于多尺度上下文信息融合的鲁棒人脸识别方法，其特征在于，步骤S102中，待识别样本Y_i可划分为H个p×N的图像块集合。

4.根据权利要求1所述一种基于多尺度上下文信息融合的鲁棒人脸识别方法，其特征在于，步骤S202的具体方法如下：

对于待识别样本Y_i的H个人脸关键点图像块集合，根据步骤201可以得到H个关键点图像块集合的分类结果，再根据相对多数投票法，若H个关键点图像块集合中分到第k类的关键点图像块集合数目最多，则在该尺度下待识别样本就分到第k类。

5.根据权利要求4所述一种基于多尺度上下文信息融合的鲁棒人脸识别方法，其特征在于，步骤S3的具体方法如下：

S301、设给定一个待识别样本集S＝{(Y_i,z_i)}，其中i＝1,2,…,M，z_i＝{+1,-1}，设该待识别样本每个关键点图像块集合中图像块的大小可以划分为s个不同尺度，则该s个不同尺度的识别结果构成空间Q∈R^M×s，同时w＝[w₁,w₂,…,w_j…,w_s]为不同尺度识别输出的权重向量，满足

S302、对于多分类问题，给定一个待识别样本Y_i∈S,在s个不同尺度下的识别输出为{h_ij}，其中i＝1,2,…,M，j＝1,2,…s,定义决策矩阵D＝{d_ij}，其中i＝1,2,…,M，j＝1,2,…,s，则

其中，z_i是待识别样本Y_i的标签，当d_ij＝+1时，则Y_i被正确地分为第i类，否则Y_i被错误分类；

S303、将待识别样本Y_i∈S的集成间隔定义为

集成间隔反映了待识别样本被错误分类的程度，当集成间隔为正数时，待识别样本被正确分类，在学习尺度权重时，应尽可能使集成间隔大，间隔最大化问题通常可以转化成合页损失函数的最小化问题，故待识别样本Y_i∈S的集成损失为：

其中，w_j表示待识别样本在第j个尺度下识别输出的权重向量；

S304、对于待识别样本集S，其集成平方损失为，

其中，ε(Y_i)表示待识别样本Y_i的集成间隔，D是决策矩阵，w是尺度权重向量，e是元素为1且长度为s的单位向量；

S305、为学习到最优的尺度权重向量，应使(13)式的集成损失最小，为获得(13)式唯一且鲁棒性的解，基于AdaBoost原理，提出基于l₁正则化约束的最小二乘优化法来最小化集成损失及求解权重，

其中，D是决策矩阵，w是尺度权重向量，τ表示正则化参数，w_j表示待识别样本在第j个尺度下识别输出的权重向量；

S306、约束

等价于ew＝1,e是元素均为1的列向量，则

令

可以得到，

S307、获得尺度权重后，对于待识别样本Y_i,其类标识别输出为

z_i＝arg max_k＝{∑w_j|h_ij＝k} (17)

其中，h_ij表示待识别样本Y_i在第j个尺度下的识别输出，k表示待识别样本Y_i在第j个尺度下输出为第i类的标签总数。

Images