CN103984918A - 一种基于类内及类间变化的人脸图像识别方法 - Google Patents

Abstract

本发明公开一种基于类内及类间变化的人脸图像识别方法，该方法的实现步骤为：（一）构造类内及类间变化字典，建设标准图像库；（二）测试图像的识别方法的实现步骤为：（1）求测试图像与标准图像库中每个图像的差图像；（2）求差图像在类内变化及类间变化字典中的稀疏表示系数；（3）根据稀疏表示系数判定测试图像的身份；（4）对测试图像所有的判定信息进行投票，依据最大投票数原则，给出最终识别结果。本发明的人脸识别方法特别适用于实际人脸识别任务中每个目标只有一张人脸图像的情况，提高了这种情况下的识别率。

Description

一种基于类内及类间变化的人脸图像识别方法

技术领域：

本发明涉及一种人脸数字图像的识别方法，具体涉及一种基于类内及类间变化的人脸图像识别方法。 

背景技术

人脸与指纹及虹膜类似，可以作为身份认证、身份识别的重要生物特征，人脸因其非接触、易采集等特点更适于作为安全领域的生物特征。近年来，随着信息技术的迅速发展，身份认证及识别有广泛的应用需求，因此人脸识别技术得到了快速发展，并得到了广泛的应用。 

基于稀疏表示的人脸识别方法为解决噪声、光照、遮挡、表情等人脸识别难题提供了全新的思路，但是要求必须每个测试目标有多张照片，无法在每个测试目标只有一张照片的情况下实现。很多人脸识别方法需要识别目标有多张变化的人脸照片，然而在具体的人脸识别任务中，大部分待识别的目标只有一张或者几张人脸照片,这种小样本问题给人脸识别技术带来了一定的困难。 

发明内容

本发明的目的是提供一种基于类内及类间变化的人脸识别方法，利用不同目标人脸图像变化的相似性，使用较少的训练图像，解决人脸识别问题中的小样本问题，提高了识别精度。 

为了达到上述目的，本发明提供了一种基于类内及类间变化的人脸图像识别方法，其特征在于：所述方法包括下列操作步骤： 

（一）构造字典及建立标准图像库，包括以下步骤： 

（1）构造类内变化字典； 

（2）构造类间变化字典； 

（3）建立标准图像库； 

（二）测试图像的识别，包括以下步骤： 

(1)输入测试图像先按行取然后列取的顺序将二维图像拉成一维列向量并规范化为y∈IR^m，其中，m表示单个图像的维数，即m=行数*列数； 

(2)求测试图像与标准图像库中一幅图像间的差图像： 表示测试图像y与标准图像库A_s中第i幅图像的差图像，从i=1开始； 

(3)对得到的差图像进行规范化为均值为0，方差为1的差图像dⁱ； 

(4)在类内变化字典D_I及类间变化字典D_B中，采用基于L1范数最小化的方法求解规范后的差图像dⁱ的稀疏线性表示，即解决如下的最优化问题： 

$\left[\begin{array}{c}{\hat{x}}_I^i\\ {\hat{x}}_B^i\end{array}\right]=\arg \min \left|\right|\begin{array}{}\end{array}\left[\begin{array}{c}{x}_I^i\\ x_B^i\end{array}\right]{\left|\right|}_1,s.t.\left|\right|[D_I,D_B]\left[\begin{array}{c}{x}_I^i\\ x_B^i\end{array}\right]-d^i{\left|\right|}_2\≤\mathrm{\ϵ}$

其中，和分别为类内变化字典及类间变化字典对应于dⁱ的稀疏表示系数； 

(5)对得到的稀疏表示系数和求绝对值：

(6)取绝对值中的最大值：其中index表示最 大值对应的字典内的编号； 

(7)根据最大值对应的编号index，找出字典中差图像的对应信息，结合标准图像编号i给出测试图像的身份信息Id(y,i)； 

(8)如果i不是标准图像库中最后一幅图像，则回到步骤（2），继续测试；如果i是标准图像库中最后一幅图像，对所有的身份信息Id(y,i)(1≤i≤K)进行投票，其中，K为相同环境下不同目标的人脸图像数； 

(9)选取身份信息Id(y,i)票数最高的目标类别为最终的识别结果identity(y)。 

所述的类内变化字典D_I是描述同一人脸在不同光照和/或表情的情况下图像差异的组合，即同一人脸在不同光照和/或表情的图像之间相减得到的差值，其操作步骤如下： 

a)从人脸数据库中随机选取某个含有多张不同环境下的图像的人，将此人的每张人脸图像按行取然后列取的顺序把二维图像拉成一维列向量，所有图像形成矩阵其中，L表示此人共有人脸图像数； 

b)求矩阵A_I中所有的列向量间的差图像，即： 

d_ij=v_i,I-v_j,I(1≤i≤L,1≤j≤L,且i≠j)； 

c)绝对值相同的差图像d_ij只保留一个，将每个差图像d_ij规范化为均值为0，方差为1的差图像d_i,I，得到类内变化字典D_I=[d_1,I,d_2,I,...d_ni,I]∈IR^m×ni，其中，ni=L*(L-1)。 

所述的类间变化字典D_B是描述不同人脸在基本相同光照和/或表情的情况下图像差异的组合，即不同人脸在基本相同光照和/或表情的图像之间相减得到的差值，其操作步骤如下： 

a)从人脸数据库中选取每个人一张均匀光照和自然表情的人脸图像，将这些图像按行取然后列取的顺序把二维图像拉成一维列向量，所有图像形成矩阵A_B=[v_1,B,v_2,B,...v_K,B]∈IR^m×K； 

b)将图像集内的图像相互求差，即: 

d_ij=v_i,B-v_j,B(1≤i≤K,1≤j≤K且i≠j)； 

c)绝对值相同的差图像d_ij保留一个，将每个差图像d_ij规范化为均值为0，方差为1的差图像d_i,B，得到类间变化字典D_B=[d_1,B,d_2,B,...d_nb,B]∈IR^m×nb,其中，nb=K*(K-1)。 

所述的标准图像库是由不同人脸在均匀光照和/或自然表情下图像的组合，即不同人脸在均匀光照和/或自然表情的图像组合，其操作步骤如下: 

a)从人脸数据库中选取每个人一张均匀光照和自然表情的人脸图像，将这些图像按照行取然后列取的顺序将二维图像拉成一维列向量，所有图像形成矩阵  ${\hat{A}}_s=[{\hat{I}}_s^1,{\hat{I}}_s^2,\·\·\·,{\hat{I}}_s^K]\∈{\mathrm{IR}}^{m\×K};$

b)对标准图像库中所有图像规范化，即对每个列向量规范化为均值为0，方差为1的向量形成标准图像库

所述的稀疏表示为测试图像与标准图像库中的每一幅图像的差图像在类内及类间变化字典中求解。 

本发明的优点是：利用不同环境下人脸变化的相似性，通过计算测试图像与 标准图像库中的每一幅图像的差图像在类内及类间变化字典中的稀疏表示系数，并根据该系数得到测试图像的身份信息来识别人脸图像，提高了具体人脸识别任务中每个目标只有一张照片时的识别率。 

附图说明

图1是本发明方法的流程图。 

图2是本发明构造类内变化字典的流程图。 

图3是本发明构造类间变化字典的流程图。 

图4是本发明构造标准图像库的流程图。 

图5是本发明实施例中采用的部分测试图像。 

具体实施方式

为使本发明的技术方案更清楚，下面结合附图对本发明作进一步详细的描述。参考附图1，本发明的各部分具体实施细节如下: 

（一）构造字典及建立标准图像库，包括以下步骤： 

(1)构造类内变化字典D_I，参见图2，类内变化字典D_I是由描述同一人脸在不同光照和/或表情的情况下图像差异的组合。类内变化字典D_I的原子是同一人脸在不同光照和/或表情的图像之间相减所得到的差值向量，其操作步骤如下： 

a)从人脸数据库中随机选取某个含有多张不同环境下的图像的人，将此人的每张人脸图像按行取然后列取的顺序将二维图像拉成一维列向量，所有图像形成矩阵：其中，L表示此人共有人脸图像数； 

b)求矩阵A_I中所有的列向量间的差图像，即： 

d_ij=v_i,I-v_j,I(1≤i≤L,1≤j≤L,且i≠j)； 

c)绝对值相同的差图像d_ij只保留一个，将每个差图像d_ij规范化为均值为0，方差为1的差图像d_i,I，得到类内变化字典其中，ni=L*(L-1)。 

(2)构造类间变化字典D_B，参见图3，类间变化字典是由描述不同人脸在基本相同光照和/或表情的情况下图像差异的组合。类间变化字典D_B的原子是不同人脸在基本相同光照和/或表情的图像之间相减所得到的差值向量，其操作步骤如下： 

a)从人脸数据库中选取每个人一张均匀光照和自然表情的人脸图像，将这些图像按行取然后列取的顺序将二维图像拉成一维列向量，所有图像形成矩阵：  $A_B=[v_{1,B},v_{2,B},\·\·\·,v_{K,B}]\∈{\mathrm{IR}}^{m\×K},$

b)将图像集内的图像相互求差，即: 

d_ij=v_i,B-v_j,B(1≤i≤K,1≤j≤K且i≠j)； 

c)绝对值相同的差图像d_ij保留一个，将每个差图像d_ij规范化为均值为0，方差为1的差图像d_i,B，得到类间变化字典其中，nb=K*(K-1)。 

(3)建立标准图像库A_s，参见图4，其构建步骤为: 

a)从人脸数据库中选取每个人一张均匀光照和自然表情的人脸图像，将这些图像按照行取然后列取的顺序将二维图像拉成一维列向量，所有图像形成矩阵  ${\hat{A}}_s=[{\hat{I}}_s^1,{\hat{I}}_s^2,\·\·\·,{\hat{I}}_s^K]\∈{\mathrm{IR}}^{m\×K};$

b)对标准图像库中所有图像规范化，即对每个列向量规范化为均值为0，方差为1的向量形成标准图像库

（二）测试图像的识别，包括以下步骤： 

(1)输入测试图像先按行取然后列取的顺序将二维图像拉成一维列向量并规范化为y∈IR^m，其中，m表示单个图像的维数，即m=行数*列数。 

(2)求测试图像与标准图像库中一幅图像间的差图像： 表示测试图像y与标准图像库A_s中第i幅图像的差图像，从i=1开始。 

(3)对得到的差图像进行规范化为均值为0，方差为1的差图像dⁱ。 

(4)在类内变化字典D_I及类间变化字典D_B中，采用基于L1范数最小化的方法求解规范下的差图像dⁱ的稀疏线性表示，即解决如下的最优化问题： 

$\left[\begin{array}{c}{\hat{x}}_I^i\\ {\hat{x}}_B^i\end{array}\right]=\arg \min \left|\right|\begin{array}{}\end{array}\left[\begin{array}{c}{x}_I^i\\ x_B^i\end{array}\right]{\left|\right|}_1,s.t.\left|\right|[D_I,D_B]\left[\begin{array}{c}{x}_I^i\\ x_B^i\end{array}\right]-d^i{\left|\right|}_2\≤\mathrm{\ϵ}$

其中，和分别为类内变化字典及类间变化字典对应于dⁱ的稀疏表示系数。 

(5)对得到的稀疏表示系数和求绝对值：

(6)取绝对值中的最大值：其中index表示最大值对应的字典内的编号。 

(7)根据最大值对应的编号index，找出字典中差图像的对应信息，结合标准图像编号i给出测试图像的身份信息Id(y,i)。 

(8)如果i不是标准图像库中最后一幅图像，则回到（2），继续测试；如果i是标准图像库中最后一幅图像，对所有的身份信息Id(y,i)(1≤i≤K)进行投票。 

(9)选取身份信息Id(y,i)中票数最高的目标类别为最终的识别结果identity(y)。 

本发明进行了多次实验，下面介绍实施例的仿真实验情况和效果： 

本发明实施例仿真采用的人脸图像来自Yale B人脸数据库，该库共有38个人，每个人有不同光照条件下64张正面照片。原图为192×168大小的图像，经过下采样，变为48×42大小的图像。选择第一个人64张照片作为类内变化字典训练集，每人一张均匀光照的照片作为类间变化字典训练集和标准图像库。因此，类内变化字典共有2016个元素，类间变化字典里共有703个元素。本仿真实验共选择了人脸数据库中的47幅图像作为测试图像，部分测试图像如图5所示。将一幅48×42的测试图像行取然后列取构成一个向量，将该向量规范化后与标准图像库中的图像求差，然后求差图像在类内变化及类间变化字典上的稀疏表示系数，从而判断测试图像的身份信息。本仿真实验在软件MATLAB7.0下实现。经过仿真实验验证，本发明的人脸识别方法的识别率达到93.6%。可见，本发明的人脸识别方法提高了识别目标只有一幅图像时的识别率，具有较好的推广应用前景。 

Claims (5)

1.一种基于类内及类间变化的人脸图像识别方法，其特征在于：所述方法包括下列操作步骤：

（一）构造字典及建立标准图像库，包括以下步骤：

（1）构造类内变化字典；

（2）构造类间变化字典；

（3）建立标准图像库；

（二）测试图像的识别，包括以下步骤：

(1)输入测试图像先按行取然后列取的顺序将二维图像拉成一维列向量并规范化为y∈IR^m，其中，m表示单个图像的维数，即m=行数*列数；

(2)求测试图像与标准图像库中一幅图像间的差图像： 表示测试图像y与标准图像库A_s中第i幅图像的差图像，从i=1开始；

(3)对得到的差图像进行规范化为均值为0，方差为1的差图像dⁱ；

(4)在类内变化字典D_I及类间变化字典D_B中，采用基于L1范数最小化的方法求解规范后的差图像dⁱ的稀疏线性表示，即解决如下的最优化问题：

$\left[\begin{array}{c}{\hat{x}}_I^i\\ {\hat{x}}_B^i\end{array}\right]=\arg \min \left|\right|\begin{array}{}\end{array}\left[\begin{array}{c}{x}_I^i\\ x_B^i\end{array}\right]{\left|\right|}_1,s.t.\left|\right|[D_I,D_B]\left[\begin{array}{c}{x}_I^i\\ x_B^i\end{array}\right]-d^i{\left|\right|}_2\≤\mathrm{\ϵ}$

其中，和分别为类内变化字典及类间变化字典对应于dⁱ的稀疏表示系数；

(5)对得到的稀疏表示系数和求绝对值：

(6)取绝对值中的最大值：其中，index表示最大值对应的字典内的编号；

(7)根据最大值对应的编号index，找出字典中差图像的对应信息，结合标准图像编号i给出测试图像的身份信息Id(y,i)；

(8)如果i不是标准图像库中最后一幅图像，则回到步骤（2），继续测试；如果i是标准图像库中最后一幅图像，对所有的身份信息Id(y,i)(1≤i≤K)进行投票，其中，K为相同环境下不同目标的人脸图像数；

(9)选取身份信息Id(y,i)票数最高的目标类别为最终的识别结果identity(y)。

2.根据权利要求1所述的基于类内及类间变化的人脸图像识别方法，其特征在于：所述的类内变化字典D_I是描述同一人脸在不同光照和/或表情的情况下图像差异的组合，即同一人脸在不同光照和/或表情的图像之间相减得到的差值，其操作步骤如下：

a)从人脸数据库中随机选取某个含有多张不同环境下的图像的人，将此人的每张人脸图像按行取然后列取的顺序把二维图像拉成一维列向量，所有图像形成矩阵A_I=[v_1,I,v_2,I,...v_L,I]∈IR^m×L，其中，L表示此人共有人脸图像数；

b)求矩阵A_I中所有的列向量间的差图像，即：

d_ij=v_i,I-v_j,I(1≤i≤L,1≤j≤L,且i≠j)

c)绝对值相同的差图像d_ij只保留一个，将每个差图像d_ij规范化为均值为0，方差为1的差图像d_i,I，得到类内变化字典D_I=[d_1,I,d_2,I,...d_ni,I]∈IR^m×ni，其中，ni=L*(L-1)。

3.据权利要求1所述的一种基于类内及类间变化的人脸图像识别方法，其特征在于：所述的类间变化字典D_B是描述不同人脸在基本相同光照和/或表情的情况下图像差异的组合，即不同人脸在基本相同光照和/或表情的图像之间相减得到的差值，其操作步骤如下：

a)从人脸数据库中选取每个人一张均匀光照和自然表情的人脸图像，将这些图像按行取然后列取的顺序把二维图像拉成一维列向量，所有图像形成矩阵A_B=[v_1,B,v_2,B,...v_K,B]∈IR^m×K；

b)将图像集内的图像相互求差，即:

d_ij=v_i,B-v_j,B(1≤i≤K,1≤j≤K且i≠j)；

c)绝对值相同的差图像d_ij保留一个，将每个差图像d_ij规范化为均值为0，方差为1的差图像d_i,B，得到类间变化字典D_B=[d_1,B,d_2,B,...d_nb,B]∈IR^m×nb,其中，nb=K*(K-1)。

4.根据权利要求1所述的一种基于类内及类间变化的人脸图像识别方法，其特征在于：所述的标准图像库是由不同人脸在均匀光照和/或自然表情下图像的组合，即不同人脸在均匀光照和/或自然表情的图像组合，其操作步骤如下:

a)从人脸数据库中选取每个人一张均匀光照和自然表情的人脸图像，将这些图像按照行取然后列取的顺序将二维图像拉成一维列向量，所有图像形成矩阵 ${\hat{A}}_s=[{\hat{I}}_s^1,{\hat{I}}_s^2,...,{\hat{I}}_s^K]\∈{\mathrm{IR}}^{m\×K};$

b)对标准图像库中所有图像规范化，即对每个列向量规范化为均值为0，方差为1的向量形成标准图像库

5.根据权利要求1所述的一种基于类内及类间变化的人脸图像识别方法，其特征在于：所述的稀疏表示为测试图像与标准图像库中的每一幅图像的差图像在类内及类间变化字典中求解。