CN106295694B - 一种迭代重约束组稀疏表示分类的人脸识别方法 - Google Patents

Abstract

一种迭代重约束组稀疏表示分类的人脸识别方法，以有效对大面积遮挡图像、高复杂度拥塞图像、伪装图像或表情变化剧烈的图像进行分类，并获得较高识别率为目的，分为以下步骤：a)随机选择图像样本进行分类，组成训练字典集，每一类有各自的样本标签；b)计算待测试样本与字典集中每一类进行比对所产生的残差值e与稀疏表示系数θ的初值，并计算残差值e和稀疏表示系数θ的权值初值；c)迭代计算每一类的残差值e、稀疏表示系数θ和它们的权值，重复迭代过程直至达到收敛条件或最大迭代次数，输出最终的θ值；d)按e值最小对被测样本进行分类，得到识别结果，对被测样本进行分类。

Description

一种迭代重约束组稀疏表示分类的人脸识别方法

技术领域

本发明是一种人脸识别方法，具体地说，是一种自适应权值学习的迭代重约束组稀疏表示分类的人脸识别方法，其涉及模式识别领域，可用于人脸识别、目标识别等。

背景技术

在当今社会中，身份确认具有十分重要的价值。近年来，人类的生物特征越来越广泛地应用于个人的身份鉴认，相比于传统方法，利用人的生物特征做身份鉴别更安全、可靠、特征唯一、稳定性高，不易被盗窃和破解。对于人脸识别而言，它涉及的领域十分广泛，包括生物学、生理学、心理学、认知学、图形图像学、模式识别等领域，而且它与生物特性的识别鉴别方法有密切的联系，对于人脸识别的研究最早是源于19世纪末期发表在Nature杂志上的Calton写的文章，随着计算机的发展和模式识别的发展，人脸识别以它应用范围广的特点再次受到人们的重视，成为计算机视觉和模式识别领域的一个热门子领域。

人脸识别相比于其他的生物特征识别方法具有如下的强大优势：(1)无需用户过多参与，非接触式采集，无侵犯性；(2)对用户没有任何明显刺激，便于隐藏；(3)设备成本低廉，主要是采用摄像头来搜集人脸。因而人脸识别作为一种特殊的生物特征识别技术，拥有许多独特的应用环境，如罪犯搜捕、自动门禁系统、海关过境检查、信用卡确认等。

人脸识别已然成为模式识别和图像处理领域的研究热点，已有多种回归表示模型，如LRC(Linear Regression Classifier)、SRC(Sparse Regression Classifier)、CRC(Collaborative Regression Classifier)等。本发明提出的方法属于回归表示的人脸识别，通过训练字典集对人脸图像进行回归表示，选取与被测图像残差值最小的一类，作为被测图像的类别。

经专利查询统计，国内外已有不少人脸识别方面的专利：例如，基于有监督的近邻保持嵌入和支持向量机的人脸识别方法(200710114882.4)、基于广义非线性判别分析的人脸识别方法(200710300730.3)、一种人脸识别方法(200810030577.1)、基于核的判别随机近邻嵌入分析的人脸识别方法(201310125325.8)等。

发明内容

本发明能解决现有的人脸识别技术的对人脸图像中一些大面积遮挡图像、高复杂度拥塞图像、伪装图像或表情变化剧烈的图像的分类识别率低，计算复杂度高等问题，提供了一种基于迭代重约束的组稀疏表示分类器的自适应特征权值学习的人脸识别方法。

本发明解决技术问题采用的技术方案是：

一种迭代重约束组稀疏表示分类的人脸识别方法，包括字典集训练过程、计算系数和权值的初值过程、系数和权值的更新过程和图像分类过程：

a)字典集训练过程：随机选择图像样本，按其类别信息将其分成c类，组成训练字典集X＝[X₁,X₂,…,X_c]∈R^m×n，每一类有各自的样本标签。其中X_i＝[x_i1,x_i2,…,x_ini]∈R^m×ni是样本子集,i∈1,2,…,c。x_ij∈R^m是第i类中的第j个样本，维度为m，n_i表示第i个类别中训练样本的序数，n＝∑_i＝1 ^cn_i是样本总数；

b)计算系数和权值的初值过程：

其中前一部分表示重建图像的残差值与其特征权值s的点乘集，表示依元素相乘。后一部分表示以l_2,p(p>0)混合范数为计算标准的稀疏表示系数θ的加权正则项。

通过所训练字典集对被测图像进行回归表示，得到稀疏表示系数θ和残差值e＝y-Xθ，并对它们进行加权，权值分别为η和s。对θ的权值η进行自适应距离权值学习，根据被测图像与训练字典集的欧式距离的不同产生不同的权值系数。对e的权值s进行自适应特征权值学习，s的值不同，采用的范数计算方式不同；

具体来说步骤b)包括以下步骤：

b1通过所训练字典集X，用回归方法表示被测图像y：

其中，θ＝[θ₁₁,θ₁₂,…,θ_cnc]^T∈Rⁿ是稀疏表示的系数向量；

b2假设最优化的回归表示系数向量θ^*已知，令δ_i(θ^*)表示第i类中回归表示系数θ^*中的非零的系数向量，将被测图像y通过第i类的训练字典集进行回归表示，得到y_i＝Xδ_i(θ^*),i＝1,…,c。残差值e＝y-Xδ_i(θ^*)；

b3建立通用回归表示框架：

其中，p为1,2，分别表示l₁范数和l₂范数。可视X为X＝[r₁,r₂,…,r_m]，其中r_i∈Rⁿ，为X的第i行。令e＝y-Xθ＝[e₁,e₂,…,e_n]，其中e_i＝y_i-r_iθ,i＝1,2,…,m。可得到残差值e的权值s，s＝diag([s₁,s₂,…,s_c])∈R^m×m：

其中μ和δ是正标量，参数μ表示收缩率，取值为(0,1)，参数δ决定了局部与整体的界限点；

b4通过特征的欧式距离约束，建立自适应特征权值。利用权值大小排除距离真实目标最远的像素点，建立特征约束的加权组稀疏表示模型：

其中r_i用来评估被测样本被每一类字典样本所进行的回归表示后的相对重要程度，S＝diag([s₁,s₂,…,s_c])∈R^m×m，S是对角矩阵；

b5对被测的干扰点，即无效像素点，建立局部约束距离d_ik：

其中d_ik＝[d_i1,d_i2,…,d_ini]^T∈R^ni×1表示被测样本与训练样本之间的欧式距离，k＝1,…,n_i；

b6建立稀疏表示系数权值η，η_i＝[η_i1,η_i2,…,η_ini]^T,i＝1,2,…,c。令η_ik＝r_id_ik，回归模型可表示为：

其中p∈(0,2]，表示混合范数的取值；

b7引入下列正则项μ，将上述目标模型转化为光滑函数：

其中μ是一个极小正标量。当p≥1时，目标模型E(θ,s,μ)为凸函数，即存在一个全局最优解；

b8迭代求解s和η，以得到期望的稀疏表示系数θ^*，当θ为初始值时，上述目标模型可更新为：

s.t.s^T1＝1,s_i≥0,i＝1～m

1表示元素全为1的列向量；

b9通过w_i＝(y_i-r_i ^Tθ)²，ω∈R^m×1，将上述目标模型更新为：

s.t.s^T1＝1,s_i≥0,i＝1～m

其拉格朗日方程为：

其中，κ和β(β≥0)为拉格朗日数乘算子，根据KKT优化条件，可得到s的优化方程为：

b10为了不失一般性，假定w＝[w_i1,…,w_im]中元素按从大到小排列，若优化向量s中有l(l>0)个0元素，令s_m-l＝0且s_m-1-1>0,可得：

其中w_m-l-1为第m-l-1个大于零的元素，w_m-l为第m-l等于零的元素，m为维度。

b11根据限制条件，S^T1＝1，可得：

进一步求解得：

b12通过上述所得参数κ和γ，计算出待优化参数s的值：

此时即可通过调节非零元素l的值来优化s的取值；

b13当s的取值固定的时候，b7的目标模型可更新为：

为了简化表示，引入∏＝diag([η₁,η₂,…,η_c])∈R^n×n、α＝∏θ可得：

其中X′＝X∏^-1；

b14通过E(α)对α取偏导，且令偏导值为0，即：

其中D是块对角矩阵，简化上述公式得到α的值为：

α＝(X'^TSX'+λD)^-1X'^TSy

c)系数和权值的更新过程：根据权值η和s的变化对θ进行迭代更新，重复迭代过程直至满足收敛条件或达到最大迭代次数，输出最终的θ值；

具体来说步骤c)包括以下步骤：

c1如步骤b3所示通过回归表示框架得到残差值e＝y-Xα；

c2如步骤b12所示计算特征权值s；

c3如步骤b13所示根据s值计算S，D和Π；

c4如步骤b14所示通过α＝(X'^TSX'+λD)^-1X'^TSy得到α的值，依式θ＝Π^-1α得到稀疏表示系数θ；

c5若满足收敛条件(||E^t+1-E^t||₂/||E^t||₂<ζ,ζ是一个极小正标量)，或达到最大迭代次数(t_max＝50)，则输出最终的θ值。否则跳转至步骤c1，重复步骤c1-c5过程。

d)图像分类过程：以最终θ值所对应的最小残差值e对被测样本进行分类，得到分类识别结果。

本发明的技术构思：解决现有的多种回归表示模型LRC(Linear RegressionClassifier)、SRC(Sparse Regression Classifier)、CRC(Collaborative RegressionClassifier)及其加权模型WSRC(Weighted Sparese Regression Classifier)和WCRC(Weighted Collaborative Regression Classifier)等存在的两个问题：(1)方法中假定所有训练样本之间的区别相同，这明显是不现实的；(2)对大面积遮挡图像、高复杂度拥塞图像、伪装图像或人脸表情变化剧烈的图像识别率低，鲁棒性差。针对以上问题，本发明提出一种联合表示框架模型，并利用l_2,p范数正则项将类别标签信息引入模型，对稀疏表示系数和残差值进行加权迭代，减小受遮挡图像中无效像素点的影响，增加模型鲁棒性。综上所述，本发明利用自适应权值学习的思想提出了一种自适应权值学习的迭代重约束组稀疏表示分类的人脸识别方法，能够很好的克服现有多种回归模型的缺点。

本发明的优点是：能提高对大面积遮挡图像、高复杂度拥塞图像、伪装图像或人脸表情变化剧烈图像识别的识别率。

附图说明

图1a是AR人脸库中的原始人脸样本，图1b是AR人脸库中的遮挡人脸样本，图1c是利用不同方法进行回归表示后的残差值，图1d是所得残差值在对数领域中的映射；

图2a是多种方法在ExYaleB人脸数据库中的识别率对比，图2b是多种方法在PIE人脸数据库中的识别率对比；

图3是ExYaleB库中不同拥塞率的人脸图像样本；

图4a是ExYaleB库中不同白块遮挡程度下的人脸图像样本，图4b是ExYaleB库中黑块遮挡程度下的人脸图像样本；

图5a是不同白块遮挡程度下的各方法的识别率，图5b是不同黑块遮挡程度下的各方法的识别率；

图6是一种迭代重约束组稀疏表示分类的人脸识别方法的流程图。

具体实施方式

下面结合附图，进一步说明本发明的技术方案。

一种迭代重约束组稀疏表示分类的人脸识别方法，包括字典集训练过程、计算系数和权值的初值过程、系数和权值的更新过程和图像分类过程：

a)字典集训练过程：随机选择图像样本，按其类别信息将其分成c类，组成训练字典集X＝[X₁,X₂,…,X_c]∈R^m×n，每一类有各自的样本标签。其中X_i＝[x_i1,x_i2,…,x_ini]∈R^m×ni是样本子集,i∈1,2,…,c。x_ij∈R^m是第i类中的第j个样本，维度为m，n_i表示第i个类别中训练样本的序数，n＝∑_i＝1 ^cn_i是样本总数；

b)计算系数和权值的初值过程：

其中前一部分表示重建图像的残差值与其特征权值s的点乘集，表示依元素相乘。后一部分表示以l_2,p(p>0)混合范数为计算标准的稀疏表示系数θ的加权正则项。

通过所训练字典集对被测图像进行回归表示，得到稀疏表示系数θ和残差值e＝y-Xθ，并对它们进行加权，权值分别为η和s。对θ的权值η进行自适应距离权值学习，根据被测图像与训练字典集的欧式距离的不同产生不同的权值系数。对e的权值s进行自适应特征权值学习，s的值不同，采用的范数计算方式不同；

具体来说步骤b)包括以下步骤：

b1通过所训练字典集X，用回归方法表示被测图像y：

其中，θ＝[θ₁₁,θ₁₂,…,θ_cnc]^T∈Rⁿ是稀疏表示的系数向量；

b2假设最优化的回归表示系数向量θ^*已知，令δ_i(θ^*)表示第i类中回归表示系数θ^*中的非零的系数向量，将被测图像y通过第i类的训练字典集进行回归表示，得到y_i＝Xδ_i(θ^*),i＝1,…,c。残差值e＝y-Xδ_i(θ^*)；

b3建立通用回归表示框架：

其中，p为1,2，分别表示l₁范数和l₂范数。可视X为X＝[r₁,r₂,…,r_m]，其中r_i∈Rⁿ，为X的第i行。令e＝y-Xθ＝[e₁,e₂,…,e_n]，其中e_i＝y_i-r_iθ,i＝1,2,…,m。可得到残差值e的权值s，s＝diag([s₁,s₂,…,s_c])∈R^m×m：

其中μ和δ是正标量，参数μ表示收缩率，取值为(0,1)，参数δ决定了局部与整体的界限点；

b4通过特征的欧式距离约束，建立自适应特征权值。利用权值大小排除距离真实目标最远的像素点，建立特征约束的加权组稀疏表示模型：

其中r_i用来评估被测样本被每一类字典样本所进行的回归表示后的相对重要程度，S＝diag([s₁,s₂,…,s_c])∈R^m×m，S是对角矩阵；

b5对被测的干扰点，即无效像素点，建立局部约束距离d_ik：

其中d_ik＝[d_i1,d_i2,…,d_ini]^T∈R^ni×1表示被测样本与训练样本之间的欧式距离，k＝1,…,n_i；

b6建立稀疏表示系数权值η，η_i＝[η_i1,η_i2,…,η_ini]^T,i＝1,2,…,c。令η_ik＝r_id_ik，回归模型可表示为：

其中p∈(0,2],表示混合范数的取值；

b7引入下列正则项μ，将上述目标模型转化为光滑函数：

其中μ是一个极小正标量。当p≥1时，目标模型E(θ,s,μ)为凸函数，即存在一个全局最优解；

b8迭代求解s和η，以得到期望的稀疏表示系数θ^*，当θ为初始值时，上述目标模型可更新为：

s.t.s^T1＝1,s_i≥0,i＝1～m

1表示元素全为1的列向量；

b9通过w_i＝(y_i-r_i ^Tθ)²，ω∈R^m×1，将上述目标模型更新为：

s.t.s^T1＝1,s_i≥0,i＝1～m

其拉格朗日方程为：

其中，κ和β(β≥0)为拉格朗日数乘算子，根据KKT优化条件，可得到s的优化方程为：

b10为了不失一般性，假定w＝[w_i1,…,w_im]中元素按从大到小排列，若优化向量s中有l(l>0)个0元素，令s_m-l＝0且s_m-1-1>0,可得：

其中w_m-l-1为第m-l-1个大于零的元素，w_m-l为第m-l等于零的元素，m为维度。

b11根据限制条件，S^T1＝1，可得：

进一步求解得：

b12通过上述所得参数κ和γ，计算出待优化参数s的值：

此时即可通过调节非零元素l的值来优化s的取值；

b13当s的取值固定的时候，b7的目标模型可更新为：

为了简化表示，引入∏＝diag([η₁,η₂,…,η_c])∈R^n×n、α＝∏θ可得：

其中X′＝X∏^-1；

b14通过E(α)对α取偏导，且令偏导值为0，即：

其中D是块对角矩阵，简化上述公式得到α的值为：

α＝(X'^TSX'+λD)^-1X'^TSy

c)系数和权值的更新过程：根据权值η和s的变化对θ进行迭代更新，重复迭代过程直至满足收敛条件或达到最大迭代次数，输出最终的θ值；

具体来说步骤c)包括以下步骤：

c1如步骤b3所示通过回归表示框架得到残差值e＝y-Xα；

c2如步骤b12所示计算特征权值s；

c3如步骤b13所示根据s值计算S，D和Π；

c4如步骤b14所示通过α＝(X'^TSX'+λD)^-1X'^TSy得到α的值，依式θ＝Π^-1α得到稀疏表示系数θ；

c5若满足收敛条件(||E^t+1-E^t||₂/||E^t||₂<ζ,ζ是一个极小正标量)，或达到最大迭代次数(t_max＝50)，则输出最终的θ值。否则跳转至步骤c1，重复步骤c1-c5过程。

d)图像分类过程：以最终θ值所对应的最小残差值e对被测样本进行分类，得到分类识别结果。

实验采用AR数据集的一个子集，该子集包括2599个图像，共100类，包括50种男性图像，50种女性图像，所有图像均调整至64×50像素大小，每像素的灰度值在0-255范围之内。

表1是多种回归方法对同一图像库在不同比例噪声影响下的识别率的对比。从图中可知，在噪声较低时，五种方法均保持了较好的识别率，然而随着噪声比例增大，本发明的IRGSC方法仍然保持较其他算法更高的识别率。表2是AR数据库中，多种方法对真实遮挡物影响下的识别率对比，可明显看出，本发明的IRGSC方法对大面积遮挡，如墨镜和围巾影响下的图像仍然有较高的识别率。

表1附加了不同比例的噪声影响下IRGSC,RRC,RSRC,RCRC,和WGSC方法的识别率对比

表2AR数据库中多种方法对真实遮挡物影响下的图像的识别率对比

Claims (2)

1.一种迭代重约束组稀疏表示分类的人脸识别方法，包括字典集训练过程、计算系数和权值的初值过程、系数和权值的更新过程和图像分类过程，其特征在于，包括以下步骤：

a)字典集训练过程：随机选择图像样本，按其类别信息将其分成c类，组成训练字典集X＝[X₁,X₂,…,X_c]∈R^m×n，每一类有各自的样本标签；其中X_i＝[x_i1,x_i2,…,x_ini]∈R^m×ni是样本子集,i∈1,2,…,c；x_ij∈R^m是第i类中的第j个样本，维度为m，n_i表示第i个类别中训练样本的序数，n＝∑_i＝1 ^cn_i是样本总数；

b)计算系数和权值的初值过程：

其中前一部分||s⊙(y-Xθ)||表示重建图像的残差值与其特征权值s的点乘集，⊙表示依元素相乘； 后一部分表示以l_2,p(p>0)混合范数为计算标准的稀疏表示系数θ的加权正则项；

通过所训练字典集对被测图像进行回归表示，得到稀疏表示系数θ和残差值e＝y-Xθ，并对它们进行加权，权值分别为η和s；对θ的权值η进行自适应距离权值学习，根据被测图像与训练字典集的欧式距离的不同产生不同的权值系数；对e的权值s进行自适应特征权值学习，s的值不同，采用的范数计算方式不同；

c)系数和权值的更新过程：根据权值η和s的变化对θ进行迭代更新，重复迭代过程直至满足收敛条件或达到最大迭代次数，输出最终的θ值；

d)图像分类过程：以最终θ值所对应的最小残差值e对被测样本进行分类，得到分类识别结果；

步骤b)中所述的计算系数和权值的初值过程包括以下步骤：

b1通过所训练字典集X，用回归方法表示被测图像y：

其中，是稀疏表示的系数向量；

b2假设最优化的回归表示系数向量θ^*已知，令δ_i(θ^*)表示第i类中回归表示系数θ^*中的非零的系数向量，将被测图像y通过第i类的训练字典集进行回归表示，得到y_i＝Xδ_i(θ^*),i＝1,…,c； 残差值e＝y-Xδ_i(θ^*)；

b3建立通用回归表示框架：

其中，p为1,2，分别表示l₁范数和l₂范数，X＝[r₁,r₂,…,r_m]，其中r_i∈Rⁿ，为X的第i行，令e＝y-Xθ＝[e₁,e₂,…,e_n]，其中e_i＝y_i-r_iθ,i＝1,2,…,m，可得到残差值e的权值s，s＝diag([s₁,s₂,…,s_c])∈R^m×m：

其中μ和δ是正标量，参数μ表示收缩率，取值为(0,1)，参数δ决定了局部与整体的界限点；

b4通过特征的欧式距离约束，建立自适应特征权值，利用权值大小排除距离真实目标最远的像素点，建立特征约束的加权组稀疏表示模型：

其中r_i用来评估被测样本被每一类字典样本所进行的回归表示后的相对重要程度，S＝diag([s₁,s₂,…,s_c])∈R^m×m，S是对角矩阵；

b5对被测的干扰点，即无效像素点，建立局部约束距离d_ik：

其中d_ik＝[d_i1,d_i2,…,d_ini]^T∈R^ni×1表示被测样本与训练样本之间的欧式距离，k＝1,…,n_i；

b6建立稀疏表示系数权值η，η_i＝[η_i1,η_i2,…,η_ini]^T,i＝1,2,…,c，令η_ik＝r_id_ik，回归模型可表示为：

其中p∈(0,2]，表示混合范数的取值；

b7引入下列正则项μ，将上述目标模型转化为光滑函数：

其中μ是一个极小正标量，当p≥1时，目标模型E(θ,s,μ)为凸函数，即存在一个全局最优解；

b8迭代求解s和η，以得到期望的稀疏表示系数θ^*，当θ为初始值时，上述目标模型可更新为：

s.t.s^T1＝1,s_i≥0,i＝1～m

1表示元素全为1的列向量；

b9通过w_i＝(y_i-r_i ^Tθ)²，ω∈R^m×1，将上述目标模型更新为：

s.t.s^T1＝1,s_i≥0,i＝1～m

其拉格朗日方程为：

其中，κ和β(β≥0)为拉格朗日数乘算子，根据KKT优化条件，可得到s的优化方程为：

b10为了不失一般性，假定w＝w_i1,…,w_im中元素按从大到小排列，若优化向量s中有l(l>0)个0元素，令s_m-l＝0且s_m-1-1>0,可得：

其中w_m-l-1为第m-l-1个大于零的元素，w_m-l为第m-l等于零的元素，m为维度；

b11根据限制条件，S^T1＝1，可得：

进一步求解得：

b12通过上述所得参数κ和γ，计算出待优化参数s的值：

此时即可通过调节非零元素l的值来优化s的取值；

b13当s的取值固定的时候，b7的目标模型可更新为：

为了简化表示，引入Π＝diag([η₁,η₂,…,η_c])∈R^n×n、α＝Πθ可得：

其中X′＝XΠ^-1；

b14通过E(α)对α取偏导，且令偏导值为0，即：

其中D是块对角矩阵，简化上述公式得到α的值为：

α＝(X'^TSX'+λD)^-1X'^TSy

依上述描述可知，当α为固定值时，即可通过迭代求出s和D的值。

2.如权利要求1所述的人脸识别方法，其特征在于，步骤c)中所述系数和权值的更新过程包括以下步骤：

c1如步骤b3所示通过回归表示框架得到残差值e＝y-Xα；

c2如步骤b12所示计算特征权值s；

c3如步骤b13所示根据s值计算S，D和Π；

c4如步骤b14所示通过α＝(X'^TSX'+λD)^-1X'^TSy得到α的值，依式θ＝Π^-1α得到稀疏表示系数θ；

c5若满足收敛条件||E^t+1-E^t||₂/||E^t||₂<ζ,ζ是一个极小正标量，或达到最大迭代次数t_max＝50，则输出最终的θ值； 否则跳转至步骤c1，重复步骤c1-c5过程。