CN105787462B - 基于半耦合判决性字典学习的极低分辨率人脸识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于半耦合判决性字典学习的极低分辨率人脸识别算法及系统，该方法包括以下两个阶段：训练阶段和测试阶段；训练阶段包括以下两个步骤：S1、构建初始高、低分辨率表达字典；S2、更新初始高、低分辨率表达字典，得到标准矩阵集；测试阶段包括以下三个步骤：S3、获取极低分辨率人脸图像，求出相应的极低分辨率局部表达系数矩阵；S4、得到新的待测试系数矩阵集；S5、根据标准矩阵集和待测试系数矩阵集，得出识别结果。本发明提升了极低分辨率人脸图像的表达能力，提升了对极低分辨率人脸图像的识别率，识别效率高，识别速度较快；另外本方法在极低分辨率人脸图像的重建中也取得了较好的效果。

Description

基于半耦合判决性字典学习的极低分辨率人脸识别方法及 系统

技术领域

本发明涉及人脸图像自动识别领域，尤其涉及一种基于半耦合判决性字典学习的极低分辨率人脸识别方法及系统。

背景技术

近年来，人脸识别技术在许多领域都得到了广泛的应用。然而在实际生活中，由于监控设备常常远离监控目标，图片中的目标人脸部分质量较差不易于辨认；与此同时，光照条件、表情以及姿态的变化又进一步加大了人脸识别的难度，因此，研究极低分辨率下的人脸识别技术具有十分重要的实际意义。

目前，解决极低分辨率下的人脸识别问题的传统方法大体分为两类方法：第一类是下采样高分辨率图像与样本库中的低分辨率图像进行匹配；第二类是上采样低分辨率图像去匹配高分辨率样本。第一类方法虽然也解决了由于维数不一致而导致的无法匹配问题，但是在下采样中会丢失大量的有效信息，尤其是在识别中起关键作用的高频信息部分，因此，这类方法往往得不到较好的结果。第二类方法试图通过上采样来恢复低分辨率图像的特征信息，部分学者选择超分辨率重建技术并认为重建质量的好坏是解决这类问题的关键部分。现有的超分技术的确在视觉上大大提高了图片的客观质量，但是，视觉上的质量提升并不意味着机器识别也能达到同样的效果。

事实上，不同分辨率之间的特征信息差异是造成极低分辨率图像难以识别的最为主要的原因。低分辨率图像的判决信息少于高分辨率图像，但是这并不意味着越高的图像维数越有利于识别，大量的文献表明特征信息的判决能力才是影响识别率的关键因素。

高低分辨率图像间的匹配关系理想状态下是一对一的，但是事实上两者之间是复杂的一对多的关系。由于图像在降质过程中会丢失大量的有效判决信息，图像分辨率极地时，传统的人脸幻象方法并不一定能够提高最终的识别率。此外，基于流线一致的假设，大量的超分辨率算法认为高低分辨率特征表达系数权重一直，但是事实上这种全耦合关系很难正确描述高低分辨率图像间复杂的匹配关系。

为了解决以上问题，我们提出了一种半耦合局部约束表示方法将人脸幻象与识别统一起来，该方法首先建立高低分辨率样本库，在此基础上计算不同分辨率下人脸图像在局部约束下的最优权值系数，然后利用样本库图像学习不同分辨率下的最优权值系数间的半耦合关系；最后将测试低分辨率图像与训练高分辨率图像的最优权重系数利用学习到半耦合关系投影到统一的特征空间作为待分类的特征信息，最后采用稀疏表达(sparserepresentation based classification,SRC)建立人脸图像和人脸标签之间的映射关系，实现人脸图像的识别。本算法在极低分辨率下人脸图像的重建中也取得了较好的效果。

发明内容

本发明要解决的技术问题在于针对现有技术中难以识别极低分辨率人脸图像的缺陷，提供一种利用高低分辨率样本库并结合最优权值系数进行极低分辨率人脸图像识别的基于半耦合判决性字典学习的极低分辨率人脸识别方法及系统。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种基于半耦合判决性字典学习的极低分辨率人脸识别算法，包括以下两个阶段：训练阶段和测试阶段；

训练阶段包括以下两个步骤：

S1、将训练样本图像分为两部分，对第一部分中的高分辨率人脸图像进行下采样得到对应的低分辨率人脸图像，将该部分的高、低分辨率人脸图像展开成列向量，构建初始高、低分辨率表达字典；

S2、对第二部分中的高分辨率人脸图像进行下采样得到对应的低分辨率人脸图像，通过半耦合局部约束表示算法更新初始高、低分辨率表达字典，分步迭代获得稳定的高、低分辨率局部表达系数矩阵和对应的高、低分辨率表达字典；并利用半耦合匹配关系将高分辨率局部表达系数矩阵投影到子空间，得到标准矩阵集；训练阶段完成；

测试阶段包括以下三个步骤：

S3、将待分类的极低分辨率图像展开为列向量，在低分辨率表达字典上求出相应的极低分辨率局部表达系数矩阵；

S4、利用半耦合匹配关系将极低分辨率局部表达系数矩阵投影到子空间，得到新的待测试系数矩阵集；

S5、根据步骤S2得到的标准矩阵集作为稀疏字典，结合步骤S4得到的待测试系数矩阵集，根据稀疏表达后的结果误差预测类别，得出识别结果。

进一步地，本发明的步骤S1中构建初始高、低分辨率表达字典的具体方法为：

对第一部分训练样本图像中的高分辨率人脸图像进行下采样得到对应的低分辨率人脸图像，然后把高、低分辨率样本图像展开成列向量，分别将该部分的高、低分辨率样本图像组成初始高、低分辨字典矩阵D_l和D_h，其中D_l∈R^c×M,c为一张低分辨率图像大小，M表示训练样本个数，t是放大系数。

进一步地，本发明的步骤S2的具体步骤为：

S21、获得一个初始的LCR系数，其公式为：

其中，对于低分辨率最优权值系数矩阵集Λ_l集，给定初始半耦合系数矩阵集W为身份矩阵，表示局部距离矩阵，上述更新求解过程可表示为：

该问题为正则化最小二乘问题，令上述问题可以改写为则y＝(A^TA+λ₂M²)^-1A^Tb；

同理可求出高分辨率最优权值系数矩阵集Λ_h；

S22、对第二部分高分辨率数据集X_h，下采样得到低分辨率数据集X_l，其中X_l∈R^c×N,c为一张低分辨率图像大小，N表示训练样本个数，t是放大系数，通过迭代过程求出高低分辨率字典矩阵以及半耦合匹配系数矩阵W；

S23、迭代完成后，得到高低分辨率表达字典D_l和D_h，半耦合匹配系数W以及局部约束最优权值标准系数矩阵集Λ_h。

进一步地，本发明的步骤S22中迭代的具体过程为：

a、根据步骤S21的公式求出最优权值系数矩阵集Λ_l和Λ_h：

b、对字典逐列进行更新，其公式为：

此处可以采用梯度下降算法求解，对于低分辨率字典D_l：

通过设置β控制字典学习的速率；

同理可对高分辨率字典D_h进行更新；

c、对半耦合匹配矩阵W进行更新，其公式为：

此处采用梯度下降算法求解，W的初始值设置为身份矩阵，

进一步地，本发明的步骤S3的具体方法为：

S31、对待分类的极低分辨率图像样本，将全部的测试图像展开为列向量并组成测试集T＝[t₁,t₂,...t_m]，其中T∈R^c×m，c为一张低分辨率图像大小，m表示训练样本个数；

S32、对T的每一列在低分辨率表达字典D_l上求出相应的低级分辨率LCR系数矩阵α并组成LCR系数矩阵集Λ，Λ＝[α₁,α₂,...α_m]。

进一步地，本发明的步骤S4的具体方法为：

利用半耦合匹配关系W将LCR系数矩阵Λ投影到高分辨率空间，其公式为：y_k＝Wα_k，得到新的待测试特征系数矩阵集Y,Y＝[y₁,y₂,...y_m]。

进一步地，本发明的步骤S5的具体方法为：

S51、确定步骤S2中最后得到标准矩阵集Λ_h的类别值，以标准矩阵集Λ_h为稀疏字典，先求出待测试系数矩阵集中的每一列的稀疏系数β_k，其公式为：

S52、求出每一类的结构差值，找出结构差值最小值的类别值o，则第k张测试样本的预测类别值为o，其公式为：

本发明提供一种基于半耦合判决性字典学习的极低分辨率人脸识别系统，包括训练单元和测试单元：

训练单元具体包括：

初始表达字典构建单元，用于将训练样本图像分为两部分，对第一部分中的高分辨率人脸图像进行下采样得到对应的低分辨率人脸图像，将该部分的高、低分辨率人脸图像展开成列向量，构建初始高、低分辨率表达字典；

标准矩阵集构建单元，用于对第二部分中的高分辨率人脸图像进行下采样得到对应的低分辨率人脸图像，通过半耦合局部约束表示算法更新初始高、低分辨率表达字典，分步迭代获得稳定的高、低分辨率局部表达系数矩阵和对应的高、低分辨率表达字典；并利用半耦合匹配关系将高分辨率局部表达系数矩阵投影到子空间，得到标准矩阵集；

测试单元具体包括：

图像获取单元，用于将待分类的极低分辨率图像展开为列向量，在低分辨率表达字典上求出相应的极低分辨率局部表达系数矩阵；

约束特征确定单元，用于利用半耦合匹配关系将极低分辨率局部表达系数矩阵投影到子空间，得到新的待测试系数矩阵集；

图像识别单元，用于根据得到的标准矩阵集作为稀疏字典，结合得到的待测试系数矩阵集，根据稀疏表达后的结果误差预测类别，得出识别结果。

本发明产生的有益效果是：本发明的基于半耦合判决性字典学习的极低分辨率人脸识别方法，通过建立高低分辨率样本库，学习不同分辨率下的最优权值系数间的半耦合关系，并建立人脸图像和人脸标签之间的映射关系，实现人脸图像识别；本方法提升了极低分辨率人脸图像的表达能力，提升了对极低分辨率人脸图像的识别率，识别效率高，识别速度较快；另外本方法在极低分辨率人脸图像的重建中也取得了较好的效果。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的基于半耦合判决性字典学习的极低分辨率人脸识别算法的流程图；

图2是本发明实施例的基于半耦合判决性字典学习的极低分辨率人脸识别算法的具体实施方案结构流程图；

图3是本发明实施例的基于半耦合判决性字典学习的极低分辨率人脸识别系统的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例的基于半耦合判决性字典学习的极低分辨率人脸识别算法，其特征在于，包括以下两个阶段：训练阶段和测试阶段；

训练阶段包括以下两个步骤：

S1、将训练样本图像分为两部分，对第一部分中的高分辨率人脸图像进行下采样得到对应的低分辨率人脸图像，将该部分的高、低分辨率人脸图像展开成列向量，构建初始高、低分辨率表达字典；初始高、低分辨字典矩阵为D_l和D_h，其中D_l∈R^c×M,c为一张低分辨率图像大小，M表示训练样本个数，t是放大系数。

S2、对第二部分中的高分辨率人脸图像进行下采样得到对应的低分辨率人脸图像，通过半耦合局部约束表示算法更新初始高、低分辨率表达字典，分步迭代获得稳定的高、低分辨率局部表达系数矩阵和对应的高、低分辨率表达字典；并利用半耦合匹配关系将高分辨率局部表达系数矩阵投影到子空间，得到标准矩阵集；

S21、获得一个初始的LCR系数，其公式为：

其中，对于低分辨率最优权值系数矩阵集Λ_l集，给定初始半耦合系数矩阵集W为身份矩阵，表示局部距离矩阵，上述更新求解过程可表示为：

该问题为正则化最小二乘问题，令上述问题可以改写为则y＝(A^TA+λ₂M²)^-1A^Tb。

同理可求出高分辨率最优权值系数矩阵集Λ_h。

S22、对第二部分高分辨率数据集X_h，下采样得到低分辨率数据集X_l，其中X_l∈R^c×N,c为一张低分辨率图像大小，N表示训练样本个数，t是放大系数，通过迭代过程求出高低分辨率字典矩阵以及半耦合匹配系数矩阵W；

迭代的具体过程为：

a、根据步骤S21的公式求出最优权值系数矩阵集Λ_l和Λ_h：

b、对字典逐列进行更新，其公式为：

此处可以采用梯度下降算法求解，对于低分辨率字典D_l：

通过设置β控制字典学习的速率。

同理可对高分辨率字典D_h进行更新。

c、对半耦合匹配矩阵W进行更新，其公式为：

此处采用梯度下降算法求解，W的初始值设置为身份矩阵，

S23、迭代完成后，得到高低分辨率表达字典D_l和D_h，半耦合匹配系数W以及局部约束最优权值标准系数矩阵集Λ_h。

训练阶段完成；

测试阶段包括以下三个步骤：

S3、将待分类的极低分辨率图像展开为列向量，在低分辨率表达字典上求出相应的极低分辨率局部表达系数矩阵；

S31、对待分类的极低分辨率图像样本，将全部的测试图像展开为列向量并组成测试集T＝[t₁,t₂,...t_m]，其中T∈R^c×m，c为一张低分辨率图像大小，m表示训练样本个数；

S32、对T的每一列在低分辨率表达字典D_l上求出相应的低级分辨率LCR系数矩阵α并组成LCR系数矩阵集Λ，Λ＝[α₁,α₂,...α_m]。

S4、利用半耦合匹配关系将极低分辨率局部表达系数矩阵投影到子空间，得到新的待测试系数矩阵集；

利用半耦合匹配关系W将LCR系数矩阵Λ投影到高分辨率空间，其公式为：

y_k＝Wα_k (7)

得到新的待测试特征系数矩阵集Y,Y＝[y₁,y₂,...y_m]。

S5、根据步骤S2得到的标准矩阵集作为稀疏字典，结合步骤S4得到的待测试系数矩阵集，根据稀疏表达后的结果误差预测类别

S51、确定步骤S2中最后得到标准矩阵集Λ_h的类别值，以标准矩阵集Λ_h为稀疏字典，先求出待测试系数矩阵集中的每一列的稀疏系数β_k，其公式为：

S52、求出每一类的结构差值，找出结构差值最小值的类别值o，则第k张测试样本的预测类别值为o，其公式为：

最终得出识别结果。

如图2所示，在本发明的另一个实施例中，实验数据为：实验采用AR人脸数据库作为实验数据，该数据共选取100个人采集人脸，每人包含26张人脸，本次实验剔除面部有遮挡物(墨镜，围巾)人脸，每人实选取14张人脸。本次实验高分辨率图像像素值32*28，低分辨率图片像素值为8*7，下采样倍数为4倍。实验图片共分为三个部分，第一部分每人选取5张组成训练初始字典，第二部分每人选取5张训练匹配关系矩阵W，第三部分每人选取4张用于构建低分辨率图像进行测试。

训练阶段：

S1、构建初始高低分辨率字典矩阵；

选取实验第一部分图像，将高分辨率人脸图像进行下采样得到对应的低分辨率人脸图像，然后把高低分辨率样本图像展开成列向量，分别将该部分的高低分辨率样本图像组成初始高低分辨字典矩阵D_l和D_h，其中D_l∈R^56×50,

S2、按照半耦合局部约束表示算法对样本训练矩阵更新表达字典，分步迭代获得稳定的高低分辨率局部表达系数矩阵和对应的高低分辨率字典矩阵。其中利用半耦合匹配关系将高分辨率局部表达系数矩阵投影到子空间并将投影后的系数矩阵则作为分类时所用的标准矩阵集；

S21、对于第二部分每人选取5张图片共500张，下采样高分辨率X_h得到低分辨率样本集X_l，其中X_l∈R^56×500,利用公式(3)与公式(4)分别求出X_l与X_h的每一列的最优权值系数并组成最优权值系数矩阵集Λ_l和Λ_h，其中低分辨率tau值取值为0.02，高分辨率tau值取值为0.16。利用公式(5)对字典逐列进行更新，利用公式(6)求出半耦合匹配矩阵W，其中λ₃取值为0.1，λ₄取值为0.05；直至迭代误差比例小于0.05。

S22、迭代完成后，得到高低分辨率表达字典D_l和D_h，半耦合匹配系数W，将高分辨率局部约束最优权值系数矩阵集Λ_h作为测试对比标准系数矩阵集。

测试阶段：

S3，对于待分类的极低分辨率图像样本，求出每张图片在低分辨率表达字典上求出相应的低级分辨率局部表达系数矩阵；

S31、对于第三部分每人选取4张图片共500张，下采样得到低分辨率样本集T＝[t₁,t₂,...t_m]，其中T∈R^56×400；

S32、利用公式(1)与公式(2)求出T的每一列在低分辨率表达字典D_l上相对应的低级分辨率LCR系数矩阵α并组成LCR系数矩阵集Λ，Λ＝[α₁,α₂,...α₄₀₀]。

S4、利用公式(7)将低级分辨率局部表达系数矩阵投影到子空间得到新的待测试系数矩阵集Y,Y＝[y₁,y₂,...y₄₀₀]。

S5、确定S2中最后得到标准矩阵集的类别值，并将该标准矩阵集作为稀疏字典，S4中得到的待测试系数矩阵集利用稀疏表达后的结构误差预测类别。

S51、确定S2中最后得到标准矩阵集Λ_h的类别值，以标准矩阵集Λ_h为稀疏字典，先利用公式(8)求出待测试系数矩阵集中的第k列的稀疏系数β_k，其中λ取值为0.01。

S52、实验数据类别共有100类，利用公式(9)分别求出每一类的结构差值，若结构差值最小值的类别值为o，则第k张测试样本的预测类别值为o。

本发明与其他的低分辨率的人脸识别方法不同，以下提供实验对比说明本方法的有效性，如下表所示：

从以上表格明显看出，SRC分类算法的效果优于其他分类算法，基于特征重建的方法(FLR算法和本算法)优于基于图像重建的识别算法，本算法的识别率优于FLR算法。

如图3所示，本发明实施例的基于半耦合判决性字典学习的极低分辨率人脸识别系统，用于实现本发明实施例的基于半耦合判决性字典学习的极低分辨率人脸识别方法，包括训练单元和测试单元：

训练单元具体包括：

初始表达字典构建单元，用于将训练样本图像分为两部分，对第一部分中的高分辨率人脸图像进行下采样得到对应的低分辨率人脸图像，将该部分的高、低分辨率人脸图像展开成列向量，构建初始高、低分辨率表达字典；

标准矩阵集构建单元，用于对第二部分中的高分辨率人脸图像进行下采样得到对应的低分辨率人脸图像，通过半耦合局部约束表示算法更新初始高、低分辨率表达字典，分步迭代获得稳定的高、低分辨率局部表达系数矩阵和对应的高、低分辨率表达字典；并利用半耦合匹配关系将高分辨率局部表达系数矩阵投影到子空间，得到标准矩阵集；

测试单元具体包括：

图像获取单元，用于将待分类的极低分辨率图像展开为列向量，在低分辨率表达字典上求出相应的极低分辨率局部表达系数矩阵；

约束特征确定单元，用于利用半耦合匹配关系将极低分辨率局部表达系数矩阵投影到子空间，得到新的待测试系数矩阵集；

图像识别单元，用于根据得到的标准矩阵集作为稀疏字典，结合得到的待测试系数矩阵集，根据稀疏表达后的结果误差预测类别，得出识别结果。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (6)

1.一种基于半耦合判决性字典学习的极低分辨率人脸识别方法，其特征在于，包括以下两个阶段：训练阶段和测试阶段；

训练阶段包括以下两个步骤：

S1、将训练样本图像分为两部分，对第一部分中的高分辨率人脸图像进行下采样得到对应的低分辨率人脸图像，将该部分的高、低分辨率人脸图像展开成列向量，构建初始高、低分辨率表达字典；

S2、对第二部分中的高分辨率人脸图像进行下采样得到对应的低分辨率人脸图像，通过半耦合局部约束表示算法更新初始高、低分辨率表达字典，分步迭代获得稳定的高、低分辨率局部表达系数矩阵和对应的高、低分辨率表达字典；并利用半耦合匹配关系将高分辨率局部表达系数矩阵投影到子空间，得到标准矩阵集；训练阶段完成；

测试阶段包括以下三个步骤：

S3、将待分类的极低分辨率图像展开为列向量，在低分辨率表达字典上求出相应的极低分辨率局部表达系数矩阵；

S4、利用半耦合匹配关系将极低分辨率局部表达系数矩阵投影到子空间，得到新的待测试系数矩阵集；

S5、根据步骤S2得到的标准矩阵集作为稀疏字典，结合步骤S4得到的待测试系数矩阵集，根据稀疏表达后的结果误差预测类别，得出识别结果；

步骤S2的具体步骤为：

S21、获得一对初始的LCR系数Λ_l和Λ_h，其公式为：

其中，对于低分辨率最优权值系数矩阵集Λ_l集，给定初始半耦合系数矩阵集W为身份矩阵，表示局部距离矩阵，上述更新求解过程可表示为：

该问题为正则化最小二乘问题，令上述问题可以改写为则y＝(A^TA+λ₂M²)^-1A^Tb；

同理可求出高分辨率最优权值系数矩阵集Λ_h；

S22、对第二部分高分辨率数据集X_h，下采样得到低分辨率数据集X_l，其中X_l∈R^c×N,c为一张低分辨率图像大小，N表示训练样本个数，t是放大系数，通过迭代过程求出高低分辨率字典矩阵以及半耦合系数矩阵集W；

S23、迭代完成后，得到高低分辨率表达字典D_l和D_h，半耦合系数矩阵集W以及高分辨率最优权值系数矩阵集Λ_h。

2.根据权利要求1所述的基于半耦合判决性字典学习的极低分辨率人脸识别方法，其特征在于，步骤S1中构建初始高、低分辨率表达字典的具体方法为：

对第一部分训练样本图像中的高分辨率人脸图像进行下采样得到对应的低分辨率人脸图像，然后把高、低分辨率样本图像展开成列向量，分别将该部分的高、低分辨率样本图像组成初始高、低分辨字典矩阵D_l和D_h，其中D_l∈R^c×M,c为一张低分辨率图像大小，M表示训练样本个数，t是放大系数。

3.根据权利要求1所述的基于半耦合判决性字典学习的极低分辨率人脸识别方法，其特征在于，步骤S22中迭代的具体过程为：

逐列对S22中表达式进行更新：

a、根据步骤S21的公式求出最优权值系数矩阵集Λ_l和Λ_h：

b、对字典逐列进行更新，其公式为：

此处可以采用梯度下降算法求解，对于低分辨率字典D_l：

通过设置β控制字典学习的速率；

同理可对高分辨率字典D_h进行更新；

c、对半耦合匹配矩阵W进行更新，其公式为：

此处采用梯度下降算法求解，W的初始值设置为身份矩阵，

4.根据权利要求1所述的基于半耦合判决性字典学习的极低分辨率人脸识别方法，其特征在于，步骤S3的具体方法为：

S31、对待分类的极低分辨率图像样本，将全部的测试图像展开为列向量并组成测试集T＝[t₁,t₂,...t_m]，其中T∈R^c×m，c为一张低分辨率图像大小，m表示训练样本个数；

S32、对T的每一列在低分辨率表达字典D_l上求出相应的低级分辨率LCR系数矩阵α并组成LCR系数矩阵集Λ，Λ＝[α₁,α₂,...α_m]。

5.根据权利要求1所述的基于半耦合判决性字典学习的极低分辨率人脸识别方法，其特征在于，步骤S4的具体方法为：

利用半耦合匹配关系W将LCR系数矩阵Λ投影到高分辨率空间，其公式为：y_k＝Wα_k，得到新的待测试特征系数矩阵集Y,Y＝[y₁,y₂,...y_m]。

6.根据权利要求1所述的基于半耦合判决性字典学习的极低分辨率人脸识别方法，其特征在于，步骤S5的具体方法为：

S51、确定步骤S2中最后得到高分辨率最优局部权重系数矩阵Λ_h的类别值，以高分辨率最优局部权重系数矩阵Λ_h为稀疏字典，先求出待测试系数矩阵集中的每一列的稀疏系数β_k，其公式为：

S52、求出每一类的结构差值，找出结构差值最小值的类别值o，则第k张测试样本的预测类别值为o，其公式为：