CN111611909A

CN111611909A - 多子空间域自适应人脸识别方法

Info

Publication number: CN111611909A
Application number: CN202010421069.7A
Authority: CN
Inventors: 徐智; 韩晗
Original assignee: Guilin University of Electronic Technology
Current assignee: Guilin University of Electronic Technology
Priority date: 2020-05-18
Filing date: 2020-05-18
Publication date: 2020-09-01

Abstract

本发明属于机器学习技术领域，本发明所涉及的域自适应人脸识别方法是人工智能的一个分支，公开了一种多子空间的域自适应人脸识别方法。提出通过多个子空间学习得到更多的判别信息，取得较好的分类模型，解决了源域样本和目标域样本数据分布不同，传统的机器学习方法在源域上训练无法在目标域数据上测试取得较好的效果的问题。本方法通过随机选择训练样本；为每个子系统学习一个公共子空间，然后分别用目标域数据进行线性组合来表示源域样本；并为每个子系统中新的源域数据学习一个判别模型；通过多数票和总和规则的策略将所有子系统结合起来得到最终的分类结果，得到有益效果。

Description

多子空间域自适应人脸识别方法

1技术领域

本发明属于机器学习技术领域，涉及一种人脸识别方法，特别是所涉及域自适应人脸识别技术。

2.背景技术

人脸识别研究方向中，传统机器学习方法在假设训练数据和测试数据满足同分布的前提下，能够较好地分类预测问题，通过对带有标注的源域样本数据训练得到分类模型，用与源域样本分布一致的测试样本数据进行测试。但在真实场景中，训练数据和测试数据往往不满足同一分布，因此，使用源域样本数据训练的分类模型应用到与之分布不同的目标域样本数据中，性能会严重退化。

域自适应方法能够通过将带有监督信息源域数据信息转移到另一个不同但相关的目标域上，从而提升分类模型的性能。子空间学习是域自适应的一种方法，通过最小化源域和目标域之间的差异得到一个公共子空间，在子空间中将目标域数据近似表示成源域数据从而进行有监督的训练。然而，单个子空间存在固定最优解，当代价函数最小时，目标域表示的源域的最优结果是固定的，其不能提供更多的判别信息，限制了人脸识别分类任务的一个较好的识别性能。

在本专利中，提出一个多子空间域自适应的框架模型，对数据进行多个子空间学习，提取更多的判别信息，得到较好的分类模型。

3发明内容

已有的单子空间域自适应人脸识别方法主要缺点为：在训练样本投影到同一个子空间中，样本的特征信息是固定的，另外，在公共子空间中，源于样本和目标域样本在相互线性表示的训练中，会求出一个固定的最优解，这些都导致样本多样性的缺失。

方案1：

在本发明中，提出一个多子空间域自适应的人脸识别框架，通过随机选择样本的方法，使得同一个样本可能与不同的样本组合构成训练子数据集，在投影到不同的公共子空间中，保留不同的判别特征，通过对更多的判别信息进行学习得到多个判别模型，对多个判别模型给出的待测试样本的输出结果结合，得到最终的识别结果，这样的多子空间域自适应人脸识别方法具有更好的识别性能。

人脸识别问题可以定义为：

为图片库，其标签为

x^p是待识别的样本数据，识别函数Label(x^p)∈L。图片库与待识别样本与目标域数据分布一致，x^p通过与图片库中每一个样本数据进行相似度比对，得到x^p的标签。

具体流程为：1.从训练数据集中随机选择样本作为每个子系统的训练样本；2.为每个子系统学习一个公共子空间，要求在公共子空间中域之间特征能够很好地交融在一起并且域本身的结构也能够较好地保留，然后分别用目标域数据进行线性组合来表示源域样本；3.为每个子系统中新的源域数据学习一个判别模型；4.通过多数票和总和规则的策略将所有子系统结合起来得到最终的分类结果。在此基础上，将本方法应用于多个源域的学习中，对人脸进行识别分类。

本专利中所提出的多子空间域自适应人脸识别方法分为两部分：训练部分和测试部分。

1.训练过程：

(1)在源域样本数据和X^s目标域样本数据X^t中随机选择n个样本，构造M个子数据集，样本选择有两种策略，一种为样本类别数为定值，每个样本的数量改变；另一种为每一类样本的数量为定值，样本类别数改变。

(2)每个子数据集进行降维处理。

(3)为每个子数据集学习得到公共子空间，在子空间中，通过稀疏表示和最大化方差的方法使源域样本数据和目标域样本数据能够相互进行线性表示，输出用目标域数据线性表示的源域数据，称为目标化的源域数据X_s→t，本专利可以应用于单源域和多源域自适应人脸识别方法中。

单源域中，公共子空间中的样本分别表示为

和

稀疏重建和最大方差表示后的目标函数为

其中V_s、V_t为稀疏矩阵。由于上式中并非所有变量都为凸变量，对稀疏矩阵V_s、V_t和投影矩阵W_s、W_t进行迭代求解，直到投影矩阵和系数矩阵收敛或者达到最大迭代次数。所求得的目标化的源域数据为X_s→t：

在单源域的基础上，扩展为多源域自适应学习方法，源域数量为s，目标域用s+1表示，总目标函数为：

其中

(4)用判别特征提取方法对目标化源域数据X_s→t进行训练，得到M个判别模型。

2.测试过程：

(1)将图片库的样本数据X^g投影到各个判别模型中，得到判别特征；将待识别样本x^p投影到各个判别模型中，得到待识别样本的判别特征。

(2)在每个子系统中，计算每一个图片库样本数据

与待识别样本x^p的相似度。

(3)每个子系统输出本系统与待识别样本相似度最大的图片库样本编号和所有的图片库样本与待识别样本的相似度值，本专利采用余弦相似度进行计算。

(4)通过结合策略对子系统的输出结果进行统计，得到待识别样本最终的标签。

本发明的有益效果为：在一般的分类任务中，分类器的学习需要大量的样本，但随着样本的增多会导致数据维度的增加，从而使计算复杂度呈指数级增加。因此，本框架通过多个子数据集学习，结合在一起，能够得到较好的泛化性能。同时，不同样本的随机组合可以形成不同的特征空间，同一样本在不同的特征空间中保留不同的识别信息，从而获取到更多的识别信息。

方案2：

在方案1基础上，本方法在结合策略上提出多数投票和总和规则两种策略对比其性能。 D_g为每个子系统中待识别样本和图片库中每个样本数据的相似度矩阵，d_ki为待识别样本

在第k个子特征空间中与图片库中第i个数据样本的距离，i＝1，2，…，n_g,k＝1，2，…，M, D_g表达式为

对上式进行均值化和标准归一化：

其中μ、σ分别为d_ki的均值和方差。距离计算采用余弦相似度方法：

最后，x^p的标签为

置信度通过sigmoid函数来计算，并归一化：

其中r_ki为第k个子系统输出的后验概率值，作为每个类别的一个分值。结合所有子系统的输出值得到x^p的最终标签。

多数投票：根据每个系统中所输出的与待识别样本相似度最大的图片库样本编号进行统计，相同标签最多的作为最终x^p类别标签，可用下式表示：

其中Label_k(x^p)为第k个子系统中X^p的识别结果。

总和策略：对每个子系统输出的相似度值加和，最大分值所对应的标签为x^p的最终标签，可用下式表示：

其中r_ki为第k个子系统输出的图片库中第i个样本与x^p的相似度的值。

多数投票法较总和规则策略识别性能更好，随M值得增大，识别性能有所提升。

本专利进一步对子空间数量M变化对性能的影响做相关研究，随着子空间的数量M的值不断增大，本专利的人脸识别正确率不断上升，当M的值大于20以后，趋向平稳，由于 M值得增大，会增加模型的训练时间，因此，M＝20时代价最小且准确率最高。

有益效果为：类内散布矩阵和类间散布矩阵分别是描述类内变化和类间变化特性最重要的2个参数。性能越好，类内散布矩阵的特征值越小而类间散布矩阵的特征值越大，但是随着特征值的增大，相应特征向量的估计方差也随之增大，这同样会对识别性能产生负面影响，而学习更多的子空间，能够将一组弱学习器结合起来，可以提高类间的差异判定和识别能力，从而提升识别准确率，随着子空间数量的增多，识别准确率随之提升，到达一定的值趋于平缓。

4.附图内容

图1为本发明的流程图；

图2为多子空间域自适应框架图；

图3为子空间M值变化时的性能变化。

5.具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

本发明采取的数据集为MultiPIE数据集，MutiPIE共有337个类别大约750000张包含不同角度、不同光照的图片。选择(-45°、-30°、0°、30°、45°)这5个角度，根据人工标记的眼睛位置对齐面部图像，并在多像素设置中将图像标准化为40×32像素，通过堆叠原始像素，将每个图像调整为列向量，只有源域的数据带有标记。将337个类别分为200个和 137个，200个类别作为训练类别，137个作为测试类别。子空间数量为M。本发明的多子空间域自适应学习方法分为单源域和多源域。

实施例1：子空间数量M变化对识别性能的影响实施步骤说明(选择0°和45°作为单源数据集上的源域和目标域)分别对不同的样本选择策略进行性能测试：当类别数为200时，每个类别的样本数量分别为4和5；当每个类别的样本数量为7时，类别数量分别为100和150。

识别率的变化趋势如图3所示，随着子系统M的增加，识别率呈上升趋势。到当M趋向于20时呈现平稳性；当M值大于20时，识别率差异在0.8％以内，为考虑整个模型的高效性，在实验中M为20时性能最优。

实施例2：单源域的实施步骤举例说明(例：源域为30°，目标域为45°；子空间数量为20；样本选择为样本类别固定，为200，每个类别的样本数选为4；样本选择策略为多数投票法)

1)从源域30°和目标域45°的训练样本200个类别中每个类别随机抽取4张作为子数据集，共随机抽取取10次，得到10组子数据集。

2)对10组子数据集分别进行降维处理，本专利采用主成分分析法PCA进行降维，PCA 的参数n_components设置为98％。

2)用TSD的方法对10子数据集分别进行训练，得到10个公共子空间，在公共子空间中用目标域数据线性表示源域数据得到X_s→t，成为新的数据集，对新数据集采用FLD判别分析法，每个子空间对应一个判别模型。

3)测试时，将图片库中投影到各个子空间对应的判别模型中，作为待匹配数据；将要测试的每张图片投影到各个判别模型中，根据余弦相似度

计算，得到测试图片对应的每个类别的相似度值。

4)每一个判别模型中，都输出一个相似度最大的所对应的样本类别标签，在10个输出中，同一分类标签数量多的为测试样本最终类别标签。

5)以上步骤循环10次，计算平均准确率。

表1和表2为采用单源域自适应方法，在对比实验中，参数设置一致，M分别取10，15，20。

表1多数投票策略

表2总和规则策略

(-45_45)

(45_-45)

(0_-45)

(0_45)

(30_-30)

(-30_30)

(45_-30)

(-45_30)

对比算法

72.28％

70.13％

69.69％

71.57％

76.72％

78.96％

76.81％

78.01％

M＝10

72.12％

70.77％

70.20％

71.73％

76.72％

77.79％

76.61％

77.59％

M＝15

73.45％

70.77％

70.71％

72.96％

77.37％

78.21％

76.73％

78.03％

M＝20

73.47％

71.06％

70.77％

73.38％

77.43％

78.41％

77.17％

78.43％

实施例3：多源域的实施步骤举例说明(例：源域为30°和-30°，目标域为-45°；子空间数量为15；样本选择为每个类别样本数固定，为7张，类别数选为100；样本选择策略为总和规则)

1)从源域30°、-30°和目标域45°的训练样本中每个类别随机抽取4张作为子数据集，共随机抽取取15次，得到15组子数据集。

2)对15组子数据集分别进行降维处理，本专利采用主成分分析法PCA进行降维，PCA 的参数n_components设置为98％。

2)用TMSD的方法对15子数据集分别进行训练，得到15个公共子空间，在公共子空间中用目标域数据线性表示源域数据得到X_s→t，成为新的数据集，对新数据集采用FLD判别分析法，每个子空间对应一个判别模型。

3)测试时，将图片库中投影到各个子空间对应的判别模型中，作为待匹配数据；将要测试的每张图片投影到各个判别模型中，根据余弦相似度计算，得到测试图片对应的每个类别的相似度值。

4)同时，每一个判别模型中会输出测试样本在本判别模型中与所有图片库137样本的相似度，将每一个图片库样本的15个相似度进行加和，得到137个相似度的值，选择最大值所对应的样本类别作为测试样本的最终类别。

5)以上步骤循环10次，计算平均准确率。

以上所属为本发明的较佳实例，并不用以限制本发明，凡在本发明的精神及原则内做修改、改进等均应在本发明保护范围内。

表3和表4为多源域自适应方法的实验结果。

表3多数投票策略

0_30_45

0_30_-45

30_0_-30

-30_0_30

45_30_-30

-45_-30_30

45_30_-45

对比算法

73.12％

70.38％

78.08％

79.80％

77.68％

79.67％

71.33％

M＝10

76.42％

73.05％

79.93％

80.69％

79.31％

80.35％

73.14％

M＝15

76.42％

73.38％

80.11％

81.08％

79.47％

80.55％

73.49％

M＝20

76.50％

73.54％

80.05％

81.11％

79.45％

80.66％

73.59％

表4总和规则策略

0_30_45

0_30_-45

30_0_-30

-30_0_30

45_30_-30

-45_-30_30

45_30_-45

对比算法

73.12％

70.38％

78.08％

79.80％

77.68％

79.67％

71.33％

M＝10

75.47％

72.52％

79.78％

80.24％

78.92％

79.98％

72.59％

M＝15

75.42％

72.63％

79.73％

80.42％

79.20％

80.44％

72.57％

M＝20

75.55％

72.88％

80.15％

80.47％

79.25％

80.13％

72.74％

在单源域和多源域分别作为域自适应方法时，多数投票法较总和规则策略识别性能更好。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种多子空间域自适应人脸识别方法，其特征为：

1)从训练数据集中选择样本作为每个子系统的训练样本；

2)为M个子系统各学习一个公共子空间，由各个子系统共同构成域自适应学习框架；

3)为每个子系统中新的源域数据学习一个判别模型；

4)通过结合策略将所有子系统结合起来得到最终的分类结果。

5)在此基础上，将本方法应用于多个源域的学习中，对人脸进行识别分类。

2.如权利要求1中所述的多子空间域自适应人脸识别方法，其特征为：子系统数量M最优选为20。

3.如权利要求1中所述的多子空间域自适应人脸识别方法，其特征为：子数据集的样本选择有两种方法，类别数量固定，每个类别选择不同样本数；每个类别的样本数固定，选择不同的类别数。

4.如权利要求1中所述的多子空间域自适应人脸识别方法，其特征为：多个子系统共同构成域自适应学习框架，每个子系统为并行系统，样本随机抽取，能够使同一样本匹配到不同得样本，使判别信息具有多样性。

5.如权利要求1中所述得多子空间域自适应人脸识别方法，其特征为：每个子系统对待识别样本与图片库所有样本进行相似度测量。

D_g为每个子系统中待识别样本和图片库中每个样本数据的相似度矩阵，d_ki为待识别样本

在第k个子特征空间中与图片库中第i个数据样本的相似度，i＝1，2，…，n_g，k＝1，2，…，M，D_g表达式为

对上式进行均值化和标准归一化：

其中μ、σ分别为d_ki的均值和方差，距离计算采用余弦相似度方法：

最后，x^p的标签为

置信度通过sigmoid函数来计算，并归一化：

其中r_ki为第k个子系统输出的后验概率值，作为每个类别的一个相似度分值，对所有分值采用结合策略得到最终分类结果。

6.如权利要求5中所述得多子空间域自适应人脸识别方法，其特征为：采用多数投票策略得到最终的分类结果，根据每个系统中所输出的与待识别样本相似度最大的图片库样本编号进行统计，相同标签最多的作为待识别样本x^p的类别标签，可用下式表示：

其中Label_k(x^p)为第k个子系统中x^p的识别结果。

7.如权利要求5中所述得多子空间域自适应人脸识别方法，其特征为：采用总和策略得到最终的分类结果，对每个子系统输出的相似度值加和，最大分值所对应的标签为x^p的最终标签，可用下式表示：