CN111680566B - 一种基于滑动分块生成对抗网络的小样本人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于滑动分块生成对抗网络的小样本人脸识别方法用以重点处理姿态变化，步骤如下：首先将原始数据集中的正脸—侧脸样本经过镜像变换和对称变换生成虚拟新样本；对所有样本进行十字交叉对齐处理来保障滑动分块的准确性；采用滑动窗口将人脸整体特征变为重叠局部特征，然后被依次有序地输入到生成对抗网络，利用改进的组合损失函数来生成正面人脸；最后建立生成识别一体化系统，实现姿态变化下的小样本人脸识别。本发明大大减小了网络实现对训练样本数量的需求，对具有光照变化和小姿态(角度小于45度)变化的人脸图像具有一定的有效性，并且在姿态变化下的小样本人脸问题上达到了具有竞争力的识别效果。

Description

一种基于滑动分块生成对抗网络的小样本人脸识别方法

技术领域

本发明属于人脸识别技术领域，具体涉及一种基于滑动分块生成对抗网络的小样本人脸识别方法。

背景技术

近年来，生物识别技术在生活、金融、法律、刑侦等应用场景中的需求越来越高，而人脸识别技术以其特征信息丰富、便于采集和高精度等优点成为最受欢迎的生物识别技术。实际应用场景中的人脸识别系统多为小样本问题，即人脸数据库中的每个人脸类别仅能采集到少数样本，我们统称这一类问题为小样本人脸识别问题(FFR)。通常，人脸图像的采集是建立在非可控自然条件之下，往往带有光照、表情、姿态、遮挡等多种变化，通常情况下，人脸图像的采集环境是在不可控的自然环境下进行的，人脸样本常常含有诸如光照、姿态、遮挡、表情、噪声等变化，而这些变化会一定程度上影响系统的识别准确率。因此，如何在含有较大干扰的小样本人脸识别问题中取得鲁棒的识别结果，便成了当前许多人脸识别方面的研究工作所关心的问题。

针对小样本人脸识别问题，研究人员提出了各种有效的算法，目前的小样本人脸识别算法可以划分为三类：

1)基于生成虚拟样本的方法，通过不同类型的转换处理生成单一类别除原始图像以外的样本图像以增加同类样本数量，增强类内变化，提高该类别特征丰富度，使FFR问题向大样本识别靠近，从而提高人脸识别精度；

2)基于通用训练集的方法，通过引入不属于原始小样本训练集的通用训练集，并从通用数据集中提取人脸本身共有的结构特征，再结合初始小样本数据集来处理FFR问题；

3)通用局部特征学习的方法，将采集到的人脸图像通过不同的分割方式进行区域划分，将整体图像变成多个不同的子区域，在子区域上提取局部特征，可以有效地克服复杂变化，能够提高FFR的识别精度。

发明内容

技术问题：为了克服现有技术中存在的不足，本发明提供一种基于滑动分块生成对抗网络的小样本人脸识别方法，该方法识别性能较高，并且对姿态变化和光照变化具有一定的鲁棒性。

技术方案：为实现上述目的，本发明采用的技术方案为：一种基于滑动分块生成对抗网络的小样本人脸识别方法，该方法包括如下步骤：

步骤1：利用水平镜像处理和轴对称处理对原始小样本数据进行虚拟图像生成，实现样本数据增强；

步骤2：基于步骤1中的生成样本结果，对所有数据样本进行十字交叉对齐处理，利用眼中心和嘴中心相连的定位线对所有样本进行姿态对齐矫正；

步骤3：采用滑动窗口法对人脸图像进行特征提取，从左到右、从上到下依次遍历样本图像，并将提取到的窗口信息按顺序送入生成对抗网络；

步骤4：利用基于对称损失、对抗损失和图像损失的组合系统损失函数实现生成对抗网络中正脸图像的生成；

步骤5：利用帽子函数法在图像合成阶段去除重叠区域的伪影；

步骤6：利用交叉熵损失函数进行人脸图像分类，建立正脸生成和人脸识别的一体化系统。

进一步的，所述步骤1的具体方法为：

步骤2.1：水平镜像对称处理是以人脸图像的中轴线为中心，令每个像素点的横坐标保持不变，而把纵坐标左右交换，其式如下：

f(x₂,y₂)＝f(N-x₁,y₁)

其中，f(x₁,y₁)表示原始图像中像素点坐标,M、N分别表示该图像像素矩阵的行数和列数，f(x₂,y₂)为镜像对称后的新像素点坐标；

步骤2.2：轴对称处理是将中轴线右边部分的像素值坐标置零，其式如下：

其中，f(x₁,y₁)表示原始图像中像素点坐标,f(x₁',y₁')表示中轴线右边置零后的像素点坐标；

步骤2.3：对新坐标f(x₁',y₁')进行镜像处理得到f(x₂',y₂')，其式如下：

f(x₂',y₂')＝f(N-x₁',y'₁)

步骤2.4：将f(x₁',y₁')跟f(x₂',y₂')相加得到轴对称生成的虚拟样本f(x₃,y₃)，其式如下：

f(x₃,y₃)＝f(x₁',y₁')+f(x₂',y₂')。

进一步的，所述步骤2的具体方法为：

步骤3.1：利用MTCNN算法进行人脸检测和五官定位，并确定左眼中心(x_leye,y_leye)、右眼中心(x_reye,y_reye)、鼻尖(x_nose,y_nose)、左嘴角(x_lmouse,y_lmouse)和右嘴角(x_rmouse,y_rmouse)的坐标位置；

步骤3.2：取连接两眼中心线段的中点，记其坐标为(x_m-eye,y_m-eye)；

步骤3.3：取连接两嘴角线段的中点，记其坐标为(x_m-mouse,y_m-mouse)；

步骤3.4：将步骤3.2和步骤3.3中的两个中点连接起来，得到人脸定位线；

步骤3.5：以正脸图像为基准，测定正脸-侧脸数据集中两张图片的人脸定位线夹角，将二分之一定位线夹角记作旋转夹角；

步骤3.6：以正脸图像的人脸定位线为基准，将侧脸图像进行旋转操作，顺时针/逆时针旋转，旋转角度为步骤3.5所得的旋转夹角数值。

进一步的，所述步骤3的具体方法为：

步骤4.1：选取数据集中来自多个人脸类别的正脸图像-侧脸图像样本对{I_F,I_P}，并将其图像大小设置为224*224；

步骤4.2：利用36*36大小的正方形滑动窗口，在滑动步长为27的情况下，从左往右、从上往下依次滑动遍历样本图像得到人脸特征信息；

步骤4.3：将采集到的人脸特征信息按顺序依次排列，输入到生成对抗网络，并以交替优化的方式来训练生成器

和判别器

其式如下：

其中，E为期望，I_F为真实的正脸图像，

为通过生成器生成的正脸图像。

进一步的，所述步骤4的具体方法为：

步骤4.1：对生成网络

添加了图像损失约束，将每张图片像看成很多个像素点的集合，求取生成图像和真实图像的差值，其式如下：

其中，L和W分别为每张图像的长和宽，

表示生成图像的像素坐标点，

表示真实图像的像素坐标点。

步骤4.2：对生成网络

添加了对称损失约束，并控制人脸姿态都是向右变化，因此只有生成图像的人脸右侧才会含有对称损失，将人脸对称中轴线右边部分记为右边人脸部分，其式如下：

其中，

为生成图像的像素点，

为生成图像右边部分的像素点；

步骤4.3：对生成网络

添加了对抗损失约束，其式如下：

其中，N为正脸-侧脸样本对数量，

为判别器，L_a作为生成网络的监督函数，

为真实的人脸正面图像，

为合成的人脸正面图像；

步骤4.4：生成网络中的组合损失函数是由上述所有损失函数进行加权求和，其式如下：

L_G＝αL_c+βL_s+γL_a

其中，α、β、γ均为合成项系数；

步骤4.5：利用生成网络的组合损失函数L_G来优化生成网络的网络参数θ_G，其式如下：

其中,

表示正脸—侧脸样本对中的侧脸图像，

则为正脸图像；

步骤4.6：在对抗网络中定义了判别网络的损失函数L_D用以优化判别器

其式如下：

进一步的，所述步骤5的具体方法为：

步骤5.1：利用帽子函数法对连续的滑块图像进行图像去重融合，不同区域赋予不同权重，权重函数w_i(x,y)如下所示：

其中，width为重叠区域的宽度，height为重叠区域的高度；

步骤5.2：参数归一化处理，其式如下：

其中，n为待融合图像的总数，k_i(x,y)为第i个图像的权重；

步骤5.3：多个重叠区域进行融合，其式如下：

进一步的，所述步骤6的具体方法为：利用交叉熵损失函数来实现人脸图像的分类任务。

有益效果：与现有技术相比，本发明的技术方案具有以下有益技术效果：

本发明提供的基于滑动分块生成对抗网络的小样本人脸识别方法，着重关注于虚拟样本的生成以及人脸姿态的矫正，利用滑动窗口进行局部特征的提取，形成了一种由局部感知到整体感知的滑动重叠分块架构。基于先验知识和约束条件的组合损失函数可以从小姿态(面部偏转小于45度)人脸图像中恢复出人脸正面，并构建出生成识别一体化系统进行小样本人脸识别，取得了较有竞争力的识别率。该方法有如下几个优点：

1)充分利用水平镜像对成和轴对称的处理方法进行虚拟样本生成，以避免出现因样本过少而导致的正脸生成效果较差的现象；

2)利用十字交叉对齐法对正脸—侧脸样本对中的侧脸图像进行了对齐处理，一定程度上控制了人脸定位线的角度，保证姿态偏转在可控范围内，从而使得后期滑动分块更加准确；

3)采用滑动窗口法遍历样本图像，将人脸整体特征变成有序排列的窗口模块，在感知局部纹理特征的同时学习人脸图像的整体结构；

4)使用包含对称损失、图像损失和对抗损失的组合损失函数来优化网络，并结合图像融合方法去除融合重影，大大提高了正脸图像的生成质量；

5)建立了正脸生成和人脸识别一体化的系统，从而提高了姿态变化下小样本人脸识别的性能。

附图说明

图1是本发明提供的基于滑动分块生成对抗网络的小样本人脸识别方法的整体流程图；

图2是本发明提供的基于滑动分块生成对抗网络的小样本人脸识别方法的具体框架图；

图3是虚拟样本生成示意图；

图4是十字交叉对齐示意图；

图5是滑动分块示意图；

图6 CMU Multi-PIE正面图像生成结果图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

本发明提出一种基于滑动分块生成对抗网络的小样本人脸识别方法，该方法包括如下步骤：

步骤1：利用水平镜像处理和轴对称处理对原始小样本数据进行虚拟图像生成，实现样本数据增强；

步骤2：基于步骤1中的生成样本结果，对所有数据样本进行十字交叉对齐处理，利用眼中心和嘴中心相连的定位线对所有样本进行姿态对齐矫正；

步骤3：采用滑动窗口法对人脸图像进行特征提取，从左到右、从上到下依次遍历样本图像，并将提取到的窗口信息按顺序送入生成对抗网络；

步骤4：利用基于对称损失、对抗损失和图像损失的组合系统损失函数实现生成对抗网络中正脸图像的生成；

步骤5：利用帽子函数法在图像合成阶段去除重叠区域的伪影；

步骤6：利用交叉熵损失函数进行人脸图像分类，建立正脸生成和人脸识别的一体化系统。

进一步的，所述步骤1的具体方法为：

步骤2.1：水平镜像对称处理是以人脸图像的中轴线为中心，令每个像素点的横坐标保持不变，而把纵坐标左右交换，其式如下：

f(x₂,y₂)＝f(N-x₁,y₁)

其中，f(x₁,y₁)表示原始图像中像素点坐标,M、N分别表示该图像像素矩阵的行数和列数，f(x₂,y₂)为镜像对称后的新像素点坐标；

步骤2.2：轴对称处理是将中轴线右边部分的像素值坐标置零，其式如下：

其中，f(x₁,y₁)表示原始图像中像素点坐标,f(x₁',y₁')表示中轴线右边置零后的像素点坐标；

步骤2.3：对新坐标f(x₁',y₁')进行镜像处理得到f(x₂',y₂')，其式如下：

f(x₂',y₂')＝f(N-x₁',y'₁)

步骤2.4：将f(x₁',y₁')跟f(x₂',y₂')相加得到轴对称生成的虚拟样本f(x₃,y₃)，其式如下：

f(x₃,y₃)＝f(x₁',y₁')+f(x₂',y₂')。

进一步的，所述步骤2的具体方法为：

步骤3.1：利用MTCNN算法进行人脸检测和五官定位，并确定左眼中心(x_leye,y_leye)、右眼中心(x_reye,y_reye)、鼻尖(x_nose,y_nose)、左嘴角(x_lmouse,y_lmouse)和右嘴角(x_rmouse,y_rmouse)的坐标位置；

步骤3.2：取连接两眼中心线段的中点，记其坐标为(x_m-eye,y_m-eye)；

步骤3.3：取连接两嘴角线段的中点，记其坐标为(x_m-mouse,y_m-mouse)；

步骤3.4：将步骤3.2和步骤3.3中的两个中点连接起来，得到人脸定位线；

步骤3.5：以正脸图像为基准，测定正脸-侧脸数据集中两张图片的人脸定位线夹角，将二分之一定位线夹角记作旋转夹角；

步骤3.6：以正脸图像的人脸定位线为基准，将侧脸图像进行旋转操作，顺时针/逆时针旋转，旋转角度为步骤3.5所得的旋转夹角数值。

进一步的，所述步骤3的具体方法为：

步骤4.1：选取数据集中来自多个人脸类别的正脸图像-侧脸图像样本对{I_F,I_P}，并将其图像大小设置为224*224；

步骤4.2：利用36*36大小的正方形滑动窗口，在滑动步长为27的情况下，从左往右、从上往下依次滑动遍历样本图像得到人脸特征信息；

步骤4.3：将采集到的人脸特征信息按顺序依次排列，输入到生成对抗网络，并以交替优化的方式来训练生成器

和判别器

其式如下：

其中，E为期望，I_F为真实的正脸图像，

为通过生成器生成的正脸图像。

进一步的，所述步骤4的具体方法为：

步骤4.1：对生成网络

添加了图像损失约束，将每张图片像看成很多个像素点的集合，求取生成图像和真实图像的差值，其式如下：

其中，L和W分别为每张图像的长和宽，

表示生成图像的像素坐标点，

表示真实图像的像素坐标点。

步骤4.2：对生成网络

添加了对称损失约束，并控制人脸姿态都是向右变化，因此只有生成图像的人脸右侧才会含有对称损失，将人脸对称中轴线右边部分记为右边人脸部分，其式如下：

其中，

为生成图像的像素点，

为生成图像右边部分的像素点；

步骤4.3：对生成网络

添加了对抗损失约束，其式如下：

其中，N为正脸-侧脸样本对数量，

为判别器，L_a作为生成网络的监督函数，

为真实的人脸正面图像，

为合成的人脸正面图像；

步骤4.4：生成网络中的组合损失函数是由上述所有损失函数进行加权求和，其式如下：

L_G＝αL_c+βL_s+γL_a

其中，α、β、γ均为合成项系数；

步骤4.5：利用生成网络的组合损失函数L_G来优化生成网络的网络参数θ_G，其式如下：

其中,

表示正脸—侧脸样本对中的侧脸图像，

则为正脸图像；

步骤4.6：在对抗网络中定义了判别网络的损失函数L_D用以优化判别器

其式如下：

进一步的，所述步骤5的具体方法为：

步骤5.1：利用帽子函数法对连续的滑块图像进行图像去重融合，不同区域赋予不同权重，权重函数w_i(x,y)如下所示：

其中，width为重叠区域的宽度，height为重叠区域的高度；

步骤5.2：参数归一化处理，其式如下：

其中，n为待融合图像的总数，k_i(x,y)为第i个图像的权重；

步骤5.3：多个重叠区域进行融合，其式如下：

进一步的，所述步骤6的具体方法为：利用交叉熵损失函数来实现人脸图像的分类任务。

实施案例

本章实验采用DCGAN网络架构，首先在CASIA数据库上进行预训练，基于训练好的网络模型，结合对应的损失函数在CMU Multi-PIE数据集上进行微调，选取该数据集中的337个类别的人脸样本，每个类别包含了一张正脸图像和两张小姿态(偏转为15度和30度)侧脸图像，即两个正脸图像-侧脸图像样本对，并将样本对记作{I_F,I_P}。

实验环节在CMU Multi-PIE和LFW两个人脸数据库上进行了测试，首先在CMUMulti-PIE数据库上进行测试，选取300个类别的人脸图像，每个类别中选择不同于训练集的另外三张小姿态(偏转角度小于45度)侧脸图像。然后在LFW数据库上进行测试，选取其中具有小姿态变化的1000个类别，每个类别选择一张人脸图像。所有测试实验统一将样本图片尺寸取作224*224；且进行了相同的光照均衡和人脸对齐等预处理。在实验中，生成网络损失函数里损失系数的取值分别为α＝0.1，β＝10^-3，γ＝10^-3，而交叉熵损失系数μ＝10^-3，网络学习率取作λ＝10^-4。

实验：在CMU Multi-PIE数据集上验证该方法的正脸图像生成效果，结果表明在小姿态变化情况下，该方法的合成效果很好，其生成的正面图像具有高度对称性，保留了完整的人脸整体特征和五官局部特征，且几乎没有重影。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于滑动分块生成对抗网络的小样本人脸识别方法，其特征在于，该方法包括如下步骤：

步骤1：利用水平镜像处理和轴对称处理对原始小样本数据进行虚拟图像生成，实现样本数据增强；

步骤2：基于步骤1中的生成样本结果，对所有数据样本进行十字交叉对齐处理，利用眼中心和嘴中心相连的定位线对所有样本进行姿态对齐矫正；

步骤3：采用滑动窗口法对人脸图像进行特征提取，从左到右、从上到下依次遍历样本图像，并将提取到的窗口信息按顺序送入生成对抗网络；

步骤4：利用基于对称损失、对抗损失和图像损失的组合系统损失函数实现生成对抗网络中正脸图像的生成；

步骤5：利用帽子函数法在图像合成阶段去除重叠区域的伪影；

步骤6：利用交叉熵损失函数进行人脸图像分类，建立正脸生成和人脸识别的一体化系统；

所述步骤3的具体方法为：

步骤4.1：选取数据集中来自多个人脸类别的正脸图像-侧脸图像样本对{I_F,I_P}，并将其图像大小设置为224*224；

步骤4.2：利用36*36大小的正方形滑动窗口，在滑动步长为27的情况下，从左往右、从上往下依次滑动遍历样本图像得到人脸特征信息；

步骤4.3：将采集到的人脸特征信息按顺序依次排列，输入到生成对抗网络，并以交替优化的方式来训练生成器

和判别器

其式如下：

其中，E为期望，I_F为真实的正脸图像，

为通过生成器生成的正脸图像；

所述步骤4的具体方法为：

步骤4.1：对生成网络

添加了图像损失约束，将每张图片像看成很多个像素点的集合，求取生成图像和真实图像的差值，其式如下：

其中，L和W分别为每张图像的长和宽，

表示生成图像的像素坐标点，

表示真实图像的像素坐标点；

步骤4.2：对生成网络

添加了对称损失约束，并控制人脸姿态都是向右变化，因此只有生成图像的人脸右侧才会含有对称损失，将人脸对称中轴线右边部分记为右边人脸部分，其式如下：

其中，

为生成图像的像素点，

为生成图像右边部分的像素点；

步骤4.3：对生成网络

添加了对抗损失约束，其式如下：

其中，N为正脸-侧脸样本对数量，

为判别器，L_a作为生成网络的监督函数，

为真实的人脸正面图像，

为合成的人脸正面图像；

步骤4.4：生成网络中的组合损失函数是由上述所有损失函数进行加权求和，其式如下：

L_G＝αL_c+βL_s+γL_a

其中，α、β、γ均为合成项系数；

步骤4.5：利用生成网络的组合损失函数L_G来优化生成网络的网络参数θ_G，其式如下：

其中,

表示正脸—侧脸样本对中的侧脸图像，

则为正脸图像；

步骤4.6：在对抗网络中定义了判别网络的损失函数L_D用以优化判别器

其式如下：

2.根据权利要求1所述的基于滑动分块生成对抗网络的小样本人脸识别方法，其特征在于，所述步骤1的具体方法为：

步骤2.1：水平镜像对称处理是以人脸图像的中轴线为中心，令每个像素点的横坐标保持不变，而把纵坐标左右交换，其式如下：

f(x₂,y₂)＝f(N-x₁,y₁)

其中，f(x₁,y₁)表示原始图像中像素点坐标,M、N分别表示该图像像素矩阵的行数和列数，f(x₂,y₂)为镜像对称后的新像素点坐标；

步骤2.2：轴对称处理是将中轴线右边部分的像素值坐标置零，其式如下：

其中，f(x₁,y₁)表示原始图像中像素点坐标,f(x₁',y₁')表示中轴线右边置零后的像素点坐标；

步骤2.3：对新坐标f(x₁',y₁')进行镜像处理得到f(x₂',y₂')，其式如下：

f(x₂',y₂')＝f(N-x₁',y'₁)

步骤2.4：将f(x₁',y₁')跟f(x₂',y₂')相加得到轴对称生成的虚拟样本f(x₃,y₃)，其式如下：

f(x₃,y₃)＝f(x₁',y₁')+f(x₂',y₂')。

3.根据权利要求2所述的基于滑动分块生成对抗网络的小样本人脸识别方法，其特征在于，所述步骤2的具体方法为：

步骤3.1：利用MTCNN算法进行人脸检测和五官定位，并确定左眼中心(x_leye,y_leye)、右眼中心(x_reye,y_reye)、鼻尖(x_nose,y_nose)、左嘴角(x_lmouse,y_lmouse)和右嘴角(x_rmouse,y_rmouse)的坐标位置；

步骤3.2：取连接两眼中心线段的中点，记其坐标为(x_m-eye,y_m-eye)；

步骤3.3：取连接两嘴角线段的中点，记其坐标为(x_m-mouse,y_m-mouse)；

步骤3.4：将步骤3.2和步骤3.3中的两个中点连接起来，得到人脸定位线；

步骤3.5：以正脸图像为基准，测定正脸-侧脸数据集中两张图片的人脸定位线夹角，将二分之一定位线夹角记作旋转夹角；

步骤3.6：以正脸图像的人脸定位线为基准，将侧脸图像进行旋转操作，顺时针/逆时针旋转，旋转角度为步骤3.5所得的旋转夹角数值。

4.根据权利要求1所述的基于滑动分块生成对抗网络的小样本人脸识别方法，其特征在于，所述步骤5的具体方法为：

步骤5.1：利用帽子函数法对连续的滑块图像进行图像去重融合，不同区域赋予不同权重，权重函数w_i(x,y)如下所示：

其中，width为重叠区域的宽度，height为重叠区域的高度；

步骤5.2：参数归一化处理，其式如下：

其中，n为待融合图像的总数，k_i(x,y)为第i个图像的权重；

步骤5.3：多个重叠区域进行融合，其式如下：

5.根据权利要求1所述的基于滑动分块生成对抗网络的小样本人脸识别方法，其特征在于，所述步骤6的具体方法为：利用交叉熵损失函数来实现人脸图像的分类任务。

Images