CN111160095A - 基于深度自编码器网络的无偏人脸特征提取分类方法及系统 - Google Patents

Abstract

本发明公开了一种基于深度自编码器网络的无偏人脸特征提取分类方法及系统，其方法包括两个步骤，首先通过训练深度自编码器网络重构输入的无偏人脸图片来提取其中的无偏人脸特征，接着通过全连接分类网络得到分类向量，并用分类向量和分类标签比较，将分类向量最大项所在类为输入无偏人脸的类别。利用该种方法自动从图片当中提取人脸特征，并用该特征对人脸图片进行分类，此方法应用在一些可能出现异形或者畸形人脸的场合，比其他现有方法更加精确，同时节省大量的人力物力。

Description

基于深度自编码器网络的无偏人脸特征提取分类方法及系统

技术领域

本发明涉及人脸特征提取技术领域，尤其是一种基于深度自编码器网络的人脸特征提取以及分类的方法和系统。

背景技术

人脸特征识别技术，可以追溯到20世纪50年代，当时的研究人员主要涉及的是社会心理学领域；从20世纪70年代开始，采用的基本上都是典型的模式识别技术，利用手工设计特征的方式来提取脸部特征，例如利用脸部重要特征点之间的距离进行分类识别。随着计算机的发展，从80年代到90年代初期，基于人脸外貌的统计识别方法得到了很大的发展。

传统的特征提取方法是基于大量人脸数据训练而来的，但其中很少涉及畸形或者异形的脸部，因此对于这种脸部的照片该种方法将会失准，从而无法对畸形或者异形的脸部进行正确的分类。

发明内容

本发明的目的是提供一种能够在畸形或者异形人脸图片上也能进行人脸特征提取并分类的方法以及系统，该方法及系统能够修正现有方法在畸形或者异形脸部特征提取失准的现象，并且能够同时保持方便快捷，不局限于场地设备，不依赖于巨大人力的脸部特征提取。

实现本发明目的的具体技术方案是：

一种基于深度自编码器网络的无偏人脸特征提取分类方法，该方法包括：

步骤1：无偏人脸特征提取

1.1)通过搜集畸形或者异形人脸，添加到现有的人脸数据集上，进行数据集扩充，并根据人脸的不同种类，进行划分并打上分类标签，用扩充后的数据集图片以及分类标签构建基础无偏人脸数据集；并将基础无偏人脸数据集按照8∶2的数量比例划分为训练集和测试集；

1.2)将所述基础无偏人脸数据集中的训练集图片(不包含分类标签)作为深度自编码器网络的输入，并通过深度自编码器网络模型的编码器和解码器，得到输出图片，通过输入图片和输出图片确定图片重构损失代价函数值；

1.3)根据所述图片重构损失代价函数值和训练参数在所述训练集上训练深度自编码器网络；其中，所述训练参数：学习速率为0.0001；

1.4)当所述的深度自编码器网络在训练集上的图片重构损失代价函数值小于设定阈值(人为设定)时，停止训练；并将经过训练的深度自编码器网络模型的编码器提取出来作为人脸特征提取模型，再将所述的训练集图片输入所述的人脸特征提取模型得到无偏人脸特征；

步骤2：无偏人脸特征分类

2.1)将所得的无偏人脸特征输入全连接分类网络，得到分类向量；通过分类向量和所述分类标签确定分类损失代价函数值；

2.2)根据所述分类损失代价函数值和训练参数在所述训练集上训练全连接分类网络；所述训练参数：学习速率为0.0001；

2.3)当所述的全连接分类网络在训练集上的分类损失代价函数值小于设定阈值时，停止训练；

2.4)通过预留的基础无偏人脸的测试集对所述的全连接分类网络进行人脸分类测试，并根据测试结果确定测试精度，所述测试精度即指分类正确的人脸数量占所有输入人脸数量的百分比。

步骤1所述通过搜集畸形或者异形人脸，添加到现有的人脸数据集上，进行数据集扩充，并根据人脸的不同种类，进行划分并打上分类标签，具体包括：

A1)通过网络查找，数据库搜索，收集畸形或者异形人脸，添加到现有的人脸数据集上，进行数据集扩充；

A2)将所述的扩充的数据集进行图片旋转，裁剪，缩放处理操作；

A3)获取所述普通人脸和畸形或者异形人脸的分类信息，根据所述分类信息对所述的畸形或者异形人脸以及正常人脸图片进行分类，并打上分类标签，形成基础无偏人脸数据集。

步骤1所述将基础无偏人脸数据集的训练集作为所述深度自编码器网络的输入，并通过深度自编码器网络模型的编码器和解码器，得到输出的图片，通过输入和输出确定损失代价函数值，具体包括：

B1)将所述基础无偏人脸数据集的训练集作为所述深度自编码器网络的输入，并通过深度自编码器网络的编码器，确定输出的是无偏人脸特征，再将该无偏人脸特征通过深度自编码器网络的解码器，确定得到的输出图片是重构后的无偏人脸图片；

B2)根据经过整个深度自编码器网络重构得到的无偏人脸图片，与原先输入的无偏人脸图片进行比较，计算每个像素的差值的平方确定损失代价函数值。

步骤1所述根据所述图片重构损失代价函数值和训练参数在所述训练集上训练深度自编码器网络，具体包括：

C1)从网上获取经过训练的深度卷积神经网络VGG16的参数，根据VGG16的参数确定深度自编码器网络模型当中编码器的初始参数，并将所述训练集图片(不包含分类标签)作为上述深度自编码网络的输入，得到重构后的输出图片，通过输入和输出图片确定所述图片重构损失代价函数，在所述初始参数的基础上，用所述训练集图片来训练所述深度自编码器网络；

C2)更新训练参数，根据所述图片重构损失代价函数值通过反向传播的方式，在所述训练集图片上更新所述的深度自编码器网络当中的编码器和解码器的参数。

步骤2所述将所得的无偏人脸特征输入全连接分类网络，得到分类向量；通过分类向量和所述分类标签确定分类损失代价函数值，具体包括；

D1)初始化3层全连接的分类模型，并用该分类模型来对所述的无偏人脸特征进行分类，输出无偏人脸分类向量；

D2)将所述的无偏人脸分类向量和分类标签进行交叉熵计算，确定分类损失代价函数。

一种基于上述方法的系统，该系统包括：

无偏人脸获取模块，用于从数据集中获取无偏人脸图片；

harr级联分类器模块，是基于多个分类器集成在一起的高精度的harr级联分类器，主要用于检测输入图片当中是否包含人脸，若图片包含人脸，则将其输入到之后的深度自编码器网络；若不包含人脸，则结束；

深度自编码器网络模块，基于编码器和解码器结构，在重构人脸图片的过程中，用编码器来提取图片的无偏人脸特征；

全连接的分类模块，用于将上述提取的无偏人脸特征的分类，输出无偏人脸分类向量；

对比分类确定模块，用于将所述待分类的无偏差人脸特征与分类标签进行对比，并将概率向量最大值所在的列作为该人脸的分类结果；

图片展示模块，用于展示所述的无偏人脸数据集当中的图片，即待分类的图片；

结果展示模块，用于展示所述待分类的图片的分类结果；

菜单栏模块，用于承载部分功能按钮，以供用户和系统进行交互。

本发明能够对一些异形或者畸形人脸也进行人脸特征提取，较现有的方法更加的精准且稳定。同时在一些需要对异形或者畸形人脸进行处理的任务当中，如遗传病检测等，本发明可以极大的减少人力物力成本，帮助从业人员更好更快的进行判断。

附图说明

图1为本发明流程图；

图2为本发明实施例人脸特征提取的具体流程图；

图3为人脸检测的具体流程图；

图4为本发明实施例的人脸特征提取进行预处理前的示例图；

图5为图4的示例图进行预处理后的结果图；

图6为实施例的无偏人脸特征分类流程图；

图7为本发明系统流程图；

图8为本发明系统界面图。

具体实施方式

为了便于理解本发明，以下结合附图及实施例对本发明进行详细说明。

参阅图1，本发明步骤1中的基于深度自编码器网络的无偏人脸特征提取分类，包括以下步骤：

S111：通过搜集畸形或者异形人脸，添加到现有的人脸数据集上，进行数据集扩充，并根据人脸的不同种类，进行划分并打上分类标签，用扩充后的数据集图片以及分类标签构建基础无偏人脸数据集；并将基础无偏人脸数据集按照8∶2的数量比例划分为训练集和测试集；

预设应用场景可以是会出现畸形或者异形人脸的场景，如医疗遗传病检测等场景；不同的面部特征会对应不同的疾病；

S112：从网上获取经过训练的harr级联分类器的参数，并根据所述的harr级联分类器的参数确定人脸检测模块的初始参数；

S113：从网上获取经过训练的深度卷积神经网络VGG16的参数，并根据所述的深度卷积神经网络VGG16的参数确定深度自编码器网络模型当中编码器的初始参数；

经过训练的深度卷积神经网络VGG16为采用现有技术进行分类的已经训练好了的神经网络。如此，在经过训练的分类的卷积神经网络的基础上进行后续训练，而无需再从零开始训练。因此，可以节约训练时间，更快地找到最优神经网络。优选地，经过训练的分类神经网络为深度神经网络；

深度自编码器网络的编码器以经过训练深度卷积神经网络VGG16为基础；

S114：将上述的基础无偏人脸数据集作为所述深度自编码器网络的输入，并通过深度自编码器网络模型的编码器和解码器，得到输出图片，通过输入图片和输出图片确定图片重构损失代价函数值。深度自编码器的图片重构损失代价函数loss定义为：

其中Dec，Enc为编码器和解码器。Dec(Enc(x_i))，x_i分别为原人脸图片经过编码解码后的重构输出图，以及原人脸图片。||***||₂，表示二范数运算。i＝1，…，N，表示每个批次的具体的图片；

S115：根据所述图片重构损失代价函数值和训练参数在所述训练集上训练深度自编码器网络；

根据所述损失代价函数值以及训练参数采用随机梯度下降法在所述的无偏人脸训练集上训练所述的深度自编码器网络；

训练参数中包含了学习速率，可以默认设置为0.0001；

S116：当所述的深度自编码器网络模型在训练集上的损失小于0.01的时候，停止训练。并将经过训练的深度自编码器网络模型的编码器提取出来作为人脸特征提取模型。

S117：再将所述的训练集输入所述的人脸特征提取模型得到无偏人脸特征，并将该特征输入全连接分类网络，得到分类向量。通过分类向量和分类标签确定分类损失代价函数值。全连接网络的分类损失代价函数loss定义为：

其中x_i，p(x_i)，q(x_i)分别为输人的图片，图片x_i对应的分类标签，图片x_i对应的分类同量。i＝1，…，N，表示每个批次的具体的图片；

S118：根据所述分类损失代价函数值和训练参数在所述训练集上训练全连接分类网络；

根据所述损失代价函数值以及训练参数采用随机梯度下降法在所述的无偏人脸训练集上训练所述的深度自编码器网络；

训练参数中包含了学习速率，可以默认设置为0.0001；

S119：当所述的全连接分类网络在训练集上的损失小于0.005的时候，停止训练。

S120：之后通过预留的基础无偏人脸的测试集对所述的全连接分类网络进行人脸分类测试，并根据测试结果确定测试精度，所述的测试精度即指分类正确的人脸数量占所有输入人脸数量的百分比。

采用交叉验证的方式进行验证。测试集为与训练集没有交集的人脸图片的集合。

测试集制作方式为：将每个类别中的无偏人脸图片分成N份，除了用于制作训练集的K份，剩下的N-K份的人脸照片用于制作测试集。

本发明的基于深度自编码器网络的无偏人脸特征提取分类方法，由于在数据集的增强过程中增加了很多异形或者畸形的人脸，因此，该方法在面对到一些异形或者畸形人脸的分类任务的时候，也能很好的进行特征提取并分类，提高分类的精度。

实施例

参阅图2，在本实施例中，所述数据集扩充，即在人脸数据集的基础上，通过搜集畸形或者异形人脸，进行数据集扩充，构建基础无偏人脸数据集；所述无偏人脸包括正常人脸和畸形或者异形人脸，包括：

S211：通过网络查找，数据库搜索等途径共同收集的畸形或者异形人脸；

S212：根据其病名进行分类并统计；

S213：具体统计结果(共941张)：Craniofrontonssal综合症43张，德朗热综合征283张，克鲁宗综合征58张，Johanson-Blizzard综合征12张，歌舞伎综合征236张，菲佛氏综合征16张，Smith-Lemli-Opitz综合征15张，阿佩尔氏综合症24张，Wolf-Hirschhor综合征17张，海勒曼-史德萊夫氏综合征20张，Marshall综合征77张，Opitz G/BBB综合征11张，早年衰老症候群20张，貝克威思－威德曼综合征25张，唐氏综合征84张。

参阅图3，本实施例中，所述的harr级联模块。将无偏人脸作为harr级联模块的输入，并判断是否包含要检测的人脸的步骤，具体包括：

S311：将所述的无偏人脸图片输入到harr级联模块，进行直方图均衡化并归一化到同样大小；

S312：确定待检测的子窗口；

S312-S316：用多个弱分类器对待检测图片进行检测。形成弱分类器级联分类器，每个节点是多个树构成的分类器，且每个节点的正确识别率很高。在任一级计算中，一旦获得“不在类别中”的结论，则计算终止。只有通过分类器中所有级别，才会认为人脸被检测到；

参阅图4，由于人脸图片中的人脸照片的尺寸是不一致的，为了保证提取到稳定的特征并取得较好的人脸分类效果，需要通过现有方式对人脸图片进行裁剪缩放等预处理操作，图4所示为一个收集到的人脸的数据，裁剪缩放预处理后的人脸图片如图5所示。

参阅图6，本发明步骤2中的基于全连接分类网络的的无偏人脸特征分类方法，包括以下步骤：：

S611：将训练集输入harr级联分类器，将通过检测的无偏人脸图片输入权利要求1所述的目标人脸特征提取模型的输入，确定无偏人脸特征；

无偏人脸特征提取模型为通过上述基于深度自编码器网络的人脸特征提取建模方法建立的目标人脸特征提取模型；

S612：初始化3层全连接的分类模型，并用该分类模型来对上述的无偏人脸特征进行分类，输出无偏人脸分类向量；

S613：将所述的无偏人脸分类向量与分类标签进行对比，并将向量最大值所在的列作为该人脸的分类结果。

上述人脸分类方法，由于根据通过上述的无偏人脸经过训练，因此上述的人脸分类方法对于异形或者畸形的人脸的分类精度高。

参阅图7，本发明还提供一种基于深度自编码器网络的人脸特征提取并分类的系统，包括：

S711：无偏人脸获取模块，用于从数据集中获取无偏人脸图片；

S712：harr级联分类器模块，是基于多个分类器集成在一起的高精度的harr级联分类器，主要用于检测输入图片当中是否包含人脸若图片包含人脸，则将其输入到之后的深度自编码器网络；若不包含人脸，则结束；

S713：深度自编码器网络模块，基于编码器和解码器结构，在重构人脸图片的过程中，用编码器来提取图片的无偏人脸特征；

S714:全连接的分类模块，用于将上述提取的无偏人脸特征的分类，输出无偏人脸分类向量；

S715:对比分类确定模块，用于将所述待分类的无偏差人脸特征与分类标签进行对比，并将概率向量最大值所在的列作为该人脸的分类结果；

S716:图片展示模块，用于展示所述的无偏人脸数据集当中的图片，即待分类的图片；

S717:结果展示模块，用于展示所述待分类的图片的分类结果；

S718:菜单栏模块，用于承载部分功能按钮。包括打开图片等。

S719:交互模块，用于承载检测功能按钮以及清楚信息按钮，以供用户和系统进行交互。

参阅图8，本发明的系统前端负责和用户交互的界面，包括：

S811：图片展示模块，用于展示所述的无偏人脸数据集当中的图片，即待分类的图片；

S812：结果展示模块，用于展示所述待分类的图片的分类结果；

S813：菜单栏模块，用于承载部分功能按钮。包括打开图片等。

S814：交互模块，用于承载检测功能按钮以及清楚信息按钮，以供用户和系统进行交互。

Claims (6)

1.一种基于深度自编码器网络的无偏人脸特征提取分类方法，其特征在于，该方法包括：

步骤1：无偏人脸特征提取

1.1）通过搜集畸形或者异形人脸，添加到现有的人脸数据集上，进行数据集扩充，并根据人脸的不同种类，进行划分并打上分类标签，用扩充后的数据集图片以及分类标签构建基础无偏人脸数据集；并将基础无偏人脸数据集按照8∶2的数量比例划分为训练集和测试集；

1.2）将所述基础无偏人脸数据集中的训练集图片作为深度自编码器网络的输入，并通过深度自编码器网络模型的编码器和解码器，得到输出图片，通过输入图片和输出图片确定图片重构损失代价函数值；

1.3）根据所述图片重构损失代价函数值和训练参数在所述训练集上训练深度自编码器网络；其中，所述训练参数：学习速率为0.0001；

1.4）当所述的深度自编码器网络在训练集上的图片重构损失代价函数值小于设定阈值时，停止训练；并将经过训练的深度自编码器网络模型的编码器提取出来作为人脸特征提取模型，再将所述的训练集图片输入所述的人脸特征提取模型得到无偏人脸特征；

步骤2：无偏人脸特征分类

2.1）将所得的无偏人脸特征输入全连接分类网络，得到分类向量；通过分类向量和所述分类标签确定分类损失代价函数值；

2.2）根据所述分类损失代价函数值和训练参数在所述训练集上训练全连接分类网络；所述训练参数：学习速率为0.0001；

2.3）当所述的全连接分类网络在训练集上的分类损失代价函数值小于设定阈值时，停止训练；

2.4）通过预留的基础无偏人脸的测试集对所述的全连接分类网络进行人脸分类测试，并根据测试结果确定测试精度，所述测试精度即指分类正确的人脸数量占所有输入人脸数量的百分比。

2.根据权利要求1所述的无偏人脸特征提取分类方法，其特征在于，步骤1所述通过搜集畸形或者异形人脸，添加到现有的人脸数据集上，进行数据集扩充，并根据人脸的不同种类，进行划分并打上分类标签，具体包括：

A1）通过网络查找，数据库搜索，收集畸形或者异形人脸，添加到现有的人脸数据集上，进行数据集扩充；

A2)将所述的扩充的数据集进行图片旋转，裁剪，缩放处理操作；

A3）获取所述普通人脸和畸形或者异形人脸的分类信息，根据所述分类信息对所述的畸形或者异形人脸以及正常人脸图片进行分类，并打上分类标签，形成基础无偏人脸数据集。

3.根据权利要求1所述的无偏人脸特征提取分类方法，其特征在于，步骤1所述将基础无偏人脸数据集的训练集作为所述深度自编码器网络的输入，并通过深度自编码器网络模型的编码器和解码器，得到输出的图片，通过输入和输出确定损失代价函数值，具体包括：

B1）将所述基础无偏人脸数据集的训练集作为所述深度自编码器网络的输入，并通过深度自编码器网络的编码器，确定输出的是无偏人脸特征，再将该无偏人脸特征通过深度自编码器网络的解码器，确定得到的输出图片是重构后的无偏人脸图片；

B2）根据经过整个深度自编码器网络重构得到的无偏人脸图片，与原先输入的无偏人脸图片进行比较，计算每个像素的差值的平方确定损失代价函数值。

4.根据权利要求1所述的无偏人脸特征提取分类方法，其特征在于，步骤1所述根据所述图片重构损失代价函数值和训练参数在所述训练集上训练深度自编码器网络，具体包括：

C1）从网上获取经过训练的深度卷积神经网络VGG16的参数，根据VGG16的参数确定深度自编码器网络模型当中编码器的初始参数，并将所述训练集图片作为上述深度自编码网络的输入，得到重构后的输出图片，通过输入和输出图片确定所述图片重构损失代价函数，在所述初始参数的基础上，用所述训练集图片来训练所述深度自编码器网络；

C2）更新训练参数，根据所述图片重构损失代价函数值通过反向传播的方式，在所述训练集图片上更新所述的深度自编码器网络当中的编码器和解码器的参数。

5.根据权利要求1所述的无偏人脸特征提取分类方法，其特征在于，步骤2所述将所得的无偏人脸特征输入全连接分类网络，得到分类向量；通过分类向量和所述分类标签确定分类损失代价函数值，具体包括；

D1）初始化3层全连接的分类模型，并用该分类模型来对所述的无偏人脸特征进行分类，输出无偏人脸分类向量；

D2）将所述的无偏人脸分类向量和分类标签进行交叉熵计算，确定分类损失代价函数。

6.一种基于权利要求1所述方法的系统，其特征在于，该系统包括：

无偏人脸获取模块，用于从数据集中获取无偏人脸图片；

harr级联分类器模块，是基于多个分类器集成在一起的高精度的harr级联分类器，主要用于检测输入图片当中是否包含人脸，若图片包含人脸，则将其输入到之后的深度自编码器网络；若不包含人脸，则结束；

深度自编码器网络模块，基于编码器和解码器结构，在重构人脸图片的过程中，用编码器来提取图片的无偏人脸特征；

全连接的分类模块，用于将上述提取的无偏人脸特征的分类，输出无偏人脸分类向量；

对比分类确定模块，用于将所述待分类的无偏差人脸特征与分类标签进行对比，并将概率向量最大值所在的列作为该人脸的分类结果；

图片展示模块，用于展示所述的无偏人脸数据集当中的图片，即待分类的图片；

结果展示模块，用于展示所述待分类的图片的分类结果；

菜单栏模块，用于承载部分功能按钮，以供用户和系统进行交互。

Images