CN107545243A - 基于深度卷积模型的黄种人脸识别方法 - Google Patents

Abstract

本发明提供的基于深度卷积模型的黄种人脸识别方法，包括如下步骤：步骤1：采用深度卷积网络对从LFW数据库中采集的西方人脸图像进行预训练，建立人脸识别初始模型；步骤2：采用人脸识别初始模型对黄种人脸图像进行精训练，建立黄种人脸识别模型；步骤3：采用所述黄种人脸识别模型对一待识别的人脸图像进行识别。本发明大大提高了人脸识别器对亚洲黄种人脸识别能力。

Description

基于深度卷积模型的黄种人脸识别方法

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于深度卷积模型的黄种人脸识别方法。

背景技术

现今，随着计算机视觉的相关理论与应用研究的迅速发展，计算机视觉技术在日常生活中应用的优越性也日益凸显。同时，信息化时代中个体身份的鉴别变得相当重要，它的正确与否和信息安全性息息相关。因此，如何利用计算机视觉在进行身份鉴定的同时确保信息安全已经成为日前炙手可热的关键问题之一。

人脸识别本质上是一种生物基本特征的识别方法，采集手段简单方便、隐蔽性强，于个人信息管理系统、金融消费验证系统、公共场所监控系统、人机对话交互系统等领域均拥有广泛的应用前景。因此，深入研究人脸识别系统于人机交互、安全、娱乐等方面具有重要的理论和实际意义。

目前，已有的人脸识别相关研究取得了较为丰硕的成果，形成了多种识别算法，但在光线和姿态等不断变化的复杂环境条件下，现有算法均存在较大缺陷，极大限制了现有算法的应用范围。

现有主要的人脸识别算法如下：

a)传统方法(通常基于ORL、AR、Yale、PIE等小规模人脸数据集)，因训练规模有限，所得人脸识别器的推广识别能力受限。

b)基于深度学习的方法，基于LFW(主要为西方人)训练库进行人脸识别器训练，因缺少来自东方人的训练样本，因而对亚洲人人脸识别能力受限。

综上所述，现有方法训练得到的人脸识别器因训练规模的限制以及亚洲黄种人人脸训练库的缺失，导致其对黄种人脸识别能力受限严重。

发明内容

本发明提供一种基于深度卷积模型的黄种人脸识别方法，用以解决现有的人脸识别方法不能对黄种人脸进行精准识别的问题。

为了解决上述问题，本发明提供了一种基于深度卷积模型的黄种人脸识别方法，包括如下步骤：

步骤1：采用深度卷积网络对从LFW数据库中采集的西方人脸图像进行预训练，建立人脸识别初始模型，其具体步骤如下：

aa)从LFW数据库中获取1万张西方人脸图像；

ab)采用Adaboost算法对每张西方人脸图像中的人脸区域进行检测，并对检测到的人脸区域进行抠取处理，以删除每张西方人脸图像的中的非人脸区域；

ac)采用Landmarks算法对每张经过抠取处理的西方人脸图像进行人脸对齐处理；

ad)将每张经过人脸对齐处理的西方人脸图像的像素缩放至100×100；

ae)采用深度卷积网络对经缩放处理的西方人脸图像进行训练，建立人脸识别初始模型；

步骤2：采用人脸识别初始模型对黄种人脸图像进行精训练，建立黄种人脸识别模型，其具体步骤如下所示：

ba)从网络上获取2万张黄种人脸图像；

bb)采用Adaboost算法对每张黄种人脸图像中的人脸区域进行检测，并对检测到的人脸区域进行抠取处理，以删除每张黄种人脸图像的中的非人脸区域；

bc)采用Landmarks算法对每张经过抠取处理的黄种人脸图像进行人脸对齐处理；

bd)将每张经过人脸对齐处理的黄种人脸图像的像素缩放至100×100；

be)将经过缩放处理的黄种人脸图像放入所述人脸识别初始模型中进行训练，建立黄种人脸识别模型；

步骤3：采用所述黄种人脸识别模型对一待识别的人脸图像进行识别，其具体步骤如下所示：

ca)获取一待识别的人脸图像；

cb)采用Adaboost算法对所述待识别的人脸图像中的人脸区域进行检测，并对检测到的人脸区域进行抠取处理，以删除所述待识别的人脸图像的中的非人脸区域；

cc)采用Landmarks算法对经过抠取处理的待识别的人脸图像进行人脸对齐处理；

cd)将经过人脸对齐处理的待识别的人脸图像的像素缩放至100×100；

ce)采用所述黄种人脸识别模型对经过缩放处理的待识别的人脸图像进行识别，以提取所述待识别的人脸图像的面部特征。

本发明提供的基于深度卷积模型的黄种人脸识别方法，首先对基于LFW人脸库的人脸图像进行深度卷积模型(CNN)的预训练(pre-training)，建立人脸识别的初始模型，然后采用所述人脸识别的初始模型对基于网络下载的黄种人脸图集进行深度人脸模型的精细训练(fine-tuning)，借助以上迁移学习技术，训练得到识别能力更强大的黄种人识别模型，从而大大提高了人脸识别器对亚洲黄种人脸识别能力。

附图说明

附图1是本发明具体实施方式的基于深度卷积模型的黄种人脸识别方法的总体流程示意图；

附图2是本发明具体实施方式的基于深度卷积模型的黄种人脸识别方法的总体结构示意图；

附图3是本发明具体实施方式的基于深度卷积模型的黄种人脸识别方法中Adaboost算法的工作流程示意图；

附图4是本发明具体实施方式的基于深度卷积模型的黄种人脸识别方法的卷积神经网络结构模型示意图；

附图5是本发明具体实施方式的基于深度卷积模型的黄种人脸识别方法中采样操作的结构示意图。

具体实施方式

下面结合附图对本发明提供的基于深度卷积模型的黄种人脸识别方法的具体实施方式做详细说明。

本具体实施方式提供了一种基于深度卷积模型的黄种人脸识别方法，附图1是本发明具体实施方式的基于深度卷积模型的黄种人脸识别方法的总体流程示意图，附图2是本发明具体实施方式的基于深度卷积模型的黄种人脸识别方法的总体结构示意图。

如图1、2所示，本发明提供了一种基于深度卷积模型的黄种人脸识别方法，包括如下步骤：

步骤S11：采用深度卷积网络对从LFW数据库中采集的西方人脸图像进行预训练，建立人脸识别初始模型，其具体步骤如下所示：

aa)从LFW数据库中获取1万张西方人脸图像。在该步骤中，LFW数据库为研究无约束人脸识别问题而设计的人脸图像数据库，该数据库中所保留的人脸图像为西方人脸图像(主要包括白种人脸图像和黑种人脸图像)。LFW数据库是通过半自动的方式从网络上收集人脸图像而建立的大型数据库。

ab)采用Adaboost算法对每张西方人脸图像中的人脸区域进行检测，并对检测到的人脸区域进行抠取处理，以删除每张西方人脸图像的中的非人脸区域。这是因为，从LFW数据库中获取的每张西方人脸图像，都包括人脸区域和非人脸区域，为方便后续的处理，需要将非人脸区域去除。

ac)采用Landmarks算法对每张经过抠取处理的西方人脸图像进行人脸对齐处理。在进行抠取处理之后，一般来说所得到的人脸区域并不是规范化的正脸，有可能出现人脸的倾斜或者倒置，为解决这一问题，提高后续人脸识别的准确度，我们利用Landmarks算法进行人脸的对齐处理，得到相对规范化的正脸，方便后续处理。

ad)将每张经过人脸对齐处理的西方人脸图像的像素缩放至100×100。以实现对所获取的所有西方人脸图像进行尺度归一化。

ae)采用深度卷积网络对经缩放处理的西方人脸图像进行训练，建立人脸识别初始模型。通过对LFW收集的西方人脸图图像(主要为白种人和黑种人)进行深度卷积网络的卷积、采样、全连接等操作，以训练学习到西方人种的人脸特征，使其初步具备对西方人种面部特征的识别能力，从而建立起人脸识别初始模型。

步骤S12：采用人脸识别初始模型对黄种人脸图像进行精训练，建立黄种人脸识别模型，其具体步骤如下所示：

ba)从网络上获取2万张黄种人脸图像。

bb)采用Adaboost算法对每张黄种人脸图像中的人脸区域进行检测，并对检测到的人脸区域进行抠取处理，以删除每张黄种人脸图像的中的非人脸区域。这是因为，从网络上获取的每张黄种人脸图像，都包括人脸区域和非人脸区域，为方便后续的处理，需要将非人脸区域去除。

bc)采用Landmarks算法对每张经过抠取处理的黄种人脸图像进行人脸对齐处理。在进行抠取处理之后，一般来说所得到的人脸区域并不是规范化的正脸，有可能出现人脸的倾斜或者倒置，为解决这一问题，提高后续人脸识别的准确度，我们利用Landmarks算法进行人脸的对齐处理，得到相对规范化的正脸，方便后续处理。

bd)将每张经过人脸对齐处理的黄种人脸图像的像素缩放至100×100。以实现对所获取的所有黄种人脸图像进行尺度归一化。

be)将经过缩放处理的黄种人脸图像放入所述人脸识别初始模型中进行训练，建立黄种人脸识别模型。通过互联网收集大量黄种人脸图片，将这些图片放入步骤S11中得到的人脸识别初始模型中，再次对黄种人脸图片进行深度卷积网络的卷积、采样、全连接等一系列操作，使得人脸识别初始模型在具有识别西方人种人脸面部特征的基础上，又学习到了黄种人脸面部特征，从而具备了识别黄种人脸面部特征的能力，最终建立起黄种人脸识别模型。

步骤S13：采用所述黄种人脸识别模型对一待识别的人脸图像进行识别，其具体步骤如下所示：

ca)获取一待识别的人脸图像；

cb)采用Adaboost算法对所述待识别的人脸图像中的人脸区域进行检测，并对检测到的人脸区域进行抠取处理，以删除所述待识别的人脸图像的中的非人脸区域；

cc)采用Landmarks算法对经过抠取处理的待识别的人脸图像进行人脸对齐处理；

cd)将经过人脸对齐处理的待识别的人脸图像的像素缩放至100×100；

ce)采用所述黄种人脸识别模型对经过缩放处理的待识别的人脸图像进行识别，以提取所述待识别的人脸图像的面部特征。

附图3是本发明具体实施方式的基于深度卷积模型的黄种人脸识别方法中Adaboost算法的工作流程示意图。在上述步骤中，Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。使用Adaboost分类器可以排除一些不必要的训练数据特征，并将关键放在关键的训练数据上面。

Adaboost是一个多个弱分类器级联的强分类器。在本具体实施方式中，优选的，可以采用滑动窗口并逐步扩充窗口大小的方式，对图片中的窗口区域进行Haar特征的提取，然后通过Adaboost分类器判定是否是人脸区域。在本具体实施方式中，通过Adaboost算法，将图像中人脸区域很好的检测了出来，从而实现了一张图片中人脸区域与非人脸区域的有效分离，为后续图像处理提供了极大的便利。

在上述步骤1、步骤2、步骤3中，采用Landmarks算法对经抠取处理的图像进行对齐处理的步骤具体来说，在经抠取处理后的人脸图像上进行Landmarks检测，获得一系列的Landmark点，再利用检测到的Landmarks和模板的Landmarks，计算仿射矩阵H，然后利用所述仿射矩阵H，直接计算得到对齐后的目标图像，最后根据所述目标图像对经抠取处理后的人脸图像进行裁剪。

附图4是本发明具体实施方式的基于深度卷积模型的黄种人脸识别方法的卷积神经网络结构模型示意图。卷积神经网络(Convolutional Neural Networks，CNN)，主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。由于CNN的特征检测层通过训练数据进行学习，所以在使用CNN时，避免了显示的特征抽取，而隐式地从训练数据中进行学习；再者由于同一特征映射面上的神经元权值相同，所以网络可以并行学习，这也是卷积网络相对于神经元彼此相连网络的一大优势。卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度。

在本具体实施方式中，如图4所示，以输入的单人脸检测出的人脸区域为例，人脸区域经过2次的卷积、采样操作实现对该人脸的特征提取，最后经过全连接，实现识别结果的输出(如果识别为该人脸所对应的的人，则输出结果为1，若识别结果非该人脸所对应的人，则输出结果为0或-1)。

以下分别介绍本具体实施方式中采用深度卷积网络对人脸图像进行训练的步骤：

1、卷积

卷积层，与传统神经网络一样，输入依然为上一层的输出，通过若干个卷积核来进行卷积运算。这个卷积核重复作用于整个输入区域的每个感受野中，卷积后的结果就构成了输入图像的特征图。这个卷积核就是卷积层要学习的内容，其中包括权重矩阵W和偏置项b。

卷积运算是对数字图像进行处理的常见操作，但是这个“卷积”是不同于数字信号处理领域的卷积运算，实际上卷积层所做的是一个线性的相关计算，具体公式如下：

其中，x为一个大小为(M,N)的二维输入向量，w是大小为J×I卷积核，b为偏置，y为输出特征图，大小为M×N，激活函数使用f表示。

一般一个卷积层包含了多个卷积核，每个核都会与上一层的所有输入特征图(或图像)进行卷积操作，每一个卷积核就会有一个对应的输出特征图，n个卷积核就可以得到n个对应的输出特征图，然后这n个输出特征图再输入到下一层中。每个卷积都是一种特征提取方式，就像一个筛子，将图像中符合条件(激活值越大越符合条件)的部分筛选出来，从而实现图像的特征提取。

2、采样

在通过卷积获得了特征之后，下一步我们希望利用这些特征去做分类。理论上讲，人们可以用所有提取得到的特征去训练分类器，例如softmax分类器，但这样做面临计算量的挑战。例如：对于一个96X96像素的图像，假设我们已经学习得到了400个定义在8×8输入上的特征，每一个特征和图像卷积都会得到一个(96-8+1)×(96-8+1)＝7921维的卷积特征，由于有400个特征，所以每个样例都会得到一个892×400＝3,168,400维的卷积特征向量。学习一个拥有超过3百万特征输入的分类器十分不便，并且容易出现过拟合(over-fitting)。

为了解决这个问题，我们之所以决定使用卷积后的特征是因为图像具有一种“静态性”的属性，这也就意味着在一个图像区域有用的特征极有可能在另一个区域同样适用。因此，为了描述大的图像，一个很自然的想法就是对不同位置的特征进行聚合统计，例如，人们可以计算图像一个区域上的某个特定特征的平均值(或最大值)。这些概要统计特征不仅具有低得多的维度(相比使用所有提取得到的特征)，同时还会改善结果(不容易过拟合)。这种聚合的操作就叫做池化(pooling)，有时也称为平均池化或者最大池化(取决于计算池化的方法)。

池化层的操作，是一种降采样操作。该操作是在一个小区域内，采取一个特定的值作为输出值。附图5是本发明具体实施方式的基于深度卷积模型的黄种人脸识别方法中采样操作的结构示意图。如图5所示，在每个特定的小区域内，我们选取最大值作为输出值。池化层的操作可以达到一定的空间不变性效果。除了最大值采样外，还有最小值采样，平均值采样等等，采样的方式会依具体情况而定。

本具体实施方式提供的基于深度卷积模型的黄种人脸识别方法，首先对基于LFW人脸库的人脸图像进行深度卷积模型(CNN)的预训练(pre-training)，建立人脸识别的初始模型，然后采用所述人脸识别的初始模型对基于网络下载的黄种人脸图集进行深度人脸模型的精细训练(fine-tuning)，借助以上迁移学习技术，训练得到识别能力更强大的黄种人识别模型，从而大大提高了人脸识别器对亚洲黄种人脸识别能力。

实施例1

本实施例提供了一种基于深度卷积模型的黄种人脸识别方法在网吧中的应用。网吧通过摄像设备首先采集了进入网吧消费者的人脸图像，经过人脸检测、抠取、对齐、缩放等预处理操作后，得到人脸区域图像，再采用本发明提供的黄种人脸识别模型对该部分人脸图像进行特征提取，并与人脸资料库进行比对，从而获得该人脸对应人员的身份信息，进而判断该人是否成年。若成年，则允许进入；若未成年，则不允许进入。

实施例2

本实施例提供了一种基于深度卷积模型的黄种人脸识别方法在门禁系统的应用。首先摄像装置对进入检测区域的人员进行人脸图像采集，经过人脸检测、抠取、对齐、缩放等预处理操作后，得到人脸区域图像，将得到的人脸区域采用本发明提供的黄种人脸识别模型进行深度卷积网络卷积、采样等操作，从而获得当前人脸图片的面部特征，将获得的特征与云端相对比，若结果显示一致，则允许通过，若结果显示不一致，则不允许通过。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (1)

1.一种基于深度卷积模型的黄种人脸识别方法，其特征在于，包括如下步骤：

步骤1：采用深度卷积网络对从LFW数据库中采集的西方人脸图像进行预训练，建立人脸识别初始模型，其具体步骤如下：

aa)从LFW数据库中获取1万张西方人脸图像；

ab)采用Adaboost算法对每张西方人脸图像中的人脸区域进行检测，并对检测到的人脸区域进行抠取处理，以删除每张西方人脸图像的中的非人脸区域；

ac)采用Landmarks算法对每张经过抠取处理的西方人脸图像进行人脸对齐处理；

ad)将每张经过人脸对齐处理的西方人脸图像的像素缩放至100×100；

ae)采用深度卷积网络对经缩放处理的西方人脸图像进行训练，建立人脸识别初始模型；

步骤2：采用人脸识别初始模型对黄种人脸图像进行精训练，建立黄种人脸识别模型，其具体步骤如下所示：

ba)从网络上获取2万张黄种人脸图像；

bb)采用Adaboost算法对每张黄种人脸图像中的人脸区域进行检测，并对检测到的人脸区域进行抠取处理，以删除每张黄种人脸图像的中的非人脸区域；

bc)采用Landmarks算法对每张经过抠取处理的黄种人脸图像进行人脸对齐处理；

bd)将每张经过人脸对齐处理的黄种人脸图像的像素缩放至100×100；

be)将经过缩放处理的黄种人脸图像放入所述人脸识别初始模型中进行训练，建立黄种人脸识别模型；

步骤3：采用所述黄种人脸识别模型对一待识别的人脸图像进行识别，其具体步骤如下所示：

ca)获取一待识别的人脸图像；

cb)采用Adaboost算法对所述待识别的人脸图像中的人脸区域进行检测，并对检测到的人脸区域进行抠取处理，以删除所述待识别的人脸图像中的非人脸区域；

cc)采用Landmarks算法对经过抠取处理的待识别的人脸图像进行人脸对齐处理；

cd)将经过人脸对齐处理的待识别的人脸图像的像素缩放至100×100；

ce)采用所述黄种人脸识别模型对经过缩放处理的待识别的人脸图像进行识别，以提取所述待识别的人脸图像的面部特征。