CN106127159A - 一种基于卷积神经网络的性别识别方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的性别识别方法，首先获取训练样本集并对每个人脸图像标记性别标签，对每张人脸图像样本进行预处理，并得到不同方向和尺度下的Gabor特征，获取若干Gabor特征图像，将这些Gabor特征图像转化为一维特征向量，进行降维后，转化成适宜卷积神经网络输入层大小的特征矩阵，根据人脸图像样本的特征矩阵和性别标签训练得到卷积神经网络；对待识别的人脸图像，采用相同方法提取得到对应的特征矩阵，输入至训练好的卷积神经网络中，得到性别识别结果。本发明采用Gabor特征结合卷积神经网络来进行性别识别，提高对光照变化的鲁棒性，从而提高对性别的识别率。

Description

一种基于卷积神经网络的性别识别方法

技术领域

本发明属于人脸识别技术领域，更为具体地讲，涉及一种基于卷积神经网络的性别识别方法。

背景技术

随着人工智能技术的发展，人脸识别的研究越来越火热。性别识别作为人脸识别的一个分支技术，具有重大研究价值的。性别识别也是模式识别的一种，它和一般的模式识别方法类似，其主要目的是寻找最优的特征提取方法和最优的分类方法。对于性别识别，已经有很多研究员对其做了研究。关于其中的一些研究可以参考文献Gender Recognitionon Real World Faces Based on Shape Representation and Neural Network，Arigbabu等人在人脸数据库LFW中对未对齐的人脸采用人工神经网络的方法进行性别识别得到了89.3％的识别正确率。以及文献A Gender Recognition System using ShuntingInhibitory Convolutional Neural Networks，Tivive FHC等人在人脸数据库FERET上通过卷积神经网络来进行性别识别，实验的数据中女性样本1152个，男性样本610个，实验得到一个较好的性别识别率。

随着研究员对性别识别深入的研究，发现存在如下一些影响性别分类的因素。首先，在采集人脸图像的过程中，人脸图像可能是在不同的光照和不同的设备下采集的，同时在采集过程中也有可能存在拍摄角度不同的情况，这些因素都影响了性别识别的识别率。再者，人脸本身也存在一些影响性别分类的因素，比如不同的年龄、不同的表情和不同的种族都可能造成不同的分类结果。在整个性别分类的难点中，光照不均是最为常见的问题。即便是性能较好的基于卷积神经网络的性别识别，由于卷积神经网络对光照不鲁棒，其分类效果受光照变化的影响。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于卷积神经网络的性别识别方法，采用Gabor特征结合卷积神经网络来进行性别识别，提高对光照变化的鲁棒性，从而提高对性别的识别率。

为实现上述发明目的，本发明基于卷积神经网络的性别识别方法包括以下步骤：

S1：分别获取若干张男女人脸图像，构成训练样本集，对训练样本集中每个人脸图像标记性别标签；

S2：对训练样本集中每张人脸图像进行预处理；

S3：对训练样本集中预处理后的每张人脸图像提取M个方向、N个尺度的Gabor特征，提取得到的M×N幅Gabor特征图像；

S4：对于每幅人脸图像的M×N幅Gabor特征图像，将每幅Gabor特征图像转化为一维特征向量，然后将M×N幅图像的一维特征向量组合得到一个一维特征向量；然后采用降维处理算法将该一维特征向量的维数降至P²，将降维后的特征向量中的P²个元素，以P个连续元素为一行，转换得到人脸图像对应的P×P的特征矩阵；

S5：构建卷积神经网络，将各个人脸图像对应的特征矩阵作为卷积神经网络的输入，其对应的性别标签作为输出，对卷积神经网络进行训练，得到训练好的卷积神经网络；

S6：对待识别的人脸图像，采用与步骤S2至步骤S4相同的方法，提取得到对应的特征矩阵；

S7：将步骤S6提取得到的特征矩阵输入步骤S5训练好的卷积神经网络中，得到性别识别结果。

本发明基于卷积神经网络的性别识别方法，首先获取训练样本集并对每个人脸图像标记性别标签，对每张人脸图像样本进行预处理，并得到不同方向和尺度下的Gabor特征，获取若干Gabor特征图像，将这些Gabor特征图像转化为一维特征向量，进行降维后，转化成适宜卷积神经网络输入层大小的特征矩阵，根据人脸图像样本的特征矩阵和性别标签训练得到卷积神经网络；对待识别的人脸图像，采用相同方法提取得到对应的特征矩阵，输入至训练好的卷积神经网络中，得到性别识别结果。

本发明采用Gabor特征结合卷积神经网络来进行性别识别，该方法对光照变化鲁棒，对性别具有很高的分类正确率。

附图说明

图1是本发明基于卷积神经网络的性别识别方法的流程图；

图2是Gabor特征图像示例图；

图3是本实施例中卷积神经网络的结构图；

图4是本发明与两种对比算法的识别率对比图；

图5是3组不同光照测试样本中人脸图像示例。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明基于卷积神经网络的性别识别方法的流程图。如图1所示，本发明基于卷积神经网络的性别识别方法的具体步骤包括：

S101：获取训练样本图像：

分别获取若干张男女人脸图像，构成训练样本集，对训练样本集中每个人脸图像标记性别标签，一般为0和1。

S102：图像预处理：

对训练样本集中每张人脸图像预处理，以突出特征、去除噪声。本实施例中所采用的预处理操作包括直方图均衡化、人脸倾斜矫正、高斯滤波、尺寸归一化，这些预处理都是人脸图像领域中的常用操作，具体过程在不再赘述。

S103：提取Gabor特征：

Gabor特征是模式识别中常用的一种特征提取方法，具有对图像提取局部空间和频率域信息的能力，同时它具有对于图像的边缘敏感，能够提取图像的多方向和多尺度特征的优点，最后它还对光照的变化不敏感，对光照的变化具有抑制作用。因此本发明采用Gabor特征来作为人脸识别依据。首先对训练样本集中预处理后的每张人脸图像提取Gabor特征。

假设用I(x,y)表示一幅图像的灰度分布，那么可以用如下公式表示Gabor特征的提取：

O_u,v(x,y)＝I(x,y)*ψ_u,v(x,y) (1)

其中ψ_u,v(x,y)表示Gabor核函数，O_u,v(x,y)表示的是尺度为u、方向为v的Gabor核函数提取的Gabor特征。

经实验评估发现，单独的一个方向和尺度的Gabor特征不能详尽的描述一幅人脸图像，因此本发明对一幅人脸图像提取了M个方向、N个尺度的Gabor特征，提取得到M×N幅Gabor特征图像，从而能更为详细的描述一幅图像的特征。为了兼顾效率和识别性能，M的取值范围为5≤M≤10，N的取值范围为3≤N≤7。图2是Gabor特征图像示例图。如图2所示，设置M＝8，N＝5，共计得到40幅Gabor特征图像。

S104：Gabor特征降维：

对一幅图像提取的M个方向、N个尺度的Gabor特征包含了大量的冗余信息，因此需要进行降维处理，其具体方法为：对于每幅人脸图像的M×N幅Gabor特征图像，将每幅Gabor特征图像转化为一维特征向量，然后将M×N幅图像的一维特征向量组合得到一个一维特征向量，即将M×N幅图像一维特征向量按照顺序拼接起来构成一个一维特征向量。然后采用降维处理算法将该一维特征向量的维数降至P²，将降维后的特征向量中的P²个元素，以P个连续元素为一行，转换得到人脸图像对应P×P的特征矩阵。P×P为卷积神经网络输入层的输入尺寸。本实施例中采用PCA(Principal Component Analysis，主成分分分析)降维算法进行降维。

通过降维后，可以减少Gabor特征中的冗余信息，相对于直接将人脸图像输入卷积神经网络，其训练和识别效率会更高。

S105：训练卷积神经网络：

构建卷积神经网络，将各个人脸图像对的特征矩阵作为卷积神经网络的输入，其对应的性别标签作为输出，对卷积神经网络进行训练，得到训练好的卷积神经网络。

卷积神经网络中有许多网络架构，可以根据需要进行选择。卷积神经网络由输入层、卷积层、采样层、全连接层、输出层组成。卷积过程先用一系列可训练的滤波器(卷积核)f_x对输入进行卷积运算，x表示卷积层序号，在经过加入偏置b_x得到卷积层C_x；子采样过程先用每个相邻域4个像素求最大的像素，然后通过W_x+1加权，再加偏置b_x+1，最后通过激活函数f()，产生缩小为1/4的映射图像S_x+1。这里通过采用不同的卷积核，提取了不同的性别特征，而且通过权值共享降低复杂度。下采样过程相当于模糊滤波，起到了二次特征提取的作用，降低维度的同时，可以增加对人脸性别特征提取的鲁棒性。组合多个这样的卷积下采样过程就构成了卷积神经网络。

图3是本实施例中卷积神经网络的结构图。如图3所示，本实施例中针对性别识别设计了一种类似于lenet5的用于性别识别的卷积神经网络结构。下面分别对每一层进行具体说明：

1)输入层S1：

在常规的卷积神经网络中，输入层的输入为一幅图像，一幅图像通常可以视为一个矩阵。因此本发明将降级后的特征向量转换为P×P的特征矩阵输入卷积神经网络。本实施例中特征矩阵大小为32×32。

2)卷积层C1：

卷积层C1将输入层输入的特征矩阵进行卷积得到卷积层C1的特征图。本实施例中采用5个大小为5×5的可训练卷积核进行卷积，卷积层C1的每个特征图中的每个神经元和输入的特征图像中的25个点相连接。其计算公式可以表示为：

$y_j^l=\underset{i=1}{\overset{n}{\Σ}}{w}_{ij}^l{x}_{ij}^l+b_j^l---\left(2\right)$

其中表示卷积层C1中第l个特征图的一个神经元，表示与神经元相连接的输入层的点，表示卷积层C1中的点与输入层连接点的权重，即是卷积核的值，表示偏置。

3)采样层S2：

采样层S2的特征图是通过对卷积层C1的特征图下采样而得到。本实施例中的采样方式是对卷积层C1的相邻领域中4个点进行1次采样，选取这4个点中最大的那个点，然后通过公式(3)计算出值，该值作为采样层S2的特征图中对应的点，即采样层S2的每个特征图中的每个点和卷积层C1中的4个点相连接。采样层S2的特征图个数和卷积层C1的特征图的个数相同。

$y_j^l=f\left(max\right(x_{ij}\left)\right)\·w_j+b_j---\left(3\right)$

其中表示S2层的第l个特征图的一个神经元，x_ij表示卷积层C1中与相连的神经元。f()表示激活函数，一般为Sigmoid或Tanh函数。w_j表示连接权重，b_j表示偏置。

3)卷积层C3：

卷积层C3将采样层S2的特征图进行卷积得到卷积层C3的特征图。本实施例中卷积层C3采用8个大小为5×5的可训练卷积核进行的卷积运算。由于采样层S2的特征图有5个，所以采样层S2进行了不同的组合，每个组合包含3个特征图，选择其中8个组合进行卷积得到C3的8个特征图。其计算公式可以表示为：

$y_j^l=\underset{m}{\overset{m}{\Σ}}\underset{i=1}{\overset{S}{\Σ}}{x}_{ij}^k{w}_{ij}^k+b_j^l---\left(4\right)$

其中，m表示C3中每层特征图中一个点和S2层特征图的连接个数。表示C3该层特征和S2该层特征相连接。S表示C3中单个特征图中有多少个神经元和S2中单个特征图中一个神经元相连。表示表示偏置。

表1是本实施例卷积层C3特征图和采样层S2特征图的连接方式。

表1

如表1所示，x表示表示C3该层特征和S2该层特征对应特征图连接。例如C3的第0个特征图就分别和S2的第0个、第1个、第2个特征图相连接，得到的这个特征图的每一点和S2层的75个点相连接。

4)采样层S4：

采样层S4的特征图是通过对卷积层C3的特征图下采样而得到，采样方式和S2的采样方式相同。

5)全连接层：

全连接层对采样层S4的特征图进行全连接方式的卷积，得到一维向量。本实施例中采样层S4每个特征图的大小都为5×5，全连接的神经元数量为120个。

6)输出层：

由于本发明进行性别分类，是一个二分类问题，因此本发明中输出层包含2个神经元，这2个神经元与全连接层的所有神经元连接，输出性别分类结果。

S106：提取待识别人脸图像特征矩阵：

对待识别的人脸图像，采用与步骤S102至步骤S104相同的方法，提取得到对应的特征矩阵。

S107：性别识别：

将步骤S106提取得到的特征矩阵输入步骤S105训练好的卷积神经网络中，得到性别识别结果。

为了说明本发明的技术效果，采用一个人脸图像样本集进行实验验证。本实施例中采用的人脸图像样本集为从AR人脸数据库选取的1200张图像，其中男女各600张，随机选取900张人脸图像作为训练样本，剩余的300张人脸图像作为测试样本。采用经典的性别识别算法LBP+SVM算法以及直接输入人脸图像的卷积神经网络算法(cnn算法)作为对比算法。采用训练样本分别对本发明和对比算法中的卷积神经网络和SVM分类器进行训练，然后将测试样本分为6组，分别采用训练好的卷积神经网络和SVM分类器进行性别识别，统计每组测试样本的识别率平均值，作为该组测试样本的识别率。图4是本发明与两种对比算法的识别率对比图。如图4所示，对于6组测试样本，本发明的识别率都要高于两个对比算法。

同时为了测试本发明性别识别方法对光照的鲁棒性，选取AR数据库中3种不同光照的人脸图像作为测试样本，输入已经训练好的卷积神经网络中测试，其中每种光照下的人脸图像样本为200张。图5是3组不同光照测试样本中人脸图像示例。如图5所示，3组测试样本中人脸图像的光照条件不同。表2是本发明对3组不同光照测试样本的识别率统计表。

测试样本组序号	识别率
		1	88.5％
2	89％
		3	88％

表2

如表2所示，不同光照下的性别识别率差别不大，表明本发明性别识别方法对光照是鲁棒的。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (4)

1.一种基于卷积神经网络的性别识别方法，其特征在于，包括以下步骤：

S1：分别获取若干张男女人脸图像，构成训练样本集，对训练样本集中每个人脸图像标记性别标签；

S2：对训练样本集中每张人脸图像进行预处理；

S3：对训练样本集中预处理后的每张人脸图像提取M个方向、N个尺度的Gabor特征，提取得到M×N幅Gabor特征图像；

S4：对于每幅人脸图像的M×N幅Gabor特征图像，将每幅Gabor特征图像转化为一维特征向量，然后将M×N幅图像的一维特征向量组合得到一个一维特征向量；然后采用降维处理算法将该一维特征向量的维数降至P²，将降维后的特征向量中的P²个元素，以P个连续元素为一行，转换得到人脸图像对应的P×P的特征矩阵；

S5：构建卷积神经网络，将各个人脸图像对的特征矩阵作为卷积神经网络的输入，其对应的性别标签作为输出，对卷积神经网络进行训练，得到训练好的卷积神经网络；

S6：对待识别的人脸图像，采用与步骤S2至步骤S4相同的方法，提取得到对应的特征矩阵；

S7：将步骤S6提取得到的特征矩阵输入步骤S5训练好的卷积神经网络中，得到性别识别结果。

2.根据权利要求1所述的性别识别方法，其特征在于，所述步骤S2中预处理包括直方图均衡化、人脸倾斜矫正、高斯滤波、尺寸归一化。

3.根据权利要求1所述的性别识别方法，其特征在于，所述步骤S3中M的取值范围为5≤M≤10，N的取值范围为3≤N≤7。

4.根据权利要求1所述的性别识别方法，其特征在于，所述步骤S4中降维处理算法为PCA降维算法。