CN103198303A - 一种基于人脸图像的性别识别方法 - Google Patents

Abstract

本发明公开了一种基于人脸图像的性别识别方法，属于图像处理及模式识别技术领域。本发明采用将人脸上的局部器官（例如五官）特征分别训练的分类器和人脸整体特征的分类器相结合的分类器融合方式，构造融合分类器来进行性别识别，从而提高识别准确率；并采用2DPCA的方法对图像进行降维，采用2DLDA作为分类方法，在保证检测精度的基础上，减小了运算量，提升了训练和检测速度。

Description

一种基于人脸图像的性别识别方法

技术领域

本发明涉及一种基于人脸图像的性别识别方法，属于图像处理及模式识别技术领域。

背景技术

人脸特征是与其他生物特征一样，是人类天生就有的，其具有唯一性和不被复制性，由于人脸具有这样的特点，就为身份的鉴别提供了必要的前提。而且，人脸识别技术相对与其他的生物识别技术同时也拥有其得天独厚的优势，例如操作隐蔽，便于安全监控；非接触式采集较容易被用户所接受，友好性强；事后追踪能力强；图像采集设备成本低；符合人类的识别习惯，可交互性较强；不需要过多的专业知识等等一系列优点。

性别识别是人脸识别的一个应用部分，基于人脸的性别分类就是让计算机根据输入的人脸图像判断其性别的过程。

人脸的性别识别的研究始于二十世纪九十年代，最初是由心理学家开始探索人类识别性别的原因，接着有人从计算机视觉的角度进行研究，其主要目标是要得到一个性别分类器来对目标图像的性别进行分类。二十多年来人脸的性别识别得到了长足的发展，尤其在近些年，更成为一个热门的研究课题，得到大量来自计算机视觉、模式识别、人工智能、心理学等各领域的研究人员的关注。

近年来，国内外很多学校，企业以及研究者都对基于人脸图像的性别识别进行过大量的研究和探索，并取得了卓有成效的成果。

然而大部分的研究都只在于分类器分类方法的改进，以及人脸特征的描述上，而实际上，人脸五官对于性别识别的影响是显而易见的。有的时候人脸出现的时候往往会伴有遮挡，饰物等等，从而会对性别识别系统带来影响。使得系统缺乏鲁棒性。

发明内容

本发明所要解决的技术问题在于克服现有技术不足，提供一种基于人脸图像的性别识别方法，具有更高的检测精度，且在人脸有部分被遮挡的情况下，仍然具有较强的鲁棒性。

本发明的基于人脸图像的性别识别方法，包括以下步骤：

步骤A、对测试图像进行人脸检测；

步骤B、对检测得到的人脸图像进行至少一个局部器官的检测，得到至少一个局部器官图像；

步骤C、分别提取所述人脸图像及各局部器官图像的2DPCA特征；然后分别根据人脸图像的2DPCA特征及各局部器官图像的2DPCA特征，利用2DLDA方法进行性别分类，得到人脸图像的性别分类结果以及各局部器官图像的性别分类结果；

步骤D、按照以下公式对人脸图像的性别分类结果以及各局部器官图像的性别分类结果进行融合，得到最终的性别识别结果E：

$E=\mathrm{sgn}\left(\underset{i=1}{\overset{Q}{\mathrm{\Σ}}}{\mathrm{\ω}}_{i}h\left(i\right)\right),$

式中，Q为待融合的所有性别分类结果的总数；h(i)为第i个待融合的性别分类结果；ω_i为第i个待融合的性别分类结果的权重，按照以下方法预先训练得到：

1）对Q个待融合性别分类结果所对应的子分类器分别进行训练，得到各子分类器的分类准确率P_i,i=1,2,...Q；初步设定各子分类器的权重

2）根据 $E=\mathrm{sgn}\left(\underset{i=1}{\overset{Q}{\mathrm{\Σ}}}{\mathrm{\ω}}_{i}h\left(i\right)\right)$ 得到融合分类器；

3）对融合分类器进行交叉验证测试，并与各子分类器的准确率进行比较，假设融合分类器的准确率为P_new，若P_new均大于P_i,i=1,2,...Q，则训练完成，各子分类器的权重为当前的子分类器权重；若P_new<P_i,i=1,2,...Q，则加大P_i的权重，然后重复步骤2），直到P_new均大于P_i,i=1,2,...Q为止。

作为本发明的进一步优选方案，在对测试图像进行人脸检测前，先对测试图像进行预处理，所述预处理具体为对测试图像依次进行灰度化、直方图均衡化以及中值滤波处理。

更进一步地，所述人脸检测和局部器官检测均通过由AdaBoost学习算法训练得到的分类器实现。

相比现有技术，本发明具有以下有益效果：

一、采用将人脸局部器官特征分别训练的分类器和人脸整体特征的分类器相结合的分类器融合方式，使得精度大大提升，同时在人脸有部分被遮挡的情况下，仍然可以有较强的鲁棒性。

二、采用2DPCA的方法对图像进行降维，不需要先将图像转换为行向量，而是直接对图像本身进行操作，图像协方差矩阵直接使用原始图像矩阵构造。使用2DPCA的图像协方差矩阵的规模要小得多。在保证精度的基础上，使得速度大大加快。

三、采用2DLDA作为分类方法，其也是一种直接基于二维图像矩阵的方法，将原始图像向坐标系投影得到人脸图像的2DLDA特征。运算量小，有效利用了人脸图像的空间结构信息。

四、采用AdaBoost算法检测人脸和检测人脸五官，准确度高，且速度较快，可以较大的提升系统性能。

附图说明

图1为本发明方法的流程示意图。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

本发明的思路是采用将人脸上的局部器官（例如五官）特征分别训练的分类器和人脸整体特征的分类器相结合的分类器融合方式，构造融合分类器来进行性别识别，从而提高识别准确率；并采用2DPCA的方法对图像进行降维，采用2DLDA作为分类方法，在保证检测精度的基础上，减小了运算量，提升了训练和检测速度。

本发明的基于人脸图像的性别识别方法，具体按照以下方法：

步骤1：图像的预处理，依次对测试图像图像进行灰度化、直方图均衡化以及中值滤波处理，具体如下：

1）灰度化：采用加权平均值法，图像一般可以分为彩色图像和灰度图像。彩色图像的像素点是由R（红色）、G（绿色）、B（黑色），三种颜色组成。灰度图像只含有亮度信息，不含彩色信息。彩色图像的灰度化，常采用下列经验式：

gray=0.39*R+0.5*G+0.11*B   （1）

2）直方图均衡化：基本思想是将各灰度级分量尽量平均布满空间，直方图上表现为由密集的灰度分布变为均匀的分布，从而增强图像的对比度，可以降低光线对图像的干扰，使得特征容易提取。把在灰度区间[a,b]内的像素点映射到[z₁,z_k]区间，一般情况下，由于曝光不充分，前者往往为后者的子空间，所以原区间像素点z映射成新区间内像素点z’的公式为：

$z^{\&prime;}=\frac{z_k-z_1}{b-a}(z-a)+z_1---\left(2\right)$

3）中值滤波：其本质是一种统计排序的滤波器。对于原图像中某点(μ,ν)，中值滤波处理过程以该点为中心的邻域内所有像素的统计排序中值为该点的响应（通常采用的中值滤波的模板大小为3*3）。中值滤波对某些类型的随机噪声具有较好的降噪能力，与线性平滑滤波相比，其在降低噪声的同时不会引起较高的模糊效应。

步骤2：人脸检测：本发明优选采用AdaBoost方法设计分类器，以此来对一张图像进行人脸检测，提取图像中存在的人脸。具体实现方法如下：

1）准备大量训练样本，其中要包含正类样本（含有人脸的图像），以及负类样本（不包含人脸的其他图像），在前期准备训练样本的时候，需要将样本归一化和灰度化到20*20的大小，这样每个样本的都是灰度图像并且样本的大小一致。

2）计算Harr-like矩形特征：AdaBoost算法的实现，采用的是输入图像的矩形特征，也叫Haar特征。两矩形特征反映的是边缘特征，三矩形特征反映的是线性特征、四矩形特征反映的是特定方向特征。在获取了矩形特征后，要计算矩形特征的值，提出了利用积分图求特征值的方法。(μ,ν)表示图像中某点的坐标，I(μ,ν)表示该点处的积分图，其定义是坐标(μ,ν)左上角的所有像素值之和。计算方法：

$I(\mathrm{\&mu;},v)=\underset{{\mathrm{\&mu;}}^{\&prime;}\&le;\mathrm{\&mu;},v^{\&prime;}\&le;v}{\mathrm{\&Sigma;}}I({\mathrm{\&mu;}}^{\&prime;},{\mathrm{v\&nu;}}^{\&prime;})---\left(3\right)$

通过公式（3），我们只要通过积分图的相加减就可以很容易求得某块区域的像素值和。从而进一步算出特征模版的特征值，其定义为：白色矩形像素值和减去黑色矩形像素值和。子窗口中的特征个数即为特征矩形的个数。训练时，将每一个特征在训练图像子窗口中进行滑动计算，获取各个位置的各类矩形特征。在子窗口中位于不同位置的同一类型矩形特征，属于不同特征。

3）训练分类器：已知有N个训练样本(x₁,y₁),(x₂,y₂)...(x_N,y_N)，其中x表示样本，y取值0或者1，对应着样本的反和正。假设待分类的物体有K个简单特征（在这里指矩形特征）的特征值，表示为f_j()，j代表第j个矩形特征。对于第i个样本，它的K个特征的特征值为：f₁(x_i),f₂(x_i)...f_K(x_i),对于每一个输入的特征有一个简单的阈值分类器：

输出为1表示此样本是正样本，输出为0，则表示此样本是负样本。p主要用来控制不等号的方向，而θ主要用来表示阈值。具体训练的方法如下：

（A）设ω_t,i为第t次迭代中，第i个样本的误差权重，对样本的误差权重按照以下的公式进行初始化，ω_1,i=1/N,i=1,2,3...N

（B）For t=1,2,3········T(T为迭代次数）：

（a）权重归一化，使得ω_t,i为

（b）对于每个特征j，训练出弱分类器，也就是确定阈值，使得特征j的误差函数：

${\mathrm{\&epsiv;}}_j=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{t.i}|h_j\left(x_i\right)-y_i|---\left(5\right)$

达到本次循环中的最小。

（c）从（b）中的确定的弱分类器中找出一个具有最小误差函数的弱分类器，其分类误差函数为ε_t，并把该弱分类器加入到强分类器中。

（C）更新每个样本所对应的权重，e_i的确定方法：若第i个样本被正确分类，则e_i=0，反之e_i=1，β_t=ε_t/(1-ε_t)。

（D）经过T次迭代以后，可以得到T个弱分类器并联成的强分类器：

其中

一般情况下，设置正检率阈值为停止迭代的条件，通常为98.5%，实际应用中，T=200就可以取得较好的效果。

4）检测实现：在对输入图像进行检测的时候，一般输入图像都会比20*20的训练样本大很多。在AdaBoost算法中采用了扩大检测窗口的方法，而不是缩小图片。AdaBoost的人脸检测算法的速度非常的快，不可能采用图像缩放的方法，因为仅仅是把图像缩放11级的处理，就至少需要一秒钟，已经不能达到实时处理的要求了。在检测的最初，检测窗口和样本大小一致，然后按照一定的尺度参数（即每次移动的像素个数，向左然后向下）进行移动，遍历整个图像，标出可能的人脸区域。遍历完以后按照指定的放大的倍数参数放大检测窗口，然后再进行一次图像遍历；这样不停地放大检测窗口对检测图像进行遍历，直到检测窗口超过原图像的一半以后停止遍历。在检测窗口遍历完一次图像后，处理重叠的检测到的人脸区域，进行合并等操作。

步骤3：人脸局部器官截取：通过之前的步骤，已经从一张图像中获取了一张人脸图像，先将其尺寸归一化至128*128大小，之后从其中提取至少一个人脸局部器官图像，本具体实施方式中分别提取左眼、右眼、眉毛、嘴巴、鼻子这五官。

1）人眼检测：用于人脸图像中眼睛区域检测的分类器可以由AdaBoost学习算法训练得到，和步骤2中的方法类似，需要注意的是选取样本的问题，正样本为人眼区域图像，而训练负样本则由两部分构成：一部分是除去人眼区域的整幅人脸图像，另一部分是将原图像中人眼区域四周的子窗口图像，用类似的方式可以截取人脸的双眼图像。

2）用同样类似上一步的检测方法，可以获得人脸眉毛，鼻子，嘴巴等局部器官的图像，并将其保存下来。

步骤4：特征降维：本发明采用2DPCA（Two-Dimensional Principal Component Analysis，二维主成分分析）的方法。和传统的PCA不同，2DPCA方法无需将图像转化为一个行向量，而是直接将图像A看作是一个m×n的矩阵，通过如下的线性变换：

Y=AX   （7）将A投影至X上（X为一个n维单位的列向量），使得投影后样本的总分散度最大。我们通过如下的方法来确定投影方向X。

具体的实现方式如下：

1）投影后样本总散度可以采用协方差矩阵的迹来描述：

定义如下的准则函数：

J(X)=tr(S)   （8）

tr(S)表示矩阵S的迹，S表示投影后训练样本特征向量的协方差矩阵，其定义为：S=E(Y-E(Y))(Y-E(Y))^T=E[AX-E(AX)][AX-E(AX)]^T=E[(A-E(A))X][(A-E(A))X]^T   （9）

J(X)取得最大值的物理意义是找到投影方向X，使得所有样本在此方向上投影后，总散度最大，以便于进一步分类。

由（9），矩阵的迹可以表示为：

tr(S)=X^T[E(A-E(A))^T(A-E(A))]X   （10）

定义矩阵G：

G=E[(A-E(A))^T(A-E(A))]   （11）

G为图像的协方差（散度）矩阵，G是一个n×n的非负正定矩阵，可以用训练样本图像来直接估计，设共有M幅训练样本图像，第j幅图像用m×n的矩阵A_j(j=1,2,…，M)来表示，所有训练样本的平均图象由

表示，这样，可用下式估计G:

$G=\frac{1}{M}\underset{j=1}{\overset{M}{\mathrm{\&Sigma;}}}{(A_j-\stackrel{\&OverBar;}{A})}^T(A_j-\stackrel{\&OverBar;}{A})---\left(12\right)$

2）求矩阵G的特征值和特征向量，其最大特征值所对应特征向量的方向X_opt即为最佳投影方向。然而在实际应用中，只取一个最优投影方向的分类鉴别能力不够，通常情况下会选择相互正交且极大化准则函数的一组投影向量X₁,X₂...X_d，事实上，这里的投影方向X₁,X₂...X_d，就是G的前d个的最大特征值对应的特征向量。

3）已经求得2DPCA的最优投影向量X₁,X₂...X_d用于特征提取，我们就可以对任意图像进行2DPCA处理。

对于一个给定的样本图像A_m×n，

令Y_k=AX_k,k=1,2,...,d   (13)

这里的X_k(k=1,2,...d)为之前求得的得到的G的前d个的最大特征值对应的特征向量。而Y_k(k=1,2,...d)为样本图像A在X_k(k=1,2...d)方向投影后得到的特征向量组。被称为样本图像A的主成分向量。

4）获得的主成分向量被用来构成一个m×d的矩阵，即U=[Y₁,Y₂,...Y_d]，这就是样本图像A的特征矩阵或称为特征图像。

步骤5：模式分类：本发明采用2DLDA（Two-Dimensional Linear Discrimination Analysis，二维线性判别分析）方法：

假设所有样本图像经过2DPCA处理后，训练样本图像集为A’，其中A_j'表示第j个大小为m'×n'的训练样本图像，N为训练样本图像总数。N_i表示属于第c_i(i=1,2)类样本的个数，2DLDA就是寻找一最优的投影向量X'，样本图像在此方向上投影后，使得类内距离尽可能小，而类间距离尽可能的大，也就是使得下式定义的fisher准则最大：

$Q\left(X^{\&prime;}\right)=\frac{X^{\&prime;T}{S}_B{X}^{\&prime;}}{X^{\&prime;T}{S}_W{X}^{\&prime;}}---\left(14\right)$

式中：S_B,S_w分别表示类间离散度和类内离散度矩阵，具体求解步骤如下：

1）先求类间离散度矩阵和类内离散度矩阵，如下定义：

$S_B=\frac{1}{N}\underset{i=1}{\overset{c}{\mathrm{\&Sigma;}}}{(\stackrel{\&OverBar;}{A_i^{\&prime;}}-\stackrel{\&OverBar;}{A^{\&prime;}})}^T(\stackrel{\&OverBar;}{A_i^{\&prime;}}-\stackrel{\&OverBar;}{A^{\&prime;}})---\left(15\right)$

$S_W=\frac{1}{N}\underset{i=1}{\overset{c}{\mathrm{\&Sigma;}}}\underset{j\&Element;c_i}{\mathrm{\&Sigma;}}{(A_j^{\&prime;}-\stackrel{\&OverBar;}{A_i^{\&prime;}})}^T(A_j^{\&prime;}-\stackrel{\&OverBar;}{A_i^{\&prime;}})---\left(16\right)$

在这里，c表示类别数c=2,、

分别表示第c_i类训练样本图像和总的训练样本图像的均值， $\stackrel{\&OverBar;}{A_i^{\&prime;}}=\frac{1}{N_i}\underset{j\&Element;c_i}{\mathrm{\&Sigma;}}{A}_j^{\&prime;},$ $\stackrel{\&OverBar;}{A^{\&prime;}}=\frac{1}{N}\underset{i=1}{\overset{c}{\mathrm{\&Sigma;}}}\underset{j\&Element;c_i}{\mathrm{\&Sigma;}}{A}_j^{\&prime;};$

2）如前所述，2DLDA的目的就是寻找使Q(X')最大的最优投影方向X'。事实上，该最优投影方向就是S_W ^-1S_B的最大特征值所对应的特征向量。因此，在这一步中，我们要计算S_W ^-1S_B的特征值以及特征向量，并且得到S_W ^-1S_B的最大值对应的特征向量X_opt'。

3）将两类训练样本的均值矩阵，分别做X上的投影，即：

$V_1\stackrel{\&OverBar;}{{A_1}^{\&prime;}}{X_{\mathrm{opt}}}^{\&prime;};V_2=\stackrel{\&OverBar;}{{A_2}^{\&prime;}}{X_{\mathrm{opt}}}^{\&prime;}---\left(17\right)$

4）对测试样本进行分类，假设未知样本为A_test'，先做A_test'在X_opt'方向上的投影,得到：V_test=A_test'X_opt'，任意两个投影后的向量V_i,V_j之间的欧氏距离定义为：

D_i,j=||V_i-V_j||₂   （18）

由此计算V_test,和V₁,V₂之间的欧氏距离D_1,test,D_2,test，

若D_1,test>D_2,test，则V_test属于2类；若D_1,test<D_2,test，则V_test属于1类。

步骤6：五官贡献权重大小的确定以及融合：具体实现如下：

1）将训练样本随机的分为N个部分，每次取其中1个部分为测试样本，其余作为训练样本进行训练，进行N次交叉验证，每个分类器的准确率为N次的平均值。执行步骤2和步骤3，获得的人脸整体图像，以及人脸的左右眼，眉毛，鼻子，嘴巴等五官信息；利用步骤4进行特征提取和降维；然后利用步骤5训练六个子分类器，分别利用这六个部分（人脸全部，左眼，右眼，眉毛，鼻子，嘴巴）进行识别分类，通过交叉验证，获得每个子分类器的准确率P_i(i=1,2,...6)，初步确定每个子分类器的权重：

2）假设单个子分类器的输出为h(i)，(h(i)=1或h(i)=-1)，此时融合后的分类器的判决式为 $E=\mathrm{sgn}\left(\underset{i=1}{\overset{6}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{i}h\left(i\right)\right);$

3）对新融合后的分类器进行交叉验证测试，并与之前单独的分类器的准确率进行比较，假设新融合后的分类器的准确率为P_new，若P_new均大于P_i(i=1,2...6)，则权重为之前的分类器权重，若P_new<P_i(i=1,2...6)，则加大P_i的权重，然后重复步骤2），重新测试，直到P_new均大于P_i(i=1,2...6)为止。

本发明方法的基本流程如图1所示。

Claims (3)

1.一种基于人脸图像的性别识别方法，其特征在于，包括以下步骤：

步骤A、对测试图像进行人脸检测；

步骤B、对检测得到的人脸图像进行至少一个局部器官的检测，得到至少一个局部器官图像；

步骤C、分别提取所述人脸图像及各局部器官图像的2DPCA特征；然后分别根据人脸图像的2DPCA特征及各局部器官图像的2DPCA特征，利用2DLDA方法进行性别分类，得到人脸图像的性别分类结果以及各局部器官图像的性别分类结果；

步骤D、按照以下公式对人脸图像的性别分类结果以及各局部器官图像的性别分类结果进行融合，得到最终的性别识别结果                                                ：

  ，

式中，为待融合的所有性别分类结果的总数；

为第i个待融合的性别分类结果；

为第i个待融合的性别分类结果的权重，按照以下方法预先训练得到：

1）对

个待融合性别分类结果所对应的子分类器分别进行训练，得到各子分类器的分类准确率；初步设定各子分类器的权重

；

2）根据

得到融合分类器；

3）对融合分类器进行交叉验证测试，并与各子分类器的准确率进行比较，假设融合分类器的准确率为，若均大于

，则训练完成，各子分类器的权重为当前的子分类器权重；若

<

，则加大

的权重，然后重复步骤2），直到

均大于

为止。

2.如权利要求1所述基于人脸图像的性别识别方法，其特征在于，在对测试图像进行人脸检测前，先对测试图像进行预处理，所述预处理具体为对测试图像依次进行灰度化、直方图均衡化以及中值滤波处理。

3.如权利要求2所述基于人脸图像的性别识别方法，其特征在于，所述人脸检测和局部器官检测均通过由AdaBoost 学习算法训练得到的分类器实现。

Images