CN103971106A - 多视角人脸图像性别识别方法及装置 - Google Patents

Abstract

本发明公开了一种多视角人脸图像性别识别方法及装置，其中，上述方法包括：分类器匹配步骤以及人脸图像性别识别步骤；所述“分类器匹配”包括如下步骤：S11、从人脸图像库中获取多个样本人脸图像；S12、提取所有样本人脸图像的样本特征，并根据样本特征模糊匹配第一类分类器；S13、利用第一类分类器对样本特征进行测试并筛选出目标特征，并根据目标特征精确匹配第二类分类器，所述“人脸图像性别识别”包括如下步骤：S21、采集含有待测人脸的目标特征的视频图像；S22、提取待测人脸的目标特征；S23、利用第二类分类器对目标特征进行处理并识别人脸性别。本发明能够提高不同视角采集的人脸图像识别率。

Description

多视角人脸图像性别识别方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及多视角人脸图像性别识别方法及装置。

背景技术

现有技术视频图像中性别识别仅能做到对正面人脸的识别，而且只能识别其中某一人种。当前性别识别的技术主要包括两个方面，一方面是特征提取方法，另一方面是分类算法。

特征提取方法包括全局特征提取和局部特征提取。全局特征能够反映图像的整体构成，通过对图像整体进行分析达到全局优化的目的。提取全局特征的方法包括子空间分析法，整体特征提取法等。全局特征主要是人脸整体统计信息，以PCA、LDA、ICA等方法为主。全局特征提取方法虽然能够较好地描述图像整体信息，但不能详细分析图像局部信息，而图像模式识别所研究的问题，多以局部差异分析为重点，所以局部特征提取方法的研究更加广泛，在性别识别领域表现较好的局部特征提取方法包括主动外观模型，类Harr特征，LBP特征等。主动外观模型通过对形状模型信息和纹理模型信息进行统计分析，利用两者的特征信息建立外观模型类Harr基特征，其本质思想就是在梯度范围内对像素的分布进行分析，突出不同区域内的边缘、线性和主方向信息。局部二值模式方法(LBP)，是以灰度像素的邻域像素为研究对象，通过与中心像素的值进行比较，采用二进制编码标注，所得编码即为局部二值编码，再对一定区域内的局部二值编码进行直方图统计，获得图像的局部二值模式。

分类算法包括神经网络算法以及AdaBoost算法。神经网络(BP)算法由正向传播和反向传播两种方式组成，正向传播得到的数值与期望数值不一致时，通过误差按反向传播路径作用，由梯度下降算法再次进行前一网络结构的权值和阈值分配，逐渐调整至输出数值与期望数值一致。AdaBoost算法在对测试样本进行测试时，相当于T个弱分类器依次进行投票表决，获得最终测试结果。随后又将部分弱分类器级联成多个强分类器，再将多个强分类器进行级联，组成瀑布型分类器。测试时，以一个样本属性为主，全部通过瀑布型分类器的样本，即为主样本属性。这种结构本质上是一种退化的决策树，后面的强分类器需要作出更为复杂的决策，在处理主次分明的信息时，存在一定的误检率，不会对最终结果产生太大的影响，但是对于性别识别的二分类问题，男性属性和女性属性的重要程度是一样的，如果前面决策失误，那将会对最终的识别结果造成重大影响。

发明内容

本发明所要解决的技术问题是：提供一种能够提高不同视角采集的人脸图像识别率，同时提高识别速率的多视角人脸图像性别识别方法及装置。

为了解决上述技术问题，本发明采用的技术方案为：提供一种多视角人脸图像性别识别方法，包括：分类器匹配步骤以及人脸图像性别识别步骤；

所述“分类器匹配”包括如下步骤：

S11、从人脸图像库中获取多个样本人脸图像，所述样本人脸图像包括多视角采集的人脸图像；

S12、提取所有样本人脸图像的样本特征，并根据样本特征模糊匹配第一类分类器；

S13、利用第一类分类器对样本特征进行测试并筛选出目标特征，并根据目标特征精确匹配第二类分类器，所述第二类分类器为第一类分类器的子集；

所述“人脸图像性别识别”包括如下步骤：

S21、采集含有待测人脸的目标特征的视频图像；

S22、提取待测人脸的目标特征；

S23、利用第二类分类器对目标特征进行处理并识别人脸性别。

为了解决上述技术问题，本发明采用的技术方案为：提供一种多视角人脸图像性别识别装置，包括顺次电连接的图像采集模块、目标特征提取模块以及分类器训练模块；所述图像采集模块，用于采集视频图像，所述视频图像中含有待测人脸的目标特征；所述目标特征提取模块，用于提取待测人脸的目标特征；所述分类器训练模块，用于利用第二类分类器对目标特征进行处理并识别人脸性别；所述分类器训练模块包括顺次电连接的图像获取单元、样本特征提取单元及分类器训练单元，所述图像获取单元，用于从人脸图像库中获取多个样本人脸图像，所述样本人脸图像为多视角采集人脸图像；所述样本特征提取单元，提取所有样本人脸图像的样本特征，并根据样本特征模糊匹配第一类分类器；所述分类器训练单元，利用第一类分类器对样本特征进行测试并筛选出目标特征，并根据目标特征精确匹配第二类分类器。

本发明的有益效果在于：本发明多视角人脸性别识别方法，一方面通过获取图像库中的不同视角拍摄的样本人脸图像并根据样本人脸图像的样本特征选择第一类分类器，利用第一分类器对样本特征进行筛选得到目标特征，并根据目标特征选择第二类分类器，能够获取不同视角的人脸数据；另一方面通过第二类分类器对采集的视频图像中人脸的待测目标特征进行人脸图像性别，能够提高不同视角采集的人脸图像识别率。通过对目标特征的筛选选择第二类分类器能够极大简化计算，提高图像处理效率，减少出错率。

附图说明

图1是本发明多视角人脸图像性别识别方法的流程示意图。

具体实施方式

为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。

本发明最关键的构思在于：本发明通过对不同视角的样本人脸图像中样本特征的处理选择第一类分类器，根据目标特征从第一类分类器中选出第二分类器可以对视频中的人脸图像性别识别，能够提高不同视角采集的人脸图像识别率，同时提高识别速率。

请参阅图1，本发明提供的多视角人脸图像性别识别方法，包括：分类器匹配步骤以及人脸图像性别识别步骤；

所述“分类器匹配”包括如下步骤：

S11、从人脸图像库中获取多个样本人脸图像，所述样本人脸图像为多视角采集人脸图像；

S12、提取所有样本人脸图像的样本特征，并根据样本特征模糊匹配第一类分类器；

S13、利用第一类分类器对样本特征进行测试并筛选出目标特征，并根据目标特征精确匹配第二类分类器，所述第二类分类器为第一类分类器的子集；

所述“人脸图像性别识别”包括如下步骤：

S21、采集视频图像，所述视频图像中含有待测人脸的目标特征；

S22、提取待测人脸的目标特征；

S23、利用第二类分类器对目标特征进行处理并识别人脸性别。

从上述描述可知，本发明的有益效果在于：本发明的有益效果在于：本发明多视角人脸性别识别方法，一方面通过获取图像库中的不同视角拍摄的样本人脸图像并根据样本人脸图像的样本特征选择第一类分类器，利用第一分类器对样本特征进行筛选得到目标特征，并根据目标特征选择第二类分类器，能够获取不同视角的人脸数据；另一方面通过第二类分类器对采集的视频图像中人脸的待测目标特征进行人脸图像性别，能够提高不同视角采集的人脸图像识别率。

进一步的，所述样本人脸图像包括正样本图像以及负样本图像，所述正样本图像包括不同人种、不同年龄的人脸图像，所述负样本图像为类似人脸图像。

进一步的，所述步骤S11之后还包括步骤：S111、对样本人脸图像进行预处理，具体为对样本人脸图像进行小波变换，得到低频人脸图像。小波变换是空间(时间)和频率的局部变换，采用小波变换特征能够有效描述人脸局部信息。该方法通过伸缩和平移等运算功能对函数或信号进行多尺度细化分析，用于人脸识别时考虑了人脸的局部细节，保留了人脸的空间信息，对于细微表情变化不敏感，能够在一定程度上容忍光线和角度的干扰。把图像看作是二维矩阵,用二维小波变换对图像做频域分解，一次小波变换后，图像分解为4个为原来尺寸大小的I/4子带图，低频子带LL1，高频子带水平分量LH2，高频子带垂直分量HL3，高频子带斜边分量HH4。低频子带LL1还可以进一步分解，得到更高分辨率的四个子带。在频谱变化与人脸面貌的关系的研究中，人脸表情发生变化只会影响高频部分；而如果保留低频子带，舍弃高频子带，这样保留下来的就是人脸的结构信息，一方面低频子图像对人脸表情变化不敏感，但同时有区别不同人脸的能力。另一方面，根据小波变换多分辨率的特点，在频带分离的过程中，随着分解尺度的变大，低频子带尺寸会越来越小，通过小波变换分解的低频子图像，存储空间和计算复杂度都降低了。

上述的，目标特征还可以通过基于隐马尔可夫模型(Hidden Markov Model,HMM)的人脸识别方法把面部器官特征和一个状态转移模型联系起来，这种模型既考虑了人脸各器官的不同特征，又考虑了他们的相互关联，比孤立利用各器官的数值特征有概念上的进步，该模型的参数能较好地表征具体人脸模型。该方法鲁棒性较好，对表情、姿态变化不太敏感，对于不同角度的人脸图像和不同光照条件，都能达到满意的识别精度。

进一步的，所述步骤S111之后还包括步骤：S112、对低频人脸图像中样本特征进行检测。该步骤中样本特征为Harr矩形特征，如果矩形特征原型(即最小的矩形特征)的宽为w，高为h，图像的宽为W，高为H，定义：

$X=\frac{W}{w},Y=\frac{H}{h}$

并且规定矩形特征在不同尺度下保持一定的宽高比，那么可以由如下的公式计算出一个矩形特征的个数：

$X\·Y\·(W+1-w\frac{X+1}{2})\·(H+1-h\frac{h+1}{2})$

进一步的，所述第二类分类器为多个第一类分类器的级联连接而成的层叠分类器，依次对待测人脸的目标特征进行处理。每一层都是AdaBoost训练的强分类器。每层的强分类器通过调整域值，使得每一层都能让几乎全部人脸样本通过，而拒绝一大部分非人脸样本。初始阈值为，它能够保证在训练样本上得到一个较低的错误率。容易得到如下结论：如果阈值减小，则此强分类在训练样本上的检测率增高，而误检率也随着增高；如果阈值增加，则此强分类器在训练样本上的检测率将下降，而误检率也随着下降。本文完成的系统的第一层强分类器在适当的阈值下可以利用很少的弱分类器来达到99.9％以上的检测率和低于50％的误检率，也就是拒绝了一半以上的非人脸样本。由于检测系统的前几层使用的矩形特征很少，计算起来非常快，到达后面的分类器时，尽管矩形特征增多了，计算的时间加长，但是由于在实际检测中，能够通过前几层分类器从而真正能引起计算的检测窗口数目己经大大降低，可以被进一步检测的图像变得很少了，所以在检测时的检测速度是很快的。层叠分类器的检测过程类似于决策树，第一层分类器把判决出的“人脸”结果送入第二层分类器继续判决，接着第二层分类器再把判决出“人脸”结果送入第三层，依此类推"任何一层分类器判决出的“非人脸”结果被直接排除，不再进行判决。所以当前层的强分类器面对的都是相对于上一层来讲更难的分类任务，因为能通过前面所有层的样本相对于普通样本来讲是更加难以区分的。具体的弱分类器个数不是事先确定的，要由该层要达到的检测率和误检率共同决定，也与阈值有一定关系。而层数也不是确定的，由此层叠分类器要达到的最终误检率决定。训练出一层强分类器后，训练集将发生变化,正样本全部保留，而负样本则只保留被误检的那些样本，被正确分类的样本不再被使用，这样下一层的分类器就是在前面分类器所得到的分类子空间进行，能够有效的提高检测率和降低误检率。

进一步的，所述第二类分类器基于BP神经网络算法对人脸图像进行性别识别。BP神经网络是一种多层前馈神经网络，是可以把一组样本输入输出做一个非线性优化的过程。一般地，BP神经网络有三层：输入层，隐含层，输出层。BP学习算法的工作流程可以描述为两个过程：即工作信号正向传播和误差信号反向传播。工作信号正向传播：输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元，经过中间隐层单元，传向输出层，在输出端产生输出信号，这是工作信号的正向传播。在信号的向前传递过程中网络的权值是固定不变的，每一层神经元的状态只会影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转入误差信号反向传播。误差信号反向传播：当实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止。

综上所述，本发明提供的通过获取图像库中的不同视角拍摄的样本人脸图像并根据样本人脸图像的样本特征选择第一类分类器，该样本图像经过小波变换处理，对样本人脸图像进行降维处理，减少计算量，利用第一分类器对样本特征进行筛选得到目标特征，并根据目标特征选择第二类分类器，第二类分类器为层叠分类器能够提高人脸图像性别识别效率，第二类分类器对采集的视频图像中人脸的待测目标特征进行人脸图像性别，能够提高不同视角采集的人脸图像识别率；另外，第二类分类器基于BP神经网络算法对性别识别，能够进一步简化运算，并且提高识别效率。

本发明还提供了一种多视角人脸图像性别识别装置，包括顺次电连接的图像采集模块、目标特征提取模块以及分类器训练模块；所述图像采集模块，用于采集视频图像，所述视频图像中含有待测人脸的目标特征；所述目标特征提取模块，用于提取待测人脸的目标特征；所述分类器训练模块，用于利用第二类分类器对目标特征进行处理并识别人脸性别；

所述分类器训练模块包括顺次电连接的图像获取单元、样本特征提取单元及分类器训练单元，所述图像获取单元，用于从人脸图像库中获取多个样本人脸图像，所述样本人脸图像为多视角采集人脸图像；所述样本特征提取单元，提取所有样本人脸图像的样本特征，并根据样本特征模糊匹配第一类分类器；所述分类器训练单元，利用第一类分类器对样本特征进行测试并筛选出目标特征，并根据目标特征精确匹配第二类分类器。

综上所述，本发明提供的一种多视角人脸图像性别识别装置，一则通过获取图像库中的不同视角拍摄的样本人脸图像并根据样本人脸图像的样本特征选择第一类分类器，利用第一分类器对样本特征进行筛选得到目标特征，并根据目标特征选择第二类分类器，能够获取不同视角的人脸数据，另则通过第二类分类器对采集的视频图像中人脸的待测目标特征进行人脸图像性别，能够降低计算的复杂度，提高处理效率，同时还能够提高不同视角采集的人脸图像识别率。

本发明的多视角人脸图像性别识别装置，可以应用于实时监控视频中，可以及时掌握商场或是车站男女比例的分布情况，为商家的决策提供了有利的数据支持。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种多视角人脸图像性别识别方法，其特征在于，包括：分类器匹配步骤以及人脸图像性别识别步骤；

所述“分类器匹配”包括如下步骤：

S11、从人脸图像库中获取多个样本人脸图像，所述样本人脸图像包括多视角采集的人脸图像；

S12、提取所有样本人脸图像的样本特征，并根据样本特征模糊匹配第一类分类器；

S13、利用第一类分类器对样本特征进行测试并筛选出目标特征，并根据目标特征精确匹配第二类分类器，所述第二类分类器为第一类分类器的子集；

所述“人脸图像性别识别”包括如下步骤：

S21、采集含有待测人脸的目标特征的视频图像；

S22、提取待测人脸的目标特征；

S23、利用第二类分类器对目标特征进行处理并识别人脸性别。

2.根据权利要求1所述的多视角人脸图像性别识别方法，其特征在于，所述样本人脸图像包括正样本图像以及负样本图像，所述正样本图像包括不同人种、不同年龄的人脸图像，所述负样本图像为类似人脸图像。

3.根据权利要求1所述的多视角人脸图像性别识别方法，其特征在于，所述步骤S11之后还包括步骤：S111、对样本人脸图像进行预处理，所述预处理包括对样本人脸图像进行小波变换，得到低频人脸图像。

4.根据权利要求3所述的多视角人脸图像性别识别方法，其特征在于，所述步骤S111之后还包括步骤：S112、对低频人脸图像中样本特征进行检测。

5.根据权利要求1所述的多视角人脸图像性别识别方法，其特征在于，所述第二类分类器为多个第一类分类器的级联连接而成，依次对待测人脸的目标特征进行处理。

6.根据权利要求1所述的多视角人脸图像性别识别方法，其特征在于，所述第二类分类器基于BP神经网络算法对人脸图像进行性别识别。

7.一种多视角人脸图像性别识别装置，其特征在于，包括顺次电连接的图像采集模块、目标特征提取模块以及分类器训练模块；

所述图像采集模块，用于采集视频图像，所述视频图像中含有待测人脸的目标特征；

所述目标特征提取模块，用于提取待测人脸的目标特征；

所述分类器训练模块，用于利用第二类分类器对目标特征进行处理并识别人脸性别；

所述分类器训练模块包括顺次电连接的图像获取单元、样本特征提取单元及分类器训练单元，

所述图像获取单元，用于从人脸图像库中获取多个样本人脸图像，所述样本人脸图像为多视角采集人脸图像；

所述样本特征提取单元，提取所有样本人脸图像的样本特征，并根据样本特征模糊匹配第一类分类器；

所述分类器训练单元，利用第一类分类器对样本特征进行测试并筛选出目标特征，并根据目标特征精确匹配第二类分类器。