CN102314592A - 一种笑脸图像的识别方法和识别装置 - Google Patents

Abstract

本发明提供一种笑脸图像的识别方法和识别装置，其中识别方法包括：步骤一，对输入图像进行人脸检测，确定体现人脸特征的区域；步骤二，在所述区域规划出N个互相嵌套的积分区域，第i+1个积分区域是在第i个积分区域的基础上增加预定步长的面积而得到，第N个积分区域为整个所述体现人脸特征的区域；步骤三，对每个积分区域进行横向积分投影，获得投影向量和峰谷点，所有投影向量和峰谷点组成特征向量；步骤四，根据预置的由样本图像的特征向量训练的预置分类器对所述输入图像的特征向量进行分类，确定所述输入图像是否为笑脸图像。本发明能够快速准确的进行笑脸识别，解决现有技术不能快速准确的捕获和检索笑脸图像的技术问题。

Description

一种笑脸图像的识别方法和识别装置

技术领域

本发明涉及图像处理技术，特别是涉及一种笑脸图像的识别方法和识别装置。

背景技术

目前，数码摄像机、数码相机以及摄像头等数码图像设备的应用越来越多。人们在利用这些设备拍摄图像时，往往希望拍摄到的图像中的人脸具有较好的面部表情，例如微笑表情等。而在实际拍摄过程中，由于拍摄时机、拍摄速度等客观因素的关系，可能无法拍摄到笑脸，特别是对儿童进行拍摄时，由于儿童很难长时间维持笑的表情，因而往往无法拍摄到儿童的笑脸。

针对以上情况的应用需求，要求摄像设备可以在检测到笑脸时快速地自动拍摄，从而获得合适的笑脸图像。这就需要在摄像设备上应用能够快速识别笑脸的笑脸识别技术，同时，笑脸识别还可以用于图像内容分析和检索等应用范围。

但是，目前常用的笑脸识别技术通常是进行牙齿检测，检测到牙齿的就认为是笑脸，这种方法识别出的是露出牙齿的脸，而不是真正的笑脸。此外，目前常见的笑脸识别方法通常识别速度很慢、识别率低，往往需要使用者摆好表情一段时间之后才能识别出来。因此，如何提供一种快速准确的笑脸识别方法，是有待解决的技术问题。

发明内容

本发明的目的是提供一种笑脸图像的识别方法和识别装置，能够快速准确的进行笑脸识别，解决现有技术不能快速准确的捕获和检索笑脸图像的技术问题。

为了实现上述目的，一方面，提供了一种笑脸图像的识别方法，包括：

步骤一，对输入图像进行人脸检测，确定所述输入图像中的体现人脸特征的区域；

步骤二，在所述体现人脸特征的区域规划出N个互相嵌套的积分区域，第i+1个积分区域是在第i个积分区域的基础上增加预定步长的面积而得到，1≤i＜N，第N个积分区域为整个所述体现人脸特征的区域；

步骤三，对每个积分区域进行横向积分投影，获得每个积分区域的投影向量和峰谷点，所有积分区域的投影向量和峰谷点组成所述输入图像的特征向量；

步骤四，根据预置的由样本图像的特征向量训练的预置分类器对所述输入图像的特征向量进行分类，根据分类结果确定所述输入图像是否为笑脸图像。

优选地，上述的方法中，所述体现人脸特征的区域为人脸区域或嘴部区域。

优选地，上述的方法中，所述体现人脸特征的区域为人脸区域和嘴部区域；

所述人脸区域被规划出N个互相嵌套的人脸积分区域，所述嘴部区域被规划出N个互相嵌套的嘴部积分区域；

所述特征向量包括所有人脸积分区域的投影向量和峰谷点以及所有嘴部积分区域的投影向量和峰谷点。

优选地，上述的方法中，所述步骤四中，根据分类结果确定所述输入图像是否为笑脸图像具体包括：如果所述输入图像的特征向量被分入到笑脸图像样本的类别，则所述输入图像为笑脸图像，否则所述输入图像为非笑脸图像。

为了实现上述目的，本发明实施例还提供了一种笑脸图像的识别装置，包括：

人脸检测模块，用于：对输入图像进行人脸检测，确定所述输入图像中的体现人脸特征的区域；

分区模块，用于：在所述体现人脸特征的区域规划出N个互相嵌套的积分区域，第i+1个积分区域是在第i个积分区域的基础上增加预定步长的面积而得到，1≤i＜N，第N个积分区域为整个所述体现人脸特征的区域；

特征向量模块，用于：对每个积分区域进行横向积分投影，获得每个积分区域的投影向量和峰谷点，所有积分区域的投影向量和峰谷点组成所述输入图像的特征向量；

判断模块，用于：根据预置的由样本图像的特征向量训练的预置分类器对所述输入图像的特征向量进行分类，根据分类结果确定所述输入图像是否为笑脸图像。

优选地，上述的识别装置中，所述体现人脸特征的区域为人脸区域或嘴部区域。

优选地，上述的识别装置中，所述体现人脸特征的区域为人脸区域和嘴部区域；

所述分区模块具体用于：将所述人脸区域被规划出N个互相嵌套的人脸积分区域，将所述嘴部区域被规划出N个互相嵌套的嘴部积分区域；

所述特征向量模块具体用于：使所述特征向量包括所有人脸积分区域的投影向量和峰谷点以及所有嘴部积分区域的投影向量和峰谷点。

优选地，上述的识别装置中，所述判断模块中还包括预置分类器单元，用于：

将所述样本图像的特征向量作为弱特征向量，输入给AdaBoost分类器；所述AdaBoost分类器根据所述弱特征向量通过训练生成强分类器，所述强分类器作为所述预置分类器；或者，利用所述AdaBoost分类器从所述样本图像的特征向量中选取有效特征生成新特征向量，然后利用支持向量机SVM进行特征向量的分类生成所述预置分类器。

优选地，上述的识别装置中，所述特征向量模块，还用于通过如下公式计算所述峰谷点中的波峰值：

$\underset{j=1}{\overset{N1}{\mathrm{\Σ}}}(2*Y\left(i\right)-Y(i-j)-Y(i+j))>\mathrm{thresh}1$

其中N1、thresh1为预设值，Y(i)为第i行的横向积分投影值；

通过如下公式计算所述峰谷点中的波谷值：

$\underset{j=1}{\overset{N2}{\mathrm{\&Sigma;}}}(2*Y\left(i\right)-Y(i-j)-Y(i+j))<\mathrm{thresh}2$

其中N2、thresh2为预设值。

本发明实施例存在以下技术效果：

1)本发明实施例基于积分投影和分类器进行笑脸识别，通过积分投影来计算特征向量非常迅速、快捷，分类器为提前训练好预置分类器，通过预置分类器对输入图像的特征向量进行分类不但准确而且快捷，所以本发明实施例能够快速准确的确定输入图像是否为笑脸图像。

2)本发明实施例通过预置公式提取峰谷值，该预置公式可以有效去除毛刺的影响，同时对于缓慢变化的区域也有良好的提取效果。

3)本发明实施例应用于数码相机、摄像头等图像获取设备上，可以快速的判断出输入图像是否为笑脸图像，从而使设备可以迅速捕捉拍摄到笑脸图像，并且能够在大量图像中迅速检索出笑脸图像。

附图说明

图1为本发明实施例提供的识别方法的步骤流程图；

图2为本发明实施例提供的识别方法的详细步骤的流程图；

图3为本发明实施例提供的对人脸区域进行分区的示意图；

图4为本发明实施例提供的识别装置的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对具体实施例进行详细描述。

图1为本发明实施例提供的识别方法的步骤流程图，如图1所示，笑脸图像的识别方法，包括：

步骤101，对输入图像进行人脸检测，确定所述输入图像中的体现人脸特征的区域；

步骤102，在所述体现人脸特征的区域规划出N个互相嵌套的积分区域，第i+1个积分区域是在第i个积分区域的基础上增加预定步长的面积而得到，1≤i＜N，第N个积分区域为整个所述体现人脸特征的区域；

步骤103，对每个积分区域进行横向积分投影，获得每个积分区域的投影向量和峰谷点，所有积分区域的投影向量和峰谷点组成所述输入图像的特征向量；

步骤104，根据预置的由样本图像的特征向量训练的预置分类器对所述输入图像的特征向量进行分类，根据分类结果确定所述输入图像是否为笑脸图像。

其中，所述体现人脸特征的区域为人脸区域或嘴部区域。

或者，所述体现人脸特征的区域为人脸区域和嘴部区域；所述人脸区域被规划出N个互相嵌套的人脸积分区域，所述嘴部区域被规划出N个互相嵌套的嘴部积分区域；所述特征向量包括所有人脸积分区域的投影向量和峰谷点以及所有嘴部积分区域的投影向量和峰谷点。

所述步骤104中，根据分类结果确定所述输入图像是否为笑脸图像具体包括：如果所述输入图像的特征向量被分入到笑脸图像样本的类别，则所述输入图像为笑脸图像，否则所述输入图像不为笑脸图像。

可见，本发明实施例提出一种基于积分投影和分类器的笑脸识别方法，该方法先对图像进行人脸检测，确定图像中存在的人脸区域，然后按照预定规则进行分区，对各分区进行横向积分投影，获得输入图像的特征向量，再利用已经根据已知的特征向量样本训练好的预置分类器对输入图像的特征向量进行判断，从而快速准确的确定输入图像是否为笑脸图像。

图2为本发明实施例提供的识别方法的详细步骤的流程图；如图所示，

方案的实施共分为四个步骤，下面分别进行描述。

(一)人脸检测和嘴巴定位

人脸检测是从图像中获得图像中人脸的位置、大小等，目前常用的人脸检测方法是基于AdaBoost(是一种迭代算法，其核心思想是针对给定的训练集训练不同的弱分类器，然后把这些弱分类器集合起来，构成一个更强的最终分类器)的人脸检测方法。属于已有技术，这里不再详细描述。

如果图像中存在人脸，通过人脸检测得到人脸区域的个数、位置、尺寸等。如果图像中不存在人脸，则人脸检测模块给出不存在人脸的标志。

由于嘴巴是反映表情变化的主要部件，因此，通过人脸检测得到人脸区域后，可以进一步定位嘴巴，并分割出嘴巴区域。

(二)横向积分投影

图像中某一行的横向积分是计算图像该行中所有像素的亮度和。图像中所有行的横向积分构成一个向量，成为横向积分投影向量。将此向量中的值一柱状图的形式显示出来，成为横向积分投影图，其端点构成的曲线称为横向积分投影曲线。

对于宽度为w，高度为h的图像I，其亮度为I(i，j)，其第i行的横向积分投影值为：

$Y\left(i\right)=\underset{j=1}{\overset{w}{\mathrm{\&Sigma;}}}I(i,j),$ i∈[1，h]        (1)

上式是横向积分投影曲线的定义。

在人脸图像中，人脸的各个面部器官是按照一定顺序排列的，如从上到下的排列分别是眉、眼、鼻、嘴巴、下巴等。如果人脸是正的，也就是两个眼睛的高度相同，进行人脸区域的横向积分投影，人脸的许多信息可以在积分投影曲线上表现出来。

积分投影曲线上的峰谷点分别对应了人脸具体部件。由于表情的变化是通过人脸部件的变化表示的，因此，表情的变化会引起人脸区域的横向积分投影曲线的变化。笑脸的积分投影曲线和非笑脸的积分投影曲线存在一定差异。为了比较不同人脸的积分投影曲线的差异，需要进行积分投影曲线的对准，因此可以通过投影曲线的峰谷值的匹配，确定某些特殊的峰谷值点，并利用这些峰谷值点进行对准。如确定眼睛、鼻子等部件对应的峰谷值点，并利用眼鼻的间距进行对准，或是确定其他峰谷值点对应的物理意义。笑脸和非笑脸的积分投影曲线存在较大差异，尤其是嘴部区域。对于露出牙齿的笑容，其嘴部区域的投影曲线变化更明显。

(三)特征向量形成

不同人的笑容引起的积分投影曲线的变化情况是不同的；不同的笑的程度引起的积分投影曲线的变化情况也是不同的。为了有效区分笑与不笑，可以在进行笑脸图像的识别流程之前，预先构建一个笑脸分类器。这里，将积分投影向量作为待分类的数据。为了尽量在分类的数据中保留原图像的表情相关的信息，可以用多个积分投影向量及其峰谷点信息共同构成表情的特征向量。

图3显示了分区的方案。以人脸区域的中心线为中心，向两侧以某个长度为步长，计算此区域的横向积分投影向量，并计算此投影向量的峰谷点，联合起来，作为特征向量的组成元素。其中步长是可变的。图3中虚线为人脸区域中心线，

区域301、302为积分区域1，区域301、302、303、304构成积分区域2，区域301、302、303、304、305、306构成积分区域3。实际应用中分区的个数不小于1。对各个积分区域分别进行横向积分投影，并计算积分投影的峰谷点。对嘴巴区域也进行相同的计算，得到多个投影向量和峰谷点。特征向量的构成如下：

特征向量＝[积分区域1积分向量，积分区域1峰谷点，积分区域2积分向量，积分区域2峰谷点，...，嘴巴区域1积分向量，嘴巴区域1峰谷点，嘴巴区域2积分向量，嘴巴区域2峰谷点，...]

其中，人脸区域和嘴巴区域的分区个数可以不同，步长也可以不同。

积分投影曲线的峰谷值点的计算方法如下，满足式(2)的为可能的峰值点，其中N1、thresh1为预设值；满足式(3)的为可能的谷值点，其中N2、thresh2为预设值。利用这种方法提取的峰谷值可以有效去除毛刺的影响，同时对于缓慢变化的区域也有良好的提取效果。得到可能峰谷值点后，需要将位置非常相近的峰谷值点分别进行合并，因为他们表示了同一个峰或谷。

$\underset{j=1}{\overset{N1}{\mathrm{\&Sigma;}}}(2*Y\left(i\right)-Y(i-j)-Y(i+j))>\mathrm{thresh}1---\left(2\right)$

$\underset{j=1}{\overset{N2}{\mathrm{\&Sigma;}}}(2*Y\left(i\right)-Y(i-j)-Y(i+j))<\mathrm{thresh}2---\left(3\right)$

为使得到的特征向量的不同元素之间具有可比性，也可以对特征向量的不同组成部分分别进行归一化后再合并为一个特征向量。

(四)笑脸分类器

得到特征向量后，可以根据训练样本构建分类器。一种有效的方法是将此特征向量作为弱特征向量，输入给AdaBoost分类器。通过训练，AdaBoost从此弱特征向量中选择合适的特征构成强分类器。也可以利用AdaBoost从此特征向量中挑选有效的特征构成新的特征向量，然后利用SVM(支持向量机)进行特征向量的分类。

另外，本发明实施例中，人脸区域和嘴巴区域不需要同时存在，即只要有其一即可完成笑脸识别；另外，分区的个数不小于1即可，分区个数为1时即对全区域进行投影；由于每个投影曲线的峰谷点个数可能不同，为了对齐，可是设定峰谷点的最大个数，不足的，可以用0补齐。

图4为本发明实施例提供的识别装置的结构图，如图所示，笑脸图像的识别装置包括：

人脸检测模块401，用于：对输入图像进行人脸检测，确定所述输入图像中的体现人脸特征的区域；

分区模块402，用于：在所述体现人脸特征的区域规划出N个互相嵌套的积分区域，第i+1个积分区域是在第i个积分区域的基础上增加预定步长的面积而得到，1≤i＜N，第N个积分区域为整个所述体现人脸特征的区域；

特征向量模块403，用于：对每个积分区域进行横向积分投影，获得每个积分区域的投影向量和峰谷点，所有积分区域的投影向量和峰谷点组成所述输入图像的特征向量；

判断模块404，用于：根据预置的由样本图像的特征向量训练的预置分类器对所述输入图像的特征向量进行分类，根据分类结果确定所述输入图像是否为笑脸图像。

其中，所述体现人脸特征的区域为人脸区域和嘴部区域；所述分区模块具体用于：将所述人脸区域被规划出N个互相嵌套的人脸积分区域，将所述嘴部区域被规划出N个互相嵌套的嘴部积分区域；所述特征向量模块具体用于：使所述特征向量包括所有人脸积分区域的投影向量和峰谷点以及所有嘴部积分区域的投影向量和峰谷点。

所述判断模块中还包括预置分类器单元，用于：将所述样本图像的特征向量作为弱特征向量，输入给AdaBoost分类器；所述AdaBoost分类器根据所述弱特征向量通过训练生成强分类器，所述强分类器作为所述预置分类器；或者，利用所述AdaBoost分类器从所述样本图像的特征向量中选取有效特征生成新特征向量，然后利用支持向量机SVM进行特征向量的分类生成所述预置分类器。

所述特征向量模块，还用于通过如下公式计算所述峰谷点中的波峰值：

$\underset{j=1}{\overset{N1}{\mathrm{\&Sigma;}}}(2*Y\left(i\right)-Y(i-j)-Y(i+j))>\mathrm{thresh}1$

其中N1、thresh1为预设值，Y(i)为第i行的横向积分投影值；

通过如下公式计算所述峰谷点中的波谷值：

$\underset{j=1}{\overset{N2}{\mathrm{\&Sigma;}}}(2*Y\left(i\right)-Y(i-j)-Y(i+j))<\mathrm{thresh}2$

其中N2、thresh2为预设值。

由上可知，本发明实施例具有以下优势：

1)本发明实施例基于积分投影和分类器进行笑脸识别，通过积分投影来计算特征向量非常迅速、快捷，分类器为提前训练好预置分类器，通过预置分类器对输入图像的特征向量进行分类不但准确而且快捷，所以本发明实施例能够快速准确的确定输入图像是否为笑脸图像。

2)本发明实施例通过预置公式提取峰谷值，该预置公式可以有效去除毛刺的影响，同时对于缓慢变化的区域也有良好的提取效果。

3)本发明实施例应用于数码相机、摄像头等图像获取设备上，可以快速的判断出输入图像是否为笑脸图像，从而使设备可以迅速捕捉拍摄到笑脸图像，并且能够在大量图像中迅速检索出笑脸图像。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种笑脸图像的识别方法，其特征在于，包括：

步骤一，对输入图像进行人脸检测，确定所述输入图像中的体现人脸特征的区域；

步骤二，在所述体现人脸特征的区域规划出N个互相嵌套的积分区域，第i+1个积分区域是在第i个积分区域的基础上增加预定步长的面积而得到，1≤i＜N，第N个积分区域为整个所述体现人脸特征的区域；

步骤三，对每个积分区域进行横向积分投影，获得每个积分区域的投影向量和峰谷点，所有积分区域的投影向量和峰谷点组成所述输入图像的特征向量；

步骤四，根据预置的由样本图像的特征向量训练的预置分类器对所述输入图像的特征向量进行分类，根据分类结果确定所述输入图像是否为笑脸图像。

2.根据权利要求1所述的识别方法，其特征在于，所述体现人脸特征的区域为人脸区域或嘴部区域。

3.根据权利要求1所述的识别方法，其特征在于，所述体现人脸特征的区域为人脸区域和嘴部区域；

所述人脸区域被规划出N个互相嵌套的人脸积分区域，所述嘴部区域被规划出N个互相嵌套的嘴部积分区域；

所述特征向量包括所有人脸积分区域的投影向量和峰谷点以及所有嘴部积分区域的投影向量和峰谷点。

4.根据权利要求1所述的识别方法，其特征在于，所述步骤四中，根据分类结果确定所述输入图像是否为笑脸图像具体包括：如果所述输入图像的特征向量被分入到笑脸图像样本的类别，则所述输入图像为笑脸图像，否则所述输入图像为非笑脸图像。

5.一种笑脸图像的识别装置，其特征在于，包括：

人脸检测模块，用于：对输入图像进行人脸检测，确定所述输入图像中的体现人脸特征的区域；

分区模块，用于：在所述体现人脸特征的区域规划出N个互相嵌套的积分区域，第i+1个积分区域是在第i个积分区域的基础上增加预定步长的面积而得到，1≤i＜N，第N个积分区域为整个所述体现人脸特征的区域；

特征向量模块，用于：对每个积分区域进行横向积分投影，获得每个积分区域的投影向量和峰谷点，所有积分区域的投影向量和峰谷点组成所述输入图像的特征向量；

判断模块，用于：根据预置的由样本图像的特征向量训练的预置分类器对所述输入图像的特征向量进行分类，根据分类结果确定所述输入图像是否为笑脸图像。

6.根据权利要求5所述的识别装置，其特征在于，所述体现人脸特征的区域为人脸区域或嘴部区域。

7.根据权利要求5所述的识别装置，其特征在于，所述体现人脸特征的区域为人脸区域和嘴部区域；

所述分区模块具体用于：将所述人脸区域被规划出N个互相嵌套的人脸积分区域，将所述嘴部区域被规划出N个互相嵌套的嘴部积分区域；

所述特征向量模块具体用于：使所述特征向量包括所有人脸积分区域的投影向量和峰谷点以及所有嘴部积分区域的投影向量和峰谷点。

8.根据权利要求5所述的识别装置，其特征在于，所述判断模块中还包括预置分类器单元，用于：

将所述样本图像的特征向量作为弱特征向量，输入给AdaBoost分类器；所述AdaBoost分类器根据所述弱特征向量通过训练生成强分类器，所述强分类器作为所述预置分类器；或者，利用所述AdaBoost分类器从所述样本图像的特征向量中选取有效特征生成新特征向量，然后利用支持向量机SVM进行特征向量的分类生成所述预置分类器。

9.根据权利要求5所述的识别装置，其特征在于，所述特征向量模块，还用于通过如下公式计算所述峰谷点中的波峰值：

$\underset{j=1}{\overset{N1}{\mathrm{\&Sigma;}}}(2*Y\left(i\right)-Y(i-j)-Y(i+j))>\mathrm{thresh}1$

其中N1、thresh1为预设值，Y(i)为第i行的横向积分投影值；

通过如下公式计算所述峰谷点中的波谷值：

$\underset{j=1}{\overset{N2}{\mathrm{\&Sigma;}}}(2*Y\left(i\right)-Y(i-j)-Y(i+j))<\mathrm{thresh}2$

其中N2、thresh2为预设值。

Images