CN102314611A - 一种笑脸图像的识别方法和识别装置 - Google Patents

Abstract

本发明提供一种笑脸图像的识别方法和识别装置，识别方法包括：对图像进行人脸检测，获得图像中的人脸区域；对所述人脸区域进行横向积分，获得横向积分投影曲线；分析所述横向积分投影曲线中的波峰值和波谷值的分布状况，获得分布结果；将所述分布结果与预设的笑脸图像分布条件进行比对，满足所述分布条件则所述图像为笑脸图像。本发明利用人脸区域的积分投影曲线来识别笑脸，通过波峰波谷的分布分析，能够快速地识别笑脸，解决现有技术不能快速准确的捕获和检索笑脸图像的技术问题。

Description

一种笑脸图像的识别方法和识别装置

技术领域

本发明涉及图像处理技术，特别是涉及一种笑脸图像的识别方法和识别装置。

背景技术

目前，数码摄像机、数码相机以及摄像头等数码图像设备的应用越来越多。人们在利用这些设备拍摄图像时，往往希望拍摄到的图像中的人脸具有较好的面部表情，例如微笑表情等。而在实际拍摄过程中，由于拍摄时机、拍摄速度等客观因素的关系，往往无法拍摄到笑脸，特别是对儿童进行拍摄时，由于儿童很难长时间维持笑的表情，因而往往无法拍摄到儿童的笑脸。

针对以上情况的应用需求，要求摄像设备可以在检测到笑脸时快速地自动拍摄，从而获得合适的笑脸图像。这就需要在摄像设备上应用能够快速识别笑脸的笑脸识别技术，而目前常见的笑脸识别方法通常识别速度很慢、识别率低，往往需要使用者摆好表情一段时间之后才能识别出来，因此，如何提供一种快速准确的笑脸识别方法，是有待解决的技术问题。

发明内容

本发明的目的是提供一种笑脸图像的识别方法和识别装置，能够快速准确的进行笑脸识别，解决现有技术不能快速准确的捕获和检索笑脸图像的技术问题。

为了实现上述目的，一方面，提供了一种笑脸图像的识别方法，包括如下步骤：

对图像进行人脸检测，获得图像中的人脸区域；

对所述人脸区域进行横向积分，获得横向积分投影曲线；

分析所述横向积分投影曲线中的波峰值和波谷值的分布状况，获得分布结果；

将所述分布结果与预设的笑脸图像分布条件进行比对，满足所述分布条件则所述图像为笑脸图像。

优选地，上述的方法中，对所述人脸区域进行横向积分，获得横向积分投影曲线的步骤具体包括：

对所述人脸区域中的每一行都进行该行的亮度值累加，得到横向积分数组，所述数组中的每个元素代表对应行的亮度值累加的亮度和；

以柱状图的形式表示所述数组中的每个元素，获得横向积分投影图；

所述横向积分投影图中，由每个所述柱状图的端点所形成的曲线为所述横向积分投影曲线。

优选地，上述的方法中，所述分布条件为：

波峰个数大于预设的波峰门限值；和/或，波谷个数大于预设的波谷门限值；和/或，包含有牙齿图像产生的波峰值。

优选地，上述的方法中，所述分布结果为所述人脸区域的所有波峰值和波谷值的大小和分布位置；或者，所述分布结果为所述人脸区域中的嘴部区域的波峰值和波谷值的大小和分布位置。

优选地，上述的方法中，通过对所述波峰值和波谷值进行匹配对准，来获得所述嘴部区域的波峰值和波谷值的大小和分布位置。

优选地，上述的方法中，通过如下公式判断第i行是否为波峰：

$\underset{j=1}{\overset{N1}{\mathrm{\Σ}}}(2*Y\left(i\right)-Y(i-j)-Y(i+j))>\mathrm{thresh}1$

其中N1、thresh1为预设值，i为要判断的行的序号，j＝1...N1，Y(i)为第i行的横向投影值；

通过如下公式判断第i行是否波谷：

$\underset{j=1}{\overset{N2}{\mathrm{\&Sigma;}}}(2*Y\left(i\right)-Y(i-j)-Y(i+j))<\mathrm{thresh}2$

其中N2、thresh2为预设值，i为要判断的行的序号，j＝1...N1，Y(i)为第i行的横向投影值。

本发明实施例还提供一种笑脸图像的识别装置，包括：

人脸检测模块，用于：对图像进行人脸检测，获得图像中的人脸区域；

横向积分模块，用于：对所述人脸区域进行横向积分，获得横向积分投影曲线；

分析模块，用于：分析所述横向积分投影曲线中的波峰值和波谷值的分布状况，获得分布结果；

判断模块，用于：将所述分布结果与预设的笑脸图像分布条件进行比对，满足所述分布条件则所述图像为笑脸图像。

优选地，上述的识别装置中，所述横向积分模块，具体用于：

对所述人脸区域中的每一行都进行该行的亮度值累加，得到横向积分数组，所述数组中的每个元素代表对应行的亮度值累加的亮度和；

以柱状图的形式表示所述数组中的每个元素，获得横向积分投影图；

所述横向积分投影图中，由每个所述柱状图的端点所形成的曲线为所述横向积分投影曲线。

优选地，上述的识别装置中，所述分布条件为：

波峰个数大于预设的波峰门限值；和/或，波谷个数大于预设的波谷门限值；和/或，包含有牙齿图像产生的波峰值；

所述分布结果为所述人脸区域的所有波峰值和波谷值的大小和分布位置；或者，所述分布结果为所述人脸区域中的嘴部区域的波峰值和波谷值的大小和分布位置。

优选地，上述的识别装置中，所述分析模块通过对所述波峰值和波谷值进行匹配对准，来获得所述嘴部区域的波峰值和波谷值的大小和分布位置。

本发明至少存在以下技术效果：

1)本发明利用人脸区域的积分投影曲线来识别笑脸，通过波峰波谷的分布分析，能够快速地识别笑脸。

2)本发明还能重点对嘴巴区域进行分析，更进一步提高了识别笑脸的速度和准确度。

3)本发明通过分类规则确定比对标准，具体的分类规则可以通过经验获得，也可以通过多个图像的训练获得，准确有效。

4)本发明可用于数码相机、摄像头等图像获取设备上，提高这些设备捕获笑脸图像的速度和准确度，也可以提高检索笑脸图像的速度和准确度。

附图说明

图1为本发明实施例提供的识别方法的步骤流程图；

图2为本发明实施例提供的识别方法的详细步骤的流程图；

图3为本发明实施例提供的识别装置的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对具体实施例进行详细描述。

图1为本发明实施例提供的识别方法的步骤流程图，如图1所示，本发明实施例的笑脸图像的识别方法，包括如下步骤：

步骤101，对图像进行人脸检测，获得图像中的人脸区域；

步骤102，对所述人脸区域进行横向积分，获得横向积分投影曲线；

步骤103，分析所述横向积分投影曲线中的波峰值和波谷值的分布状况，获得分布结果；

步骤104，将所述分布结果与预设的笑脸图像分布条件进行比对，满足所述分布条件则所述图像为笑脸图像。

其中，步骤102具体包括：对所述人脸区域中的每一行都进行该行的亮度值累加，得到横向积分数组，所述数组中的每个元素代表对应行的亮度值累加的亮度和；以柱状图的形式表示所述数组中的每个元素，获得横向积分投影图；所述横向积分投影图中，由每个所述柱状图的端点所形成的曲线为所述横向积分投影曲线。

其中，所述分布条件为：波峰个数大于预设的波峰门限值；和/或，波谷个数大于预设的波谷门限值；和/或，包含有牙齿图像产生的波峰值。

其中，所述分布结果为所述人脸区域的所有波峰值和波谷值的大小和分布位置；或者，所述分布结果为所述人脸区域中的嘴部区域的波峰值和波谷值的大小和分布位置。本发明实施例还通过对所述波峰值和波谷值进行匹配对准，来获得所述嘴部区域的波峰值和波谷值的大小和分布位置。

可见，本发明提出一种基于面部区域横向积分投影的笑脸识别方法，能够快速有效地判断该人脸是否是笑脸。该方法先对图像进行人脸检测，确定图像中存在的人脸区域，然后对每个人脸区域分别进行处理。对每个人脸区域，先进行横向的积分投影，然后对得到的横向积分投影曲线进行分析，提取曲线上的峰谷点的个数和位置；然后根据峰谷点的位置关系确定每个峰谷点对应的人脸部件，然后重点分析嘴巴区域的投影曲线，并据此判断嘴巴的状态，确定该人脸是否是笑脸。

图2为本发明实施例提供的识别方法的详细步骤的流程图；如图所示，实施共分为四个步骤，下面分别进行描述。

步骤201，人脸检测。

人脸检测是从图像中获得图像中人脸的位置、大小等，目前常用的人脸检测方法是基于AdaBoost(是一种迭代算法，其核心思想是针对给定的训练集训练不同的弱分类器，然后把这些弱分类器集合起来，构成一个更强的最终分类器)的人脸检测方法。其属于已有技术，这里不再详细描述。

如果图像中存在人脸，通过人脸检测得到人脸区域的个数、位置、尺寸等。如果图像中不存在人脸，则人脸检测模块给出不存在人脸的标志。

步骤202，人脸区域横向积分投影。

通过人脸检测，得到了人脸的区域。在人脸图像中，人脸的各个面部器官是按照一定顺序排列的，如从上到下的排列分别是眉、眼、鼻、嘴巴、下巴等。如果人脸是正的，也就是两个眼睛的高度相同，此时，将人脸区域中每一行的亮度值分别相加得到人脸区域的每行的亮度和，称为横向积分，是一个数组，将此数组中的值以柱状图的形式显示出来，称为横向积分投影图，其端点形成的曲线称为横向积分投影曲线。

对于宽度为w，高度为h的图像I，其亮度为I(i，j)，其第i行的横向积分投影值为：

$Y\left(i\right)=\underset{j=1}{\overset{w}{\mathrm{\&Sigma;}}}I(i,j),$ i∈[1，h]        (1)

上式是横向积分投影曲线的定义。

步骤203，积分投影曲线分析。

由于表情的变化是通过人脸部件的变化表示的，因此，表情的变化会引起人脸区域的横向积分投影曲线的变化。笑脸的积分投影曲线和非笑脸的积分投影曲线存在一定差异。为了比较不同人脸的积分投影曲线的差异，需要进行积分投影曲线的对准，因此可以通过投影曲线的峰谷值的匹配，确定某些特殊的峰谷值点，并利用这些峰谷值点进行对准。如确定眼睛、鼻子等部件对应的峰谷值点，并利用眼鼻的间距进行对准，或是确定其他峰谷值点对应的物理意义。

实际中，笑脸和非笑脸的积分投影曲线存在较大差异，尤其是嘴部区域。对于露出牙齿的笑容，其嘴部区域的投影曲线变化更明显。

为了区分笑脸和非笑脸的横向积分投影曲线，本发明实施例采用规则的方法。

首先，计算积分投影曲线的峰谷值点。

$\underset{j=1}{\overset{N1}{\mathrm{\&Sigma;}}}(2*Y\left(i\right)-Y(i-j)-Y(i+j))>\mathrm{thresh}1---\left(2\right)$

$\underset{j=1}{\overset{N2}{\mathrm{\&Sigma;}}}(2*Y\left(i\right)-Y(i-j)-Y(i+j))<\mathrm{thresh}2---\left(3\right)$

满足式(2)的为可能的峰值点，其中N1、thresh1为预设值，i为要判断的行的序号，j＝1...N1，Y(i)为第i行的横向投影值；满足式(3)的为可能的谷值点，其中N2、thresh2为预设值。利用这种方法提取的峰谷值可以有效去除毛刺的影响，同时对于缓慢变化的区域也有良好的提取效果。

得到可能峰谷值点后，需要将位置非常相近的峰谷值点分别进行合并，因为他们表示了同一个峰或谷。

表情变化时，尤其笑的时候，嘴部的变化最大，因此也可以只分析嘴部的积分投影曲线。不过为了使积分投影曲线的峰谷值对应，需要先进行嘴部的对准。

步骤204，笑脸判断。

得到峰谷的位置和峰谷值点后，可以利用这些信息识别该投影曲线是否笑脸的投影曲线。具体的规则可以通过比较两类投影曲线的差异获得。

如：笑脸投影曲线的峰谷值的个数通常大于非笑脸曲线；

笑脸的投影曲线可能存在牙齿的峰值等；

具体的规则可以通过经验获得，也可以通过多个图像的训练获得。也可以利用启发式规则进行笑脸的识别。

可见，本发明方法利用人脸区域的积分投影曲线和分类规则识别笑脸，积分投影曲线的获得可以采用并行的方法，分类规则一旦确定可以快速地识别笑脸。因此，本发明可以快速有效地确定图像中的人脸区域是否是笑脸。

图3为本发明实施例提供的识别装置的结构图。如图3所示，笑脸图像的识别装置包括：

人脸检测模块301，用于：对图像进行人脸检测，获得图像中的人脸区域；

横向积分模块302，用于：对所述人脸区域进行横向积分，获得横向积分投影曲线；

分析模块303，用于：分析所述横向积分投影曲线中的波峰值和波谷值的分布状况，获得分布结果；

判断模块304，用于：将所述分布结果与预设的笑脸图像分布条件进行比对，满足所述分布条件则所述图像为笑脸图像。

其中，所述横向积分模块302，具体用于：对所述人脸区域中的每一行都进行该行的亮度值累加，得到横向积分数组，所述数组中的每个元素代表对应行的亮度值累加的亮度和；以柱状图的形式表示所述数组中的每个元素，获得横向积分投影图；所述横向积分投影图中，由每个所述柱状图的端点所形成的曲线为所述横向积分投影曲线。

所述分析模块303，还通过对所述波峰值和波谷值进行匹配对准，来获得所述嘴部区域的波峰值和波谷值的大小和分布位置。

本发明的识别装置，可用于数码相机、摄像头等图像获取设备上，提高这些设备捕获笑脸图像的速度和准确度，也可以提高检索笑脸图像的速度和准确度。

由上可知，本发明实施例具有以下优势：

1)本发明利用人脸区域的积分投影曲线来识别笑脸，通过波峰波谷的分布分析，能够快速地识别笑脸。

2)本发明还能重点对嘴巴区域进行分析，更进一步提高了识别笑脸的速度和准确度。

3)本发明通过分类规则确定比对标准，具体的分类规则可以通过经验获得，也可以通过多个图像的训练获得，准确有效。

4)本发明可用于数码相机、摄像头等图像获取设备上，提高这些设备捕获笑脸图像的速度和准确度，也可以提高检索笑脸图像的速度和准确度。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种笑脸图像的识别方法，其特征在于，包括如下步骤：

对图像进行人脸检测，获得图像中的人脸区域；

对所述人脸区域进行横向积分，获得横向积分投影曲线；

分析所述横向积分投影曲线中的波峰值和波谷值的分布状况，获得分布结果；

将所述分布结果与预设的笑脸图像分布条件进行比对，满足所述分布条件则所述图像为笑脸图像。

2.根据权利要求1所述的识别方法，其特征在于，对所述人脸区域进行横向积分，获得横向积分投影曲线的步骤具体包括：

对所述人脸区域中的每一行都进行该行的亮度值累加，得到横向积分数组，所述数组中的每个元素代表对应行的亮度值累加的亮度和；

以柱状图的形式表示所述数组中的每个元素，获得横向积分投影图；

所述横向积分投影图中，由每个所述柱状图的端点所形成的曲线为所述横向积分投影曲线。

3.根据权利要求1所述的识别方法，其特征在于，所述分布条件为：

波峰个数大于预设的波峰门限值；和/或，波谷个数大于预设的波谷门限值；和/或，包含有牙齿图像产生的波峰值。

4.根据权利要求1所述的识别方法，其特征在于，所述分布结果为所述人脸区域的所有波峰值和波谷值的大小和分布位置；或者，所述分布结果为所述人脸区域中的嘴部区域的波峰值和波谷值的大小和分布位置。

5.根据权利要求4所述的识别方法，其特征在于，通过对所述波峰值和波谷值进行匹配对准，来获得所述嘴部区域的波峰值和波谷值的大小和分布位置。

6.根据权利要求1所述的识别方法，其特征在于，

通过如下公式判断第i行是否为波峰：

$\underset{j=1}{\overset{N1}{\mathrm{\&Sigma;}}}(2*Y\left(i\right)-Y(i-j)-Y(i+j))>\mathrm{thresh}1$

其中N1、thresh1为预设值，i为要判断的行的序号，j＝1...N1，Y(i)为第i行的横向投影值；

通过如下公式判断第i行是否波谷：

$\underset{j=1}{\overset{N2}{\mathrm{\&Sigma;}}}(2*Y\left(i\right)-y(i-j)-Y(i+j))<\mathrm{thresh}2$

其中N2、thresh2为预设值，i为要判断的行的序号，j＝1...N1，Y(i)为第i行的横向投影值。

7.一种笑脸图像的识别装置，其特征在于，包括：

人脸检测模块，用于：对图像进行人脸检测，获得图像中的人脸区域；

横向积分模块，用于：对所述人脸区域进行横向积分，获得横向积分投影曲线；

分析模块，用于：分析所述横向积分投影曲线中的波峰值和波谷值的分布状况，获得分布结果；

判断模块，用于：将所述分布结果与预设的笑脸图像分布条件进行比对，满足所述分布条件则所述图像为笑脸图像。

8.根据权利要求7所述的识别装置，其特征在于，所述横向积分模块，具体用于：

对所述人脸区域中的每一行都进行该行的亮度值累加，得到横向积分数组，所述数组中的每个元素代表对应行的亮度值累加的亮度和；

以柱状图的形式表示所述数组中的每个元素，获得横向积分投影图；

所述横向积分投影图中，由每个所述柱状图的端点所形成的曲线为所述横向积分投影曲线。

9.根据权利要求7所述的识别装置，其特征在于，所述分布条件为：

波峰个数大于预设的波峰门限值；和/或，波谷个数大于预设的波谷门限值；和/或，包含有牙齿图像产生的波峰值；

所述分布结果为所述人脸区域的所有波峰值和波谷值的大小和分布位置；或者，所述分布结果为所述人脸区域中的嘴部区域的波峰值和波谷值的大小和分布位置。

10.根据权利要求9所述的识别装置，其特征在于，所述分析模块通过对所述波峰值和波谷值进行匹配对准，来获得所述嘴部区域的波峰值和波谷值的大小和分布位置。

Images