CN104809432A - 基于图像异构计算的人脸动作实时捕捉方法 - Google Patents

Abstract

一种基于图像异构计算的人脸动作实时捕捉方法，对检索人脸的算法进行局部降维处理，对一维信号处理，尽最大可能降低运算量；在更低的画质下面试图找到足够多的信息；试图舍弃样本训练；在最短的时间内给出动作判断。本发明所占用的系统资源较少，处理结果迅速并且较准确。本发明在复杂背景以及复杂光照下面表现一定的稳定性，但仍然对强偏光照有较强的敏感性，在特定的头部旋转(包含左右转以及上下点头)状态下，本发明仍然呈现出较好的稳定性以及鲁棒性。

Description

基于图像异构计算的人脸动作实时捕捉方法

技术领域

本发明属于机器视觉技术领域，涉及嵌入式异构计算，基于模型的实时图像处理以及人脸结构特征检测、模式识别方法。

背景技术

目前有多家公司的技术涉及到人脸识别，甚至提供商业化的识别终端，进行身份与人脸的相互匹配。人脸识别技术在少量样本的前提条件下表现得不错，但在大样本下面则表现一般，所以身份识别通常情况下还是指纹识别以及虹膜识别，而在人脸特征检测较为精准的前提条件下，才会涉及到脸部动作的检测。

在人脸检测技术中，现有技术往往包含以下几点明显缺陷：

A.姿态问题是人脸识别研究中需要解决的一个技术难点。针对姿态的研究相对比较少，多数的人脸识别算法主要是针对正面，或接近正面的人脸图像，当发生俯仰或者左右侧而比较厉害的情况下，人脸识别算法的识别率也将会急剧下降。

B.运算量巨大。主流的人脸识别算法倾向于模式识别的机器学习。不仅缺少样本进行学习，而且人脸模板的拟合速度较慢。

C.人脸图像的来源可能多种多样，由于采集设备的不同，得到的人脸图像质量也不同，特别是对于那些低分辨率﹑噪声大﹑质量差的人脸图像如何进行有效的人脸识别是个需要关注的问题。

D.基于统计学习的人脸识别算法是人脸识别领域中的主流算法，但是统计学习方法需要大量的培训。由于人脸图像在高维空间中的分布是一个不规则的流行分布，能得到的样本只是对人脸图像空间中的一个极小部分的采样，如何解决小样本下的统计学习问题有待进一步的研究。

E.随着人脸数据库规模的增长，人脸算法的性能将呈现下降态势。对于建立在人脸识别之上的表情识别，现有技术则面临更多的挑战。首先需要注意的是运算量大的问题。如果说运算速度慢在人脸身份匹配的时候无伤大雅，那么在脸部动作识别的过程中则会造成严重的后果。

发明内容

考虑到机器视觉越来越广泛的应用，本发明的目的在于提供一种人脸动作实时捕捉方法，新的解决人脸动作动态的方案。

为实现上述目的，本发明采用如下技术方案：

一种基于图像异构计算的人脸动作实时捕捉方法，对检索人脸的算法进行局部降维处理，对一维信号处理，尽最大可能降低运算量；在更低的画质下面试图找到足够多的信息；试图舍弃样本训练；在最短的时间内给出动作判断。

进一步，应用场景是人脸与移动端面对面，设定人脸占据全部图片的主要部分；通过人体皮肤色域的某种变化来完成人脸检测；

关于原始的HSV转化的部分：

首先将色调偏冷的部分舍去；

将颜色中个分量较为相等的部分去掉；

将所有的H值归一化，并且将所有暖色系的H值映射1到附近。

关于稳定峰值的提取，采用降维的方式来解决。

所述降维的方式是将所有像素点映射到一行横向像素点和一列纵向像素点，对一维的数据集合进行划分。

在所得的色域图的特征选取一定的阈值，大于这个阈值为可能的人脸区域，反之则为背景；阈值的选择具有自主性，可以随着环境的变化而变化。

对于暖色调的背景通过直方图分析选择合适的划分点，优选取值为0.8。

对于大于阈值的部分置1，其他部分置0，分别按行和按列求和；

按行求和，最大值为人脸的最大宽度，给出了人脸宽度的上限；

按列求和，最大值为人脸的最大高度，给出了人脸高度的上限；

人为给定人脸大小最小值，当小于最小值的时候作为检测失败；

仍然给定一个阈值；

设置状态机。

当人脸在转动之后，对人脸进行区域化划分，然后再进行降维；

优选的：首先选取的判定区域相较于人脸区域要小；而左右半脸的划分具有重叠性以使得对人脸扭转时仍然有效；剔除最上面以及最下面部分以减少背景以及额头的影响；优选的，首先分别对左右半脸处理，试图将眉毛的上下沿，眼睛的上下沿进行标定。

降维的映射关系定义为给定阈值对像素点进行某一方向求和平滑所得；

优选的，步骤如下：

(1)给出合理阈值；优选的，通过直方图分析给出阈值；

(2)对检测区域按照阈值进行二值化；

(3)对二值化后的矩阵进行横向相加，得到纵向一维数据；

(4)按照上文的峰值状态机将明显的两个峰值取出来。

检测出眼球以及眼睛的方法包括：

(1)按照给出的眼睛上下阈值以及皮肤特征量，剔除背景边缘，划定眼睛区域；

(2)在眼睛区域内部对眼球进行定位；

优选的，为了从时域上判断动作的变化而不是从静图中得到动作信息，本文以帧为处理单位，将这一帧及之前的29帧作为动作时域判断单元。

由于采用上述方案，本发明的有益效果是：

发明的效果明显，在主频1.33G的双核双线程的处理器上运行可以跑满30fps，普通的摄像头的帧率一般也在30fps左右，所占用的系统资源较少，仍剩余较多的处理性能。处理结果迅速并且较准确。

本发明在复杂背景以及复杂光照下面表现一定的稳定性，但仍然对强偏光照有较强的敏感性，在特定的头部旋转(包含左右转以及上下点头)，发明呈现了较好的稳定性以及鲁棒性。在特定动作下如闭上单只眼睛会导致眼睛所在区域检测异常，但这一异常却可以较好地反映进行了某一项特殊的动作。

附图说明

图1为本发明实施例摄像头捕捉的640*480的YUV帧的原始图像。

图2为对图1所示图像预处理，色域转换之后提取人脸的高度图。

图3为对人脸区域去噪，增强，二值化后的二值特征图像。

图4为对二值图像进行横向映射之后得到的曲线图。

图5为按照人脸二值化得到的最初人脸五官划分中间结果图之一。

图6为按照人脸二值化得到的最初人脸五官划分中间结果图之二。

图7为按照人脸二值化得到的最初人脸五官划分中间结果图之三。

图8为按照人脸二值化得到的最初人脸五官划分中间结果图之四。

图9为按照人脸二值化得到的最初人脸五官划分中间结果图之五。

图10为按照人脸二值化得到的最初人脸五官划分中间结果图之六。

图11为真实检测结果效果图之一。

图12为真实检测结果效果图之二。

图13为真实检测结果效果图之三。

图14为真实检测结果效果图之四。

图15为真实检测结果效果图之五。

图16为真实检测结果效果图之六。

图17为检测过程中的区域划分标准图

图18为流程图1：降维峰值检测判断识别的状态转移图。

图19为流程图2：对于检测到的人脸特征提取表情的过程。

图20为流程图3：整个表情检测过程的流程图。

具体实施方式

以下结合附图所示实施例对本发明作进一步的说明。

具体的，涉及技术细节的，这里将分条陈述。

1、运算量极小。本发明基于信号处理模型，而非模板匹配。适用于人脸占据屏幕主要部分的检测。对于普通摄像头以及手持设备有较好的应用效果。首先是在自定义色域下将人脸区域检测出来：

$H=\left\{\begin{array}{c}|(G-B)/(2\·\mathrm{\δ})-1|\mathrm{if}(R>G>B)\mathrm{and}(\mathrm{\δ}>25),\\ |(G-B)/(2\·\mathrm{\δ})+1|\mathrm{if}(R>B>G)\mathrm{and}(\mathrm{\δ}>25),\\ \begin{array}{cc}0& \mathrm{else}.\end{array}\end{array}\right.----\left(1\right)$

其中：

δ＝(R,G,B)_max-(R,G,B)_min   (2)

对于色域处理之后可以得到下面的结果，图1是处理的原图，图2是经过色域转化之后的结果：

对于图2可以轻松给出人脸区域，所以在给定人脸区域的基础之上，限制了匹配的运算量。降维之后划定需要继续运算的部分，进行去噪，边缘检测等数字图像处理步骤之后继续进行降维处理。降维处理的示意图如图3、4所示；

将明显的峰值部分取出从而划定人脸五官区域进行下一步检测：

如何将这一明显的峰值检测出仍然是一件困难的事情。原因在于降维之后的数据有大量的毛刺，需要去除不必要的噪声。而如果过大的算子对原图像进行模糊处理，会导致细节模糊，也会增大运算量，更容易造成特征平滑，从而增加检测难度。显然对于降维之后的图形进行数据处理是一件非常必要而且方便的方式。

通过找到一种皮肤的峰值变化范围，然后对于“峰值上”以及“峰值下”的部分分别检测，并且对检测到的峰值进行计数，增加峰值划定的稳定性。

通过这一系列稳定的峰值检测系统就可以得到人脸结构的检测，检测结果如图5-10所示；

用同样的方法在人眼区域内对人的眼球进行定位，从而判断人眼的左移，右移，开闭左右眼等。

2、异构计算体系适合小型手持设备

小型手持设备计算能力有限，传统的人脸动作识别体系很难在有限的运算量之下完成。本发明运算量小，效果较为稳定，对人脸的区域检测准确，可以运行在手持设备之上。

3、可检测多种人脸姿态

通常情况下传统的人脸算法要求人脸近似正面，背景单一。本发明能够检测多种人脸姿态，可容许轻微的人脸倾斜以及扭转，上扬对人脸的区域检测并未造成严重的影响，从而可以使用户在更随意的状态下面完成脸部动作的控制与识别。

4、低画质检测

应用实例：

将图像中的人脸从背景中找到一直是件不容易的事情。想做到检测准确稳定并且运算量小更是一件不容易的事情。考虑到：

1.应用场景是人脸与移动端面对面，可以假设人脸占据全部图片的主要部分；

2.人类皮肤的色调集中在比较狭窄的几个区域。

本文中以黄种人脸为测试对象，具体的流程图如图20所示

本发明通过色域的某种变化来完成人脸检测。一般情况下，这未必是一个非常好的办法——有太多的算法可以更稳定，基于颜色而非形状的处理方式总是会使结果变得不可预测。比如说使用者的身后有一扇颜色同肤色类似的门，那么结果往往会变得不准确。不过对于一个坐在电脑前的人或者是面对着手机的人来说，这个不确定的糟糕影响就会变得可控。原因是我们试图在图像中找到稳定存在的一块拥有特定颜色特征的区域，而这一区域显得足够的大，或者说有确定范围的大小。

对原始的HSV转化的部分进行一些改动：

3、首先将色调偏冷的部分舍去。在等式中就是将B分量或者G份量比较大的部分舍去；

4、对于颜色中个分量较为相等的部分去掉。去掉有两个原因，在RGB都比较大的时候颜色表现极淡，具体为灰白色——这不可能是人脸肤色。另外的原因就是H的判决等式决定它对于RGB接近的部分非常不稳定，表现为某处颜色趋于灰白，然后这里的颜色会使H值剧烈变化，这是所不希望出现的。

5、另外就是将所有的H值归一化，并且将所有暖色系的H值映射1到附近。

关于稳定峰值的提取问题。这一划分最具有鲁棒性的做法是标定划分样本进行机器学习。考虑到监督学习需要大量的样本信息，对于大型工程而言这无可厚非，但是不可否认的是将大量图片进行标定是费时费力的事情。当然运算量也是一个问题。二维的模型匹配以及圆检测线监测都需要消耗较大的运算量。本发明的目的在于提供一种轻巧的划分方式，在降低劳动成本的同时不失鲁棒性。

本发明采用降维的方案来解决。说得更简单一点，将所有像素点映射到一行横向像素点和一列纵向像素点。对一维的数据集合进行划分：

在最初的人脸框架选择的时，按照上文给出的色域模型，似乎只要选择稳定的连续部分就可以了。事实上，在选择稳定峰值的过程中会遇到以下问题：

1.人脸边缘检测抖动，关系到边缘阈值的判定

2.周边出现多张人脸以及大量裸露皮肤时检测出错

3.单侧灯光对于某一侧人脸边缘的划分影响较大

如果从整个算法的角度来讲现在处理这些问题是不必要的。随着检测的不断推进，原先较为严重的问题会随着检测区域的划定而不断变得容易。比如对于剔除背景的人脸区域划定眼睛眉毛区域则会显得容易得多。检测步骤：

4.按照上文所得的色域图的特征选取一定的阈值。大于这个阈值为可能的人脸区域，反之则为背景。阈值的选择具有自主性，可以随着环境的变化而变化，对于冷色调的背景这里的阈值选择可以比较随意。但对于暖色调的背景最好的策略是直方图分析选择合适的划分点。试验中取值为0.8

1.对于大于阈值的部分置1，其他部分置0。分别按行和按列求和.

2.按行求和。最大值为人脸的最大宽度，给出了人脸宽度的上限。

3.按列求和。最大值为人脸的最大高度，给出了人脸高度的上限。

4.人为给定人脸大小最小值，当小于最小值的时候作为检测失败。

5.仍然给定一个阈值，方法与上文类似。

6.设置状态机：(流程图1)

人脸正面的检测比较轻松。按照标准模板去一点点拟合就可以了。当然拥有足够的运算性能这件事情可以轻松的完成——事实却往往不是这样。如果一帧一帧地去拟合，你想要达到流畅的动作捕捉是不可能的。当程序只能跑在每秒5帧左右的时候，想要去检测只有0.05-0.3秒左右眨眼几乎是不可能的。

本发明中仍然通过降维的方式去处理。不过这里的将为会和上文叙述有所不同，很显然是的是在所划分出的人脸框架中，肤色将会成为主导颜色。从人脸框架提取人脸肤色并不是一件艰难的事情。那么如果以所给肤色作为基准(阈值)对框架中的所有像素点进行划分，划分出皮肤部分以及非皮肤部分是容易的。

由于上文中的检测结果并不精确。框架边沿非人脸部分对结果的影响仍然较大。我们希望算法：

1.在人脸轻微转动或者倾斜(包括前后以及左右)仍然有效。

2.将真正人脸之外框架之内的影响排除在外。

人脸在转动之后不再具有对称性。通常的识别过程或多或少会夹杂一些对于对称性的利用，在本算法中则不再适合使用。为了在一维的数据上快速进行特征值的提取，我们对人脸进行区域化划分，然后再进行降维。划分如图17所示。

关于图17的划分进一步补充说明如下：首先选取的判定区域相较于人脸区域要小，这一选择的原因是希望在纵向检测的时候剔除脸边缘背景对检测的影响。而左右半脸的划分具有重叠性的原因是为了对人脸扭转时仍然有效。剔除最上面以及最下面部分是为了减少背景以及额头的影响。首先分别对左右半脸处理，试图将眉毛的上下沿，眼睛的上下沿进行标定。

降维的映射关系仍然可以简单地定义为给定阈值对像素点进行某一方向求和平滑所得。

步骤如下：

(1)通过某种方法给出合理阈值。本发明仍然通过直方图分析给出阈值。

(2)对检测区域按照阈值进行二值化；

(3)对二值化后的矩阵进行横向相加，得到纵向一维数据；

(4)按照上文的峰值状态机将明显的两个峰值取出来；

到这里为止，已经将眉毛的上下缘以及眼睛的上下缘提取出来了。

在这个基础之上将眼球以及眼睛边缘都是轻松的。通过类似的方案我们可以在极低的运算量之下在横向切割的基础之上检测出眼球以及眼睛。

具体的：

1.按照上文给出的眼睛上下阈值以及皮肤特征量，剔除背景边缘，划定眼睛区域。

2.在眼睛区域内部对眼球进行定位。这一部分在这里不再详细介绍。这里一是眼睛区域

的像素点数量较少，运算时间很少，而且给出眼睛区域后检测非常简单；有很多类似

的研究可以将眼球识别做得非常好。

由于所寻找到的人脸特征具有明显的几何意义——换句话说，所有特征在脸上的位置相对固定，有自己的含义。为此可以从特征变化来反映动作变化。为了从时域上判断动作的变化而不是从静图中得到动作信息，本文以帧为处理单位，将这一帧及之前的29帧作为动作时域判断单元。

在时域中提取动作要注意以下几点：

1几个动作之间的相互干扰以及区分

2人脸本身相对摄像头的大幅移动的避免

3判断动作的过程中必须具备：

3.1动作去抖，避免反复检测同一动作在实验者做动作的过程中

3.2动作检测应该在人脸相对稳定的状态下，所以判断实验者的人脸状态非常重要

3.3怎样区分动作状态和不稳定状态

具体的动作判断如图19的流程图所示。

上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于这里的实施例，本领域技术人员根据本发明的揭示，不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。

Claims (10)

1.一种基于图像异构计算的人脸动作实时捕捉方法，其特征在于：对检索人脸的算法进行局部降维处理，对一维信号处理，尽最大可能降低运算量；在更低的画质下面试图找到足够多的信息；试图舍弃样本训练；在最短的时间内给出动作判断。

2.根据权利要求1所述的方法，其特征在于：应用场景是人脸与移动端面对面，设定人脸占据全部图片的主要部分；通过人体皮肤色域的某种变化来完成人脸检测；

关于原始的HSV转化的部分：

首先将色调偏冷的部分舍去；

将颜色中个分量较为相等的部分去掉；

将所有的H值归一化，并且将所有暖色系的H值映射1到附近。

3.根据权利要求1所述的方法，其特征在于：关于稳定峰值的提取，采用降维的方式来解决。

4.根据权利要求3所述的方法，其特征在于：所述降维的方式是将所有像素点映射到一行横向像素点和一列纵向像素点，对一维的数据集合进行划分。

5.根据权利要求1所述的方法，其特征在于：在所得的色域图的特征选取一定的阈值，大于这个阈值为可能的人脸区域，反之则为背景；阈值的选择具有自主性，可以随着环境的变化而变化。

6.根据权利要求5所述的方法，其特征在于：

对于暖色调的背景通过直方图分析选择合适的划分点，优选取值为0.8。

7.根据权利要求5所述的方法，其特征在于：

对于大于阈值的部分置1，其他部分置0，分别按行和按列求和；

按行求和，最大值为人脸的最大宽度，给出了人脸宽度的上限；

按列求和，最大值为人脸的最大高度，给出了人脸高度的上限；

人为给定人脸大小最小值，当小于最小值的时候作为检测失败；

仍然给定一个阈值；

设置状态机。

8.根据权利要求1所述的方法，其特征在于：当人脸在转动之后，对人脸进行区域化划分，然后再进行降维；

优选的：首先选取的判定区域相较于人脸区域要小；而左右半脸的划分具有重叠性以使得对人脸扭转时仍然有效；剔除最上面以及最下面部分以减少背景以及额头的影响；优选的，首先分别对左右半脸处理，试图将眉毛的上下沿，眼睛的上下沿进行标定。

9.根据权利要求1所述的方法，其特征在于：降维的映射关系定义为给定阈值对像素点进行某一方向求和平滑所得；

优选的，步骤如下：

(1)给出合理阈值；优选的，通过直方图分析给出阈值；

(2)对检测区域按照阈值进行二值化；

(3)对二值化后的矩阵进行横向相加，得到纵向一维数据；

(4)按照上文的峰值状态机将明显的两个峰值取出来。

10.根据权利要求9所述的方法，其特征在于：检测出眼球以及眼睛的方法包括：

(1)按照给出的眼睛上下阈值以及皮肤特征量，剔除背景边缘，划定眼睛区域；

(2)在眼睛区域内部对眼球进行定位；

优选的，为了从时域上判断动作的变化而不是从静图中得到动作信息，本文以帧为处理单位，将这一帧及之前的29帧作为动作时域判断单元。