CN105069745A - 基于普通图像传感器及增强现实技术的带表情变脸系统及方法 - Google Patents

Abstract

本发明建立了一种基于普通图像传感器及增强现实技术的带表情变脸系统及方法，以解决利用传统增强现实技术叠加的二维川剧脸谱无法实现川剧脸谱跟随用户面部表情的变化而变换的情况。本方法利用基于Haar特征的adboost人脸识别算法和改进的ASM人脸特征点识别算法对人脸的脸部纹理进行计算，并实时构建出具有人脸特征的脸部纹理模型，利用该脸部纹理模型实现川剧脸谱与人脸的无缝融合。本发明设计巧妙，使用方便，能够将人脸的表情变化在脸谱是实时体现出来，从而解决了传统增强现实变脸的缺陷。

Description

基于普通图像传感器及增强现实技术的带表情变脸系统及方法

技术领域

本发明涉及增强现实技术，人机交互等领域。具体涉及一种基于普通图像传感器及增强现实技术的带表情变脸系统及方法。

背景技术

增强现实技术(AugmenedReality,AR)是在虚拟现实技术的基础上发展起来的新技术，是通过计算机系统提供的信息增加用户对真实世界感知的技术，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实的“增强”。传统的增强现实川剧变脸系统主要是利用光学传感器即普通光学摄像头采集二维平面图像，并在这个二维平面图像上叠加二维川剧脸谱，从而实现将虚拟的川剧脸谱与真实的用户人脸想叠加。虽然这种增强现实川剧变脸系统能够实现川剧脸谱的叠加功能，但是当使用者在说话、表情变化等情况时叠加的二维川剧脸谱无法跟随脸部肌肉的运动而运动。但是通过采集光学传感器在获取人脸的基础上，通过测量人脸的面部特征点，建立人脸纹理模型则可以避免这个问题。

为解决上述采用直接叠加二维川剧脸谱实现的变脸系统中存在的问题和不足，提出了基于普通图像传感器及增强现实技术的带表情变脸系统及方法。

发明内容

为解决上述技术问题，提出了一种基于普通图像传感器及增强现实技术的带表情变脸系统，该系统具有实时、鲁棒性强等特性，能够精确的计算人脸的表情并将川剧脸谱与人脸进行无缝融合。

由于人脸的表情复杂，识别人脸表情特征的难度大，这就对人脸识别算法提出了更高的要求。为了避免计算量过大，导致系统的实时性不够而影响用户体验等各种问题。本发明提供了一种基于普通图像传感器及增强现实技术的带表情变脸系统，使其具有实时、鲁棒性强等特点。有效地解决了当前技术带来的变脸效果差的技术问题。本方案利用Haar人脸识别算法对光学传感器采集到的图像进行预处理，一边缩小图像的处理范围，然后再利用改进的人脸特征点识别算法识别出人脸的特征点，建议人脸的纹理模型，最后将川剧脸谱叠加到这个人脸的纹理模型上。

具体而言，本发明提供了一种基于普通图像传感器及增强现实技术的带表情变脸系统，所述系统包括普通图像传感器，人脸识别模块，人脸特征点定位模块，虚拟川剧脸谱叠加模块；所述普通图像传感器与PC机相连，用以实时采集环境二维彩色图像；所述普通图像传感器采集到的图像数据发送给人脸识别模块，所述人脸识别模块与人脸特征点定位模块相连，用来捕捉人脸特征点，所述人脸特征点定位模块与虚拟川剧脸谱叠加模块相连，用以实现带表情的“川剧脸谱”的叠加。

优选的，所述普通图像传感器为普通光学摄像头，放置在PC机的顶端，用于采集完整的人脸图像。

优选的，所述人脸识别模块使用的是基于Haar特征的人脸识别算法，分别训练人的正面人脸，两个侧面人脸，顶部人脸和底部人脸等五个分类器，实时检测人脸所在图像的位置，并将人脸截图发送给人脸特征点定位模块。

优选的，所述人脸特征点定位模块所采集用的是基于ASM人脸特征点识别算法，识别出人脸五官，并利用63个原点标记出人脸的特征，建立人脸的纹理模型；所述人脸五官包括：眉毛、眼睛、鼻子、嘴巴和脸型轮廓。

优选的，所述虚拟川剧脸谱叠加模块是利用OpenGL纹理贴图技术将虚拟的川剧脸谱叠加到人脸特征点定位模块所建立的人脸纹理模型之上，用以实现随着人脸纹理模型的变化，川剧脸谱也会跟随变化。

同时，本发明还公开了一种基于普通图像传感器及增强现实技术的带表情变脸方法，其通过如权利要求1-5所述的系统实现，该方法包括以下几个步骤：

步骤一：实时采集由普通图像传感器输出的环境彩色图像，依次将采集到的环境彩色图像进行变换；

步骤二：利用基于adboosthaar特征的人脸识别算法训练人的正面人脸、左侧面人脸、右侧面人脸、顶部人脸和底部人脸的分类器，使用这五个人脸识别分类器对步骤一处理后的图像进行识别，从而在抠出人脸图像和人脸的位置信息；

步骤三：利用基于ASM主动形状模型的人脸识别算法对步骤二已知的人脸图像和人脸的位置信息进行面部的特征点识别，识别并标记出人脸的63个特征点，从而提取面部眉毛、眼睛、鼻子、上下嘴唇以及脸型的特征点图像；

步骤四：利用步骤三采集到的人脸特征点，依据特征点的所属关系建立出记录人脸表情特征的人脸形状模型；

步骤五：根据步骤三的基于ASM人脸识别算法检测人脸的特征点的理论，标记出川剧脸谱的特征点，标记的特征点的部位有眉毛，眼睛，鼻子，上下嘴唇和脸谱的轮廓；

步骤六：根据步骤五所做的标记后的川剧脸谱，将川剧脸谱与实时检测到的人脸形状模型上的局部纹理模型一一对应，利用纹理叠加技术将对应的局部川剧脸谱叠加到人脸的局部纹理模型上，从而实现带表情的川剧脸谱的叠加。

优选的，在该步骤一中所述的将采集到的环境彩色图像进行变换的过程进一步包括：首先将环境彩色图像转换为灰度图像，然后将灰度图进行双线性插值处理，最后将处理过后的灰度图像进行直方图均衡化。

本发明的有益效果如下：

1、由于本系统的算法优化程度较高，系统的流畅度、实时性能上表现较好。

2、川剧脸谱与人脸融合程度高，川剧脸谱能够实时跟随人脸表情的变化而变化。

3、各个功能模块参差模型清晰，系统冗余度高，能够很好的识别人脸和叠加川剧脸谱。

4、系统使用简单，人机交互方便易用，使普通用户也能够很方便的使用本系统。

附图说明

下面结合附图和实例图对本发明进行进一步说明：

图1为本发明的方法流程示意图；

图2为本发明的基于ASM人脸特征点识别算法提取人脸的特征点的流程示意图；

图3为本发明的系统结构的功能模块示意图；

图4是本发明实施例中示出的一组人脸图片示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施实例进行详细的描述。

本发明公开了一种基于普通图像传感器及增强现实技术的带表情变脸系统，所述系统包括光学摄像头，人脸识别模块，人脸特征点定位模块，虚拟川剧脸谱叠加模块；所述光学摄像头模块与PC机相连，用以实时采集环境二维彩色图像；所述光学摄像头模块采集到的图像数据发送给人脸识别模块，所述人脸识别模块与人脸特征点定位模块相连，用来捕捉人脸特征点，所述人脸特征点定位模块与虚拟川剧脸谱叠加模块相连，用以实现带表情的“川剧脸谱”的叠加。

所述光学摄像头模块为普通光学摄像头，放置在PC机的顶端，用于采集完整的人脸图像。

所述人脸识别模块使用的是基于Haar特征的人脸识别算法，分别训练人的正面人脸，两个侧面人脸，顶部人脸和底部人脸等五个分类器，实时检测人脸所在图像的位置，并将人脸截图发送给人脸特征点定位模块。

人脸特征点定位模块所采集用的是基于ASM人脸特征点识别算法，识别出人脸五官(眉毛、眼睛、鼻子、嘴巴和脸型轮廓)，并利用63个原点标记出人脸的特征，建立人脸的纹理模型。

虚拟川剧脸谱叠加模块是利用OpenGL纹理贴图技术将虚拟的川剧脸谱叠加到人脸特征点定位模块所简历的人脸纹理模型之上，用以实现随着人脸纹理模型的变化，川剧脸谱也会跟随变化。

优选地，为了确保采集的图像清晰，稳定，所述光学传感器采集罗技摄像头。

进一步优选地，所述人脸识别模块采用的是基于Haar特征的人脸识别算法，将人脸的范围缩小致最小，以降低后续模块的算法计算量。

进一步优选地，所述人脸特征点定位模块采用的是基于ASM人脸特征点识别算法，ASM算法首先对目标形状建立PDM模型，采用点集的方式描绘目标的形状，在匹配的过程中，模型初始化结束后，在图片中准确的定位每个标记点的位置是算法实现的关键步骤。

进一步优选地，所述川剧脸谱叠加模快是采用纹理贴图技术，将人脸特征点识别模块建立的人脸纹理模型上将二维的川剧脸谱叠加上去。这种川剧脸谱的叠加步骤如下：

步骤一、选择要叠加的川剧脸谱，在川剧脸谱上标出人脸特征点的对应位置

步骤二、将川剧脸谱上的人体特征点的位置与人脸特征点识别模块识别出人脸的特征点位置进行一一对应。

步骤三、利用纹理贴图技术将二维的川剧脸谱图片拉伸至与人脸完全贴合。

图1展示了本发明的流程方法示意图，系统首先经过光学摄像头采集周围环境的彩色图像，并对采集到的环境图像进行简单的图像预处理，图像预处理的步骤如下：

步骤一：将采集到的彩色图像转换成灰度图像，且将三通道图像转换成单通道图像，以此降低后面图像处理的数据复杂度。

步骤二：对灰度图像进行压缩，采用双线性插值压缩方法，将图像的尺寸缩小，从而降低后面图像处理数据的规模。

步骤三：对缩小后的图像进行直方图均衡化，从而提高图像的亮度和对比度。

在光学摄像头采集环境图像并对图像进行预处理后继调用基于adboosthaar特征的人脸识别算法，算法实现的步骤如下所示：

步骤一：将准备好的999组人脸图片(包括正面人脸，侧面人脸，顶部人脸和底部人脸)进行编号，如第一组图片如附图4所示。

步骤二：一次分别训练正面人脸、左侧面人脸、右侧面人脸、顶部人脸和底部人脸的分类器，以训练正面人脸为例，训练样(x1,y1),(x2,y2)，(x3,y3)...(xn,yn)，其中xi为第i个人脸的样本，yi＝1时表示正样本即人脸样本，yi＝0表示负样本即非人脸样本。训练正面人脸样本是主要采集人脸的haar特征，包括边缘特征、线特征、中心环绕特征等。这些特征的数学公式表示为：

其中ω_i为矩形的权，RectSum(γ_i)为矩形γ_i所围图像的灰度积分，N是组成feature_j的矩形个数。

步骤三：由步骤二我们可以训练出基于边缘特征的弱分类器1，基于线特征的弱分类器2，基于中心环绕特征的弱分类器3，采用瀑布算法将这三个弱分类器组织成级联分类器即强分类器，提高人脸的识别率。

步骤四：采用如上步骤一～步骤三训练出基于haar特征的正面人脸分类器、侧面人脸分类器、顶部人脸分类器和底部人脸分类器，最后本系统中对彩色图像循环使用这5种人脸分类器进行识别，顺序依次为正面人脸分类器-左侧面人脸分类器-右侧面人脸分类器-顶部人脸分类器-底部人脸分类器，当任意一分类器识别出人脸后直接跳过后面的分类器，从而解决大量的计算时间。

图2所述，在获取人脸的图像之后即调用基于ASM人脸特征点识别算法提取人脸的特征点，步骤如下所示：

步骤一：将提供的999组具有正面人脸，左侧面人脸，右侧面人脸，顶部人脸和顶部人脸的图像进行图像预处理，预处理包括转换为灰度图，缩小图像尺寸以及进行直方图均衡化。

步骤二：手工对这999组具有正面人脸，左侧面人脸，右侧面人脸，顶部人脸和顶部人脸的图像进行特征点标记，标记的内容即包括了眼睛，眉毛，鼻子，上下嘴唇以及脸部轮廓等特征。

步骤三：首先将所有的图像样本对其到原点，然后对训练集中的M个样本，人选一个样本作为参考样本，使得其他样本经过旋转、缩放和平移与之对其，假设选定的样本是x₁,得到的集合为，计算变换后的平均值x。最后将旋转、缩放和平移，与调整之后的平均形状进行对齐，如果平均形状x收敛，形状对齐完成，算法停止，否则转到第二步中继续进行对齐。

步骤四：利用PCA主成成分分析方法对人脸训练样本集中对齐后的形状向量找出形状变化的统计信息和规律，具体实现步骤如下：

步骤一：计算平均形状，公式如下：

其中N是训练样本的个数，X_i是第i个样本的形状向量

步骤二：计算数据的协方差矩阵S，公式如下：

$S=\frac{1}{N}\underset{i=1}{\overset{N}{\Σ}}(X_i-\stackrel{\‾}{X}){(X_i-\stackrel{\‾}{X})}^T$

步骤三：加us呢协方差矩阵S的特征值和特征向量，并将特征值按降序排列，公式如下：

${\mathrm{Sp}}_i={\mathrm{\λ}}_i{p}_i({\mathrm{\λ}}_i\≥{\mathrm{\λ}}_{i+i};p_i^T\·p_i=1,i=1,2,\mathrm{...},2N)$ 其中p_i是S的第i个特征值λ_i所对应的特征向量。运用主成成分的分析方法，提取S的前m个特征值对应的特征向量。

步骤四：构造样本的统计形状模型，公式如下：

$X=\stackrel{\‾}{X}+Pb$ 其中：

p＝|p₁,p₂,...,p_m|由S的前m个特征向量p_i组成，称为变换矩阵

b＝[b₁,b₂,...,b_m]^T(b_i(1≤i≤m)是相应特征向量的权值，形状参数)

步骤五：根据人脸图像的纹理信息建立起用人脸特征点描述的局部纹理模型，这样方便后面的川剧脸谱叠加使用使用。

步骤六：根据基于adboosthaar特征的人脸识别算法对人脸进行检测，得到人脸图像后根据瞳孔位置将平均形状对齐到人脸区域并进行匹配，根据统计模型调整形状参数，如果参数收敛则表示找到目标形状，如果参数未收敛，则继续匹配。

在建立好人脸的纹理模型之后，就可以利用OpenGL的纹理叠加技术实现脸谱的叠加。在叠加川剧脸谱之前需要对川剧脸谱进行纹理模型的建立，具体实施步骤如下：

步骤一：手工标记川剧脸谱，和ASM人脸特征点识别模块一样，手工标记出川剧脸谱上眉毛、眼睛、鼻子、上下嘴唇以及人脸轮廓的特征点，并建立起脸谱的纹理模型，脸谱上的特征点与ASM人脸特征点识别的特征定具有一一对应的关系。

步骤二：利用OpenGL纹理叠加技术一次将脸谱上的局部图片贴在人脸纹理模型对应的区域上。

图3展示了普通光学摄像头的带表情的变脸系统结构框图，整个系统按照流水线划分为摄像头初始化模块，图像预处理模块，人脸识别模块，人脸特征点定位模块以及脸谱叠加模块。其中摄像头初始化化模块获取了摄像头的参数信息，并且初始化图像采集任务；图像预处理模块主要完成对图像的灰度处理、尺寸变换以及直方图均衡化等预处理，目的是为了在最大化保存图像信息的前提下减少人脸识别算法和人脸特征点定位算法的数据计算量，从而提高整个系统的运行效率；人脸识别模块是人脸特征点定位模块的前期工作，进入人脸识别任务的目的就是判断人脸的位置和人脸的方向，减少人脸特征点定位模块搜索人脸特征点的时间；找到图像上的人脸信息后就进入人脸特征点定位模块，人脸特征点定位模块由两个任务，一是实时定位人脸的特征点，二是利用捕获到的人脸特征点实时建立人脸形状模型；川剧脸谱叠加模块在实现川剧脸谱叠加的基础上实现了人脸表情的一一映射，映射的原理就是利用人脸特征点建立的局部纹理模型和川剧脸谱上的局部纹理模型一一对应，细小的局部纹理块记录了人脸该部位的拉伸信息，从而实现表情的复制。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于普通图像传感器及增强现实技术的带表情变脸系统，所述系统包括普通图像传感器，人脸识别模块，人脸特征点定位模块，虚拟川剧脸谱叠加模块；其特征在于：

所述普通图像传感器与PC机相连，用以实时采集环境二维彩色图像；

所述普通图像传感器采集到的图像数据发送给人脸识别模块，所述人脸识别模块与人脸特征点定位模块相连，用来捕捉人脸特征点，所述人脸特征点定位模块与虚拟川剧脸谱叠加模块相连，用以实现带表情的“川剧脸谱”的叠加。

2.如权利要求1所述的系统，其特征在于：

所述普通图像传感器为普通光学摄像头，放置在PC机的顶端，用于采集完整的人脸图像。

3.如权利要求1或2所述的系统，其特征在于：

所述人脸识别模块使用的是基于Haar特征的人脸识别算法，分别训练人的正面人脸，两个侧面人脸，顶部人脸和底部人脸等五个分类器，实时检测人脸所在图像的位置，并将人脸截图发送给人脸特征点定位模块。

4.如权利要求1或2所述的系统，其特征在于：

所述人脸特征点定位模块所采集用的是基于ASM人脸特征点识别算法，识别出人脸五官，并利用63个原点标记出人脸的特征，建立人脸的纹理模型；所述人脸五官包括：眉毛、眼睛、鼻子、嘴巴和脸型轮廓。

5.如权利要求1或2所述的系统，其特征在于:

所述虚拟川剧脸谱叠加模块是利用OpenGL纹理贴图技术将虚拟的川剧脸谱叠加到人脸特征点定位模块所建立的人脸纹理模型之上，用以实现随着人脸纹理模型的变化，川剧脸谱也会跟随变化。

6.一种基于普通图像传感器及增强现实技术的带表情变脸方法，其通过如权利要求1-5所述的系统实现，该方法包括以下几个步骤：

步骤一：实时采集由普通图像传感器输出的环境彩色图像，依次将采集到的环境彩色图像进行变换；

步骤二：利用基于adboosthaar特征的人脸识别算法训练人的正面人脸、左侧面人脸、右侧面人脸、顶部人脸和底部人脸的分类器，使用这五个人脸识别分类器对步骤一处理后的图像进行识别，从而在抠出人脸图像和人脸的位置信息；

步骤三：利用基于ASM主动形状模型的人脸识别算法对步骤二已知的人脸图像和人脸的位置信息进行面部的特征点识别，识别并标记出人脸的63个特征点，从而提取面部眉毛、眼睛、鼻子、上下嘴唇以及脸型的特征点图像；

步骤四：利用步骤三采集到的人脸特征点，依据特征点的所属关系建立出记录人脸表情特征的人脸形状模型；

步骤五：根据步骤三的基于ASM人脸识别算法检测人脸的特征点的理论，标记出川剧脸谱的特征点，标记的特征点的部位有眉毛，眼睛，鼻子，上下嘴唇和脸谱的轮廓；

步骤六：根据步骤五所做的标记后的川剧脸谱，将川剧脸谱与实时检测到的人脸形状模型上的局部纹理模型一一对应，利用纹理叠加技术将对应的局部川剧脸谱叠加到人脸的局部纹理模型上，从而实现带表情的川剧脸谱的叠加。

7.如权利要求6所述的方法，其特征在于:

在该步骤一中所述的将采集到的环境彩色图像进行变换的过程进一步包括：首先将环境彩色图像转换为灰度图像，然后将灰度图进行双线性插值处理，最后将处理过后的灰度图像进行直方图均衡化。