CN105893984B - 一种基于面部特征的脸谱的人脸投影方法 - Google Patents

Abstract

本发明公开了一种基于面部特征的脸谱的人脸投影方法，建立脸谱纹样数据库；获取含有人脸的视频帧，进行灰度处理；获取灰度图像上各个位置的所有Haar特征，并求出其特征值；利用Adaboost算法对特征值进行训练，得到每个位置最优的特征点；将特征点加入到主动外观模型中，计算人脸的鼻尖坐标、人脸平面偏转角及侧面深度偏转角，建立人脸模型；选取所需脸谱纹样并选取脸谱纹样控制点，对脸谱纹样进行拟合，得到拟合曲线；对拟合曲线进行变形并组合得到脸谱模型；根据鼻尖坐标、人脸平面偏转角及侧面深度偏转角来调整投影角度；将脸谱模型投影到人脸模型上。本发明公开的方法灵活多变，简单快捷，实时准确的将脸谱投影到人脸上。

Description

一种基于面部特征的脸谱的人脸投影方法

技术领域

本发明涉及人脸识别及异形投影领域，尤其涉及一种基于面部特征的脸谱的人脸投影方法。

背景技术

脸谱依附于人脸，因此对脸谱应用的研究必然离不开人脸检测、跟踪。将处理后得到的融合性较好的脸谱投影在运动中的人脸部，则是文化传承的方面的一个新应用，是异形投影的一个新范畴。异形投影，是将投影投射在异面体上，本文就是把人脸作为异面体。一般来说就是对所追踪到的人脸进行投影覆盖。

2015年，日本艺术家发明了面部全息投影技术(Face Hacking)。Face Hacking集合了3D扫描、实时脸部追踪和投影映射三大功能，先将模特的面部轮廓扫描定位，再借助投影仪将处理过的妆容投射到模特的脸部。投影先在他们的脸上勾勒出轮廓和纹理，接着通过技术分析调整到二人合适的脸部比例，然后在脸部的关键位置添加动作追踪器，开始加入动画、变换造型。年轻女子、钢铁侠、非洲猎豹、机器人等等各种形象惟妙惟肖的展现在他们的脸上，并且还可以选择面部表情切换、变脸。

现有的人脸投影存在以下几个问题：

1、当面部不是正向位置时，会出现较大误差，使得到的映射后的脸谱出现抖动现象，并且没有注意到实时性；

2、现有的人脸定位是根据模特脸上人工的投影定位点的位置来判定人脸方位，而投影角度则是通过多点之间的角度变化来定位；

3、被投影的人头部运动幅度不能太大，并且要缓慢运动，而且面部不能有明显的表情变化。

发明内容

针对上述问题中存在的不足之处，本发明提供一种基于面部特征的脸谱的人脸投影方法。

为实现上述目的，本发明提供一种基于面部特征的脸谱的人脸投影方法，包括：

步骤1、对脸谱进行分析，用Bezier曲线拟合脸谱各纹样的轮廓，将脸谱转化为可缩放的矢量图形，根据脸谱的纹样进行填充色彩，建立脸谱纹样数据库；

步骤2、获取含有人脸图像的视频帧，对所述视频帧进行灰度处理，形成灰度图像；

步骤3、获取灰度图像上各个位置的所有Haar特征，并对每个Haar特征求出其特征值；

步骤4、利用Adaboost算法对步骤3中每个位置所有Haar特征的特征值进行训练，得到每个位置最优的特征点；

步骤5、将步骤4得到的每个位置最优的特征点加入到主动外观模型中，计算灰度图像中人脸的鼻尖坐标、人脸平面偏转角及侧面深度偏转角，建立包含人脸特征点、人脸的鼻尖坐标、人脸平面偏转角及侧面深度偏转角的人脸模型；

步骤6、从步骤1所述的脸谱纹样数据库中选取所需脸谱纹样，基于步骤5得到的人脸模型选取脸谱纹样控制点，按照偏差平方和最小值原则对脸谱纹样进行拟合，得到拟合曲线；

步骤7、结合二项式对拟合曲线进行变形得到对应人脸模型的脸谱纹样，并将脸谱纹样组合成脸谱模型；

步骤8、根据步骤5得到的鼻尖坐标、人脸平面偏转角及侧面深度偏转角来调整投影角度；

步骤9、基于步骤8得到的投影角度，将步骤7中的脸谱模型投影到人脸模型上。

作为本发明的进一步改进，所述步骤1中，基于脸谱的基本造型、局部造型、色彩、勾画方式对脸谱进行分析。

作为本发明的进一步改进，所述步骤2中，每秒获取含有人脸图像的视频帧的数目为25帧；

所述视频帧灰度化处理的方法为根据加权平均法对视频帧进行灰度化处理。

作为本发明的进一步改进，所述步骤3中，灰度图像上的各个位置包括眼睛、鼻子、嘴和面部轮廓；所述步骤3中，每个Haar特征的特征值为Haar特征中白色矩阵像素和与黑色矩阵像素和的差值。

作为本发明的进一步改进，所述步骤4包括：

步骤41、设定所有Haar特征为N个训练样本，每个训练样本对应一个弱分类器，其中M个反例，L个正例，N＝M+L；

步骤42、对N个训练样本赋予相同的权值；

步骤43、利用Adaboost算法进行t＝1,2,…,T次迭代，对每个Haar特征，训练一个弱分类器，并计算所有Haar特征的加权错误率；

步骤44、每次迭代完成后进行调整权值，更新每个训练样本的权值，被分类错误的训练样本的权值提高；

步骤45、经过T次迭代后得到一个具有最小加权错误率的弱分类器，加权得到强分类器，得到每个位置最优的特征点。

作为本发明的进一步改进，所述步骤6中对脸谱纹样进行拟合的方法为：

在脸谱纹样的边缘选取多个控制点p_i(x_i,y_i)，其中i＝1,2,3,…,m，并得到近似曲线近似曲线在点p_i(x_i,y_i)处的偏差值δ_i为按着偏差值平方和最小的原则选取拟合曲线；所述偏差值平方和最小的原则为：

作为本发明的进一步改进，所述步骤7中结合二项式对拟合曲线p(x)进行变形的公式为：

p(x)＝a₀+a₁x…+a_mx^m，其中m为控制点个数，a₀～a_m为待定系数。

与现有技术相比，本发明的有益效果为：

本发明公开的基于面部特征的脸谱的人脸投影方法，通过Bezier曲线对脸谱进行分析并建立脸谱纹样数据库，通过Adaboost算法获取人脸面部的特征点，将上述特征点代入到主动外观模型获取人脸的鼻尖坐标、人脸平面偏转角及侧面深度偏转角，并根据上述坐标及角度来实现投影角度的实时变动；在投影仪的辅助下，将脸谱模型投影到人脸上；为了使脸谱和人脸更贴合，我们通过对脸谱纹样进行变形，而曲线可以很好拟合图像中的形状拓扑关系或轮廓信息，利用曲线优势控制变形操作；与现有人脸投影技术相比，本发明脸谱的人脸投影方法是基于人脸的轮廓和特征点，并实现实时追踪，其更加灵活多变，更加简单快捷，脸谱的人脸投影，开拓了脸谱艺术传播的新途径。

附图说明

图1为本发明一种实施例公开的基于面部特征的脸谱的人脸投影方法的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明根据传统京剧脸谱，用Bezier曲线拟合各纹样轮廓进行脸谱模型建模；使用基于Haar特征的AdaBoost算法对AAM模型改进，从而识别检测出运动的人脸和其特征点；选取前人研究中的变形效果比较好的一些变形技术，将其用于试验中比较试验结果，并将效率较高的技术进行最小二乘优化，运用到异面投影中，使投影结果更加生动融合。

本发明在检测人脸时用到Adaboost算法：使用基于矩形特征(Haar特征)与AdaBoost算法的方法对运动中的人脸进行检测及特征点提取，提取出来的特征点不再单独处理，而是把提取出来的特征点运用到三维人脸模型中，以此来构建新的AAM模型；此外，本发明还使用并以最小二乘优化技术改进曲线拟合技术对绘制的脸谱模型进行变形投影，从而提高异面投影的实时性和融合性。

区别于现有的人脸投影，本发明具体创新点在于投影是基于人脸的轮廓和特征点，并实现实时追踪。通过对人脸的轮廓和特征点的定位，从而形成鲁棒的人脸图像特征向量；并利用Bezier曲线对京剧脸谱纹样进行模拟建模，在投影仪的辅助下，将脸谱模型投影到人脸上。为了使投影和人脸更贴合，我们需要对脸谱模型进行变形，而曲线可以很好拟合图像中的形状拓扑关系或轮廓信息，所以我们利用曲线优势控制变形操作。

下面结合附图对本发明做进一步的详细描述：

如图1所示，本发明公开了一种基于面部特征的脸谱的人脸投影方法，包括：

S1、基于脸谱的基本造型、局部造型、色彩、勾画方式对脸谱进行分析，用Bezier曲线拟合脸谱中各纹样的轮廓(即对脸谱中鼻子、嘴、眼睛等多处的脸谱纹样分别利用Bezier曲线进行拟合)，通过Bezier曲线的拟合将脸谱转化为可缩放的矢量图形，根据脸谱所对应的色彩对脸谱不同的纹样(如鼻子纹样、眼睛纹样、嘴巴纹样等等)进行填充色彩，从而建立一个脸谱的纹样数据；依次按照上述方法，建立包含多个脸谱的脸谱纹样数据库。

S2、通过摄像头实时获取含有人脸图像的视频帧(其中每秒获取含有人脸图像的视频帧的数目为25帧)，根据加权平均法对获取的视频帧进行灰度处理，形成灰度图像；

其中：

式中：表示视频帧的灰度值，而分别表示视频帧R,G,B的三个分量值；即将R,G,B分量映射到R,G,B立方体的对角线上。

S3、获取灰度图像上各个位置的所有Haar特征，并对每个Haar特征求出其特征值；其具体实施方法为：

获取灰度图像上眼睛的所有Haar特征，眼睛对应的Haar特征为三类矩形特征(从上至下依次为白黑白)；因此，需要获取灰度图像上关于眼睛的所有三类矩形特征；求取每个Haar特征(三类矩形特征)的特征值，其特征值为两个白色矩形的像素和与一个黑色矩形像素的差值；每个Haar特征(三类矩形特征)都一一对应一个弱分类器，因此，弱分类器的特征值就是Haar特征的特征值；

按照上述方法依次找出灰度图像上其它位置(比如，鼻子、嘴等)的所有Haar特征，并对每个Haar特征求出其特征值。

S4、利用Adaboost算法对S3中每个位置所有Haar特征的特征值进行训练，得到每个位置最优的特征点；其具体实施方法为：

S41、假定S3获得关于眼睛的Haar特征为n个，即训练样本N＝n；因此需要利用Adaboost算法对n个Haar特征进行训练；输入n个Haar特征的数据集为{(x₁,y₁),(x₂,y₂),…,(x_n,y_n)}，其中M个反例，M＝n-2；L个正例，L＝2，N＝M+L，x_i表示Haar特征的特征值；y_i＝0表示反例，y_i＝1表示正例，i＝1,2,…,n。

S42、分别初始化N＝n个训练样本的权值ω_t,j，对n个训练样本赋予相同的权值ω_t,i；

其中，j＝1,2,…,n。

S43、利用Adaboost算法进行t＝1,2,…,T次迭代，对每个Haar特征j，训练一个弱分类器h_j，并计算所有Haar特征的加权错误率ε_j；

S44、每次迭代完成后进行调整权值，更新每个训练样本的权值ω_t+1,i，被分类错误的训练样本的权值提高，在下次迭代时被错误识别的训练样本会被重点考虑；

如果x_i被正确分类，则e_i＝0，否则e_i＝1；

S45、经过T次迭代后，选出一个具有最小ε_j的弱分类器h_t，然后加权组成强分类器h(x)：强分类器即为人脸图像上对应的眼睛特征点)；从而得到眼睛的最优的特征点；其中：

其中

按照上述方法依次找出灰度图像上其它位置(比如，鼻子、嘴等)的最优的特征点。

S5、将S4得到的每个位置最优的特征点加入到主动外观模型中，计算灰度图像中人脸的鼻尖坐标、人脸平面偏转角及侧面深度偏转角，从而建立包含人脸特征点、鼻尖坐标、人脸平面偏转角及侧面深度偏转角的人脸模型；其具体实施方法为：

由于S4基于Adaboost算法的训练结果只是找到人脸相应的五官位置的特征点，其不具备人脸角度等信息，在实时投影过程中存在实时性差的问题；现有技术在找人脸角度等信息时，需要人为手动的去标注人脸特征点。为了解决上述问题，本发明根据S4每个位置最优的特征点确定检测出的人脸及特征的位置，加入到主动外观模型AAM中；采集一定数量的具有代表性的人脸图像组成训练集，从训练集图像上获取形状与纹理信息，然后根据特征区域计算鼻尖坐标和人脸平面偏转角及侧面深度偏转角，建立包含人脸特征点、鼻尖坐标、人脸平面偏转角及侧面深度偏转角的人脸模型；其中鼻尖坐标和平面偏转角组合用于校正中心位置参数，侧面深度偏转角则用于选择三维人脸模型实例。

S6、从S1的脸谱纹样数据库中选取所需脸谱纹样(包括该脸谱的鼻子纹样、眼睛纹样等等)，基于S5得到的人脸模型在脸谱纹样的边缘选取多个控制点p_i(x_i,y_i)，其中i＝1,2,3,…,m，并得到近似曲线近似曲线在点p_i(x_i,y_i)处的偏差值δ_i为按着偏差值平方和最小的原则选取拟合曲线；其中：偏差值平方和最小原则为：

S7、结合二项式(即最小二乘)对拟合曲线p(x)进行变形得到对应人脸模型的脸谱纹样，将上述脸谱纹样进行组合形成脸谱模型；其中：结合二项式对拟合曲线p(x)进行变形的公式为：

p(x)＝a₀+a₁x…+a_mx^m，其中m为控制点个数，a₀～a_m为待定系数。

S8、根据S5得到的鼻尖坐标、人脸平面偏转角及侧面深度偏转角来实时调整投影仪的投影角度。

S9、基于S8得到的投影角度，将S7中的脸谱模型投影到S5的人脸模型上，实现脸谱模型与人脸模型的完美对应。

本发明公开的基于面部特征的脸谱的人脸投影方法，将脸谱和人脸投影结合，可以将所需脸谱直接投影在演员的脸上，与传统面具脸谱相比，更加灵活多变，更加简单快捷。脸谱的人脸投影，开拓了京剧脸谱艺术传播的新途径。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于面部特征的脸谱的人脸投影方法，其特征在于，包括：

步骤1、对脸谱进行分析，用Bezier曲线拟合脸谱各纹样的轮廓，将脸谱转化为可缩放的矢量图形，根据脸谱的纹样进行填充色彩，建立脸谱纹样数据库；

步骤2、获取含有人脸图像的视频帧，对所述视频帧进行灰度处理，形成灰度图像；

步骤3、获取灰度图像上各个位置的所有Haar特征，并对每个Haar特征求出其特征值；

步骤4、利用Adaboost算法对步骤3中每个位置所有Haar特征的特征值进行训练，得到每个位置最优的特征点；

步骤5、将步骤4得到的每个位置最优的特征点加入到主动外观模型中，计算灰度图像中人脸的鼻尖坐标、人脸平面偏转角及侧面深度偏转角，建立包含人脸特征点、人脸的鼻尖坐标、人脸平面偏转角及侧面深度偏转角的人脸模型；

步骤6、从步骤1所述的脸谱纹样数据库中选取所需脸谱纹样，基于步骤5得到的人脸模型选取脸谱纹样控制点，按照偏差平方和最小值原则对脸谱纹样进行拟合，得到拟合曲线；

步骤7、结合二项式对拟合曲线进行变形得到对应人脸模型的脸谱纹样，并将脸谱纹样组合成脸谱模型；

步骤8、根据步骤5得到的鼻尖坐标、人脸平面偏转角及侧面深度偏转角来调整投影角度；

步骤9、基于步骤8得到的投影角度，将步骤7中的脸谱模型投影到人脸模型上。

2.如权利要求1所述的基于面部特征的脸谱的人脸投影方法，其特征在于，所述步骤1中，基于脸谱的基本造型、局部造型、色彩、勾画方式对脸谱进行分析。

3.如权利要求1所述的基于面部特征的脸谱的人脸投影方法，其特征在于，所述步骤2中，每秒获取含有人脸图像的视频帧的数目为25帧；

视频帧灰度化处理的方法为根据加权平均法对视频帧进行灰度化处理。

4.如权利要求1所述的基于面部特征的脸谱的人脸投影方法，其特征在于，所述步骤3中，灰度图像上的各个位置包括眼睛、鼻子、嘴和面部轮廓；所述步骤3中，每个Haar特征的特征值为Haar特征中白色矩阵像素和与黑色矩阵像素和的差值。

5.如权利要求1所述的基于面部特征的脸谱的人脸投影方法，其特征在于，所述步骤4包括：

步骤41、设定所有Haar特征为N个训练样本，每个训练样本对应一个弱分类器，其中M个反例，L个正例，N＝M+L；

步骤42、对N个训练样本赋予相同的权值；

步骤43、利用Adaboost算法进行t＝1,2,…,T次迭代，对每个Haar特征，训练一个弱分类器，并计算所有Haar特征的加权错误率；

步骤44、每次迭代完成后进行调整权值，更新每个训练样本的权值，被分类错误的训练样本的权值提高；

步骤45、经过T次迭代后得到一个具有最小加权错误率的弱分类器，加权得到强分类器，得到每个位置最优的特征点。

6.如权利要求1所述的基于面部特征的脸谱的人脸投影方法，其特征在于，所述步骤6中对脸谱纹样进行拟合的方法为：

在脸谱纹样的边缘选取多个控制点p_i(x_i,y_i)，其中i＝1,2,3,…,m，并得到近似曲线近似曲线在点p_i(x_i,y_i)处的偏差值δ_i为按着偏差值平方和最小的原则选取拟合曲线；所述偏差值平方和最小的原则为：

7.如权利要求1所述的基于面部特征的脸谱的人脸投影方法，其特征在于，在步骤7中，结合二项式对拟合曲线p(x)进行变形的公式为：

p(x)＝a₀+a₁x…+a_mx^m，其中m为控制点个数，a₀～a_m为待定系数。