CN105719248B - 一种实时的人脸变形方法及其系统 - Google Patents

Abstract

本公开涉及一种实时的人脸变形方法及其系统，所述方法检测图像中的人脸，通过自动识别方式确定要提取的特征点的数量；将检测的图像作为级联回归模型的输入，获取人脸特征点；确定多个要变形五官的特征点，基于确定的特征点及其影响半径，在各个变形五官的影响半径不完全相同的情况下，计算受变形影响的每个像素点的新位置和新灰度值；利用计算得到的每个像素点的新位置和新灰度值更新图像上相关的像素点。所述系统基于所述方法实现，方便方法的应用。本公开具有人脸特征点提取快、定位准确、人脸变形整体效果自然的特点。

Description

一种实时的人脸变形方法及其系统

技术领域

本公开涉及计算机图形图像处理领域，特别是一种实时的人脸变形方法及其系统。

背景技术

随着科技的发展，硬件设备的性能提升和图像处理技术的增强，使得很多摄像头设备可以自身进行图像处理，而其中一些图像处理可以产生哈哈镜的效果，但是当前这类处理都是基于静态图片，不能对视频进行实时处理，且大多存在图片中变化区域和不变区域的连接不自然的问题，使得处理后的图像整体效果不自然。

发明内容

针对上述部分问题，本公开提供了一种实时的人脸变形方法及系统，所述方法能够对实时视频中的人脸进行变形处理，并且处理后的人脸图像整体效果自然。所述系统基于所述方法实现，方便方法的应用。

提供了一种实时的人脸变形方法，所述方法包括下述步骤：

S100、检测图像中的人脸，通过自动识别方式确定要提取的特征点的数量；

S200、将检测的图像作为级联回归模型的输入，获取人脸特征点；

S300、确定多个要变形五官的特征点，基于确定的特征点及其影响半径，在各个变形五官的影响半径不完全相同的情况下，计算受变形影响的每个像素点的新位置和新灰度值；

S400、利用步骤S300中计算得到的每个像素点的新位置和新灰度值更新图像上相关的像素点。

基于所述方法，实现了一种实时的人脸变形系统，所述系统包括下述模块：

M100、人脸检测模块：检测图像中的人脸，通过自动识别方式确定要提取的特征点的数量；

M200、人脸特征点提取模块：将检测的图像作为级联回归模型的输入，获取人脸特征点；

M300、变形模块：确定多个要变形五官的特征点，基于确定的特征点及其影响半径，在各个变形五官的影响半径不完全相同的情况下，计算受变形影响的每个像素点的新位置和新灰度值；

M400、图像更新模块：利用M300中计算得到的每个像素点的新位置和新灰度值更新图像上相关的像素点。

附图说明

图1本公开一个实施例中的方法流程示意图；

图2本公开一个实施例中使用OpenGL GPU进行渲染的原理示意图。

具体实施方式

在一个基础的实施例中，提供了一种实时的人脸变形方法，所述方法包括下述步骤，如图1所示：

S100、检测图像中的人脸，通过自动识别方式确定要提取的特征点的数量；

S200、将检测的图像作为级联回归模型的输入，获取人脸特征点；

S300、确定多个要变形五官的特征点，基于确定的特征点及其影响半径，在各个变形五官的影响半径不完全相同的情况下，计算受变形影响的每个像素点的新位置和新灰度值；

S400、利用步骤S300中计算得到的每个像素点的新位置和新灰度值更新图像上相关的像素点。

在这个实施例中，采用上述方法可以对实时视频中的人脸进行变形处理，并且处理后的人脸图像整体效果自然。若处理的图像来自视频，可实时播放，因此可应用于手机、平板、带摄像头的广告机、带摄像头的电脑等场合。

在通过摄像头拍摄获得人脸后，检测人脸，并对人脸进行跟踪，对体现五官、人脸轮廓的特征点进行提取，所述特征点的数量可以是21点，106点，或者是196点。在提取到特征点后，可以基于多个要变形的五官的特征点，按照不同影响半径，计算变形区域像素点的几何位置变化，制作出一些变形效果，比如五官的放大缩小，脸型正反三角，方形圆形，嘴角上扬下垂等等，类似哈哈镜，可以变成独眼龙、蛤蟆嘴，大方脸，大鼻子，等等搞笑的结果。摄像机拍摄的同时，就对屏幕上的视频作出效果，完全实时。

这里的变形是指在人脸图像的一小部分区域内做变形，只改变某些范围的特征，但是保持其它区域不发生变化。在现有技术中常用的变形方法有：基于网格的变形，即在图像上嵌入一张网格，通过改变网格的形状实现图像变形，包括后续发展出的自由变形(FFD)和建立网格的层次结构等；基于特征线的变形，如Beier和Neely等人提出的根据像素点相对于图像中一系列线段的位置而决定变形的方法；基于散乱点插值的变形，即在图像上指定一系列点后，用径向基函数方法完成指定点对的插值。对后一个问题，主要使用插值技术来解决，包括三次卷积、sinc函数、线性函数和三次B样条等。

优选的，所述步骤S300中新灰度值计算使用双线性插值进行求解，可使变形自然。设(x,y)的4个最邻近像素为A，B，C，D，它们的坐标分别为(i,j)，(i+1,j)，(i,j+1),(i+1,j+1)，它们的灰度值分别为g(A)，g(B)，g(C)，g(D)，则插值点(x,y)的灰度值为：

G(x,y)＝(x-i){(y-j)[g(D)-g(B)]+g(B)-(y-j)[g(C)-g(A)]-g(A)}

+(y-j)[g(C)-g(A)]-g(A)

可选的，所述步骤S400中更新使用OpenGL GPU对视频帧图像进行渲染，加快图像更新。使用OpenGL GPU可以能够帮助得到更加流畅的界面体验，其处理过程如图2所示：像素和顶点数据可以选择存储在显示列表中，我们可以把显示列表看成是存储数据的媒介，用于加速渲染速度。顶点数据经过求值器，产生法向量、纹理坐标、点的空间坐标等，通过顶点操作和图元装配，生成相应的像素信息，进行光栅化处理，光栅化是把几何和像素数据转化成片段，每个片段块对应帧缓冲区中的一个像素。其中，顶点操作和图元装配中又可以细分出一条渲染管线，这里称为顶点处理管线。在光栅化完成后，还可以根据命令，对每个像素进行处理，最后写入帧缓冲区内。

优选的，所述自动识别方式根据检测到的人脸区域的清晰度来确定要采集的特征点的数量，以满足实时性的要求。更优地，所述人脸区域的清晰度通过采用图像模糊检测方法来度量。本申请不限制具体的方法，可以采用现有技术中的适当图像模糊检测方法。

可选的，所述自动识别方式考虑实施本公开方法的硬件性能确定，以满足实时性的要求。

在一个实施例中，所述步骤S100在检测到图像中的人脸之后，还包括进行跟踪检测；所述跟踪检测，用于判断当前检测到的人脸是否与先前检测到的人脸相同。

优选的，所述步骤S300在跟踪检测到相同人脸时，利用之前已提取的同一人脸的特征点结合当前人脸角度进行特征点匹配。对同一人脸提高人脸特征提取速度，以保证人脸变形的呈现实时流畅。

可选的，所述跟踪检测的步骤包括：

S311、计算当前检测到人脸的人脸区域与先前检测到人脸的人脸区域的面积重合度；

S312、若所述面积重合度大于指定阈值，则认为当前检测到人脸与先前检测到的人脸相同。

在一个实施例中，所述步骤S300中的级联回归模型包括N个回归器，每个回归器上的参数矩阵Wi需满下列要求：

其中：

K是输入的人脸图片样本数目；

Xj是标定第j张人脸图片样本中的人脸形状；

是第j张人脸图片样本经过第i个回归器后的人脸形状；

是在人脸形状下的SURF特征；

λ是正则化参数。

所述SURF特征采用SURF算子提取，具有速度快，稳定性好的特点。所述回归器能够防止人脸形状过渡拟合匹配；通过多个回归器级联使用可以减少匹配时的偏差。优选的，λ取值0.1。

优选的，所述级联回归模型通过下述步骤进行训练：

S301、采集大量人脸图片样本数据，并对人脸图片进行人工特征点标记，所标记的特征点包括眼球中心点、眼角、鼻尖、嘴角9个特征点；

S302、根据标记的眼球中心点、眼角、鼻尖、嘴角9个特征点评估图片中的人脸角度；

S303、根据人脸角度范围判别正脸样本、左侧脸样本、右侧脸样本；

S304、将属于同一类型的样本作为级联回归模型的输入进行训练，分别获得正脸级联回归模型、左侧脸级联回归模型以及右侧脸级联回归模型。

在一个实施例中，基于所述方法，实现了一种实时的人脸变形系统，其特征在于，所述系统包括下述模块：

M100、人脸检测模块：检测图像中的人脸，通过自动识别方式确定要提取的特征点的数量；

M200、人脸特征点提取模块：将检测的图像作为级联回归模型的输入，获取人脸特征点；

M300、变形模块：确定多个要变形五官的特征点，基于确定的特征点及其影响半径，在各个变形五官的影响半径不完全相同的情况下，计算受变形影响的每个像素点的新位置和新灰度值；

M400、图像更新模块：利用M300中计算得到的每个像素点的新位置和新灰度值更新图像上相关的像素点。

在这个实施例中，所述系统可以对实时视频中的人脸进行变形处理，并且处理后的人脸图像整体效果自然。若处理的图像来自视频，可实时播放，因此可应用于手机、平板、带摄像头的广告机、带摄像头的电脑等场合。

在通过摄像头拍摄获得人脸后，检测人脸，并对人脸进行跟踪，对体现五官、人脸轮廓的特征点进行提取，所述特征点的数量可以是21点，106点，或者是196点。在提取到特征点后，可以基于多个要变形的五官的特征点，按照不同影响半径，计算变形区域像素点的几何位置变化，制作出一些变形效果，比如五官的放大缩小，脸型正反三角，方形圆形，嘴角上扬下垂等等，类似哈哈镜，可以变成独眼龙、蛤蟆嘴，大方脸，大鼻子，等等搞笑的结果。摄像机拍摄的同时，就对屏幕上的视频作出效果，完全实时。

这里的变形是指在人脸图像的一小部分区域内做变形，只改变某些范围的特征，但是保持其它区域不发生变化。在现有技术中常用的变形方法有：基于网格的变形，即在图像上嵌入一张网格，通过改变网格的形状实现图像变形，包括后续发展出的自由变形(FFD)和建立网格的层次结构等；基于特征线的变形，如Beier和Neely等人提出的根据像素点相对于图像中一系列线段的位置而决定变形的方法；基于散乱点插值的变形，即在图像上指定一系列点后，用径向基函数方法完成指定点对的插值。对后一个问题，主要使用插值技术来解决，包括三次卷积、sinc函数、线性函数和三次B样条等。

优选的，所述M300中新灰度值计算使用双线性插值进行求解，可使变形自然。设(x,y)的4个最邻近像素为A，B，C，D，它们的坐标分别为(i,j)，(i+1,j)，(i,j+1),(i+1,j+1)，它们的灰度值分别为g(A)，g(B)，g(C)，g(D)，则插值点(x,y)的灰度值为：

G(x,y)＝(x-i){(y-j)[g(D)-g(B)]+g(B)-(y-j)[g(C)-g(A)]-g(A)}

+(y-j)[g(C)-g(A)]-g(A)

可选的，所述M400中更新使用OpenGL GPU对视频帧图像进行渲染，加快图像更新。使用OpenGL GPU可以能够帮助得到更加流畅的界面体验，其处理过程如图2所示：像素和顶点数据可以选择存储在显示列表中，我们可以把显示列表看成是存储数据的媒介，用于加速渲染速度。顶点数据经过求值器，产生法向量、纹理坐标、点的空间坐标等，通过顶点操作和图元装配，生成相应的像素信息，进行光栅化处理，光栅化是把几何和像素数据转化成片段，每个片段块对应帧缓冲区中的一个像素。其中，顶点操作和图元装配中又可以细分出一条渲染管线，这里称为顶点处理管线。在光栅化完成后，还可以根据命令，对每个像素进行处理，最后写入帧缓冲区内。

优选的，所述自动识别方式根据检测到的人脸区域的清晰度来确定要采集的特征点的数量，以满足实时性的要求。更优地，所述人脸区域的清晰度通过采用图像模糊检测方法来度量。本申请不限制具体的方法，可以采用现有技术中的适当图像模糊检测方法。

可选的，所述自动识别方式考虑实施本公开方法的硬件性能确定，以满足实时性的要求。

在一个实施例中，所述M100在检测到图像中的人脸之后，还包括进行跟踪检测；所述跟踪检测，用于判断当前检测到的人脸是否与先前检测到的人脸相同。

优选的，所述步骤S300在跟踪检测到相同人脸时，利用之前已提取的同一人脸的特征点结合当前人脸角度进行特征点匹配。对同一人脸提高人脸特征提取速度，以保证人脸变形的呈现实时流畅。

可选的，所述跟踪检测的步骤包括：所述跟踪检测的步骤包括：

S311、计算当前检测到人脸的人脸区域与先前检测到人脸的人脸区域的面积重合度；

S312、若所述面积重合度大于指定阈值，则认为当前检测到人脸与先前检测到的人脸相同。

在一个实施例中，所述M300中的级联回归模型包括N个回归器，每个回归器上的参数矩阵W_i需满下列要求：

其中：

K是输入的人脸图片样本数目；

X_j是标定第j张人脸图片样本中的人脸形状；

是第j张人脸图片样本经过第i个回归器后的人脸形状；

是在人脸形状下的SURF特征；

λ是正则化参数。

所述SURF特征采用SURF算子提取，具有速度快，稳定性好的特点。所述回归器能够防止人脸形状过渡拟合匹配；通过多个回归器级联使用可以减少匹配时的偏差。优选的，λ取值0.1。

优选的，所述级联回归模型通过下述步骤进行训练：

S301、采集大量人脸图片样本数据，并对人脸图片进行人工特征点标记，所标记的特征点包括眼球中心点、眼角、鼻尖、嘴角9个特征点；

S302、根据标记的眼球中心点、眼角、鼻尖、嘴角9个特征点评估图片中的人脸角度；

S303、根据人脸角度范围判别正脸样本、左侧脸样本、右侧脸样本；

S304、将属于同一类型的样本作为级联回归模型的输入进行训练，分别获得正脸级联回归模型、左侧脸级联回归模型以及右侧脸级联回归模型。

以上对本公开进行了详细介绍，本文中应用了具体个例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的方法及其核心思想；同时，对于本领域技术人员，依据本公开的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本公开的限制。

Claims (10)

1.一种实时的人脸变形方法，其特征在于，所述方法包括下述步骤：

S100、检测图像中的人脸，通过自动识别方式确定要提取的特征点的数量，其中：所述图像为实时视频，所述自动识别方式根据检测到的人脸区域的清晰度来确定要采集的特征点的数量；

S200、将检测的图像作为级联回归模型的输入，获取人脸特征点；

S300、确定多个要变形五官的特征点，基于确定的特征点及其影响半径，在各个变形五官的影响半径不完全相同的情况下，计算受变形影响的每个像素点的新位置和新灰度值，其中，所述新灰度值的计算使用双线性插值进行求解；

S400、利用步骤S300中计算得到的每个像素点的新位置和新灰度值更新图像上相关的像素点。

2.根据权利要求1所述的方法，其特征在于，所述步骤S400中更新使用OpenGL GPU对图像进行渲染。

3.根据权利要求1所述的方法，其特征在于，所述步骤S100在检测到图像中的人脸之后，还包括进行跟踪检测；所述跟踪检测，用于判断当前检测到的人脸是否与先前检测到的人脸相同。

4.根据权利要求3所述的方法，其特征在于，所述步骤S300在跟踪检测到相同人脸时，利用之前已提取的同一人脸的特征点结合当前人脸进行特征点匹配。

5.根据权利要求3～4任一所述的方法，其特征在于，所述跟踪检测的步骤包括：

S311、计算当前检测到人脸的人脸区域与先前检测到人脸的人脸区域的面积重合度；

S312、若所述面积重合度大于指定阈值，则认为当前检测到人脸与先前检测到的人脸相同。

6.一种实时的人脸变形系统，其特征在于，所述系统包括下述模块：

M100、人脸检测模块：检测图像中的人脸，通过自动识别方式确定要提取的特征点的数量，其中：所述图像为实时视频，所述自动识别方式根据检测到的人脸区域的清晰度来确定要采集的特征点的数量；

M200、人脸特征点提取模块：将检测的图像作为级联回归模型的输入，获取人脸特征点；

M300、变形模块：确定多个要变形五官的特征点，基于确定的特征点及其影响半径，在各个变形五官的影响半径不完全相同的情况下，计算受变形影响的每个像素点的新位置和新灰度值，其中，所述新灰度值的计算使用双线性插值进行求解；

M400、图像更新模块：利用M300中计算得到的每个像素点的新位置和新灰度值更新图像上相关的像素点。

7.根据权利要求6所述的系统，其特征在于，所述M400中更新使用OpenGL GPU对图像进行渲染。

8.根据权利要求6所述的系统，其特征在于，所述M100在检测到图像中的人脸之后，还包括进行跟踪检测；所述跟踪检测，用于判断当前检测到的人脸是否与先前检测到的人脸相同。

9.根据权利要求8所述的系统，其特征在于，所述M300在跟踪检测到相同人脸时，利用之前已提取的同一人脸的特征点结合当前人脸角度进行特征点匹配。

10.根据权利要求8～9任一所述的系统，其特征在于，所述跟踪检测的步骤包括：

S311、计算当前检测到人脸的人脸区域与先前检测到人脸的人脸区域的面积重合度；

S312、若所述面积重合度大于指定阈值，则认为当前检测到人脸与先前检测到的人脸相同。