CN108446671A - 一种人脸追踪方法及系统 - Google Patents

Abstract

本发明公开一种人脸追踪方法及系统，所述方法包括：获取人脸图像；提取所述人脸图像的各特征点，构成特征点集合；去除所述特征点集合中的干扰点，获得关键点集合；确定所述关键点集合中的各关键点的方向；根据各关键点的方向确定特征关键点；根据各所述特征关键点建立人脸3D模型；根据所述人脸3D模型和人脸矩阵转换进行人脸追踪。本发明提供的方法通过人脸特征点的获取、人脸矩阵的变换、模型匹配人脸特征点，可快速、准确实现人脸的追踪。

Description

一种人脸追踪方法及系统

技术领域

本发明涉及人脸识别领域，特别是涉及一种人脸追踪方法及系统。

背景技术

面貌跟踪是指对被检测到的面貌进行动态目标跟踪，具体采用基于模型的方法或基于运动与模型相结合的方法。通过多个客户端搜索在自身位置的的预设范围内的虚拟人物模型，可获取人物的脸型图像及其定位信息。

现代的生物识别技术已经达到了一定的高度，人们追求更复杂环境中的识别效果，而目前的人脸跟踪系统无法充分满足人们的这一需求。

发明内容

本发明的目的是提供一种人脸追踪方法及系统，用来提高人脸追踪的准确度。

为实现上述目的，本发明提供了如下方案：

一种人脸追踪方法，所述方法包括：

获取人脸图像；

提取所述人脸图像的各特征点，构成特征点集合；

去除所述特征点集合中的干扰点，获得关键点集合；

确定所述关键点集合中的各关键点的方向；

根据各关键点的方向确定特征关键点；

根据各所述特征关键点建立人脸3D模型；

根据所述人脸3D模型和人脸矩阵转换进行人脸匹配。

可选的，所述提取所述人脸图像的各特征点，具体包括：

利用不同尺度的高斯差分核与所述人脸图像卷积生成高斯图；

提取所述高斯图中的极值点。

可选的，所述去除所述特征点集合中的干扰点，具体包括：

判断各所述特征点是否为处于所述人脸图像的边缘，得到判断结果；

若所述判断结果表示所述特征点处于所述人脸图像的边缘，从所述特征点集合中删除所述特征点。

可选的，所述确定所述关键点集合中的各关键点的方向，具体包括：

采用高斯函数对各所述关键点进行加权处理；

计算加权处理后的各所述关键点的方向直方图；

确定所述方向直方图的主峰值所在的方向为所述关键点的主方向。

可选的，在所述确定所述方向直方图的峰值为所述关键点的主方向之后，还包括：

确定所述方向直方图的主峰值的80％所在的方向为辅方向。

可选的，所述根据各关键点的方向确定特征关键点，具体包括：

以各所述关键点为中心，旋转所述高斯图，旋转角为各所述关键点的方向；

对旋转后的高斯图进行插值处理；

对插值处理后的高斯图进行归一化处理；

提取归一化处理后的高斯图的特征点。

一种人脸追踪系统，所述系统包括：

人脸图像获取模块，用于获取人脸图像；

特征点提取模块，用于提取所述人脸图像的各特征点，构成特征点集合；

干扰点去除模块，用于去除所述特征点集合中的干扰点，获得关键点集合；

方向确定模块，用于确定所述关键点集合中的各关键点的方向；

特征关键点确定模块，用于根据各关键点的方向确定特征关键点；

人脸3D模型建立模块，用于根据各所述特征关键点建立人脸3D模型；

人脸匹配模块，用于根据所述人脸3D模型和人脸矩阵转换进行人脸匹配。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供了一种人脸追踪方法及系统，该方法通过人脸特征点的获取、人脸矩阵的变换、模型匹配人脸特征点，可快速、准确实现人脸的追踪。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的人脸跟踪方法的流程图；

图2为本发明的人脸跟踪系统的结构连接图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种人脸追踪方法及系统，该方法通过人脸特征点的获取、人脸矩阵的变换、模型匹配人脸特征点，可快速、准确实现人脸的追踪。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明提供了一种人脸追踪方法，图1为本发明的人脸跟踪方法的流程图。如图1所示，所述方法包括：

步骤11：获取人脸图像；

步骤12：提取所述人脸图像的各特征点，构成特征点集合；具体包括：

步骤121：利用不同尺度的高斯差分核与所述人脸图像卷积生成高斯图；

步骤122：提取所述高斯图中的极值点。

步骤13：去除所述特征点集合中的干扰点，获得关键点集合；具体包括：

步骤131：判断各所述特征点是否为处于所述人脸图像的边缘，得到判断结果；

步骤132：若所述判断结果表示所述特征点处于所述人脸图像的边缘，从所述特征点集合中删除所述特征点。

步骤14：确定所述关键点集合中的各关键点的方向；具体包括：

步骤141：采用高斯函数对各所述关键点进行加权处理；

步骤142：计算加权处理后的各所述关键点的方向直方图；

步骤143：确定所述方向直方图的主峰值所在的方向为所述关键点的主方向。

步骤144：确定所述方向直方图的主峰值的80％所在的方向为辅方向。

步骤15：根据各关键点的方向确定特征关键点；具体包括：

步骤151：以各所述关键点为中心，旋转所述高斯图，旋转角为各所述关键点的方向；

步骤152：对旋转后的高斯图进行插值处理；

步骤153：对插值处理后的高斯图进行归一化处理；

步骤154：提取归一化处理后的高斯图的特征点。

步骤16：根据各所述特征关键点建立人脸3D模型；

步骤17：根据所述人脸3D模型和人脸矩阵转换进行人脸匹配。

本发明还提供了一种人脸追踪系统，图2为本发明的人脸跟踪系统的结构连接图。如图2，所述系统包括：

人脸图像获取模块21，用于获取人脸图像；

特征点提取模块22，用于提取所述人脸图像的各特征点，构成特征点集合；

干扰点去除模块23，用于去除所述特征点集合中的干扰点，获得关键点集合；

方向确定模块24，用于确定所述关键点集合中的各关键点的方向；

特征关键点确定模块25，用于根据各关键点的方向确定特征关键点；

人脸3D模型建立模块26，用于根据各所述特征关键点建立人脸3D模型；

人脸匹配模块27，用于根据所述人脸3D模型和人脸矩阵转换进行人脸匹配。

本发明提供的完整技术方案

1、人脸参数特征点提取:

构建DOG尺度空间：在视觉信息处理模型中引入一个被视为尺度的参数，通过连续变化尺度参数获得不同尺度下的视觉处理信息，然后综合这些信息以深入地挖掘图像的本质特征(主要就是包括人脸的主要特征，眼镜，鼻子，嘴巴，耳朵等特征)。尺度空间方法将传统的单尺度视觉信息处理技术纳入尺度不断变化的动态分析框架中，因此更容易获得图像的本质特征。尺度空间的生成目的是模拟图像数据多尺度特征。尺度空间中各尺度图像的模糊程度逐渐变大，能够模拟人在距离目标由近到远时目标在视网膜上的形成过程。大尺度对应图像的概貌特征，小尺度对应图像的细节特征。所以对不同尺度的图像检测关键点，最终得到的sift特征点具有尺度不变性。尺度空间是客观存在的，我们使用高斯卷积的形式来表现尺度空间。为了有效的在尺度空间检测到稳定的关键点，提出了高斯差分尺度空间(DOG scale-space)。利用不同尺度的高斯差分核与图像卷积生成。对于一幅图像，建立其在不同尺度scale下的图像，也称为octave，这是为了scale-invariant，也就是在任何尺度都能有对应的特征点。

2、关键点搜索和定位:(定位是指在算法中会设置有特别的识别点，可以增强定位的准确性)

为了寻找尺度空间的极值点，每一个采样点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。除了DoG响应较低的点，还有一些响应较强的点也不是稳定的特征点。DoG对图像中的边缘有较强的响应值，所以落在图像边缘的点也不是稳定的特征点。一个平坦的DoG响应峰值在横跨边缘的地方有较大的主曲率，而在垂直边缘的地方有较小的主曲率。边缘效应的删除能够更进一步的得到稳定的特征点。因为一个物体的边缘在不同的图像中或者在同一副图像中都可能会有变化。一个正方形，在一幅图像中可以是两条水平线以及两条垂直的线组成，而在另一幅图像中，可以是有角度的旋转，类似于普通菱形。而其实它们都是同一个图像，如果利用边缘去做识别的话，因为4条边完全不一样，那就有可能识别错误。所以我们需要将这些边缘特征尽可能的删除，留下最具代表性的角上的点。在SIFT中，DOG算子近似拉普拉斯算子，对边缘都有很强的检测效果，那当然需要从这些特征点中删除哪些是具有强边缘效应的点。

3、方向赋值:

为了实现图像的旋转不变性，需要根据检测到的关键点的局部图像结构为特征点方向赋值。方向直方图的核心是统计以关键点为原点，一定区域内的图像像素点对关键点方向生成所做的贡献。在计算直方图时，每个加入直方图的采样点都使用圆形高斯函数函数进行了加权处理，也就是进行高斯平滑。这主要是因为SIFT算法只考虑了尺度和旋转不变形，没有考虑仿射不变性。通过高斯平滑，可以使关键点附近的梯度幅值有较大权重，从而部分弥补没考虑仿射不变性产生的特征点不稳定。直方图峰值代表该关键点邻域内图像梯度的主方向，当存在另一个相当于主峰值80％能量的峰值时，则认为这个方向是该关键点的辅方向。所以一个关键点可能检测得到多个方向，这可以增强匹配的鲁棒性。

关键点描述子的生成:

这个描述子不但包括关键点，也包括关键点周围对其有贡献的像素点。这样可使关键点有更多的不变特性，提高目标匹配效率。特征描述子与关键点所在尺度有关，因此对梯度的求取应在特征点对应的高斯图像上进行。在opencv中旋转图片时，旋转后的图片中会出现许多白点，对这些白点进行填充，就是插值处理。在二维图像中，就是做双线性插值。为了使sift特征点具有旋转不变性，要以特征点为中心，在附近邻域内旋转θ角，即旋转为特征点的方向。特征向量形成后，为了去除光照变化的影响，需要对它们进行归一化处理，最后提取出特征关键点。

4、人脸矩阵转换:

变换矩阵是数学线性代数中的一个概念。在线性代数中，线性变换能够用矩阵表示。任意线性变换都可以用矩阵表示为易于计算的一致形式，并且多个变换也可以很容易地通过矩阵的相乘连接在一起。线性变换不是唯一可以用矩阵表示的变换。R维的仿射变换与透视投影都可以用其次坐标表示为RP维(即n+1维的真实投影空间)的线性变换。因此，在三维计算机图形学中大量使用着4x4的矩阵变换。使用矩阵转换达到人脸特征关键点的实时变化跟踪。

通过人脸特征关键点建立人脸3D模型，使提取出的人脸68个特征关键点跟人脸3D模型相匹配，利用人脸矩阵转换，达到3D跟踪效果。

对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种人脸追踪方法，其特征在于，所述方法包括：

获取人脸图像；

提取所述人脸图像的各特征点，构成特征点集合；

去除所述特征点集合中的干扰点，获得关键点集合；

确定所述关键点集合中的各关键点的方向；

根据各关键点的方向确定特征关键点；

根据各所述特征关键点建立人脸3D模型；

根据所述人脸3D模型和人脸矩阵转换进行人脸匹配。

2.根据权利要求1所述的人脸追踪方法，其特征在于，所述提取所述人脸图像的各特征点，具体包括：

利用不同尺度的高斯差分核与所述人脸图像卷积生成高斯图；

提取所述高斯图中的极值点。

3.根据权利要求1所述的人脸追踪方法，其特征在于，所述去除所述特征点集合中的干扰点，具体包括：

判断各所述特征点是否为处于所述人脸图像的边缘，得到判断结果；

若所述判断结果表示所述特征点处于所述人脸图像的边缘，从所述特征点集合中删除所述特征点。

4.根据权利要求1所述的人脸追踪方法，其特征在于，所述确定所述关键点集合中的各关键点的方向，具体包括：

采用高斯函数对各所述关键点进行加权处理；

计算加权处理后的各所述关键点的方向直方图；

确定所述方向直方图的主峰值所在的方向为所述关键点的主方向。

5.根据权利要求4所述的人脸追踪方法，其特征在于，在所述确定所述方向直方图的峰值为所述关键点的主方向之后，还包括：

确定所述方向直方图的主峰值的80％所在的方向为辅方向。

6.根据权利要求2所述的人脸追踪方法，其特征在于，所述根据各关键点的方向确定特征关键点，具体包括：

以各所述关键点为中心，旋转所述高斯图，旋转角为各所述关键点的方向；

对旋转后的高斯图进行插值处理；

对插值处理后的高斯图进行归一化处理；

提取归一化处理后的高斯图的特征点。

7.一种人脸追踪系统，其特征在于，所述系统包括：

人脸图像获取模块，用于获取人脸图像；

特征点提取模块，用于提取所述人脸图像的各特征点，构成特征点集合；

干扰点去除模块，用于去除所述特征点集合中的干扰点，获得关键点集合；

方向确定模块，用于确定所述关键点集合中的各关键点的方向；

特征关键点确定模块，用于根据各关键点的方向确定特征关键点；

人脸3D模型建立模块，用于根据各所述特征关键点建立人脸3D模型；

人脸匹配模块，用于根据所述人脸3D模型和人脸矩阵转换进行人脸匹配。