CN103377367A - 面部图像的获取方法及装置 - Google Patents

Abstract

本发明公开了一种面部图像的获取方法及装置，其中，上述方法包括：获取视频数据中面部图像所在帧的特征点；根据所述视频数据中当前面部图像所在帧与上一面部图像所在帧的相关系数对获取的当前面部图像所在帧的特征点以及上一面部图像所在帧的特征点进行加权求和，得到加权后的特征点；根据加权后的特征点对面部表情动作进行模拟，得到所述当前面部图像所在帧的面部图像。采用本发明提供的上述技术方案，解决了相关技术中，特征点定位不准确等技术问题，从而获得了较为稳定的特征点跟踪结果，减少了特征点定位偏差对面部图像的影响。

Description

面部图像的获取方法及装置

技术领域

本发明涉及通信领域，具体而言，涉及一种面部图像的获取方法及装置。

背景技术

人脸的表情动作是人类表达情感的基础和情感交流的途径。随着计算机视觉技术的发展，人脸动作识别在人机交互、二维和三维人脸动画、心理学以及认知学等诸多领域发挥了重要的作用。由于面部的动作变化是非刚体运动且受面部个体差异、视角变化、光照不均等因素影响，如何让计算机自动捕捉人类情感表达并有效储存和交换是一项富有挑战的任务，而基于高精度、高效率人脸特征点提取系统的人脸动作捕获和表情动作模拟是其中最关键和基础的部分。

通常的人脸特征点提取主要包括人脸检测、特征点定位和跟踪等部分，目前有很多方法可以实时检测人脸，而且检测准确率也较高，如：adaboost算法。主动形状模型(Active ShapeModels，简称为ASM)方法可以定位人脸的多个特征点，且速度快因而被广泛地应用于特征点定位；最后根据定位的特征点相对位置关系来模拟人脸的表情和动作。

在视频序列的人脸特征点提取中，由于视频序列中人脸目标的运动等因素使得特征点的定位不够准确，不同的帧定位出的特征点之间存在误差。

针对相关技术中的上述问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中，特征点定位不准确等问题，本发明提供了一种面部图像的获取方法及装置，以至少解决上述问题。

根据本发明的一个方面，提供了一种面部图像的获取方法，包括：获取视频数据中面部图像所在帧的特征点；根据所述视频数据中当前面部图像所在帧与上一面部图像所在帧的相关系数对获取的当前面部图像所在帧的特征点以及上一面部图像所在帧的特征点进行加权求和，得到加权后的特征点；根据加权后的特征点对面部表情动作进行模拟，得到所述当前面部图像所在帧的面部图像。

在获取视频数据中面部图像所在帧的特征点之前，还包括：根据对比度限制的自适应去光照算法，对所述面部图像进行去光照处理。

对所述面部图像进行去光照处理之前，还包括：对当前视频数据进行人脸检测，确定人脸所在区域，将所述人脸所在区域的面部图像作为去光照处理的对象。

上述获取视频数据中面部图像所在帧的特征点，包括：将当前面部图像所在帧的人脸形状作为确定下一面部图像所在帧人脸形状的初始形状；根据该初始形状获取下一面部图像所在帧的特征点。

根据该初始形状获取下一面部图像所在帧的特征点，包括：获取当前帧的面部图像的角度信息；根据所述角度信息旋转下一面部图像所在帧人脸形状的初始形状得到当前面部图像所在帧的特征点。

根据加权后的特征点对面部表情动作进行模拟之前，还包括：对当前帧特征点所在区域的图像进行人脸校验，其中，在校验结果为人脸的情况下，对面部表情动作进行模拟。

根据加权后的特征点对面部表情动作进行模拟，得到所述当前帧的面部图像包括：根据加权后的特征点和上一帧的特征点的相关性进行表情参数编码；根据编码后的表情参数和上一帧面部图像获取所述当前帧的面部图像。

根据本发明的另一方面，提供了一种面部图像的获取装置，包括：获取模块，用于获取视频数据中面部图像所在帧的特征点；加权模块，用于根据所述视频数据中当前面部图像所在帧与上一面部图像所在帧的相关系数对获取的当前面部图像所在帧的特征点以及上一面部图像所在帧的特征点进行加权求和，得到加权后的特征点；模拟模块，用于根据加权后的特征点对面部表情动作进行模拟，得到所述当前面部图像所在帧的面部图像。

上述装置，还包括：去光照处理模块，用于根据对比度限制的自适应去光照算法，对所述面部图像进行去光照处理。

上述获取模块包括：确定单元，用于将当前面部图像所在帧的人脸形状作为确定下一面部图像所在帧人脸形状的初始形状；第一获取单元，用于根据该初始形状获取下一面部图像所在帧的特征点。

上述模拟模块包括：编码单元，用于根据加权后的特征点和上一帧的特征点的相关性进行表情参数编码；第二获取单元，用于根据编码后的表情参数和上一帧面部图像获取所述当前帧的面部图像。

通过本发明，利用当前面部图像所在帧与上一面部图像所在帧的相关系数对两帧的图像进行加权求和的技术手段，解决了相关技术中，特征点定位不准确等技术问题，从而获得了较为稳定的特征点跟踪结果，减少了特征点定位偏差对面部图像的影响。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为根据本发明实施例面部图像的获取方法的流程图；

图2为根据本发明实施例的面部图像的获取装置的结构框图；

图3为根据本发明优选实施例的面部图像的获取装置的结构示意图；

图4为根据本发明实施例1的面部图像的获取方法的流程示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明实施例针对视频数据进行自动的人脸检测、跟踪并分析出每一帧内正面人脸的特征点位置，最后分析特征点运动完成表情动作模拟。在视频序列的人脸特征点提取中，由于光照的影响，视频序列中人脸目标的运动等使得特征点的定位不够准确，不同的帧定位出的特征点之间存在误差，考虑到上述问题，本发明实施例提出一种面部图像的获取方法。图1为根据本发明实施例面部图像的获取方法的流程图。如图1所示，该方法包括：

步骤S102，获取视频数据中面部图像所在帧的特征点；

步骤S104，根据视频数据中当前面部图像所在帧与上一面部图像所在帧的相关系数对获取的当前面部图像所在帧的特征点以及上一面部图像所在帧的特征点进行加权求和，得到加权后的特征点；

步骤S106，根据加权后的特征点对面部表情动作进行模拟，得到当前面部图像所在帧的面部图像。

通过上述处理步骤，由于采用了利用当前面部图像所在帧与上一面部图像所在帧的相关系数对两帧的图像进行加权求和的技术手段，因此，可以获得较为稳定的特征点跟踪结果，减少了特征点定位偏差对面部图像的影响。

步骤S104中的加权求和过程，在具体实施时，可以表现为以下形式：将连续两帧的去光照后的人脸区域图像进行对比，求得前后两帧的人脸图像的相关系数。如果两帧图像中人脸的相关系数小于一定值，则判定该人脸处于静止状态。用当前帧的特征点坐标与前一帧的特征点坐标进行加权，来抵消图像噪声对特征点定位造成的偏差。当人脸处于静止状态时，当前坐标的权重较小，以保证特征点位置的稳定。当处于运动状态时，当前坐标的权重较大，以保证特征点位置的变化能正确反映到动作参数中。简而言之，即对特征点跟踪结果进行后处理，根据前后两帧去光照后的人脸图像的相关系数来确定特征点坐标的加权系数，通过对前后两帧的特征点坐标加权来获得稳定的跟踪结果。

为了有效抑制视频中光照变化对人脸特征点提取的干扰，在步骤S102之前，即获取视频数据中面部图像所在帧的特征点之前，还可以包括以下处理过程：根据对比度限制的自适应去光照算法，对所述面部图像进行去光照处理。上述去光照处理的过程在具体实施时可以采用以下处理过程实现：

在利用相关技术的人脸检测器检测得到人脸的位置和大小后，对检测到的人脸图像进行去光照的增强处理。其中，对比度增强的幅度是根据人脸图像进行自适应的调整得到的，当人脸图像画质较差，细节不明显的时候，对比度增强的幅度较大。当人脸图像画质较好，细节较为明显时，对比度增强的幅度则较小。增强后得到的图像就是去光照处理后的图像。

由于上述去光照处理过程，采用了对比度限制的自适应去光照算法(即基于对比度限制的自适应直方图均衡的去光照算法)对检测到的人脸部分进行处理，在保证了人脸检测不受干扰的情况下，减小了处理的图像范围，提高了运算效率，并且有效抑制了视频中光照变化对于人脸特征点提取的干扰。

在本发明的一个优选实施过程中，在对所述面部图像进行去光照处理之前，可以包括以下处理过程：对当前视频数据进行人脸检测，确定人脸所在区域，将所述人脸所在区域的面部图像作为去光照处理的对象。在具体实施时，可以表现为以下形式：

在给定的视频图像中检测人脸并用矩形标注人脸的位置和大小。正如上面所述，可以采用相关技术中的人脸检测器来实现对人脸的检测：人脸检测器采用组合adaboost算法对视频图像进行人脸检测，给出人脸所在的矩形区域的位置，即矩形的中心、宽高与角度。然后利用人脸的肤色特征，对人脸检测的结果进行验证。

步骤S102中，获取视频数据中面部图像所在帧的特征点，包括以下处理过程：将当前面部图像所在帧的人脸形状作为确定下一面部图像所在帧人脸形状的初始形状；根据该初始形状获取下一面部图像所在帧的特征点。其中，根据该初始形状获取下一面部图像所在帧的特征点，包括：获取当前帧的面部图像的角度信息；根据所述角度信息旋转下一面部图像所在帧人脸形状的初始形状得到下一面部图像所在帧的特征点。上述处理过程在具体实施时，可以表现为以下形式：

在得到去光照的人脸图像后，利用相关技术中的特征点定位器确定ASM算法的初始形状，然后迭代搜索来定位人脸的关键特征点：本实施例利用人脸检测获取的角度信息初始化首次或重新启用的特征点定位器，可有效缩短特征点定位器ASM迭代的次数；由于本实施例处理的对象是视频序列，连续两个视频帧中的人脸形状差异不大，可以利用ASM模型的前一帧定位结果和运动参数预测后一帧ASM模型位置作为后一帧迭代的初始形状，可以提高定位精度和运行效率。

上述处理过程，由于利用人脸角度检测帮助定位初始形状的位置，减少了在定位过程中的迭代次数，同时也有效的提高了特征点定位的精确性，避免了由于迭代次数不够而产生的特征点定位错误。

由于特征点的跟踪和定位可能存在错误，所以在进行特征点的定位之后需要进行校验：在根据加权后的特征点对面部表情动作进行模拟之前，包括以下处理过程：对当前特征点所在区域的图像进行人脸检测，其中，在检测结果为人脸的情况下(即特征点的跟踪定位结果为正确)，对面部表情动作进行模拟。上述处理过程使用了人脸的校验方法防止了定位和跟踪可能出现的错误，并且和人脸检测使用同样的算法，但是只检测定位到的人脸区域，保证了处理效率。

根据加权后的特征点对面部表情动作进行模拟，得到所述当前帧的面部图像包括：根据加权后的特征点和上一帧的特征点的相关性进行表情参数编码；根据编码后的表情参数和上一帧面部图像获取所述当前帧的面部图像。其中，上述根据当前帧的特征点和上一帧的特征点的相关性进行表情参数编码，包括：根据当前帧的特征点和上一帧的特征点的差值以及上一帧的特征点位置，确定当前帧的特征点位置；根据编码后的表情参数和上一帧面部图像获取所述当前帧的面部图像，包括：根据编码后的表情参数和上一帧的特征点位置对上一帧的面部图像进行三角形插值，得到所述当前帧的面部图像。上述处理过程，利用相邻帧之间数据相关性对表情参数编码和三角形插值，可以减少视频编码数据量，提高表情动作模拟的效塞

在本实施例中还提供了一种面部图像的获取装置，用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述，下面对该装置中涉及到模块进行说明。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。图2为根据本发明实施例的面部图像的获取装置的结构框图。如图2所示，该装置包括：

获取模块20，连接至加权模块22，用于获取视频数据中面部图像所在帧的特征点；

加权模块22，连接至模拟模块24，用于根据视频数据中当前面部图像所在帧与上一面部图像所在帧的相关系数对获取的当前面部图像所在帧的特征点以及上一面部图像所在帧的特征点进行加权求和，得到加权后的特征点；

模拟模块24，用于根据加权后的特征点对面部表情动作进行模拟，得到所述当前面部图像所在帧的面部图像。

在本发明的一个优选实施方式中，如图3所示，上述装置还包括：去光照处理模块26，与获取模块20相连，用于根据对比度限制的自适应去光照算法，对所述面部图像进行去光照处理。

优选地，如图3所示，上述获取模块20包括：确定单元200，连接至第一获取单元202，用于将当前面部图像所在帧的人脸形状作为确定下一面部图像所在帧人脸形状的初始形状；第一获取单元202，用于根据该初始形状获取下一面部图像所在帧的特征点。

优选地，如图3所示，上述模拟模块24包括：编码单元240，连接至第二获取单元242，用于根据加权后的特征点和上一帧的特征点的相关性进行表情参数编码；第二获取单元242，用于根据编码后的表情参数和上一帧面部图像获取所述当前帧的面部图像

为了更好地理解上述实施例及其优选实施例，以下结合相关附图和具体实施例详细说明。以下实施例涉及一种图像处理技术领域的人脸特征点提取与人脸面部表情动作模拟方案，具体为一种基于特征点分布的人脸形状模型，通过统计推理来确定人脸特征点位置以及表情动作模拟的方案。以下实施例的主要设计思想在于，首先利用人脸检测器检测到的人脸的位置和大小，并对可能出现的视频不良进行补偿，建立人脸关键特征点的灰度梯度模型和人脸形状模型，利用人脸特征点定位器进行特征点局部梯度匹配和全局生成模型得到人脸特征点，最后根据当前图像中人脸特征点与基准人脸形状间的差异来判断当前图像中人脸的动作，并予以编码和表情动作模拟。

实施例1

图4为根据本发明实施例1的面部图像的获取方法的流程示意图。如图4所示，该流程包括：

步骤S402，用人脸检测器进行人脸检测，然后提取人脸框的中心1/4面积区域，然后计算中心区域中各像素的色度分量Cr和Cb值。如果中心区域的Cr和Cb符合要预定规则(即检测到人脸)，则将其判定为最终的人脸结果，转步骤S404，然后执行步骤S406进行特征点定位。如果检测结果中出现多个人脸，选择与上一帧图像中检测到的人脸位置最接近的人脸。如果是视频的第一帧，则选取最靠近图像中心的人脸。如果没有检测到人脸，则继续检测。

步骤S404，对检测到的人脸区域图像进行补偿。采用对比度限制的自适应直方图均衡化算法对已经得到的人脸区域图像进行去光照增强处理，然后对人脸图像进行人脸角度检测，得到人脸的倾斜角度。

步骤S406，采用相关技术中的特征点定位器进行人脸特征点定位。如果当前定位的是第一帧图像或者前一帧定位失败，则当前帧ASM特征点定位的初始形状由人脸检测器结果得到，否则把前一帧定位结果作为初始形状，步骤S404中的倾斜角度旋转初始形状后开始迭代搜索得到各个关键特征点的位置。

步骤S408，将第t帧(当前帧)的特征点坐标与第t-1帧(当前帧的上一帧)的特征点坐标进行加权求和，加权系数由前后两帧中人脸图像的相关系数来决定。将前后两帧人脸图像归一化到相同的尺寸(实施中以后一帧的尺寸为准)，然后求两幅人脸图像的相关系数。如果相关系数大于高阈值Θ₁，则认为人脸处于静止状态；如果相关系数低于低阈值Θ₂，则认为人脸处于运动状态，特征点坐标完全以当前帧的跟踪结果为准。如果运动像素比例处于Θ₁和Θ₂之间，假设人脸处于运动与静止之间的模糊状态，实施中用线性插值获得加权系数。实施中可以设置Θ₁＝0.9，Θ₂＝0.7。

步骤S410，进行人脸校验。人脸校验是指将得到的特征点人脸区域的图像再次进行人脸检测，如果检测结果为人脸(即校验正确)，则认为跟踪定位结果为正确，并将该跟踪定位结果的人脸形状作为下一帧初始形状，转步骤S412。否则认为定位错误(即校验错误)，流程结束。具体为：将定位到的特征点以眼睛和嘴巴的特征点中心坐标为中心，嘴巴到眼睛距离两倍长度为边长的正方形图像进行人脸检测。

步骤S412，根据得到特征点的残差和上一帧图像确定当前帧特征点位置坐标，然后利用相邻帧坐标关系进行三角形划分和插值得到当前帧图像，并为下一帧图像提供参考，流程结束。

综上所述，本发明上述实施例至少实现了以下有益效果：1.采用了基于对比度限制的自适应的去光照算法(例如自适应的直方图均衡去光照算法)对检测到的人脸部分进行处理，在保证了人脸检测不受干扰的情况下，减小了处理的图像范围，提高了运算效率，并且有效抑制了视频中光照变化对于人脸特征点提取的干扰。2.利用基于帧间相关性对特征点跟踪结果进行后处理，根据前后两帧去光照后的人脸图像的相关系数来确定特征点坐标的加权系数，通过对前后两帧的特征点坐标加权来获得稳定的跟踪结果。3.利用人脸角度检测帮助定位初始形状的位置，减少了在定位过程中的迭代次数，同时也有效的提高了特征点定位的精确性。避免了很多由于迭代次数不够而产生的特征点定位错误。4.使用了人脸的校验方法防止了定位和跟踪可能出现的错误，并且和人脸检测使用同样的算法，但是只检测定位到的人脸区域，效率上也有所保证。5.利用相邻帧之间数据相关性对表情参数编码和三角形插值，可以减少视频编码数据量，提高表情动作模拟的效率。

在另外一个实施例中，还提供了一种软件，该软件用于执行上述实施例及优选实施方式中描述的技术方案。

在另外一个实施例中，还提供了一种存储介质，该存储介质中存储有上述软件，该存储介质包括但不限于：光盘、软盘、硬盘、可擦写存储器等。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种面部图像的获取方法，其特征在于，包括：

获取视频数据中面部图像所在帧的特征点；

根据所述视频数据中当前面部图像所在帧与上一面部图像所在帧的相关系数对获取的当前面部图像所在帧的特征点以及上一面部图像所在帧的特征点进行加权求和，得到加权后的特征点；

根据加权后的特征点对面部表情动作进行模拟，得到所述当前面部图像所在帧的面部图像。

2.根据权利要求1所述的方法，其特征在于，在获取视频数据中面部图像所在帧的特征点之前，还包括：

根据对比度限制的自适应去光照算法，对所述面部图像进行去光照处理。

3.根据权利要求2所述的方法，其特征在于，对所述面部图像进行去光照处理之前，还包括：

对当前视频数据进行人脸检测，确定人脸所在区域，将所述人脸所在区域的面部图像作为去光照处理的对象。

4.根据权利要求1所述的方法，其特征在于，所述获取视频数据中面部图像所在帧的特征点，包括：

将当前面部图像所在帧的人脸形状作为确定下一面部图像所在帧人脸形状的初始形状；

根据该初始形状获取下一面部图像所在帧的特征点。

5.根据权利要求4所述的方法，其特征在于，根据该初始形状获取下一面部图像所在帧的特征点，包括：

获取当前帧的面部图像的角度信息；

根据所述角度信息旋转下一面部图像所在帧人脸形状的初始形状得到当前面部图像所在帧的特征点。

6.根据权利要求1所述的方法，其特征在于，根据加权后的特征点对面部表情动作进行模拟之前，还包括：

对当前帧特征点所在区域的图像进行人脸校验，其中，在校验结果为人脸的情况下，对面部表情动作进行模拟。

7.根据权利要求1至6任一项所述的方法，其特征在于，根据加权后的特征点对面部表情动作进行模拟，得到所述当前帧的面部图像包括：

根据加权后的特征点和上一帧的特征点的相关性进行表情参数编码；

根据编码后的表情参数和上一帧面部图像获取所述当前帧的面部图像。

8.根据权利要求7所述的方法，其特征在于，根据当前帧的特征点和上一帧的特征点的相关性进行表情参数编码，包括：

根据当前帧的特征点和上一帧的特征点的差值以及上一帧的特征点位置，确定当前帧的特征点位置；

根据编码后的表情参数和上一帧面部图像获取所述当前帧的面部图像，包括：根据编码后的表情参数和上一帧的特征点位置对上一帧的面部图像进行三角形插值，得到所述当前帧的面部图像。

9.一种面部图像的获取装置，其特征在于，包括：

获取模块，用于获取视频数据中面部图像所在帧的特征点；

加权模块，用于根据所述视频数据中当前面部图像所在帧与上一面部图像所在帧的相关系数对获取的当前面部图像所在帧的特征点以及上一面部图像所在帧的特征点进行加权求和，得到加权后的特征点；

模拟模块，用于根据加权后的特征点对面部表情动作进行模拟，得到所述当前面部图像所在帧的面部图像。

10.根据权利要求9所述的装置，其特征在于，还包括：

去光照处理模块，用于根据对比度限制的自适应去光照算法，对所述面部图像进行去光照处理。

11.根据权利要求9所述的装置，其特征在于，所述获取模块包括：

确定单元，用于将当前面部图像所在帧的人脸形状作为确定下一面部图像所在帧人脸形状的初始形状；

第一获取单元，用于根据该初始形状获取下一面部图像所在帧的特征点。

12.根据权利要求9-11任一项所述的装置，其特征在于，所述模拟模块包括：

编码单元，用于根据加权后的特征点和上一帧的特征点的相关性进行表情参数编码；

第二获取单元，用于根据编码后的表情参数和上一帧面部图像获取所述当前帧的面部图像。

Images