CN106446781A - 一种人脸图像处理方法及装置 - Google Patents

Abstract

本发明公开了一种人脸图像处理方法，包括步骤：对当前图像帧做人脸检测，生成人脸基准区域；对人脸基准区域进行关键点检测，识别出人脸关键点；根据人脸关键点从人脸基准区域中划分出该图像帧中的初始人脸皮肤区域；结合人脸基准区域及先验知识计算出该图像帧中的初始头发区域；利用混合高斯模型对皮肤区域和头发区域的像素点的特征向量进行概率分布估计；根据概率分布估计的结果该图像帧进行图像分割，得到该图像帧的人头区域；以及利用插值算法放大人头区域，得到处理后的图像帧。本发明还一并公开了相应的人脸图像处理装置。

Description

一种人脸图像处理方法及装置

技术领域

本发明涉及图像处理技术领域，尤其是一种人脸图像处理方法及装置。

背景技术

图像、视频数据作为信息的主要载体，由于其视觉上的直观性和表达的生动性，越来越受到人们的关注。目前，用户不仅仅满足于获取更加高品质的图像视频(由于视频可以看作是多帧图像的组合，以下讨论中以图像代替图像和视频)，也对图像的趣味性、美观性等提出了更高的要求。

以往，要对图像进行修饰、处理，都需要专业技术人员来操作完成，普通用户很难根据自己喜好去调整图像内容。而现在，通过设置好的图像处理算法对图像内容进行修饰已经成为一种常见的手段，由于算法自动完成，不用进行过多用户交互，因此不需要用户掌握图像处理技巧、简单方便，因而越来越受大众欢迎。诸如现在流行的人像美颜、肤色调整等方法；除此之外，通过在人脸上加入额外内容(例如头盔、面具)来更改图像内容，也会使图像更加生动有趣，达到娱乐效果。

发明内容

为此，本发明提供了一种人脸图像处理方法及装置，以力图解决或者至少缓解上面存在的至少一个问题。

根据本发明的一个方面，提供了一种人脸图像处理方法，包括步骤：对当前图像帧做人脸检测，生成人脸基准区域；对人脸基准区域进行关键点检测，识别出人脸关键点；根据人脸关键点从人脸基准区域中划分出该图像帧中初始人脸皮肤区域；结合人脸基准区域及先验知识计算出该图像帧中的初始头发区域；利用混合高斯模型对初始皮肤区域和初始头发区域的像素点特征向量进行概率分布估计；根据概率分布估计的结果对该图像帧进行图像分割，得到该图像帧的人头区域；以及利用插值算法放大人头区域，得到处理后的图像帧。

可选地，在根据本发明的人脸图像处理方法中，根据人脸关键点从人脸基准区域中划分出图像帧中的初始人脸皮肤区域的步骤包括：将人脸基准区域中除了预定区域之外的区域划分为人脸的皮肤区域，其中，预定区域由预定关键点确定，预定关键点包括眼睛、眉毛、嘴巴。

可选地，在根据本发明的人脸图像处理方法中，结合人脸基准区域及先验知识计算出该图像帧中的初始头发区域的步骤包括：将位于人脸基准区域上方预定比例、且为连通区域的区域初步判定为初始头发区域。

可选地，在根据本发明的人脸图像处理方法中，混合高斯模型定义为：

其中，

为第k个高斯模型的概率密度函数，且K为高斯模型的个数，π_k为第k个模型的权重，x为某个像素的特征向量，N为特征向量的维度，μ_k为均值向量，C_k为N*N的协方差矩阵。

可选地，在根据本发明的人脸图像处理方法中，利用混合高斯模型对初始人脸皮肤区域和初始头发区域的像素点特征向量进行概率分布估计的步骤还包括：计算混合高斯模型的参数，其中参数包括每个模型的权重π_k、均值向量μ_k、协方差矩阵C_k。

可选地，在根据本发明的人脸图像处理方法中，根据概率分布估计结果对该图像帧进行图像分割的步骤还包括：通过分割算法、利用概率分布估计结果和像素点间颜色的相似性，分割出图像中的人头区域。

可选地，在根据本发明的人脸图像处理方法中，在分割得到人头区域后，还包括步骤：提取所分割得到的人头区域的边缘；以及对边缘进行平滑处理。

可选地，在根据本发明的人脸图像处理方法中，利用插值算法放大人头区域的步骤包括：以特定的关键点为基准点，对该人头区域作插值处理，得到放大后的人头区域，并将放大后的人头区域的基准点和原来的基准点对齐。

可选地，在根据本发明的人脸图像处理方法中，特定的关键点包括鼻尖点、嘴中心点。

可选地，在根据本发明的人脸图像处理方法中，还包括步骤：以当前图像帧的混合高斯模型的参数为初始值，利用EM算法估计下一图像帧中混合高斯模型中的参数。

可选地，在根据本发明的人脸图像处理方法中，还包括步骤：若检测到当前图像帧中有多个人脸基准区域，则分割出多个人头区域；以及利用多目标跟踪算法分别计算下一图像帧中人头区域与当前图像帧中人头区域之间的对应关系。

根据本发明的另一个方面，提供了一种人脸图像处理装置，包括：检测单元，适于对当前图像帧做人脸检测，生成人脸基准区域；识别单元，适于对人脸基准区域进行关键点检测，识别出人脸关键点；区域分割单元，适于根据人脸关键点从人脸基准区域中划分出该图像帧中的初始人脸皮肤区域、且结合人脸基准区域及先验知识计算出该图像帧中的初始头发区域；计算单元，适于利用混合高斯模型对初始人脸皮肤区域和初始头发区域的像素点特征向量进行概率分布估计；区域分割单元还适于根据概率分布估计的结果对该图像帧进行图像分割，得到该图像帧的人头区域；处理单元，适于利用插值算法放大人头区域，得到处理后的图像帧。

可选地，在根据本发明的人脸图像处理装置中，区域分割单元包括：第一子单元，适于将人脸基准区域中除了预定区域之外的区域划分为人脸的皮肤区域，其中，预定区域根据所述预定关键点确定，预定关键点包括眼睛、眉毛、嘴巴。

可选地，在根据本发明的人脸图像处理装置中，区域分割单元还包括：第二子单元，适于将位于人脸基准区域上方预定比例的、且为连通区域的区域初步判定为初始头发区域。

可选地，在根据本发明的人脸图像处理装置中，混合高斯模型定义为：

其中

为第k个高斯模型的概率密度函数，且K为高斯模型的个数，π_k为第k个模型的权重，x为某个像素的特征向量，N为特征向量的维度，μ_k为均值向量，C_k为N*N的协方差矩阵。

可选地，在根据本发明的人脸图像处理装置中，计算单元还适于计算混合高斯模型的参数，其中参数包括每个模型的权重π_k、均值向量μ_k、协方差矩阵C_k。

可选地，在根据本发明的人脸图像处理装置中，区域分割单元还包括：第三子单元，适于通过分割算法、利用概率分布估计结果和像素点间颜色的相似性，分割出图像中的人头区域。

可选地，在根据本发明的人脸图像处理装置中，还包括：边缘处理单元，适于对经区域分割单元分割中的人头区域进行边缘平滑处理。

可选地，在根据本发明的人脸图像处理装置中，处理单元还适于以特定的关键点为基准点，对该人头区域作插值处理，得到放大后的人头区域，并将放大后的人头区域的基准点和原来的基准点对齐。

可选地，在根据本发明的人脸图像处理装置中，特定的关键点包括鼻尖点、嘴中心点。

可选地，在根据本发明的人脸图像处理装置中，计算单元还适于以当前图像帧的混合高斯模型的参数为初始值，利用EM算法估计下一图像帧中混合高斯模型中的参数。

可选地，在根据本发明的人脸图像处理装置中，区域分割单元还适于在检测单元检测到多个人脸基准区域时，分割出多个人头区域；计算单元还适于利用多目标跟踪算法分别计算下一图像帧中人头区域与当前图像帧中人头区域之间的对应关系。

根据本发明的人脸图像处理方案，首先通过图像检测等算法确定出图像帧中的初始皮肤区域和初始头发区域，然后利用概率建模，对初始皮肤区域和初始头发区域进行聚类，再结合聚类结果、利用图像分割算法自动分割出图像帧中的人头区域，对人头区域进行插值运算，输出放大人头的图像帧。

进一步地，考虑到视频中图像帧与帧之间相互关联，当要处理具有连续多帧图像的视频时，不是对单帧图像分别进行分割处理，而是采用参数估计的方式，将上一帧图像的参数值作为下一帧图像的初始值，以保证视频中图像帧之间分割得一致性，在避免出现单帧跳变现象的同时，也提高了算法中的建模速度。另外，当图像帧中存在多个人头区域时，利用多目标跟踪算法分别计算下一图像帧中人头区域与当前图像帧中人头区域之间的对应关系，从而保证了GMM参数更新的准确性。

附图说明

为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。

图1示出了根据本发明一个实施例的人脸图像处理方法100的流程图；

图2A示出了根据本发明一个实施例的人脸图像处理装置200的示意图；以及

图2B示出了根据本发明另一实施例的人脸图像处理装置200的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了根据本发明一个实施例的人脸图像处理方法100的流程图。根据本发明的实现方式，本方法100可以在移动终端中执行，也可以在诸如PC的计算设备中执行，只要在终端安装有具有人脸图像处理装置200(下面将详细介绍)的应用即可。本方法100能够自动分割出人脸图像中的人头区域，然后通过插值方式放大人头区域，以增加图像的趣味性。

该方法100始于步骤S110。在步骤S110中，对当前图像帧做人脸检测，生成人脸基准区域。简单来讲，人脸检测(Face detection)就是判断一帧图像中是否包含人脸区域，若包含人脸则返回人脸的大小、位置等信息。人脸检测技术相关的算法有很多，例如肤色检测、运动检测、边缘检测等等，相关的模型也有很多，本发明对此不作限制，任何人脸检测算法都可以与本发明的实施例相结合，以完成人脸图像处理。另外，若检测到当前图像帧中有多个人脸，那对每个人脸都生成一个人脸基准区域。

随后在步骤S120中，对上一步中检测到的人脸基准区域进行关键点检测，识别出每个人脸的各个部位的关键点位置。例如眉毛、鼻子、眼角、嘴巴、脸外轮廓等。在本实施例中，一般提取出的人脸关键点数目在50-100之间。

随后在步骤S130中，根据识别出的人脸关键点的位置从人脸基准区域中划分出该图像帧中的初始人脸皮肤区域。根据一种实现方式，将人脸基准区域中除了预定关键点(眼睛、眉毛、嘴巴)所对应的预定区域之外的区域划分为初始人脸皮肤区域。

随后在步骤S140中，结合人脸基准区域及先验知识计算出该图像帧中初始的头发区域。可选地，根据先验知识将头发区域定义为：

a).位于人脸区域正上方的连通区域

b).颜色分布均匀，且颜色偏暗

c).纹理不杂乱、且具有较强的方向性

根据以上三点，在识别头发区域时，将位于人脸基准区域之上、且为连通区域的区域初步判定为初始头发区域；

随后在步骤S150中，根据步骤S130确定的初始人脸皮肤区域和步骤S140确定的初始头发区域，对皮肤区域和头发区域同时进行概率建模，换句话说，利用聚类算法对初始皮肤区域和初始头发区域的像素点的特征向量进行聚类(特征向量包括颜色特征和纹理特征)，这里的聚类算法可以选择混合高斯模型(Gaussian Mixture Model，GMM)，对头发颜色和皮肤颜色在三维颜色空间的概率分布进行估计。本发明对颜色空间不作限制，可以是在RGB颜色空间进行处理，也可以是HSV、HSI等其他空间。

其中，每个GMM由K个Gaussian分布组成，每个Gaussian称为一个分量(Component)，这些Component线性加成在一起就组成了GMM的概率密度函数：

其中，

表示第k个高斯模型的概率密度函数，

模型的个数K在本实施例中为2，即头发区域的模型和皮肤区域的模型，π_k为第k个模型的权重，x为某个像素的特征向量，N为特征向量的维度，μ_k为均值向量，C_k为N*N的协方差矩阵。

可选地，在根据像素点分布推算出每个分量的概率密度(即，计算出每个分量的概率密度函数p(x))后，还要计算混合高斯模型的参数，如上所述，参数为每个模型的权重π_k、均值向量μ_k、协方差矩阵C_k。这里作参数估计，有助于以当前图像帧的混合高斯模型的参数为初始值，估计出下一图像帧中混合高斯模型中的参数，以便于保证图像帧与帧之间分割条件的一致性，防止每一帧单独处理造成前后帧分割出来的头部区域发生跳变的情况。根据本发明的一个实施例，在做参数估计时，最常采用的方法是最大似然法，如可以选取EM(Expectation-Maximization)算法进行参数估计。

随后在步骤S160中，根据概率分布估计的结果对该图像帧进行图像分割，得到该图像帧的人头区域，人头区域包括由皮肤区域确定出的人脸区域以及头发区域。具体地，根据上一步骤中计算出的概率密度分布结果、通过分割算法标记该图像帧中的像素，其中，像素点在混合高斯模型中输出的概率值与其处于人头区域的可能性正相关，通俗来讲，就是将上一步中输入概率值大的像素点标记为label＝1，反之为label＝0，那么，label＝1的像素点就构成了人头区域，根据这样的像素标记结果就可以分割出该图像帧中的人头区域。

另外，在本实施例的分割算法中，相邻像素点的颜色相似度越高，其label值相同的可能性也就越高，可以通过提取图像的边缘信息衡量相邻像素之间的颜色相似度。

可选地，对于分割算法可以采用任意的连续或离散的能量优化算法，如maxflow/min-cut算法、total variation minimization算法等，根据像素标记结果分割出该图像帧的人头区域。

随后在步骤S170中，利用插值算法放大分割出的人头区域，得到处理后的图像帧，也就是放大了人头的图像。

可选地，在经步骤S160分割得到人头区域后、插值放大人头区域之前，还可以先对人头区域的边缘进行平滑处理：对所分割得到的人头区域进行边缘提取，然后对提取的边缘作平滑处理。可选地，本实施例中采用alpha matting方法对图像边缘做平滑处理，可以将人头区域看作是图像前景，将其他区域看作是图像背景。当然，平滑处理也可以采用图像形态学处理方式(如，膨胀腐蚀)等，本发明对此不做限制。

在平滑处理后，以特定的关键点为基准点，对分割出的人头区域作插值处理，得到放大后的人头区域，并保证放大后的人头区域的基准点与原来的基准点对齐。例如以鼻尖点作为基准点，保持鼻尖点位置不变，插值放大人头区域；也可以以嘴中心点作为基准点，总之，保证放大后的人头区域和原始人头区域基准位置不变。

经过上述步骤，首先通过图像检测等算法确定出图像帧中的皮肤区域和头发区域，然后利用概率建模，对皮肤区域和头发区域进行聚类，再结合聚类结果、利用图像分割算法自动分割出图像帧中的人头区域，对人头区域进行插值运算，输出放大人头的图像帧。

可选地，当图像帧中存在多个人头区域时，利用多目标跟踪算法分别计算下一图像帧中人头区域与当前图像帧中人头区域之间的对应关系，保证GMM参数更新的准确性。

考虑到视频中图像帧与帧之间相互关联，当要处理具有连续多帧图像的视频时，不是对单帧图像分别进行分割处理，而是采用参数估计的方式，将上一帧图像的参数值作为下一帧图像的初始值，以保证视频中图像帧之间分割得一致性，在避免出现单帧跳变现象的同时，也提高了算法中的建模速度。

图2A示出了根据本发明一个实施例的用于执行方法100的人脸图像处理装置200的示意图。该装置200包括：检测单元210、识别单元220、区域分割单元230、计算单元240、以及处理单元250。

检测单元210适于对当前图像帧做人脸检测，生成人脸基准区域。当判断当前图像帧中包含人脸区域时，则返回人脸的大小、位置等信息，如用一个矩形框圈出图像中的人脸区域。人脸检测技术相关的算法有很多，例如肤色检测、运动检测、边缘检测等等，相关的模型也有很多，本发明对此不作限制，任何人脸检测算法都可以与本发明的实施例相结合，以完成人脸图像处理。另外，检测单元210还适于在检测到当前图像帧中有多个人脸时，对每个人脸都生成一个人脸基准区域。

识别单元220适于对由检测单元210检测出人脸基准区域进行关键点检测，识别出人脸中各个部位的关键点位置，例如眉毛、鼻子、眼角、嘴巴、脸外轮廓等。在本实施例中，一般提取出的人脸关键点数目在50-100之间。

区域分割单元230适于分割出该图像帧中的初始人脸皮肤区域、初始头发区域、以及人头区域。具体地，根据区域分割单元230的处理过程，其包含：分割出初始人脸皮肤区域的第一子单元232、分割出初始头发区域的第二子单元234、和分割人头区域的第三子单元236，如图2B所示。

可选地，第一子单元232适于根据人脸关键点从人脸基准区域中划分出该图像帧中的初始人脸皮肤区域。根据本发明的一个实施例，将人脸基准区域中除了由预定关键点所确定的预定区域之外的区域划分为人脸的皮肤区域，预定关键点包括眼睛、眉毛、嘴巴。

可选地，第二子单元234适于结合人脸基准区域及先验知识计算出该图像帧中的头发区域。

根据先验知识将头发区域定义为：

a).位于人脸区域正上方的连通区域

b).颜色分布均匀，且颜色偏暗

c).纹理不杂乱、且具有较强的方向性

根据以上3点，第二子单元适于将位于人脸基准区域上方预定比例的、且为连通区域的区域初步判定为初始头发区域。

在经第一子单元和第二子单元确定出图像帧的初始人脸皮肤区域和初始头发区域后，计算单元240适于利用混合高斯模型对初始皮肤区域和初始头发区域的像素点特征向量进行概率分布估计。即，利用聚类算法对初始人脸皮肤区域和初始头发区域的像素点的特征向量进行聚类，这里的聚类算法可以选择混合高斯模型(Gaussian Mixture Model，GMM)，对头发颜色和皮肤颜色在三维颜色空间的概率分布进行估计。本发明对颜色空间不作限制，可以是在RGB颜色空间进行处理，也可以是HSV、HSI等其他空间。

其中，每个GMM由K个Gaussian分布组成，每个Gaussian称为一个分量(Component)，这些Component线性加成在一起就组成了GMM的概率密度函数：

其中，第k个高斯模型的概率密度函数为：

K为高斯模型的个数，π_k为第k个模型的权重，x为某个像素的特征向量，N为特征向量的维度，μ_k为均值向量，C_k为N*N的协方差矩阵

模型的个数K在本实施例中为2，即头发区域的模型和皮肤区域的模型，π_k为第k个模型的权重。

计算单元240还适于在根据像素点分布推算出每个分量的概率密度(即，计算出每个分量的概率密度函数p(x))后，计算混合高斯模型的参数，其中参数包括每个模型的π_k、μ_k、σ_k。

这里作参数估计，有助于以当前图像帧的混合高斯模型的参数为初始值，估计出下一图像帧中混合高斯模型中的参数，以便于保证图像帧与帧之间分割条件的一致性，防止每一帧单独处理造成分割出来的头部区域发生跳变的情况。根据本发明的一个实施例，在做参数估计时，最常采用的方法是最大似然法，如可以选取EM(Expectation-Maximization)算法进行参数估计。

区域分割单元240还适于根据概率分布估计的结果对该图像帧进行图像分割，得到该图像帧的人头区域，由第三子单元236执行如下操作，以分割出人头区域。

第三子单元236适于通过分割算法、根据概率分布估计的结果标记该图像帧中的像素，且根据像素标记结果分割出该图像帧中的人头区域，其中，像素点在混合高斯模型中输出的概率值与其处于人头区域的可能性正相关。通俗来讲，就是将上一步中输入概率值大的像素点标记为label＝1，反之为label＝0，那么，label＝1的像素点就构成了人头区域，根据这样的像素标记结果就可以分割出该图像帧中的人头区域。

另外，第三子单元236还适于通过分割算法根据相邻像素的颜色相似度标记该图像帧中的像素，其中，相邻像素的颜色相似度值与其像素标记结果一致的可能性正相关。

可选地，对于分割算法可以采用任意的连续或离散的能量优化算法，如maxflow/min-cut算法、total variation minimization算法等，根据像素标记结果分割出该图像帧的人头区域。

处理单元250适于利用插值算法放大人头区域，得到处理后的图像帧。

如图2B所示，根据本发明的一个实施例，装置200还包括边缘处理单元260。边缘处理单元260适于对经区域分割单元230分割出的人头区域进行边缘平滑处理：对所分割得到的人头区域进行边缘提取，然后对提取的边缘作平滑处理。可选地，本实施例中采用alphamatting方法对图像边缘做平滑处理，将人头区域看作是图像前景，将其他区域看作是图像背景。当然，平滑处理也可以采用图像形态学处理方式(如，膨胀腐蚀)等，本发明对此不做限制。

处理单元250还适于在得到经由边缘处理单元260处理的人头区域后，以特定的关键点为基准点，对该人头区域作插值处理，得到放大后的人头区域，并保证放大后的人头区域的基准点与原来的基准点对齐。特定的关键点例如可以是鼻尖点或嘴中心点。总之，保证放大后的人头区域和原始人头区域基准位置不变。

根据本发明的实施例，区域分割单元230还适于在检测单元210检测到多个人脸基准区域时，分割出多个人头区域。

同样地，计算单元240还适于利用多目标跟踪算法分别计算下一图像帧中人头区域与当前图像帧中人头区域之间的对应关系，从而保证GMM参数更新的准确性。

应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

本发明还公开了：

A6、如A1-5中任一项所述的方法，其中根据概率分布估计的结果对该图像帧进行图像分割的步骤还包括：通过分割算法、利用概率分布估计结果和像素点间颜色的相似性，分割出图像中的人头区域。

A7、如A1-6中任一项所述的方法，其中在分割得到人头区域后，还包括步骤：提取所分割得到的人头区域的边缘；以及对边缘进行平滑处理。

A8、如A7所述的方法，其中，利用插值算法放大人头区域的步骤包括：以特定的关键点为基准点，对该人头区域作插值处理，得到放大后的人头区域；并将放大后的人头区域的基准点和原来的基准点对齐。

A9、如A8所述的方法，其中特定的关键点包括：鼻尖点、嘴中心点。

A10、如A5-9中任一项所述的方法，还包括步骤：以当前图像帧的混合高斯模型的参数为初始值，利用EM算法估计下一图像帧中混合高斯模型中的参数。

A11、如A1-10中任一项所述的方法，还包括步骤：若检测到当前图像帧中有多个人脸基准区域，则分割出多个人头区域；以及利用多目标跟踪算法分别计算下一图像帧中人头区域与当前图像帧中人头区域之间的对应关系。

B17、如B12-16中任一项所述的装置，其中区域分割单元还包括：第三子单元，适于通过分割算法、利用概率分布估计结果和像素点间颜色的相似性，分割出图像中的人头区域。

B18、如B12-17中任一项所述的装置，还包括：边缘处理单元，适于对经区域分割单元分割出的人头区域进行边缘平滑处理。

B19、如B18所述的装置，其中，处理单元还适于以特定的关键点为基准点，对该人头区域作插值处理，得到放大后的人头区域，并将放大后的人头区域的基准点和原来的基准点对齐。

B20、如B19所述的装置，其中特定的关键点包括鼻尖点、嘴中心点。

B21、如B16-20中任一项所述的装置，其中，计算单元还适于以当前图像帧的混合高斯模型的参数为初始值，利用EM算法估计下一图像帧中混合高斯模型中的参数。

B22、如B12-21中任一项所述的装置，其中，区域分割单元还适于在检测单元检测到多个人脸基准区域时，分割出多个人头区域；以及计算单元还适于利用多目标跟踪算法分别计算下一图像帧中人头区域与当前图像帧中人头区域之间的对应关系。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (10)

1.一种人脸图像处理方法，包括步骤：

对当前图像帧做人脸检测，生成人脸基准区域；

对所述人脸基准区域进行关键点检测，识别出人脸关键点；

根据所述人脸关键点从人脸基准区域中划分出该图像帧中的初始人脸皮肤区域；

结合人脸基准区域及先验知识计算出该图像帧中的初始头发区域；

利用混合高斯模型对所述初始人脸皮肤区域和所述初始头发区域的像素点的特征向量进行概率分布估计，其中所述特征向量包括颜色特征向量和纹理特征向量；

根据概率分布估计的结果对该图像帧进行图像分割，得到该图像帧的人头区域；以及

利用插值算法放大所述人头区域，得到处理后的图像帧。

2.如权利要求1所述的方法，其中所述根据人脸关键点从人脸基准区域中划分出图像帧中初始人脸皮肤区域的步骤包括：

将人脸基准区域中除了预定区域之外的区域划分为初始人脸皮肤区域，

其中，所述预定区域根据所述预定关键点确定，所述预定关键点包括眼睛、眉毛、嘴巴。

3.如权利要求1或2所述的方法，其中所述结合人脸基准区域及先验知识计算出该图像帧中初始头发区域的步骤包括：

将位于人脸基准区域上方预定比例的、且为连通区域的区域初步判定为初始头发区域。

4.如权利要求1-3中任一项所述的方法，其中，所述混合高斯模型定义为：

$p\left(x\right)=\underset{k=1}{\overset{K}{\Σ}}{\mathrm{\π}}_k{p}_k\left(x\right)$

其中，

$p_k\left(x\right)=\frac{1}{\sqrt{{\left(2\mathrm{\π}\right)}^N\left|C_k\right|}}\exp (-\frac{1}{2}{\left(x-{\mathrm{\μ}}_k\right)}^T{C}_k^{-1}(x-{\mathrm{\μ}}_k\left)\right)$

为第k个高斯模型的概率密度函数，且

K为高斯模型的个数，π_k为第k个模型的权重，x为某个像素的特征向量，N为特征向量的维度，μ_k为均值向量，C_k为N*N的协方差矩阵。

5.如权利要求4所述的方法，其中所述利用混合高斯模型对初始人脸皮肤区域和初始头发区域的像素点的特征向量进行概率分布估计的步骤还包括：

计算所述混合高斯模型的参数，其中参数包括每个模型的权重π_k、均值向量μ_k、N*N的协方差矩阵C_k。

6.一种人脸图像处理装置，包括：

检测单元，适于对当前图像帧做人脸检测，生成人脸基准区域；

识别单元，适于对所述人脸基准区域进行关键点检测，识别出人脸关键点；

区域分割单元，适于根据所述人脸关键点从人脸基准区域中划分出该图像帧中的初始人脸皮肤区域、且结合人脸基准区域及先验知识计算出该图像帧中的初始头发区域；

计算单元，适于利用混合高斯模型对所述初始人脸皮肤区域和所述初始头发区域的像素点的特征向量进行概率分布估计，其中所述特征向量包括颜色特征和纹理特征；

所述区域分割单元还适于根据概率分布估计的结果对该图像帧进行图像分割，得到该图像帧的人头区域；以及

处理单元，适于利用插值算法放大所述人头区域，得到处理后的图像帧。

7.如权利要求6所述的装置，其中所述区域分割单元包括：

第一子单元，适于将人脸基准区域中除了预定区域之外的区域划分为初始人脸皮肤区域，

其中，所述预定区域根据所述预定关键点确定，所述预定关键点包括眼睛、眉毛、嘴巴。

8.如权利要求6或7所述的装置，其中所述区域分割单元还包括：

第二子单元，适于将位于人脸基准区域上方预定比例的、且为连通区域的区域初步判定为初始头发区域。

9.如权利要求6-8中任一项所述的装置，其中，所述混合高斯模型定义为：

其中，

为第k个高斯模型的概率密度函数，且

K为高斯模型的个数，π_k为第k个模型的权重，x为某个像素的特征向量，N为特征向量的维度，μ_k为均值向量，C_k为N*N的协方差矩阵。

10.如权利要求9所述的装置，其中，

所述计算单元还适于计算所述混合高斯模型的参数，其中参数包括每个模型的权重π_k、均值向量μ_k、N*N的协方差矩阵C_k。