CN104091148B - 一种人脸特征点定位方法和装置 - Google Patents

Abstract

本发明公开了一种人脸特征点定位方法和装置，属于图像处理技术领域。所述方法包括：获取待测图像；在待测图像中，进行平均形状模型的初始定位，得到描述待测图像中人脸的器官的特征点的初始位置；确定描述人脸的设定器官的器官模型的类型；基于确定的类型的器官模型，对待测图像进行特征点搜索，调整待测图像中人脸的器官的特征点的初始位置。本发明针对待测图像中人脸设定器官的不同类型，基于不同类型的器官形状模型调整待测图像中人脸的器官的特征点的初始位置，提高了人脸的特征点与待测图像的相似度，降低了得到的待测图像中人脸的特征点形成的人脸形状与待测图像中的人脸形状之间的误差。

Description

一种人脸特征点定位方法和装置

技术领域

本发明涉及图像处理技术领域，特别涉及一种人脸特征点定位方法和装置。

背景技术

基于ASM(Active Shape Model，主动形状模型)算法的人脸特征点定位方法是目前视频和图像中提取人脸特征点的主流技术，具有速度快、精度高的优点。

目前基于ASM算法的人脸特征点定位方法通常包括：首先针对若干人脸图像建立平均形状模型，平均形状模型由一系列的特征点组成，所有特征点组合在一起形成了人脸形状；然后建立形状模型中每个特征点附近的灰度模型，每个特征点的灰度模型包括该特征点的灰度特性；最后利用灰度模型在目标图像中搜索特征点的最佳位置，并根据搜索结果调整平均形状模型，使调整后的形状模型由在目标图像中确定的特征点组成，达到形状模型与目标图像中的人脸形状匹配。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

目前的方法是针对若干人脸图像建立一个平均形状模型，并且在这个平均形状模型的基础上进行调整，以获得各个目标图像的模型，没有考虑到人脸图像之间可能存在的巨大差异，因此采用该方法得到的形状模型中特征点形成的人脸形状与目标图像中的人脸形状之间的误差较大，如对100*100像素的目标图像进行人脸特征点定位的平均误差为3个像素。

发明内容

为了解决现有技术得到的形状模型中特征点形成的人脸形状与目标图像中的人脸形状之间的误差较大的问题，本发明实施例提供了一种人脸特征点定位方法和装置。所述技术方案如下：

一方面，本发明实施例提供了一种人脸特征点定位方法，所述方法包括：

获取待测图像；

在所述待测图像中，进行平均形状模型的初始定位，得到描述所述待测图像中人脸的器官的特征点的初始位置；

确定描述所述人脸的设定器官的器官模型的类型；

基于确定的类型的器官模型，对所述待测图像进行特征点搜索，调整所述待测图像中人脸的器官的特征点的初始位置。

可选地，所述类型按照人脸表情、人脸朝向、厚度、开合、遮挡物类型中的一种或多种划分。

在本发明的一种可能的实现方式中，所述确定描述所述人脸的设定器官的器官模型的类型，包括：

分别计算所述设定器官的在所述初始位置的各个特征点的特征图像，与所述设定器官的所有类型的器官模型中对应的特征点的特征图像的相似度，所述特征点的特征图像为以所述特征点为中心的正方形区域，所述正方形的边长为设定值；

选取所有特征点的特征图像的所述相似度的总和最大的类型，作为描述所述人脸的设定器官的器官模型的类型。

在本发明的另一种可能的实现方式中，所述基于确定的类型的器官模型，对所述待测图像进行特征点搜索，调整所述待测图像中人脸的器官的特征点的初始位置，包括：

在所述待测图像中，分别在所述设定器官的在所述初始位置的各个特征点所在的第一区域中，搜索与所述设定器官的确定的类型的器官模型中对应的特征点的特征图像匹配值最大的图像，并将所述匹配值最大的图像的中心作为调整后的所述待测图像中人脸的器官的特征点的位置，所述特征点的特征图像为以所述特征点为中心的正方形区域，所述正方形的边长为设定值。

在本发明的又一种可能的实现方式中，所述方法还包括：

获取若干训练图像，所述训练图像上已标明所述设定器官的所有特征点的位置，所述若干训练图像包括人脸的所述设定器官所有类型的多张图像；

分别根据所述设定器官各种类型的所有特征点的位置，建立所述设定器官各种类型的器官模型，所述器官模型包括所有特征点的特征图像，所述特征点的特征图像为以所述特征点为中心的正方形区域，所述正方形的边长为设定值。

另一方面，本发明实施例提供了一种人脸特征点定位装置，所述装置包括：

第一获取模块，用于获取待测图像；

第二获取模块，用于在所述待测图像中，进行平均形状模型的初始定位，得到描述所述待测图像中人脸的器官的特征点的初始位置；

确定模块，用于确定描述所述人脸的设定器官的器官模型的类型；

调整模块，用于基于确定的类型的器官模型，对所述待测图像进行特征点搜索，调整所述待测图像中人脸的器官的特征点的初始位置。

可选地，所述类型按照人脸表情、人脸朝向、厚度、开合、遮挡物类型中的一种或多种划分。

在本发明的一种可能的实现方式中，所述确定模块包括：

计算单元，用于分别计算所述设定器官的在所述初始位置的各个特征点的特征图像，与所述设定器官的所有类型的器官模型中对应的特征点的特征图像的相似度，所述特征点的特征图像为以所述特征点为中心的正方形区域，所述正方形的边长为设定值；

选取单元，用于选取所有特征点的特征图像的所述相似度的总和最大的类型，作为描述所述人脸的设定器官的器官模型的类型。

在本发明的另一种可能的实现方式中，所述调整模块用于，

在所述待测图像中，分别在所述设定器官的在所述初始位置的各个特征点所在的第一区域中，搜索与所述设定器官的确定的类型的器官模型中对应的特征点的特征图像匹配值最大的图像，并将所述匹配值最大的图像的中心作为调整后的所述待测图像中人脸的器官的特征点的位置，所述特征点的特征图像为以所述特征点为中心的正方形区域，所述正方形的边长为设定值。

在本发明的又一种可能的实现方式中，所述装置还包括：

第三获取模块，用于获取若干训练图像，所述训练图像上已标明所述设定器官的所有特征点的位置，所述若干训练图像包括人脸的所述设定器官所有类型的多张图像；

建立模块，用于分别根据所述设定器官各种类型的所有特征点的位置，建立所述设定器官各种类型的器官模型，所述器官模型包括所有特征点的特征图像，所述特征点的特征图像为以所述特征点为中心的正方形区域，所述正方形的边长为设定值。

本发明实施例提供的技术方案带来的有益效果是：

通过针对待测图像中人脸设定器官的不同类型，基于不同类型的器官形状模型调整待测图像中人脸的器官的特征点的初始位置，提高了人脸的特征点与待测图像的相似度，降低了得到的待测图像中人脸的特征点形成的人脸形状与待测图像中的人脸形状之间的误差，对100*100像素的待测图像进行人脸特征点定位的平均误差只有1个像素。人脸特征点定位的精度的提高，为人脸识别、姿态表情分析、人脸跟踪、人脸重建等研究工作提供了更加准确的基础数据，对人脸图像的研究和应用具有重要意义。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的一种人脸特征点定位方法的流程图；

图2是本发明实施例二提供的一种人脸特征点定位方法的流程图；

图3是本发明实施例三提供的一种人脸特征点定位装置的结构示意图；

图4是本发明实施例四提供的一种人脸特征点定位装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例一

本发明实施例提供了一种人脸特征点定位方法，该方法基于ASM算法，参见图1，该方法包括：

步骤101：获取待测图像。

步骤102：在待测图像中，进行平均形状模型的初始定位，得到描述待测图像中人脸的器官的特征点的初始位置。

步骤103：确定描述人脸的设定器官的器官模型的类型。

可选地，该类型可以按照人脸表情、人脸朝向、厚度、开合、遮挡物类型中的一种或多种划分。

步骤104：基于确定的类型的器官模型，对待测图像进行特征点搜索，调整待测图像中人脸的器官的特征点的初始位置。

本发明实施例通过针对待测图像中人脸设定器官的不同类型，基于不同类型的器官形状模型调整待测图像中人脸的器官的特征点的初始位置，提高了人脸的特征点与待测图像的相似度，降低了得到的待测图像中人脸的特征点形成的人脸形状与待测图像中的人脸形状之间的误差，对100*100像素的待测图像进行人脸特征点定位的平均误差只有1个像素。人脸特征点定位的精度的提高，为人脸识别、姿态表情分析、人脸跟踪、人脸重建等研究工作提供了更加准确的基础数据，对人脸图像的研究和应用具有重要意义。

实施例二

本发明实施例提供了一种人脸特征点定位方法，该方法基于ASM算法，参见图2，该方法包括：

步骤201：获取待测图像。

步骤202：在待测图像中，进行平均形状模型的初始定位，得到描述待测图像中人脸的器官的特征点的初始位置。

在本实施例中，平均形状模型是一个进行人脸特征点定位时采用的通用模型，平均形状模型是对所有人脸的特征点进行平均后得到的结果，不考虑各个人脸之间的差异性。

在具体实现中，进行初始定位时，可以先在待测图像中确定眼睛的位置，即确定描述眼睛的特征点在待测图像中的位置，然后根据平均形状模型中各个特征点之间的位置关系，确定其它特征点在待测图像中的位置，即确定待测图像中的其它器官的初始位置。其中，其它特征点为平均形状模型中，除描述眼睛的特征点之外的特征点。

步骤203：确定描述人脸的设定器官的器官模型的类型。

可选地，该类型可以按照人脸表情、人脸朝向、厚度、开合、遮挡物类型中的一种或多种划分。

人脸表情分为微笑、生气等。容易理解，以嘴(人脸器官)为例，当人在微笑时，嘴通常从中间向两边翘起，因此描述嘴的各个特征点之间在竖直方向上的距离较大。而如果人没有笑，则描述嘴的各个特征点之间在竖直方向上的距离较小。

人脸朝向分为朝左、朝右、以及中间三种。容易理解，以鼻子(人脸器官)为例，当人脸朝左或朝右时，鼻子一侧的特征点之间的距离一般会比另一侧的大，而如果人脸朝向中间，则鼻子两侧的特征点之间的距离是相同的。

厚度可以按照胡须厚度、眉毛厚度等范围划分。容易理解，以眉毛为例，当眉毛厚度小于设定值时，各个特征点之间的距离较小；当眉毛厚度大于或等于设定值时，各个特征点之间的距离较大。

开合可以按照嘴巴开合、眼睛开合等划分。容易理解，以嘴巴为例，当嘴巴张开(竖直方向最大距离大于或等于设定值)时，各个特征点之间的距离较大；当嘴巴张开闭合(竖直方向最大距离小于设定值)时，各个特征点之间的距离较小。

设定器官是人脸的所有器官中，进行特征点定位时具有较大差异性特征的器官，如上述的嘴、下巴等都可以是设定器官。可以理解地，带有胡须的下巴和没有胡须的下巴的差异就很大，又如，即使同样是带有胡须的下巴，胡须的长度不同，人脸特征点定位结果也不同。

在本实施例的一种实现方式中，该步骤203可以包括：

分别计算设定器官的在初始位置的各个特征点的特征图像，与设定器官的所有类型的器官模型中对应的特征点的特征图像的相似度，特征点的特征图像为以特征点为中心的正方形区域，正方形的边长为设定值；

选取所有特征点的特征图像的相似度的总和最大的类型，作为描述人脸的设定器官的器官模型的类型。

在该种实现方式中，以特征点的特征图像为从特征点所在的图像中截取的为例，计算特征图像的相似度可以直接计算两幅特征图像的对应像素的灰度值之差，所有像素的差值之和越小，相似度越大。

又如，特征点的特征图像为从特征点所在的图像进行边缘提取后的边缘图像中截取的，计算特征图像的相似度可以计算两幅边缘图像的对应像素的灰度值之差，所有像素的差值之和越小，相似度越大。

步骤204：基于确定的类型的器官模型，对待测图像进行特征点搜索，调整待测图像中人脸的器官的特征点的初始位置。

在本实施例的一种实现方式中，该步骤204可以包括：

在待测图像中，分别在设定器官的在初始位置的各个特征点所在的第一区域中，搜索与设定器官的确定的类型的器官模型中对应的特征点的特征图像匹配值最大的图像，并将该匹配值最大的图像的中心作为调整后的待测图像中人脸的特征点的位置，特征点的特征图像为以特征点为中心的正方形区域，正方形区域的边长为设定值。

在本实施例中，计算匹配值的方法与计算相似度的方法类似，在此不再详述。

容易知道，进行特征点搜索时，一般是基于特征点的灰度模型在包括特征点的一条直线上进行。本发明是基于确定的类型的器官模型在包括特征点的一个区域内进行，针对器官的不同类型，选用不同的器官模型，提高了基准的准确性，同时扩大了搜索的范围，进一步提高了确定的位置的准确性。

在本实施例的又一种实现方式中，该方法还可以包括：

步骤205：获取若干训练图像。

在本实施例中，训练图像上已标明设定器官的所有特征点的位置，若干训练图像包括人脸的设定器官所有类型的多张图像。

步骤206：分别根据设定器官各种类型的所有特征点的位置，建立设定器官各种类型的器官模型。

在本实施例中，器官模型包括所有特征点的特征图像，特征点的特征图像为以特征点为中心的正方形区域，正方形的边长为设定值。

需要说明的是，步骤205-206通常在调用器官形状模型(步骤203)之前执行一次。当然，步骤205-206也可以在调用之后根据更新后的训练图像再次执行。

本发明实施例通过针对待测图像中人脸设定器官的不同类型，基于不同类型的器官形状模型调整待测图像中人脸的器官的特征点的初始位置，提高了人脸的特征点与待测图像的相似度，降低了得到的待测图像中人脸的特征点形成的人脸形状与待测图像中的人脸形状之间的误差，对100*100像素的待测图像进行人脸特征点定位的平均误差只有1个像素。人脸特征点定位的精度的提高，为人脸识别、姿态表情分析、人脸跟踪、人脸重建等研究工作提供了更加准确的基础数据，对人脸图像的研究和应用具有重要意义。

实施例三

本发明实施例提供了一种人脸特征点定位装置，参见图3，该装置包括：

第一获取模块301，用于获取待测图像；

第二获取模块302，用于在待测图像中，进行平均形状模型的初始定位，得到描述待测图像中人脸的器官的特征点的初始位置；

确定模块303，用于确定描述人脸的设定器官的器官模型的类型；

调整模块304，用于基于确定的类型的器官模型，对待测图像进行特征点搜索，调整待测图像中人脸的器官的特征点的初始位置。

可选地，该类型可以按照人脸表情、人脸朝向、厚度、开合、遮挡物类型中的一种或多种划分。

本发明实施例通过针对待测图像中人脸设定器官的不同类型，基于不同类型的器官形状模型调整待测图像中人脸的器官的特征点的初始位置，提高了人脸的特征点与待测图像的相似度，降低了得到的待测图像中人脸的特征点形成的人脸形状与待测图像中的人脸形状之间的误差，对100*100像素的待测图像进行人脸特征点定位的平均误差只有1个像素。人脸特征点定位的精度的提高，为人脸识别、姿态表情分析、人脸跟踪、人脸重建等研究工作提供了更加准确的基础数据，对人脸图像的研究和应用具有重要意义。

实施例四

本发明实施例提供了一种人脸特征点定位装置，参见图4，该装置包括：

第一获取模块401，用于获取待测图像；

第二获取模块402，用于在待测图像中，进行平均形状模型的初始定位，得到描述待测图像中人脸的器官的特征点的初始位置；

确定模块403，用于确定描述人脸的设定器官的器官模型的类型；

调整模块404，用于基于确定的类型的器官模型，对待测图像进行特征点搜索，调整待测图像中人脸的器官的特征点的初始位置。

可选地，该类型可以按照人脸表情、人脸朝向、厚度、开合、遮挡物类型中的一种或多种划分。

在本实施例的一种实现方式中，该确定模块403可以包括：

计算单元，用于分别计算设定器官的在初始位置的各个特征点的特征图像，与设定器官的所有类型的器官模型中对应的特征点的特征图像的相似度，特征点的特征图像为以特征点为中心的正方形区域，正方形的边长为设定值；

选取单元，用于选取所有特征点的特征图像的相似度的总和最大的类型，作为描述人脸的设定器官的器官模型的类型。

在本实施例的另一种实现方式中，该调整模块404用于，

在待测图像中，分别在设定器官的在初始位置的各个特征点所在的第一区域中，搜索与设定器官的确定的类型的器官模型中对应的特征点的特征图像匹配值最大的图像，并将匹配值最大的图像的中心作为调整后的待测图像中人脸的器官的特征点的位置，特征点的特征图像为以特征点为中心的正方形区域，正方形的边长为设定值。

在本实施例的又一种实现方式中，该装置还可以包括：

第三获取模块405，用于获取若干训练图像，训练图像上已标明设定器官的所有特征点的位置，若干训练图像包括人脸的设定器官所有类型的多张图像；

建立模块406，用于分别根据设定器官各种类型的所有特征点的位置，建立设定器官各种类型的器官模型，器官模型包括所有特征点的特征图像，特征点的特征图像为以特征点为中心的正方形区域，正方形的边长为设定值。

本发明实施例通过针对待测图像中人脸设定器官的不同类型，基于不同类型的器官形状模型调整待测图像中人脸的器官的特征点的初始位置，提高了人脸的特征点与待测图像的相似度，降低了得到的待测图像中人脸的特征点形成的人脸形状与待测图像中的人脸形状之间的误差，对100*100像素的待测图像进行人脸特征点定位的平均误差只有1个像素。人脸特征点定位的精度的提高，为人脸识别、姿态表情分析、人脸跟踪、人脸重建等研究工作提供了更加准确的基础数据，对人脸图像的研究和应用具有重要意义。

需要说明的是：上述实施例提供的人脸特征点定位装置在定位人脸特征点时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的人脸特征点定位装置与人脸特征点定位方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种人脸特征点定位方法，其特征在于，所述方法包括：

获取待测图像；

在所述待测图像中，进行平均形状模型的初始定位，得到描述所述待测图像中人脸的器官的特征点的初始位置；

确定描述所述人脸的设定器官的器官模型的类型；

基于确定的类型的器官模型，对所述待测图像进行特征点搜索，调整所述待测图像中人脸的器官的特征点的初始位置。

2.根据权利要求1所述的方法，其特征在于，所述类型按照人脸表情、人脸朝向、厚度、开合、遮挡物类型中的一种或多种划分。

3.根据权利要求1或2所述的方法，其特征在于，所述确定描述所述人脸的设定器官的器官模型的类型，包括：

分别计算所述设定器官的在所述初始位置的各个特征点的特征图像，与所述设定器官的所有类型的器官模型中对应的特征点的特征图像的相似度，所述特征点的特征图像为以所述特征点为中心的正方形区域，所述正方形的边长为设定值；

选取所有特征点的特征图像的所述相似度的总和最大的类型，作为描述所述人脸的设定器官的器官模型的类型。

4.根据权利要求1或2所述的方法，其特征在于，所述基于确定的类型的器官模型，对所述待测图像进行特征点搜索，调整所述待测图像中人脸的器官的特征点的初始位置，包括：

在所述待测图像中，分别在所述设定器官的在所述初始位置的各个特征点所在的第一区域中，搜索与所述设定器官的确定的类型的器官模型中对应的特征点的特征图像匹配值最大的图像，并将所述匹配值最大的图像的中心作为调整后的所述待测图像中人脸的器官的特征点的位置，所述特征点的特征图像为以所述特征点为中心的正方形区域，所述正方形的边长为设定值。

5.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

获取若干训练图像，所述训练图像上已标明所述设定器官的所有特征点的位置，所述若干训练图像包括人脸的所述设定器官所有类型的多张图像；

分别根据所述设定器官各种类型的所有特征点的位置，建立所述设定器官各种类型的器官模型，所述器官模型包括所有特征点的特征图像，所述特征点的特征图像为以所述特征点为中心的正方形区域，所述正方形的边长为设定值。

6.一种人脸特征点定位装置，其特征在于，所述装置包括：

第一获取模块，用于获取待测图像；

第二获取模块，用于在所述待测图像中，进行平均形状模型的初始定位，得到描述所述待测图像中人脸的器官的特征点的初始位置；

确定模块，用于确定描述所述人脸的设定器官的器官模型的类型；

调整模块，用于基于确定的类型的器官模型，对所述待测图像进行特征点搜索，调整所述待测图像中人脸的器官的特征点的初始位置。

7.根据权利要求6所述的装置，其特征在于，所述类型按照人脸表情、人脸朝向、厚度、开合、遮挡物类型中的一种或多种划分。

8.根据权利要求6或7所述的装置，其特征在于，所述确定模块包括：

计算单元，用于分别计算所述设定器官的在所述初始位置的各个特征点的特征图像，与所述设定器官的所有类型的器官模型中对应的特征点的特征图像的相似度，所述特征点的特征图像为以所述特征点为中心的正方形区域，所述正方形的边长为设定值；

选取单元，用于选取所有特征点的特征图像的所述相似度的总和最大的类型，作为描述所述人脸的设定器官的器官模型的类型。

9.根据权利要求6或7所述的装置，其特征在于，所述调整模块用于，

在所述待测图像中，分别在所述设定器官的在所述初始位置的各个特征点所在的第一区域中，搜索与所述设定器官的确定的类型的器官模型中对应的特征点的特征图像匹配值最大的图像，并将所述匹配值最大的图像的中心作为调整后的所述待测图像中人脸的器官的特征点的位置，所述特征点的特征图像为以所述特征点为中心的正方形区域，所述正方形的边长为设定值。

10.根据权利要求6或7所述的装置，其特征在于，所述装置还包括：

第三获取模块，用于获取若干训练图像，所述训练图像上已标明所述设定器官的所有特征点的位置，所述若干训练图像包括人脸的所述设定器官所有类型的多张图像；

建立模块，用于分别根据所述设定器官各种类型的所有特征点的位置，建立所述设定器官各种类型的器官模型，所述器官模型包括所有特征点的特征图像，所述特征点的特征图像为以所述特征点为中心的正方形区域，所述正方形的边长为设定值。