CN111091040A - 基于全局轮廓和脸型结构分类的人脸吸引力数据处理方法 - Google Patents

Abstract

本发明属于图像处理技术领域，公开了一种基于全局轮廓和脸型结构分类的人脸吸引力数据处理方法，对采集到的人脸图像进行去模糊、去抖动、人脸对齐及归一化处理；对人脸图像进行脸型结构分类并对得到的人脸数据库进行脸型结构子库划分；提取人脸几何特征与纹理特征，并进行特征融合，用以表征人脸吸引力；将脸型结构分类与人脸吸引力评价相结合，选取基于各类脸型结构数据集相关性最高的机器学习算法；输出人脸吸引力评价分数。本发明提出的基于全局轮廓和脸型结构分类的人脸吸引力评价方法，降低了不同脸型结构间的人脸吸引力相互影响，可实现优化人脸吸引力评价性能的目标。同时本发明也适用于规模相对较大的数据集。

Description

基于全局轮廓和脸型结构分类的人脸吸引力数据处理方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于全局轮廓和脸型结构分类的人脸吸引力数据处理方法。

背景技术

目前，最接近的现有技术：

基于下颌17个特征点来训练传统脸型结构分类器的脸型结构分类方法，仅仅利用了下颌特征点，遗失了其他有用的信息，且人脸脸型结构分类的类别较少。本发明中的全局轮廓点特征对脸型结构分类有很好的拟合作用，可以得到更加准确和类别更多的脸型结构分类结果。

基于K近邻和Hausdorff距离的脸型结构分类方法，将Hausdorff距离作为K近邻算法的距离函数，但由于Hausdorff距离对异常值的容忍度较低，可能会导致计算点集之间距离较大时引起的分类错误。本发明利用K近邻与平均Hausdorff距离算法对脸型结构进行分类，改善了Hausdorff距离对异常值的容忍度较低的问题，得到了较好的人脸脸型结构分类效果。

目前对于人脸吸引力的评估预测多是利用几何特征表征人脸吸引力特征，因为几何特征是较好提取的且最普遍的表征人脸吸引力的特征，因此忽略了多特征融合和脸型结构分类对人脸吸引力的影响，导致了预测人脸吸引力评分不准确的问题。本发明采用几何特征与纹理特征相融合的方法来提取人脸吸引力特征，再将分类好的各类脸型子集进行人脸吸引力的训练及预测，选取各脸型结构相关系数最高的评价模型进行拼接，优化建立多层次、多影响因子的人脸吸引力评价估计模型。

综上所述，现有技术存在的问题是：现有对人脸吸引力多特征融合忽略了全局轮廓点特征对脸型结构分类的影响；Hausdorff距离对异常值的容忍度较低，可能会导致脸型结构分类错误；忽略了多特征融合和脸型结构分类对人脸吸引力的影响，导致了预测人脸吸引力评分不准确的问题。

解决上述技术问题的难度：传统的人脸吸引力研究主要局限于心理学与医学领域，重点关注的是美容与整形外科上的应用，而利用信息处理技术对人脸吸引力的研究才刚刚兴起。

解决上述技术问题的意义：本发明可实现优化人脸吸引力评价性能的目标。

发明内容

针对现有技术存在的问题，本发明提供了一种基于全局轮廓和脸型结构分类的人脸吸引力数据处理方法。

本发明是这样实现的，一种基于全局轮廓和脸型结构分类的人脸吸引力数据处理方法，所述基于全局轮廓和脸型结构分类的人脸吸引力数据处理方法包括以下步骤：

第一步，对采集到的人脸图像进行去模糊、去抖动、人脸对齐及归一化处理；

第二步，对人脸图像进行脸型结构分类并对得到的人脸数据库进行脸型结构子库划分；

第三步，提取人脸几何特征与纹理特征，并进行特征融合，用以表征人脸吸引力；

第四步，将脸型结构分类与人脸吸引力评价相结合，选取基于各类脸型结构数据集相关性最高的机器学习算法；

第五步，输出人脸吸引力评价分数。

进一步，所述基于全局轮廓和脸型结构分类的人脸吸引力数据处理方法利用主动形状模型ASM训练人脸脸型结构的全局轮廓点特征模型，获得全局轮廓点特征模板；提取下颌轮廓特征与全局轮廓特征；利用K近邻与平均Hausdorff距离对脸型结构进行分类，共分为圆形、椭圆形、心形、菱形、方形和长形6种脸型结构；在训练中根据人脸脸型结构将表征人脸吸引力的人脸图像数据分为六个脸型结构子集，将后续人脸吸引力评价预测限定在一个较小的数据集中。

进一步，所述基于全局轮廓和脸型结构分类的人脸吸引力数据处理方法全局轮廓点特征模型的训练过程包括：

从由ASM算法训练好的68人脸特征点模板中提取本数据集人脸图像的人脸特征点位置，使用STASM算法提取表征额头的3个特征点，手动标记左右髋骨各两个点，将其结果坐标存入文本文档中；将每个特征点用二维坐标(x,y)表示，则脸型结构的75个全局轮廓特征点构成形状向量X＝(x₁,y₁,x₂,y₂,...,x_n,y_n)^T，其中，n＝75；对所有样本全局轮廓向量进行归一化处理，使用Procrustes方法对每个全局轮廓形状向量进行简单的平移，旋转和缩放变换，将样本中多个人脸全局轮廓形状特征归一化到同一标准下；对样本人脸图像中所有的全局轮廓特征点与其附近的全局轮廓特征点在垂直方向上的灰度值进行归一化处理，计算得出所有全局轮廓特征点的局部灰度模型；在全局轮廓特征点邻域内进行迭代搜索，通过对全局轮廓点的局部特征点特征匹配，获取新的全局轮廓特征点位置；在全局轮廓特征点附近的矩形区域提取候选点集，选取多个候选点，然后利用马氏距离与样本全局轮廓特征点模型进行匹配，新的全局轮廓特征点位置由距离最近的待选点的横纵坐标所决定，并且对初始的全局轮廓形状进行更新；采用平均全局轮廓模型对匹配结果进行修正，计算最接近的全局轮廓特征点，若新的全局轮廓特征点变换很小或达到迭代次数，则停止搜索，否则继续搜索匹配。

进一步，所述基于全局轮廓和脸型结构分类的人脸吸引力数据处理方法轮廓特征提取的主要步骤如下：

(1)对输入的人脸图像进行特征点定位，得到75个全局人脸特征点；

(2)在全局人脸特征点的基础上，提取下颌轮廓特征向量Jaw＝(x₁,y₁,...,x_i,y_i,...,x_n,y_n)^T与全局轮廓特征向量Global＝(x₁,y₁,...,x_i,y_i,...,x_m,y_m)^T，其中(x_i,y_i)表示第i个特征点的二维坐标，Jaw的向量长度即为2n，n＝17，Global的向量长度即为2m，m＝24；

(3)根据下颌轮廓特征向量内与全局轮廓特征向量内，特征点间的比例关系，分别计算出两组距离特征S₂、S₃与S₁、S₂、S₃、S₄，其中S₁＝d(p¹⁸,p²⁴)，S₂＝d(p²,p¹⁷)，S₃＝d(p⁶,p¹²)，S_4＝d(p²¹,p⁹)，其中S₄＝d(p²¹,p⁹)为点a与点b之间的欧式距离，对距离特征求取其比例特征

(4)得到两组距离特征比，K₄与K₁、K₂、K₃、K₄、K₅、K₆，并将其与下颌轮廓特征向量和全局轮廓特征向量进行组合，获得新的脸型结构特征Jaw＝(x₁,y₁,...,x₁₇,y₁₇,k₄)^T、Global＝(x₁,y₁,...,x₂₄,y₂₄,k₁，k₂，k₃，k₄，k₅，k₆)^T。

进一步，所述基于全局轮廓和脸型结构分类的人脸吸引力数据处理方法利用K近邻与平均Hausdorff距离对人脸脸型结构进行分类步骤如下：

(1)构建训练样本集；从训练好的全局轮廓点特征模型中提取用于训练的人脸图像数据集的人脸全局轮廓点特征，并选取表征下颌特征的特征向量Jaw与表征全局轮廓特征的特征向量Global；

(2)确定初始K值；

(3)计算样本特征向量间的平均Hausdorff距离；分别计算Jaw与Global样本的特征向量间的平均Hausdorff距离；

(4)找出与待测样本特征向量平均Hausdorff距离最小的K个样本，调整K值，选择最优分类的K值；

(5)对于一个待测样本特征向量x_t，找出平均Hausdorff距离最小的K个样本x₁,...,x_K，K个样本与其所属类型的映射关系为x_i→s_i，其中，s_i表示第i个样本特征向量标记的脸型结构类别，脸型结构类别标记集合设为S＝{s₁,...,s₆}，其中s_i相同最多的脸型结构类型即为待测图像的脸型结构类型。

进一步，所述第四步菱形脸选用LR算法，椭圆形脸选用KNN算法，长形脸与心形脸选用SVM-LIN算法，圆形脸与方形脸选用SVM-REF算法。

进一步，提取的人脸吸引力特征包括：

(1)ASM-68特征向量：

首先将ASM中68个特征点的横纵坐标连接成一个矢量，形成表征人脸关键特征点的特征向量ASM＝(x₁,y₁,...,x_i,y_i,...,x_n,y_n)^T，其中，n＝68；

(2)18维人脸几何特征向量：

基于ASM算法标定的68个人脸特征点，根据其位置的特点，提出描述人脸吸引力特征的18维几何比例特征，以特征向量的形式表示为F＝(f₁,f₂,...,f_n)^T，其中，n＝18；

(3)LBP纹理特征向量：

基于LBP算法获得用以表征人脸吸引力表观纹理特征的256维特征向量LBP＝(z₁,z₂,...,z_n)^T，其中，n＝256；

将提取到的ASM-68特征、几何特征与纹理特征交互串联，形成融合特征向量R1＝(ASM^T,F^T)^T、R2＝(ASM^T,LBP^T)^T、R3＝(F^T,LBP^T)^T、R4＝(ASM^T,F^T,LBP^T)^T。

本发明的另一目的在于提供一种应用所述基于全局轮廓和脸型结构分类的人脸吸引力数据处理方法的基于全局轮廓和脸型结构分类的人脸吸引力数据处理系统，所述基于全局轮廓和脸型结构分类的人脸吸引力数据处理系统包括：

图像处理模块，用于对采集到的人脸图像进行去模糊、去抖动、人脸对齐及归一化处理；

脸型结构子库划分模块，用于对人脸图像进行脸型结构分类并对得到的人脸数据库进行脸型结构子库划分；

特征融合模块，用于提取人脸几何特征与纹理特征，并进行特征融合，用以表征人脸吸引力；

机器学习选择模块，用于将脸型结构分类与人脸吸引力评价相结合，选取基于各类脸型结构数据集相关性最高的机器学习算法；

结果输出模块，用于输出人脸吸引力评价分数。

本发明的另一目的在于提供一种应用所述基于全局轮廓和脸型结构分类的人脸吸引力数据处理方法的信息数据处理终端。

本发明的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的基于全局轮廓和脸型结构分类的人脸吸引力数据处理方法。

综上所述，本发明的优点及积极效果为：本发明提出的基于全局轮廓和脸型结构分类的人脸吸引力评价方法，提出了一种基于主动外观模型的全局轮廓点特征模型，并以此作为人脸脸型结构分类的主要特征提取模型，故提取到的特征具有更多的脸型结构特征信息，且具有更高的鲁棒性；利用K近邻与平均Hausdorff距离算法对脸型结构进行分类，改善了Hausdorff距离对异常值的容忍度较低的问题，得到了较好的人脸脸型结构分类效果；提出了多特征融合的人脸吸引力预测，并且使用脸型结构子库划分的方法，将人脸脸型结构分类引入人脸吸引力评价预测中，降低了不同脸型结构间的人脸吸引力相互影响，可实现优化人脸吸引力评价性能的目标。同时本发明也适用于规模相对较大的数据集。

附图说明

图1是本发明实施例提供的基于全局轮廓和脸型结构分类的人脸吸引力数据处理方法流程图。

图2是本发明实施例提供的基于全局轮廓和脸型结构分类的人脸吸引力数据处理方法实现流程图。

图3是本发明实施例提供的全局轮廓关键点分布及标记顺序示意图。

图4是本发明实施例提供的用到的几何特征示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种基于全局轮廓和脸型结构分类的人脸吸引力数据处理方法，下面结合附图对本发明作详细的描述。

如图1所示，本发明实施例提供的基于全局轮廓和脸型结构分类的人脸吸引力数据处理方法包括以下步骤：

S101：对采集到的人脸图像进行去模糊、去抖动、人脸对齐及归一化处理；

S102：对人脸图像进行脸型结构分类并对得到的人脸数据库进行脸型结构子库划分；

S103：提取人脸几何特征与纹理特征，并进行特征融合，用以表征人脸吸引力；

S104：将脸型结构分类与人脸吸引力评价相结合，选取基于各类脸型结构数据集相关性最高的机器学习算法；

S105：输出人脸吸引力评价分数。

下面结合附图对本发明的技术方案作进一步的描述。

如图2所示，本发明实施例提供的基于全局轮廓和脸型结构分类的人脸吸引力数据处理方法具体包括以下步骤：

步骤一、采集人脸图像：本发明采用的人脸数据集有两个来源，一是由华南理工大学的人机智能交互实验室于2015年发布建立的SCUT-FBP人脸数据库，共有500张人脸图像，这些图像是由亚洲女性青年中性表情人脸图片所构成的；二是自采集的人脸数据集，所有人脸图像均为正面、中性表情、普通的亚洲人脸，年龄在20～30岁范围以内，所有图片背景简单，无配饰，减少非相关因素干扰。

步骤二、图像预处理步骤：对采集到的人脸图像进行去模糊、去抖动、人脸对齐及归一化处理。

步骤三、脸型结构分类及子库划分：对人脸图像进行脸型结构分类并对得到的人脸数据库进行脸型结构子库划分。

步骤四、人脸吸引力特征提取与融合：提取人脸几何特征与纹理特征，并进行特征融合，用以表征人脸吸引力；

步骤五、人脸吸引力评价：将脸型结构分类与人脸吸引力评价相结合，选取基于各类脸型结构数据集相关性最高的机器学习算法；人脸吸引力评价预测选用线性回归(LR)、支持向量机的线性核函数(SVM-LIN)与径向基核函数(SVM-REF)以及K近邻(KNN)四种不同的机器学习方法；对圆形、椭圆形、菱形、长形、方形与心形的脸型结构子集选用不用的机器学习算法，菱形脸选用LR算法，椭圆形脸选用KNN算法，长形脸与心形脸选用SVM-LIN算法，圆形脸与方形脸选用SVM-REF算法；

步骤六、输出人脸吸引力评价分数。

在本发明的优选实施例中，本发明利用主动形状模型ASM训练人脸脸型结构的全局轮廓点特征模型，获得全局轮廓点特征模板；提取下颌轮廓特征与全局轮廓特征；利用K近邻与平均Hausdorff距离对脸型结构进行分类，共分为圆形、椭圆形、心形、菱形、方形和长形6种脸型结构；在训练中根据人脸脸型结构将表征人脸吸引力的人脸图像数据分为六个脸型结构子集，将后续人脸吸引力评价预测限定在一个较小的数据集中。

在本发明的优选实施例中，本发明全局轮廓点特征模型的训练过程包括：

从由ASM算法训练好的68人脸特征点模板中提取本数据集人脸图像的人脸特征点位置，使用STASM算法提取表征额头的3个特征点，手动标记左右髋骨各两个点，将其结果坐标存入文本文档中；将每个特征点用二维坐标(x,y)表示，则脸型结构的75个全局轮廓特征点构成形状向量X＝(x₁,y₁,x₂,y₂,...,x_n,y_n)^T，其中，n＝75；对所有样本全局轮廓向量进行归一化处理，使用Procrustes方法对每个全局轮廓形状向量进行简单的平移，旋转和缩放变换，将样本中多个人脸全局轮廓形状特征归一化到同一标准下；对样本人脸图像中所有的全局轮廓特征点与其附近的全局轮廓特征点在垂直方向上的灰度值进行归一化处理，计算得出所有全局轮廓特征点的局部灰度模型；在全局轮廓特征点邻域内进行迭代搜索，通过对全局轮廓点的局部特征点特征匹配，获取新的全局轮廓特征点位置；在全局轮廓特征点附近的矩形区域提取候选点集，选取多个候选点，然后利用马氏距离与样本全局轮廓特征点模型进行匹配，新的全局轮廓特征点位置由距离最近的待选点的横纵坐标所决定，并且对初始的全局轮廓形状进行更新；采用平均全局轮廓模型对匹配结果进行修正，计算最接近的全局轮廓特征点，若新的全局轮廓特征点变换很小或达到迭代次数，则停止搜索，否则继续搜索匹配。

在本发明的优选实施例中，本发明轮廓特征提取的主要步骤如下：

(1)对输入的人脸图像进行特征点定位，得到75个全局人脸特征点；

(2)在全局人脸特征点的基础上，提取下颌轮廓特征向量Jaw＝(x₁,y₁,...,x_i,y_i,...,x_n,y_n)^T与全局轮廓特征向量Global＝(x₁,y₁,...,x_i,y_i,...,x_m,y_m)^T，其中(x_i,y_i)表示第i个特征点的二维坐标，Jaw的向量长度即为2n，n＝17，Global的向量长度即为2m，m＝24；

(3)根据下颌轮廓特征向量内与全局轮廓特征向量内，特征点间的比例关系，分别计算出两组距离特征S₂、S₃与S_1、S_2、S_3、S₄，其中S₁＝d(p¹⁸,p²⁴)，S₂＝d(p²,p¹⁷)，S₃＝d(p⁶,p¹²)，S₄＝d(p²¹,p⁹)，其中S₄＝d(p²¹,p⁹)为点a与点b之间的欧式距离，为了更直观的表征距离特征的关系，对距离特征求取其比例特征

(4)得到两组距离特征比，K₄与K₁、K₂、K₃、K₄、K₅、K₆，并将其与下颌轮廓特征向量和全局轮廓特征向量进行组合，获得新的脸型结构特征Jaw＝(x₁,y₁,...,x₁₇,y₁₇,k₄)^T、Global＝(x₁,y₁,...,x₂₄,y₂₄,k₁，k₂，k₃，k₄，k₅，k₆)^T。

在本发明的优选实施例中，本发明利用K近邻与平均Hausdorff距离对人脸脸型结构进行分类，具体分类步骤如下：

(1)构建训练样本集；从训练好的全局轮廓点特征模型中提取用于训练的人脸图像数据集的人脸全局轮廓点特征，并选取表征下颌特征的特征向量Jaw与表征全局轮廓特征的特征向量Global；

(2)确定初始K值；

(3)计算样本特征向量间的平均Hausdorff距离；分别计算Jaw与Global样本的特征向量间的平均Hausdorff距离；

(4)找出与待测样本特征向量平均Hausdorff距离最小的K个样本，调整K值，选择最优分类的K值；

(5)对于一个待测样本特征向量x_t，用(S324)的方法找出平均Hausdorff距离最小的K个样本x₁,...,x_K，这K个样本与其所属类型的映射关系为x_i→s_i，其中，s_i表示第i个样本特征向量标记的脸型结构类别，脸型结构类别标记集合设为S＝{s₁,...,s₆}，其中s_i相同最多的脸型结构类型即为待测图像的脸型结构类型。

在本发明的优选实施例中，本发明提取的人脸吸引力特征包括：

(1)ASM-68特征向量：

首先将ASM中68个特征点的横纵坐标连接成一个矢量，形成表征人脸关键特征点的特征向量ASM＝(x₁,y₁,...,x_i,y_i,...,x_n,y_n)^T，其中，n＝68；

(2)18维人脸几何特征向量：

基于ASM算法标定的68个人脸特征点，根据其位置的特点，提出描述人脸吸引力特征的18维几何比例特征，以特征向量的形式表示为F＝(f₁,f₂,...,f_n)^T，其中，n＝18；

表1 18维几何比例特征适量描述

(3)LBP纹理特征向量：

基于LBP算法获得用以表征人脸吸引力表观纹理特征的256维特征向量LBP＝(z₁,z₂,...,z_n)^T，其中，n＝256；

将提取到的ASM-68特征、几何特征与纹理特征交互串联，形成融合特征向量R1＝(ASM^T,F^T)^T、R2＝(ASM^T,LBP^T)^T、R3＝(F^T,LBP^T)^T、R4＝(ASM^T,F^T,LBP^T)^T。

Pearson相关系数是用来衡量两个变量之间线性关系的度量值，人脸吸引力的人工评分与机器评分之间的相关程度可以通过以下取值范围进行判断：0-0.2表示相关性极弱；0.2-0.4表示相关性弱；0.4-0.6表示相关性中等；0.6-0.8表示相关性强；0.8-1.0表示相关性极强，当Pearson相关系数越接近于1，表明人工评分与机器评分的相关度越高，机器评价预测的性能越好。平均绝对值误差(MeanAbsolute Error，MAE)，又称之为平均绝对离差，在人脸吸引力预测中指预测值和人工评分之间偏差的绝对值的平均，当MAE值越小时，说明该人脸吸引力评价预测性能越好。均方根误差(Root Mean Squared Error，RMSE)是预测值与真实值之差的平方和与预测次数比值的平方根，当RMSE值越小时，说明人脸吸引力预测模型预测的结果与真实的人工评分具有更好的拟合精确度。

本发明基于线性回归(LR)、支持向量机的线性核函数(SVM-LIN)与径向基核函数(SVM-REF)以及K近邻(KNN)等四种不同的机器学习方法，验证ASM-68特征点、18维几何特征以及表观LBP纹理特征中，单一特征下的人脸吸引力预测性能，以及将ASM-68特征点、18维几何特征以及表观LBP纹理特征这三种特征进行交叉融合，分析这些机器评分与人工评分的关系，这里仅使用Pearson相关性系数作为评价的唯一标准。表2为不同特征的人脸吸引力评价性能实验结果，表3为不同特征交互融合评价预测性能结果。这三个特征交互融合时，对于人脸吸引力的评价预测性能Pearson相关性系数达到最高为0.803，性能最佳。

表2单一特征的人脸吸引力评价预测实验结果

表3人脸吸引力特征交互融合评价分析表

人脸吸引力评价预测同样选用线性回归(LR)、支持向量机的线性核函数(SVM-LIN)与径向基核函数(SVM-REF)以及K近邻(KNN)四种不同的机器学习方法，用以选取不同脸型结构的最高相关性的人脸吸引力评价，使用Pearson相关系数比较性能。表4为各类脸型的人脸吸引力分数预测性能。不同脸型运用不同的机器学习算法对人脸吸引力评估性能有着很大的差异性，进一步证实了脸型结构对于人脸吸引力评价性能有着重要的作用。对圆形、椭圆形、菱形、长形、方形与心形的脸型结构子集选用不用的机器学习算法，菱形脸选用LR算法，椭圆形脸选用KNN算法，长形脸与心形脸选用SVM-LIN算法，圆形脸与方形脸选用SVM-REF算法，将各类脸型结构人脸吸引力评价最高的Pearson相关系数的机器学习算法进行组合拼接，获得最高的人脸吸引力评价性能。

表4各类脸型的人脸吸引力分数预测性能

通过选取本发明中人脸吸引力数据库及其中部分图片进行测试，利用获得的各脸型结构中最高的Pearson相关系数，以脸型结构子库划分的方法提高人脸吸引力评价性能，详细结果见表5。可以看到，采用脸型分类后的人脸吸引力评价的平均性能中，Pearson相关系数达到了0.856，与未采用人脸脸型结构分类前的人脸吸引力评价性能相比提高了6.6％，并且MAE与RMSE也发生了一定的降低，MAE＝0.163，RMSE＝0.216，人脸吸引力评价性能得到了一定的改善，但总体来看人脸吸引力评价的平均性能的提高效果没有那么明显。随着数据集规模的减小，采用脸型结构分类后对人脸吸引力评价性能的提高也越来越小，这是由于脸型结构分类的相关性并不随着数据集规模的减小而减小，反而影响了后续的人脸吸引力评价过程，因此，该方法更加适用于规模相对较大的数据集。

表5加入脸型结构分类后的人脸吸引力评价性能

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于全局轮廓和脸型结构分类的人脸吸引力数据处理方法，其特征在于，所述基于全局轮廓和脸型结构分类的人脸吸引力数据处理方法包括以下步骤：

第一步，对采集到的人脸图像进行去模糊、去抖动、人脸对齐及归一化处理；

第二步，对人脸图像进行脸型结构分类并对得到的人脸数据库进行脸型结构子库划分；

第三步，提取人脸几何特征与纹理特征，并进行特征融合，用以表征人脸吸引力；

第四步，将脸型结构分类与人脸吸引力评价相结合，选取基于各类脸型结构数据集相关性最高的机器学习算法；

第五步，输出人脸吸引力评价分数。

2.如权利要求1所述的基于全局轮廓和脸型结构分类的人脸吸引力数据处理方法，其特征在于，所述基于全局轮廓和脸型结构分类的人脸吸引力数据处理方法利用主动形状模型ASM训练人脸脸型结构的全局轮廓点特征模型，获得全局轮廓点特征模板；提取下颌轮廓特征与全局轮廓特征；利用K近邻与平均Hausdorff距离对脸型结构进行分类，共分为圆形、椭圆形、心形、菱形、方形和长形6种脸型结构；在训练中根据人脸脸型结构将表征人脸吸引力的人脸图像数据分为六个脸型结构子集，将后续人脸吸引力评价预测限定在一个较小的数据集中。

3.如权利要求1所述的基于全局轮廓和脸型结构分类的人脸吸引力数据处理方法，其特征在于，所述基于全局轮廓和脸型结构分类的人脸吸引力数据处理方法全局轮廓点特征模型的训练过程包括：

从由ASM算法训练好的68人脸特征点模板中提取本数据集人脸图像的人脸特征点位置，使用STASM算法提取表征额头的3个特征点，手动标记左右髋骨各两个点，将其结果坐标存入文本文档中；将每个特征点用二维坐标(x,y)表示，则脸型结构的75个全局轮廓特征点构成形状向量X＝(x₁,y₁,x₂,y₂,...,x_n,y_n)^T，其中，n＝75；对所有样本全局轮廓向量进行归一化处理，使用Procrustes方法对每个全局轮廓形状向量进行简单的平移，旋转和缩放变换，将样本中多个人脸全局轮廓形状特征归一化到同一标准下；对样本人脸图像中所有的全局轮廓特征点与其附近的全局轮廓特征点在垂直方向上的灰度值进行归一化处理，计算得出所有全局轮廓特征点的局部灰度模型；在全局轮廓特征点邻域内进行迭代搜索，通过对全局轮廓点的局部特征点特征匹配，获取新的全局轮廓特征点位置；在全局轮廓特征点附近的矩形区域提取候选点集，选取多个候选点，然后利用马氏距离与样本全局轮廓特征点模型进行匹配，新的全局轮廓特征点位置由距离最近的待选点的横纵坐标所决定，并且对初始的全局轮廓形状进行更新；采用平均全局轮廓模型对匹配结果进行修正，计算最接近的全局轮廓特征点，若新的全局轮廓特征点变换很小或达到迭代次数，则停止搜索，否则继续搜索匹配。

4.如权利要求1所述的基于全局轮廓和脸型结构分类的人脸吸引力数据处理方法，其特征在于，所述基于全局轮廓和脸型结构分类的人脸吸引力数据处理方法轮廓特征提取的主要步骤如下：

(1)对输入的人脸图像进行特征点定位，得到75个全局人脸特征点；

(2)在全局人脸特征点的基础上，提取下颌轮廓特征向量Jaw＝(x₁,y₁,...,x_i,y_i,...,x_n,y_n)^T与全局轮廓特征向量Global＝(x₁,y₁,...,x_i,y_i,...,x_m,y_m)^T，其中(x_i,y_i)表示第i个特征点的二维坐标，Jaw的向量长度即为2n，n＝17，Global的向量长度即为2m，m＝24；

(3)根据下颌轮廓特征向量内与全局轮廓特征向量内，特征点间的比例关系，分别计算出两组距离特征S2、S₃与S₁、S₂、S₃、S₄，其中S₁＝d(p¹⁸,p²⁴)，S₂＝d(p²,p¹⁷)，S₃＝d(p⁶,p¹²)，S₄＝d(p²¹,p⁹)，其中S₄＝d(p²¹,p⁹)为点a与点b之间的欧式距离，对距离特征求取其比例特征

(4)得到两组距离特征比，K₄与K₁、K₂、K₃、K₄、K₅、K₆，并将其与下颌轮廓特征向量和全局轮廓特征向量进行组合，获得新的脸型结构特征Jaw＝(x₁,y₁,...,x₁₇,y₁₇,k₄)^T、Global＝(x₁,y₁,...,x₂₄,y₂₄,k₁，k₂，k₃，k₄，k₅，k₆)^T。

5.如权利要求1所述的基于全局轮廓和脸型结构分类的人脸吸引力数据处理方法，其特征在于，所述基于全局轮廓和脸型结构分类的人脸吸引力数据处理方法利用K近邻与平均Hausdorff距离对人脸脸型结构进行分类步骤如下：

(1)构建训练样本集；从训练好的全局轮廓点特征模型中提取用于训练的人脸图像数据集的人脸全局轮廓点特征，并选取表征下颌特征的特征向量Jaw与表征全局轮廓特征的特征向量Global；

(2)确定初始K值；

(3)计算样本特征向量间的平均Hausdorff距离；分别计算Jaw与Global样本的特征向量间的平均Hausdorff距离；

(4)找出与待测样本特征向量平均Hausdorff距离最小的K个样本，调整K值，选择最优分类的K值；

(5)对于一个待测样本特征向量x_t，找出平均Hausdorff距离最小的K个样本x₁,...,x_K，K个样本与其所属类型的映射关系为x_i→s_i，其中，s_i表示第i个样本特征向量标记的脸型结构类别，脸型结构类别标记集合设为S＝{s₁,...,s₆}，其中s_i相同最多的脸型结构类型即为待测图像的脸型结构类型。

6.如权利要求1所述的基于全局轮廓和脸型结构分类的人脸吸引力数据处理方法，其特征在于，所述第四步菱形脸选用LR算法，椭圆形脸选用KNN算法，长形脸与心形脸选用SVM-LIN算法，圆形脸与方形脸选用SVM-REF算法。

7.如权利要求1所述的基于全局轮廓和脸型结构分类的人脸吸引力数据处理方法，其特征在于，提取的人脸吸引力特征包括：

(1)ASM-68特征向量：

首先将ASM中68个特征点的横纵坐标连接成一个矢量，形成表征人脸关键特征点的特征向量ASM＝(x₁,y₁,...,x_i,y_i,...,x_n,y_n)^T，其中，n＝68；

(2)18维人脸几何特征向量：

基于ASM算法标定的68个人脸特征点，根据其位置的特点，提出描述人脸吸引力特征的18维几何比例特征，以特征向量的形式表示为F＝(f₁,f₂,...,f_n)^T，其中，n＝18；

(3)LBP纹理特征向量：

基于LBP算法获得用以表征人脸吸引力表观纹理特征的256维特征向量LBP＝(z₁,z₂,...,z_n)^T，其中，n＝256；

将提取到的ASM-68特征、几何特征与纹理特征交互串联，形成融合特征向量R1＝(ASM^T,F^T)^T、R2＝(ASM^T,LBP^T)^T、R3＝(F^T,LBP^T)^T、R4＝(ASM^T,F^T,LBP^T)^T。

8.一种应用权利要求1～7任意一项所述基于全局轮廓和脸型结构分类的人脸吸引力数据处理方法的基于全局轮廓和脸型结构分类的人脸吸引力数据处理系统，其特征在于，所述基于全局轮廓和脸型结构分类的人脸吸引力数据处理系统包括：

图像处理模块，用于对采集到的人脸图像进行去模糊、去抖动、人脸对齐及归一化处理；

脸型结构子库划分模块，用于对人脸图像进行脸型结构分类并对得到的人脸数据库进行脸型结构子库划分；

特征融合模块，用于提取人脸几何特征与纹理特征，并进行特征融合，用以表征人脸吸引力；

机器学习选择模块，用于将脸型结构分类与人脸吸引力评价相结合，选取基于各类脸型结构数据集相关性最高的机器学习算法；

结果输出模块，用于输出人脸吸引力评价分数。

9.一种应用权利要求1～7任意一项所述基于全局轮廓和脸型结构分类的人脸吸引力数据处理方法的信息数据处理终端。

10.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-7任意一项所述的基于全局轮廓和脸型结构分类的人脸吸引力数据处理方法。

Images