CN104636755A

CN104636755A - 一种基于深度学习的人脸美丽评价方法

Info

Publication number: CN104636755A
Application number: CN201510059798.1A
Authority: CN
Inventors: 金连文; 冯子勇
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2015-01-31
Filing date: 2015-01-31
Publication date: 2015-05-20

Abstract

本发明提供一种基于深度学习的人脸美丽评价方法。该方法包括：(1)获取训练人脸图像集和测试人脸图像集；(2)通过特征学习对训练人脸图像集学习人脸美丽特征，并用卷积模版对原始图像进行卷积形成多个特征图；(3)把得到的特征图作为输入，利用同样特征学习方法学习第二层卷积模版，并用卷积模版对(2)得到的特征图进行卷积形成多个特征图；(4)对得到的特征图二值化编码，在局部区域计算统计直方图，然后把所有的局部区域统计直方图拼接成一张人脸图像的特征；(5)把人脸的美丽评价量化为多个等价形成，用SVM分类器分类得出评价结果。本发明通过深度学习算法从样本中自动学习出人脸美丽特征，使计算机智能地对人脸美丽进行评价。

Description

一种基于深度学习的人脸美丽评价方法

技术领域

本发明属于模式识别与人工智能技术领域，特别涉及一种计算机客观评价人脸美丽程度的方法。

背景技术

评价人脸的美丽程度很有可能受到主观因素的影响，不同人，不同种族都有不同的平均标准。即使同一个民族在不同时期的审美标准也可能完全不同。但是在同一时期，相同地区的人们对美丽还是有共性的认识。一些学者已经开始用计算机对人脸美丽进行较为客观的评价。人脸美丽评价可以广泛地应用在日常生活中，如在社交网络中让计算机为好友进行美丽评价并分享。

基于几何特征的人脸美丽预测方法是人脸美丽研究的热点，研究者在人脸图像上提取许多有意义的特征点，计算感兴趣特征点之间的几何距离以及由这些距离所构成的比率矢量，然后将几何距离和比率矢量作为特征进行机器学习。几何特征体现了人脸图像各部位一种和谐的数量或比例关系。比如中国发明专利200810029422.6号专利《一种基于视频的人脸美丽评价方法》和200910041044.8号专利《一种采用计算机进行女性图像的人脸美丽分类方法》但是，人脸平面图像单纯用几何特征进行描述会丢失诸如肌肉的起伏、五官部位的结构转折等表征人脸美丽的特征信息，而且人脸特征点的检测在训练阶段需由人工标注训练样本，但过多主观因素介入容易导致所获结果没有普适性，甚至当待标注图像数目庞大时，令到人工介入非常繁琐。表观特征指以人脸整体外貌特征为研究对象，对美丽特征的分析不再局限于几何距离，也不再局限于特征点的控制。表观特征不用提取特征点，避免过多人工介入，相对于几何特征具有独特优势。

发明内容

为了克服现有技术的上述缺点，本发明目的在于提供一种基于深度学习的人脸美丽评价方法，能够有效地学习到表达人脸美丽的特征，从而获得更好的人脸美丽客观评价。

为了实现上述发明目的，本发明采用的技术方案是：

一种基于深度学习的人脸美丽评价方法，包括下列步骤：

(1)获取训练人脸图像集和测试人脸图像集；

(2)通过DLANet特征学习模型(该模型通过最小化同类样本距离，最大化异类样本距离来学习特征)，对训练人脸图像集学习人脸美丽特征(卷积模版)，并用卷积模版对原始图像进行卷积形成多个特征图；

(3)把(2)得到的特征图作为输入，利用同样的DLANet特征学习方法学习第二层卷积模版，并用卷积模版对(2)得到的特征图进行卷积形成多个特征图；

(4)对(3)得到的特征图二值化编码，在局部区域计算统计直方图，然后把所有的局部区域统计直方图拼接成一张人脸图像的特征；

(5)把人脸的美丽评价量化为多个等价形成，用SVM分类器进行分类得出评价结果。

上述方案中，所述步骤(2)用DLANet学习卷积模版具体操作如下：

(I)对所有训练人脸图像提取7×7的图像块，将这些图像块展成列向量并减去对应均值形成样本矩阵P。

(II)对于第i个样本找到k₁个最近的同类样本和k₂个最近的异类样本构造系数矩阵L_i

L_{i} = (\begin{matrix} {- 1}_{k_{1} + k_{2}}^{T} \\ I_{k_{1} + k_{2}} \end{matrix}) diag (w_{i}) ({- 1}_{k_{1} + k_{2}}, I_{k_{1} + k_{2}})

其中是系数向量，用于区分同类样本与异类样本的作用。是长度为k₁+k₂的全1向量，是对角线全为1的(k₁+k₂)×(k₁+k₂)大小的方阵。

(III)为了考虑每个样本对总体的不同影响，本发明采用边缘度m_i来表示其重要性。边缘度的定义为

m_{i} = \exp (- \frac{1}{(n_{i} + δ) t})

其中n_i是落在样本邻近区域内异类样本的个数，δ是正则化参数，t是缩放因子。当n_i越大，m_i也越大说明此样本也越重要。

(IV)为了方便表达，本发明定义了选择矩阵

这个矩阵表示从样本矩阵P选出第i个样本这样就可以得到对齐矩阵

L = Σ_{i = 1}^{Nmn} S_{i} m_{i} L_{i} S_{i}^{T}

其中Nmn是样本个数，S_i为选择矩阵，L_i是(Ⅱ)所述的系数矩阵，m_i是(Ⅲ)所述的边缘度。

(V)对矩阵PLP^T进行特征值分解，将特征值按从小到大排列，取前8个特征值对应的特征向量矩阵化作为这一层的8个卷积模版。

(VI)将卷积模版与原人脸图像进行卷积，得到8个特征图。

所述步骤(3)用与(2)相同的学习方法，以步骤(2)得到的特征图作为输入，学习得到8个卷积模版。将卷积模版与8个特征图进行卷积，共得到64个特征图。

所述步骤(4)具体操作如下：

利用二值化函数B(x)将所有特征图二值化

B (x) = \{\begin{matrix} 0, & x < 0 \\ 1, & x &GreaterEqual; 0 \end{matrix}

把从步骤(3)中同一特征图卷积得到的8个二值化后的深层特征图作为一组，将它们对应像素的8个值看成一个二进制数并转化为十进制数。这样就可以从步骤(3)的64个特征图得到8个输出图。对于每个输出图以滑动窗的形式取16×16的块，滑动步长为8，统计每个块的统计直方图，形成256维直方图特征。最终将整幅人脸图像的所有特征拼接在一起得到这一人脸图像的美丽特征表达。

所述步骤(5)将训练人脸图像对应评分量化为5个等级，也就是把人脸图像分为5类(不美，一般不美，一般，一般美，很美)。用步骤(4)得到的人脸美丽特征和对应的分类标签训练SVM分类器，这个分类器可以对测试人脸图像进行评价从而实现计算机对人脸美丽评价的目的。

与现有技术相比，本发明具有以下优点：

(1)由于采用深度网络结构的人脸美丽特征学习算法，所以能够很好的从数据中学习到有效的美丽特征表达，提高本美丽评价系统的准确率。

(2)采用类似于深度卷积网络的结构能够提取到较好的局部特征并具有平移不变性，从而提高了本美丽评价系统的识别性能与健壮性。

(3)与传统人脸几何特征相比，能够提取到更多的表观特征，得到更好的人脸美丽描述，从而获得比传统人脸几何特征更好的评价效果。

(4)与传统的深度卷积神经网络相比，本发明提出的学习算法不需要重复迭代学习，大大减少了运算量，提高了系统的效率。

附图说明

图1为本发明的单层特征学习示意图；

图2为本发明的人脸美丽特征学习流程图；

图3为本发明的人脸美丽评价流程示意图。

具体实施方式

下面结合附图对本发明做进一步的说明，但本发明的实施和保护不限于此。需指出的是，以下若有未特别详细说明之处，均是本领域技术人员可参照现有技术实现的。

本发明人脸美丽特征学习的流程如附图3所示，包括下列步骤：

(1)获取训练人脸图像集和测试人脸图像集；

(2)通过DLANet特征学习模型(该模型通过最小化同类样本距离，最大化异类样本距离来学习特征，将在下文详细描述)，对训练人脸图像集学习人脸美丽特征(卷积模版)，并用卷积模版对原始图像进行卷积形成多个特征图；

DLANet学习卷积模版如附图1所示。

(II)对于第i个样本找到k₁个最近的同类样本如附图1中的深色三角形和k₂个最近的异类样本如附图1中浅色圆形、菱形和三角形。构造系数矩阵L_i

L_{i} = (\begin{matrix} {- 1}_{k_{1} + k_{2}}^{T} \\ I_{k_{1} + k_{2}} \end{matrix}) diag (w_{i}) ({- 1}_{k_{1} + k_{2}}, I_{k_{1} + k_{2}})

m_{i} = \exp (- \frac{1}{(n_{i} + δ) t})

(IV)为了方便表达，本发明定义了选择矩阵

L = Σ_{i = 1}^{Nmn} S_{i} m_{i} L_{i} S_{i}^{T}

(V)对矩阵PLP^T进行特征值分解，将特征值按从小到大排列，取前8个特征值对应的特征向量矩阵化作为这一层的8个卷积模版。这样得到的卷积模能够使相同美丽等级的图像块更加接近，不同等级的更加远离。

(VI)如图2所示，将卷积模版与原人脸图像进行卷积，得到8个特征图。

所述步骤(3)用与(2)相同的学习方法，以步骤(2)得到的特征图作为输入，学习得到8个卷积模版。将卷积模版与8个特征图进行卷积，如图2第二个DLA层所示，共得到64个特征图。

步骤(4)具体操作如下：

利用二值化函数B(x)将所有特征图二值化

B (x) = \{\begin{matrix} 0, & x < 0 \\ 1, & x &GreaterEqual; 0 \end{matrix}

把从步骤(3)中同一特征图卷积得到的8个二值化后的深层特征图作为一组，将它们对应像素的8个值看成一个二进制数并转化为十进制数。如图2所示，从第二个DLA层到二值化就把步骤(3)的64个特征图聚合得到8个输出图。对于每个输出图以滑动窗的形式取16×16的块，滑动步长为8，统计每个块的统计直方图，形成2⁸＝256维直方图特征。最终将整幅人脸图像的所有特征拼接在一起得到这一人脸图像的美丽特征表达。

Claims

1.一种基于深度学习的人脸美丽评价方法，包括下列步骤：

(1)获取训练人脸图像集和测试人脸图像集；

(2)通过DLANet特征学习模型，对训练人脸图像集学习人脸美丽特征即卷积模版，并用卷积模版对原始图像进行卷积形成多个特征图；所述DLANet特征学习模型通过最小化同类样本距离，最大化异类样本距离来学习特征；

(3)把步骤(2)得到的特征图作为输入，利用与步骤(2)同样的DLANet特征学习方法学习第二层卷积模版，并用该第二层卷积模版对(2)得到的特征图进行卷积形成多个特征图；

(4)对步骤(3)得到的特征图二值化编码，在局部区域计算统计直方图，然后把所有的局部区域统计直方图拼接成一张人脸图像的特征；

2.根据权利要求1所述的基于深度学习的人脸美丽评价方法，其特征在于所述步骤(2)用DLANet学习卷积模版具体操作如下：

(I)对所有训练人脸图像提取7×7的图像块，将这些图像块展成列向量并减去对应均值形成样本矩阵P；

L_{i} = (\begin{matrix} - 1_{k_{1} + k_{2}}^{T} \\ I_{k_{1} + k_{2}} \end{matrix}) diag (w_{i}) ({- 1}_{k_{1} + k_{2}}, I_{k_{1} + k_{2}})

其中是系数向量，用于区分同类样本与异类样本的作用；是长度为k₁+k₂的全1向量，是对角线全为1的(k₁+k₂)×(k₁+k₂)大小的方阵；

(III)为了考虑每个样本对总体的不同影响，采用边缘度m_i来表示其重要性，边缘度的定义为

m_{i} = \exp (- \frac{1}{(n_{i} + δ) t})

其中n_i是落在样本邻近区域内异类样本的个数，δ是正则化参数，t是缩放因子；当n_i越大，m_i也越大说明此样本也越重要；

(IV)定义选择矩阵

L = Σ_{i = 1}^{Nmn} S_{i} m_{i} L_{i} S_{i}^{T},

其中Nmn是样本个数，S_i为选择矩阵，L_i是(Ⅱ)所述的系数矩阵，m_i是(Ⅲ)所述的边缘度；

(V)对矩阵PLP^T进行特征值分解，将特征值按从小到大排列，取前8个特征值对应的特征向量矩阵化作为这一层的8个卷积模版；

(VI)将卷积模版与原人脸图像进行卷积，得到8个特征图。

3.根据权利要求1所述的基于深度学习的人脸美丽评价方法，其特征在于所述步骤(3)以步骤(2)得到的特征图作为输入，学习得到8个卷积模版，将卷积模版与8个特征图进行卷积，共得到64个特征图。

4.根据权利要求1所述的基于深度学习的人脸美丽评价方法，其特征在于所述步骤(4)具体操作如下：

利用二值化函数B(x)将所有特征图二值化

B (x) = \{\begin{matrix} 0, & x < 0 \\ 1, & x &GreaterEqual; 0 \end{matrix},

把从步骤(3)中同一特征图卷积得到的8个二值化后的深层特征图作为一组，将它们对应像素的8个值看成一个二进制数并转化为十进制数，从步骤(3)的64个特征图得到8个输出图；对于每个输出图以滑动窗的形式取16×16的块，滑动步长为8，统计每个块的统计直方图，形成28＝256维直方图特征；最终将整幅人脸图像的所有特征拼接在一起得到这一人脸图像的美丽特征表达。

5.根据权利要求1所述的基于深度学习的人脸美丽评价方法，其特征在于所述步骤(5)将训练人脸图像对应评分量化为5个等级，也就是把人脸图像分为5类：不美，一般不美，一般，一般美，很美；用步骤(4)得到的人脸美丽特征和对应的分类标签训练SVM分类器，这个分类器对测试人脸图像进行评价从而实现计算机对人脸美丽的客观评价。