CN103714351A - 一种基于深度自学习的人脸美丽预测方法 - Google Patents

Abstract

本发明公开了一种基于深度自学习的人脸美丽预测方法，通过LBP算子所提取的人脸图像局部纹理特征对光照和微小平移具有较强的鲁棒性，将其作为CDBN输入有助于网络对表征人脸美丽信息的联想记忆，进一步减少网络学习到不利的特征描述。自学习方法能自动完善CDBN对数据特征分布的理解，使人脸美丽预测在训练样本类型和数目不满足实际需要的情况下，仍能获得较好的人脸图像特征描述。通过学习一种深层非线性网络结构，使网络系统不依赖人工的特征选择去组合低层特征而形成更加抽象和结构性的高层分布式美丽特征表示，表达一种自动学习和特征提取过程，并利用SVM回归方法实现了人脸美丽机器打分与人工打分的高度一致性。

Description

一种基于深度自学习的人脸美丽预测方法

技术领域

本发明涉及一种基于深度自学习的人脸美丽预测方法。

背景技术

爱美是人类的天性，爱美之心，人皆有之。亚里士多德说：“美丽的面孔是更好的推荐书”。美丽给人留下的好感在日常生活中切实存在，且给人们日常生活带来重大影响。人脸美丽研究是近年来兴起的关于人类认知本质与规律研究的前沿课题，探索如何更好地预测美，将有助于人脸美丽密码这一人类永恒的主题得到科学、客观及可量化的描述，使人脸美丽研究这一跨学科领域得到长足的发展。

目前，国内外学者大多采用几何特征或表观特征，进而通过机器学习对人脸美丽进行预测。其中基于几何特征的人脸美丽预测方法是人脸美丽研究的热点，研究者在人脸图像上提取许多有意义的特征点，计算感兴趣特征点之间的几何距离以及由这些距离所构成的比率矢量，然后将几何距离和比率矢量作为特征进行机器学习。几何特征体现了人脸图像各部位一种和谐的数量或比例关系。但是，人脸平面图像单纯用几何特征进行描述会丢失诸如肌肉的起伏、五官部位的结构转折等表征人脸美丽的特征信息，而且人脸特征点的检测在训练阶段需由人工标注训练样本，但过多主动因素介入容易导致所获结果没有普适性，甚至当待标注图像数目庞大时，令到人工介入非常繁琐。表观特征指以人脸整体外貌特征为研究对象，对美丽特征的分析不再局限于几何距离，也不再局限于特征点的控制。表观特征不用提取特征点，避免过多人工介入，相对于几何特征具有独特优势。但是，人脸美丽很大程度上取决于人脸各局部结构和轮廓信息，而主流的基于表观特征的方法只是采用特征脸、纹理特征等初级特征来表征人脸美丽信息，未涉及更具有结构性、层次性的特征表达。传统机器学习方法用于人脸美丽研究需要大量训练样本，且美丽程度要求有一定区分度，即训练样本应包含许多经过标注的极美和极丑图像，而实际中人脸图像大多为中性美，很难找到许多极美和极丑图像，这无疑会给研究工作带来困难。

发明内容

为克服现有技术存在的上述不足，本发明的目的在于提供一种通过深度自学习获取有效表征人脸美丽特征信息的高精度美丽预测方法。

本发明采用的技术方案是：

一种基于深度自学习的人脸美丽预测方法，包括下列步骤：

（1）提取训练人脸图像、测试人脸图像以及自然图像的LBP纹理特征；

（2）基于CDBN学习模型，将自然图像的LBP纹理特征作为输入，对CDBN第一层进行自学习；

（3）将训练人脸图像的LBP纹理特征作为输入，对CDBN进行逐层贪婪无监督训练，学习表征人脸图像美丽形象的表观特征；

（4）利用已完成训练的CDBN提取用于美丽预测的训练人脸图像、测试人脸图像的表观特征；

（5）采用SVM回归对人脸图像美丽程度进行预测，输出判别结果。

进一步，所述CDBN由若干CRBM层叠加而成，每一层CRBM由下至上依次为可见层、隐藏层、池化层。

进一步，所述步骤（1）具体包括下列步骤：

（11）利用LBP算子得到训练人脸图像、测试人脸图像和自然图像的LBP特征编码图像；

（12）分别对训练人脸图像、测试人脸图像和自然图像的LBP特征编码图像进行分块处理，并计算每块子直方图的直方图特征；

（13）将训练人脸图像、测试人脸图像和自然图像各区域的子直方图串联形成整体直方图特征，进而得到训练人脸图像、测试人脸图像和自然图像的LBP纹理特征。

进一步，所述步骤（2）具体包括下列步骤：

（21）将自然图像的LBP纹理特征作为CDBN第一层可见层的输入，进而计算隐藏层的分布函数，并对其采样得到隐藏层状态值；

（22）根据隐藏层状态值计算可见层的分布函数，并对其进行采样得到可见层特征；

（23）重复步骤(21)、步骤（22）至指定迭代次数后结束。

进一步，所述步骤（3）具体包括下列步骤：

（31）将训练人脸图像的LBP纹理特征作为CDBN第一层可见层的输入，对第一层进行无监督训练，得到池化层的分布函数，对第一层的池化层的分布函数采样，得到池化层特征；

（32）将CDBN第一层的池化层特征作为CDBN第二层的可见层输入，采用与步骤(31)相同的方法对第二层进行无监督训练，得到第二层的池化层特征，并将其作为CDBN下一层的可见层输入，下一层采用与上一层相同的方法，进而完成对多层CDBN逐层贪婪无监督训练。

再进一步，所述无监督训练的具体步骤为：

（311）根据CDBN可见层的输入，计算隐藏层的分布函数，并对隐藏层的分布函数进行采样，得到隐藏层的状态值；

（312）根据隐藏层的状态值计算可见层的分布函数，并对可见层的分布函数进行采样，得到可见层的特征；

（313）重复步骤（311）、步骤（312）至指定迭代次数后结束训练；

（314）CDBN训练后，利用隐藏层的状态值，计算池化层的分布函数。

本发明的有益效果是：本发明通过LBP算子所提取的人脸图像局部纹理特征对光照和微小平移具有较强的鲁棒性，将其作为CDBN输入有助于网络对表征人脸美丽信息的联想记忆，进一步减少网络学习到不利的特征描述。自学习方法能自动完善CDBN对数据特征分布的理解，使人脸美丽预测在训练样本类型和数目不满足实际需要的情况下，仍能获得较好的人脸图像特征描述。通过学习一种深层非线性网络结构，使网络系统不依赖人工的特征选择去组合低层特征而形成更加抽象和结构性的高层分布式美丽特征表示，表达一种自动学习和特征提取过程，并利用SVM回归方法实现了人脸美丽机器打分与人工打分的高度一致性。

附图说明

以下结合附图和实例对本发明作进一步说明。

图1是本发明的一种基于深度自学习的人脸美丽预测方法的示意图；

图2是本发明的CRBM模型结构示意图；

图3是本发明的100张测试样本预测值与真实值的拟合效果示意图。

具体实施方式

参照图1至图3，本发明的一种基于深度自学习的人脸美丽预测方法，包括下列步骤：

（1）提取训练人脸图像、测试人脸图像以及自然图像的LBP纹理特征；

（2）基于CDBN学习模型，将自然图像的LBP纹理特征作为输入，对CDBN第一层进行自学习；

（3）将训练人脸图像的LBP纹理特征作为输入，对CDBN进行逐层贪婪无监督训练，学习表征人脸图像美丽形象的表观特征；

（4）利用已完成训练的CDBN提取用于美丽预测的训练人脸图像、测试人脸图像的表观特征；

（5）采用SVM回归对人脸图像美丽程度进行预测，输出判别结果。

本发明采用的CDBN（卷积深信度网络）学习模型由若干个CRBM(卷积受限玻尔兹曼机)层叠加而成，每一层CRBM由下至上依次为可见层V、隐藏层H、池化层P。可见层V是CRBM的输入层，表示维数为N_v×N_v的二维图像。为便于表述，假设所有单元均为二进制单元，则可见层V包含N_v×N_v个二进制单元。隐藏层H由K∈R个群组组成，

代表隐藏层H的第k个群组，其维数为N_h×N_h，即包含N_h×N_h个二进制单元。隐藏层H的N_h×N_h个二进制单元可视为一些特征提取器。每个隐藏层H群组都通过一个维数为N_w×N_w的滤波器与可见层V相连，其内部的连接权值共享该组所有隐藏单元，且满足N_w=N_v-N_h+1。另外，隐藏层H的第k个群组有一个偏置b_k，所有可见单元共享一个偏置c。池化层P也由K个群组组成，

代表池化层的第k个群组，其维数为N_p×N_p，即包含N_p×N_p个二进制单元，作为CRBM模型的输出。对于每一组，池化层P将隐藏层H分割成互不重叠的子块(B₁,B₂,…,B_α)，B_α∈R^C×C。每个子块的维数为C×C，对应于每组池化层P中的一个二进制单元，且满足C=N_h/N_p。该CRBM模型的能量函数以及联合概率分布函数如下：

$E(v,h)=-\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\underset{i,j=1}{\overset{N_h}{\mathrm{\Σ}}}\underset{r,s=1}{\overset{N_w}{\mathrm{\Σ}}}{h}_{\mathrm{ij}}^k{W}_{\mathrm{rs}}^k{v}_{i+r-1,j+s-1}+\underset{i,j=1}{\overset{N_v}{\mathrm{\Σ}}}\frac{1}{2}{v}_{\mathrm{ij}}^2-\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{b}_k\underset{i,j=1}{\overset{N_h}{\mathrm{\Σ}}}{h}_{\mathrm{ij}}^k-d\underset{i,j=1}{\overset{N_v}{\mathrm{\Σ}}}{v}_{\mathrm{ij}},$

$\underset{(i,j)\∈B_{\mathrm{\α}}}{\mathrm{\Σ}}{h}_{i,j}^k\≤1,\∀k,\mathrm{\α};$

$P(v,h)=\frac{1}{Z}\exp (-E(v,h));$

其中，Z是归一化常数；和v_ij分别表示隐藏层H第k个群组和可见层V的二进制单元；b_k为隐藏层H第k个群组的偏置；c为可见单元偏置；W为滤波器权重。

CRBM是在RBM基础上加入卷积操作而得，与传统RBM相比，大大减少了自由参数的数量，且所提取特征具有位移不变性。多个CRBM进行层层叠加，就形成一个完整的CDBN网络结构。

本发明中，所述步骤（1）具体包括下列步骤：

（11）利用LBP算子得到训练人脸图像、测试人脸图像和自然图像的LBP特征编码图像。具体的，一幅二维图像的LBP特征编码图像可通过图像中每个像素点与其邻域像素比较而得，其表达式如下：

${f(x,y)}_{P,R}=\underset{p=0}{\overset{P-1}{\mathrm{\&Sigma;}}}s(g_p-g_c)2^p,$ $s\left(x\right)=\left\{\begin{array}{cc}1,& x\&GreaterEqual;0\\ 0,& x<0\end{array}\right.;$

其中，g_c表示局部区域中心像素点的灰度值，g_p(i=0,…,p-1)对应于P个等距离分布于以中心像素点g_c为圆心、R为半径的圆周上的像素点灰度值，表达式f(x,y)_P,R反映了图像局部区域的纹理情况。为防止维数灾难，采用LBP统一模式对图像进行处理，其描述方式如下：

其中， $U\left({\mathrm{LBP}}_{P,R}\right)=|s(g_{P-1}-g_c)-s(g_0-g_c)|+\underset{p=1}{\overset{P}{\mathrm{\&Sigma;}}}|s(g_P-g_c)-s(g_{P-1}-g_c)|$

（12）分别对训练人脸图像、测试人脸图像和自然图像的LBP特征编码图像进行分块处理，具体分为m块，然后分别对每个区域的LBP编码进行直方图统计，计算每块子直方图的直方图特征H_i,j，并采用直方图特征H_i,j表示该区域的特征，其计算公式如下：

$H_{i,j}=\underset{x,y}{\mathrm{\&Sigma;}}I\{f_l(x,y)=i\}I\{(x,y)\&Element;R_j\},i=\mathrm{0,1},...n-1,j=\mathrm{0,1},...,m-1$

其中，f_l(x,y)为LBP特征编码图像，n表示LBP编码模式。

（13）将训练人脸图像、测试人脸图像和自然图像各区域的子直方图串联形成整体直方图特征H：

H=[H_1,1,H_2,1,…,H_i,j,…,H_n-1,m-1],i=0,1,…n-1,j=0,1,…,m-1

所组成的直方图序列表示给定LBP纹理特征，将LBP描述子分别应用于训练人脸图像、测试人脸图像和自然图像，得到训练、测试人脸图像和自然图像的LBP纹理特征v_f0、v_F0和v_n0。

本发明中，步骤（2）具体包括下列步骤：

（21）将自然图像的LBP纹理特征v_n0作为CDBN第一层可见层V的输入，进而计算隐藏层H的分布函数P（h/v），所述隐藏层H的分布函数P（h/v）满足如下条件分布：

$P(h_{i,j}^k=1|v)=\frac{\exp \left(I\left(h_{i,j}^k\right)\right)}{1+\underset{(m,n)\&Element;B_{\mathrm{\&alpha;}}}{\mathrm{\&Sigma;}}\exp \left(I\left(h_{m,n}^k\right)\right)};$

其中，

表示隐藏层H或池化层P通过可见层V由低向高所传播的信号，*表示卷积。通过对隐藏层H的分布函数进行采样就可以得到隐藏层H状态值h_n0。

（22）根据隐藏层H状态值计算可见层V的分布函数P（v/h），所述可见层V的分布函数P（v/h）满足如下条件分布：

$P(v_{\mathrm{ij}}=1|h)=\mathrm{\&sigma;}({(\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{W}^k*h^k)}_{\mathrm{ij}}+c)$

其中，所述σ是Sigmoid函数。然后通过对其进行采样得到可见层V的特征。

（23）重复步骤(21)、步骤（22）至指定迭代次数后结束。

本发明通过用自然图像进行对CDBN进行预训练，可为网络参数提供较好的优化起点，有利于网络在下一步的训练过程中学习到有效的人脸图像特征。

本发明中，所述步骤（3）具体包括下列步骤：

（31）将训练人脸图像的LBP纹理特征v_f0作为CDBN第一层可见层V的输入，对第一层进行无监督训练，得到池化层P的分布函数P（p/v）,其中池化层P的分布函数P（p/v）满足如下条件分布：

$P(p_{\mathrm{\&alpha;}}^k=1|v)=\frac{\underset{(m,n)\&Element;B_{\mathrm{\&alpha;}}}{\mathrm{\&Sigma;}}\exp \left(I\left(h_{m,n}^k\right)\right)}{1+\underset{(m,n)\&Element;B_{\mathrm{\&alpha;}}}{\mathrm{\&Sigma;}}\exp \left(I\left(h_{m,n}^k\right)\right)}$

然后对第一层的池化层的分布函数P（p/v）采样，得到池化层的特征；

（32）将CDBN第一层池化层P的特征作为CDBN第二层可见层V的输入，采用与步骤(31)相同的方法对第二层进行无监督训练，得到第二层池化层P的特征，并将其作为CDBN下一层的可见层P的输入，下一层采用与上一层相同的方法，进而完成对多层CDBN逐层贪婪无监督训练。

所述无监督训练的具体步骤为：

（311）根据CDBN可见层V的输入，计算隐藏层H的分布函数P（h/v），并对隐藏层的分布函数P（h/v）进行采样，得到隐藏层P的状态值；

（312）根据隐藏层P的状态值计算可见层H的分布函数P（v/h），并对可见层V的分布函数P（v/h）进行采样，得到可见层V的特征；

（313）重复步骤（311）、步骤（312）至指定迭代次数后结束训练；

（314）结束CDBN训练后，利用隐藏层H的状态值，计算池化层P的分布函数P（p/v）。

所述步骤(4)，当CDBN训练完成后，分别将训练人脸图像和测试人脸图像的LBP纹理特征vf0、vF0作为CDBN输入，通过池化层P的分布函数P（p/v）分别提取CDBN各层的池化层特征，并将各层特征组合，形成用于美丽预测的训练和测试人脸图像的表观特征。

所述步骤(5)训练人脸图像的表观特征用于训练SVM回归模型，测试人脸图像的表观特征用于测试回归模型拟合真实值性能，对人脸美丽进行准确预测。

本发明的实施例所使用的人脸数据来源于以下两部分：中国科学院CAS-PEAL-R1共享人脸库、互联网收集的人脸图像。其中，中国科学院CAS-PEAL-R1共享人脸库包含1040幅标准正面人脸图像，分辨率为，男性595位，女性445位，年龄范围18—74岁。本文从中选取210幅中青年男性人脸图像作为研究对象，并从网上另外搜集790幅美丽和不美丽程度很明显的亚洲男性人脸图像，使共计1000幅男性人脸图像的美丽程度分布大致均匀。本发明还利用Kyoto自然图像库进行自学习，共包含62幅自然图像，分辨率为640×500。

本发明对1000幅人脸图像进行人工美丽程度评分，评分范围为1—10分，共20人参与人工评分。其中，男性和女性各10人，年龄范围为20—30岁。每幅人脸图像的评分值由20人评分的平均分四舍五入后取整而得。为探讨所获人脸图像打分值的有效性，将20人打分值随机分成相等的两组，计算每组10个人打分的平均值，然后计算这两组平均值的相关系数。以上操作重复500次以上，最后求得随机分成的两组打分值的相关系数范围为0.87—0.9，表明20人对1000张人脸图像的打分值具有高度一致性，可用于人脸美丽预测。利用下采样对人脸图像和自然图像降维至50×50，并对数据进行归一化预处理。实验中采用十折交叉验证法，即将1000张人脸图像随机分成10份，每份100张人脸图像，随机选取9份作为训练样本，剩余1份作为测试样本，循环进行10次，最后实验结果为循环进行10次实验结果的平均值。

需进一步说明的是，本发明将CDBN第一层的池化层P的特征与目前较流行用于人脸美丽研究的特征脸、gabor和LBP特征进行比较，并以机器打分和人工打分的Person相关系数和均方误差作为预测性能评价指标。如下表所示，利用自学习并通过CDBN第一层所提取的表观特征比其他特征取得更高的相关系数和更低的均方误差，由此表明CDBN网络可以对美丽这一概念进行学习和高精度的美丽预测。

为探究CDBN网络结构对人脸美丽预测性能的影响，本发明比较两种表观特征的识别效果，第一种来自于CDBN第一层的池化层特征，第二种来自于CDBN第一层的池化层特征和CDBN第二层的池化层特征的组合，并分别对以gabor、像素级人脸图像和LBP三种特征作为CDBN网络的输入，探索CDBN不同输入特征对人脸美丽概念的学习能力。如下表所示，在三种输入特征的实验结果中，两层CDBN要比单层取得更好的识别性能，说明深度自学习能更好地描述美丽的概念，深度自学习所获取的人脸图像表观特征能更有效地表征人脸美丽的特征信息。将LBP描述子用于人脸图像时，深度网络达到对人脸美丽最好的预测性能，表明所提取的LBP纹理特征作为CDBN的输入，有助于网络去除冗余信息，学习到表征人脸美丽更有用的特征描述。

CDBN根据视神经元感受野的局部性和不同位置感受野表现出相似性，采用了全值共享策略，并加入卷积操作，所提取的特征具有位移不变性。在高维图像上通过卷积获得特征之后，理论上可直接用于训练分类器，但会面临特征维数灾难和容易出现过拟合。CDBN通过引入最大池化操作，在减少特征维数的同时使输入图像在局部位移变化的情况下仍保持特征不变性，并避免昂贵的计算花销。为探索深度自学习在高维人脸图像上对美丽特征信息的学习能力，本发明使用不同分辨率大小的人脸图像(50×50,100×100,150×150,200×200)，将LBP纹理特征作为网络输入提取两层CDBN的池化层特征，并比较线性回归、K近邻回归、Logistic回归、岭回归、SVM回归这五种回归方法的人脸美丽预测性能。由下表可知，随着人脸图像分辨率增加，五种回归方法的预测性能也随之提高，说明CDBN能充分学习高维图像鉴别性特征，提取更有效表征人脸美丽的表观特征，使分类识别任务更高效准确。

本发明研究表明，使用SVM回归方法时，人脸美丽预测性能最佳。图3是分辨率为200×200并使用SVM回归方法时预测值（虚线表示）与真实值（实线表示）的拟合效果图。从图3可知，人脸图像的机器预测值与人工打分值高度吻合，表明基于深度自学习的人脸美丽预测方法使机器也具有像人一样的美丽感知智能。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于深度自学习的人脸美丽预测方法，其特征在于，包括下列步骤：

（1）提取训练人脸图像、测试人脸图像以及自然图像的LBP纹理特征；

（2）基于CDBN学习模型，将自然图像的LBP纹理特征作为输入，对CDBN第一层进行自学习；

（3）将训练人脸图像的LBP纹理特征作为输入，对CDBN进行逐层贪婪无监督训练，学习表征人脸图像美丽形象的表观特征；

（4）利用已完成训练的CDBN提取用于美丽预测的训练人脸图像、测试人脸图像的表观特征；

（5）采用SVM回归对人脸图像美丽程度进行预测，输出判别结果。

2.根据权利要求1所述的一种基于深度自学习的人脸美丽预测方法，其特征在于：所述CDBN由若干CRBM层叠加而成，每一层CRBM由下至上依次为可见层、隐藏层、池化层。

3.根据权利要求2所述的一种基于深度自学习的人脸美丽预测方法，其特征在于，所述步骤（1）具体包括下列步骤：

（11）利用LBP算子得到训练人脸图像、测试人脸图像和自然图像的LBP特征编码图像；

（12）分别对训练人脸图像、测试人脸图像和自然图像的LBP特征编码图像进行分块处理，并计算每块子直方图的直方图特征；

（13）将训练人脸图像、测试人脸图像和自然图像各区域的子直方图串联形成整体直方图特征，进而得到训练人脸图像、测试人脸图像和自然图像的LBP纹理特征。

4.根据权利要求2所述的一种基于深度自学习的人脸美丽预测方法，其特征在于，所述步骤（2）具体包括下列步骤：

（21）将自然图像的LBP纹理特征作为CDBN第一层可见层的输入，进而计算隐藏层的分布函数，并对其采样得到隐藏层状态值；

（22）根据隐藏层状态值计算可见层的分布函数，并对可见层的分布函数进行采样，得到可见层的特征；

（23）重复步骤(21)、步骤（22）至指定迭代次数后结束。

5.根据权利要求2所述的一种基于深度自学习的人脸美丽预测方法，其特征在于，所述步骤（3）具体包括下列步骤：

（31）将训练人脸图像的LBP纹理特征作为CDBN第一层可见层的输入，对第一层进行无监督训练，得到池化层的分布函数，然后对第一层的池化层的分布函数进行采样，得到池化层的特征；

（32）将CDBN第一层的池化层的特征作为CDBN第二层的可见层输入，采用与步骤(31)相同的方法对第二层进行无监督训练，得到第二层的池化层特征，进而完成对CDBN逐层贪婪无监督训练。

6.根据权利要求5所述的一种基于深度自学习的人脸美丽预测方法，其特征在于，所述无监督训练的具体步骤为：

（311）根据CDBN可见层的输入，计算隐藏层的分布函数，并对隐藏层的分布函数进行采样，得到隐藏层的状态值；

（312）根据隐藏层的状态值计算可见层的分布函数，并对可见层的分布函数进行采样，得到可见层的特征；

（313）重复步骤（311）、步骤（312）至指定迭代次数后结束训练；

（314）结束CDBN训练后，利用隐藏层的状态值，计算池化层的分布函数，然后对池化层的分布函数进行采样，得到池化层的特征。

Images