CN108629338A - 一种基于lbp和卷积神经网络的人脸美丽预测方法 - Google Patents

Abstract

本发明涉及一种基于LBP和卷积神经网络的人脸美丽预测方法，通过将LBP纹理图像与R、G、B三通道图像融合后的特征图输入到构建的卷积神经网络模型CNN中训练，并输入代表皮肤颜色信息的RGB图像对网络进行微调，得到训练好的人脸美丽预测模型；将需要预测的人脸图像输入训练好的人脸美丽预测模型，输出人脸美丽预测评分；发明利用卷积神经网络来提取人脸美丽特征，能够从数据中学习到有效的美丽特征表达，采用R、G、B三通道图像和LBP纹理图像结合的方法训练CNN模型，从而提高人脸美丽预测的精度；本发明能够提取到更深层次的表观特征，综合利用人脸肤色、纹理、颜色信息去优化人脸美丽预测模型，得到更准确的人脸美丽表达，提高了人脸美丽的预测精度。

Description

一种基于LBP和卷积神经网络的人脸美丽预测方法

技术领域

本发明涉及一种图像处理技术领域，尤其是一种基于LBP和卷积神经网络的人脸美丽预测方法。

背景技术

人脸作为人的一种自然属性，其具有很强的稳定性和个体差异性，而且是人最基本的象征，对于一个人最初的印象是基于人脸，而且人们对其最基本的判断是漂不漂亮，爱美之心，人皆有之，然而如何评价一张人脸图像的美丽程度是一个抽象的问题。评价人脸的美丽程度很有可能受到主观因素的影响，不同人，不同种族都有不同的评价标准。

一些学者已经开始用计算机对人脸美丽进行较为客观的评价。目前，用于人脸美丽研究的方法主要有以下几种：

1、基于几何特征，在人脸图像上提取许多有意义的特征点，计算感兴趣特征点之间的几何距离以及由这些距离所构成的比率矢量，然后将几何距离和比率矢量作为特征进行机器学习。

2、基于表观特征，表观特征是指以人脸整体外貌特征为研究对象，采用特征脸、纹理特征等初级特征来表征人脸美丽信息。

3、基于深度学习的层次特征，对低层次的简单特征进行非线性映射，得到高层次的抽象特征。

然而，人脸平面图像单纯用几何特征进行描述会丢失诸如肌肉的起伏、五官部位的结构转折等表征人脸美丽的特征信息，而且人脸特征点的检测在训练阶段需由人工标注训练样本，但过多主观因素介入容易导致所获结果没有普适性，甚至当待标注图像数目庞大时，令到人工介入非常繁琐。

人脸美丽很大程度上取决于人脸的各局部结构和轮廓信息，而基于表观特征没有涉及更具有结构性、层次性的表达，它属于人脸的浅层特征的范畴。

利用深度学习来进行人脸美丽预测，可以学习到深层次的特征表达，但它提取的是全局特征，而忽略了人脸的局部信息，因此，它的泛化能力不强。

发明内容

针对现有技术的不足，本发明提供一种基于LBP和卷积神经网络的人脸美丽预测方法，通过针对每个颜色通道信息，分区域提取纹理特征，并通过LBP和卷积神经网络相结合，进一步提高预测结果。

本发明的技术方案为：一种基于LBP和卷积神经网络的人脸美丽预测方法，包括以下步骤：

1)、训练卷积神经网络模型CNN

1a)、采集人脸图像作为训练图像，并对训练图像中的每张人脸图像进行预处理，得到大小为144×144的RGB彩色图像I₀＝[R,G,B]；

1b)、对RGB彩色图像I₀＝[R,G,B]的R、G、B三个通道分别使用LBP算子处理，得到每个通道的LBP纹理图像I₁＝LBP(I₀)＝[R_LBP,G_LBP,B_LBP]；

1c)、将LBP纹理图像I₁＝LBP(I₀)＝[R_LBP,G_LBP,B_LBP]与RGB彩色图像I₀的R、G、B三通道图像进行通道融合，得到融合后的特征图I₂＝[R,G,B,R_LBP,G_LBP,B_LBP]；

1d)、构建1个由4个卷积层、4个池化层、2个全连接层和输出层构成的卷积神经网络模型CNN；

1e)、将融合后的特征图I₂输入到步骤1d)构建的卷积神经网络模型中进行训练，并输入代表皮肤颜色信息的RGB图像对网络进行微调，得到训练好的人脸美丽预测模型；

2)、利用卷积神经网络模型对人脸图像进行预测：

2a)、利用步骤1a)-1c)的方法对需要人脸美丽预测图像进行预处理，得到预处理后的人脸图像I₃；

2b)、将预处理后的人脸图像输入到训练好的人脸美丽预测模型进行预测，并输出人脸美丽评分。

进一步的，步骤1a)中，训练图像具有5类美丽评分，其中，1表示极不具有吸引力，2表示不具有吸引力，3表示一般，4表示较有吸引力，5表示极有吸引力。

进一步的，步骤1a)中，预处理具体为：检测人脸图像左右眼睛中心像素点位置，并计算左右眼睛中心像素点连线与水平线的夹角，进行水平对齐，再把两眼的中心像素点与嘴巴中心点像素固定为48个像素，计算出图像的缩放比例，进行尺度归一化，然后进行裁剪，最终得到尺寸为144×144的RGB彩色图像I₀。

进一步的，步骤1b)中，LBP算子处理具体为：

1b1)、在图像局部的一个3×3邻域中，以此邻域的中心像素值为阈值，将该邻域内的8个像素值依次与中心像素的灰度值进行比较，如果邻域内的某像素值大于中心像素值，则将其置为1，反之置为0，即：

其中，(x_c,y_c)为中心像素点的坐标，g_p(p＝0,1,…,7)表示中心邻域上的8个像素值，g_c为中心像素值；

1b2)、然后将局部邻域内的8个像素点通过比较后产生的“0”和“1”二进制数按一定的顺序连接起来，将这些二进制数转化为十进制数，计算得到每个像素点对应的LBP值，可视化后得到LBP纹理图像I₁。

进一步的，步骤1c)中，将LBP纹理图像I₁与RGB三通道图像进行融合是将R、G、B三通道图像与LBP纹理图像在通道上进行拼接，得到融合后的图像I₂。

进一步的，步骤1d)中，4个卷积层分别为第一卷积层Conv1、第二卷积层Conv2、第三卷积层Conv3、第四卷积层Conv4，并且第一卷积层Conv1、第二卷积层Conv2、第三卷积层Conv3、第四卷积层Conv4分别包含96、192、256、384个特征图，卷积核大小分别为9×9、5×5、5×5、4×4，卷积步长均为1，每个卷积层后面都跟着MFM激活函数。

进一步的，步骤1d)中，4个池化层的核大小均为2×2，步长为2，均为最大池化。

进一步的，步骤1d)中，第一个全连接层Fc1包含512个神经元，第二个全连接层Fc2包含5个神经元，并采用softmax函数作为网络的损失函数。

进一步的，步骤1d)中，第一层全连接层的输出后加Dropout层，dropout_ratio设置为0.75。

进一步的，步骤1e)中，训练过程如下：

1e1)、将融合后的128×128通道图输入卷积神经网络模型CNN的第一个卷积层Conv1，经过96个卷积核大小9×9对图像进行卷积操作，得到96个120×120的特征图F1；

1e2)、利用卷积神经网络模型CNN的第一个激活层MFM1,对卷积特征图F1进行非线性转换，得到48个120×120的激活特征图F2；

1e3)、利用卷积神经网络模型CNN的第一个池化层Pooling1,对激活特征图F2进行下采样，得到48个60×60的池化特征图F3；

1e4)、对卷积神经网络模型CNN的第二个卷积层、激活和池化层结构到第四个卷积层、激活和池化层结构重复步骤1e1)-1e3)，得到192个更深层次、更高层次的5×5特征图F4；

1e5)、利用卷积神经网络模型CNN的第一个全连接层Fc1，对步骤1e4)中得到的特征图F4进行特征映射，得到一维人脸特征向量V1；

1e6)、为了避免出现过拟合现象，在第一个全连接层的输出后加Dropout层，dropout_ratio设置为0.75，然后输入到第二个全连接层Fc2，得到向量V2；

1e7)、将V2输入卷积神经网络模型CNN的softmax函数进行训练；

1e8)、将代表皮肤颜色信息的RGB图像作为输入对网络进行微调，得到训练好的人脸美丽预测模型。

本发明的有益效果为：

1、本发明利用卷积神经网络来提取人脸美丽特征，能够从数据中学习到有效的美丽特征表达，采用R、G、B三通道图像和LBP纹理图像结合的方法训练CNN模型，弥补了CNN只能提取全局特征，而忽略了局部信息的问题，以此提高CNN的泛化能力，从而提高人脸美丽预测的精度；

2、本发明与用传统方法提取人脸几何特征相比，能够提取到更深层次的表观特征，得到更准确的人脸美丽表达，从而获得比传统人脸几何特征更好的预测效果；

3、从心理学角度考虑，综合利用人脸肤色、纹理、颜色信息去优化人脸美丽预测模型，采用R、G、B三通道图像和LBP纹理图像结合的方法训练CNN模型，并且利用代表人脸颜色信息的RGB图像作为输入去微调网络，以此提高人脸美丽的预测精度。

附图说明

图1为本发明的流程示意图；

图2为本发明卷积神经网络模型CNN的结构示意图；

图3为本发明脸美丽预测模型的训练流程示意图；

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明：

如图1所示，一种基于LBP和卷积神经网络的人脸美丽预测方法，包括以下步骤：

1)、训练卷积神经网络模型CNN

1a)、采集具有美丽评分的人脸图像作为训练图像，其中，1表示极不具有吸引力，2表示不具有吸引力，3表示一般，4表示较有吸引力，5表示极有吸引力，该评分由N个志愿者对M张图像进行人脸美丽度打分，最后每张图像得到的平均分作为该图像的美丽标准；

并对训练图像中的每张人脸图像进行预处理，得到大小为144×144的RGB彩色图像I₀＝[R,G,B]，具体为：

预处理具体为：检测人脸图像左右眼睛中心像素点位置，并计算左右眼睛中心像素点连线与水平线的夹角，进行水平对齐，再把两眼的中心像素点与嘴巴中心点像素固定为48个像素，计算出图像的缩放比例，进行尺度归一化，然后进行裁剪，最终得到尺寸为144×144的RGB彩色图像I₀＝[R,G,B]；

1b)、对RGB彩色图像I₀＝[R,G,B]的R、G、B三个通道分别使用LBP算子处理，得到每个通道的LBP纹理图像I₁＝LBP(I₀)＝[R_LBP,G_LBP,B_LBP]；

1c)、将LBP纹理图像I₁＝LBP(I₀)＝[R_LBP,G_LBP,B_LBP]与RGB彩色图像I₀的R、G、B三通道图像进行通道融合，得到融合后的特征图I₂＝[R,G,B,R_LBP,G_LBP,B_LBP]；

1d)、构建1个由4个卷积层、4个池化层、2个全连接层和输出层构成的卷积神经网络模型CNN，其结构如图2所示；

其中，4个卷积层分别为第一卷积层Conv1、第二卷积层Conv2、第三卷积层Conv3、第四卷积层Conv4，并且第一卷积层Conv1、第二卷积层Conv2、第三卷积层Conv3、第四卷积层Conv4分别包含96、192、256、384个特征图，卷积核大小分别为9×9、5×5、5×5、4×4，卷积步长均为1，每个卷积层后面都跟着MFM激活函数；

4个池化层的核大小均为2×2，步长为2，均为最大池化；

2个全连接层分别为第一全连接层Fc1、第二全连接层Fc2，其中，第一个全连接层Fc1包含512个神经元，第二个全连接层Fc2包含5个神经元，并采用softmax函数作为网络的损失函数；

并且在第一层全连接层的输出后加Dropout层，dropout_ratio设置为0.75；

1e)、将融合后的特征图I₂输入到步骤1d)构建的卷积神经网络模型中进行训练，并输入代表皮肤颜色信息的RGB图像对网络进行微调，得到训练好的人脸美丽预测模型，如图3所示，具体训练过程如下：

1e1)、将融合后的128×128通道图输入卷积神经网络模型CNN的第一个卷积层Conv1，经过96个卷积核大小9×9对图像进行卷积操作，得到96个120×120的特征图F1；

1e2)、利用卷积神经网络模型CNN的第一个激活层MFM1,对卷积特征图F1进行非线性转换，得到48个120×120的激活特征图F2；

1e3)、利用卷积神经网络模型CNN的第一个池化层Pooling1,对激活特征图F2进行下采样，得到48个60×60的池化特征图F3；

1e4)、对卷积神经网络模型CNN的第二个卷积层、激活和池化层结构到第四个卷积层、激活和池化层结构重复步骤1e1)-1e3)，得到192个更深层次、更高层次的5×5特征图F4；

1e5)、利用卷积神经网络模型CNN的第一个全连接层Fc1，对步骤1e4)中得到的特征图F4进行特征映射，得到一维人脸特征向量V1；

1e6)、为了避免出现过拟合现象，在第一个全连接层的输出后加Dropout层，dropout_ratio设置为0.75，然后输入到第二个全连接层Fc2，得到向量V2；

1e7)、将V2输入卷积神经网络模型CNN的softmax函数进行训练；

1e8)、将代表皮肤颜色信息的RGB图像作为输入对网络进行微调，得到训练好的人脸美丽预测模型；

2)、利用卷积神经网络模型对人脸图像进行预测：

2a)、利用步骤1a)-1c)的方法对需要人脸美丽预测图像进行预处理，得到预处理后的人脸图像I₃；

2b)、将预处理后的人脸图像输入到训练好的人脸美丽预测模型进行预测，并输出人脸美丽评分。

进一步的，步骤1b)中，LBP算子处理具体为：

1b1)、在图像局部的一个3×3邻域中，以此邻域的中心像素值为阈值，将该邻域内的8个像素值依次与中心像素的灰度值进行比较，如果邻域内的某像素值大于中心像素值，则将其置为1，反之置为0，即：

其中，(x_c,y_c)为中心像素点的坐标，g_p(p＝0,1,…,7)表示中心邻域上的8个像素值，g_c为中心像素值；

1b2)、然后将局部邻域内的8个像素点通过比较后产生的“0”和“1”二进制数按一定的顺序连接起来，将这些二进制数转化为十进制数，计算得到每个像素点对应的LBP值，可视化后得到LBP纹理图像I₁。

进一步的，步骤1c)中，将LBP纹理图像I₁与RGB三通道图像进行融合是将R、G、B三通道图像与LBP纹理图像在通道上进行拼接，，得到融合后的图像I₂。

上述实施例和说明书中描述的只是说明本发明的原理和最佳实施例，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (10)

1.一种基于LBP和卷积神经网络的人脸美丽预测方法，其特征在于，包括以下步骤：

1)、训练卷积神经网络模型CNN

1a)、采集人脸图像作为训练图像，并对训练图像中的每张人脸图像进行预处理，得到大小为144×144的RGB彩色图像I₀＝[R,G,B]；

1b)、对RGB彩色图像I₀＝[R,G,B]的R、G、B三个通道分别使用LBP算子处理，得到每个通道的LBP纹理图像I₁＝LBP(I₀)＝[R_LBP,G_LBP,B_LBP]；

1c)、将LBP纹理图像I₁＝LBP(I₀)＝[R_LBP,G_LBP,B_LBP]与RGB彩色图像I₀的R、G、B三通道图像进行通道融合，得到融合后的特征图I₂＝[R,G,B,R_LBP,G_LBP,B_LBP]；

1d)、构建1个由4个卷积层、4个池化层、2个全连接层和输出层构成的卷积神经网络模型CNN；

1e)、将融合后的特征图I₂输入到步骤1d)构建的卷积神经网络模型中进行训练，并输入代表皮肤颜色信息的RGB图像对网络进行微调，得到训练好的人脸美丽预测模型；

2)、利用卷积神经网络模型对人脸图像进行预测：

2a)、利用步骤1a)-1c)的方法对需要人脸美丽预测图像进行预处理，得到预处理后的人脸图像I₃；

2b)、将预处理后的人脸图像输入到训练好的人脸美丽预测模型进行预测，并输出人脸美丽评分。

2.根据权利要求1所述的一种基于LBP和卷积神经网络的人脸美丽预测方法，其特征在于：步骤1a)中，训练图像具有5类美丽评分，其中，1表示极不具有吸引力，2表示不具有吸引力，3表示一般，4表示较有吸引力，5表示极有吸引力。

3.根据权利要求1所述的一种基于LBP和卷积神经网络的人脸美丽预测方法，其特征在于：步骤1a)中，预处理具体为：检测人脸图像左右眼睛中心像素点位置，并计算左右眼睛中心像素点连线与水平线的夹角，进行水平对齐，再把两眼的中心像素点与嘴巴中心点像素固定为48个像素，计算出图像的缩放比例，进行尺度归一化，然后进行裁剪，最终得到尺寸为144×144的RGB彩色图像I₀。

4.根据权利要求1所述的一种基于LBP和卷积神经网络的人脸美丽预测方法，其特征在于：步骤1b)中，LBP算子处理具体为：

1b1)、在图像局部的一个3×3邻域中，以此邻域的中心像素值为阈值，将该邻域内的8个像素值依次与中心像素的灰度值进行比较，如果邻域内的某像素值大于中心像素值，则将其置为1，反之置为0，即：

其中，(x_c,y_c)为中心像素点的坐标，g_p(p＝0,1,…,7)表示中心邻域上的8个像素值，g_c为中心像素值；

1b2)、然后将局部邻域内的8个像素点通过比较后产生的“0”和“1”二进制数按一定的顺序连接起来，将这些二进制数转化为十进制数，计算得到每个像素点对应的LBP值，可视化后得到LBP纹理图像I₁。

5.根据权利要求1所述的一种基于LBP和卷积神经网络的人脸美丽预测方法，其特征在于：步骤1c)中，将LBP纹理图像I₁与RGB三通道图像进行融合是将R、G、B三通道图像与LBP纹理图像在通道上进行拼接，得到融合后的图像I₂。

6.根据权利要求1所述的一种基于LBP和卷积神经网络的人脸美丽预测方法，其特征在于：步骤1d)中，4个卷积层分别为第一卷积层Conv1、第二卷积层Conv2、第三卷积层Conv3、第四卷积层Conv4，并且第一卷积层Conv1、第二卷积层Conv2、第三卷积层Conv3、第四卷积层Conv4分别包含96、192、256、384个特征图，卷积核大小分别为9×9、5×5、5×5、4×4，卷积步长均为1，每个卷积层后面都跟着MFM激活函数。

7.根据权利要求1所述的一种基于LBP和卷积神经网络的人脸美丽预测方法，其特征在于：步骤1d)中，4个池化层的核大小均为2×2，步长为2，均为最大池化。

8.根据权利要求1所述的一种基于LBP和卷积神经网络的人脸美丽预测方法，其特征在于：步骤1d)中，第一个全连接层Fc1包含512个神经元，第二个全连接层Fc2包含5个神经元，并采用softmax函数作为网络的损失函数。

9.根据权利要求1所述的一种基于LBP和卷积神经网络的人脸美丽预测方法，其特征在于：步骤1d)中，第一层全连接层的输出后加Dropout层，dropout_ratio设置为0.75。

10.根据权利要求1所述的一种基于LBP和卷积神经网络的人脸美丽预测方法，其特征在于：步骤1e)中，训练过程如下：

1e1)、将融合后的128×128通道图输入卷积神经网络模型CNN的第一个卷积层Conv1，经过96个卷积核大小9×9对图像进行卷积操作，得到96个120×120的特征图F1；

1e2)、利用卷积神经网络模型CNN的第一个激活层MFM1,对卷积特征图F1进行非线性转换，得到48个120×120的激活特征图F2；

1e3)、利用卷积神经网络模型CNN的第一个池化层Pooling1,对激活特征图F2进行下采样，得到48个60×60的池化特征图F3；

1e4)、对卷积神经网络模型CNN的第二个卷积层、激活和池化层结构到第四个卷积层、激活和池化层结构重复步骤1e1)-1e3)，得到192个更深层次、更高层次的5×5特征图F4；

1e5)、利用卷积神经网络模型CNN的第一个全连接层Fc1，对步骤1e4)中得到的特征图F4进行特征映射，得到一维人脸特征向量V1；

1e6)、为了避免出现过拟合现象，在第一个全连接层的输出后加Dropout层，dropout_ratio设置为0.75，然后输入到第二个全连接层Fc2，得到向量V2；

1e7)、将V2输入卷积神经网络模型CNN的softmax函数进行训练；

1e8)、将代表皮肤颜色信息的RGB图像作为输入对网络进行微调，得到训练好的人脸美丽预测模型。