CN109948548A

CN109948548A - 一种基于机器学习的色彩匹配的口红推荐方法及系统

Info

Publication number: CN109948548A
Application number: CN201910213355.1A
Authority: CN
Inventors: 李爱民; 逄业文; 袁高腾; 王建文
Original assignee: Qilu University of Technology
Current assignee: Qilu University of Technology
Priority date: 2019-03-20
Filing date: 2019-03-20
Publication date: 2019-06-28
Anticipated expiration: 2039-03-20
Also published as: CN109948548B

Abstract

本公开提出了一种基于机器学习的色彩匹配的口红推荐方法及系统，获取不同肤色，脸型以及嘴型与不同口红颜色的搭配图片数据；将上述图片数据进行分成不同的等级的数据集；使用机器学习中k‑means聚类方法将每个数据集中的图像进行分割，分割为背景，脸部，嘴部，提取脸部特征、嘴部特征及口红颜色的RGB通道特征并构建特征矩阵；构建BP神经网络输入层，构建以BP神经网络为基础的分类模型；分类模型训练；将待测图片输入训练好的分类模型，分类模型将根据待测图片中所提取的脸部，嘴部特征，获得口红配色的最佳输出结果。本公开技术方案基于不同的脸部特征与口红的颜色进行搭配建立相应的分类模型，整个过程采用信息化技术实现，快速、准确。

Description

一种基于机器学习的色彩匹配的口红推荐方法及系统

技术领域

本公开涉及机器学习应用技术领域，特别是涉及一种基于机器学习的色彩匹配的口红推荐方法及系统。

背景技术

口红配色涉及与脸型、唇形、肤色的搭配。目前，在针对口红配色时，一般是基于个人的审美进行的。人工选择口红色号受主观因素影响较大，不同人有不同的评判标准，很多时候，所选的颜色与脸型、唇形、肤色并不相配，存在较大的误差，缺乏美感。如何最大化的权衡各方审美是本技术方案所面临的关键问题。因此，有必要针对口红配色与脸型、唇形、肤色的搭配进行智能化的分析以解决唇形、肤色、脸型等方面的最佳匹配问题，帮助用户选择最合适的口红色号。

发明内容

本说明书实施方式的目的是提供一种基于机器学习的色彩匹配的口红推荐方法，利用该方法能够实现口红配色与脸型、唇形、肤色的最佳搭配。

本说明书实施方式提供一种基于机器学习的色彩匹配的口红推荐方法，包括：

获取不同肤色，脸型以及嘴型与不同口红颜色的搭配图片数据；

将上述图片数据进行分成不同的等级的数据集；

使用机器学习中k-means聚类方法将每个数据集中的图像进行分割，分割为背景，脸部，嘴部，提取脸部特征、嘴部特征及对应口红的色号，并构建特征矩阵；

构建BP神经网络输入层，构建以BP神经网络为基础的分类模型；

模型训练；

将待测图片输入训练好的分类模型，分类模型将根据待测图片中所提取的脸部，嘴部特征，获得口红配色的最佳输出结果。

本说明书另一实施方式提供一种基于机器学习的色彩匹配的口红推荐系统，包括：

原始数据获得单元，被配置为：获取不同肤色，脸型以及嘴型与不同口红颜色的搭配图片数据，将上述图片数据进行分成不同的等级的数据集；

图像特征构建单元，被配置为：使用机器学习中k-means聚类方法将每个数据集中的图像进行分割，分割为背景，脸部，嘴部，提取脸部特征、嘴部特征以及对应口红的色号，并构建特征矩阵；

分类模型构建单元，被配置为：构建BP神经网络输入层，构建以BP神经网络为基础的分类模型，模型训练；

匹配单元，被配置为：将待测图片输入训练好的分类模型，分类模型将根据待测图片中所提取的脸部，嘴部特征，获得口红配色的最佳输出结果。

与现有技术相比，本公开的有益效果是：

本公开技术方案基于不同的脸部特征与口红的颜色进行搭配建立相应的分类模型，并利用该模型实现对待测图片的口红配色，实现了智能的图片的识别，不同的口红与待测图片搭配将会给出不同的评价结果。用户只需要提供面部图像，系统可以自动分割提取用户的脸型、嘴型、肤色等特征数据，并结合不同的口红色号进行打分，显示结果。用户可针对评价结果进行分析采纳所需要的，整个过程采用信息化技术实现，快速、准确。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开实施例子利用k-means算法对脸型和嘴唇进行分割的流程示意图；

图2为本公开实施例子利用的BP神经网络结构示意图；

图3为本公开实施例子BP算法流程示意图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例子一

本公开实施例子提出了一种基于机器学习的色彩匹配的口红推荐方法，为了实现上述方法，需要分析脸型，嘴型，肤色，口红颜色等特征的组合。并根据大众的审美，给上述组合评分，使用当前机器学习的分类方法，对相关特征和评分进行分类，构建分类模型。模型构建好以后，输入女性脸部图片，根据先前的特征提取，依次将肤色，脸型，嘴唇特征输入，并输入不同颜色，根据先前的分类模型，依次将不同颜色的评分结果输出，可以根据这样的评分模型，选择最适合的口红颜色。

在具体实施例子中，本公开技术方案所依托的技术包括对女性脸部和嘴部进行分类组合，根据人的脸长，颧骨，额头，下颌的尺寸距离大体进行分类。根据调查大体可分为6类：圆型脸、椭圆型脸、长型脸、心型脸、菱型脸、长方型脸、三角型脸和方型脸。

其特征如下表1所示：

表1脸型分类

同样地也需要对人的嘴型进行分类，依据上嘴唇和下嘴唇的厚度比例可分为樱桃嘴、嘴大松弛、上下唇厚、上下唇薄、上薄下厚等四个类型如下表2所示。

表2嘴型分类

嘴型	特征
		樱桃嘴	嘴型整体偏小
嘴大松弛	嘴型整体偏大
		上下唇厚	上下唇丰厚，唇红齿白，笑不露齿。
上下唇薄	长而形尖，两唇均薄比。
		上薄下厚	上唇比例小于下唇1/2。

在一实施例子中，模拟人脸和嘴型的组合，根据现有数据，对8种人脸和5种嘴型依次进行组合，共计40种组合。此时还要对肤色进行设定，由于是RGB特征选择偏黑，一般，偏白等3种RGB色彩，3种颜色RGB值在R：200～216～243，G：160～186～200，B：150～160～175。分为3类则为120组图片，根据这样的组合制作成数据集。依次对120张图片嘴唇部位依次添加常见的口红颜色，根据常见的口红颜色表中26中常见口红颜色，依次制作数据集共计为120*26种组合。采用大众调查的方式，由于数据量大，不可能让一个人对所有样本进行打分。采用随机选择10种组合，共计312种样本。每种样本做成100份，通过随机派发的方式，让群众为组合打分，分数为1到10分。统计每一张图片的平均分，依分数的高低进行排序，将所有组合分成10组，对应评分的1-10分。

在具体实施例子中，利用k-means算法对脸型和嘴唇进行分割，参见附图1所示，具体步骤包括：

A、对图像进行裁剪，根据图像大体坐标保留图片头部区域。

B、根据图像的RGB三个通道作为特征。K-means算法K值为3(质心为3)进行聚类。

算法的基本思想为：

通常，人们根据样本间的某种距离或者相似性来定义聚类，即把相似的(或距离近的)样本聚为同一类，而把不相似的(或距离远的)样本归在其他类。k-means算法的基本思想就是通过迭代寻找k个聚类的一种划分方案，使得用这k个聚类的均值来代表相应各类样本时所得的总体误差最小。

算法实现过程为：

随机选取k个聚类质心点。

对于每一个数据对象，计算其应该属于的类。

对每一类，分别计算均值更新质心。

计算数据对象到新的聚类质心点的距离，进行判断分类。

C、根据K-means聚类的分成三个结果，即背景，脸部和嘴部。通过对图像的边缘检测，获取脸部和嘴部的轮廓坐标。通过坐标将图像脸部和嘴部分割出来。单独地对脸部进行Gabor小波分析，采用5个尺度，8个方向的Gabor小波，共计40组特征。根据各个特征的像素大小，对40组特征求平均值。同时根据肤色RGB三个特征及脸部对应有43个特征。依此方法对嘴部进行小波分析得到40个特征像素的平均值。最后根据不同的口红的色号形成一张图片对应84个特征，依次对120*26个组合图片进行特征提取。形成特征矩阵(特征矩阵内容如下表3所示)，由于每张图片都有10个人打分，将10人的打分的平均分作为最终评分，将先前每个图片的评分一一对应，完成特征矩阵的制作。

表3

在具体实施例子中，利用BP神经网络的算法训练分类模型，从步骤C生成的特征矩阵采用BP神经网络的方法进行分类。在前期的工作中，已经将每个组合分成了1～10个分数，所以在BP神经网络中，输出层为1-10。采用三层前馈BP神经网络实现对每组图像的分类识别。BP神经网络结构如图2所示。

附图2中，X1到Xn为输入层，O1-On为输出结果。中间为隐含层。BP网络在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对BP网络加以训练，网络就具有输入输出对之间的映射能力。

BP网络执行的是有监督训练，其样本集是由形如(输入向量，期望输出向量)的向量对构成的。在开始训练前，所有的权值和阈值都应该用一些不同的小随机数进行初始化。

详细过程如下：

将特征矩阵的1-84列提取，对数据进行归一化处理。设计分类器，采用标准的BP神经网络，输入层元素为I,隐含层元素为H，输出层神经元个数为J。因为是对搭配打分的分类，所以J为分数的类别10类，输入为先前特征提取的84组特征。

算法包括两个阶段：

(1)向前传播阶段

①从样本集中取一个样本(Xp,Yp)，将Xp输入网络，其中Xp为输入向量，Yp为期望输出向量。

②计算相应的实际输出Op。

在此阶段，信息从输入层经过逐级的变换，传送到输出层。这个过程也是网络在完成训练后正常运行时执行的过程。在此过程中，网络执行的是下列运算：

O_P＝F_n(...(F₂(F₁(X_pW₍₁₎)W₍₂₎...)W_(n))

(1)

W₍₁₎到W_(n)表示到升神经网络的层数矩阵。

F₍₁₎到F_(n)表示神经网络的误差函数。

(2)向后传播阶段

①计算实际输出Op与相应的理想输出Yp的差；

②按极小化误差的方法调整权矩阵。

这两个阶段的工作一般应受到精度要求的控制，定义

Y_pj为真实值，即每个图像所对应的真实分数。

O_pj为预测值，即每轮网络计算的结果。

作为网络关于第p个样本的误差测度(误差函数)。而将网络关于整个样本集的误差测度定义为：

E＝∑E_p

(3)

如前所述，之所以将此阶段称为向后传播阶段，是对应于输入信号的正常传播而言的，也称之为误差传播阶段。

为了更清楚地说明本实施例子所使用的BP网络的训练过程，首先假设输入层、中间层和输出层的单元数分别是N、L和M。X＝(x0,x1,…,xN-1)是加到网络的输入矢量，H＝(h0,h1,…,hL-1)是中间层输出矢量，Y＝(y0,y1,…,yM-1)是网络的实际输出矢量，并且用D＝(d0,d1,…,dM-1)来表示训练组中各模式的目标输出矢量。输出单元i到隐单元j的权值是V_ij，而隐单元j到输出单元k的权值是W_jk。另外用θ_k和φ_j来分别表示输出单元和隐单元的阈值。

于是，中间层各单元的输出为：

而输出层各单元的输出是：

其中f(*)是激励函数，采用S型函数：

在上述条件下，参见附图3所示，网络的训练过程如下：

(1)选定训练集。由相应的训练策略选择样本图像作为训练集。

(2)初始化各权值V_ij，W_jk和阈值φ_j，θ_k，将其设置为接近于0的随机值，

并初始化精度控制参数ε和学习率α。

(3)从训练集中取一个输入向量X加到网络，并给定它的目标输出向量D。

(4)利用式(4)计算出一个中间层输出H，再用式(5)计算出网络的实际输出Y。

(5)将输出矢量中的元素y_k与目标矢量中的元素d_k进行比较，计算出M个输出误差项：δ_k＝(d_k-y_k)y_k(1-y_k) (7)

对中间层的隐单元也计算出L个误差项：

(6)依次计算出各权值和阈值的调整量：

ΔW_jk(n)＝(α/(1+L))*(ΔW_jk(n-1)+1)*δ_k*h_j

(9)

ΔV_ij(n)＝(α/(1+N))*(ΔV_ij(n-1)+1)*δ_j ^**X_i

(10)

Δθ_k(n)＝(α/(1+L))*(Δθ_k(n-1)+1)*δ_k

(11)

Δφ_j(n)＝(α/(1+L))*(Δφ_j(n-1)+1)*δ_j ^*

(12)

(7)调整权值和阈值：

(8)W_ik(n+1)＝W_ik(n)+ΔW_ik(n),V_ij(n+1)＝V_ij(n)+ΔV_ij(n)

(13)

θ_k(n+1)＝θ_k(n)+Δθ_k(n),φ_j(n+1)＝φ_j(n)+Δφ(n)

(14)

(8)当k每经历1至M后，判断指标是否满足精度要求：E≤ε，其中E是总误差函数，且

如果不满足，就返回(3)，继续迭代。如果满足，就进入下一步。

(9)训练结束，将权值和阈值保存在文件中。确认各个权值已经达到稳定，分类器形成。下一次进行训练时，直接从文件导出权值和阈值进行训练，不需要进行初始化。

当新的图像数据出现时，采用类似的方法对待评分的图像进行特征提取，包括对脸型轮廓的提取(Gabor小波40组特征，每组的平均数)，肤色(RGB三个通道，每个通道的平均数)，嘴型(Gabor小波40组特征，每组的平均数)，以及将常见的26种口红的色号等数据作为每个样本图片的特征，放入所构建的模型种进行预测，按分类的结果，对26个口红色号排序，得到最优的推荐色号。

本公开技术方案通过前期对人肤色，脸型以及嘴型的调查统计，并收集上述特征和不同口红颜色的搭配图片数据，通过抽样调查的方式，让大众为不同搭配进行评分，根据大众对每个图片的评分的平均分，将图像分成相应的等级，使用机器学习中k-means聚类方法，将每个数据集图像进行分割，分割为三个部分，背景，脸部，嘴部。选择脸部和嘴部并对相关区域进行纹理分析。对于脸部区域，采用Gabor小波提取特征，一级图像的RGB特征。对于嘴部，使用Gabor小波提取特征，并将常见的口红颜色的色号作为特征。做成特征矩阵后，构建BP神经网络输入层。每张图片对应的分数为输出的标签。做成以BP神经网络为基础的分类模型，并将先前统计的模型依次进行训练，同时保留训练模型方便新以后的数据加入训练。模型训练好以后，当新的图片输入后，会依次提取相关特征(脸型的Gabor，肤色的RGB特征，以及嘴唇的Gabor特征)同时将常用的口红色号的特征依次添加，依次使用训练好的模型进行分类，查看分类结果。按分类分数循序排列，并将分数和颜色一一对应输出。

实施例子二

图像特征构建单元，被配置为：使用机器学习中k-means聚类方法将每个数据集中的图像进行分割，分割为背景，脸部，嘴部，提取脸部特征、嘴部特征及口红颜色的RGB通道特征并构建特征矩阵；

该实施例子所涉及的具体技术实现方案可参见实施例子一，此处不再进行详细的说明。

实施例子三

该实施例子公开了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现一种基于机器学习的色彩匹配的口红推荐的步骤。

实施例子四

该实施例子公开了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现一种基于机器学习的色彩匹配的口红推荐的步骤。

在本实施例中，计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。

可以理解的是，在本说明书的描述中，参考术语“一实施例”、“另一实施例”、“其他实施例”、或“第一实施例～第N实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims

1.一种基于机器学习的色彩匹配的口红推荐方法，其特征是，包括：

将上述图片数据进行分成不同的等级的数据集；

使用机器学习中k-means聚类方法将每个数据集中的图像进行分割，分割为背景，脸部，嘴部，提取脸部特征、嘴部特征以及对应口红的色号，并构建特征矩阵；

分类模型训练；

2.如权利要求1所述的一种基于机器学习的色彩匹配的口红推荐方法，其特征是，所述数据集的获取过程具体为：模拟人脸和嘴型的组合，对肤色进行设定，分为3类，则将不同的人脸、嘴型及肤色组合制作成数据集。

3.如权利要求1所述的一种基于机器学习的色彩匹配的口红推荐方法，其特征是，对数据集中的图片利用k-means算法对脸型和嘴唇进行分割，具体为：

对数据集中的图片得图像进行裁剪，根据图像大体坐标保留图片头部区域；

将图像的RGB三个通道作为特征，利用K-means算法进行聚类；

根据K-means聚类的分成三个结果，即背景，脸部和嘴部。

4.如权利要求4所述的一种基于机器学习的色彩匹配的口红推荐方法，其特征是，通过对图像的边缘检测，获取脸部和嘴部的轮廓坐标，通过坐标将图像脸部和嘴部分割出来；

单独地对脸部进行Gabor小波分析，采用5个尺度，8个方向的Gabor小波，共计40组特征。根据各个特征的像素大小，对40组特征求平均值；

同时根据肤色RGB三个特征及脸部对应有43个特征；

对嘴部进行小波分析得到40个特征像素的平均值，根据口红颜色的RGB分量的值形成一张图片对应86个特征；

依次对数据集中的所有图片进行特征提取，形成特征矩阵。

5.如权利要求5所述的一种基于机器学习的色彩匹配的口红推荐方法，其特征是，将特征矩阵采用BP神经网络的方法进行分类，采用三层前馈BP神经网络实现对每组图像的分类识别。

6.如权利要求1所述的一种基于机器学习的色彩匹配的口红推荐方法，其特征是，分类模型训练时，选定训练集，由相应的训练策略选择样本图像作为训练集；训练结束，将权值和阈值保存在文件中，确认各个权值已经达到稳定，分类器形成，下一次进行训练时，直接从文件导出权值和阈值进行训练，不需要进行初始化。

7.如权利要求1所述的一种基于机器学习的色彩匹配的口红推荐方法，其特征是，完成训练模型以后将待测的图片进行特征提取，对待评分的图像进行特征提取，包括对脸型轮廓的提取，肤色特征提取，嘴型特征提取，将口红的RGB三组通道的每组平均数添加，依次使用模型进行分类，按评分的标准依次有高到低的输出。

8.一种基于机器学习的色彩匹配的口红推荐系统，其特征是，包括：

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-7任一所述的一种基于机器学习的色彩匹配的口红推荐方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7任一所述的一种基于机器学习的色彩匹配的口红推荐方法的步骤。