CN113298841B - 一种肤质油份分型方法、计算机设备、系统及存储介质 - Google Patents

Abstract

本发明属于医疗美容技术领域，具体涉及一种肤质油份分型方法、计算机设备、系统及存储介质。本发明的肤质油份分型方法包括如下步骤：（1）输入皮肤照片，将所述皮肤照片转化为HSV空间；（2）从所述HSV空间中识别并增强包含油分特征的区域，得到油份特征增强效果图像；（3）将所述油份特征增强效果图像输入肤质油份分型模型，得到肤质油份分型结果。本发明通过使用卷积神经网络与图像处理算法相结合的方法，能够对拍摄质量一般（如手机在普通光线下拍摄）的皮肤照片进行准确的油份分型。这大大降低了对设备和使用者专业程度的要求，具有很好的应用前景。

Description

一种肤质油份分型方法、计算机设备、系统及存储介质

技术领域

本发明属于医疗美容技术领域，具体涉及一种肤质油份分型方法、计算机设备、系统及存储介质。

背景技术

在现代社会，人们对自己的容貌越来越重视，皮肤护理已经成为人们最关注的话题之一。 皮肤是人体的第一道防线，良好的肤质不仅有益于健康，而且能提升自身的整体形象，在工作和日常生活中都有着重要的作用。随着医美行业的兴起，各种美容服务和产品层出不穷，特别是涌现出种类繁多的化妆品、护肤品。面对各式各样的化妆品、护肤品选择时，人们缺乏一个合适的标准，常常感到无从下手。传统的方法是由专业美容医师根据他们的护理学知识和长期的诊断经验来做分析。然而由于引起人体面部肤质问题的原因复杂多样，只依靠主观推断很难发现一切肤质问题，导致人们对护肤品的使用效果难以判断，无法指导护肤品的正确选择与使用。

为了让顾客对自己的肤质有一定的了解，很多大型护肤品公司、美容院、医美研究机构开始使用专业肤质检测设备对人脸肤质状况进行检测。然而，这类设备体积笨重、价格昂贵，还需要专业人员操作，只适用于医疗机构使用。普通人群普遍工作紧张，基于时间、价格、便捷性等多方面的限制，很难定期寻求专业美容医师的指导和建议。因此，研究一种能便捷地对消费者肤质状况进行精确检测的方法对改善国民肤质健康具有重要的意义。

随着机器学习技术的发展，其被应用于越来越多的行业和领域。中国发明专利申请“CN110533634A 基于人工智能的方案推荐方法、装置、计算机设备及存储介质”提供了一种利用卷积神经网络模型，通过输入肤质图片对肤质进行分类的方法。然而，皮肤照片的拍摄结果与拍摄设备、软件、光线、角度、部位、聚焦效果等多方面的因素有关。因此，对于这些现有的机器学习肤质分类方法，若想要得到准确的分类结果，通常需要用专业的设备进行拍摄，从而获得与模型训练所用的训练图片质量相当的皮肤照片，这限制了机器学习技术在肤质分类领域的推广和应用。

发明内容

针对现有技术中的缺陷，本发明提供一种肤质油份分型方法、计算机设备、系统及存储介质，其目的在于：通过图像处理算法增强皮肤照片中的油份特征，实现对拍摄质量不佳（如手机拍照）的皮肤照片的油份分型，无需专业设备拍摄，有利于机器学习技术在肤质分类领域的推广和应用。

一种肤质油份分型方法，包括如下步骤：

（1）输入皮肤照片，将所述皮肤照片转化为HSV空间；

（2）从所述HSV空间中识别并增强包含油分特征的区域，得到油份特征增强效果图像；

（3）将所述油份特征增强效果图像输入肤质油份分型模型，得到肤质油份分型结果。

优选的，步骤（2）具体包括如下步骤：

（2.1）在所述HSV空间中，对S 和 V 空间通过阈值分割进行二值化处理；

（2.2）从二值化处理后的S 和 V 空间进行亮色区域逻辑运算，取亮色区域，得到油份特征增强效果图像；

所述亮色区域逻辑运算为：～S&V，

其中，~表示取反操作，&表示位与操作。

优选的，所述模型是卷积神经网络模型，所述卷积神经网络模型由输入数据层、卷积层、池化层、全连接层和输出层构成。

优选的，所述卷积层分别用3个尺寸的过滤器，各对输入数据层的输入数据进行4次卷积操作；所述过滤器的尺寸为1×1×3、3×3×3和5×5×3；

和/或，所述卷积层使用的激活函数是ReLU；

和/或，所述池化层的规模为5×5；

和/或，所述全连接层具有100个神经元。

优选的，所述模型进行训练时使用的激活函数为softmax，使用的损失函数为log-likelihood。

优选的，所述模型的输入数据为油份特征增强效果图像的3通道HSV数据。

优选的，所述3通道HSV数据的大小为299*299。

本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。

本发明还提供一种肤质油份分型系统，包括：

上述计算机设备；

用于采集和/或输入和/或存储用户的皮肤照片的设备。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于实现上述肤质油份分型方法。

现有技术中，用于分析肤质类型的专业设备为了突出肤质的油份特征，会采用特别的光源（使用白光、偏振光、紫外光分别进行拍照）和编码方式进行拍摄。若采用拍摄质量不佳的照片（如手机照片再普通光源下拍摄的结果），则通常难以得到准确的油份分型结果。在机器学习中，使用上述拍摄质量不佳的照片将会因为算法无法提取关联指标的特征而无法收敛，导致学习失败。本发明采取了首先对照片进行图像处理，增强油份指标在照片上的特征表现，从而解决了上述问题，能够提高深度学习算法自动提取油份特征的准确性。

另一方面，针对RGB图像中将色调、亮度和饱和度共同存放难以分开的困难，本发明的方法将皮肤照片的颜色空间由RGB转化为HSV。HSV 空间是一种将亮度信息从颜色中分离出来的颜色空间，并且使用 HSV 颜色空间时，肤色的 H 空间相对稳定的分布在一个比较窄的范围内，在对人脸颜色特征进行分析时，只需要对 S 和 V 空间进行处理就可以将符合油份指标模型的区域提取出来。因此，本发明采用 HSV 空间对手机照片进行图像处理，突出图像的油份指标特征，为深度学习算法建模打下良好的基础。基于经过图像处理算法进行特征增强的图像进行深度学习，不仅加快了卷积神经网络模型的训练速度，同时还大幅提高了模型的准确度。

在优选方案中，为了让油份分型模型既能够考虑单位面积的油份程度，还能考虑其区域分布因素，以及区域面积大小的因素，设计了不同尺寸的过滤器，对输入图像进行多次卷积操作。这种设计非常切合肤质油份分型的应用场景，可以大大提高模型的准确性。

显然，根据本发明的上述内容，按照本领域的普通技术知识和惯用手段，在不脱离本发明上述基本技术思想前提下，还可以做出其它多种形式的修改、替换或变更。

以下通过实施例形式的具体实施方式，对本发明的上述内容再作进一步的详细说明。但不应将此理解为本发明上述主题的范围仅限于以下的实例。凡基于本发明上述内容所实现的技术均属于本发明的范围。

附图说明

图1为实施例1的肤质油份分型方法的流程示意图；

图2为实施例1的肤质油份分型方法中步骤（1）-（2）的流程示意图；

图3为HSV颜色空间示意图；

图4为手机拍摄的人脸皮肤照片；

图5为S空间二值化效果图；

图6为V空间二值化效果图；

图7为油份特征增强效果图像；

图8为实施例1的卷积神经网络模型示意图；

图9为实施例1的输入数据层示意图；

图10为实施例1的卷积层中3类卷积过滤器的示意图；

图11为实施例1的卷积层示意图；

图12为实施例1的池化层的计算示意图；

图13为实施例1的模型训练的流程示意图。

具体实施方式

需要特别说明的是，实施例中未具体说明的数据采集、传输、储存和处理等步骤的算法，以及未具体说明的硬件结构、电路连接等均可通过现有技术已公开的内容实现。

实施例1 肤质油份分型方法

本实施例的肤质油份分型方法如图1所示，其中步骤（1）-（2）的算法流程如图2所示。具体步骤如下：

（1）输入皮肤照片，将所述皮肤照片转化为HSV空间；

油份特征的肤质指标在皮肤图像上表现为不同的颜色区域，为了方便卷积神经网络更准确地抽取油份特征，本实施例采取在HSV（色调，饱和度，亮度）颜色空间坐标下建立模型，表示各种颜色区域的分布。

HSV颜色空间可以简单方便的描述图像中的明暗区域，从而可以比较明显地反应皮肤的油份特征。图像上光亮的区域表明油份特征比较明显。HSV空间是一种将亮度信息从颜色中分离出来的颜色空间，并且肤色的H空间分布在一个相对稳定并且比较窄的范围内。对图像颜色特征进行分析只需要对S和V空间进行处理就可以将符合油脂模型的区域提取出来。

HSV颜色空间可以表示为一个圆锥模型，如图3所示。其中，V 对应亮度，取值范围为 0 到 1，越接近1表示颜色越亮；S 表示颜色的饱和度，取值范围是 0 到 1，越接近 1则表示越饱和。底面圆所在的平面对应着 V=1，此时S=0，H 没有定义，表示白色。从该点到圆锥的顶点，代表的亮度渐暗的变化，在圆锥模型的顶点处，V=0，此时 H 和 S 都没有定义，表示黑色。

（2）从所述HSV空间中识别并增强包含油分特征的区域，得到油份特征增强效果图像；该步骤具体算法如下：

对 S 和 V 空间通过阈值分割进行二值化后，可以将图像中的明暗区域进行划分，其中 S 表示饱和度，V 表示亮度。S 越接近 1 表示颜色越饱和，V 越接近 1 表示颜色越亮。

二值化计算方法使用最大类间方差法对灰度图像基于阀值将图像中的背景和前景区分开来。其基本原理是通过遍历方法找到一个划分阀值，该阀值使分割成两个类的类间方差最大。华人的皮肤颜色一般偏深，把S 接近 0 且 V 接近 1 的像素点划分为图像中的明亮区域。

例如，图4为一张手机拍摄的人脸皮肤照片，将其转化为HSV空间后，进行二值化处理，得到图5所示的S空间二值化效果图和图6所示的V空间二值化效果图。

为了获取油份特征增强图像，我们对阀值分割后的S和V空间进行如下逻辑运算，获取亮色区域：～s & v

其中：～表示取反操作，&表示位与操作。

对图5和图6进行上述逻辑运算后，得到肤质油份增强效果图像，如图7所示。

（3）将所述油份特征增强效果图像输入肤质油份分型模型，得到肤质油份分型结果。

本实施例中，所述模型是卷积神经网络模型，所述卷积神经网络模型如图8所示，由输入数据层、卷积层、池化层、全连接层和输出层构成。具体如下：

1、输入数据层

如图9所示，本实施例把特征增强后的皮肤图像统一缩放为3通道（HSV）299*299大小的数据。

2、卷积层

卷积层首先要确定过滤器的大小和步长，从而可以对输入进行卷积操作。由于油份分型需要充分考虑单位面积的油份程度，还需要考虑其区域面积，本发明设计了不同尺寸的过滤器，进行卷积操作。

本发明分别设置了尺寸分别为1×1×3、3×3×3和5×5×3的3类过滤器。过滤器的3个参数分别表示过滤器的长、宽和深度。其中，长对应输入的横坐标，宽对应输入的纵坐标，深度对应输入的HSV通道，也就是HSV，如图10所示。

通过使用卷积过滤器对输入层进行卷积操作以后就会得到一个特征图，这个特征图就是分别由卷积过滤器中1×1×3、3×3×3、5×5×3个权重和1个偏值来确定的。

本实施例选择使用步长为1的卷积操作。为了保证经过卷积操作以后，图像的维度保持不变，在使用3×3×3过滤器进行卷积操作时，在输入图像矩阵的外面填充2层，填充的值均为0；在使用5×5×3过滤器进行卷积操作时，在输入图像矩阵的外面填充4层，填充的值均为0。

每个特征图只能识别一个局部特性，为了能够对问题进行全面的理解，就需要多个特征图，从而可以通过多个特征图所识别的多个局部特性达到对全局的理解。为了能够从多个维度分析图像的油份特征，本发明分别使用3个不同尺寸的过滤器对输入图像各进行4次卷积操作，总共进行12次卷积操作。也就是说，通过发现12个不同的局部特性来全面分析肤质的油份特性，如图11所示。

各有4个特征图分别通过一个对应的卷积过滤器中的1×1×3、3×3×3、5×5×3个权重和1个偏值来定义的，所以油份分型卷积神经网络的卷积层共有1×1×3×4+3×3×3×4+5×5×3×4=12+108+300=420个权重和12个偏值。

卷积层使用激活函数是ReLU（Rectified Liner Unit，修正线性单元），f(x)=max(0,x)，其特点是收敛快，求梯度简单，从而运算量小，很大程度的解决了神经网络算法在优化深层神经网络时的梯度耗散问题。

3、池化层

本发明在池化层采用规模为5×5，步长为5的最大值池化（Max Pooling）方法，也就是取25个点的最大值，如图12所示。

对299×299的卷积层的特征图进行规模为5×5，步长为5的均值池化后生成一个60×60的特征图。本发明的油份分型卷积神经网络在卷积层共有12个特征图，通过对这12个特征图分别进行池化操作后，池化层将得到12个60×60的特征图。总共拥有43200个特征神经元。

池化层的作用在于压缩数据和权重参数的量，从而减少过度拟合，所以，池化层不引入新的权重和偏值参数，也不使用激活函数，所以油份分型卷积神经网络卷积和池化层共有1×1×3×4+3×3×3×4+5×5×3×4=12+108+300=420个权重和12个偏值。

4、全连接层

油份分型卷积神经网络模型在卷积层和池化层从多个特征方面对油份问题进行分析理解，为了对问题进行更全面和更抽象级别的理解，本实施例在卷积层和池化层后面添加了一个100个神经元的全连接层。

这100个神经元需要与池化层的每一个神经元进行连接，也就是说在全连层的每一个神经元都会从池化层的43200个神经元的每一个神经元中接收信息，所以，全连层将引进43200×100=4320000个权重和一个偏值。

前面卷积层和池化层具有420个权重和12个偏值，所以，加入全连层以后，神经网络共含有4320420个权重和13个偏值。

5、输出层

卷积神经网络的最后一层是输出层。本实施例对肤质油份分型为油份高、油份正常、油份低三个类型，所以输出层有3个神经元。从全连接层到输出层也是采用全连接，也就是输出层的每一个神经元会接收全连层的每一个神经元的信息，通过softmax激活函数计算后输出结果，得到不同分型的概率值，输出概率值最大的就是该输入的分型。

输出层共有3个神经元，这3个神经元需要与全连层的100个神经元进行连接。所以，输出层将引进3x100个权重和1个偏值。

如图8所示，整个模型包含（(1×1×3×4) +(3×3×3×4) + (5×5×3×4)） +(43200×100) + (100×3) = 420 + 4320000+300=4320720个权重参数和12+1+1=14个偏值参数。

本实施例中，模型训练的过程如图13所示。模型训练阶段主要是基于已经带有肤质分型结果的皮肤照片，训练肤质分型的模型。具体包括如下步骤：

步骤1、按照上述步骤（1）的方法，将皮肤照片的颜色空间由RGB空间转换为HSV空间；

步骤2、按照上述步骤（2）的方法，对油份特征进行增强，得到油份特征增强效果图像；

步骤3、将上述油份特征增强效果图像及其标签构成训练集，进行模型训练。模型训练采用softmax为激活函数，使用log-likelihood作为损失函数。

本实施例中，使用了10000张带有标签的手机拍摄皮肤照片构成训练集，按照上述方法进行训练得到模型。然后使用1000张没有用于模型训练的带有标签的手机拍摄皮肤照片作为油份分型卷积神经网络的测试集。按照上述方法对测试集进行性油份分型，将输出结果与标签值进行对比。

基于1000张用户照片的测试结果，通过如下方法计算出预测正确的准确率：

准确率=（预测正确次数）／（预测正确次数+预测错误次数）

测试结果表明本实施例的肤质油份分型的准确率达到95%。

通过上述实施例可以看到，本发明通过使用卷积神经网络与图像处理算法相结合的方法，能够对拍摄质量一般（如手机在普通光线下拍摄）的皮肤照片进行准确的油份分型。这大大降低了对设备和使用者专业程度的要求，具有很好的应用前景。

Claims (5)

1.一种肤质油份分型方法，其特征在于，包括如下步骤：

(1)输入皮肤照片，将所述皮肤照片转化为HSV空间；

(2)从所述HSV空间中识别并增强包含油分特征的区域，得到油份特征增强效果图像；

(3)将所述油份特征增强效果图像输入肤质油份分型模型，得到肤质油份分型结果；

所述模型是卷积神经网络模型，所述卷积神经网络模型由输入数据层、卷积层、池化层、全连接层和输出层构成；

所述卷积层分别用3个尺寸的过滤器，各对输入数据层的输入数据进行4次卷积操作；所述过滤器的尺寸为1×1×3、3×3×3和5×5×3；所述卷积层使用的激活函数是ReLU；所述池化层的规模为5×5；所述全连接层具有100个神经元；

所述模型的输入数据为油份特征增强效果图像的3通道HSV数据；

所述3通道HSV数据的大小为299*299；

步骤(2)具体包括如下步骤：

(2.1)在所述HSV空间中，对S和V空间通过阈值分割进行二值化处理；

(2.2)从二值化处理后的S和V空间进行亮色区域逻辑运算，取亮色区域，得到油份特征增强效果图像；

所述亮色区域逻辑运算为：～S&V，

其中，～表示取反操作，&表示位与操作。

2.按照权利要求1所述的肤质油份分型方法，其特征在于：所述模型进行训练时使用的激活函数为softmax，使用的损失函数为log-likelihood。

3.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1或2所述的肤质油份分型方法。

4.一种肤质油份分型系统，其特征在于，包括：

权利要求3所述的计算机设备；

用于采集和/或输入和/或存储用户的皮肤照片的设备。

5.一种计算机可读存储介质，其特征在于：其上存储有计算机程序，所述计算机程序用于实现权利要求1或2所述的肤质油份分型方法。