CN109903257A - 一种基于图像语义分割的虚拟头发染色方法 - Google Patents

Abstract

本发明公开了一种基于图像语义分割的虚拟头发染色方法，其包括：对收集的数据集进行头发标注，获得多发型多状态下的头发标注样本；将头发标注样本代入预先建立的数据增强算法，得到数据增强后的数据集；基于图像语义分割网络训练步骤S11得到的数据集，得到深度学习模型；通过深度学习模型识别输入图像的头发区域，进行语义分割；对图像的头发区域进行归一化处理，得到归一化后的图像；将归一化后的图像进行颜色通道分离，完成头发染色，得到头发染色后的染色图像。本发明的基于图像语义分割的虚拟头发染色方法，可以全自动地生成头发染色图像，提高了虚拟头发染色的精确度和鲁棒性。

Description

一种基于图像语义分割的虚拟头发染色方法

技术领域

本发明涉及头发染色领域，特别涉及一种基于图像语义分割的虚拟头发染色方法。

背景技术

当前已有大量基于人脸识别和分析的相关应用，但单独针对头发的应用较少。头发是重要的人类局部外部特征，基于头发特征识别和区域分割的虚拟染色作为虚拟美妆的重要功能之一，有着极高的实用价值和广泛的市场前景。在虚拟染发的功能实现过程中，头发区域的分割是最基础、也是最重要的一步，其主要侧重于做基于人脸的分割，或者头发区域手动标定。

由于头发本身具有多种颜色以及多种形状。图像中的背景、人脸其他特征、衣物穿着等又往往比较复杂，易与头发混淆。因此，头发分割具有很高的难度。已有的头发分割技术有利用几何和颜色模型，针对光照和阴影建立简单的颜色模型。也有采用频率统计和颜色分析选取种子，而后扩展头发区域。这些方法的种子策略选择大多数基于人工经验，选出的种子比较离散、数量不多，不易建立准确的头发统计模型，因此难以有理想的结果。近年来出现了基于深度学习的头发分割方法，但大多基于人脸识别进行头发区域的分割，只能解决正面人脸图像的头发分割问题。如果输入图像是人物背面或者识别不到人脸时就无法进行头发区域的分割，适用场景大大受限。

发明内容

本发明针对上述现有技术中存在的问题，提出一种基于图像语义分割的虚拟头发染色方法，根据大量的数据集训练网络模型，通过提取图像的语义信息，并利用深度学习方法进行图像头发分割，提高了虚拟头发染色的精确度和鲁棒性，并且当识别不到人脸时也可以进行头发区域的分割，适用场景广泛。

为解决上述技术问题，本发明是通过如下技术方案实现的：

本发明提供一种基于图像语义分割的虚拟头发染色方法，其包括：

S11：对收集的数据集进行头发标注，获得多发型多状态下的头发标注样本；将头发标注样本代入预先建立的数据增强算法，得到数据增强后的数据集；

S12：基于图像语义分割网络训练所述S11得到的数据集，得到深度学习模型；通过所述深度学习模型识别输入图像的头发区域，进行语义分割；

S13：对图像的头发区域进行归一化处理，得到归一化后的图像；将归一化后的图像进行颜色通道分离，完成头发染色，得到头发染色后的染色图像。

较佳地，所述S11具体包括：

S111：收集多张包含头发的人像图像，归类为多种发型类别，每种发型多张图片，设置人像图像为统一大小，并对人像图像进行抠图得到头发的二值区域掩膜；

S112：采用预设的数据增强算法，对训练数据集随机进行变换以完成图像增强操作扩充数据样例。

较佳地，所述12具体包括：

S121：使用基于U-net网络的图像语义分割网络训练所述S11得到的数据集，调整初始化网络的权值阈值，得到梯度下降稳定、损失函数降到预期值、拟合度达到要求的深度学习模型；

S122：通过所述深度学习模型提取输入图像的特征，识别输入图像的头发区域，并进行语义分割，得到分割后的头发区域的掩膜图；将掩膜转为二值化图像，变换规则：若该点像素值小于0.5则该点像素值为1，若该点像素值大于1则该点像素值为0。

较佳地，所述S121中的U-net网络还包括：

增加网络提取图像头发特征的语义信息，将输入通道改为三通道，分别对应输入图像的不同颜色通道，使输入信息增加，更利于头发特征的提取；

增加上采样卷积层，提高网络通过头发特征还原图像掩膜的能力，增加卷积残差长度；

在U-net网络的基础上添加密集连接，由此缓解梯度消失问题，且加强特征复用，提升网络性能从而提高头发分割的准确率。

较佳地，所述S13具体为：对头发区域图像进行归一化处理，得到归一化后的图像；将归一化后的图像进行HSV空间域下的颜色通道分离，完成头发染色，得到头发染色后的染色图像。

较佳地，所述S13具体包括：

S131：将分割出来的头发区域的二值化掩膜图与原图进行对应像素与运算，得到原图中的头发区域；对头发区域图像进行标准的处理变换，使(0，255)之间的值变换为(0，1)之间的像素值；

S132：输入图像采用RGB颜色空间，利用HSV和RGB颜色空间上的转化公式，得到在HSV颜色空间域下的头发区域图像；

V＝max

上式中，(r，g，b)为一个颜色的红、绿和蓝坐标，它们的值为0到1之间的实数，max为r、g和b中的最大者，min为这些值中的最小者，在HSV空间的(h，s，v)值中，h为角度的色相角，s为饱和度，v为亮度；

S133：在HSV空间域下，保留HSV颜色空间域下的头发图像的V亮度，将染发的目标颜色变换到HSV空间域，取目标颜色的的H色相角，S饱和度重新组成新的HSV，最终得到染色后的在HSV颜色空间域下的头发图像，然后通过HSV和RGB的转换公式，得到RGB颜色空间域下的初步染色图像；

p＝v×(1-s)

q＝v×(1-f-s)

t＝v×(1-(1-f)×s)

对于每个颜色向量(r，g，b)，

S134：初步染色图像与背景进行匹配，得到头发染色后的染色图像，匹配规则如下：

若头发区域的二值化掩膜图的该点像素值为0，则取染色头发图片对应的像素值；若头发头发区域的二值化掩膜图的该点像素值为1，则取原图对应的像素值，最终合成头发染色后的染色图像。

较佳地，所述S13之后还包括：

S61：调节染色图像亮度及融合算法，得到更自然的染色效果。

较佳地，所述S61具体包括：调节图片亮度，将染发后的图片与原图进行加权和，加权公式如下：

dst＝alpha×src1+beta×src2+gamma

其中：src1为进行加权操作的第一个图像对象，alpha为第一个图像对象的加权系数，src2为进行加权操作的第二个图像对象，beta为第二个图像对象的加权系数，gamma为一个作用到加权和后的图像上的标量。

较佳地，所述S13之后还包括，或者，当包括所述S51时，所述S61之后还包括：

S81：基于图像锐化算法突出头发细节，完成对染色图像的效果优化。

较佳地，所述S81具体包括：

S811：对图片的头发部分S，以半径Radius＝1计算高斯模糊图G，然后对于像素位置(i，j)，计算对应的值Value：

Value＝S(i，j)-G(i，j)

S812：假设锐化效果图为D，则锐化算法为：

S813：然后再把值Value变换到0～255的RGB像素值范围之内，最后将锐化后的效果图进行饱和处理，形成最终的染色图。

相较于现有技术，本发明具有以下优点：

(1)本发明的基于图像语义分割的虚拟头发染色方法，无需手动标定图像中的背景部分或进行人脸识别，根据大量的数据集训练网络模型，通过提取图像的语义信息，并利用深度学习方法进行图像头发分割，得到更加精确且效果鲁棒性更强的分割结果，在此基础上进行更真实的虚拟染色；

(2)本发明的基于图像语义分割的虚拟头发染色方法，基于图像语义分割来进行图像头发的分割，不管输入图像是人脸正面，还是人脸背面，甚至识别不到人脸时，都可以进行头发区域的分割，适用场景广泛；

(3)本发明的基于图像语义分割的虚拟头发染色方法，基于U-net语义分割网络来对头发区域进行分割，其U-net网络在原始U-net网络的基础上将输入通道改为三通道，使输入信息增加，更利于头发特征的提取；且增加了上采样卷积层，提高网络通过头发特征还原图像掩膜的能力，增加卷积残差长度；还在U-net网络的基础上添加了密集连接，由此缓解梯度消失问题，且加强特征复用，提升网络性能从而提高头发分割的准确率；

(4)本发明的基于图像语义分割的虚拟头发染色方法，在得到染色图像后，还包括调节染色图像亮度及融合算法，以得到更自然的染色效果；

(5)本发明的基于图像语义分割的虚拟头发染色方法，在得到染色图像后，基于图像锐化算法突出头发细节，完成对染色图像的效果优化。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

下面结合附图对本发明的实施方式作进一步说明：

图1为本发明的实施例的基于图像语义分割的虚拟头发染色方法的流程图；

图2为本发明的较佳实施例的基于U-net网络修改的网络结构示意图；

图3为本发明的较佳实施例的基于图像语义分割的虚拟头发染色方法的流程图；

图4为本发明的另一较佳实施例的基于图像语义分割的虚拟头发染色方法的流程图；

图5为本发明的较佳实施例的基于图像语义分割的虚拟头发染色方法的流程框图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示为本发明的实施例的基于图像语义分割的虚拟头发染色方法的流程图。

请参考图1，本实施例的基于图像语义分割的虚拟头发染色方法包括以下步骤：

S11：对收集的数据集进行头发标注，获得多发型多状态下的头发标注样本；将头发标注样本代入预先建立的数据增强算法，得到数据增强后的数据集；

S12：基于图像语义分割网络训练所述步骤S11得到的数据集，得到深度学习模型；通过所述深度学习模型识别输入图像的头发区域，进行语义分割；

S13：对图像的头发区域进行归一化处理，得到归一化后的图像；将归一化后的图像进行颜色通道分离，完成头发染色，得到头发染色后的染色图像。

具体地，上述实施例中的步骤S11具体包括：

S111：使用1085张图片作为训练数据集，其中包含来自Figaro数据集的840张头发图片，这些照片具有明显可见的头发质地，分布均匀的头发类型，人类肤色的平衡选取，男女的平衡比例，不同复杂性的背景,不同的头发颜色。这些照片一共分为7种发型(短发，波浪卷，大卷，小卷，辫子，脏辫，直发)，每种发型155张图片。图像大小均为256*256像素，并使用Adobe Photoshop CS6(64 Bit)软件抠图工具得到头发的二值区域掩码；

S112：由于数据集样本较少，为丰富数据集，对裁剪后的1085张256*256像素的图片分别随机进行旋转、平移、错切变换、缩放等图像增强操作以扩充数据样例，其中旋转角度、缩放比例等操作均随机选取对应数值以保证生成图片的随机性。经该步处理后，每张图片分别生成8-12张扩充样例，最终得到10000张图片。

具体地，上述实施例中的步骤S12具体包括：

S121：使用基于U-net网络的图像语义分割网络训练步骤S11得到的数据集，调整初始化网络的权值阈值，得到梯度下降稳定、损失函数降到预期值、拟合度达到要求的深度学习模型；

S122：通过深度学习模型提取输入图像的特征，识别输入图像的头发区域，并进行语义分割，得到分割后的头发区域的掩膜图；将掩膜转为二值化图像，变换规则：若该点像素值小于0.5则该点像素值为1，若该点像素值大于1则该点像素值为0。

一实施例中，在步骤S121的具体训练阶段包括：输入训练集图像及对应掩膜图(黑色为头发部分，白色为背景)，设定steps_per_epoch＝700迭代训练30次，最终得到准确率为96.6％和loss值为0.08。

上述实施例将常应用于医学图像领域的U-net首次应用在图像的头发区域分割上。较佳实施例中，在原有的U-net基础上做了如下改动：1)输入通道改为三通道：由于头发分割所需要的语义信息比较复杂，不仅仅是头发纹理，还有头发颜色、光照等，因此将输入通道改为三通道，分别对应输入图像的不同颜色通道，使输入信息增加，更有利于头发特征的提取；2)增加上采样卷积层：为了提高网络通过头发特征还原图像掩膜的能力，增加卷积残差长度；3)添加密集连接：为了提升网络性能从而提高头发分割的准确率，在U-net网络的基础上添加密集连接，由此缓解梯度消失问题，且加强特征复用。

基于U-net网络修改的网络结构如图2所示，其具体包括27个残差块、5个通路单元、5个最大池化单元、一个输出单元。它由一个收缩路径(左侧)和一个扩展路径(右侧)组成。收缩路径包括重复应用两个3*3卷积(无填充卷积)，每个卷积后跟一个线性整流单元(ReLU)和一个2*2最大池化操作，步长2用于下采样。在每个下采样步骤中，设置特征通道的数量加倍。扩展路径中的每一步都包括对特征映射进行上采样，然后进行2*2卷积(“向上卷积”)，将特征通道数量减半，与来自收缩路径的相应特征映射进行连接。扩展路径包括重复应用三个3*3卷积，每个卷积后跟一个线性整流单元(ReLU)。在最后一层，使用1*1卷积将每个32分量特征向量映射到所需数量的类，其中ReLU子单元的表达式为f(x)＝max(0，x)。

具体地，上述实施例中的步骤S13具体为：对头发区域图像进行归一化处理，得到归一化后的图像；将归一化后的图像进行HSV空间域下的颜色通道分离，完成头发染色，得到头发染色后的染色图像。

进一步地，步骤S13具体包括：

S131：将分割出来的头发区域的二值化掩膜图与原图进行对应像素“与”运算，得到原图中的头发区域；对头发区域图像进行标准的处理变换，使(0，255)之间的值变换为(0，1)之间的像素值；

S132：输入图像采用RGB颜色空间，利用HSV和RGB颜色空间上的转化公式，得到在HSV颜色空间域下的头发区域图像；

v＝max

上式中，(r，g，b)为一个颜色的红、绿和蓝坐标，它们的值为0到1之间的实数，max为r、g和b中的最大者，min为这些值中的最小者，在HSV空间的(h，s，v)值中，h为角度的色相角，s为饱和度，v为亮度；

S133：在HSV空间域下，保留HSV颜色空间域下的头发图像的V亮度，将染发的目标颜色变换到HSV空间域，取目标颜色的的H色相角，S饱和度重新组成新的HSV，最终得到染色后的在HSV颜色空间域下的头发图像，然后通过HSV和RGB的转换公式，得到RGB颜色空间域下的初步染色图像；

p＝v×(1-s)

q＝v×(1-f-s)

t＝v×(1-(1-f)×s)

对于每个颜色向量(r，g，b)，

S134：初步染色图像与背景进行匹配，得到头发染色后的染色图像，匹配规则如下：

若头发区域的二值化掩膜图的该点像素值为0，则取染色头发图片对应的像素值；若头发头发区域的二值化掩膜图的该点像素值为1，则取原图对应的像素值，最终合成头发染色后的染色图像。

如图3所示为本发明的一较佳实施例的基于图像语义的虚拟头发染色方法的流程图。

请参考图3，该较佳实施例中，步骤S13之后还包括：

S61：调节染色图像亮度及融合算法，得到更自然的染色效果。

进一步地，一实施例中，步骤S61具体包括：为增强染色后的美观效果，将图片亮度调节至原图的1.3倍，为了效果的逼真性，将染发后的图片与原图进行4∶6的加权和。加权公式如下，即将两幅图片进行融合，进而改变目标颜色的透明度。

dst＝alpha×src1+beta×src2+gamma

其中：src1为进行加权操作的第一个图像对象，即输入图像I；alpha为第一个图像的加权系数，即图片I的融合比例；src2为进行加权操作的第二个图像对象，即输入图片II；beta为第二个图像的加权系数，即图片II的融合比例；gamma为一个作用到加权和后的图像上的标量，为加权和后的图像的偏移量，本实施例中设置为0。

如图4所示为本发明的另一较佳实施例的基于图像语义分割的虚拟头发染色方法的流程图，如图5所示为其流程框图。

请参考图4、图5，本实施例是在步骤S61之后还包括：

S81：基于锐化算法突出头发细节，完成对染色图像的效果优化。

本实施例中，为基于SUM锐化算法，S81具体包括：

S811：对图片的头发部分S，以半径Radius＝1计算高斯模糊图G，然后对于像素位置(i，j)，计算对应的值Value：

Value＝S(i，j)-G(i，j)

S812：假设锐化效果图为D，则锐化算法为：

S813：然后把值Value变换到O～255的RGB像素值范围之内，最后将锐化后的效果图进行饱和处理，形成最终的染色图。

上述实施例也可以为在不增加S61的基础上在S13之后增加S81，此处不再赘述。

上述实施例中的基于图像语义分割的虚拟头发染色方法，无需手动标定图像中的背景部分或进行人脸识别，根据大量的数据集训练网络模型，通过提取图像的语义信息，并利用深度学习方法进行图像头发分割，得到更加精确的分割结果且效果鲁棒性更强。在HSV空间域上进行通道分离，染色效果更加自然，SUM锐化算法突出头发细节使头发立体感增强。

此处公开的仅为本发明的优选实施例，本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，并不是对本发明的限定。任何本领域技术人员在说明书范围内所做的修改和变化，均应落在本发明所保护的范围内。

Claims (10)

1.一种基于图像语义分割的虚拟头发染色方法，其特征在于，包括：

S11：对收集的数据集进行头发标注，获得多发型多状态下的头发标注样本；将头发标注样本代入预先建立的数据增强算法，得到数据增强后的数据集；

S12：基于图像语义分割网络训练S11得到的所述数据集，得到深度学习模型；通过所述深度学习模型识别输入图像的头发区域，进行语义分割；

S13：对图像的头发区域进行归一化处理，得到归一化后的图像；将归一化后的图像进行颜色通道分离，完成头发染色，得到头发染色后的染色图像。

2.根据权利要求1所述的基于图像语义分割的虚拟头发染色方法，其特征在于，所述S11具体包括：

S111：收集多张包含头发的人像图像，归类为多种发型类别，每种发型多张图片，设置人像图像为统一大小，并对人像图像进行抠图得到头发的二值区域掩膜；

S112：采用预设的数据增强算法，对训练数据集随机进行变换以完成图像增强操作扩充数据样例。

3.根据权利要求1所述的基于图像语义分割的虚拟头发染色方法，其特征在于，所述S12具体包括：

S121：使用基于U-net网络的图像语义分割网络训练所述步骤S11得到的数据集，调整初始化网络的权值阈值，得到梯度下降稳定、损失函数降到预期值、拟合度达到要求的深度学习模型；

S122：通过所述深度学习模型提取输入图像的特征，识别输入图像的头发区域，并进行语义分割，得到分割后的头发区域的掩膜图；将掩膜转为二值化图像，变换规则：若该点像素值小于0.5则该点像素值为1，若该点像素值大于1则该点像素值为0。

4.根据权利要求3所述的基于图像语义分割的虚拟头发染色方法，其特征在于，所述S121中的U-net网络还包括：

增加网络提取图像头发特征的语义信息，将输入通道改为三通道，分别对应输入图像的不同颜色通道，使输入信息增加，更利于头发特征的提取；

增加上采样卷积层，提高网络通过头发特征还原图像掩膜的能力，增加卷积残差长度；

在U-net网络的基础上添加密集连接，由此缓解梯度消失问题，且加强特征复用，提升网络性能从而提高头发分割的准确率。

5.根据权利要求1所述的基于图像语义分割的虚拟头发染色方法，其特征在于，所述S13具体为：对头发区域图像进行归一化处理，得到归一化后的图像；将归一化后的图像进行HSV空间域下的颜色通道分离，完成头发染色，得到头发染色后的染色图像。

6.根据权利要求5所述的基于图像语义分割的虚拟头发染色方法，其特征在于，所述S13具体包括：

S131：将分割出来的头发区域的二值化掩膜图与原图进行对应像素与运算，得到原图中的头发区域；对头发区域图像进行标准的处理变换，使(0，255)之间的值变换为(0，1)之间的像素值；

S132：输入图像采用RGB颜色空间，利用HSV和RGB颜色空间上的转化公式，得到在HSV颜色空间域下的头发区域图像；

v＝max

上式中，(r，g，b)为一个颜色的红、绿和蓝坐标，它们的值为0到1之间的实数，max为r、g和b中的最大者，min为这些值中的最小者，在HSV空间的(h，s，v)值中，h为角度的色相角，s为饱和度，v为亮度；

S133：在HSV空间域下，保留HSV颜色空间域下的头发图像的V亮度，将染发的目标颜色变换到HSV空间域，取目标颜色的的H色相角，S饱和度重新组成新的HSV，最终得到染色后的在HSV颜色空间域下的头发图像，然后通过HSV和RGB的转换公式，得到RGB颜色空间域下的初步染色图像；

p＝v×(1-s)

q＝v×(1-f-s)

t＝v×(1-(1-f)×s)

对于每个颜色向量(r，g，b)，

S134：初步染色图像与背景进行匹配，得到头发染色后的染色图像，匹配规则如下：

若头发区域的二值化掩膜图的该点像素值为0，则取染色头发图片对应的像素值；若头发头发区域的二值化掩膜图的该点像素值为1，则取原图对应的像素值，最终合成头发染色后的染色图像。

7.根据权利要求1所述的基于图像语义分割的虚拟头发染色方法，其特征在于，所述S13之后还包括：

S61：调节染色图像亮度及融合算法，得到更自然的染色效果。

8.根据权利要求7所述的基于图像语义分割的虚拟头发染色方法，其特征在于，所述S61具体包括：调节图片亮度，将染发后的图片与原图进行加权和，加权公式如下：

dst＝alpha×src1+beta×src2+gamma

其中：src1为进行加权操作的第一个图像对象，alpha为第一个图像对象的加权系数，src2为进行加权操作的第二个图像对象，beta为第二个图像对象的加权系数，gamma为一个作用到加权和后的图像上的标量。

9.根据权利要求1至8任一项所述的基于图像语义分割的虚拟头发染色方法，其特征在于，所述S13之后还包括，或者，当包括所述步骤S51时，所述步骤S61之后还包括：

S81：基于图像锐化算法突出头发细节，完成对染色图像的效果优化。

10.根据权利要求9所述的基于图像语义分割的虚拟头发染色方法，其特征在于，所述S81具体包括：

S811：对图片的头发部分S，以半径Radius＝1计算高斯模糊图G，然后对于像素位置(i，j)，计算对应的值Value：

Value＝S(i，j)-G(i，j)

S812：假设锐化效果图为D，则锐化算法为：

S813：然后再把值Value变换到0～255的RGB像素值范围之内，最后将锐化后的效果图进行饱和处理，形成最终的染色图。