CN110176016B - 一种基于人体轮廓分割与骨骼识别的虚拟试衣方法 - Google Patents

Abstract

本发明提出了一种基于人体轮廓分割与骨骼识别的虚拟试衣方法，属于智能生活网络技术领域。所述方法包括：一、基于彩色图和深度图建立U‑Net网络，对人体前景与环境背景进行两类分割，得到人体轮廓掩模标记；二、改进U‑Net网络，利用改进后的U‑Net网络对人体不同部位进行多类图像分割，得到人体不同部位轮廓掩模标记；所述人体不同部位包括头、身体、左手臂、右手臂、左腿和右腿；三、将所述人体不同部位轮廓掩模标记与骨骼识别方法进行结合，完成转身动作的人体识别及不同部位标记，并进行衣服的匹配。本发明提出的虚拟试衣方法适用性强，能够提高大范围转身操作等复杂情况的虚拟试衣体验感。

Description

一种基于人体轮廓分割与骨骼识别的虚拟试衣方法

技术领域

本发明涉及一种基于人体轮廓分割与骨骼识别的虚拟试衣方法，属于智能生活网络技术领域。

背景技术

近年来，图像分割等计算机视觉与深度学习相关技术取得了飞速发展。随着传感器技术的发展，越来越多的设备可以获取深度信息，深度信息作为独立于室内光照条件的附加信息，不仅弥补了传统二维彩色图像受相机参数变化、室内光照不可控的强烈影响，而且弥补了三维深度信息数据存在遮挡、数据不完整、无序、特征提取困难、数据量大、场景类型变化大、背景混乱等问题，在图像分割中取得了新的发展。

在虚拟试衣方面，识别人体是进行试衣操作的关键。传统的虚拟试衣中采用骨骼识别进行人体检测，而当人在试衣过程中出现转身等操作时，骨骼识别具有不稳定性，特别是当人体侧身站立时，骨骼识别易出现混乱情况，无法完成试衣操作，使得目前的整个虚拟试衣局限在小范围三维尺度，无法完成转身操作。而且骨骼识别仅仅识别出骨骼，不同体型的人无法完成人体与衣服的完美匹配。

本发明将图像分割运用在虚拟试衣中，结合骨骼识别判断身体的不同部位，并进行不同部位的准确轮廓分割，进行人体的实时监测，在一定程度上解决人体与衣服的匹配问题，为虚拟试衣带来新的发展机遇。

发明内容

本发明的目的是将图像分割运用在虚拟试衣中，结合骨骼识别判断人体的不同部位，并进行不同部位的准确轮廓分割，实现人体与虚拟服装的完美匹配。该方法适用性强，能够提高大范围三维尺度、转身操作等复杂情况下的虚拟试衣体验感。本发明的目的是通过以下技术方案实现的：首先，基于彩色图和深度图设计U-Net网络架构，对人体前景与环境背景进行两类分割，得到人体轮廓掩模标记；然后，改进U-Net网络对人体不同部位(头、身体、左手臂、右手臂、左腿、右腿)进行多类图像分割，得到人体不同部位轮廓掩模标记；最后，将多类分割结果与骨骼识别技术进行结合，完成转身动作的人体识别及不同部位标记，并进行衣服的匹配。

一种基于人体轮廓分割与骨骼识别的虚拟试衣方法，所述虚拟试衣方法包括：

步骤一、基于彩色图和深度图建立U-Net网络，对人体前景与环境背景进行两类分割，得到人体轮廓掩模标记，其中，所述U-Net网络即为两类分割网络；

步骤二、改进U-Net网络，利用改进后的U-Net网络对人体不同部位进行多类图像分割，得到人体不同部位轮廓掩模标记；所述人体不同部位包括头、身体、左手臂、右手臂、左腿和右腿；其中，所述改进后的U-Net网络即为多类分割网络；

步骤三、将步骤二所述人体不同部位轮廓掩模标记与骨骼识别方法进行结合，完成转身动作的人体识别及不同部位标记，并进行衣服的匹配。

进一步地，步骤一所述对人体前景与环境背景进行两类分割的具体过程包括：

第一步、建立基于U-Net的图像分割网络模型，所述U-Net的图像分割网络模型包括彩色图像信息数据流训练通道、深度数据流训练通道和贡献决策层；

第二步、利用基于U-Net的图像分割网络模型分别对彩色图像和深度图像进行分割处理，并别通过彩色图像信息数据流训练通道和深度数据流训练通道获得彩色图和深度图分割结果；

第三步、利用所述贡献决策层将彩色图和深度图分割结果进行合并；

第四步、在所述贡献决策层中学习一个加权门阵列来衡量每个像素位置处彩色图与深度图这两个模态对场景中物体最终图像分割的贡献率；最终将整个U-Net的图像分割网络模型中彩色图和深度图的不同特点进行综合，并将每个数据流的结果进行有效的融合，达到端到端的图像分割。

进一步地，所述彩色图像信息数据流训练通道和深度数据流训练通道是两个不交叉的独立部分，用于训练的网络使用传统的U-Net网络架构，保证各自特征学习有效性的同时，避免了相互之间干扰造成的原始误差。

进一步地，所述贡献决策层由串接层、卷积层和sigmoid层三部分组成。

进一步地，步骤二的具体步骤如下：

第1步、针对人体的不同部位进行多类分割，将步骤一的分割结果根据掩模进行深度图与彩色图的提取，提取出只含有人体的像素，其他像素标记为其他类，作为多类分割网络的输入；

第2步、对U-Net网络进行改进，所述改进包括在U-Net网络中引入BN层；利用BN层通过标准化的方法，使不同层输入数据的均值与方差的分布差异减少，降低梯度计算中参数范围与初始权值的影响程度；

第3步、将人体的部位分为如下6类作为分割目标，所述6类包括：头、身体、左手臂、右手臂、左腿、右腿；

第4步、在U-Net网络训练过程中，针对人体6类部位的分割目标，损失函数根据人体6类部位所占像素设置不同的学习权重值，其中，对像素占比小的类别设置较大的学习权重，对像素占比大的类别设置较小的学习权重；其他类的背景像素不用于修改损失函数，通过样本迭代训练不断的降低损失函数，实现对人体6类部位更好的有效分割；最后，通过不同颜色的掩模表示不同的分割部位轮廓。

进一步地，步骤三的具体过程包括：

步骤1、通过步骤一的两类分割网络与步骤二的多类分割网络，得到边界清晰的人体以及人体部位，与骨骼识别算法得到的结果进行融合；

步骤2、在转身动作中，当转到一定角度导致骨骼识别错误时，采用当前时刻采集图像所含有的人体部位的轮廓分割结果，取竖直方向的中轴线估计新的骨骼，提取当前人体部位对应的衣服进行纹理映射，完成转身过程的过渡；

步骤3、进行衣服的匹配，此时根据人体不同部位的轮廓分割结果，提取边界信息，根据阈值对衣服模型的不同部位进行智能化的伸缩变换，使衣服模型更加符合当前试衣者。

本发明有益效果：

本发明利用彩色信息与深度信息，减弱图像分割中二维彩色照片受相机参数变化、室内光照不可控的强烈影响，减少三维深度信息存在遮挡、数据不完整、无序、特征提取困难、数据量大、场景类型变化大、背景混乱等问题对图像分割的难度，将三维深度数据转换为二维深度图，作为独立于室内光照条件的附加信息，实现了在骨骼识别的基础上引入人体不同部位的轮廓分割信息提高虚拟试衣体验感的目标。

附图说明

图1为本发明方法的流程图。

图2为基于U-Net的彩色图与深度图分割网络架构。

图3为人体不同部位轮廓分割图。

具体实施方式

下面结合具体实施例对本发明做进一步说明，但本发明不受实施例的限制。

实施例1：

一种基于人体轮廓分割与骨骼识别的虚拟试衣方法，如图1所示，所述虚拟试衣方法包括：

步骤一：基于彩色图和深度图设计U-Net网络架构，对人体前景与环境背景进行两类分割，得到人体轮廓掩模标记。其中，具体步骤如下：

第一步、建立基于U-Net的图像分割网络模型，所述U-Net的图像分割网络模型包括彩色图像信息数据流训练通道、深度数据流训练通道和贡献决策层；

第二步、利用基于U-Net的图像分割网络模型分别对彩色图像和深度图像进行分割处理，并别通过彩色图像信息数据流训练通道和深度数据流训练通道获得彩色图和深度图分割结果；

第三步、利用所述贡献决策层将彩色图和深度图分割结果进行合并；

第四步、在所述贡献决策层中学习一个加权门阵列来衡量每个像素位置处彩色图与深度图这两个模态对场景中物体最终图像分割的贡献率；最终将整个U-Net的图像分割网络模型中彩色图和深度图的不同特点进行综合，并将每个数据流的结果进行有效的融合，达到端到端的图像分割。

如图2所示，基于U-Net的图像分割网络模型由三部分组成：彩色图像信息数据流训练通道、深度数据流训练通道、贡献决策层。其中彩色图与深度图数据流训练部分是两个不交叉的独立部分，用于训练的网络使用传统的U-Net网络架构，保证各自特征学习有效性的同时，避免了相互之间干扰造成的原始误差。而贡献决策层由串接层、卷积层和sigmoid层三部分组成，通过将彩色图和深度图的分割结果合并，学习一个加权门阵列来衡量每个像素位置处彩色图与深度图这两个模态对场景中物体最终图像分割的贡献率，所以整个网络很好的综合了彩色图与深度图的不同特点，将每个数据流的结果进行有效的融合，达到端到端的图像分割，通过红色掩模显示分割出的人体。

步骤二：改进U-Net网络对人体不同部位(头、身体、左手臂、右手臂、左腿、右腿)进行多类图像分割，得到人体不同部位轮廓掩模标记。具体步骤如下：

第1步、针对人体的不同部位进行多类分割，需要将步骤一的分割结果根据掩模进行深度图与彩色图的提取，提取出只含有人体的像素，其他像素标记为其他类，作为多类分割网络的输入。

第2步、改进U-Net网络主要包括：BN(Batch Normalization)层的引入。由于网络深度增加，引入BN层，它是一种批标准化的方法，通过批标准化的方法，使不同层输入数据的均值与方差的分布差异减少，降低梯度计算中参数范围与初始权值的影响程度，即使网络深度较深，较小的参数变化也不会对每一层的输入带来巨大的影响，避免了梯度发散与爆炸问题，从而运行设置较大的学习率，加快了网络的训练速度。

第3步、为了满足试衣的需求，将人体的部位分为如下6类：头、身体、左手臂、右手臂、左腿、右腿，作为分割目标。

第4步、在U-Net网络训练过程中，针对人体6类部位的分割目标，损失函数根据人体6类部位所占像素设置不同的学习权重值，其中，对像素占比小的类别设置较大的学习权重，对像素占比大的类别设置较小的学习权重；其他类的背景像素不用于修改损失函数，通过样本迭代训练不断的降低损失函数，实现对人体6类部位更好的有效分割；最后，通过不同颜色的掩模表示不同的分割部位轮廓，如图3所示。

步骤三：将多类分割结果与骨骼识别技术进行结合，完成转身动作的人体识别及不同部位标记，并进行衣服的匹配。具体流程如下：

步骤1、通过步骤一的两类分割网络与步骤二的多类分割网络，得到边界清晰的人体以及人体部位，与骨骼识别算法得到的结果进行融合。

步骤2、在转身动作中，当转到一定角度导致骨骼识别错误时，采用当前时刻采集图像所含有的人体部位的轮廓分割结果，取竖直方向的中轴线估计新的骨骼，提取当前人体部位对应的衣服进行纹理映射，完成转身过程的过渡。

步骤3、进行衣服的匹配时，根据人体不同部位的轮廓分割结果，提取边界信息，根据一定的阈值对衣服模型的不同部位进行智能化的伸缩变换，使衣服模型更加符合当前试衣者。

虽然本发明已以较佳的实施例公开如上，但其并非用以限定本发明，任何熟悉此技术的人，在不脱离本发明的精神和范围内，都可以做各种改动和修饰，因此本发明的保护范围应该以权利要求书所界定的为准。

Claims (5)

1.一种基于人体轮廓分割与骨骼识别的虚拟试衣方法，其特征在于，所述虚拟试衣方法包括；

步骤一、基于彩色图和深度图建立U-Net网络，对人体前景与环境背景进行两类分割，得到人体轮廓掩模标记，其中，所述U-Net网络即为两类分割网络；具体过程包括：

第一步、建立基于U-Net的图像分割网络模型，所述U-Net的图像分割网络模型包括彩色图像信息数据流训练通道、深度数据流训练通道和贡献决策层；

第二步、利用基于U-Net的图像分割网络模型分别对彩色图像和深度图像进行分割处理，并分别通过彩色图像信息数据流训练通道和深度数据流训练通道获得彩色图和深度图分割结果；

第三步、利用所述贡献决策层将彩色图和深度图分割结果进行合并；

第四步、在所述贡献决策层中学习一个加权门阵列来衡量每个像素位置处彩色图与深度图这两个模态对场景中物体最终图像分割的贡献率；最终将整个U-Net的图像分割网络模型中彩色图和深度图的不同特点进行综合，并将每个数据流的结果进行有效的融合，达到端到端的图像分割；

步骤二、改进U-Net网络，利用改进后的U-Net网络对人体不同部位进行多类图像分割，得到人体不同部位轮廓掩模标记；所述人体不同部位包括头、身体、左手臂、右手臂、左腿和右腿；其中，所述改进后的U-Net网络即为多类分割网络；将步骤一的分割结果根据掩模进行深度图与彩色图的提取，提取出只含有人体的像素，其他像素标记为其他类，作为多类分割网络的输入；

步骤三、将步骤二所述人体不同部位轮廓掩模标记与骨骼识别方法进行结合，完成转身动作的人体识别及不同部位标记，并进行衣服的匹配。

2.根据权利要求1所述虚拟试衣方法，其特征在于，所述彩色图像信息数据流训练通道和深度数据流训练通道是两个不交叉的独立部分，用于训练的网络使用传统的U-Net网络架构，保证各自特征学习有效性的同时，避免了相互之间干扰造成的原始误差。

3.根据权利要求1所述虚拟试衣方法，其特征在于，所述贡献决策层由串接层、卷积层和sigmoid层三部分组成。

4.根据权利要求1所述虚拟试衣方法，其特征在于，步骤二的具体步骤如下：

第1步、针对人体的不同部位进行多类分割，将步骤一的分割结果根据掩模进行深度图与彩色图的提取，提取出只含有人体的像素，其他像素标记为其他类，作为多类分割网络的输入；

第2步、对U-Net网络进行改进，所述改进包括引入BN层；利用BN层通过标准化的方法，使不同层输入数据的均值与方差的分布差异减少，降低梯度计算中参数范围与初始权值的影响程度；

第3步、将人体的部位分为如下6类作为分割目标，所述6类包括：头、身体、左手臂、右手臂、左腿、右腿；

第4步、在U-Net网络训练过程中，针对人体6类部位的分割目标，损失函数根据人体6类部位所占像素设置不同的学习权重值，其中，对像素占比小的类别设置较大的学习权重，对像素占比大的类别设置较小的学习权重；其他类的背景像素不用于修改损失函数，通过样本迭代训练不断的降低损失函数，实现对人体6类部位更好的有效分割；最后，通过不同颜色的掩模表示不同的分割部位轮廓。

5.根据权利要求1所述虚拟试衣方法，其特征在于，步骤三的具体过程包括：

步骤1、通过步骤一的两类分割网络与步骤二的多类分割网络，得到边界清晰的人体以及人体部位，与骨骼识别算法得到的结果进行融合；

步骤2、在转身动作中，当转到一定角度导致骨骼识别错误时，采用当前时刻采集图像所含有的人体部位的轮廓分割结果，取竖直方向的中轴线估计新的骨骼，提取当前人体部位对应的衣服进行纹理映射，完成转身过程的过渡；

步骤3、进行衣服的匹配，此时根据人体不同部位的轮廓分割结果，提取边界信息，根据阈值对衣服模型的不同部位进行智能化的伸缩变换，使衣服模型更加符合当前试衣者。

Images