CN108932517A - 一种基于精细化网络模型的多标签服装解析方法 - Google Patents

Abstract

本发明公开了一种基于精细化网络模型的多标签服装解析方法，其中，该方法包括：获取人体服装数据集，进行初始化处理，获得有标签的初始化数据集；建立精细化网络模型，通过融入聚焦损失函数进行训练，获得训练好的精细化网络模型；获取训练好的精细化网络模型，进行测试与评估处理，获得分割好的服装图像。在本发明实施例中，能够在进行解析服装标签时抑制标签对损失函数值产生的贡献数量，尽最大程度保留精细化语义信息，对解析结果提高精确性，为程序设计员提供便捷，减少不必要的人工操作步骤。

Description

一种基于精细化网络模型的多标签服装解析方法

技术领域

本发明涉及深度学习、服装解析技术领域，尤其涉及一种基于精细化网络模型的多标签服装解析方法。

背景技术

时尚和服装对我们现代人类社会的影响是十分巨大的。穿什么样的衣服好看，怎么搭配更具有时尚感更加有个性，挎怎样的包包、佩戴怎样的装饰品已成为人们日常探讨的话题。因此在最近这几年，服装解析这一研究方向在计算机视觉领域也逐渐兴起。因为对服装分析的研究不仅在社会学人类学领域具有重要的价值，在信息科学领域中，例如人体识别、视觉跟踪、人体姿势估计等等方向都有巨大的潜在实用性，因为服装的穿着搭配是有很强关联性。例如说帽子是戴在头上的是几乎不可能在脚上，衬衫只会穿在上半身不可能出现在下半身，裤子只会穿在腿上不可能穿在其他地方……因此，知道一个人的穿着情况，通过这些服装解析的判断，可以提高人体姿势估计，人体识别等问题的精确度。除此之外，随着电子商务的迅猛崛起，虚拟现实技术的快速普及，创建一个基于计算机视觉，根据用户上传某张图片或影像而自动对图片视频中的服装进行匹配检索的应用将会获得相当大程度的运用并由此获得巨大的收益。所以服装解析技术的研究具有相当大的潜在价值与探索意义。

但是，服装解析的研究也具有相当大的挑战性。不仅仅是由于服装种类的多样性，而且服装的搭配、个人风格的喜好等都因人而异，再加上人体姿态的不同，服装信息在图像上的重叠，服装图片背景的多样性等等不可抗力的因素影响，导致对于图片中服装的识别分割具有相当高的难度。

随着这几年许多学者的研究，利用深度学习、条件随机场甚至人体姿势估计等技术，对于服装分割技术的研究已经有了很大进步与突破。但由于服装解析这一领域具有相当高难度性，其研究的准确度相对与其他语义分割研究来说并不算太高，特别是对于服装细节的分辨，例如首饰的识别等等；还有相似服装的区分，例如裙子和短裙的区分等，预测准确度还相对较低，甚至由于服装分析的研究要精确到图片中的每一个像素，如果图片背景比较特殊复杂，还会导致服装和背景图像的分辨错误。况且图片中人体姿势各异，如果人体中缺少某一部分的信息，例如图片中只展示人体的部分区域或者人体的站姿坐姿有些许变化，就会对精确度造成比较严重的影响。因此，对于服装解析的研究还有相当多的问题尚未解决，但也由此表明此研究领域还有相当大的研究空间和发展空间。

目前有人在Fashionista中运用全身的人体姿势估计进行整体的服装分析，具体是利用现有图割技术把图片分成一片篇超像素块；对人体进行全身的姿势估计；进行服装的解析工作；利用解析的数据再一次校正人体的姿势估计数据。也有人在Paperdoll方法中对自己所提出的Fashionista方法做出了更进一步的改进。其把研究框架分成两个部分，一个部分是图片检索，一部分是服装解析。首先对输入的图片进行特征提取，然后在PaperDoll数据库中搜寻与其相似的图片若干张，再利用这些图片构建三种解析方法，分别是全局解析(把原始图片输入Fashionista数据库所获得的分类器，得到的解析结果)、最邻近解析(通过检索得到的N张图片所训练出来的分类器所得到的解析结果，每进入一张图片都要重新解析)和转移解析(通过统计检索图片当中相似超像素块的标签信息来得到目标图片中超像素块的标签)，得出三张服装解析图，再把这三张解析图进行融合+平滑操作，输出最终的结果。还有人则利用了深度学习的模型，首先利用全卷积神经网络进行服装信息的提取，然后利用全连接条件随机场对服装分割结果做出进一步的优化工作。该模型利用了VGG-16网络结构来提取特征。在VGG-16的最后层中，其独特设计了一个全局服装解析(Outfit encoder)分支，对每个像素点的服装标注进行一个分类操作，目的是利用在神经网络的中后层当中感受野可以覆盖足够大得区域，预测分辨出不同但是相似的物件，例如说毛衣和夹克、连衣裙和短裙等等，也防止一些不该同时出现的服装组合同时出现，例如连衣裙和短裙等等。

对于前述两种方法，首先两种方法的计算量很大，对于一张图片，这两种方法都要识别半分钟以上的时间才能出结果；而且这两种方法只能识别具有完整正面人体的照片，如果人体人体姿势不完整的或者多人的图片程序会报错。并且该两个方法没有运用深度学习技术，特征的提取、特征之间的联系等工作很多都是人为手动去发掘定义添加的，机器并没有太大的能力自己去挖掘他们内在之间的特征联系，这样相当程度限制了语义分析精确度的进一步提高。

第三种方法虽然利用深度学习的网络架构进行特征的提取，但网络架构不新颖，且说服力不强。

发明内容

本发明的目的在于克服现有技术的不足，本发明提供了一种基于精细化网络模型的多标签服装解析方法，主要是解决两个问题，第一是在卷积神经网络中精细化语义丢失严重的问题，第二个问题是解决在服装解析中由于数据集标签不平衡所引发的的问题；能够在进行服装信息解析时最大程度保留精细化语义信息，对解析结果提高精确性，为程序设计员提供便捷，减少不必要的人工操作步骤。

为了解决上述问题，本发明提出了一种基于精细化网络模型的多标签服装解析方法，所述方法包括：

获取人体服装数据集，进行初始化处理，获得有标签的初始化数据集；

建立精细化网络模型，通过融入聚焦损失函数进行训练，获得训练好的精细化网络模型；

获取训练好的精细化网络模型，进行测试与评估处理，获得分割好的服装图像。

优选地，所述进行初始化处理的具体步骤包括：

获取人体服装数据集，进行分类处理，获得训练集、验证集、测试集；

对训练集、验证集、测试集进行标签处理，获得有标注信息的训练集、验证集、测试集；

获取有标注信息的训练集、验证集、测试集，进行等比例缩放处理，获得比例统一、有标签的初始化数据集。若图片不高于640*640像素分辨率的要求，则不对所述图片进行改动。

优选地，所述的建立精细化网络模型在调节时还融入了多尺度特征自监督模型对不同尺度的特征预测。

优选地，所述的精细化网络模型，通过融入聚焦损失函数进行训练，获得训练好的精细化网络模型具体步骤包括：

建立精细化网络模型，对所述网络模型中自下而上部分的末端加入金字塔型的残差池化结构，利用跳跃连接结构把bottom-up部分和top-down部分以相加的操作连接起来，并在跳跃连接中也加入了经过改进的空洞卷积结构，提取出厚尺度的特征；

对所述网络模型中自顶向下部分通过双线性插值方法进行上采样处理；获得预测得分图；

利用聚焦损失函数和经过下采样处理的真值图对预测得分图进行监督调节处理，获得不同尺度的特征图；

获取不同尺度的特征图，通过多层次的级联结构与从底层结构得到的特征图进行调节、结合，获得最底层的预测得分图作为最终的预测结果；

利用Caffe神经网络架构搭建平台对训练出来的精细化网络模型通过随机梯度下降算法进行结构的训练，获得训练好的精细化网络模型。

优选地，所述获取训练好的精细化网络模型，进行测试与评估处理的步骤包括：

利用Caffe神经网络架构搭建平台对训练出来的精细化网络模型进行测试，获得不同尺度的预测得分图；

利用准确度、前景准确度、平均精度、平均召回率、平均F-1分数5个评价尺度对不同尺度的预测得分图进行评估处理，最终获得对比结果。

在本发明实施例中，能够在进行解析服装标签时抑制标签对损失函数值产生的贡献数量，尽最大程度保留精细化语义信息，对解析结果提高精确性，为程序设计员提供便捷，减少不必要的人工操作步骤。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例的一种基于精细化网络模型的多标签服装解析方法的流程示意图；

图2是本发明实施例的精细化网络模型结构示意图；

图3是本发明实施例的精细化网络模型中自顶向下部分的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明实施例的一种基于精细化网络模型的多标签服装解析方法的流程示意图，如图1所示，该方法包括：

S1，获取人体服装数据集，进行初始化处理，获得有标签的初始化数据集；

S2，建立基于特征金字塔网络模型，通过融入聚焦损失函数进行训练，获得训练好的精细化网络模型；

S3，获取训练好的精细化网络模型，进行测试与评估处理，获得分割好的服装图像。

对S1进行进一步说明：

对于服装解析的数据集，现成的比较少，主要有ATR、LIP数据集可以用来进行相关实验。其中ATP数据集一共有17000多张图片，训练集有16000张图片，验证集有700张图片，测试集1000张图片，标检数目有18个；LIP数据集有50462张图片，其中训练集有30462张图片，验证集和测试集分别有10000张图片，标签数目有20个。

由于不用的数据集图片规模不同，例如ATP数据集则有上千像素大小的图片，因此要利用Matlab等开发工具对图片以及图片所对应的标签图进行等比例缩放工作。为了便于精细化网络模型的训练及测试，把所有测试图片缩小到640*640以内，如果图片不高于该分辨率要求，则不对所述图片进行改动。

对S2进行进一步说明：

所述的建立精细化网络模型在调节时还融入了多尺度特征自监督模型对不同尺度的特征预测。

如图2所示，建立的精细化网络模型主要有两部分，一个是自下而上部分，该部分是基于VGG-16网络进行了修改，移除了VGG16网络当中最后的softmax层和全连接层(fullconnected layers)，并在第五阶段的卷积层当中，即图2中fc5所示，运用了Deeplab-LargeFOV结构，利用空洞卷积操作减少池化的使用，从而减轻语义信息的丢失。

如图3所示，在精细化网络模型的自下而上部分的末端加入了一个金字塔型的残差池化结构，令输入与输出进行相加，来提取全局的上下文语义特征。让经过该结构的输出特征不仅包含丰富的全局语义，而且不丢失可贵的精细语义。而自下而上部分主要利用了三种不同结构的空洞卷积核，其空洞数分别是6,12,18的感觉野来学习41×41大小的特征图，最终通过相加的方式把四条分支结果与恒等映射结果进行融合操作。

与其他利用特征金字塔模型的网络类似，首先利用跳跃连接(Skip connection)结构把bottom-up部分和top-down部分以相加的操作连接起来，并在跳跃连接中也加入了经过改进的空洞卷积结构，使得来自顶层(top)的深层次全局语义与底层的(bottom)细粒度语义相结合，达到厚尺度(dense scale)特征提取的目的。

精细化网络模型的第二部分为自顶向下部分，自顶向下部分利用双线性插值方法完成自顶向下部分当中每一步的上采样操作。在每一个上采样操作阶段中都输出了预测得分图，并且在此引入聚焦损失函数和经过下采样的真值图来对每一阶段输出的预测得分图进行监督调节。此外，还对精细化网络模型增加了多层次的级联结构，利用每一尺度输出的特征图与从底层结构得到的特征图像结合，来调节更大尺度的预测得分图，则这一模块即为厚尺度的监督机制。最终使得不同反卷积阶段的特征图都能得到的对应尺度真值图的调节，最后输出最底层的预测得分图作为最终的预测结果。

在精细化网络模型训练中，最终预测得分图的输出是一个三维的特征矩阵相对应的真值图输出的是一个二维矩阵其中C是最终输出的标签数目，W和H分别是宽和高，i是第i个自顶向下阶段输出的预测得分图。我们设定了i＝4，分别代表与原图像边长相比，预测得分图(L₁,L₂,L₃,L₄)和真值图(G₁,G₂,G₃,G₄)的边长缩小了1倍、2倍、4倍和8倍这四种情况。

则精确到每一个像素点时，可以用表示在第i个预测得分图中所对应的像素点(x,y)的损失熵：

c∈[0,C-1],x∈[1,W_i],y∈[1,H_i]

其中表示所运用的损失函数。对于像素点(x,y)，则：

其中，α为控制权重，γ为超参数。

则第i个预测得分图所有像素点产生的损失熵(假设所有像素点的loss值都有效)为

最终损失熵的取得需要综合每个像素点产生的损失熵

最后，利用Caffe神经网络架构搭建平台对训练出来的精细化网络模型的训练、学习和其他运用于予以解析的网络模型设置了随机梯度下降算法进行结构的训练。主要通过预先训练好的VGG16模型对自下而上结构(即conv1到conv5结构)进行初始化操作。其他的新加入的卷积层则利用标准差为0.01的高斯分布进行随机初始化操作。其中设置的最小训练批度为2，初始化学习率为0.0001(对于新加入的层学习率设置为0.01)。主要是通过“poly”学习策略进行学习率的动态变化。公式如下：

power为初始动量，我们设置为0.9，maxiter为最大的训练迭代次数，iter为目前迭代次数。权重损失值为0.0005。

对S3进行进一步说明：

利用Caffe神经网络架构搭建平台对训练出来的精细化网络模型进行测试，利用准确度、前景准确度、平均精度、平均召回率、平均F-1分数5个评价尺度进行评估处理，最终获得对比结果。

在本发明实施例中，能够在进行解析服装标签时抑制标签对损失函数值产生的贡献数量，最大程度保留精细化语义信息，对解析结果提高精确性，为程序设计员提供便捷，减少不必要的人工操作步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，ReadOnly Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。

另外，以上对本发明实施例所提供的一种基于精细化网络模型的多标签服装解析方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (5)

1.一种基于精细化网络模型的多标签服装解析方法，其特征在于，所述方法包括：

获取人体服装数据集，进行初始化处理，获得有标签的初始化数据集；

建立精细化网络模型，通过融入聚焦损失函数进行训练，获得训练好的精细化网络模型；

获取训练好的精细化网络模型，进行测试与评估处理，获得分割好的服装图像。

2.根据权利要求1所述的一种基于精细化网络模型的多标签服装解析方法，其特征在于，所述进行初始化处理的具体步骤包括：

获取人体服装数据集，进行分类处理，获得训练集、验证集、测试集；

对训练集、验证集、测试集进行标签处理，获得有标注信息的训练集、验证集、测试集；

获取有标注信息的训练集、验证集、测试集，进行等比例缩放处理，获得比例统一、有标签的初始化数据集。若图片不高于640*640像素分辨率的要求，则不对所述图片进行改动。

3.根据权利要求1所述的一种基于精细化网络模型的多标签服装解析方法，其特征在于，所述的建立精细化网络模型在调节时还融入了多尺度特征自监督模型对不同尺度的特征预测。

4.根据权利要求1所述的一种基于精细化网络模型的多标签服装解析方法，其特征在于，所述建立精细化网络模型，通过融入聚焦损失函数进行训练，获得训练好的精细化网络模型具体步骤包括：

建立精细化网络模型，对所述网络模型中自下而上部分的末端加入金字塔型的残差池化结构，利用跳跃连接结构把bottom-up部分和top-down部分以相加的操作连接起来，并在跳跃连接中也加入了经过改进的空洞卷积结构，提取出厚尺度的特征；

对所述网络模型中自顶向下部分通过双线性插值方法进行上采样处理；获得预测得分图；

利用聚焦损失函数和经过下采样处理的真值图对预测得分图进行监督调节处理，获得不同尺度的特征图；

获取不同尺度的特征图，通过多层次的级联结构与从底层结构得到的特征图进行调节、结合，获得最底层的预测得分图作为最终的预测结果；

利用Caffe神经网络架构搭建平台对训练出来的精细化网络模型通过随机梯度下降算法进行结构的训练，获得训练好的精细化网络模型。

5.根据权利要求1所述的一种基于精细化网络模型的多标签服装解析方法，其特征在于，所述获取训练好的精细化网络模型，进行测试与评估处理的步骤包括：

利用Caffe神经网络架构搭建平台对训练出来的精细化网络模型进行测试，获得不同尺度的预测得分图；

利用准确度、前景准确度、平均精度、平均召回率、平均F-1分数5个评价尺度对不同尺度的预测得分图进行评估处理，最终获得对比结果。