CN109829484A

CN109829484A - 一种服饰分类方法、设备及计算机可读存储介质

Info

Publication number: CN109829484A
Application number: CN201910014932.4A
Authority: CN
Inventors: 杨泽霖; 杨霖泽; 黄楚珉
Original assignee: Shenzhen Heils Zhongcheng Technology Co ltd
Current assignee: Shenzhen Heils Zhongcheng Technology Co ltd
Priority date: 2019-01-08
Filing date: 2019-01-08
Publication date: 2019-05-31
Anticipated expiration: 2039-01-08
Also published as: CN109829484B

Abstract

本发明公开了一种服饰分类方法、设备及计算机可读存储介质，其中，该方法包括：录入预设数量的服饰图像，并对所述服饰图像的类型以及长度进行标注，生成标注数据；然后，对所述标注数据执行数据增强以及数据扩增处理，并将处理后的数据进行随机划分，得到训练集和验证集；再然后，预设深度学习网络模型，并通过所述训练集以及所述验证集对所述深度学习网络模型进行训练，得到可靠模型；最后，向所述可靠模型导入新的服饰图像，通过所述可靠模型预测所述新的服饰图像的服饰类型以及服饰长度。实现了一种高效的服饰分类方案，降低了人工标注的成本，提高了服饰识别的准确性。

Description

一种服饰分类方法、设备及计算机可读存储介质

技术领域

本发明涉及电子技术领域，尤其涉及一种服饰分类方法、设备及计算机可读存储介质。

背景技术

现有技术中，时尚服装行业价值巨大，提升线上服饰属性标签可靠性，引入符合机器学习和行业专业要求的服饰属性知识体系，是提升运营效率和构建时尚产品功能的关键。

目前已有很多学者提出了实现服饰自动分类的算法，目前常用的分类算法一般采用两步方法，第一步从输入图像中计算标记出的特征，第二步根据计算得到的特征去训练一个分类器，用于测试模型的分类效果。因为图像中服装的多样性和人为标注的局限性，标注特征并不能完全体现图像中所有的属性维度，具有很大的盲目性，存在分类准确率低的问题。除此以外目前服饰分类算法往往只能对特定一种属性维度进行判断分类，而缺乏对多个服饰属性维度的整体风格把握，降低了服饰分类预测的效率。

发明内容

为了解决现有技术中的上述技术缺陷，本发明提出了一种服饰分类方法，该方法包括：

录入预设数量的服饰图像，并对所述服饰图像的类型以及长度进行标注，生成标注数据；

对所述标注数据执行数据增强以及数据扩增处理，并将处理后的数据进行随机划分，得到训练集和验证集；

预设深度学习网络模型，并通过所述训练集以及所述验证集对所述深度学习网络模型进行训练，得到可靠模型；

向所述可靠模型导入新的服饰图像，通过所述可靠模型预测所述新的服饰图像的服饰类型以及服饰长度。

可选的，所述录入预设数量的服饰图像，并对所述服饰图像的类型以及长度进行标注，生成标注数据，包括：

确定所述服饰图像内所包含的服饰的属性特征，其中，所述属性特征包括上身视角以及下身视角。

可选的，所述对所述标注数据执行数据增强以及数据扩增处理，并将处理后的数据进行随机划分，得到训练集和验证集，包括：

所述数据增强以及所述数据扩增处理包括边界扩增、图像上部随机分割、尺寸调整、随机翻转、标准化以及随机擦除。

可选的，所述预设深度学习网络模型，并通过所述训练集以及所述验证集对所述深度学习网络模型进行训练，得到可靠模型，包括：

通过所述深度学习网络模型对所述服饰的领型设计进行四分类训练，其中，所述四分类包括脖领、领子、翻领以及颈线，然后，对不同的领型设计再进行细分训练；

通过所述深度学习网络模型对所述不同服饰类型的长度进行四分类训练，其中，所述四分类包括袖长、衣长、裤长以及裙长，然后，对不同的服饰类型的长度再进行细分训练。

可选的，所述向所述可靠模型导入新的服饰图像，通过所述可靠模型预测所述新的服饰图像的服饰类型以及服饰长度，包括：

所述可靠模型由若干层网络构成，其中，所述若干层网络包括卷积层网络；

通过所述卷积层网络得到的结果分别使用区域候选网络以及区域特征聚集进行处理融合得到多维的全连接层；

经过所述多个全连接层得到所述服饰区域的回归边框。

本发明还提出了一种服饰分类设备，该设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现：

可选的，所述计算机程序被所述处理器执行时实现：

通过所述深度学习网络模型对所述不同服饰类型的长度进行四分类训练，其中，所述四分类包括袖长、衣长、裤长以及裙长，然后，对不同的服饰类型的长度再进行细分训练；

经过所述多个全连接层得到所述服饰区域的回归边框。

本发明还提出了一种计算机可读存储介质，该计算机可读存储介质上存储有服饰分类程序，服饰分类程序被处理器执行时实现如上述任一项所述的服饰分类方法的步骤。

实施本发明的服饰分类方法、设备及计算机可读存储介质，通过录入预设数量的服饰图像，并对所述服饰图像的类型以及长度进行标注，生成标注数据；然后，对所述标注数据执行数据增强以及数据扩增处理，并将处理后的数据进行随机划分，得到训练集和验证集；再然后，预设深度学习网络模型，并通过所述训练集以及所述验证集对所述深度学习网络模型进行训练，得到可靠模型；最后，向所述可靠模型导入新的服饰图像，通过所述可靠模型预测所述新的服饰图像的服饰类型以及服饰长度。实现了一种高效的服饰分类方案，降低了人工标注的成本，提高了服饰识别的准确性。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明服饰分类方法的第一实施例流程图；

图2是本发明服饰分类方法的服饰属性类目图；

图3是本发明服饰分类方法的另一实施例流程图；

图4是本发明服饰分类方法的网络结构图；

图5是本发明服饰分类方法的又一实施例流程图。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

实施例一

图1是本发明服饰分类方法的流程图。本实施例提出了一种服饰分类方法，该方法包括：

S1、录入预设数量的服饰图像，并对所述服饰图像的类型以及长度进行标注，生成标注数据；

S2、对所述标注数据执行数据增强以及数据扩增处理，并将处理后的数据进行随机划分，得到训练集和验证集；

S3、预设深度学习网络模型，并通过所述训练集以及所述验证集对所述深度学习网络模型进行训练，得到可靠模型；

S4、向所述可靠模型导入新的服饰图像，通过所述可靠模型预测所述新的服饰图像的服饰类型以及服饰长度。

在本实施例中，首先，录入预设数量的服饰图像，并对所述服饰图像的类型以及长度进行标注，生成标注数据；然后，对所述标注数据执行数据增强以及数据扩增处理，并将处理后的数据进行随机划分，得到训练集和验证集；再然后，预设深度学习网络模型，并通过所述训练集以及所述验证集对所述深度学习网络模型进行训练，得到可靠模型；最后，向所述可靠模型导入新的服饰图像，通过所述可靠模型预测所述新的服饰图像的服饰类型以及服饰长度。

可选的，在本实施例中，对服饰包含属性的详细标注。服饰属性标签是构成服饰知识系统的重要根基，需要进行专业的整理和抽象，构建了一个符合认知过程，结构化且满足机器学习要求的标签知识体系。由此，诞生的服饰属性标签识别技术可以广泛应用在服饰图像检索、标签导航以及服饰搭配等应用场景。

可选的，如图2所示是本发明服饰分类方法的服饰属性类目图，在上述步骤中，对服饰的属性特征从空间角度分为两大类，也即上身视角和下身视角两个二级分类。其中，上身视角又可分领、袖、衣三个三级分类，下身视角又可分为裙、裤两个三级分类。各个三级分类中又可详细分出不同风格和长度的细节四级分类。对每张图片的四个级别分类需要详细标注。

可选的，在本实施例中，在训练过程中将四级分类精简提取出主要有效的分类标准，以减少计算量并提高精度。为此考虑从领型设计和服饰长度两大类分别进行训练。

可选的，在本实施例中，标注内容包含“属性维度”和“属性值”两部分。“属性维度”是一个属性定义范畴，如领型设计中的脖领、领子、翻领、颈线设计和服饰长度中的袖长、衣长、裙长、裤长等。“属性值”是“属性维度”定义范畴下的属性值，如袖长下包含中袖、七分袖、九分袖等。

可选的，在本实施例中，深度学习网络模型首先对领型设计进行四分类训练，在此基础上对不同的领型设计再进行细分训练；在对服饰长度类型进行四分类训练，在此基础上对不同的服饰长度在进行细分训练。

可选的，在本实施例中，所述对所述标注数据执行数据增强以及数据扩增处理，并将处理后的数据进行随机划分，得到训练集和验证集，包括：

可选的，在本实施例中，所述数据增强以及所述数据扩增处理包括边界扩增、图像上部随机分割、尺寸调整、随机翻转、标准化以及随机擦除。

可选的，在本实施例中，数据预处理包含边界扩增(Expand Border)、图像上部随机分割(Random Upper Crop)、尺寸调整(Resize)、随机翻转(Randomflip)、标准化(Normalize)、随机擦除(Random Erasing)等操作。增加训练数据样本容量，提高深度学习网络模型的泛化能力。

可选的，如图3所示是本发明服饰分类方法的另一流程图，在本实施例中，所述检测网络由若干层网络构成，首先是一个卷积层网络，将上述步骤得到的结果分别使用区域候选网络(RPN)和ROI Align区域特征聚集进行处理融合得到一个2048维的全连接层。经过多个全连接层得到回归边框，即所关注的区域。

可选的，在本实施例中，所述识别网络的输入为检测网络的输出，该网络的具体结构为：

第1层，卷积层，卷积核大小为7x7，步长stride为2；

第2层，池化层，池化区间为3x3，步长stride为2；

第3-154层有Resnet-152网络构成；

第155层，全局池化层，池化区间为3x3，步长stride为2；

第156层，全连接层，维度2048；

第157层，软化层(soft max)。

可选的，为保证卷积和池化过程中图片的高分辨率，并保证各层的感受野相同，所述识别网络中的降采样层替换成为空洞卷积(dilated convolution)，步长stride为2。

以图4所示第一层网络结构为例，将stage3和stage4中的卷积层替换为空洞卷积，在保证图片高分辨率的情况下仍能保持与池化后相同的感受野。相关推导过程如下：

j^(i-1)＝j^(i-2)·s^(i-1)

r⁽ⁱ⁾＝r^(i-1)+(k⁽ⁱ⁾-1)·j^(i-1)·d⁽ⁱ⁾

可选的，在本实施例中，识别网络全连接层后还包括一个损耗层，用于计算损耗。损耗函数计算公式如下所示。深度学习网络模型训练过程中采用随机梯度下降法。

weight_y＝(|argmax(x)-y|+1)/M,y∈[0,C-1]

x＝(x₀,x₁,...,x_C-1)

可选的，在本实施例中，识别网络对于图片中存在标注缺失的情况，使用半监督联合训练的方式，对该类图片的信息进行补全并挖掘信息之间的关系，使不同属性维度之间的知识进行迁移，以得到泛化性能更好的模型。如图5所示，在第一层的基础训练框架中，所有训练任务的参数共享直到它们各自的分类层，一张图片只会被一个任务所监督，这时候它共享的参数指示任务之间一个比较弱的正则。为了加强正则，对未标记属性生成软标签，这时候一张图片会被四个任务监督，在这一框架下，四个任务/属性的关联性能被更好的发掘。

在另一些实施方案中，可选的，所述向所述可靠模型导入新的服饰图像，通过所述可靠模型预测所述新的服饰图像的服饰类型以及服饰长度，包括：

经过所述多个全连接层得到所述服饰区域的回归边框。

本实施例的有益效果在于，通过录入预设数量的服饰图像，并对所述服饰图像的类型以及长度进行标注，生成标注数据；然后，对所述标注数据执行数据增强以及数据扩增处理，并将处理后的数据进行随机划分，得到训练集和验证集；再然后，预设深度学习网络模型，并通过所述训练集以及所述验证集对所述深度学习网络模型进行训练，得到可靠模型；最后，向所述可靠模型导入新的服饰图像，通过所述可靠模型预测所述新的服饰图像的服饰类型以及服饰长度。实现了一种高效的服饰分类方案，降低了人工标注的成本，提高了服饰识别的准确性。

实施例二

基于上述实施例，本发明还提出了一种服饰分类设备，该设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现：

可选的，所述计算机程序被所述处理器执行时实现：

经过所述多个全连接层得到所述服饰区域的回归边框。

实施例三

基于上述实施例，本发明还提出了一种计算机可读存储介质，该计算机可读存储介质上存储有服饰分类程序，服饰分类程序被处理器执行时实现如上述任一项所述的服饰分类方法的步骤。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims

1.一种服饰分类方法，其特征在于，所述方法包括：

2.根据权利要求1所述的服饰分类方法，其特征在于，所述录入预设数量的服饰图像，并对所述服饰图像的类型以及长度进行标注，生成标注数据，包括：

3.根据权利要求2所述的服饰分类方法，其特征在于，所述对所述标注数据执行数据增强以及数据扩增处理，并将处理后的数据进行随机划分，得到训练集和验证集，包括：

4.根据权利要求3所述的服饰分类方法，其特征在于，所述预设深度学习网络模型，并通过所述训练集以及所述验证集对所述深度学习网络模型进行训练，得到可靠模型，包括：

5.根据权利要求4所述的服饰分类方法，其特征在于，所述向所述可靠模型导入新的服饰图像，通过所述可靠模型预测所述新的服饰图像的服饰类型以及服饰长度，包括：

经过所述多个全连接层得到所述服饰区域的回归边框。

6.一种服饰分类设备，其特征在于，所述设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现：

7.根据权利要求6所述的服饰分类设备，其特征在于，所述计算机程序被所述处理器执行时实现：

8.根据权利要求7所述的服饰分类方法，其特征在于，所述计算机程序被所述处理器执行时实现：

9.根据权利要求8所述的服饰分类方法，其特征在于，所述计算机程序被所述处理器执行时实现：

经过所述多个全连接层得到所述服饰区域的回归边框。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有服饰分类程序，所述服饰分类程序被处理器执行时实现如权利要求1至5中任一项所述的服饰分类方法的步骤。