CN108052952A - 一种基于特征提取的服装相似度判定方法及其系统 - Google Patents

Abstract

本发明实施例公开了一种基于特征提取的服装相似度判定方法及其系统，其中，该方法包括：获取进行服装相似度判定的图像数据；解析服装的上装和下装特点，进行服装图像特征提取；根据输入的图像进行服装相似度的判断，给出相似度级别。在本发明实施例中，建立了服装的上装和下装的解析方法，对影响服装相似度的关键特征进行标定，并建立了服装多属性下的深度学习网络，进而对服装进行多特征下的相似度判定，通过相似度度量数据表征服装的相似性程度，更加符合个性化的服装选择和推荐功能。

Description

一种基于特征提取的服装相似度判定方法及其系统

技术领域

本发明涉及计算机图像处理技术领域，尤其涉及一种基于特征提取的服装相似度判定方法及其系统。

背景技术

随着人们生活品质的提升，对服装的选择也有了更多追求。时尚得体的服装能让用户走在时尚的前沿，彰显个人品味，帮助用户树立自信，同时服装也能反映出自身的性格特点和内心情感等。如何在大量的服装商品中找到满意的服装，是计算机图像处理技术的热门问题，具有广泛的应用意义。本发明就旨在通过对服装图像进行特征表示，建立服装的相似度的定量方法，从而实现服装相似度查找的应用需求。

服装具有复杂的结构，丰富的细节特征使得服装具有复杂而丰富的款式变化。计算机图像处理的技术在图像识别、图像检索方面有了很广泛的应用。针对服装图像的处理，在图像分割、图像去噪以及图像增强方面可以获得很好的效果，在图像的特征处理方面，宏观上也可以得到基本的描述。但是在服装细节特征的处理，还没有达到应用的要求，这直接影响了服装的查找，也就是在服装相似度处理方面，还不能很好的满足应用的要求。

为了进行服装相似度的定量判定，需要对服装图像进行更深入的处理。现有的技术对于服装图像的粗分类有比较好的结果，但是细节特征也直接影响到查找的精确性。因此对服装的细节特征进行分析和处理，为服装图像建立特征标签，并根据特征标签建立服装检索数据库，不仅可以获得针对服装细节特征的相似级别，还可以为用户提供服装图像的精细查找，满足流行性、时尚性以及个性化的应用需求。

发明内容

本发明的目的在于克服现有技术的不足，本发明提供了一种基于特征提取的服装相似度判定方法及其系统，建立了服装多属性下的深度学习网络，进而对服装进行多特征下的相似度判定，通过相似度度量数据表征服装的相似性程度，更加符合个性化的服装选择和推荐功能。

为了解决上述问题，本发明提出了一种基于特征提取的服装相似度判定方法，所述方法包括：

获取进行服装相似度判定的图像数据；

解析服装的上装和下装特点，进行服装图像特征提取；

根据输入的图像进行服装相似度的判断，给出相似度级别。

优选地，所述获取进行服装相似度判定的图像数据的步骤，包括：

获取进行相似度判定的服装图像；

对于服装图像进行位置判定；

建立服装图像的位置参数。。

优选地，所述解析服装的上装和下装特点，进行服装图像特征提取的步骤，包括：

根据服装图像的位置参数，确定图像的上装部分和下装部分；

根据服装商品化的特点，标定进行相似度判定的特征参数；

根据标定的服装特征参数，建立多标签模型；

建立服装特征表示数据库；

训练多标签模型，建立相似度判定模型。

优选地，所述根据标定的服装特征参数，建立多标签模型的步骤，包括：

建立深度学习训练模型进行服装特征参数的学习和训练；

根据深度学习训练模型进行服装特征提取处理；

建立服装属性的五十一种细节特征标签。

优选地，所述根据输入的图像进行服装相似度的判断，给出相似度级别的步骤，包括：

对获取的服装图像进行特征提取；

通过多标签模型与数据库中图像进行相似度判定；

综合分析判定结果，按相似度递减的顺序给出相似度高的服装系列。

相应地，本发明还提供一种基于特征提取的服装相似度判定系统，所述系统包括：

图像获取模块，用于获取进行相似度判定的服装图像；

特征提取模块，确定图像的上装部分和下装部分；根据服装商品化的特点，标定进行相似度判定的特征参数；根据标定的服装特征参数，建立多标签模型；建立服装特征表示数据库；

相似度判定模块，用于进行服装图像与数据库数据的相似度判定，并给出相似度级别。

优选地，所述图像获取模块包括：

获取单元，用于获取进行相似度判定的服装参数；

第一计算单元，对于服装图像进行位置判定处理；

第二计算单元，建立服装图像的位置参数。

优选地，所述特征提取模块包括：

第三计算单元，针对给定的图像，计算图像表示的上装部分和下装部分；

第四计算单元，根据服装商品化的特点，标定进行相似度判定的特征参数；根据深度学习训练模型进行服装特征提取处理，建立多标签模型；

建立单元，根据深度学习训练模型得到的服装特征参数，建立服装特征表示数据库。

优选地，所述第四计算单元还用于根据所获得的多标签模型，对给定的服装图像进行处理，同时根据深度学习训练模型获取服装特征参数，作为进行服装相似度的判定的数据。

优选地，所述相似度判定模块包括：

分析单元，对于进行相似度判定处理的服装图像进行特征提取，建立服装特征参数；

判定单元，用于综合分析进行服装的特征数据的标定结果，给出服装相似度级别。

实施本发明实施例，建立了服装多属性下的深度学习网络，进而对服装进行多特征下的相似度判定，通过相似度度量数据表征服装的相似性程度，更加符合个性化的服装选择和推荐功能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例的基于特征提取的服装相似度判定方法的流程示意图；

图2是本发明实施例中获取进行服装相似度判定的图像数据的流程示意图；

图3是本发明实施例中解析服装的上装和下装特点，进行服装图像特征提取的流程示意图；

图4是本发明实施例中根据标定的服装特征参数，建立多标签模型的流程示意图；

图5是本发明实施例中根据输入的图像进行服装相似度的判断，给出相似度级别的流程示意图；

图6是本发明实施例的基于特征提取的服装相似度判定系统的结构组成示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明实施例的基于特征提取的服装相似度判定方法的流程示意图，如图1所示，该方法包括：

S1，获取进行服装相似度判定的图像数据；

S2，解析服装的上装和下装特点，进行服装图像特征提取；

S3，根据输入的图像进行服装相似度的判断，给出相似度级别。

其中，如图2所示，S1进一步包括：

S11，获取进行相似度判定的服装图像；在这里服装图像是以位图方式表示；图像数据可以表示出人体着装的状态；

S12，对于服装图像进行位置判定，将获得的图像数据进行预处理，这里采用了faster-RCNN网络，能快速的将服装图像中的人物用bounding box 选中，处于中心的模特的BBox将是面积最大的区域，成为待选的区域；

在S12中，Faster-RCNN首先将输入的图像放入卷积神经网络中进行处理；此后用RPN(Region Proposal Network)生成建议窗口，每张图片生成300个建议窗口；将生成的建议窗口再映射到卷积神经网络的最后一层特征图上；通过Rol pooling层使得每个Rol都生成固定大小的特征图；最后利用Softmax Loss以及Smooth L1Loss对分类概率以及边框回归进行联合训练；

S13，建立服装图像的位置参数，按照图像的拍摄角度分析，处于中心的模特的BBox将是面积最大的区域，于是可以将所有BBox进行排序，保留最大的一个作为处理的图像数据，其他背景部分将作为噪声去除。

进一步地，如图3所示，S2包括：

S21，根据服装图像的位置参数，确定图像的上装部分和下装部分；当输入的一组图像是包含人物在内的全身照时，由于全身照包含了上半身与下半身的服装，还有不相关的背景及头部信息，则要参考人体的比例进行粗略的划分，得到单独的上身服装与下身服装；

所述参考人体的比例进行粗略划分是这样进行的：

划分得到上身服装的范围，向量的前两个值代表范围左上角的横纵坐标，后两个值分别代表范围的长度和高度：

[x11+(x21-x11)/6,y11+(y21-y11)/6,(x21-x11)/3*2,(y21-y11)/3]

同理，划分得到下身服装的范围：

[x11+(x21-x11)/6,(y21+y11)/2,(x21-x11)/3*2,(y21-y11)/2]

这样设置的目的是尽可能地缩小包含服装的范围，最大可能地除去不相关的背景或者人体皮肤等信息，提高方法的准确度。

S22，根据服装商品化的特点，标定进行相似度判定的特征参数；其中款式和风格的图像主要由深度学习方式进行特征提取，而颜色特征则由颜色直方图进行描述，并且最终将其归纳到6种主要颜色中的某一类，方便描述服装的颜色信息；

S23，根据标定的服装特征参数，建立多标签模型；即进行深度学习和训练，建立用于相似度判定的特征标签；在进行模型训练之前，首先需要对原始数据进行预处理，除去与任务不相关的杂质图像。随后给数据集打上相应的弱标签，弱标签即不在像素级别上进行标签的标定，而是只表明该图像上对应的特征是否存在。这样能省去标注像素级标签需要的大量时间。同时，当增加了新的图像数据时，也能很快地进行标注；

S24，建立服装特征表示数据库；为了进行相似度判定，首先需要建立具有服装属性的数据库，数据库中记录了包括服装图像及服装特征的相关信息，这个数据库的建立是根据属性的标注完成的，数据库的数据包含32133张图像数据；数据库采用的是MySQL。

S25，训练多标签模型，建立相似度判定模型，训练用的网络模型采用了VGG16网络，对上万的服装图像进行多个二值属性分类预测，训练的迭代次数设置为四十五万次。

在S23中，进一步地，如图4所示，S23包括：

S231，建立深度学习训练模型进行服装特征参数的学习和训练；为了实现对服装图像属性的预测，在应用VGG16网络进行深度学习训练模型时之前，需要对网络结构进行修改，才能适用于当前服装属性特征提取的问题，相对于原始的网络，修改后的网络使用了两个data层，分别对应于标签和图像数据。网络配置文件需要加入slice层将标签分割开；

S232，根据深度学习训练模型进行服装特征提取处理；应用VGG16网络进行深度学习训练模型，同时将卷积核移动的步长适当缩小，以适应某些在图像上并不那么起眼的特征，例如领口形状。在网络结构的最后，为每种服装属性分别设立一个innerProduct层、一个Accuracy层、一个SoftmaxWithLoss层，这样训练出来的模型就可以预测该服装属性为0还是为1，即判断属性存在与否。最终训练得到的模型可以对新增的图像数据进行特征提取。

S233，建立服装属性的五十一种细节特征标签；

在具体实施中，S233实施过程如下：

需要提取的属性包括上身服装长度(长、中、短)，衣袖长度(无袖、短、长)，领口形状(立领、V领、宽浅领口、圆领、翻领、高领、连帽衫)，服装宽松程度(紧、中等、宽松)，印花(纯色、格子、圆点、花纹、横条纹、竖条纹、数字或字母、反复样式)，裤子长度(长、中、短)，裤子印花(与上身相同，共8种)，裤子的宽松程度(与上身相同，共3种)，裙子的长度(长、中、短)，裙子的样式(A型裙子、包臀裙)，裙子的印花(与上身相同，共8种)。总共51中属性特征。

进一步地，如图5所示，S3包括：

S31，对获取的服装图像进行特征提取；主要是应用训练得到的模型获取的服装图像数据进行特征提取，将图像数据以及标签数据分别转换成了LMDB格式，建立细节特征；

S32，通过多标签模型与数据库中图像进行相似度判定；将建立了特征标签的服装图像与数据库中的服装数据进行相似度判定；

在S32中，对于颜色属性直接采用欧式距离进行计算，归一化处理后，每两件服装颜色直方图相似性计算的结果分布与0～1之间，越贴近于0则在颜色属性上越相似，反之则差异性越大。

对于款式特征、将51种服装属性以服装长度、袖长、领型、版型、印花分为五种特征向量，分别计算相似度。其中，长度、袖长、领型、版型的相似度计算可以采用欧式距离、因为具有唯一性，最终的结果只会出现1或者0的情况。而一件服装可以同时具有多种印花，所以需要先进行归一化，再采用欧式距离；或者直接计算两个印花向量的余弦相似度，最终的结果在0和1之间。

S33，综合分析判定结果，按相似度递减的顺序给出相似度高的服装系列。最终相似度计算依据：

相似度取值＝0.4*颜色属性+0.6*(0.2*服装长度+0.2*袖长+0.1*领型+0.1*版型+0.4*印花)

当相似度取值越接近于0时，服装相似程度越高，越接近于1，则相似程度越低。

相应地，本发明实施例还提供一种基于特征提取的服装相似度判定系统，如图6所示，该系统包括：

图像获取模块1，用于获取进行相似度判定的服装图像；

特征提取模块2，确定图像的上装部分和下装部分；根据服装商品化的特点，标定进行相似度判定的特征参数；根据标定的服装特征参数，建立多标签模型；建立服装特征表示数据库；

相似度判定模块3，用于进行服装图像与数据库数据的相似度判定，并给出相似度级别。

图像获取模块1包括：

获取单元，用于获取进行相似度判定的服装参数；

第一计算单元，对于服装图像进行位置判定处理；

第二计算单元，建立服装图像的位置参数。

特征提取模块2包括：

第三计算单元，针对给定的图像，计算图像表示的上装部分和下装部分；

第四计算单元，根据服装商品化的特点，标定进行相似度判定的特征参数；根据深度学习训练模型进行服装特征提取处理，建立多标签模型；

建立单元，根据深度学习训练模型得到的服装特征参数，建立服装特征表示数据库。

所述第四计算单元还用于根据所获得的多标签模型，对给定的服装图像进行处理，同时根据深度学习训练模型获取服装特征参数，作为进行服装相似度的判定的数据。

相似度判定模块3包括：

分析单元，对于进行相似度判定处理的服装图像进行特征提取，建立服装特征参数；

判定单元，用于综合分析进行服装的特征数据的标定结果，给出服装相似度级别。

本发明的系统实施例中各功能模块的功能可参见本发明方法实施例中的流程处理，这里不再赘述。

实施本发明实施例，建立了服装多属性下的深度学习网络，进而对服装进行多特征下的相似度判定，通过相似度度量数据表征服装的相似性程度，更加符合个性化的服装选择和推荐功能。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。

另外，以上对本发明实施例所提供的基于特征提取的服装相似度判定方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于特征提取的服装相似度判定方法，其特征在于，所述方法包括：

获取进行服装相似度判定的图像数据；

解析服装的上装和下装特点，进行服装图像特征提取；

根据输入的图像进行服装相似度的判断，给出相似度级别。

2.如权利要求1所述的基于特征提取的服装相似度判定方法，其特征在于，所述获取进行服装相似度判定的图像数据的步骤，包括：

获取进行相似度判定的服装图像；

对于服装图像进行位置判定；

建立服装图像的位置参数。

3.如权利要求1所述的基于特征提取的服装相似度判定方法，其特征在于，所述解析服装的上装和下装特点，进行服装图像特征提取的步骤，包括：

根据服装图像的位置参数，确定图像的上装部分和下装部分；

根据服装商品化的特点，标定进行相似度判定的特征参数；

根据标定的服装特征参数，建立多标签模型；

建立服装特征表示数据库；

训练多标签模型，建立相似度判定模型。

4.如权利要求3所述的基于特征提取的服装相似度判定方法，其特征在于，所述根据标定的服装特征参数，建立多标签模型的步骤，包括：

建立深度学习训练模型进行服装特征参数的学习和训练；

根据深度学习训练模型进行服装特征提取处理；

建立服装属性的五十一种细节特征标签。

5.如权利要求1或3或4所述的基于特征提取的服装相似度判定方法，其特征在于，所述根据输入的图像进行服装相似度的判断，给出相似度级别的步骤，包括：

对获取的服装图像进行特征提取；

通过多标签模型与数据库中图像进行相似度判定；

综合分析判定结果，按相似度递减的顺序给出相似度高的服装系列。

6.一种基于特征提取的服装相似度判定系统，其特征在于，所述系统包括：

图像获取模块，用于获取进行相似度判定的服装图像；

特征提取模块，确定图像的上装部分和下装部分；根据服装商品化的特点，标定进行相似度判定的特征参数；根据标定的服装特征参数，建立多标签模型；建立服装特征表示数据库；

相似度判定模块，用于进行服装图像与数据库数据的相似度判定，并给出相似度级别。

7.如权利要求6所述的基于特征提取的服装相似度判定系统，其特征在于，所述图像获取模块包括：

获取单元，用于获取进行相似度判定的服装参数；

第一计算单元，对于服装图像进行位置判定处理；

第二计算单元，建立服装图像的位置参数。

8.如权利要求6所述的基于特征提取的服装相似度判定系统，其特征在于，所述特征提取模块包括：

第三计算单元，针对给定的图像，计算图像表示的上装部分和下装部分；

第四计算单元，根据服装商品化的特点，标定进行相似度判定的特征参数；根据深度学习训练模型进行服装特征提取处理，建立多标签模型；

建立单元，根据深度学习训练模型得到的服装特征参数，建立服装特征表示数据库。

9.如权利要求7或8所述的基于特征提取的服装相似度判定系统，其特征在于，所述第四计算单元还用于根据所获得的多标签模型，对给定的服装图像进行处理，同时根据深度学习训练模型获取服装特征参数，作为进行服装相似度的判定的数据。

10.如权利要求6所述的基于特征提取的服装相似度判定系统，其特征在于，所述相似度判定模块包括：

分析单元，对于进行相似度判定处理的服装图像进行特征提取，建立服装特征参数；

判定单元，用于综合分析进行服装的特征数据的标定结果，给出服装相似度级别。