CN109614508A - 一种基于深度学习的服装图像搜索方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的服装图像搜索方法，通过深度学习算法对图像进行分析建立图像特征矢量描述；当用户输入查询图像时，用相同的特征提取方法提取查询图像的特征得到查询向量，计算查询向量与图像特征库中各个图像特征的相似性大小，按相似性大小进行排序。本发明结合卷积神经网络和全新的图像相似度特征计算方法，是对现有图像搜索方法在服装图像领域的全面升级；在服装类型识别时将服装图像分割为多个部分，模型会对服装的整体和细节进行有效学习，最终的融合步骤可有效提高模型的识别性能；在搜索过程中对深度卷积神经网络xeption增加多分支结构，不同的分支结构表达服装的不同外观属性，从而有针对性的提取相似度特征，提升搜索效果。

Description

一种基于深度学习的服装图像搜索方法

技术领域

本发明涉及图像智能处理领域，特别涉及一种基于深度学习的服装图像搜索方法。

背景技术

互联网时代随着淘宝、微信、Facebook、Instagram等网站和APP的流行，图像、视频等非结构化数据每天都在以惊人的速度爆炸式增长。针对这些包含丰富视觉信息的海量图片，如何从浩瀚的图像库中方便、快速、准确地查询并搜索到用户所需的或感兴趣的图像，是多媒体信息搜索领域研究的难题，图像搜索和图像推荐是解决这一难题的关键技术。

基于文本的图像搜索是目前图像搜索引擎采用最多的方法。但是这种基于文本描述的方式有明显的缺陷：首先，它需要人工标注或外部信息标记，而人工标注和外部信息未必准确；其次，”一图胜千言”，对于需要精确的查询，用户有时很难用简短的关键字来描述出自己真正想要获取的图像。由于图像本身能够给人“所见即所得”的感受，目前用户表达查询意图的方式由原来的基于文字改变为图像。本发明即提供了一种基于图像内容的搜索方式。深度学习特征向量的发展使得图像的特征描述能力提高，图像相似搜索成为可能。

此外，本发明面向服装图像这一垂直领域，其技术背景是由我国服装行业信息化发展的方向和趋势所决定的。在服装商品维度的信息化和数据化发展，由于近十年淘宝、京东等电商平台的大力发展，已经形成完整和充分的生态链。然而在服装商品成品前的阶段，信息化水平仍然不够充分。在服装设计环节，大量依靠非信息化手段进行管理，尤其数据孤岛情况严重，数据不能互通互联。服装图像作为服装设计行业的重要载体，服装设计师在日常工作中需要调阅海量的服装图像，以确保设计兼顾新颖性和实用性。因此服装行业亟需针对性的服装图像搜索系统，以提升该行业的生产效率。目前的通用图像搜索技术，无法针对服装图像特有的分类逻辑和视觉特征进行优化，导致相似搜索结果无法达到用户预期。

发明内容

本发明的目的在于克服上述现有技术的不足，提供一种基于深度学习的服装图像搜索方法，旨在解决现有技术中基于文字的图像搜索方法无法准确表达查询意图，以及基于内容的通用图像搜索方法无法有效计算图像相似性，导致查询效率低的技术问题。

本发明是一种基于内容的图像搜索技术，通过深度学习算法对图像进行分析，建立图像特征矢量描述并存入图像特征库。当用户输入一张查询图像时，用相同的特征提取方法提取查询图像的特征得到查询向量，然后计算查询向量与图像特征库中各个图像特征的相似性大小，最后按相似性大小进行排序并顺序输出对应的图片。实现的具体步骤如下：

1)利用已有服装图像库，训练服装检测与识别模型，识别服装图像中的服装类型，具体如下：把一张服装图像分割为多个部分，每个部分送入到不同的深度神经网络中进行特征向量的提取及识别训练，把各个部分的特征向量融合后再次进行识别训练，将多个神经网络的损失函数进行平均后，可得最终识别所使用的损失函数。

2)提取已有服装图像库中服装图像的相似度特征，建立相似度特征库，具体如下：取服装图像库中任一张图像，通过crop截取操作和flip翻转操作，获取一组相关图像；对该组图像一一采用深度神经网络进行相似度特征提取，对所得所有相似度特征向量求平均值，结果即为该图像所对应的相似度特征向量；所述深度神经网络在xeption基础结构上增加多分支结构，不同分支结构对应服装的不同外观属性，从而有针对性的提取服装各个外观属性的特有特征。

3)用户输入服装图像，并框选服装在图像中的所在区域，获得查询区域。

4)将用户输入的服装图像输入步骤1)训练好的服装检测与识别模型，获得服装类型信息，并根据服装类型信息从服装图像库中筛选出待匹配图像集合。

5)对用户输入的服装图像的查询区域进行相似度特征提取，得到查询区域对应的相似度特征向量。

6)将步骤5)所得查询区域对应的相似度特征与步骤4)所得待匹配图像集合中的每一图像的相似度特征一一进行相似度匹配的计算，返回图像库中相似度超过阈值的图像。

7)根据相似度和图像质量指标，将相似度符合要求的图像集合进行重新排序，作为最终结果呈现给用户。

进一步地，所述步骤1)中，将服装图像分割为上下两个部分和一个整体部分，得到三张待处理服装图像；将三张图像分别送入神经网络进行特征向量的提取及识别；对整体部分而言，采用两组特征向量，分别进行训练：一组是全连接层平整化后的维数为2048的向量，另一组是维数为1024的向量，两组向量分别计算损失函数Hinge Loss，两个损失函数的平均数即为整体部分的损失函数；图像上下两个部分的特征向量，全连接层平整化后的维数为512的向量，分别通过损失函数Hinge Loss进行识别训练；将整体部分的两组特征向量和上下两个部分的特征向量进行融合，得到维数为4096的向量，再通过损失函数HingeLoss进行识别训练。

进一步地，所述步骤2)中，一张服装图像首先采用xeption网络计算通用图像相似度特征；然后在xeption网络增加三个分支结构，分别用于提取服装领型、袖型、版型这三种不同外观属性的相似度特征，进一步提取表达服装特性的特征向量；特征提取结束后，不同相似度特征之间两两组合，并送入损失函数进行训练；所述损失函数采用triplet_loss和AM_loss的结合。

进一步地，所述步骤3)具体为：获取用户输入的用于查询的服装图像，当用户点击搜索功能时，由用户上传本地的服装图像或者由用户提供图像的网络链接；获得图像后，由前端界面提供用户交互功能，帮助用户框选待查询的服装区域。

进一步地，所述步骤6)具体为：取查询区域对应的相似度特征F和待匹配图像集合中的第i个图像所对应的相似度特征F_i，计算F与F_i的相似度S_i，公式如下：

当S_i≥σ，说明第i个图像与查询图像的相似度高，将被作为查询结果返回；服装图像库中所有符合S_i≥σ的图像，组成了查询结果集合，σ为相似度阈值。

进一步地，所述步骤7)具体为：对步骤6)所得查询结果集合中服装图像对应的图像质量指标进行计算；最终，查询结果集合中的服装图像由图像质量指标T_i和相似度S_i共同评价，公式为：

根据R_i值，对查询结果集合中的服装图像进行排序，按照排序的结果展示查询结果集合中的服装图像。

进一步地，所述步骤7)中图像质量指标T_i由图像的色彩、图像的清晰度组成。

与现有技术相比，本发明的有益效果在于：

1、现有的图像搜索方法中，尚未存在针对服装图像的卷积神经网络改造与优化。本发明结合了现有图像搜索技术中的卷积神经网络和全新的特征计算方法，是对现有图像搜索方法在服装图像领域的全面升级。

2、本发明在服装分类标签识别时将服装图像分割为多个部分，可以有效学习到服装的不同特征，模型会对服装的整体和细节进行有效学习；最终的融合步骤，可以有效提高模型性能。

3、在搜索过程中对深度卷积神经网络xeption增加了多分支结构，不同的分支结构对应服装的不同部分，可以有针对性的提取服装各个部分的特有特征。

附图说明

图1为图像服装检测与识别示意图；

图2为服装图像特征向量提取示意图；

图3为根据用户所给定服装图像，提供相似的服装图像示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

本发明提供的一种基于深度学习的服装图像搜索方法，该方法包括以下步骤：

1)利用已有服装图像库，训练服装检测与识别模型，识别服装图像中的服装类型；

2)提取已有服装图像库中服装图像的相似度特征，建立相似度特征库；

3)用户输入服装图像，并框选服装在图像中的所在区域，获得查询区域；

4)将用户输入的服装图像输入步骤1)训练好的服装检测与识别模型，获得服装类型信息，并根据服装类型信息从服装图像库中筛选出待匹配图像集合；

5)对用户输入的服装图像的查询区域进行相似度特征提取，得到查询区域对应的相似度特征向量；

6)将步骤5)所得查询区域对应的相似度特征与步骤4)所得待匹配图像集合中的每一图像的相似度特征一一进行相似度匹配的计算，返回图像库中相似度超过阈值的图像；

7)根据相似度和图像质量指标，将相似度符合要求的图像集合进行重新排序，作为最终结果呈现给用户。

下面对每一步骤进行详细说明：

步骤1)利用已有服装图像库，训练服装检测与识别模型，从而识别服装图像中的服装类型(比如衬衣、长裤、连衣裙、大衣等)。采用深度神经网络，结合服装图像的特点，对图像进行分区域训练以及融合训练，从而获得针对服装图像的高识别率神经网络。本步骤为训练步骤，仅执行一次。具体实现为：把一张服装图像分割为多个部分，每个部分送入到不同的神经网络中进行特征向量的提取及识别训练，进一步的，把各个部分的特征向量融合后再次进行识别训练，将多个神经网络的损失函数进行平均后，可得最终识别所使用的损失函数。将服装图像分割为多个部分，可以有效学习到服装的不同特征，模型会对服装的整体和细节进行有效学习；最终的融合步骤，可以有效提高模型性能。

例如，在图1的实施例中，图像被分割为上下两个部分和一个整体部分，可得三张待处理服装图像。将三张图像分别送入卷积神经网络VGG16进行特征向量的提取及识别。对整体部分而言，采用两组特征向量，分别进行训练：一组是全连接层平整化后的维数为2048的向量，另一组是维数为1024的向量，两组向量分别计算损失函数Hinge Loss，两个损失函数的平均数即为整体部分的损失函数。类似的，图像上下两个部分的特征向量，全连接层平整化后的维数为512的向量，分别通过损失函数Hinge Loss进行识别训练。将整体部分的两组特征向量和上下两个部分的特征向量进行融合，得到维数为4096的向量，再通过损失函数Hinge Loss进行识别训练。

步骤2)提取已有服装图像库中服装图像的相似度特征，获得每张服装图像所对应的N维特征向量，建立相似度特征库，用于后续的查询。本步骤为预计算步骤，仅执行一次。具体实现为：取服装图像库中任一张图像，通过crop截取操作和flip翻转操作，可以获取一组相关图像；对该组图像一一采用深度神经网络进行相似度特征提取，对所得所有相似度特征向量求平均值，结果即为该图像所对应的相似度特征向量。本步骤中所述深度神经网络在xeption基础结构上增加了多分支结构，不同的分支结构对应服装的不同外观属性(例如领型、袖型、版型等)，可以有针对性的提取服装各个外观属性的特有特征。

如图2所示，在具体实施中，一张服装图像首先采用xeption网络计算通用图像相似度特征；接下来，xeption网络增加了三个分支结构，分别用于提取服装领型、袖型、版型这三种不同外观属性的相似度特征，进一步提取表达服装特性的特征向量。特征提取结束后，不同相似度特征之间两两组合，并送入损失函数进行训练。在该实施例中，损失函数采用了triplet_loss和AM_loss的结合。

步骤3)用户输入服装图像，并框选服装在图像中的所在区域，获得查询区域。具体实现为：获取用户输入的用于查询的服装图像，当用户点击搜索功能时，由用户上传本地的服装图像或者由用户提供图像的网络链接。获得图像后，由前端界面提供用户交互功能，帮助用户框选待查询的服装区域。

步骤4)将用户输入的服装图像输入步骤1)训练好的服装检测与识别模型，获得服装类型信息，并根据服装类型信息从服装图像库中筛选出待匹配图像集合。该步骤的作用在于，通过对用户输入的服装图像进行服装检测与识别的预计算，获取该图像的服装类型信息，可以有效的降低后续相似度匹配的计算量，从而大大提升搜索的效率。

步骤5)对用户输入的服装图像的查询区域进行相似度特征提取，得到查询区域对应的相似度特征向量。该步骤采用步骤2)所描述的相似度特征提取方法。将用户选择的查询区域输入到深度神经网络中，获得该查询区域所对应的相似度特征向量。

步骤6)将步骤5)所得查询区域对应的相似度特征与步骤4)所得待匹配图像集合中的每一图像的相似度特征一一进行相似度匹配的计算，返回图像库中相似度超过阈值的图像。具体实现为：取查询区域对应的相似度特征F和待匹配图像集合中的第i个图像所对应的相似度特征F_i，计算F与F_i的相似度S_i，公式如下：

当S_i≥σ，说明第i个图像与查询图像的相似度高，将被作为查询结果返回。服装图像库中所有符合S_i≥σ的图像，组成了查询结果集合；可以根据相似度值对查询结果集合中的服装图像进行排序，按照排序的结果展示查询结果集合中的服装图像，或者在考虑相似度的同时，考虑图像质量指标，进行综合评价，如步骤7)。

步骤7)根据相似度和图像质量指标，将相似度符合要求的图像集合进行重新排序，作为最终结果呈现给用户。对步骤6)所得查询结果集合中服装图像对应的图像质量指标进行计算。计算目的是评价服装图像的参考价值，将价值高的图像优先呈现。具体实现时，图像质量指标可根据具体应用进行设定。在本实施例中，图像质量指标T_i由图像的色彩、图像的清晰度等组成。最终，查询结果集合中的服装图像由图像质量指标T_i和相似度S_i共同评价，公式为

根据R_i值，对查询结果集合中的服装图像进行排序，按照排序的结果展示查询结果集合中的服装图像。

一个具体的根据用户给定服装图像，提供相似的服装图像的示例的示意图如图3所示。

本技术领域的人员根据本发明所提供的文字描述、附图以及权利要求书能够很容易在不脱离权利要求书所限定的本发明的思想和范围条件下，可以做出多种变化和改动。凡是依据本发明的技术思想和实质对上述实施例进行的任何修改、等同变化，均属于本发明的权利要求所限定的保护范围之内。

Claims (7)

1.一种基于深度学习的服装图像搜索方法，其特征在于，该方法包括以下步骤：

1)利用已有服装图像库，训练服装识别模型，识别服装图像中的服装类型，具体如下：把一张服装图像分割为多个部分，每个部分送入到不同的深度神经网络中进行特征向量的提取及识别训练，把各个部分的特征向量融合后再次进行识别训练，将多个神经网络的损失函数进行平均后，可得最终识别所使用的损失函数。

2)提取已有服装图像库中服装图像的相似度特征，建立相似度特征库，具体如下：取服装图像库中任一张图像，通过crop截取操作和flip翻转操作，获取一组相关图像；对该组图像一一采用深度神经网络进行相似度特征提取，对所得所有相似度特征向量求平均值，结果即为该图像所对应的相似度特征向量；所述深度神经网络在xeption基础结构上增加多分支结构，不同分支结构对应服装的不同外观属性，从而有针对性的提取服装各个外观属性的特有特征。

3)用户输入服装图像，并框选服装在图像中的所在区域，获得查询区域。

4)将用户输入的服装图像输入步骤1)训练好的服装检测与识别模型，获得服装类型信息，并根据服装类型信息从服装图像库中筛选出待匹配图像集合。

5)对用户输入的服装图像的查询区域进行相似度特征提取，得到查询区域对应的相似度特征向量。

6)将步骤5)所得查询区域对应的相似度特征与步骤4)所得待匹配图像集合中的每一图像的相似度特征一一进行相似度匹配的计算，返回图像库中相似度超过阈值的图像。

7)根据相似度和图像质量指标，将相似度符合要求的图像集合进行重新排序，作为最终结果呈现给用户。

2.根据权利要求1所述的一种基于深度学习的服装图像搜索方法，其特征在于，所述步骤1)中，将服装图像分割为上下两个部分和一个整体部分，得到三张待处理服装图像；将三张图像分别送入神经网络进行特征向量的提取及识别；对整体部分而言，采用两组特征向量，分别进行训练：一组是全连接层平整化后的维数为2048的向量，另一组是维数为1024的向量，两组向量分别计算损失函数Hinge Loss，两个损失函数的平均数即为整体部分的损失函数；图像上下两个部分的特征向量，全连接层平整化后的维数为512的向量，分别通过损失函数Hinge Loss进行识别训练；将整体部分的两组特征向量和上下两个部分的特征向量进行融合，得到维数为4096的向量，再通过损失函数Hinge Loss进行识别训练。

3.根据权利要求1所述的一种基于深度学习的服装图像搜索方法，其特征在于，所述步骤2)中，一张服装图像首先采用xeption网络计算通用图像相似度特征；然后在xeption网络增加三个分支结构，分别用于提取服装领型、袖型、版型这三种不同外观属性的相似度特征，进一步提取表达服装特性的特征向量；特征提取结束后，不同相似度特征之间两两组合，并送入损失函数进行训练；所述损失函数采用triplet_loss和AM_loss的结合。

4.根据权利要求1所述的一种基于深度学习的服装图像搜索方法，其特征在于，所述步骤3)具体为：获取用户输入的用于查询的服装图像，当用户点击搜索功能时，由用户上传本地的服装图像或者由用户提供图像的网络链接；获得图像后，由前端界面提供用户交互功能，帮助用户框选待查询的服装区域。

5.根据权利要求1所述的一种基于深度学习的服装图像搜索方法，其特征在于，所述步骤6)具体为：取查询区域对应的相似度特征F和待匹配图像集合中的第i个图像所对应的相似度特征F_i，计算F与F_i的相似度S_i，公式如下：

当S_i≥σ，说明第i个图像与查询图像的相似度高，将被作为查询结果返回；服装图像库中所有符合S_i≥σ的图像，组成了查询结果集合，σ为相似度阈值。

6.根据权利要求1所述的一种基于深度学习的服装图像搜索方法，其特征在于，所述步骤7)具体为：对步骤6)所得查询结果集合中服装图像对应的图像质量指标进行计算；最终，查询结果集合中的服装图像由图像质量指标T_i和相似度S_i共同评价，公式为：

根据R_i值，对查询结果集合中的服装图像进行排序，按照排序的结果展示查询结果集合中的服装图像。

7.根据权利要求6所述的一种基于深度学习的服装图像搜索方法，其特征在于，所述步骤7)中图像质量指标T_i由图像的色彩、图像的清晰度组成。