CN109670066A - 一种基于双路径深层语义网络的手绘式服装商品图像检索方法 - Google Patents

Abstract

本发明公开了一种基于双路径深层语义网络的手绘式服装商品图像检索方法。第一，该方法利用手绘服装草图和服装商品图像数据集为驱动，提出一种双路径的深层语义网络架构模型，来建立手绘草图与服装商品图像之间的语义关联性，实现这两种不同领域数据的语义特征的自动学习和提取。第二，本发明提出了一种基于跨域语义特征相似性度量的深度排序模型，将这两个不同领域的特征映射到同一个语义空间，并建立了一套跨域语义特征相似性的计算准则，从而实现手绘服装草图对服装商品图像的跨域检索。本发明提出的方法着重解决由于用户手绘风格多样导致检索准确率低下等难题，使得手绘交互这种检索查询方式更加适合用户检索需求的自由表达。

Description

一种基于双路径深层语义网络的手绘式服装商品图像检索 方法

技术领域

本发明涉及一种基于双路径深层语义特征提取的手绘式服装商品图像检索方法，属于计算机图像及多媒体信息检索技术领域。

背景技术

随着电子商务和计算机辅助服装设计等技术的快速发展，服装商品图像数量的增长达到了前所未有的速度，而其中虚拟试衣等新型产业的兴起，更是极大激发人们对服装的外观、风格、款式变化等方面提出了各种个性化的设计和购买需求。在不同应用领域，常常需要变换不同类型的服装以满足人物以及场景之间的匹配。因此，在巨大且迫切的市场和工业界的需求下，如何帮助用户在大规模的商品图像数据库中快速、准确地搜寻到其所需要的服装图像成为了当前多媒体信息检索领域急需解决的关键课题。然而不同服装的款式和外观千变万化，传统的基于关键词等检索方式无法让用户准确表达出检索意图，在交互性和实用性等方面都存在着较大的局限性。近年来随着智能手机、平板电脑等触屏设备的普及，人机交互的方式发生了很大的改变，人们可以快速地把头脑中想象的事物在触摸屏上手绘出来，形成手绘草图。而将这种基于手绘的人机交互方式引入到服装商品图像检索中有着明显的先天优势。在工业界，服装设计师在早期进行概念设计的时候，都是习惯于用手绘的方式来设计服装的结构样式，从而得到服装草图，然后再根据设计的草图形象进行服装打样、裁剪等工作。因此基于手绘交互的检索方式提供给了用户一种更加自然直接和灵活随意的表达方法，并且十分符合服装设计师和普通用户的使用习惯，使得用户勿需掌握复杂的专业服装计算机辅助设计软件自己去动手设计服装，只需通过简单的手绘交互，便可以检索到的自己喜欢的衣服款式，从而满足用户各种个性化服装制作和购买需求。

然而，传统的基于手绘交互的检索往往只局限于基本类别进行检索，而忽略了类内之间变化的差异。与普通的三维模型不同，服装商品图像作为一种特殊的数据形态，用户希望通过手绘草图检索不仅仅要获得正确类别的服装模型(如衣服、裤子、裙子)，而更加关注于能否检索得到能够区分类间差异，达到细粒度级别的检索结果(如长袖T恤，短袖T恤)。但目前并没有针对可以达到细粒度级的服装商品图像检索算法，因而缺乏真正的实用性能。并且，服装商品图像具有复杂的颜色、形状和纹理等特征，而手绘草图则是用轮廓线条对其检索意图的一种模糊逼近，它们之间存在着领域和维度差距。所以仅依靠低层次的传统视觉特征即手绘草图外观上体现出来的信息是无法准确地识别出用户所要检索的服装商品图像，并且无法区分相同类别但不同款式服装之间的细微外观差异，因此需要从提取和挖掘手绘草图中所蕴含的高层次的语义信息来理解用户的检索意图，设计更加具有区分度的深层语义特征提取方法来表示对服装商品图像的类别属性及款式风格等知识的理解，这也是本发明的目的所在。

参考文献：

[1]Lin M,Chen Q,and Yan S.Network in network.In:Proceedings of theInternational Conference on Learning Representations(ICLR),2014.

发明内容

针对现有技术存在的不足，本发明提出一种基于双路径深层语义特征提取的服装商品图像检索方法，给用户提供一种准确而又快捷的服装商品图像检索模型方法。

本发明的目的是通过以下技术方案来实现的：

为了提取手绘服装草图和服装商品图像的语义关联特征，从而跨越这两种不同领域数据形态之间的‘语义鸿沟’。本发明提出了一种双路径深层语义网络，提取出手绘服装草图和服装商品图像的语义关联特征，为它们之间建立起一个语义桥梁。首先分别建立不同手绘风格和类型款式的手绘服装草图和服装图像数据库，并且对草图和服装图像进行服装类别和服装部件标记，将标记好的服装部件作为双路径深层语义网络每条路径的训练输入，每个深度子网络用来学习和输出该数据域下对应的高层语义特征，最后采用双线性的方式把整体和所有部件特征组合在一起构成一个特征向量作为输出；实现具有更强区分能力的语义特征的提取。

为了度量手绘服装草图和服装商品图像之间的相似性，本发明提出一种基于跨域语义特征相似性度量的深度排序模型，在一批已标注好的训练样本中，分别选择与服装草图具有相同和不同款式的服装商品图像作为输入，将这两个来自不同领域的语义特征映射到同一个语义空间，并且建立出一套语义特征相似性的计算规则，使之能够准确地将含有与手绘草图相同语义属性的服装商品图像返回给用户。同时，在最后的检索结果排序中，本发明所设计的相似性度量要具备有能够区分服装款式细节信息的能力，尽量接近用户真实的检索意图。比如：用户在手绘输入短袖衬衫草图时，那么半袖的衬衫模型应该要排在长袖衬衫的前面。因此我们要根据语义属性特征之间的结构层次关系，研究提供一种从粗糙到精细的相似性度量模式，从而满足用户对模型检索在效率、准确性、査全性等方面不同的要求。

本发明所述技术的有益效果主要包含以下两点：

(1)由于细粒度检索中不同类别间相似性非常大，早期的基于特征袋的特征提取方法无法表示出手绘草图与服装商品图像之间所蕴含的语义关系，对于服装商品图像的细粒度检索并不能取得很好的效果。本发明提出了一种双路径的特征提取模型，对手绘服装草图和服装商品图像的语义特征进行跨域学习，学习到的语义特征将成为对输入低层语义类别的高阶特征描述，从而建立语义类别的层次结构。同时，将分割好的服装部件以及其对应的语义属性特征融入到模型架构中，实现具有更强区分能力的语义特征的提取。

(2)在得到手绘服装草图和服装商品图像的深层语义特征后，为了将所提取的语义特征融合到同一个语义空间进行相似性度量，本发明提出了一种基于跨域语义特征相似性度量的深度排序模型，将这两个不同领域的特征映射到同一个语义空间，并建立出一套跨域语义特征相似性的计算准则，而根据相似性计算所得到的检索结果排序，不仅能够得到与用户输入的手绘服装草图相同类别的服装商品图像，而且能够进一步区别特定类别下服装商品图像不同款式之间的精细差异，从而准确地将有相似部件形态和样式的服装商品图像给检索出来并返回给用户。

附图说明

图1为本发明收集的服装商品图像和手绘服装草图数据示例图。

图2为服装草图部件款式分类示例图。

图3为双路径深层语义特征提取网络架构图。

图4为双线性插值组合服装部件的深层语义特征示意图。

图5为深度排序网络模型架构示意图。

具体实施方式

本发明方案主要是包含两个模块：语义关联特征提取模块和跨域语义特征相似性度量模块。下面将结合附图，对本发明中这两个模块的实现细节做详细说明：

1基于双路径的手绘服装草图深层语义特征提取的网络架构模型

由于手绘服装草图和服装商品图像来自于不同的数据领域，而现有基于手绘交互的特征提取方法主要是基于特征袋：首先通过稀疏或密集采样，提取出底层局部特征(包括SIFT、 HOG等)，然后对底层视觉特征进行编码，最后进行空间池化。但由于服装类别之间款式的相差非常大，在视觉单词量化中会丢失部分重要的细节信息，导致上述特征提取方法直接应用于服装模型的细粒度检索效果并不好。随着深度学习模型、尤其是卷积神经网络在计算机视觉领域(如：图像分类、图像检索)取得突破性进展，其所提取的深度特征相对于传统的基于特征袋的方法用于细粒度检索时具有明显的性能提升。因此本发明设计一个深度神经网络模型的架构层次和训练方法，提取出手绘服装草图和服装商品图像的语义关联特征，为它们之间建立起一个语义桥梁，具体采用的研究方案如下：

发明首先建立不同类别和款式手绘服装图像和服装商品图像作为网络模型训练数据，由于用户不同的绘画习惯和良莠不齐的绘画水平，在绘制同一类服装的时候，不同的用户必然存在着不同的表达方式，使得手绘草图之间差异很大，进而具有不同的风格样式。特别对于普通非服装设计专业用户在绘制时无论是笔画长短位置或者形状大小都会有偏差，因而手绘服装草图与数据库中的服装商品图像会存在很多差异。所以为了让训练模型具有更强的鲁棒性，我们建立的手绘服装草图训练库包含不同风格类型的手绘草图，既包含有专业的服装设计人员绘制的服装设计草图，也包括非专业的志愿者绘制的服装简笔图画。而收集的服装商品图像则包含有T恤、衬衫、西装、连衣裙子等三十多种常见基本类别的服装，每种基本类别下又包括若干个子类别，每个子类别下又包含500-1000个数目不等的不同款式的服装，附图1给出了本发明收集的手绘服装草图和服装商品图像部分数据的示例。

基于对手绘服装草图的观察分析，我们发现，服装的形状款式与其结构有关。虽然服装款式变化多样，但服装的组成结构总是一定的，其部件组成也是一定的。服装部件不仅描述用户所要检索服装的个性化要求，同时部件间是相互关联的事物，各个部件的变化直接影响服装整体的变化，从而带来服装款式的变化。因此为了更精细的理解用户对所需服装的类型和款式，我们对数据库中的手绘服装草图和服装商品图像进行服装部件的标记。基于对服装原型的观察，我们按照对人体覆盖部位的不同，将服装分为上半身(衬衣、T恤等)、下半身 (裙、裤等)、上肢用(袖子)、领子、配饰(纽扣、腰带、领带等)和连身式类型。并且我们在做服装部件标记时，会将含有相同部件款式的服装草图分成同一类别，并同时定义一组具有合理完备性的服装形状款式类别属性，作为网络模型训练数据的输入，如附图2所示，从而筛选出特定服装类别下的更精确的款式。

当手绘服装草图和服装商品图像的训练数据建立好了以后，我们使用双路径深层语义特网络进行跨域数据的特征提取。对于跨域数据的特征学习，现有的深度学习算法如卷积神经网络，一般都是首先在源域的数据集上进行模型的预训练，然后在目标数据域上对模型进行微调，从而实现特征的跨域学习，但是这种方法需要大量目标域的训练数据，而且在网络的最后几层往往需要重新训练，所以训练效率并不高。为克服上述问题，我们在本发明中结合网中网模型([1]Lin M,Chen Q,and Yan S.Network in network.In:Proceedings of the International Conference on Learning Representations(ICLR),2014.)设计一种双路径的深度网络架构模型，如附图3所示。手绘服装草图和服装商品图像分别对应每条路径的训练输入数据，每个深度子网络用来学习和输出该数据域下对应的高层语义特征。为了使得学习出来的特征具有域不变性，并且可以直接进行比较，这两个深度子网络具有相同的结构，也即它们有着相同的卷积层和中间层，每层之间的神经元个数都相等。

另外，在网络结构设计上，传统的卷积神经网络是由线性卷积层、池化层、全连接层堆叠而成。其中卷积层通过线性滤波器进行线性卷积运算，然后在接个非线性激活函数，最终生成特征图。因此利用卷积神经网络CNN所提取的高层特征只是低层特征的某种组合，并且假设这些提取的特征是线性可分的。

然而，我们的训练数据是来自于手绘草图和服装模型这两个不同的领域，我们所要提取的高层特征一般是高度非线性的，所以运用线性滤波器并不合适。并且传统的卷积神经网络 (如Alexnet)最后一个卷积层直接和全连接层相连，参数个数非常之多，在训练的过程中也非常容易引起过拟合。因此，在本发明提出的深度网络模型中，我们使用多层感知器(MLP)代替卷积层的线性卷积操作，MLP卷积层可以看成是每个卷积的局部感受野中还包含了一个微型的多层网络，对于每个局部感受野的神经元可以进行更加复杂的非线性运算，从而能够得到更抽象、泛化能力更强的高层特征。若我们选取Relu函数作为激活函数，那么在MLP卷积层每张特征图的计算可表示为：

其中n表示MLP的层数，w_k和x_i,j分别代表卷积窗口的权重和图像块。多层感知器也可以使用反向传播算法进行训练，并且对于提取的特征可以进行重用。

同时为了让用户能够根据服装部件的款式属性进行细粒度的检索，我们在训练的过程中会加入数据库中手绘服装草图和服装商品图像中所标记好的服装部件信息。但是由于服装部件大小不一，为了能够处理多种尺度的部件草图，我们在深度网络最后一个MLP卷积层后面叠加一个空间金字塔池化层，用来辅助服装部件特征的提取。最后我们将训练得到的服装整体图像的特征以及各个部件图像的特征采用双线性的方式进行组合，构成一个特征向量作为输出，如附图4所示:

其中f_pi和f_pj表示其对应的第i个和第j个服装部件图像，F为组合后的特征向量，φ为双线性映射函数，其定义为：

另外在模型训练的过程中，为了减少参数个数，除最后一个MLP卷积层外，其余层都可以使用Dropout进行正则化，也即是指在训练时随机让网络某些隐含层节点的权重不工作，不工作的那些节点可以暂时认为不是网络结构的一部分，但是将其权重保留下来，下次样本输入时这些隐藏节点再恢复工作。这样随着训练层数的深入，我们将得到训练图片越来越抽象的表示，而在提取不同的服装部件图像时，我们只需在训练好的网络模型中进行微调即可，从而最后可以得到手绘草图和服装商品图像深层的语义特征。

2基于跨域语义特征相似性度量的服装商品图像深度排序网络模型

在得到手绘服装草图和服装商品图像的深层语义特征以后，接下来就需要我们将这两个不同领域的特征映射到同一个语义空间，进行相似性的度量。而根据相似性计算所得到的检索结果排序，不仅能够得到与用户输入的手绘服装草图相同类别的服装商品图像，而且能够进一步区别特定类别下服装商品图像不同款式之间的精细差异，从而准确获取用户具体的检索需求。在本发明中，我们在双路径深度网络提取特征的基础上，提出一种基于跨域语义特征相似性度量的服装商品图像深度排序模型，通过深度网络信息共享的设计，将深层语义特征提取以及最终深度相似距离度量学习模型整合到一张深度网络中，实现手绘服装草图对服装商品图像的跨域检索。

我们设s为用户输入检索系统的手绘服装草图，为训练数据库中已经预处理好的服装商品图像，其中N为所有服装商品图像的总数，f_s和f_vi分别对应为手绘服装草图和服装图像所提取的深层语义特征，那么我们的目的就是基于训练库学习到一个参数为θ的映射函数g_θ(·)，使得f_s和f_vi这两种不同数据领域的特征向量，能够在一个公共度量空间(如：欧式空间)进行距离计算:

其中D(s,v_i)就表示手绘服装草图s与当前服装视图v_i的欧式距离，D(s,v_i)越小，则表示它们之间越相似。为了学习到映射函数g_θ(·)，我们在训练时输入一个三元样本组其中s表示用户输入的手绘服装草图，表示与服装草图具有相同部件款式类型的一个服装商品图像样本，表示与服装草图具有不同部件款式类型的服装模型样本，和分别代表它们所提取的深度特征，那么学习到的映射函数g_θ(·)就必须要满足：

因此对于三元样本组我们可以为深度排序模型定义一个最大边界损失函数:

其中Δ表示正样本到负样本之间距离的边界参数。因此在固定边界Δ的控制下，该损失函数期望对于查询服装草图s，正样本能比负样本输出更小的值。由于最大边界损失函数可以看成为是0-1损失函数的凸逼近，记录了三元训练样本在排序模型中错误的情况，因此我们可建立所要优化的目标方程为：

其中θ为映射函数g_θ(·)的参数，为L₂正则项，λ为正则化控制参数。最小化该目标函数便可以使得与查询服装草图s部件款式类别相同的服装商品图像的评分越来越高，部件款式类型不同的服装商品图像的评分则会越来越低。不仅如此，如果训练样本标注数目足够多的话，我们可以捕捉到不同服装商品图像之间款式上的精细差异，从而实现手绘服装草图到服装商品图像的细粒度检索。

为了求解该目标函数的最优值，本发明设计一个深度排序网络模型来进行训练求解，如附图5所示，该模型包括采样层、隐藏层和排序层。我们首先在深层语义特征提取的基础上构建一个三元采样层作为整个排序网络模型的数据输入，三元采样层是在每批训练的过程中选择只有三个样本的子集，其中含有一个服装草图s和已经标注好的与服装图像正样本以及负样本在进行标注的时候我们不仅仅考虑服装商品图像是否与手绘服装草图属于同一基本类别，同时服装部件款式也需要相同，则可标记为正样本，否则为负样本。采样完成以后，我们将这三元样本所提取的深度特征连接在一起输入到中间的隐藏层。隐藏层则包括两个全连接层和一个L₂正则化层，隐藏层计算输入特征和权重向量之间的点积，再加上一个偏置参数，然后将其传递给隐藏节点中的激活函数。各个隐藏节点之间互相关联，并共享参数。隐藏层的作用就是相当于映射函数g_θ(·)将三元样本所提取的特征映射到同一度量空间。最后一层是排序层，它是用来计算整个网络的损失函数。排序层不含有任何参数，它通过定义损失函数并根据误差利用反向传播算法逐步调整网络参数，从而使得排序损失值达到最小。

我们设h_l(·)是深度排序网络中第l层前馈传递函数，该函数对应的参数记为θ_l，则整个网络的映射函数g_θ(·)可以将各层的传递函数组合起来得到：

g_θ(·)＝h_n(h_n-1(h_n-2(h₁(·)…)))

则损失函数L_θ(·)对第l层的参数θ_l的梯度可根据链式法则计算为：

其中可以通过迭代的方式很方便的就求解出来：

对于我们可以根据三元样本组其输入的特征分别求其偏导：

因此我们可以在深度排序网络上运行反向传播算法控制各层的参数θ_l，重复梯度下降法的迭代步骤来减小损失函数的值，进而完成对我们深度排序网络的训练。

在测试阶段，我们可以采用相似精度、对前K个结果评分(top-K)和多值相关度(DCG) 这三种性能度量方式来评估深度排序网络的有效性。相似精度表示了在一批测试样本中，我们所输入的三元样本被正确排序的百分比。对前K个结果评分则定义为对于查询服装草图s，在其前K个检索结果中所包含的三元组排序正确的个数。DCG的评价思想在得到检索列表中，如果排行越靠前的三维服装与手绘服装草图相关，则分数就越高。通过对这三种度量方式的计算，我们可以按照总评分对检索到的服装商品图像进行升序排序，将前200个图像返回给用户，分页将相应缩略图呈现在浏览器中，即完成了一次检索过程。

Claims (3)

1.一种基于双路径深层语义网络的手绘式服装商品图像检索方法，其特征在于：以手绘服装草图和服装图像为数据集，建立双路径的深层语义特征提取的网络架构模型；并建立基于跨域语义特征相似性度量的深度排序模型，将两个不同领域的特征映射到同一个语义空间；并建立出一套跨域语义特征相似性的计算准则，进行相似性的度量；若两者达到设定的相似度，则反馈服装图像的信息，实现手绘服装草图对服装图像的跨域检索。

2.根据权利要求1所述的方法，其特征在于，包括以下步骤：

(1)构建深度神经网络模型：

分别建立手绘服装草图和服装图像的数据库，并且对手绘服装草图和服装图像的服装类别和服装部件进行标记；将标记好的手绘服装草图的服装类别和服装部件作为一个深度神经网络的训练输入，将标记好的服装图像的服装类别和服装部件作为另一个深度神经网络的训练输入；

每个深度神经网络路径分别用来学习和输出该领域数据所对应的高层语义特征；在深度神经网络结构的设计中，利用多层感知机来代替传统卷积层的线性卷积操作；

在训练的过程中，加入数据库中手绘服装草图和服装图像中所标记好的服装部件，并且通过在深度神经网络结构中叠加一个空间金子塔池层来处理不同尺度下的服装部件图像；

训练完成后，将得到的服装整体图像的深层语义特征以及各个服装部件图像的深层语义特征采用双线性的方式进行组合，构成一个特征向量作为输出，最后将所有特征向量构建成特征向量数据库；

(2)构建深度排序网络模型排序模型：

首先在深层语义特征提取的基础上构建一个三元采样层作为整个排序网络模型的数据输入，在每批训练的过程中选择只有分别选择手绘服装草图、与手绘服装草图具有相同深层语义特征的服装图像、和与手绘服装草图具有不同深层语义特征的服装图像作为三个样本的子集进行训练；

然后，将这三元样本所提取的深度特征连接在一起输入到中间的隐藏层，从而将训练样本所提取的深层语义特征映射到同一度量空间；

最后通过排序层来计算整个网络的损失函数，从而使得排序损失值达到最小，进而完成对深度排序网络的训练；

(3)在测试阶段，对于用户输入的任一查询手绘草图，都以训练好的深度语义网络提取出它的语义特征，再通过深度排序网络学习到的损失函数来计算手绘草图与数据库中服装图像的排序损失值，按照总评分对检索到的服装商品图像进行升序排序，将前200个图像返回给用户，分页将相应缩略图呈现在浏览器中，即完成了一次检索过程。

3.根据权利要求2所述的方法，其特征在于：手绘服装草图的数据库包括不同风格、类型的手绘服装草图；服装图像的数据库包括不同类别、款式的服装图像。