CN108875910A - 基于注意力知识提取的服装搭配方法、系统及存储介质 - Google Patents

基于注意力知识提取的服装搭配方法、系统及存储介质 Download PDF

Info

Publication number
CN108875910A
CN108875910A CN201810501943.0A CN201810501943A CN108875910A CN 108875910 A CN108875910 A CN 108875910A CN 201810501943 A CN201810501943 A CN 201810501943A CN 108875910 A CN108875910 A CN 108875910A
Authority
CN
China
Prior art keywords
jacket
indicate
collocation
lower clothing
rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810501943.0A
Other languages
English (en)
Inventor
宋雪萌
韩贤静
杨鑫
冯福利
王英龙
聂礼强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201810501943.0A priority Critical patent/CN108875910A/zh
Publication of CN108875910A publication Critical patent/CN108875910A/zh
Priority to PCT/CN2018/122943 priority patent/WO2019223302A1/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了基于注意力知识提取的服装搭配方法、系统及存储介质，对时尚社区网站的服装搭配数据进行数据采集，提取服装搭配规则；构建学生网络：获取上衣视觉特征、上衣文本特征、下衣视觉特征、下衣文本特征；基于所获取的特征，利用多层感知机对不同模态的语义关系进行建模；依据建模结果计算每一件上衣与下衣之间的相容性；基于所得到的相容性，利用贝叶斯个性化排序算法构建学生网络；构建教师网络：根据每一件上衣与下衣之间的相容性构建服装搭配规则的约束函数；利用注意力机制实现不同服装搭配规则置信度的分配；根据约束函数和服装搭配规则的置信度，构建教师网络；利用教师网络对学生网络进行训练，利用训练好的学生网络进行服装搭配。

Description

基于注意力知识提取的服装搭配方法、系统及存储介质
技术领域
本发明涉及基于注意力知识提取的服装搭配方法、系统及存储介质。
背景技术
随着时尚产业的蓬勃发展，如何从琳琅满目的服装中搭配合适的套装已逐渐成为一些人每人所头疼的问题。幸运的是，许多关于时尚的社区网站如Polyvore等应运而生，时尚爱好者可以在这里分享他们的服装搭配成果，这为研究人员提供了大量的真实数据。近年来，有许多研究工作围绕服装搭配和推荐展开。现有的技术主要应用深度学习对服装图像或文本进行特征提取，进而对互补服装之间的相容性进行建模。然而服装搭配领域已经积累了丰富的领域知识，但是现有的技术主要应用数据驱动的深度学习方法，依赖于大量的标签数据，而并未充分利用服装搭配的领域知识或搭配规则，这使得模型的可解释性较差。
发明内容
为了解决现有技术的不足，本发明提供了基于注意力知识提取的服装搭配方法、系统及存储介质，旨在通过教师-学生范式的知识提取框架，利用服装搭配的领域知识或搭配规则，对神经网络进行监督指导。考虑到不同搭配规则在知识提取过程中有不同的置信水平，本发明通过引入注意力机制，实现了搭配规则置信度的自动分配，从而提高了互补服装相容性建模性能和模型的可解释性。
作为本发明的第一方面，提供了基于注意力知识提取的服装搭配方法；
基于注意力知识提取的服装搭配方法，包括：
步骤(1)：对时尚社区网站的服装搭配数据进行数据采集，对采集的数据提取服装搭配规则；
步骤(2)：构建学生网络：从获取的上衣图片中获取上衣视觉特征，从获取的上衣文本描述中获取上衣文本特征，从获取的下衣图片中获取下衣视觉特征，从获取的下衣文本描述中获取下衣文本特征；基于所获取的特征，利用多层感知机(MLP)对不同模态的语义关系进行建模；依据建模结果计算每一件上衣与每一件下衣之间的相容性；基于所得到的相容性，利用贝叶斯个性化排序算法(BPR)构建学生网络；
步骤(3)：构建教师网络：根据每一件上衣与每一件下衣之间的相容性构建服装搭配规则的约束函数；利用注意力机制实现不同服装搭配规则置信度的分配；根据搭配规则的约束函数和服装搭配规则的置信度，构建教师网络；
步骤(4)：利用教师网络对学生网络进行训练，利用训练好的学生网络对待搭配的服装进行搭配。
作为本发明的进一步改进，
所述对时尚社区网站的服装搭配数据进行数据采集，是指：
对时尚社区网站的服装搭配数据的上衣图片、下衣图片、上衣图片与下衣图片的一一搭配关系进行采集；对时尚社区网站的服装搭配数据进行文本描述和种类标签采集；从已经搭配好服装的文本描述和种类标签中提取服装属性和对应属性的值；所述服装的属性，包括：颜色、材质、花纹、种类或品牌。
作为本发明的进一步改进，
所述对采集的数据提取服装搭配规则，包括：
对每一个服装属性的不同属性值的上衣和下衣搭配次数进行统计，对搭配次数由多到少进行排序，排序靠前的设定个数组合作为正向搭配规则，排序靠后的设定个数个组合作为反向搭配规则。
作为本发明的进一步改进，
所述对采集的数据提取服装搭配规则，还包括：
人工对正向搭配规则或反向搭配规则进行调整，完成搭配规则的提取。
所述文本描述，包括：服装的样式、功能、材质和类别；所述种类标签，包括：外套、长裙、短裤、毛衣或牛仔裤。
作为本发明的进一步改进，基于所获取的特征，利用多层感知机对不同模态的语义关系进行建模；依据建模结果计算每一件上衣与每一件下衣之间的相容性，步骤如下：
其中，表示上衣i的视觉特征，表示上衣i的文本特征，表示上衣i的视觉特征和文本特征的级联表示，表示第一层MLP的输出，和表示第一层MLP的参数，表示第k层MLP的输出，表示第k-1层MLP的输出。k表示MLP层的序号，K表示MLP的总层数，x表示上衣或下衣的序号，t表示上衣的序号，b表示下衣的序号。
和是第k层MLP的参数，s(x)是sigmoid函数；
计算服装的潜在表示
计算上衣i和下衣j之间的相容性mij：
作为本发明的进一步改进，所述基于所得到的相容性，利用贝叶斯个性化排序算法构建学生网络的步骤如下：
构建三元组：
其中，
表示上衣集合，ti表示上衣i，bj表示下衣j，bk表示下衣k，表示搭配正例的下衣集合，表示下衣集合，表示搭配正例集合。
该三元组表示ti与bj比ti与bk更搭配；
根据贝叶斯个性化排序算法构建学生网络的损失函数
其中mij表示上衣i和下衣j之间的相容性，mik表示表示上衣i和下衣k之间的相容性；
σ(mij-mik)表示以mij-mik作为输入的sigmoid函数，λ为非负的超参，Θ是参数的集合，为防止参数过拟合的正则化项。
其中学生网络的预测输出为p(i,j,k)＝[mij,mik]。
作为本发明的进一步改进，根据每一件上衣与每一件下衣之间的相容性构建搭配规则的约束函数，步骤如下：
通过约束函数fl(i,j,k)奖励满足正向搭配规则的互补服装组合和惩罚满足反向搭配规则的互补服装组合，实现搭配规则向逻辑规则的转化。
mij的约束函数定义如下：
mik的约束函数定义如下：
δl(ij)表示对上衣i和下衣j的判断函数，δl(ik)表示表示对上衣i和下衣k的判断函数，δl(ij)＝1表示上衣i和下衣j满足第l个搭配规则，δl(ik)＝0表示上衣i和下衣k不满足第l个搭配规则，δl(ij)＝0表示上衣i和下衣j不满足第l个搭配规则，δl(ik)＝1表示上衣i和下衣k满足第l个搭配规则，表示正向的搭配规则集合，表示反向的搭配规则集合，l表示搭配规则的序号。
作为本发明的进一步改进，利用注意力机制实现不同搭配规则置信度的分配，步骤如下：
对于给定的三元组(i,j,k)和该三元组满足的搭配规则集合i是上衣，j是与i搭配的下衣，k是与i不搭配的下衣。第l个搭配规则的置信度λl(i,j,k)的设置方式如下：
其中，λ′l(i,j,k)表示第l个搭配规则未归一化的置信度，φ表示第一层神经网络的激活函数，表示上衣i的视觉特征的潜在表示，表示上衣i的文本特征的潜在表示，表示下衣j的视觉特征的潜在表示，表示下衣j的文本特征的潜在表示，表示下衣k的视觉特征的潜在表示，表示表示下衣k的文本特征的潜在表示，rl是第l个搭配规则的one-hot二进制编码，u表示第u个搭配规则。其中Wt、Wb、Wl、wT、b、c是注意力机制的参数。
作为本发明的进一步改进，根据搭配规则的约束函数和搭配规则的置信度，构建教师网络，步骤如下：
其中C是平衡正则化参数，KL表示教师网络的预测输出q(i,j,k)和学生网络的预测输出p(i,j,k)的KL散度，是搭配规则约束函数的期望运算。
收敛问题的解为：
q(i,j,k)∝p(i,j,k)exp{∑lCλlfl(i,j,k)}； (13)
将约束函数fl(i,j,k)和第l个搭配规则的置信度λl代入公式(13)中，便完成了教师网络的构建。
作为本发明的进一步改进，所述利用教师网络对学生网络进行训练的步骤如下：
设置第t次迭代训练的目标方程如下：
其中为BPR损失函数，为交叉熵损失函数，ρ是调整两项损失函数重要性的学习参数。Θt+1表示第t+1次迭代的参数集合，q(t)(i,j,k)表示第t次迭代教师网络的预测输出。
通过迭代训练直至公式(14)收敛，保存MLP的相关参数，即可用来测试互补服装的相容性。
作为本发明的进一步改进，利用训练好的学生网络对待搭配的服装进行搭配的步骤为：
利用训练好的学生网络对待搭配的服装进行搭配的步骤为：
提取待搭配服装的视觉特征和文本特征；
提取待选择的服装的视觉特征和文本特征；
将得到的待搭配服装的视觉特征、待搭配服装的文本特征、待选择的服装的视觉特征和待选择的服装的文本特征输入训练好的学生网络，输出与待搭配服装最匹配的服装。
学生网络的输出为与待搭配服装最匹配的待选择的互补服装。
作为本发明的第二方面，提供了基于注意力知识提取的服装搭配系统；
基于注意力知识提取的服装搭配系统，包括：存储器、处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时完成上述任一方法所述的步骤。
作为本发明的第三方面，提供了一种计算机可读存储介质；
一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器运行时，完成上述任一方法所述的步骤。与现有技术相比，本发明的有益效果是：
(1)本发明充分利用了服装搭配的领域知识或搭配规则，将领域知识转换成结构化的逻辑规则，使领域知识可以灵活地融合到模型中去。
(2)本发明使用了教师-学生范式的知识提取框架，使模型既可以从内部数据集学习，又可以挖掘领域知识
(3)本发明通过加入注意力机制，实现了搭配规则置信度的自动分配，解决了不同搭配规则在知识提取过程中有灵活的置信水平的问题。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为本发明的流程图；
图2为本发明的服装推荐流程图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本发明充分利用了服装搭配的领域知识或搭配规则，将领域知识转换成结构化的逻辑规则，灵活地融合到模型中去。同时利用领域知识来监督指导神经网络的训练，增强了神经网络的可解释性。本发明使用了教师-学生范式的知识提取框架，使模型既可以从数据集内部学习，又可以被领域知识所指导，使模型的性能表现优于现有的服装搭配方法。考虑到不同搭配规则在知识提取过程中有不同的置信水平，本发明的模型中无缝地加入了注意力机制，实现了搭配规则置信度的灵活分配。
作为本发明的第一个实施例，如图1所示，基于注意力知识提取的服装搭配方法,包括以下步骤:
S1：通过对时尚社区网站搭配的互补套装的元数据(文本描述和种类标签)的统计和分析,提取服装搭配规则，并请时尚爱好者对其进行人工调整，从而实现领域知识的提取。
S2：根据从神经网络中提取的视觉和文本特征，利用深度学习和贝叶斯个性化排序算法，对互补服装之间的相容性进行建模，从而完成学生网络的构建。
S3：将S1提取的搭配规则转化为逻辑规则，并利用注意力机制完成对不同搭配规则置信度的分配，实现对学生网络输出的约束，从而完成教师网络的构建。
S4：通过对学生网络贝叶斯个性化排序的迭代训练以及对教师-学生网络之间输出的交叉熵的迭代优化，实现知识提取并产生搭配结果。
所述步骤S1搭配规则提取的过程还包括：
S11：本发明从Polyvore(时尚社区网站)获取服装的元数据，并将图像作为服装的视觉信息，将对应的文本描述和种类标签作为服装的文本信息。本发明将服装的颜色、材质、花纹、种类和品牌等属性定义为影响服装相容性的因素，并从每件服装的元数据，即文本描述和种类标签中提取出对应属性的值，如表1。
表1：属性及对应的部分属性值
属性 部分属性值
颜色 black,white,green,red,blue,grey
材质 knit,silk,leather,cotton,fur,cashmere
花纹 pure,grid,dot,floral,number(letter)
种类 coat,dress,skirt,sweater,jeans,hoodie
品牌 Yoins,HM,Topshop,Gucci
S12：通过对同一属性不同值之间的搭配次数统计，搭配次数的前十名和后十名组合分别作为正向搭配规则和反向搭配规则例如：外套搭配连衣裙，粉色上衣不搭配黑色下衣等。
S13：通过时尚爱好者对预选规则进行人工调整，完成搭配规则的提取，其中Rl表示第l个搭配规则，L是搭配规则的总数。
所述步骤S2学生网络构建的过程还包括：
S21：本发明使用服装视觉信息和文本信息构建了上衣集合下衣集合和搭配正例集合来进行建模，其中Nt和Nb分别表示上衣和下衣的总数,N表示搭配正例的总套数。本发明用表示上衣(下衣)的视觉信息经过已经训练好的AlexNet得到的特征向量，用表示上衣(下衣)的文本信息经过文本卷积网络(TextCNN)得到的特征向量，然后，通过多层感知机对不同模态的语义关系进行如下建模：
其中和是MLP的参数，s(x)是sigmoid函数，为服装的潜在表示，本发明用来计算上衣i和下衣j之间的相容性。
S22：构建三元组其中 该三元组表示ti与bj比ti与bk更搭配。根据贝叶斯个性化排序算法构建学生网络的损失函数：
其中λ为非负的超参，Θ是参数的集合，最后一项用来防止模型过拟合。
所述步骤S3教师网络构建的过程还包括：
S31：通约束函数fl(i,j,k)奖励满足正向搭配规则的互补服装组合和惩罚满足反向搭配规则的互补服装组合，实现搭配规则向逻辑规则的转化。mij的约束函数定义如下：
其中δl(ab)＝1表示互补服装(a,b)满足第l个搭配规则。mik的约束函数定义形式与之类似。
S32：利用注意力机制实现对不同搭配规则置信度的分配。对于给定的三元组(i,j,k)和该三元组满足的搭配规则集合第l个规则的置信度λl(i,j,k)的设置方式如下：
其中Wt、Wb、Wl、w、b、c是注意力机制的参数，φ是sigmoid激活函数，rl是第l个搭配规则的one-hot二进制编码。
S33：根据学生网络对教师网络的模仿和对搭配规则约束函数的利用，教师网络的构建方法如下：
其中C是平衡正则化参数，KL是教师网络的预测输出q(i,j,k)和学生网络的预测输出p(i,j,k)的KL散度。该收敛问题的解为：
将fl(i,j,k)和λl代入，便完成了教师网络的构建。
所述步骤S4知识提取的过程还包括：
S41：为了平衡学生网络预测输出的准确性的训练和学生网络向教师网络的学习程度，本发明设置第t次迭代训练的目标方程如下：
其中为BPR损失函数，为交叉熵损失函数，ρ是调整两项损失函数重要性的学习参数。
S42：通过迭代训练直至模型收敛，保存MLP的相关参数，即可用来测试互补服装的相容性。
如图2所示，利用训练好的学生网络对待搭配的服装进行搭配的步骤为：
将待搭配服装的视觉信息输入AlexNet，得到视觉特征，再将待搭配服装的文本信息输入TextCNN，得到文本特征。将待选择的互补服装的视觉信息输入AlexNet，得到视觉特征，再将待选择的互补服装的文本信息输入TextCNN，得到文本特征。
将得到的待搭配服装的视觉特征和文本特征和待选择的互补服装的视觉特征和文本特征输入训练好的学生网络。
作为本发明的第二个实施例，提供了基于注意力知识提取的服装搭配系统；
基于注意力知识提取的服装搭配系统，包括：存储器、处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时完成上述任一方法所述的步骤。
作为本发明的第三个实施例，提供了一种计算机可读存储介质；
一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器运行时，完成上述任一方法所述的步骤。
学生网络的输出为与待搭配服装最匹配的待选择的互补服装。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.基于注意力知识提取的服装搭配方法，其特征是，包括：
步骤(1)：对时尚社区网站的服装搭配数据进行数据采集，对采集的数据提取服装搭配规则；
步骤(2)：构建学生网络：从获取的上衣图片中获取上衣视觉特征，从获取的上衣文本描述中获取上衣文本特征，从获取的下衣图片中获取下衣视觉特征，从获取的下衣文本描述中获取下衣文本特征；基于所获取的特征，利用多层感知机对不同模态的语义关系进行建模；依据建模结果计算每一件上衣与每一件下衣之间的相容性；基于所得到的相容性，利用贝叶斯个性化排序算法构建学生网络；
步骤(3)：构建教师网络：根据每一件上衣与每一件下衣之间的相容性构建服装搭配规则的约束函数；利用注意力机制实现不同服装搭配规则置信度的分配；根据搭配规则的约束函数和服装搭配规则的置信度，构建教师网络；
步骤(4)：利用教师网络对学生网络进行训练，利用训练好的学生网络对待搭配的服装进行搭配。
2.如权利要求1所述的基于注意力知识提取的服装搭配方法，其特征是，
所述对时尚社区网站的服装搭配数据进行数据采集，是指：
对时尚社区网站的服装搭配数据的上衣图片、下衣图片、上衣图片与下衣图片的一一搭配关系进行采集；对时尚社区网站的服装搭配数据进行文本描述和种类标签采集；从已经搭配好服装的文本描述和种类标签中提取服装属性和对应属性的值；所述服装的属性，包括：颜色、材质、花纹、种类或品牌；
所述对采集的数据提取服装搭配规则，包括：
对每一个服装属性的不同属性值的上衣和下衣搭配次数进行统计，对搭配次数由多到少进行排序，排序靠前的设定个数组合作为正向搭配规则，排序靠后的设定个数个组合作为反向搭配规则。
3.如权利要求1所述的基于注意力知识提取的服装搭配方法，其特征是，
基于所获取的特征，利用多层感知机对不同模态的语义关系进行建模；依据建模结果计算每一件上衣与每一件下衣之间的相容性，步骤如下：
其中，表示上衣i的视觉特征，表示上衣i的文本特征，表示上衣i的视觉特征和文本特征的级联表示，表示第一层MLP的输出，和表示第一层MLP的参数，表示第k层MLP的输出，表示第k-1层MLP的输出；k表示MLP层的序号，K表示MLP的总层数，x表示上衣或下衣的序号，t表示上衣的序号，b表示下衣的序号；
和是第k层MLP的参数，s(x)是sigmoid函数；
计算服装的潜在表示
计算上衣i和下衣j之间的相容性mij：
4.如权利要求1所述的基于注意力知识提取的服装搭配方法，其特征是，
所述基于所得到的相容性，利用贝叶斯个性化排序算法构建学生网络的步骤如下：
构建三元组：
其中，
表示上衣集合，ti表示上衣i，bj表示下衣j，bk表示下衣k，表示搭配正例的下衣集合，表示下衣集合，表示搭配正例集合；
该三元组表示ti与bj比ti与bk更搭配；
根据贝叶斯个性化排序算法构建学生网络的损失函数
其中mij表示上衣i和下衣j之间的相容性，mik表示表示上衣i和下衣k之间的相容性；
σ(mij-mik)表示以mij-mik作为输入的sigmoid函数，λ为非负的超参，Θ是参数的集合，为防止参数过拟合的正则化项；
其中学生网络的预测输出为p(i,j,k)＝[mij,mik]。
5.如权利要求1所述的基于注意力知识提取的服装搭配方法，其特征是，
根据每一件上衣与每一件下衣之间的相容性构建搭配规则的约束函数，步骤如下：
通过约束函数fl(i,j,k)奖励满足正向搭配规则的互补服装组合和惩罚满足反向搭配规则的互补服装组合，实现搭配规则向逻辑规则的转化；
mij的约束函数fl ij(i,j,k)定义如下：
mik的约束函数fl ik(i,j,k)定义如下：
δl(ij)表示对上衣i和下衣j的判断函数，δl(ik)表示表示对上衣i和下衣k的判断函数，δl(ij)＝1表示上衣i和下衣j满足第l个搭配规则，δl(ik)＝0表示上衣i和下衣k不满足第l个搭配规则，δl(ij)＝0表示上衣i和下衣j不满足第l个搭配规则，δl(ik)＝1表示上衣i和下衣k满足第l个搭配规则，表示正向的搭配规则集合，表示反向的搭配规则集合，l表示搭配规则的序号。
6.如权利要求1所述的基于注意力知识提取的服装搭配方法，其特征是，
利用注意力机制实现不同搭配规则置信度的分配，步骤如下：
对于给定的三元组(i,j,k)和该三元组满足的搭配规则集合第l个搭配规则的置信度λl(i,j,k)的设置方式如下：
其中，λ′l(i,j,k)表示第l个搭配规则未归一化的置信度，φ表示第一层神经网络的激活函数，表示上衣i的视觉特征的潜在表示，表示上衣i的文本特征的潜在表示，表示下衣j的视觉特征的潜在表示，表示下衣j的文本特征的潜在表示，表示下衣k的视觉特征的潜在表示，表示表示下衣k的文本特征的潜在表示，rl是第l个搭配规则的one-hot二进制编码，u表示第u个搭配规则；其中Wt、Wb、Wl、wT、b、c是注意力机制的参数。
7.如权利要求1所述的基于注意力知识提取的服装搭配方法，其特征是，
根据搭配规则的约束函数和搭配规则的置信度，构建教师网络，步骤如下：
其中C是平衡正则化参数，KL表示教师网络的预测输出q(i,j,k)和学生网络的预测输出p(i,j,k)的KL散度，是搭配规则约束函数的期望运算；
收敛问题的解为：
q(i,j,k)∝p(i,j,k)exp{∑lCλlfl(i,j,k)}；(13)
将约束函数fl(i,j,k)和第l个搭配规则的置信度λl代入公式(13)中，便完成了教师网络的构建。
8.如权利要求1所述的基于注意力知识提取的服装搭配方法，其特征是，
利用训练好的学生网络对待搭配的服装进行搭配的步骤为：
提取待搭配服装的视觉特征和文本特征；
提取待选择的服装的视觉特征和文本特征；
将得到的待搭配服装的视觉特征、待搭配服装的文本特征、待选择的服装的视觉特征和待选择的服装的文本特征输入训练好的学生网络，输出与待搭配服装最匹配的服装。
9.基于注意力知识提取的服装搭配系统，包括：存储器、处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时完成上述权利要求1-8任一方法所述的步骤。
10.一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器运行时，完成上述权利要求1-8任一方法所述的步骤。
CN201810501943.0A 2018-05-23 2018-05-23 基于注意力知识提取的服装搭配方法、系统及存储介质 Pending CN108875910A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810501943.0A CN108875910A (zh) 2018-05-23 2018-05-23 基于注意力知识提取的服装搭配方法、系统及存储介质
PCT/CN2018/122943 WO2019223302A1 (zh) 2018-05-23 2018-12-22 基于注意力知识提取的服装搭配方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810501943.0A CN108875910A (zh) 2018-05-23 2018-05-23 基于注意力知识提取的服装搭配方法、系统及存储介质

Publications (1)

Publication Number Publication Date
CN108875910A true CN108875910A (zh) 2018-11-23

Family

ID=64334159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810501943.0A Pending CN108875910A (zh) 2018-05-23 2018-05-23 基于注意力知识提取的服装搭配方法、系统及存储介质

Country Status (2)

Country Link
CN (1) CN108875910A (zh)
WO (1) WO2019223302A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583498A (zh) * 2018-11-29 2019-04-05 天津大学 一种基于低秩正则化特征增强表征的时尚兼容度预测方法
CN110175253A (zh) * 2019-05-13 2019-08-27 山东大学 一种用户个性化服装搭配方法及装置
CN110188449A (zh) * 2019-05-27 2019-08-30 山东大学 基于属性的可解释的服装信息推荐方法、系统、介质及设备
WO2019223302A1 (zh) * 2018-05-23 2019-11-28 山东大学 基于注意力知识提取的服装搭配方法、系统及存储介质
CN110674688A (zh) * 2019-08-19 2020-01-10 深圳力维智联技术有限公司 用于视频监控场景的人脸识别模型获取方法、系统和介质
CN110807477A (zh) * 2019-10-18 2020-02-18 山东大学 基于注意力机制的神经网络服装搭配方案生成方法及系统
CN110825963A (zh) * 2019-10-18 2020-02-21 山东大学 基于生成式的辅助模板增强服装搭配方案生成方法及系统
CN111401558A (zh) * 2020-06-05 2020-07-10 腾讯科技（深圳）有限公司 数据处理模型训练方法、数据处理方法、装置、电子设备
CN113139378A (zh) * 2021-03-18 2021-07-20 杭州电子科技大学 一种基于视觉嵌入和条件归一化的图像描述方法
CN114707427A (zh) * 2022-05-25 2022-07-05 青岛科技大学 基于有效邻居取样最大化的图神经网络的个性化建模方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612011B (zh) * 2020-05-21 2023-09-05 郑泽宇 一种基于人体语义分割的服饰色彩提取方法
CN112465593B (zh) * 2020-11-27 2024-03-29 中国科学技术大学 通过图神经网络实现时尚套装推荐的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787490A (zh) * 2016-03-24 2016-07-20 南京新与力文化传播有限公司 基于深度学习的商品潮流识别方法及装置
CN107679960A (zh) * 2017-10-12 2018-02-09 东北大学 一种基于服装图像和标签文本双模态内容分析的个性化服装的推荐方法
CN107729444A (zh) * 2017-09-30 2018-02-23 桂林电子科技大学 一种基于知识图谱的个性化旅游景点推荐方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8265923B2 (en) * 2010-05-11 2012-09-11 Xerox Corporation Statistical machine translation employing efficient parameter training
CN104391971A (zh) * 2014-12-05 2015-03-04 常州飞寻视讯信息科技有限公司 一种智能服饰搭配自动推荐方法
CN106055893B (zh) * 2016-05-27 2018-08-31 杭州一土网络科技有限公司 基于时尚模板库和自动匹配的服装搭配方案生成方法
CN106504064A (zh) * 2016-10-25 2017-03-15 清华大学 基于深度卷积神经网络的服装分类与搭配推荐方法及系统
CN108052952A (zh) * 2017-12-19 2018-05-18 中山大学 一种基于特征提取的服装相似度判定方法及其系统
CN108875910A (zh) * 2018-05-23 2018-11-23 山东大学 基于注意力知识提取的服装搭配方法、系统及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787490A (zh) * 2016-03-24 2016-07-20 南京新与力文化传播有限公司 基于深度学习的商品潮流识别方法及装置
CN107729444A (zh) * 2017-09-30 2018-02-23 桂林电子科技大学 一种基于知识图谱的个性化旅游景点推荐方法
CN107679960A (zh) * 2017-10-12 2018-02-09 东北大学 一种基于服装图像和标签文本双模态内容分析的个性化服装的推荐方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XUEMENG SONG等: ""Neural Compatibility Modeling with Attentive Knowledge Distillation"", 《ARXIV》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019223302A1 (zh) * 2018-05-23 2019-11-28 山东大学 基于注意力知识提取的服装搭配方法、系统及存储介质
CN109583498A (zh) * 2018-11-29 2019-04-05 天津大学 一种基于低秩正则化特征增强表征的时尚兼容度预测方法
CN109583498B (zh) * 2018-11-29 2023-04-07 天津大学 一种基于低秩正则化特征增强表征的时尚兼容度预测方法
CN110175253A (zh) * 2019-05-13 2019-08-27 山东大学 一种用户个性化服装搭配方法及装置
CN110188449A (zh) * 2019-05-27 2019-08-30 山东大学 基于属性的可解释的服装信息推荐方法、系统、介质及设备
CN110674688A (zh) * 2019-08-19 2020-01-10 深圳力维智联技术有限公司 用于视频监控场景的人脸识别模型获取方法、系统和介质
CN110674688B (zh) * 2019-08-19 2023-10-31 深圳力维智联技术有限公司 用于视频监控场景的人脸识别模型获取方法、系统和介质
CN110807477B (zh) * 2019-10-18 2022-06-07 山东大学 基于注意力机制的神经网络服装搭配方案生成方法及系统
CN110825963B (zh) * 2019-10-18 2022-03-25 山东大学 基于生成式的辅助模板增强服装搭配方案生成方法及系统
CN110825963A (zh) * 2019-10-18 2020-02-21 山东大学 基于生成式的辅助模板增强服装搭配方案生成方法及系统
CN110807477A (zh) * 2019-10-18 2020-02-18 山东大学 基于注意力机制的神经网络服装搭配方案生成方法及系统
CN111401558B (zh) * 2020-06-05 2020-10-09 腾讯科技（深圳）有限公司 数据处理模型训练方法、数据处理方法、装置、电子设备
CN111401558A (zh) * 2020-06-05 2020-07-10 腾讯科技（深圳）有限公司 数据处理模型训练方法、数据处理方法、装置、电子设备
CN113139378A (zh) * 2021-03-18 2021-07-20 杭州电子科技大学 一种基于视觉嵌入和条件归一化的图像描述方法
CN113139378B (zh) * 2021-03-18 2022-02-18 杭州电子科技大学 一种基于视觉嵌入和条件归一化的图像描述方法
CN114707427A (zh) * 2022-05-25 2022-07-05 青岛科技大学 基于有效邻居取样最大化的图神经网络的个性化建模方法

Also Published As

Publication number Publication date
WO2019223302A1 (zh) 2019-11-28

Similar Documents

Publication Publication Date Title
CN108875910A (zh) 基于注意力知识提取的服装搭配方法、系统及存储介质
CN108961245A (zh) 基于双通道深度并行卷积网络的图像质量分类方法
Chen et al. Assessing four neural networks on handwritten digit recognition dataset (MNIST)
CN108921123A (zh) 一种基于双重数据增强的人脸识别方法
CN110378985A (zh) 一种基于gan的动漫绘画辅助创作方法
CN108960959A (zh) 基于神经网络的多模态互补服装搭配方法、系统及介质
Lin et al. Attribute-Aware Convolutional Neural Networks for Facial Beauty Prediction.
Särmäkari et al. ‘Just hit a button!’–fashion 4.0 designers as cyborgs, experimenting and designing with generative algorithms
CN107818336A (zh) 一种基于城市特定人群和关联政策的匹配推荐方法及系统
CN108154156A (zh) 基于神经主题模型的图像集成分类方法及装置
CN107748798A (zh) 一种基于多层视觉表达和深度网络的手绘图像检索方法
Jia et al. Learning to appreciate the aesthetic effects of clothing
Gu et al. Data driven webpage color design
Liu et al. Magic mirror: A virtual fashion consultant
Zhang et al. From popularization to marketization: The hypermodal nucleus in institutional science news
Li [Retracted] Intelligent Environmental Art Design Combining Big Data and Artificial Intelligence
Liu et al. Emotion assessment and application in human–computer interaction interface based on backpropagation neural network and artificial bee colony algorithm
CN110390307A (zh) 表情识别方法、表情识别模型训练方法及装置
Zhang et al. Pattern retrieval of yarn‐dyed plaid fabric based on modified interactive genetic algorithm
Angelov et al. Advances in computational intelligence systems
ISHIBASHI et al. Statistics-based interactive evolutionary computation for color scheme search
Podlasov et al. Japanese street fashion for young people: A multimodal digital humanities approach for identifying sociocultural patterns and trends
CN109033941A (zh) 一种基于稀疏投影学习的微表情识别方法
Wang et al. The visual design of urban multimedia portals
Yi et al. Classification and improvement of multi label image based on vgg16 network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181123

RJ01 Rejection of invention patent application after publication