CN110188449B - 基于属性可解释的服装信息推荐方法、系统、介质及设备 - Google Patents

基于属性可解释的服装信息推荐方法、系统、介质及设备 Download PDF

Info

Publication number
CN110188449B
CN110188449B CN201910445961.6A CN201910445961A CN110188449B CN 110188449 B CN110188449 B CN 110188449B CN 201910445961 A CN201910445961 A CN 201910445961A CN 110188449 B CN110188449 B CN 110188449B
Authority
CN
China
Prior art keywords
attribute
attributes
garment
clothes
clothing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910445961.6A
Other languages
English (en)
Other versions
CN110188449A (zh
Inventor
宋雪萌
杨鑫
温皓琨
姚一杨
朱磊
刘萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201910445961.6A priority Critical patent/CN110188449B/zh
Publication of CN110188449A publication Critical patent/CN110188449A/zh
Application granted granted Critical
Publication of CN110188449B publication Critical patent/CN110188449B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种基于属性的可解释的服装信息推荐方法、系统、介质及设备，本公开采取注意力机制来动态的整合属性搭配信号从而得到服装的搭配得分，信息推荐准确率更好，同时利用交互机制来捕捉属性层次的搭配信号，从而提高服装搭配的可解释性。

Description

基于属性可解释的服装信息推荐方法、系统、介质及设备
技术领域
本公开属于信息智能化处理领域，具体涉及一种基于属性的可解释的服装信息推荐方法、系统、介质及设备。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
随着服装行业的蓬勃发展，互补服装的相容性建模在服装推荐、穿衣助理等等诸多时尚应用中有着重要的作用。近年来，已经有许多研究工作围绕服装搭配和推荐展开。然而现有的技术主要应用“黑盒”的深度神经网络对互补服装的图像和文本进行相容性建模，因此不可避免地缺乏搭配结果的可解释性(例如，为什么两件服装不搭配)。
事实上，服装属性通常被作为一种中层表示来桥接低层次的视觉特征和高层次的用户意图间的语义间隔，而且服装属性间的搭配模式更容易被用户理解和接受。
但是据发明人了解，服装属性在实际的推荐和搭配应用中很难获取，如果请求用户输入服装属性会降低应用的交互体验。因此，目前的服饰自动推荐技术无法令服装的视觉信息和属性语义对齐，已存在的用于服装搭配建模的数据集缺乏细粒度的属性级搭配的标注，无法根据服装的搭配标注学习属性间的搭配信号；另外，对于不同的互补套装，相同的属性搭配信号可能有不同的置信度，如何动态地分配属性间搭配信号的置信度成为了无法解决的问题。
发明内容
本公开为了解决上述问题，提出了一种基于属性的可解释的服装信息推荐方法、系统、介质及设备，本公开采取注意力机制来动态的整合属性搭配信号从而得到服装的搭配得分，信息推荐准确率更好，同时利用交互机制来捕捉属性层次的搭配信号，从而提高服装搭配的可解释性。
根据一些实施例，本公开采用如下技术方案：
一种基于属性的可解释的服装信息推荐方法，包括以下步骤：
预训练卷积神经网络来分类服装属性并生成属性激活图，根据生成的对应的服装属性激活图来无监督地定位服装属性的相关区域，利用阈值全局池化根据属性的相关区域提取对应服装属性的特征表示；
将服装属性的特征表示通过深度学习网络映射到潜在的非线性搭配空间，采用属性交互机制来挖掘属性间的搭配信号；
采用注意力机制来动态地分配属性搭配信号在不同的套装的置信度，并将属性间的搭配信号动态地整合成服装间的搭配得分；
同时从属性和全局的角度建模服装的相容性，并用相对熵来保持两者建模结果的一致性，通过迭代训练，保存模型参数，生成可解释的服装搭配推荐模型，基于所述模型进行服装信息的推荐。
作为进一步的限定，所述预训练卷积神经网络来分类服装属性并生成属性激活图的具体过程包括：
将传统的卷积神经网络去掉全连接层并连接一个全局池化层，利用全局池化层输出的特征表示对属性进行分类，通过最大化正确类别的预测概率来预训练该网络；
分别构建服饰中上/下衣的数据集合，利用属性集来表明每件衣服的上/下衣属性；
根据预训练的网络权重和服装属性的预测值来生成服装的属性激活图，每一个元素表示输入图片该空间位置对属性分类结果的贡献度，值越大表示该空间位置与预测的属性值越相关。
作为进一步的限定，利用阈值全局池化根据属性的相关区域提取对应服装属性的特征表示的具体过程包括：
利用阈值全局池化来提取属性相关空间位置的表示，阈值全局池化只对卷积网络输出的特征图上与该属性相关区域的激活值进行全局池化，将阈值全局池化的输出经过两层全连接层来得到属性的特征表示，然后用分类损失函数来优化学到的每个属性特征表示。
作为进一步的限定，采用属性交互机制来挖掘属性间的搭配信号的具体过程包括：分别获取上衣集合、下衣集合和搭配正例集合，进行相容性建模，将上下衣的属性特征表示映射到一个潜在的非线性搭配空间来建模属性间的相容性，基于上下衣属性的潜在表示，用属性交互机制来计算上下衣的搭配得分。
作为进一步的限定，动态分配属性搭配信号的过程包括：将属性交互的置信度拆分成上下衣两个属性的置信度，利用全局池化的输出表示下衣的全局特征，依据上衣属性特征和下衣全局特征的潜在表示计算上衣属性的置信度，依据属性在当前互补套装中的置信度，动态地将属性间的搭配信号整合成服装的搭配得分。
作为进一步的限定，综合考虑下衣某个属性对上下衣搭配得分的影响，分别计算对下衣中对服装相容性最有益的属性和最有害的属性。
作为进一步的限定，生成可解释的服装搭配推荐模型的具体过程包括：
根据贝叶斯个性化排序算法构建网络的损失函数，从全局角度建模服装的相容性，应用相对熵使两个角度建模的结果保持一致，基于损失函数、相容性、相对熵，乘以相应的参数，并相加，得到最终的优化函数，进而进行迭代训练。
一种基于属性的可解释的服装信息推荐系统，包括：
属性表示模块，被配置为利用预训练卷积神经网络来分类服装属性并生成属性激活图，根据生成的对应的服装属性激活图来无监督地定位服装属性的相关区域，利用阈值全局池化根据属性的相关区域提取对应服装属性的特征表示；
映射模块，被配置为将服装属性的特征表示通过深度学习网络映射到潜在的非线性搭配空间，采用属性交互机制来挖掘属性间的搭配信号；
置信度配置模块，被配置为采用注意力机制来动态地分配属性搭配信号在不同的套装的置信度，并将属性间的搭配信号动态地整合成服装间的搭配得分；
模型生成模块，从属性和全局的角度建模服装的相容性，并用相对熵来保持两者建模结果的一致性，通过迭代训练，保存模型参数，生成可解释的服装搭配推荐模型，基于所述模型进行服装信息的推荐。
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种基于属性的可解释的服装信息推荐方法。
一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种基于属性的可解释的服装信息推荐方法。
与现有技术相比，本公开的有益效果为：
本公开利用了无监督的方式来定位服装属性的相关区域，并进一步提取属性的特征表示,使得在模型能够在不需要用户输入属性的情况下友好地和用户进行交互。利用属性间的互动机制将能够捕捉属性间的相容性，并将服装间的搭配信息转换成利于用户理解的属性级搭配信息，由此增强服装相容性评价结果的可解释性。
考虑到相同的属性搭配信号在不同互补服装中有不同的置信水平，本公开的模型中无缝地加入了注意力机制，实现了搭配信号置信度的自动分配。此外还利用相对熵来保持服装属性相容性建模角度和服装全局相容性建模角度的一致性，这保证了在建模服装相容性的过程中不仅能够考虑属性间的搭配信息，同时能够综合地考虑服装的全局信息，从而提高模型的性能。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1是本公开的流程示意图；
具体实施方式：
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
为方便本领域技术人员更加清楚本技术方案，在此进行专业术语解释：
深度神经网络：深度神经网络是在输入层和输出层之间具有多个隐藏层的人工神经网络。神经网络由许多相互关联的概念化的人造神经元组成，这些人造神经元之间可以互相传递数据，并且根据网络调整相关权重。
卷积神经网络：是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网络由一个或多个卷积层和顶端的全连通层(对应经典的神经网络)组成，同时也包括关联权重和池化层。
相对熵：是两个概率分布P和Q差别的非对称性的度量。
注意力机制：源于对人类视觉的研究。在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息。
贝叶斯个性化排序算法：一种用于隐含反馈的推荐算法。
全局平均池化：常用于卷积神经网络的特征降维，对输入的特征向量输出其所有元素的平均值。
一种基于属性的可解释的服装搭配方法，主要包括以下步骤：
S1：预训练经过修改的卷积神经网络来分类服装属性并生成属性激活图，根据生成的对应的服装属性激活图来无监督地定位服装属性的相关区域。然后利用阈值全局池化根据属性的相关区域提取对应服装属性的特征表示；
S2:将服装属性的特征表示通过深度学习网络映射到潜在的非线性搭配空间，在搭配空间中，搭配的属性间的潜在特征表示会得到更高的相似度。然后本公开采用属性交互机制来挖掘属性间的搭配信号；
S3：本公开采用注意力机制来动态地分配属性搭配信号在不同的套装的置信度，并将属性间的搭配信号动态地整合成服装间的搭配得分；
S4：考虑到服装属性间的搭配表示并不能综合地反映服装全局的搭配结果，因此同时从属性和全局的角度建模服装的相容性，并用相对熵来保持两者建模结果的一致性。通过迭代训练，保存模型参数，用于完成可解释的服装搭配推荐。
步骤S1对齐服装属性语义和视觉特征的过程主要包括：
S11：由于服装搭配数据集缺少细颗粒度的服装属性标注，本公开引入一个附属数据集(Fashion100K)来预训练网络用于属性特征学习。其中上(下)衣集合表示为
Figure BDA0002073636900000071
其中
Figure BDA0002073636900000072
表示上(下)衣件数。对上(下) 衣，本公开有一个预定义的属性集
Figure BDA0002073636900000073
Mt(Mb)表示上 (下)衣属性个数。用
Figure BDA0002073636900000074
表示属性um(rn)可能的取值。为了简化表示，本公开省去服装的下标，用
Figure BDA0002073636900000075
来表示一件上(下)衣。以上衣属性特征为例，下衣属性特征的学习网络可以用下衣集合在相同的网络结构上训练得到；
S12：首先将传统的卷积神经网络去掉全连接层并连接一个全局池化层，利用全局池化层输出的特征表示对属性进行分类，通过最大化正确类别的预测概率来预训练该网络；
S13：根据S12预训练的网络权重和服装属性的预测值来生成服装
Figure BDA0002073636900000087
的属性激活图：
Figure BDA0002073636900000081
Figure BDA0002073636900000082
c*表示服装
Figure BDA0002073636900000083
属性um的预测值，
Figure BDA0002073636900000084
表示卷积网络最后一个卷积层第k个特征图的权重，fk(x,y)表示该卷积层第k个特征图在空间位置(x,y)的激活值，
Figure BDA0002073636900000085
表示um的属性激活图，每一个元素表示输入图片该空间位置对属性分类结果的贡献度，值越大表示该空间位置与预测的属性值越相关；
S14：利用阈值全局池化来提取属性相关空间位置的表示，阈值全局池化只对卷积网络输出的特征图上与该属性相关区域的激活值(该位置在属性激活图上值大于一定阈值)进行全局池化，阈值全局池化的输出可以由以下公式得到：
Figure BDA0002073636900000086
为了提出输入服装图片更基础的视觉特征，本公开选择倒数第三个卷积层输出的特征图，f′(x,y)表示该卷积层输出的第k个特征图在空间位置(x,y)的局池化后第k个特征图的输出；
S15：为了让学到的属性表示能够拥有对属性的更强识别能力，对每一个属性，本公开将阈值全局池化的输出经过两层全连接层来得到属性的特征表示，然后用以下分类损失函数来优化学到的每个属性特征表示：
Figure BDA0002073636900000091
Figure BDA0002073636900000092
是服装
Figure BDA0002073636900000093
属性um的特征表示，gm是属性um的真实值；
S16：相同的属性值应该共享相似属性表示，因此建立如下三元组集合ε来和损失函数
Figure BDA0002073636900000094
来优化属性表示：
Figure BDA0002073636900000095
Figure BDA0002073636900000096
ε集合中t+和
Figure BDA0002073636900000097
每个属性的值都相同，t-和
Figure BDA0002073636900000098
每个属性的值都不相同。α是一个阈值，d(·,·)表示两个属性表示的余弦相似度。综上所述，本公开通过损失函数
Figure BDA0002073636900000099
来训练属性特征学习网络：
Figure BDA00020736369000000910
步骤S2利用属性交互机制学习属性搭配信号的过程主要包括：
S21：本公开使用了从Polyvore(时尚社区网站)获取的上衣集合
Figure BDA00020736369000000911
下衣集合
Figure BDA00020736369000000912
和搭配正例集合
Figure BDA00020736369000000913
进行相容性建模，其中
Figure BDA00020736369000000914
表示上衣,
Figure BDA00020736369000000915
表示下衣,N表示搭配正例套数。本公开用S1在附属数据集上预训练好的网络来提取
Figure BDA00020736369000000916
中每件服装的属性表示。为了简化表示，暂时省去上(下)衣t(b)的下标表示，用
Figure BDA00020736369000000917
分别是上(下)衣t(b)属性um(rn)的特征表示；
S22：将上下衣的属性特征表示映射到一个潜在的非线性搭配空间来建模属性间的相容性，
Figure BDA0002073636900000101
的潜在表示
Figure BDA0002073636900000102
可以表示为：
Figure BDA0002073636900000103
Figure BDA0002073636900000104
和
Figure BDA0002073636900000105
是模型参数，下衣b属性rn的潜在表示
Figure BDA0002073636900000106
也可以由相同的网络不同的参数(
Figure BDA0002073636900000107
和
Figure BDA0002073636900000108
)得到。基于上下衣属性的潜在表示，可以用一个朴素的属性交互机制来计算上下衣的搭配得分q：
Figure BDA0002073636900000109
步骤S3动态分配属性搭配信号的过程主要包括：
S31：考虑到属性搭配信号在不同互补套装中有着不同的置信度，本公开用注意力机制来灵活地分配置信度，由于每对属性涉及来自上下衣的两个属性，本公开将属性交互的置信度拆分成两个属性的置信度。对给定下衣b，上衣t中每个属性的置信度应该综合地考虑下衣b的影响。本公开用S1中全局池化的输出gb表示b的全局特征，考虑到潜在的搭配空间是非线性的，同样获得gb在搭配空间的潜在表示
Figure BDA00020736369000001010
Figure BDA00020736369000001011
Figure BDA00020736369000001012
和
Figure BDA00020736369000001013
是模型参数；
S32：依据上衣属性特征和下衣全局特征的潜在表示可以计算上衣t中属性 um的置信度
Figure BDA00020736369000001014
Figure BDA0002073636900000111
Ua，Ug，b是注意力网络的参数，可以用类似的方法求出下衣b中属性rn的置信度
Figure BDA0002073636900000112
S33:依据属性在当前互补套装中的置信度，可以动态地将属性间的搭配信号整合成服装的搭配得分：
Figure BDA0002073636900000113
smn表示上衣属性um和下衣属性rn在该套装中的搭配得分，q是应用注意力机制后服装的搭配得分；
S34:给定一件上衣，由于下衣的某个属性会和上衣不同属性有着不同的搭配得分，为了综合考虑下衣某个属性对上下衣搭配得分的影响，本公开分别计算对下衣中对服装相容性最有益的属性
Figure BDA0002073636900000114
和最有害的属性
Figure BDA0002073636900000115
Figure BDA0002073636900000116
步骤S4优化服装相容性建模的过程主要包括：
S41:构建三元组
Figure BDA0002073636900000117
其中
Figure BDA0002073636900000118
ti与bj比ti与bk更相容。根据贝叶斯个性化排序算法 (BPR)构建网络的损失函数：
Figure BDA0002073636900000121
其中qij表示属性角度ti与bj的服装相容性；
S42:由于分别考虑单个属性信息并不能综合地评价上下衣全局的相容性，本公开从全局角度建模服装的相容性：
Figure BDA0002073636900000122
其中
Figure BDA0002073636900000123
表示全局角度ti与bj的服装相容性；
S43:应用相对熵使两个角度建模的结果保持一致：
Figure BDA0002073636900000124
Figure BDA0002073636900000125
和
Figure BDA0002073636900000126
分别是qij和qik归一化后的输出，
Figure BDA0002073636900000127
和
Figure BDA0002073636900000128
分别是pij和pik归一化后的输出；
S44:综上所述，服装相容性建模的优化函数可以形式化为：
Figure BDA0002073636900000129
μ,γ是模型超参；
S45：通过迭代训练，保存模型参数，用于完成可解释的互补服装推荐。
相应的，提供产品实施例如下：
一种基于属性的可解释的服装信息推荐系统，包括：
属性表示模块，被配置为利用预训练卷积神经网络来分类服装属性并生成属性激活图，根据生成的对应的服装属性激活图来无监督地定位服装属性的相关区域，利用阈值全局池化根据属性的相关区域提取对应服装属性的特征表示；
映射模块，被配置为将服装属性的特征表示通过深度学习网络映射到潜在的非线性搭配空间，采用属性交互机制来挖掘属性间的搭配信号；
置信度配置模块，被配置为采用注意力机制来动态地分配属性搭配信号在不同的套装的置信度，并将属性间的搭配信号动态地整合成服装间的搭配得分；
模型生成模块，从属性和全局的角度建模服装的相容性，并用相对熵来保持两者建模结果的一致性，通过迭代训练，保存模型参数，生成可解释的服装搭配推荐模型，基于所述模型进行服装信息的推荐。
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种基于属性的可解释的服装信息推荐方法。
一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种基于属性的可解释的服装信息推荐方法。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/ 或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (9)

1.一种基于属性的可解释的服装信息推荐方法，其特征是：包括以下步骤：
预训练卷积神经网络来分类服装属性并生成属性激活图，根据生成的对应的服装属性激活图来无监督地定位服装属性的相关区域，利用阈值全局池化根据属性的相关区域提取对应服装属性的特征表示；
所述预训练卷积神经网络来分类服装属性并生成属性激活图的具体过程包括：
将传统的卷积神经网络去掉全连接层并连接一个全局池化层，利用全局池化层输出的特征表示对属性进行分类，通过最大化正确类别的预测概率来预训练该网络；
分别构建服饰中上/下衣的数据集合，利用属性集来表明每件衣服的上/下衣属性；
根据预训练的网络权重和服装属性的预测值来生成服装的属性激活图，每一个元素表示输入图片空间位置对属性分类结果的贡献度，值越大表示该空间位置与预测的属性值越相关；
将服装属性的特征表示通过深度学习网络映射到潜在的非线性搭配空间，采用属性交互机制来挖掘属性间的搭配信号；
采用注意力机制来动态地分配属性搭配信号在不同的套装的置信度，并将属性间的搭配信号动态地整合成服装间的搭配得分；
同时从属性和全局的角度建模服装的相容性，并用相对熵来保持两者建模结果的一致性，通过迭代训练，保存模型参数，生成可解释的服装搭配推荐模型，基于所述模型进行服装信息的推荐。
2.如权利要求1所述的一种基于属性的可解释的服装信息推荐方法，其特征是：利用阈值全局池化根据属性的相关区域提取对应服装属性的特征表示的具体过程包括：
利用阈值全局池化来提取属性相关空间位置的表示，阈值全局池化只对卷积网络输出的特征图上与该属性相关区域的激活值进行全局池化，将阈值全局池化的输出经过两层全连接层来得到属性的特征表示，然后用分类损失函数来优化学到的每个属性特征表示。
3.如权利要求1所述的一种基于属性的可解释的服装信息推荐方法，其特征是：采用属性交互机制来挖掘属性间的搭配信号的具体过程包括：分别获取上衣集合、下衣集合和搭配正例集合，进行相容性建模，将上下衣的属性特征表示映射到一个潜在的非线性搭配空间来建模属性间的相容性，基于上下衣属性的潜在表示，用属性交互机制来计算上下衣的搭配得分。
4.如权利要求1所述的一种基于属性的可解释的服装信息推荐方法，其特征是：动态分配属性搭配信号的过程包括：将属性交互的置信度拆分成上下衣两个属性的置信度，利用全局池化的输出表示下衣的全局特征，依据上衣属性特征和下衣全局特征的潜在表示计算上衣属性的置信度，依据属性在当前互补套装中的置信度，动态地将属性间的搭配信号整合成服装的搭配得分。
5.如权利要求4所述的一种基于属性的可解释的服装信息推荐方法，其特征是：综合考虑下衣某个属性对上下衣搭配得分的影响，分别计算对下衣中对服装相容性最有益的属性和最有害的属性。
6.如权利要求1所述的一种基于属性的可解释的服装信息推荐方法，其特征是：生成可解释的服装搭配推荐模型的具体过程包括：
根据贝叶斯个性化排序算法构建网络的损失函数，从全局角度建模服装的相容性，应用相对熵使两个角度建模的结果保持一致，基于损失函数、相容性、相对熵，乘以相应的参数，并相加，得到最终的优化函数，进而进行迭代训练。
7.一种基于属性的可解释的服装信息推荐系统，其特征是：包括：
属性表示模块，被配置为利用预训练卷积神经网络来分类服装属性并生成属性激活图，根据生成的对应的服装属性激活图来无监督地定位服装属性的相关区域，利用阈值全局池化根据属性的相关区域提取对应服装属性的特征表示；
所述预训练卷积神经网络来分类服装属性并生成属性激活图的具体过程包括：
将传统的卷积神经网络去掉全连接层并连接一个全局池化层，利用全局池化层输出的特征表示对属性进行分类，通过最大化正确类别的预测概率来预训练该网络；
分别构建服饰中上/下衣的数据集合，利用属性集来表明每件衣服的上/下衣属性；
根据预训练的网络权重和服装属性的预测值来生成服装的属性激活图，每一个元素表示输入图片空间位置对属性分类结果的贡献度，值越大表示该空间位置与预测的属性值越相关；
映射模块，被配置为将服装属性的特征表示通过深度学习网络映射到潜在的非线性搭配空间，采用属性交互机制来挖掘属性间的搭配信号；
置信度配置模块，被配置为采用注意力机制来动态地分配属性搭配信号在不同的套装的置信度，并将属性间的搭配信号动态地整合成服装间的搭配得分；
模型生成模块，从属性和全局的角度建模服装的相容性，并用相对熵来保持两者建模结果的一致性，通过迭代训练，保存模型参数，生成可解释的服装搭配推荐模型，基于所述模型进行服装信息的推荐。
8.一种计算机可读存储介质，其特征是：其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行权利要求1-6中任一项所述的一种基于属性的可解释的服装信息推荐方法。
9.一种终端设备，其特征是：包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行权利要求1-6中任一项所述的一种基于属性的可解释的服装信息推荐方法。
CN201910445961.6A 2019-05-27 2019-05-27 基于属性可解释的服装信息推荐方法、系统、介质及设备 Active CN110188449B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910445961.6A CN110188449B (zh) 2019-05-27 2019-05-27 基于属性可解释的服装信息推荐方法、系统、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910445961.6A CN110188449B (zh) 2019-05-27 2019-05-27 基于属性可解释的服装信息推荐方法、系统、介质及设备

Publications (2)

Publication Number Publication Date
CN110188449A CN110188449A (zh) 2019-08-30
CN110188449B true CN110188449B (zh) 2020-12-04

Family

ID=67717993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910445961.6A Active CN110188449B (zh) 2019-05-27 2019-05-27 基于属性可解释的服装信息推荐方法、系统、介质及设备

Country Status (1)

Country Link
CN (1) CN110188449B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110659958B (zh) * 2019-09-06 2022-03-15 电子科技大学 基于生成对抗网络的服饰搭配生成方法
CN110807477B (zh) * 2019-10-18 2022-06-07 山东大学 基于注意力机制的神经网络服装搭配方案生成方法及系统
CN111767953B (zh) * 2020-06-30 2021-11-26 北京字节跳动网络技术有限公司 用于训练物品编码模型的方法和装置
CN112101850B (zh) * 2020-08-11 2024-06-07 大亚湾核电运营管理有限责任公司 核电站备件的货位推荐方法、装置、设备及介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9294727B2 (en) * 2007-10-31 2016-03-22 Veritone, Inc. System and method for creation and management of advertising inventory using metadata
US10026021B2 (en) * 2016-09-27 2018-07-17 Facebook, Inc. Training image-recognition systems using a joint embedding model on online social networks
US10467818B2 (en) * 2017-05-31 2019-11-05 Marie Manvel System and method for virtual wardrobe selection
CN108875910A (zh) * 2018-05-23 2018-11-23 山东大学 基于注意力知识提取的服装搭配方法、系统及存储介质
CN108920828B (zh) * 2018-06-29 2021-02-05 云智衣橱（深圳）科技有限责任公司 一种服装搭配的方法及系统
CN109740493A (zh) * 2018-12-27 2019-05-10 维沃移动通信有限公司 一种目标对象推荐方法及移动终端
CN109754317B (zh) * 2019-01-10 2020-11-06 山东大学 融合评论的可解释性服装推荐方法、系统、设备及介质

Also Published As

Publication number Publication date
CN110188449A (zh) 2019-08-30

Similar Documents

Publication Publication Date Title
CN110188449B (zh) 基于属性可解释的服装信息推荐方法、系统、介质及设备
CN110021051B (zh) 一种基于生成对抗网络通过文本指导的人物图像生成方法
Afif et al. An evaluation of retinanet on indoor object detection for blind and visually impaired persons assistance navigation
Huang et al. An effective hybrid learning system for telecommunication churn prediction
Arietta et al. City forensics: Using visual elements to predict non-visual city attributes
KR102252439B1 (ko) 이미지에서 오브젝트 검출 및 표현
Raut Facial emotion recognition using machine learning
CN113642409A (zh) 一种人脸匿名化系统及方法、终端
CN110807379B (zh) 一种语义识别方法、装置、以及计算机存储介质
CN111310821A (zh) 多视图特征融合方法、系统、计算机设备及存储介质
JPWO2019035364A1 (ja) プログラム、情報処理方法、および情報処理装置
Potluri et al. An automated online proctoring system using attentive-net to assess student mischievous behavior
Rani et al. An effectual classical dance pose estimation and classification system employing convolution neural network–long shortterm memory (CNN-LSTM) network for video sequences
CN113128526B (zh) 图像识别方法、装置、电子设备和计算机可读存储介质
Zhang et al. Online deep learning based on auto-encoder
CN110705622A (zh) 一种决策方法、系统以及电子设备
CN109255377A (zh) 仪器识别方法、装置、电子设备及存储介质
CN113762041A (zh) 视频分类方法、装置、计算机设备和存储介质
Peters et al. Dynamic clustering with soft computing
Sun et al. Arctext: A unified text approach to describing convolutional neural network architectures
Custodio João et al. Dynamic nonparametric clustering of multivariate panel data
Howell Face unit radial basis function networks
OTA et al. Kansei retrieval of clothing using features extracted by deep neural network
JP2023090592A (ja) ＯＣＴ－ＧＡＮ（Ｎｅｕｒａｌ ＯＤＥ－ｂａｓｅｄ Ｃｏｎｄｉｔｉｏｎａｌ Ｔａｂｕｌａｒ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）装置及びＯＣＴ－ＧＡＮ方法
CN113032614A (zh) 一种跨模态信息检索方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant