CN110209860A - 一种模板引导的基于服装属性的可解释服装搭配方法及装置 - Google Patents

一种模板引导的基于服装属性的可解释服装搭配方法及装置 Download PDF

Info

Publication number
CN110209860A
CN110209860A CN201910393931.5A CN201910393931A CN110209860A CN 110209860 A CN110209860 A CN 110209860A CN 201910393931 A CN201910393931 A CN 201910393931A CN 110209860 A CN110209860 A CN 110209860A
Authority
CN
China
Prior art keywords
clothes
attribute
template
collocation
compatible
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910393931.5A
Other languages
English (en)
Other versions
CN110209860B (zh
Inventor
宋雪萌
聂礼强
韩贤静
刘萌
蹇木伟
关惟俐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201910393931.5A priority Critical patent/CN110209860B/zh
Publication of CN110209860A publication Critical patent/CN110209860A/zh
Application granted granted Critical
Publication of CN110209860B publication Critical patent/CN110209860B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/535Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种模板引导的基于服装属性的可解释服装搭配方法及装置,该方法包括:接收服装搭配数据集,通过训练好的服装属性分类器获得服装搭配数据集中服装的属性分布作为服装属性表示;根据服装属性表示,利用多层感知机进行互补服装的兼容性建模,将服装搭配数据集中互补服装分为兼容套装和不兼容套装;根据服装属性表示,利用非负矩阵分解分别分解兼容套装和不兼容套装得到基于属性的兼容搭配模板和不兼容搭配模板;将互补服装的兼容性建模和搭配模板的分解无缝联结;参考兼容搭配模板,通过计算每个属性的欧式距离,得到不兼容套装中导致不兼容的属性,并修改该不兼容的属性,检索可搭配服装。

Description

一种模板引导的基于服装属性的可解释服装搭配方法及装置
技术领域
本公开属于智能服装搭配的技术领域,涉及一种模板引导的基于服装属性的可解释服装搭配方法及装置。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息,不必然构成在先技术。
近年来,服装搭配已经成为人们日常生活不可缺少的部分,因为得体的搭配套装可以迅速提高人们的外在形象。但并不是所有人都擅长服装搭配,一些缺少审美的人经常会困扰于互补服装(上衣、下衣)之间兼容与否、导致不兼容的因素是什么、有哪些可供选择的服装等问题。近年来,许多关于时尚的社区网站如IQON等应运而生,为我们提供了大量由时尚爱好者创作的套装,也为研究人员提供了大量的真实数据。许多研究工作围绕服装搭配和推荐展开。现有的技术主要应用深度神经网络对服装图像或文本进行特征提取,进而对互补服装的兼容性进行建模。
然而,发明人在研发过程中发现,由于深度神经网络的可解释性较差,现有的技术只能判断互补服装之间搭配与否,并不能完整的解决服装搭配问题。存在由于服装搭配相关的数据集少,缺少对服装属性的详细描述的问题,互补服装之间存在复杂的兼容性关系,无法判断互补服装中存在不兼容的属性。
发明内容
针对现有技术中存在的不足,本公开的一个或多个实施例提供了一种模板引导的基于服装属性的可解释服装搭配方法及装置,通过多层感知机(MLP)建模互补服装的兼容性,以判断互补服装兼容与否,同时本公开使用非负矩阵分解(NMF),从搭配好套装中分解出固定数量的基于服装属性(颜色、风格、款式)的兼容搭配模板,作为参考来解释不兼容互补服装中导致不兼容的属性,并对不兼容的属性进行修改,进而检索可供选择的服装,为了将兼容性建模和搭配模板的分解互相促进,使用了贝叶斯个性化排序算法(BPR)将两者联合,综合地解决智能服装搭配任务。
根据本公开的一个或多个实施例的一个方面,提供一种模板引导的基于服装属性的可解释服装搭配方法。
一种模板引导的基于服装属性的可解释服装搭配方法,该方法包括:
接收服装搭配数据集,通过训练好的服装属性分类器获得服装搭配数据集中服装的属性分布作为服装属性表示;
根据服装属性表示,利用多层感知机进行互补服装的兼容性建模,将服装搭配数据集中互补服装分为兼容套装和不兼容套装;
根据服装属性表示,利用非负矩阵分解分别分解兼容套装和不兼容套装得到基于属性的兼容搭配模板和不兼容搭配模板;
将互补服装的兼容性建模和搭配模板的分解无缝联结;
参考兼容搭配模板,通过计算每个属性的欧式距离,得到不兼容套装中导致不兼容的属性,并修改该不兼容的属性,检索可搭配服装。
进一步地,在该方法中,所述服装搭配数据集包括上衣集合、下衣集合、搭配正例集合和搭配负例集合,所述服装搭配数据集中的服装包括服装图像和服装种类标签。
进一步地,在该方法中,所述服装属性分类器的训练步骤包括:
接收具有详细服装属性标注的辅助数据集;不同种类的服装具有公共属性和特有属性;
采用具有详细服装属性标注的辅助数据集训练所述服装属性分类器。
进一步地,在该方法中,所述通过训练好的服装属性分类器获得服装搭配数据集中服装的属性分布作为服装的属性表示的具体步骤包括:
将服装搭配数据集中的服装图像输入训练好的服装属性分类器,获取服装在不同属性上的分布,得到服装属性分布;
将服装搭配数据集中服装种类表示为独热码向量,采用像素直方统计方法获取服装搭配数据集中的服装颜色,并表示为独热码向量;
将通过分类器获得的服装属性分布、服装种类的独热码向量和服装颜色的独热码向量拼接成服装的属性表示。
进一步地,在该方法中,利用多层感知机进行互补服装的兼容性建模后根据贝叶斯个性化排序算法构建第一损失函数。
进一步地,在该方法中,所述搭配模板的分解的具体步骤包括:
将搭配正例集合中上衣和下衣属性表示拼接,得到搭配正例套装的属性表示;将若干套搭配正例套装的属性表示组合成搭配正例矩阵;
将搭配负例集合中上衣和下衣属性表示拼接,得到搭配负例套装的属性表示;将若干套搭配负例套装的属性表示组合成搭配负例矩阵;
分别将搭配正例矩阵和搭配负例矩阵进行非负矩阵分解,得到非负矩阵分解的第二损失函数。
进一步地,在该方法中,通过贝叶斯个性化排序算法,将互补服装的兼容性建模和搭配模板的分解无缝联结,具体步骤包括:
计算搭配正例套装和兼容搭配模板欧氏距离的最大值,得到与搭配正例最接近的兼容搭配模板;得到其隐含表示,并计算兼容性得分;
计算搭配负例套装和不兼容搭配模板欧氏距离的最大值,得到与搭配负例最接近的不兼容搭配模板;得到其隐含表示,并计算兼容性得分;
根据贝叶斯个性化排序算法将与搭配正例最接近的兼容搭配模板的兼容性得分和与搭配负例最接近的不兼容搭配模板的兼容性得分构建第三损失函数;
将互补服装的兼容性建模和搭配模板的分解无缝联结的总目标为第一损失函数、第二损失函数与第三损失函数的综合。
进一步地,在该方法中,修改不兼容套装中不兼容的属性,检索可搭配服装,具体步骤包括:
计算不兼容套装与兼容搭配模板的欧式距离最小值,得到与不兼容套装最接近的兼容搭配模板,计算不兼容套装的属性与兼容搭配模板的属性的欧式距离最大值,得到不兼容属性;
将不兼容套装中不兼容的属性替换为最接近的兼容搭配模板中的对应属性,得到修改属性后的套装表示;
计算修改属性后的套装与上衣、下衣属性表示的欧式距离最小值,得到修改属性后的可搭配服装。
根据本公开的一个或多个实施例的一个方面,提供一种计算机可读存储介质。
一种计算机可读存储介质,其中存储有多条指令,所述指令适于由终端设备的处理器加载并执行所述的一种模板引导的基于服装属性的可解释服装搭配方法。
根据本公开的一个或多个实施例的一个方面,提供一种终端设备。
一种终端设备,其包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,所述指令适于由处理器加载并执行所述的一种模板引导的基于服装属性的可解释服装搭配方法。
根据本公开的一个或多个实施例的一个方面,提供一种模板引导的基于服装属性的可解释服装搭配装置。
一种模板引导的基于服装属性的可解释服装搭配装置,基于所述的一种模板引导的基于服装属性的可解释服装搭配方法,包括:
属性表示模块,被配置为接收服装搭配数据集,通过训练好的服装属性分类器获得服装搭配数据集中服装的属性分布作为服装属性表示;
兼容性建模模块,被配置为根据服装属性表示,利用多层感知机进行互补服装的兼容性建模,将服装搭配数据集中互补服装分为兼容套装和不兼容套装;
搭配模板分解模块,被配置为根据服装属性表示,利用非负矩阵分解分别分解兼容套装和不兼容套装得到基于属性的兼容搭配模板和不兼容搭配模板;
联结模块,被配置为将互补服装的兼容性建模和搭配模板的分解无缝联结;
属性修改模块,被配置为参考兼容搭配模板,通过计算每个属性的欧式距离,得到不兼容套装中导致不兼容的属性,并修改该不兼容的属性,检索可搭配服装。
本公开的有益效果:
本公开提供的一种模板引导的基于服装属性的可解释服装搭配方法及装置,从服装的属性角度,充分建模了互补服装的兼容性,判断互补服装是否兼容。同时本公开通过非负矩阵分解,从搭配正例套装中分解出基于服装属性的兼容搭配模板,对不兼容互补服装中导致不兼容的属性进行解释,并修改不兼容的属性,进而检索可供选择的服装,从而综合地解决服装搭配任务。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。
图1是根据一个或多个实施例的一种模板引导的基于服装属性的可解释服装搭配方法流程图;
图2是根据一个或多个实施例的训练框架图;
图3是根据一个或多个实施例的不兼容属性修改和重检索流程图。
具体实施方式:
下面将结合本公开的一个或多个实施例中的附图,对本公开的一个或多个实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本公开的一个或多个实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应该指出,以下详细说明都是例示性的,旨在对本申请提供进一步的说明。除非另有指明,本实施例使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要注意的是,附图中的流程图和框图示出了根据本公开的各种实施例的方法和系统的可能实现的体系架构、功能和操作。应当注意,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意,在有些作为备选的实现中,方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,或者它们有时也可以按照相反的顺序执行,这取决于所涉及的功能。同样应当注意的是,流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合,可以使用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以使用专用硬件与计算机指令的组合来实现。
在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合,下面结合附图与实施例对本公开作进一步说明。
专业术语解释:深度神经网络、多层感知机、非负矩阵分解、贝叶斯个性化排序算法。
深度神经网络:深度神经网络是在输入层和输出层之间具有多个隐藏层的人工神经网络。神经网络由许多相互关联的概念化的人造神经元组成,这些人造神经元之间可以互相传递数据,并且根据网络调整相关权重。
多层感知机:多层感知机是一种前向结构的人工神经网络,映射一组输入向量到一组输出向量。多层感知机可以被看作是一个有向图,由多个节点层组成,每一层全连接到下一层。除了输入节点,每个节点都是一个带有非线性激活函数的神经元(或称处理单元)。
非负矩阵分解:非负矩阵分解是一种矩阵分解方法,它使分解后的所有分量均为非负值,并且同时实现非线性的维数约减。
贝叶斯个性化排序算法:贝叶斯个性化排序算法基于贝叶斯理论在先验知识下极大化后验概率,对任意用户u对应的物品进行标记,如果用户u在同时有物品i和j的时候点击了i,那么我们就得到了一个三元组<u,i,j>,它表示对用户u来说,i的排序要比j靠前。
实施例一
根据本公开的一个或多个实施例的一个方面,提供一种模板引导的基于服装属性的可解释服装搭配方法。
如图1所示,一种模板引导的基于服装属性的可解释服装搭配方法,该方法包括:
S1:使用具有详细服装属性标注的辅助数据集训练服装属性分类器,通过训练好的分类器,获得服装搭配数据集的中服装的属性分布作为服装的属性表示。
S2:根据获取的服装属性表示,利用多层感知机对互补服装的兼容性进行建模,从而判断互补服装的兼容性。
S3:根据获取的服装属性表示,利用非负矩阵分解分别从训练集中兼容的套装和不兼容的套装中分解出基于属性的兼容搭配模板和不兼容搭配模板。
S4:通过贝叶斯个性化排序算法,将互补服装的兼容性建模和搭配模板的分解无缝联结,通过两者互相促进,提高判断互补服装是否兼容的准确率以及兼容搭配模板的质量。
S5:将兼容搭配模板作为参考,通过计算每个属性的欧式距离,判断不兼容互补服装中导致不兼容的属性,并修改不兼容的属性,检索可供选择的服装。
如图2所示,所述步骤S1服装属性表示的获取过程还包括:
S11:本发明使用的服装搭配数据集包括上衣集合 下衣集合和搭配正例集合 来进行建模,其中Nt和Nb分别表示上衣和下衣的总数,N表示搭配正例的总套数。数据集中的每一件服装都有一张图像和服装种类标签。
本发明用一个属性集合来表示一件服装,其中Q是服装属性的总数。每个属性都有一个属性元素的集合其中Mq表示第q个属性的属性元素个数。是属性元素的总数。不同种类的服装具有公共的属性和特有的属性,根据表1中的18种属性,我们对每类服装的每个属性分别在有服装属性标注的辅助数据集上训练属性分类器。
表1不同种类服装的属性
S12:将服装搭配数据集中的服装图像输入到S11中训练好的属性分类器,得到服装在不同属性上的分布,服装不具有的属性设置为零向量。将服装搭配数据集中每件服装的种类表示为独热码向量形式,用像素直方统计方法获取服装搭配数据集中每件服装的颜色,并表示为独热码向量形式。
S13:将通过分类器获得的服装属性分布、服装种类的独热码向量和服装颜色的独热码向量拼接成服装的属性表示如下:
其中,fi是上衣的属性表示,fj是下衣的属性表示。
所述步骤S2互补服装的兼容性建模过程还包括:
S21:将互补服装的属性表示通过多层感知机进行如下建模:
其中是MLP的参数,s(·)是sigmoid函数,为服装的潜在表示,本发明用表示第i件上衣和第j件下衣之间的相容性。
S22:构建三元组其中该三元组表示ti与bj比ti与bk更搭配。根据贝叶斯个性化排序算法(BPR)构建损失函数:
其中λ为非负的超参,Ω是参数的集合,最后一项用来防止模型过拟合。
所述步骤S3搭配模板的分解过程还包括:
S31:将搭配正例ti和bj的属性表示拼接,得到搭配正例套装的属性表示将搭配负例ti和bk的属性表示拼接,得到搭配负例套装的属性表示将N套搭配正例组合成维度为2M×N的搭配正例矩阵A,将N套搭配负例组合成维度为2M×N的搭配正例矩阵B。
S32:对A和B分别进行非负矩阵分解,既进行如下优化:
其中P=[p1,p2,…,pL]是矩阵分解所得的兼容搭配模板矩阵,其每一列代表一个兼容搭配模板,L为兼容搭配模板的总数;U=[u1,u2,…,uR]是矩阵分解所得的不兼容搭配模板矩阵,其每一列代表一个不兼容的搭配模板,R为不兼容搭配模板的总数。H和Z也是分解所得的矩阵。由此可得非负矩阵分解的损失函数如下:
所述步骤S4兼容性建模和搭配模板的分解的联合过程还包括:
S41:将兼容搭配模板表示为通过计算搭配正例套装和L个兼容搭配模板欧式距离的最大值,
得到pl*为与搭配正例最接近的兼容搭配模板。将不兼容搭配模板表示为通过计算搭配负例套装和R个不兼容搭配模板欧式距离的最大值,
得到为与搭配负例最接近的不兼容搭配模板。
S42:通过分别得到pl*的隐含表示本发明使用表示pl*的兼容性得分,根据贝叶斯个性化排序算法构建损失函数:
S43:为了联合兼容性建模和搭配模板的分解,提高兼容性建模的准确率,保证搭配模板的质量,本发明总的目标方程如下:
其中μ和υ是非负的平衡参数。
如图3所示,所述步骤S5判断不兼容属性和属性修改过程还包括:
S51:计算搭配负例套装和L个兼容搭配模板的欧式距离,得到与搭配负例套装最接近的兼容搭配模板pl*
S52:将pl*表示为属性形式,
其中Z=2Q表示上衣和下衣的属性总量。通过计算每个属性的平均欧式距离的最大值,
得到导致套装不兼容的属性z*
S53:将gik中的替换为pl*中的得到修改属性后的计算与fi和fk的欧式距离最小值,得到fi*为修改属性后的服装。
实施例二
根据本公开的一个或多个实施例的一个方面,提供一种计算机可读存储介质。
一种计算机可读存储介质,其中存储有多条指令,所述指令适于由终端设备的处理器加载并执行所述的一种模板引导的基于服装属性的可解释服装搭配方法。
实施例三
根据本公开的一个或多个实施例的一个方面,提供一种终端设备。
一种终端设备,其包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,所述指令适于由处理器加载并执行所述的一种模板引导的基于服装属性的可解释服装搭配方法。
这些计算机可执行指令在设备中运行时使得该设备执行根据本公开中的各个实施例所描述的方法或过程。
在本实施例中,计算机程序产品可以包括计算机可读存储介质,其上载有用于执行本公开的各个方面的计算机可读程序指令。计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
本文所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开内容操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开内容的各个方面。
实施例四
根据本公开的一个或多个实施例的一个方面,提供一种模板引导的基于服装属性的可解释服装搭配装置。
一种模板引导的基于服装属性的可解释服装搭配装置,基于所述的一种模板引导的基于服装属性的可解释服装搭配方法,包括:
属性表示模块,被配置为接收服装搭配数据集,通过训练好的服装属性分类器获得服装搭配数据集中服装的属性分布作为服装属性表示;
兼容性建模模块,被配置为根据服装属性表示,利用多层感知机进行互补服装的兼容性建模,将服装搭配数据集中互补服装分为兼容套装和不兼容套装;
搭配模板分解模块,被配置为根据服装属性表示,利用非负矩阵分解分别分解兼容套装和不兼容套装得到基于属性的兼容搭配模板和不兼容搭配模板;
联结模块,被配置为将互补服装的兼容性建模和搭配模板的分解无缝联结;
属性修改模块,被配置为参考兼容搭配模板,通过计算每个属性的欧式距离,得到不兼容套装中导致不兼容的属性,并修改该不兼容的属性,检索可搭配服装。
应当注意,尽管在上文的详细描述中提及了设备的若干模块或子模块,但是这种划分仅仅是示例性而非强制性的。实际上,根据本公开的实施例,上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之,上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
本公开的有益效果:
(1)本公开提供的一种模板引导的基于服装属性的可解释服装搭配方法及装置,由于服装搭配相关的数据集缺少对服装属性的详细描述,本公开使用预训练的服装属性分类网络,获取服装的属性分布作为服装的属性表示。
(2)本公开提供的一种模板引导的基于服装属性的可解释服装搭配方法及装置,使用多层感知机建模互补服装之间复杂的兼容性关系,以判断互补服装是否兼容。
(3)本公开提供的一种模板引导的基于服装属性的可解释服装搭配方法及装置,通过非负矩阵分解从搭配好套装中分解出固定数量的基于服装属性的兼容搭配模板作为参考,以判断不兼容互补服装中导致不兼容的属性。
(4)本公开提供的一种模板引导的基于服装属性的可解释服装搭配方法及装置,通过贝叶斯个性化排序算法,将互补服装的兼容性建模和搭配模板的分解无缝联结,使两者互相促进,以解决综合性的服装搭配任务。
(5)本公开提供的一种模板引导的基于服装属性的可解释服装搭配方法及装置,通过多层感知机(MLP)建模互补服装的兼容性,以判断互补服装兼容与否。同时本发明使用非负矩阵分解(NMF),从搭配好套装中分解出固定数量的基于服装属性(颜色、风格、款式)的兼容搭配模板,作为参考来解释不兼容互补服装中导致不兼容的属性,并对不兼容的属性进行修改,进而检索可供选择的服装。为了将兼容性建模和搭配模板的分解互相促进,我们使用了贝叶斯个性化排序算法(BPR)将两者联合,从而更好地解答互补服装之间兼容与否、导致不兼容的属性是什么、有哪些可供选择的服装这三个问题,综合地解决服装搭配任务。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种模板引导的基于服装属性的可解释服装搭配方法,其特征在于,该方法包括:
接收服装搭配数据集,通过训练好的服装属性分类器获得服装搭配数据集中服装的属性分布作为服装属性表示;
根据服装属性表示,利用多层感知机进行互补服装的兼容性建模,将服装搭配数据集中互补服装分为兼容套装和不兼容套装;
根据服装属性表示,利用非负矩阵分解分别分解兼容套装和不兼容套装得到基于属性的兼容搭配模板和不兼容搭配模板;
将互补服装的兼容性建模和搭配模板的分解无缝联结;
参考兼容搭配模板,通过计算每个属性的欧式距离,得到不兼容套装中导致不兼容的属性,并修改该不兼容的属性,检索可搭配服装。
2.如权利要求1所述的一种模板引导的基于服装属性的可解释服装搭配方法,其特征在于,在该方法中,所述服装搭配数据集包括上衣集合、下衣集合、搭配正例集合和搭配负例集合,所述服装搭配数据集中的服装包括服装图像和服装种类标签。
3.如权利要求1所述的一种模板引导的基于服装属性的可解释服装搭配方法,其特征在于,在该方法中,所述服装属性分类器的训练步骤包括:
接收具有详细服装属性标注的辅助数据集;不同种类的服装具有公共属性和特有属性;
采用具有详细服装属性标注的辅助数据集训练所述服装属性分类器。
4.如权利要求1所述的一种模板引导的基于服装属性的可解释服装搭配方法,其特征在于,在该方法中,所述通过训练好的服装属性分类器获得服装搭配数据集中服装的属性分布作为服装的属性表示的具体步骤包括:
将服装搭配数据集中的服装图像输入训练好的服装属性分类器,获取服装在不同属性上的分布,得到服装属性分布;
将服装搭配数据集中服装种类表示为独热码向量,采用像素直方统计方法获取服装搭配数据集中的服装颜色,并表示为独热码向量;
将通过分类器获得的服装属性分布、服装种类的独热码向量和服装颜色的独热码向量拼接成服装的属性表示。
5.如权利要求1所述的一种模板引导的基于服装属性的可解释服装搭配方法,其特征在于,在该方法中,利用多层感知机进行互补服装的兼容性建模后根据贝叶斯个性化排序算法构建第一损失函数。
6.如权利要求1所述的一种模板引导的基于服装属性的可解释服装搭配方法,其特征在于,在该方法中,所述搭配模板的分解的具体步骤包括:
将搭配正例集合中上衣和下衣属性表示拼接,得到搭配正例套装的属性表示;将若干套搭配正例套装的属性表示组合成搭配正例矩阵;
将搭配负例集合中上衣和下衣属性表示拼接,得到搭配负例套装的属性表示;将若干套搭配负例套装的属性表示组合成搭配负例矩阵;
分别将搭配正例矩阵和搭配负例矩阵进行非负矩阵分解,得到非负矩阵分解的第二损失函数。
7.如权利要求1所述的一种模板引导的基于服装属性的可解释服装搭配方法,其特征在于,在该方法中,通过贝叶斯个性化排序算法,将互补服装的兼容性建模和搭配模板的分解无缝联结,具体步骤包括:
计算搭配正例套装和兼容搭配模板欧氏距离的最大值,得到与搭配正例最接近的兼容搭配模板;得到其隐含表示,并计算兼容性得分;
计算搭配负例套装和不兼容搭配模板欧氏距离的最大值,得到与搭配负例最接近的不兼容搭配模板;得到其隐含表示,并计算兼容性得分;
根据贝叶斯个性化排序算法将与搭配正例最接近的兼容搭配模板的兼容性得分和与搭配负例最接近的不兼容搭配模板的兼容性得分构建第三损失函数;
将互补服装的兼容性建模和搭配模板的分解无缝联结的总目标为第一损失函数、第二损失函数与第三损失函数的综合。
8.一种计算机可读存储介质,其中存储有多条指令,其特征在于,所述指令适于由终端设备的处理器加载并执行如权利要求1-7任一项所述的一种模板引导的基于服装属性的可解释服装搭配方法。
9.一种终端设备,其包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,其特征在于,所述指令适于由处理器加载并执行如权利要求1-7任一项所述的一种模板引导的基于服装属性的可解释服装搭配方法。
10.一种模板引导的基于服装属性的可解释服装搭配装置,其特征在于,基于如权利要求1-7任一项所述的一种模板引导的基于服装属性的可解释服装搭配方法,包括:
属性表示模块,被配置为接收服装搭配数据集,通过训练好的服装属性分类器获得服装搭配数据集中服装的属性分布作为服装属性表示;
兼容性建模模块,被配置为根据服装属性表示,利用多层感知机进行互补服装的兼容性建模,将服装搭配数据集中互补服装分为兼容套装和不兼容套装;
搭配模板分解模块,被配置为根据服装属性表示,利用非负矩阵分解分别分解兼容套装和不兼容套装得到基于属性的兼容搭配模板和不兼容搭配模板;
联结模块,被配置为将互补服装的兼容性建模和搭配模板的分解无缝联结;
属性修改模块,被配置为参考兼容搭配模板,通过计算每个属性的欧式距离,得到不兼容套装中导致不兼容的属性,并修改该不兼容的属性,检索可搭配服装。
CN201910393931.5A 2019-05-13 2019-05-13 一种模板引导的基于服装属性的可解释服装搭配方法及装置 Active CN110209860B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910393931.5A CN110209860B (zh) 2019-05-13 2019-05-13 一种模板引导的基于服装属性的可解释服装搭配方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910393931.5A CN110209860B (zh) 2019-05-13 2019-05-13 一种模板引导的基于服装属性的可解释服装搭配方法及装置

Publications (2)

Publication Number Publication Date
CN110209860A true CN110209860A (zh) 2019-09-06
CN110209860B CN110209860B (zh) 2021-06-04

Family

ID=67787219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910393931.5A Active CN110209860B (zh) 2019-05-13 2019-05-13 一种模板引导的基于服装属性的可解释服装搭配方法及装置

Country Status (1)

Country Link
CN (1) CN110209860B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311359A (zh) * 2020-01-21 2020-06-19 杭州微洱网络科技有限公司 一种基于电商图像实现人形展现效果的拼图方法
CN111415221A (zh) * 2020-03-19 2020-07-14 重庆邮电大学 基于可解释性卷积神经网络的服装推荐方法、装置及终端
CN113298616A (zh) * 2021-05-19 2021-08-24 浙江外国语学院 一种基于特征融合的成对服装兼容性预测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447147A (zh) * 2018-10-24 2019-03-08 西安电子科技大学 基于双图稀疏的深度矩阵分解的图像聚类方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447147A (zh) * 2018-10-24 2019-03-08 西安电子科技大学 基于双图稀疏的深度矩阵分解的图像聚类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
范宇航: "基于深度学习的服装检索与搭配技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311359A (zh) * 2020-01-21 2020-06-19 杭州微洱网络科技有限公司 一种基于电商图像实现人形展现效果的拼图方法
CN111415221A (zh) * 2020-03-19 2020-07-14 重庆邮电大学 基于可解释性卷积神经网络的服装推荐方法、装置及终端
CN111415221B (zh) * 2020-03-19 2023-04-07 重庆邮电大学 基于可解释性卷积神经网络的服装推荐方法、装置及终端
CN113298616A (zh) * 2021-05-19 2021-08-24 浙江外国语学院 一种基于特征融合的成对服装兼容性预测方法

Also Published As

Publication number Publication date
CN110209860B (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN110929697B (zh) 一种基于残差结构的神经网络目标识别方法及系统
CN106778682B (zh) 一种卷积神经网络模型的训练方法及其设备
CN110209860A (zh) 一种模板引导的基于服装属性的可解释服装搭配方法及装置
CN110334689A (zh) 视频分类方法和装置
CN104331417A (zh) 一种用户个人服饰的搭配方法
CN110188209A (zh) 基于层次标签的跨模态哈希模型构建方法、搜索方法及装置
CN108664658A (zh) 一种考虑用户偏好动态变化的协同过滤视频推荐方法
CN106874924A (zh) 一种图片风格识别方法及装置
CN107910060A (zh) 用于生成信息的方法和装置
CN115131698B (zh) 视频属性确定方法、装置、设备及存储介质
CN112015934B (zh) 基于神经网络和Unity的智能发型推荐方法、装置及系统
CN111062260A (zh) 一种面部整容推荐方案自动生成方法
CN109543359A (zh) 一种基于物联网大数据的人工智能包装设计方法及系统
CN108984555A (zh) 用户状态挖掘和信息推荐方法、装置以及设备
CN108319888A (zh) 视频类型的识别方法及装置、计算机终端
CN109978074A (zh) 基于深度多任务学习的图像美感和情感联合分类方法及系统
CN110580489A (zh) 一种数据对象的分类系统、方法以及设备
CN111368768A (zh) 一种基于人体关键点的员工手势指引检测方法
CN111400525A (zh) 基于视觉组合关系学习的时尚服装智能搭配与推荐方法
CN104867021B (zh) 商品主页的处理方法和相关装置
Wang et al. A plant disease recognition method based on fusion of images and graph structure text
Gan et al. Learning-aware feature denoising discriminator
CN113255701B (zh) 一种基于绝对-相对学习架构的小样本学习方法和系统
CN108875496A (zh) 行人画像的生成及基于画像的行人识别
CN110210523A (zh) 一种基于形状图约束的模特穿着衣物图像生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant