CN110825963A - 基于生成式的辅助模板增强服装搭配方案生成方法及系统 - Google Patents
基于生成式的辅助模板增强服装搭配方案生成方法及系统 Download PDFInfo
- Publication number
- CN110825963A CN110825963A CN201910993602.4A CN201910993602A CN110825963A CN 110825963 A CN110825963 A CN 110825963A CN 201910993602 A CN201910993602 A CN 201910993602A CN 110825963 A CN110825963 A CN 110825963A
- Authority
- CN
- China
- Prior art keywords
- garment
- template
- lower garment
- jacket
- generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 26
- 230000000007 visual effect Effects 0.000 claims description 53
- 239000013598 vector Substances 0.000 claims description 40
- 230000006870 function Effects 0.000 claims description 35
- 230000000295 complement effect Effects 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 14
- 125000004122 cyclic group Chemical group 0.000 claims description 4
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 101100313471 Streptomyces sp getA gene Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
Abstract
本公开公开了基于生成式的辅助模板增强服装搭配方案生成方法及系统，包括：构建基于生成式的辅助模板增强服装搭配模型；构建训练集；将训练集输入到构建好的基于生成式的辅助模板增强服装搭配模型中进行训练，得到训练好的基于生成式的辅助模板增强服装搭配模型；将待搭配的上衣，输入到训练好的基于生成式的辅助模板增强服装搭配模型中，输出最搭配的下衣；待搭配的上衣与最搭配的下衣作为最终的服装搭配方案输出。
Description
技术领域
本公开涉及服装搭配方案推荐技术领域，特别是涉及基于生成式的辅助模板增强服装搭配方案生成方法及系统。
背景技术
本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。
在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：
由于时尚产业的巨大经济价值，时尚分析的相关研究变得越来越多，特别是服装搭配。由于表示学习的最新进展，当前许多研究致力于互补项之间的相似度，以帮助人们进行服装搭配。从某种意义上说，现有的方法主要是利用先进的神经网络学习潜在的兼容空间，以弥补互补的时尚物品(如衬衫和裤子)之间的巨大差异，直接测量物品之间的兼容程度。假设给定一个上衣，我们首先为给定的上衣绘制一个相容的下衣搭配模板，作为互补搭配服装之间的辅助链接，我们可以从生成式的角度进一步度量它们的搭配。事实上，如何将辅助模板生成无缝的融合到相容性建模中并提高性能存在很大的挑战。另外，如何准确地为给定的上衣生成一个互补的下衣模板来准确的指导相容性建模也面临很大的挑战。
发明内容
为了解决现有技术的不足，本公开提供了基于生成式的辅助模板增强服装搭配方案生成方法及系统；自动为用户进行服装推荐。
第一方面，本公开提供了基于生成式的辅助模板增强服装搭配方案生成方法；
基于生成式的辅助模板增强服装搭配方案生成方法，包括：
构建基于生成式的辅助模板增强服装搭配模型；构建训练集；
将训练集输入到构建好的基于生成式的辅助模板增强服装搭配模型中进行训练，得到训练好的基于生成式的辅助模板增强服装搭配模型；
将待搭配的上衣，输入到训练好的基于生成式的辅助模板增强服装搭配模型中，输出最搭配的下衣；
待搭配的上衣与最搭配的下衣作为最终的服装搭配方案输出。
第二方面，本公开还提供了基于生成式的辅助模板增强服装搭配方案生成系统；
基于生成式的辅助模板增强服装搭配方案生成系统，包括：
构建模块，其被配置为：构建基于生成式的辅助模板增强服装搭配模型；构建训练集；
模型训练模块，其被配置为：将训练集输入到构建好的基于生成式的辅助模板增强服装搭配模型中进行训练，得到训练好的基于生成式的辅助模板增强服装搭配模型；
方案生成模块，其被配置为：将待搭配的上衣，输入到训练好的基于生成式的辅助模板增强服装搭配模型中，输出最搭配的下衣；
待搭配的上衣与最搭配的下衣作为最终的服装搭配方案输出。
第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。
第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。
与现有技术相比，本公开的有益效果是：
1、该互补模板生成网络可以有效的为给定的上衣绘制一个相容的下衣模板；
2、该方法可以有效的提取服装的视觉和文本特征，并对其进行有效建模；
3、该下衣模板可以辅助指导上衣和下衣的相容性建模。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1是本公开第一个实施例的所提出的基于生成式的辅助模板增强服装搭配方案，即AT-GCM框架。
图2是本公开第一个实施例的互补模板生成网络，主要包含编码器，转换器和解码器三个部分。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一，本实施例提供了基于生成式的辅助模板增强服装搭配方案生成方法；
如图1所示，基于生成式的辅助模板增强服装搭配方案生成方法，包括：
S1：构建基于生成式的辅助模板增强服装搭配模型；构建训练集；
S2：将训练集输入到构建好的基于生成式的辅助模板增强服装搭配模型中进行训练，得到训练好的基于生成式的辅助模板增强服装搭配模型；
S3：将待搭配的上衣，输入到训练好的基于生成式的辅助模板增强服装搭配模型中，输出最搭配的下衣；
待搭配的上衣与最搭配的下衣作为最终的服装搭配方案输出。
作为一个或多个实施例，所述基于生成式的辅助模板增强服装搭配模型为：
LAT-GCM＝LGAN(G)+LGAN(Db)+LGAN(F)+LGAN(Dt)
+LBPR+βLcycp+γLpixel，
其中，LAT-GCM为基于生成式的辅助模板增强服装搭配模型的损失函数；
LGAN(G)为互补模板生成网络的第一生成器G的损失函数；
LGAN(Db)为互补模板生成网络的第一判别器Db的损失函数；
LGAN(F)为互补模板生成网络的第二生成器F的损失函数；
LGAN(Dt)为互补模板生成网络的第二判别器Dt的损失函数；
Lcycp为互补模板生成网络的第二生成器输出值与第一生成器输入值之间的循环一致性损失函数；
LBPR为上衣和下衣的隐含搭配偏好损失函数；
Lpixel为下衣搭配模板与正例下衣之间的像素级差异损失函数；
β和γ为权重值，β和γ为0到1间的非负数。
进一步地，所述互补模板生成网络的第一生成器G的损失函数LGAN(G)的计算过程为：
其中，
为生成的下衣模板，Db为判别器用来判别的真实性。
进一步地，所述互补模板生成网络的第一判别器的损失函数LGAN(Db)的计算过程为：
其中，
为输入的上衣图像，为下衣图像。
进一步地，所述互补模板生成网络的第二生成器F的损失函数LGAN(F)的计算过程为：
其中，Dt为生成器F所对应的判别器，
为生成器F重建出的上衣图像。
进一步地，所述互补模板生成网络的第二判别器的损失函数LGAN(Dt)的计算过程为：
进一步地，所述互补模板生成网络的第二生成器输出值与第一生成器输入值之间的循环一致性损失函数Lcycp的计算过程为：
进一步地，所述下衣搭配模板与正例下衣之间的像素级差异损失函数Lpixel的计算过程为：
其中，为下衣图像。
进一步地，所述上衣和下衣的隐含搭配偏好损失函数BPR的计算过程为：
S101：获取上衣的图像和文本描述；获取正例下衣的图像和文本描述；所述正例下衣是指与上衣所匹配的下衣；
S102：从上衣的图像中获取上衣视觉编码；从正例下衣的图像中获取正例下衣的视觉编码；从上衣的文本单词中获取上衣的文本向量；从正例下衣的文本单词中获取正例下衣的文本向量；
S103：从上衣视觉编码中提取上衣视觉特征；从正例下衣的视觉编码中提取正例下衣的视觉特征；从上衣的文本向量中提取上衣文本特征，从正例下衣的文本向量中提取正例下衣的文本特征；
S104：从上衣的视觉特征中提取上衣隐含视觉向量；从正例下衣的视觉特征中提取正例下衣的隐含视觉向量；从上衣的文本特征中提取上衣隐含文本向量；从正例下衣的文本特征中提取正例下衣隐含文本向量；
S105：根据上衣隐含视觉向量、正例下衣的隐含视觉向量、上衣隐含文本向量和正例下衣隐含文本向量；构建物品与物品的相容性模型；
根据正例下衣的视觉编码和正例下衣的下衣搭配模板的视觉编码，构建物品与模板的相容性模型；
S106：基于物品与物品的相容性模型，和物品与模板的相容性模型；构建上衣与正例下衣的相容程度模型；
S107：将S101到S106的步骤中的正例下衣全部替换为负例下衣，然后得到上衣与负例下衣的相容程度模型；所述负例下衣，是指与上衣不搭配的下衣；
S108：将基于上衣与正例下衣的相容程度模型，和上衣与负例下衣的相容程度模型进行作差，得到一个差值，依据所述差值得到上衣和下衣的隐含搭配偏好损失函数LBPR。
作为一个或多个实施例，所述互补模板生成网络，包括第一对抗生成网络和第二对抗生成网络，
所述第一对抗生成网络，包括第一生成器和第一判别器；第一生成器的输入端用于接收待匹配的上衣，第一生成器的输出端输出下衣搭配模板(即为上衣生成一个具有形状和颜色且可用于指导上衣搭配作用的下衣图像)；第一生成器的输出端与第一判别器的输入端连接；
所述第二对抗生成网络，包括第二生成器和第二判别器；第二生成器的输入端用于接收第一生成器输出的下衣搭配模板，第二生成器的输出端与第二判别器连接；
所述第一生成器与第二生成器的结构相同；
所述第一生成器，包括：依次连接的编码器、转换器和解码器。
应理解的，所述第一对抗生成网络，包含第一生成器G和第一判别器Db。其中，第一生成器G的网络结构如图2所示，它包含编码器，转换器和解码器三个部分。
以上衣ti为例，通过编码器对上衣的图像
进行特征编码，其过程如下：
其中，WK和bk为该网络的相关参数，
为ReLU激活函数，K＝3为该网络的层数。我们取
作为上衣的视觉编码。同样我们可以得到下衣bj的视觉编码
转换器将上衣ti的视觉编码
转化为下衣模板
的视觉编码
该网络由残差网络组成：
其中，
表示残差函数，Θtrans为该网络的相关参数，L＝6为该网络的层数。将
作为下衣生成模板的视觉编码。
解码器与编码器相反，解码器将下衣模板的视觉编码重建为低级的图像
解码器包含两个反卷积层和一个卷积层。
将认为生成的底部模板
不仅要自然真实，而且要与给定的上衣相搭配。因此为了保证训练的稳定性，避免梯度消失，采用下面的最小二乘损失来训练该网络结构：
生成的下衣模板与给定的上衣相匹配，因此采用像素级的L1损失，使得下衣模板
与正例下衣之间的像素级差异如下:
为了消除模式崩溃问题，采用第二生成器F使得生成的下衣模板
可以循环恢复出给定的上衣
为此采用如下的损失函数来训练该网络结构：
由于重建后的上衣应该与给定的上衣保持一致，我们采用循环一致性损失函数来进行拟合：
通过互补模板生成网络为给定的上衣生成相容的下衣搭配模板。
作为一个或多个实施例，所述构建训练集，具体步骤包括：
从时尚穿搭网站爬取若干件上衣，为每一件上衣对应设定一件最佳搭配下衣，同时为每一件上衣设定若干件下衣负例；所述下衣负例即与上衣不搭配的下衣；每一件上衣或下衣都包括对应的图像和文本描述。
应理解的，所述S101中，获取上衣ti，下衣bj的相关图像
和文本
信息，其中图像为服装的彩色图像，文本为该图像的相关描述信息和类别信息。
进一步地，所述S102中，从上衣的图像中获取上衣视觉编码，是通过第一生成器的编码器得到的。
进一步地，所述S102中，从上衣的文本单词中获取上衣的文本向量，是通过word2vector实现的。
应理解的，S102中，除了视觉信息外，文本信息也可以传达时尚物品的重要特征(如：类别和风格等)。为了有效地编码文本信息，我们首先将每个单词通过word2vector映射成300维的向量。
进一步地，所述S103中，从上衣视觉编码中提取上衣视觉特征，是通过卷积神经网络提取的视觉特征。
进一步地，所述S103中，从上衣的文本向量中提取上衣文本特征，是通过TextCNN网络模型提取的。
应理解的，S103中，采用TextCNN将每个时尚物品的文本提取得到400维的特征。通过和全局视觉特征同样的映射方式后，我们得到上衣和下衣最终的隐含文本向量为
和
应理解的，S103中，为了更好的捕捉服装的显著特征，我们采用全局平均池化法将上衣和下衣的视觉编码
和
转换为全局视觉特征
和
应理解的，S104中，为了增强非线性的相容性建模，通过一个全连接网络将全局视觉特征映射为最终的隐含视觉特征和
以上衣为例，其最终的隐含视觉特征
可以通过下面的网络得到：
进一步地，所述S105中，根据上衣隐含视觉向量、正例下衣的隐含视觉向量、上衣隐含文本向量和正例下衣隐含文本向量；构建物品与物品的相容性模型；具体包括：
基于以上的隐含视觉和文本向量对物品-物品相容性
进行建模如下：
其中，μ用来权衡视觉和文本模态的重要性，
为物品与物品的相容性模型。
应理解的，所述S105中，对于给定的上衣，待推荐的下衣在语义上应该与生成的下衣模板相似。
进一步地，所述S105中，根据正例下衣的视觉编码和正例下衣的下衣搭配模板的视觉编码，构建物品与模板的相容性模型，具体为：
定义下衣
的视觉编码
与生成的下衣模板
的视觉编码
之间的相似性为物品-模板的相容性
匹配：
进一步地，所述S106中，基于物品与物品的相容性模型，和物品与模板的相容性模型；构建上衣与正例下衣的相容程度模型；具体包括：
上衣ti和下衣bj之间的相容程度定义为：
进一步地，所述S108中，将基于上衣与正例下衣的相容程度模型，和上衣与负例下衣的相容程度模型进行作差，得到一个差值，依据所述差值得到上衣和下衣的隐含搭配偏好损失函数BPR；具体包括：
引入下衣负例bk并采用贝叶斯个性化排名框架来对上衣和下衣的隐含搭配偏好进行建模：
LBPR＝-ln(δ(mijk))，
其中，mijk＝mij-mik，mik为上衣ti和下衣负例bk之间的相容程度。
实施例二，本实施例还提供了基于生成式的辅助模板增强服装搭配方案生成系统；
基于生成式的辅助模板增强服装搭配方案生成系统，包括：
构建模块，其被配置为：构建基于生成式的辅助模板增强服装搭配模型；构建训练集；
模型训练模块，其被配置为：将训练集输入到构建好的基于生成式的辅助模板增强服装搭配模型中进行训练，得到训练好的基于生成式的辅助模板增强服装搭配模型；
方案生成模块，其被配置为：将待搭配的上衣，输入到基于训练好的基于生成式的辅助模板增强服装搭配模型中，输出最搭配的下衣；
待搭配的上衣与最搭配的下衣作为最终的服装搭配方案输出。
实施例三，本实施例还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例一所述方法的步骤。
实施例四，本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述方法的步骤。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.基于生成式的辅助模板增强服装搭配方案生成方法，其特征是，包括：
构建基于生成式的辅助模板增强服装搭配模型；构建训练集；
将训练集输入到构建好的基于生成式的辅助模板增强服装搭配模型中进行训练，得到训练好的基于生成式的辅助模板增强服装搭配模型；
将待搭配的上衣，输入到训练好的基于生成式的辅助模板增强服装搭配模型中，输出最搭配的下衣；
待搭配的上衣与最搭配的下衣作为最终的服装搭配方案输出。
2.如权利要求1所述的方法，其特征是，所述基于生成式的辅助模板增强服装搭配模型为：
LAT-GCM＝LGAN(G)+LGAN(Db)+LGAN(F)+LGAN(Dt)+LBPR+βLcycp+γLpixel，
其中，LAT-GCM为基于生成式的辅助模板增强服装搭配模型的损失函数；
LGAN(G)为互补模板生成网络的第一生成器G的损失函数；
LGAN(Db)为互补模板生成网络的第一判别器Db的损失函数；
LGAN(F)为互补模板生成网络的第二生成器F的损失函数；
LGAN(Dt)为互补模板生成网络的第二判别器Dt的损失函数；
Lcycp为互补模板生成网络的第二生成器输出值与第一生成器输入值之间的循环一致性损失函数；
LBPR为上衣和下衣的隐含搭配偏好损失函数；
Lpixel为下衣搭配模板与正例下衣之间的像素级差异损失函数；
β和γ为权重值，β和γ为0到1间的非负数。
3.如权利要求1所述的方法，其特征是，所述互补模板生成网络的第一生成器G的损失函数LGAN(G)的计算过程为：
其中，为生成的下衣模板，Db为判别器用来判别
的真实性；
所述互补模板生成网络的第一判别器的损失函数LGAN(Db)的计算过程为：
其中，
为输入的上衣图像，
为下衣图像。
4.如权利要求1所述的方法，其特征是，所述互补模板生成网络的第二生成器F的损失函数LGAN(F)的计算过程为：
其中，Dt为生成器F所对应的判别器，
为生成器F重建出的上衣图像；
所述互补模板生成网络的第二判别器的损失函数LGAN(Dt)的计算过程为：
所述互补模板生成网络的第二生成器输出值与第一生成器输入值之间的循环一致性损失函数Lcycp的计算过程为：
所述下衣搭配模板与正例下衣之间的像素级差异损失函数Lpixel的计算过程为：
其中，
为下衣图像。
5.如权利要求1所述的方法，其特征是，所述上衣和下衣的隐含搭配偏好损失函数LBPR的计算过程为：
S101：获取上衣的图像和文本描述；获取正例下衣的图像和文本描述；所述正例下衣是指与上衣所匹配的下衣；
S102：从上衣的图像中获取上衣视觉编码；从正例下衣的图像中获取正例下衣的视觉编码；从上衣的文本单词中获取上衣的文本向量；从正例下衣的文本单词中获取正例下衣的文本向量；
S103：从上衣视觉编码中提取上衣视觉特征；从正例下衣的视觉编码中提取正例下衣的视觉特征；从上衣的文本向量中提取上衣文本特征，从正例下衣的文本向量中提取正例下衣的文本特征；
S104：从上衣的视觉特征中提取上衣隐含视觉向量；从正例下衣的视觉特征中提取正例下衣的隐含视觉向量；从上衣的文本特征中提取上衣隐含文本向量；从正例下衣的文本特征中提取正例下衣隐含文本向量；
S105：根据上衣隐含视觉向量、正例下衣的隐含视觉向量、上衣隐含文本向量和正例下衣隐含文本向量；构建物品与物品的相容性模型；
根据正例下衣的视觉编码和正例下衣的下衣搭配模板的视觉编码，构建物品与模板的相容性模型；
S106：基于物品与物品的相容性模型，和物品与模板的相容性模型；构建上衣与正例下衣的相容程度模型；
S107：将S101到S106的步骤中的正例下衣全部替换为负例下衣，然后得到上衣与负例下衣的相容程度模型；所述负例下衣，是指与上衣不搭配的下衣；
S108：将基于上衣与正例下衣的相容程度模型，和上衣与负例下衣的相容程度模型进行作差，得到一个差值，依据所述差值得到上衣和下衣的隐含搭配偏好损失函数LBPR。
6.如权利要求2所述的方法，其特征是，所述互补模板生成网络，包括第一对抗生成网络和第二对抗生成网络，
所述第一对抗生成网络，包括第一生成器和第一判别器；第一生成器的输入端用于接收待匹配的上衣，第一生成器的输出端输出下衣搭配模板；第一生成器的输出端与第一判别器的输入端连接；
所述第二对抗生成网络，包括第二生成器和第二判别器；第二生成器的输入端用于接收第一生成器输出的下衣搭配模板，第二生成器的输出端与第二判别器连接；
所述第一生成器与第二生成器的结构相同；
所述第一生成器，包括：依次连接的编码器、转换器和解码器。
7.如权利要求5所述的方法，其特征是，
所述S105中，根据上衣隐含视觉向量、正例下衣的隐含视觉向量、上衣隐含文本向量和正例下衣隐含文本向量；构建物品与物品的相容性模型；具体包括：
基于以上的隐含视觉和文本向量对物品-物品相容性
进行建模如下：
其中，μ用来权衡视觉和文本模态的重要性，为物品与物品的相容性模型；
所述S105中，根据正例下衣的视觉编码和正例下衣的下衣搭配模板的视觉编码，构建物品与模板的相容性模型，具体为：
定义下衣
的视觉编码
与生成的下衣模板
的视觉编码
之间的相似性为物品-模板的相容性
匹配：
所述S106中，基于物品与物品的相容性模型，和物品与模板的相容性模型；构建上衣与正例下衣的相容程度模型；具体包括：
上衣ti和下衣bj之间的相容程度定义为：
8.基于生成式的辅助模板增强服装搭配方案生成系统，其特征是，包括：
构建模块，其被配置为：构建基于生成式的辅助模板增强服装搭配模型；构建训练集；
模型训练模块，其被配置为：将训练集输入到构建好的基于生成式的辅助模板增强服装搭配模型中进行训练，得到训练好的基于生成式的辅助模板增强服装搭配模型；
方案生成模块，其被配置为：将待搭配的上衣，输入到训练好的基于生成式的辅助模板增强服装搭配模型中，输出最搭配的下衣；
待搭配的上衣与最搭配的下衣作为最终的服装搭配方案输出。
9.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项方法所述的步骤。
10.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项方法所述的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910993602.4A CN110825963B (zh) | 2019-10-18 | 2019-10-18 | 基于生成式的辅助模板增强服装搭配方案生成方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910993602.4A CN110825963B (zh) | 2019-10-18 | 2019-10-18 | 基于生成式的辅助模板增强服装搭配方案生成方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110825963A true CN110825963A (zh) | 2020-02-21 |
| CN110825963B CN110825963B (zh) | 2022-03-25 |
Family
ID=69549672
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910993602.4A Active CN110825963B (zh) | 2019-10-18 | 2019-10-18 | 基于生成式的辅助模板增强服装搭配方案生成方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110825963B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114707427A (zh) * | 2022-05-25 | 2022-07-05 | 青岛科技大学 | 基于有效邻居取样最大化的图神经网络的个性化建模方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107123033A (zh) * | 2017-05-04 | 2017-09-01 | 北京科技大学 | 一种基于深度卷积神经网络的服装搭配方法 |
| CN108256975A (zh) * | 2018-01-23 | 2018-07-06 | 喻强 | 基于人工智能为虚拟试衣者提供三维效果的穿搭系统及方法 |
| CN108875910A (zh) * | 2018-05-23 | 2018-11-23 | 山东大学 | 基于注意力知识提取的服装搭配方法、系统及存储介质 |
| CN108960959A (zh) * | 2018-05-23 | 2018-12-07 | 山东大学 | 基于神经网络的多模态互补服装搭配方法、系统及介质 |
| US20190251612A1 (en) * | 2018-02-15 | 2019-08-15 | Adobe Inc. | Generating user-customized items using a visually-aware image generation network |
| US20190287301A1 (en) * | 2017-06-27 | 2019-09-19 | Mad Street Den, Inc. | Systems and Methods for Synthesizing Images of Apparel Ensembles on Models |
-
2019
- 2019-10-18 CN CN201910993602.4A patent/CN110825963B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107123033A (zh) * | 2017-05-04 | 2017-09-01 | 北京科技大学 | 一种基于深度卷积神经网络的服装搭配方法 |
| US20190287301A1 (en) * | 2017-06-27 | 2019-09-19 | Mad Street Den, Inc. | Systems and Methods for Synthesizing Images of Apparel Ensembles on Models |
| CN108256975A (zh) * | 2018-01-23 | 2018-07-06 | 喻强 | 基于人工智能为虚拟试衣者提供三维效果的穿搭系统及方法 |
| US20190251612A1 (en) * | 2018-02-15 | 2019-08-15 | Adobe Inc. | Generating user-customized items using a visually-aware image generation network |
| CN108875910A (zh) * | 2018-05-23 | 2018-11-23 | 山东大学 | 基于注意力知识提取的服装搭配方法、系统及存储介质 |
| CN108960959A (zh) * | 2018-05-23 | 2018-12-07 | 山东大学 | 基于神经网络的多模态互补服装搭配方法、系统及介质 |
Non-Patent Citations (2)
| Title |
|---|
| LIU,LINLIN等: "Toward AI fashion design: An Attribute-GAN model for clothing match", 《NEUROCOMPUTING》 * |
| 贾丽丽: "基于生成式对抗网络的特定场景生成技术及应用研究", 《中国优秀硕士学位论文全文数据库(电子期刊)》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114707427A (zh) * | 2022-05-25 | 2022-07-05 | 青岛科技大学 | 基于有效邻居取样最大化的图神经网络的个性化建模方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110825963B (zh) | 2022-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110298361B (zh) | 一种rgb-d图像的语义分割方法和系统 | |
| CN110532861B (zh) | 基于骨架引导多模态融合神经网络的行为识别方法 | |
| CN107833629A (zh) | 基于深度学习的辅助诊断方法及系统 | |
| CN110457710B (zh) | 一种基于动态路由机制的机器阅读理解网络模型的建立方法、方法、存储介质及终端 | |
| CN107391709A (zh) | 一种基于新型注意模型进行图像字幕生成的方法 | |
| CN110795858B (zh) | 家装设计图纸的生成方法和装置 | |
| JP2016045943A (ja) | シーンの取得画像を意味的にラベル付けする方法 | |
| CN103793507B (zh) | 一种使用深层结构获取双模态相似性测度的方法 | |
| CN110807477B (zh) | 基于注意力机制的神经网络服装搭配方案生成方法及系统 | |
| CN108875910A (zh) | 基于注意力知识提取的服装搭配方法、系统及存储介质 | |
| CN111241963B (zh) | 基于交互建模的第一人称视角视频交互行为识别方法 | |
| CN107748798A (zh) | 一种基于多层视觉表达和深度网络的手绘图像检索方法 | |
| CN106934458A (zh) | 基于深度学习的多层自动编码方法及系统 | |
| CN113313173B (zh) | 基于图表示和改进Transformer的人体解析方法 | |
| CN109522017A (zh) | 一种基于神经网络和自注意力机制的网页截图代码生成方法 | |
| CN109492750A (zh) | 一种基于卷积神经网络和因素空间的零样本图像分类方法及系统 | |
| CN109785400A (zh) | 一种剪影图像制作方法、装置、电子设备及存储介质 | |
| CN105931211A (zh) | 一种人脸图像美化方法 | |
| CN110825963B (zh) | 基于生成式的辅助模板增强服装搭配方案生成方法及系统 | |
| Fiedorowicz et al. | An additivity theorem for the interchange of En structures | |
| CN102867171B (zh) | 一种基于标记传播与邻域嵌入保持的人脸表情识别方法 | |
| CN108629374A (zh) | 一种基于卷积神经网络的无监督多模态子空间聚类方法 | |
| CN117593178A (zh) | 一种基于特征引导的虚拟试衣方法 | |
| CN111311732A (zh) | 3d人体网格获取方法及装置 | |
| Liu et al. | Image segmentation of salt deposits using deep convolutional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |