CN112699261A - 一种服装图像自动生成系统及方法 - Google Patents

一种服装图像自动生成系统及方法 Download PDF

Info

Publication number
CN112699261A
CN112699261A CN202011581996.1A CN202011581996A CN112699261A CN 112699261 A CN112699261 A CN 112699261A CN 202011581996 A CN202011581996 A CN 202011581996A CN 112699261 A CN112699261 A CN 112699261A
Authority
CN
China
Prior art keywords
image
attribute
clothing
labeling
automatic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011581996.1A
Other languages
English (en)
Inventor
王伟珍
杨诒然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Polytechnic University
Original Assignee
Dalian Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Polytechnic University filed Critical Dalian Polytechnic University
Priority to CN202011581996.1A priority Critical patent/CN112699261A/zh
Publication of CN112699261A publication Critical patent/CN112699261A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5862—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种服装图像自动生成系统，包括：服装图像检索模块，将搜集的服装图像进行属性标注的图像属性自动标注模块，以及服装图像自动生成模块；所述服装图像检索模块包括：以文搜图、以图搜图，其中所述以图搜图的所述图像为使用者拍摄的服装图像和/或直接输入待查询的图像；所述图像属性自动标注模块通过构建相关的图像标注库，在所述图像标注库的构建基础上训练标注模型，自动识别图像预定义的属性，完成对未标注图像的自动属性标注。本发明通过设置服装图像检索模块、图像属性自动标注模块、图像自动生成模块，可以方便设计人员搜图、找图、用图，最重要的是该系统能够自动根据客户需求实施服装图像的再设计。

Description

一种服装图像自动生成系统及方法
技术领域
本发明涉及图像处理技术领域，具体而言，尤其涉及服装图像自动生成方法和系统的制作方法。
背景技术
随着网络时代的发展，网络上的服装图像数据急剧增长。面对海量的服装图像数据，如何快捷有效的利用这些图像，寻找并再次设计出符合自己想要的服装图像成了急需解决的问题。对于大量服装图像实现智能设计的需求也日益增加。图像处理技术发展至今，已然不再是那个只能进行简单图像处理和识别的技术了，而是可以将自己渗入到各个领域并且可以给各个领域带来影响的技术。到目前为止，图像处理技术在服装领域受到广泛重视，而服装图像自动生成技术可以按照自己想要的目标图像进行自动生成，可以更高效率的得到目标服装图像。具体来说服装图像自动生成技术是根据特定的服装图像属性标签按一定属性分类，巧妙的利用计算机深度学习技术，利用数据库的训练与实验自动生成新的服装图像，实现符合需求的服装图像的自动生成。目前自动生成服装图像的设计系统还欠缺，由于服装图像数据的庞大性，主要是通过搜集服装图像上的属性标签并进行各属性标注技术处理，再结合计算机深度学习后自动生成指定的服装图像。提高新服装图像的丰富度和准确性都十分重要。时尚是一个人生活中不断存在的东西，人们追随时尚来表达自己。人工智能领域的最新进展，特别是在机器学习方面的进展，推进了服装时尚和计算机算法之间的深度合作。以最新时尚趋势和客户购买的衣服为输入，产生新的趋势线是非常可取的。
现有技术主要应用生成式对抗网络(GAN)从深度学习模型产生时尚服装。主要采取最新的时尚趋势和用户购买的服装作为输入并生成新服装图像，在所提出的基于机器学习的方法中，生成的新图像将以时尚潮流为基础。这种机器学习的方法主要存在的问题是生成式对抗网络(GAN)出于训练目的需要大量的预标记数据。图像必须具有相似的大小和小的噪声。但是，要根据用户的风格生成服装，我们需要为每个用户提供成千上万的图像。如果为每个用户建立个性化的服装系统，这在现实生活中是不可能的，因为一个人可能永远不会买这么多衣服。
发明内容
根据上述提出的技术问题，而提供一种服装图像自动生成方法和系统的制作方法。本发明主要利用一种服装图像自动生成系统，其特征在于，包括：
服装图像检索模块，将搜集的服装图像进行属性标注的图像属性自动标注模块，以及服装图像自动生成模块；
所述服装图像检索模块包括：以文搜图、以图搜图，其中所述以图搜图的所述图像为使用者拍摄的服装图像和/或待查询的图像；所述图像属性自动标注模块通过构建相关的图像标注库，在所述图像标注库的构建基础上训练标注模型，自动识别图像预定义的属性，完成对未标注图像的自动属性标注；
所述图像自动生成模块，根据预设的属性标签信息通过生成式对抗网络产生符合属性条件的服装图像；
所述服装图像检索模块通过网络平台上的图像或者拍照，通过原始图像和属性标签构建服装图像数据集，建立基于深度学习技术的服装图像检索系统；
所述服装图像检索系统通过深度模型提取图像的颜色、纹理、风格特征，通过计算特征间的距离返回服装图像数据库中同查询图像标签相同的样本；假设两张图像的哈希编码为b1和b2，则它们的汉明距离定义如下：
Figure BDA0002865424610000021
其中
Figure BDA0002865424610000022
为逻辑异或运算，‖*‖1为L1范数，即向量中非零元素的个数。
进一步地，所述图像属性自动标注模块对欲查询的服装图像属性信息进行分类标注；
所述图像属性自动标注模块通过深度卷积神经网络从数据集中自动学习服装属性分类器，实现服装图像属性标签的标注；假设需要标注的图像为I，深度模型经过多层映射会预测图像各属性标签的概率，即：
p(lj|I)＝fM(fM-1(fM-2(…f1(I))))；
其中fm表示深度网络的第m层映射函数，p(lj|I)表示图像I被预测为第j个属性的概率，如果该值小于0.5，则图像I不会被标注为lj属性。
进一步地，所述图像自动生成模块通过依据输入的属性信息和服装图像信息生成新的服装图像；所述新的服装图像将具有原始服装图像的标签属性同时符合输出的属性需求；
所述图像自动生成模块工作包括以下步骤：
S1：根据图像数据和其属性标签优化下述目标函数，学习判别器D和生成器G：
Figure BDA0002865424610000031
其中，pdata(x)表示图像的分布，y表示图像的属性标签向量，z服从标准高斯分布pz(z)，D通过最大化真实图像标签对(x，y)的对数似然函数logD(x|y)和根据标签y生成的图像的对数似然函数1-logD(G(z|y))进行学习，G为通过最大化对数似然函数logD(G(z|y)学习根据属性标签向量y产生符合属性需求的真实图像；
S2：根据用户提供的属性标签
Figure BDA0002865424610000032
和经过训练的生成器G生成符合该属性的真实图像
Figure BDA0002865424610000033
Figure BDA0002865424610000034
其中，z表示从Pz(z)分布中采样的噪声数据。
更进一步地，所述服装图像自动生成系统还具有：服装图像储存检索模块、服装图像属性自动标注模块以及服装图像生成新图像模块；
所述服装图像储存检索模块，将搜集的服装图像存储起来，整理成服装图像数据集并构建检索系统；
服装图像属性自动标注模块，根据数据集里的服装图像进行属性标注，利用一种基于深度学习的图像分类方法，完成数据集图像的自动标注；
服装图像生成新图像模块，基于所得服装图像属性标签的信息，利用条件生成式对抗网络自动生成新图像。
进一步地，本发明还包含一种服装图像自动生成的方法，包括如下步骤：
步骤一：建立服装图像数据集；通过使用者输入的文本信息，关键字以及图像内容进行检索或者采用直接拍照的方式获取图像；
步骤二：获取图像后，根据预设的服装图像属性对所获的图像进行人工标注；
步骤三：通过所述具有属性标注信息的服装图像集，训练基于深度卷积神经网络模型的服装图像属性分类器；
步骤四：通过服装图像属性分类器对未标注图像进行自动标注服装图像属性；
步骤五：通过具有属性标注信息的服装图像集训练条件生成式对抗网络；
步骤六：通过训练完成的生成模型并产生新图像。
较现有技术相比，本发明具有以下优点：
基于深度学习的服装图像检索模型，借助于卷积神经网络强大的图像特征提取能力，该模型具有良好的分类精确度、稳定性与检索速度。模型针对服装领域类别属性的修正优化，能够达到较好的服装检索效果。我们提出了一种新的、有效的方法，通过生成对抗性学习生成新的服装。在所提出的基于机器学习的方法中，系统生成的服装将针对不同类型的用户进行个性化设计。这不仅有助于服装公司的设计，也将直接满足用户的需求。时尚图像的属性操纵生成对抗性网络(AMGAN)，对目标服装图像属性进行更改后生成新的服装图像，同时还保留其他属性。通过设置服装图像检索模块、图像属性自动标注模块、图像自动生成模块，可以方便设计人员搜图、找图、用图，最重要的是该系统能够自动根据客户需求实施服装图像的再设计。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1所示，本发明提供了一种服装图像自动生成系统，包括：服装图像检索模块，将搜集的服装图像进行属性标注的图像属性自动标注模块，以及服装图像自动生成模块。
作为一种优选的实施方式，在本申请中所述服装图像检索模块包括两种工作模式即以文搜图、以图搜图，其中所述以图搜图的所述图像为使用者拍摄的服装图像和/或直接输入待查询的图像。所述图像属性自动标注模块通过构建相关的图像标注库，在所述图像标注库的构建基础上训练标注模型，自动识别图像预定义的属性，完成对未标注图像的自动属性标注。这里所说的相关的图像标注库，这里所说的图像属性是自己预设的，两个图像之间的相似度距离根据属性向量间的cosine距离确定。
所述图像自动生成模块，根据预设的属性标签信息通过生成式对抗网络产生符合属性条件的服装图像；
所述服装图像检索模块通过网络平台上的图像或者拍照，通过原始图像和属性标签构建服装图像数据集，建立基于深度学习技术的服装图像检索系统。在此所说的建立基于深度学习的系统并不是本申请的主要发明点，因此在此仅对其相关步骤进行简要的介绍，这里所说的建立系统首先基于卷积神经网络建立图像特征提取模型；其次根据图像和属性标注训练特征提取模型抽取图像的哈希编码表示，即01101。进而采用训练完成后的模型抽取数据集各图像的哈希编码表示，建立索引使用时，首先通过训练好的深度模型抽取查询图像的哈希编码，再根据该编码同图像库中各图像编码的汉明距离返回检索结果。
所述服装图像检索系统通过深度模型提取图像的颜色、纹理、风格特征。这里需要进行说明的是，服装是一种特别的产品，它有百变的品类、不同的款式、五彩的颜色、质地有差异的原料，服装基本属性是对服装最基本特性的完整的描述。
同时通过计算特征间的距离返回服装图像数据库中同查询图像标签相同的样本；假设两张图像的哈希编码为b1和b2，则它们的汉明距离定义如下：
Figure BDA0002865424610000061
其中
Figure BDA0002865424610000062
为逻辑异或运算，||*||1为L1范数，即向量中非零元素的个数。
进一步地，作为本申请一种优选的实施方式，所述图像属性自动标注模块对欲查询的服装图像属性信息进行分类标注；
所述图像属性自动标注模块通过深度卷积神经网络从数据集中自动学习服装属性分类器，实现服装图像属性标签的标注；假设需要标注的图像为I，深度模型经过多层映射会预测图像各属性标签的概率，即：
p(lj|I)＝fM(fM-1(fM-2(…f1(I))))；
其中fm表示深度网络的第m层映射函数，p(lj|I)表示图像I被预测为第j个属性的概率，如果该值小于0.5，则图像I不会被标注为lj属性。
在本申请中，所述图像自动生成模块通过依据输入的属性信息和服装图像信息生成新的服装图像；所述新的服装图像将具有原始服装图像的标签属性同时符合输出的属性需求。
作为一种优选的实施方式，所述图像自动生成模块工作包括以下步骤：
步骤S1：根据图像数据和其属性标签优化下述目标函数，学习判别器D和生成器G：
Figure BDA0002865424610000071
其中，pdata(x)表示图像的分布，y表示图像的属性标签向量，z服从标准高斯分布pz(z)，D通过最大化真实图像标签对(x，y)的对数似然函数logD(x|y)和根据标签y生成的图像的对数似然函数1-logD(G(z|y))进行学习，G为通过最大化对数似然函数logD(G(z|y)学习根据属性标签向量y产生符合属性需求的真实图像；
步骤S2：根据用户提供的属性标签
Figure BDA0002865424610000072
和经过训练的生成器G生成符合该属性的真实图像
Figure BDA0002865424610000073
Figure BDA0002865424610000074
其中，z表示从Pz(z)分布中采样的噪声数据。
作为一种优选的实施方式，所述服装图像自动生成系统还具有：服装图像储存检索模块、服装图像属性自动标注模块以及服装图像生成新图像模块；
所述服装图像储存检索模块，将搜集的服装图像存储起来，整理成服装图像数据集并构建检索系统；
服装图像属性自动标注模块，根据数据集里的服装图像进行属性标注，利用一种基于深度学习的图像分类方法，完成数据集图像的自动标注；
服装图像生成新图像模块，基于所得服装图像属性标签的信息，利用条件生成式对抗网络自动生成新图像。
同时本发明还包括一种应用系统的服装图像自动生成的方法，包括如下步骤：
步骤一：建立服装图像数据集；通过使用者输入的文本信息，关键字以及图像内容进行检索或者采用直接拍照的方式获取图像；
步骤二：获取图像后，根据预设的服装图像属性对所获的图像进行人工标注；
步骤三：通过所述具有属性标注信息的服装图像集，训练基于深度卷积神经网络模型的服装图像属性分类器；
步骤四：通过服装图像属性分类器对未标注图像进行自动标注服装图像属性；
步骤五：通过具有属性标注信息的服装图像集训练条件生成式对抗网络；
步骤六：通过训练完成的生成模型并产生新图像。
实施例1
如图1所示，本发明提供一种技术方案：一种服装图像自动生成的系统，包括服装图像检索模块、图像属性自动标注模块以及图像自动生成模块。服装图像检索模块主要采取的是大量网络服装图像的数据搜集以及自我拍摄获取的服装图像。主要是通过网络爬虫，对海量服装图像进行检索实验所需的服装图像并进行筛选，首先使用爬虫爬取服装图像与网上相关的服装数据，获取服装图像，并关联对应的服装属性标签，建立服装图像数据集作为实验样本集，并将样本集随机分为三批，一批样本作为训练的数据，进行模型训练，一批样本进行模型的参数调优，剩下的样本用来衡量最优模型的性能。
所述服装图像属性自动标注模块是给这些搜集的服装图像加上合适的语义标签，以供设计人员进行管理。由于图像数据的庞大性，提高图像语义自动标注的准确性十分重要。原始的图像标签库由人工手动标注完成，每幅图像含有3-5个图像标签，图像标签为对应图像所包含的图像元素，相关场景以及与图像主体相关的信息。但是由于图像人工标注是一件极其繁琐又费力的工作，人工标注给出的标签存在标签不完整以及不正确等情况。为了改善这种情况，首先要构建一个图像标签库，作为后续图像自动标注的基础。图像标签库由图像库，对应的标签标注矩阵以及标签列表构成。标签列表包含所有用于图像标注的标签。标签标注矩阵由所有图像对应的标注向量构成，图像的标注向量为一个0,1串，标明图像是否存在标签列表对应的标签，如存在则为1，不存在则为0。例如，如果标签集为{style,colour,fabric,pattern}({风格，颜色，面料，款式})，那么拥有一件黑色毛衣的服装图像的标注向量为{0,1,1,0}。
所述生成模块是应用生成对抗网络(GAN)生成时尚服装图像。我们引入了用于时尚图像的属性操纵生成对抗性网络(AMGAN)。属性操纵涉及根据目标属性对图像进行翻译、调整。对于时尚产品，感兴趣的属性与视觉品质有关，例如袖长，颜色和图案，而属性值与某些标签相对应，例如长袖，红色和纯色。能够操纵图像的属性在各种情况下特别有用。该网络针对时尚图像的多域图像到图像转换问题，使用户能够进行属性操纵。虽然当前的图像到图像转换网络主要用于面部图像，但AMGAN可以针对较不刚性的对象(例如时尚图像)实现此功能。AMGAN能够根据目标属性的更改将输入图像转换为新图像，同时保留其他属性。
主要包括以下几个步骤：
步骤一：利用服装图像检索模块进行数据检索，主要以爬虫爬取服装图像并进行整理，构建服装图像数据集；
步骤二：根据服装图像数据集，对服装图像属性信息进行分类标注；
步骤三：利用深度学习的服装属性标签识别方法，采用深度卷积神经网络从数据集中自动学习服装属性分类器，实现服装图像属性标签的快速高精准标注；
步骤四：根据时尚图像的属性操纵生成对抗性网络(AMGAN)，对目标服装图像属性进行更改后生成新的服装图像；
步骤五：服装新图像生成之后，设计人员可以根据数据集里的服装图像属性信息进行新的图像设计。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种服装图像自动生成系统，其特征在于，包括：
服装图像检索模块，将搜集的服装图像进行属性标注的图像属性自动标注模块，以及服装图像自动生成模块；
所述服装图像检索模块包括：以文搜图、以图搜图，其中所述以图搜图的所述图像为使用者拍摄的服装图像和/或直接输入待查询的图像；所述图像属性自动标注模块通过构建相关的图像标注库，在所述图像标注库的构建基础上训练标注模型，自动识别图像预定义的属性，完成对未标注图像的自动属性标注；
所述图像自动生成模块，根据预设的属性标签信息通过生成式对抗网络产生符合属性条件的服装图像；
所述服装图像检索模块通过网络平台上的图像或者拍照，通过原始图像和属性标签构建服装图像数据集，建立基于深度学习技术的服装图像检索系统；
所述服装图像检索系统通过深度模型提取图像的颜色、纹理、风格特征，通过计算特征间的距离返回服装图像数据库中同查询图像标签相同的样本；假设两张图像的哈希编码为b1和b2，则它们的汉明距离定义如下：
Figure FDA0002865424600000011
其中
Figure FDA0002865424600000012
为逻辑异或运算，||*||1为L1范数，即向量中非零元素的个数。
2.根据权利要求1所述的一种服装图像自动生成系统，其特征在于，
所述图像属性自动标注模块对欲查询的服装图像属性信息进行分类标注；
所述图像属性自动标注模块通过深度卷积神经网络从数据集中自动学习服装属性分类器，实现服装图像属性标签的标注；假设需要标注的图像为I，深度模型经过多层映射会预测图像各属性标签的概率，即：
p(lj|I)＝fM(fM-1(fM-2(…f1(I))))；
其中fm表示深度网络的第m层映射函数，p(lj|I)表示图像I被预测为第j个属性的概率，如果该值小于0.5，则图像I不会被标注为lj属性。
3.根据权利要求1所述的一种服装图像自动生成系统，其特征在于，
所述图像自动生成模块通过依据输入的属性信息和服装图像信息生成新的服装图像；所述新的服装图像将具有原始服装图像的标签属性同时符合输出的属性需求；
所述图像自动生成模块工作包括以下步骤：
S1：根据图像数据和其属性标签优化下述目标函数，学习判别器D和生成器G：
Figure FDA0002865424600000021
其中，pdata(x)表示图像的分布，y表示图像的属性标签向量，z服从标准高斯分布pz(z)，D通过最大化真实图像标签对(x，y)的对数似然函数logD(x|y)和根据标签y生成的图像的对数似然函数1-logD(G(z|y))进行学习，G为通过最大化对数似然函数logD(G(z|y)学习根据属性标签向量y产生符合属性需求的真实图像；
S2：根据用户提供的属性标签
Figure FDA0002865424600000022
和经过训练的生成器G生成符合该属性的真实图像
Figure FDA0002865424600000023
Figure FDA0002865424600000024
z～Pz(z)；
其中，z表示从Pz(z)分布中采样的噪声数据。
4.根据权利要求1所述的一种服装图像自动生成系统，其特征在于，
所述服装图像自动生成系统还具有：服装图像储存检索模块、服装图像属性自动标注模块以及服装图像生成新图像模块；
所述服装图像储存检索模块，将搜集的服装图像存储起来，整理成服装图像数据集并构建检索系统；
服装图像属性自动标注模块，根据数据集里的服装图像进行属性标注，利用一种基于深度学习的图像分类方法，完成数据集图像的自动标注；
服装图像生成新图像模块，基于所得服装图像属性标签的信息，利用条件生成式对抗网络自动生成新图像。
5.应用权利要求1-4所述的系统的一种服装图像自动生成的方法，包括如下步骤：
步骤一：建立服装图像数据集；通过使用者输入的文本信息，关键字以及图像内容进行检索或者采用直接拍照的方式获取图像；
步骤二：获取图像后，根据预设的服装图像属性对所获的图像进行人工标注；
步骤三：通过所述具有属性标注信息的服装图像集，训练基于深度卷积神经网络模型的服装图像属性分类器；
步骤四：通过服装图像属性分类器对未标注图像进行自动标注服装图像属性；
步骤五：通过具有属性标注信息的服装图像集训练条件生成式对抗网络；
步骤六：通过训练完成的生成模型并产生新图像。
CN202011581996.1A 2020-12-28 2020-12-28 一种服装图像自动生成系统及方法 Pending CN112699261A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011581996.1A CN112699261A (zh) 2020-12-28 2020-12-28 一种服装图像自动生成系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011581996.1A CN112699261A (zh) 2020-12-28 2020-12-28 一种服装图像自动生成系统及方法

Publications (1)

Publication Number Publication Date
CN112699261A true CN112699261A (zh) 2021-04-23

Family

ID=75512978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011581996.1A Pending CN112699261A (zh) 2020-12-28 2020-12-28 一种服装图像自动生成系统及方法

Country Status (1)

Country Link
CN (1) CN112699261A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113672752A (zh) * 2021-07-28 2021-11-19 杭州知衣科技有限公司 一种基于深度学习的服装多模态融合搜索系统及搜索方法
CN116933854A (zh) * 2023-09-18 2023-10-24 腾讯科技（深圳）有限公司 图像生成模型的处理方法、装置、设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197180A (zh) * 2017-12-25 2018-06-22 中山大学 一种服装属性可编辑的服装图像检索的方法
CN110096156A (zh) * 2019-05-13 2019-08-06 东北大学 基于2d图像的虚拟换装方法
CN110659958A (zh) * 2019-09-06 2020-01-07 电子科技大学 基于生成对抗网络的服饰搭配生成方法
CN111582400A (zh) * 2020-05-15 2020-08-25 东华大学 一种基于深度学习的服装图像分类模型建立方法
WO2020191706A1 (zh) * 2019-03-28 2020-10-01 香港纺织及成衣研发中心有限公司 主动学习自动图像标注系统及方法
KR20200141387A (ko) * 2020-05-29 2020-12-18 (주)사맛디 딥러닝 알고리즘을 이용한 영상데이터 검색방법, 장치 및 프로그램

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197180A (zh) * 2017-12-25 2018-06-22 中山大学 一种服装属性可编辑的服装图像检索的方法
WO2020191706A1 (zh) * 2019-03-28 2020-10-01 香港纺织及成衣研发中心有限公司 主动学习自动图像标注系统及方法
CN110096156A (zh) * 2019-05-13 2019-08-06 东北大学 基于2d图像的虚拟换装方法
CN110659958A (zh) * 2019-09-06 2020-01-07 电子科技大学 基于生成对抗网络的服饰搭配生成方法
CN111582400A (zh) * 2020-05-15 2020-08-25 东华大学 一种基于深度学习的服装图像分类模型建立方法
KR20200141387A (ko) * 2020-05-29 2020-12-18 (주)사맛디 딥러닝 알고리즘을 이용한 영상데이터 검색방법, 장치 및 프로그램

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
周立君 等: "一种基于GAN和自适应迁移学习的样本生成方法", 应用光学, vol. 41, no. 01, pages 120 - 126 *
常致富 等: "基于深度学习的图像自动标注方法综述", 山东大学学报（工学版）, vol. 49, no. 06, pages 2 - 3 *
常致富 等: "基于深度学习的图像自动标注方法综述", 山东大学学报(工学版), vol. 49, no. 06, pages 25 - 35 *
张艺凡 等: "基于深度学习的服装风格识别问题的研究", 智能计算机与应用, vol. 10, no. 05, pages 14 - 17 *
王志伟 等: "基于多特征融合的多尺度服装图像精准化检索", 计算机学报, vol. 43, no. 04, pages 740 - 754 *
贾宇峰 等: "条件约束下的自我注意生成对抗网络", 西安电子科技大学学报, vol. 46, no. 06, pages 163 - 170 *
陈培培 等: "基于生成对抗网络的音乐标签自动标注", 南京信息工程大学学报(自然科学版), vol. 10, no. 06, pages 754 - 759 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113672752A (zh) * 2021-07-28 2021-11-19 杭州知衣科技有限公司 一种基于深度学习的服装多模态融合搜索系统及搜索方法
CN116933854A (zh) * 2023-09-18 2023-10-24 腾讯科技（深圳）有限公司 图像生成模型的处理方法、装置、设备和存储介质
CN116933854B (zh) * 2023-09-18 2024-03-29 腾讯科技（深圳）有限公司 图像生成模型的处理方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
Tautkute et al. Deepstyle: Multimodal search engine for fashion and interior design
US11080918B2 (en) Method and system for predicting garment attributes using deep learning
Han et al. Automatic spatially-aware fashion concept discovery
Huang et al. Cross-domain image retrieval with a dual attribute-aware ranking network
Jagadeesh et al. Large scale visual recommendations from street fashion images
CN108595636A (zh) 基于深度跨模态相关性学习的手绘草图的图像检索方法
Chen et al. Dress fashionably: Learn fashion collocation with deep mixed-category metric learning
CN111080551B (zh) 基于深度卷积特征和语义近邻的多标签图像补全方法
CN111967930A (zh) 一种基于多网络融合的服装风格识别推荐方法
Hu et al. RGB-D semantic segmentation: a review
Singhal et al. Towards a unified framework for visual compatibility prediction
CN112699261A (zh) 一种服装图像自动生成系统及方法
Mohammadi et al. Smart fashion: a review of AI applications in the Fashion & Apparel Industry
Chen et al. Visual-based deep learning for clothing from large database
Li et al. Multi-label pattern image retrieval via attention mechanism driven graph convolutional network
Usmani et al. Enhanced deep learning framework for fine-grained segmentation of fashion and apparel
Saha et al. Learning disentangled multimodal representations for the fashion domain
Lu et al. Web multimedia object classification using cross-domain correlation knowledge
Papadopoulos et al. Attentive hierarchical label sharing for enhanced garment and attribute classification of fashion imagery
Stacchio et al. Toward a Holistic Approach to the Socio-historical Analysis of Vernacular Photos
Nawaz et al. Automatic categorization of traditional clothing using convolutional neural network
Goyal et al. A Review on Different Content Based Image Retrieval Techniques Using High Level Semantic Feature
Kshirsagar et al. A generalized neuro-fuzzy based image retrieval system with modified colour coherence vector and texture element patterns
Wang et al. Towards predicting the likeability of fashion images
Meenakshi et al. A novel image recognition using Fuzzy C-Means and content-based fabric image retrieval

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination