CN113157954A - 一种基于跨域转换的草图交互式服装图像检索方法 - Google Patents

一种基于跨域转换的草图交互式服装图像检索方法 Download PDF

Info

Publication number
CN113157954A
CN113157954A CN202110421671.5A CN202110421671A CN113157954A CN 113157954 A CN113157954 A CN 113157954A CN 202110421671 A CN202110421671 A CN 202110421671A CN 113157954 A CN113157954 A CN 113157954A
Authority
CN
China
Prior art keywords
clothing
sketch
image
garment
conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110421671.5A
Other languages
English (en)
Other versions
CN113157954B (zh
Inventor
雷浩鹏
陈思敏
王明文
李思波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Normal University
Original Assignee
Jiangxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Normal University filed Critical Jiangxi Normal University
Priority to CN202110421671.5A priority Critical patent/CN113157954B/zh
Publication of CN113157954A publication Critical patent/CN113157954A/zh
Application granted granted Critical
Publication of CN113157954B publication Critical patent/CN113157954B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于跨域转换的草图交互式服装图像检索方法，通过建立服装草图和服装图像之间的跨域转换网络模型，将服装草图和服装图像转换到相同的数据领域，从而解决服装草图和服装图像之间的异域问题；通过融合服装草图域和服装图像域中两个相似度，计算出最终的混合相似度来度量服装草图和服装图像之间的相似性，以获得更为准确的服装图像检索结果返还给用户，从而实现服装草图对服装图像的跨域检索。

Description

一种基于跨域转换的草图交互式服装图像检索方法
技术领域
本申请涉及计算机图形学及多媒体信息检索技术领域，具体涉及一种基于跨域转换的草图交互式服装图像检索方法。
背景技术
在信息技术促进下，随着服装电子商务平台的发展，网上服装商品日益增多，在巨大且迫切的市场需求下，面对庞大的服装数据库，如何帮助消费者在大规模的服装图像数据库中快速且准确的检索到其感兴趣的服装仍是一个长期而未解决的问题。解决用户对购物网站的服装图像检索问题，主流的服装图像检索系统仍局限于以文本或示例图像作为检索输入。
基于文本的图像检索技术（TBIR）是根据图像标注的关键字进行匹配检索，这种检索方式的特点是检索方式简单方便，检索过程比较快。但是这种基于文本的检索方式需要对图像进行大量的人工标注，并且人工对图像进行文本标注具有很强的主观性，所以关键字并不能详尽的描述出用户的检索意图，这就对用户的检索产生了局限性。
基于内容的图像检索技术（CBIR）需要用户提供一个与检索目标相类似的示例图像作为查询输入，度量示例图像与数据库中的检索对象之间的相似性，返回与查询输入相似度最大的图像作为检索结果给用户。但在实际的检索过程中，比如在线网购，用户拍到的示例图像常常会有以下问题：较差的光线、凌乱的场景、人物姿势变化以及拍摄角度不同等等，用户并不能随时随地拍到自己需要的理想示例图像，使得要求用户手上正好有理想的示例图像作为查询输入比较困难。
随着智能手机、平板电脑等触屏设备的普及，改变了人机交互的方式。人们可以简便的将自己脑海中想象的服装样式在触摸屏上手绘出来，形成服装草图，然后进一步的利用服装草图在大规模的服装图像库中找到与之形状相似的服装图像，完成服装图像检索任务。相较于以上两种检索技术，使用基于草图的服装检索可以同时解决以上问题。
但是使用草图作为服装图像检索的输入面临两个挑战。首先，收集基于草图的服装图像数据库非常困难，因此，没有可供研究人员开发先进的解决方案的大规模数据集。其次，服装草图和服装图像属于两个不同的图像领域，草图通常由白色背景上的黑线条组成，与图像相比，它们看起来更抽象，并且缺少诸如服装图像的纹理、材质和颜色之类的信息，这增加了对服装图像进行细粒度检索的难度。
发明内容
本发明的目的在于，提供一种基于跨域转换的草图交互式服装图像检索方法， 建立服装草图和服装图像之间的跨域转换网络模型，将服装草图和服装图像转换到相同的数据领域，解决服装草图和服装图像之间的异域问题；融合服装草图域和服装图像域中两个相似度，计算出最终的混合相似度来度量服装草图和服装图像之间的相似性，获得更为准确的服装图像检索结果返还给用户，实现服装草图对服装图像的跨域检索。
本发明采取的技术方案是：一种基于跨域转换的草图交互式服装图像检索方法，包括如下步骤：
步骤S000：以服装草图域S和服装图像域P为数据集，建立并训练服装草图和服装图像之间的跨域转换网络模型，所述跨域转换网络模型包括服装跨域转换模块、服装跨域特征提取模块和服装跨域特征相似性度量模块；
步骤S100：输入服装查询草图
Figure DEST_PATH_IMAGE001
；
步骤S200：通过所述服装跨域转换模块将所述服装查询草图
Figure 517386DEST_PATH_IMAGE001
转换为服装草图转换图像
Figure 210535DEST_PATH_IMAGE002
，使用服装草图转换图像
Figure DEST_PATH_IMAGE003
与服装图像域P中的服装图像
Figure 209715DEST_PATH_IMAGE004
进行相似度计算，其中
Figure 962907DEST_PATH_IMAGE005
，N为服装图像域P中服装图像的总数；通过所述服装跨域特征提取模块分别提取服装草图转换图像
Figure 578697DEST_PATH_IMAGE002
和服装图像域P中的服装图像
Figure 75537DEST_PATH_IMAGE004
的深度特征，计算出服装草图转换图像
Figure 725961DEST_PATH_IMAGE003
与服装图像域P中服装图像
Figure 650055DEST_PATH_IMAGE004
之间的特征相似度
Figure DEST_PATH_IMAGE006
；
步骤S300：通过所述服装跨域转换模块将服装图像域P内的所有服装图像
Figure 753140DEST_PATH_IMAGE004
映射到服装草图域S中，得到服装图像转换草图
Figure 788092DEST_PATH_IMAGE007
，其中
Figure DEST_PATH_IMAGE008
，N为服装图像域P中服装图像的总数；通过所述服装跨域特征提取模块分别提取服装查询草图
Figure 758935DEST_PATH_IMAGE001
和服装图像转换草图
Figure 588350DEST_PATH_IMAGE007
的深度特征，计算服装查询草图
Figure 178732DEST_PATH_IMAGE001
与服装图像转换草图
Figure 17375DEST_PATH_IMAGE007
之间的特征相似度
Figure 642391DEST_PATH_IMAGE009
；
步骤400：通过所述服装跨域特征相似性度量模块对特征相似度
Figure DEST_PATH_IMAGE010
和特征相似度
Figure 377129DEST_PATH_IMAGE009
进行加权融合，得到混合相似度
Figure 454806DEST_PATH_IMAGE011
；根据所述混合相似度
Figure DEST_PATH_IMAGE012
进行排序，服装查询草图
Figure 300403DEST_PATH_IMAGE001
与服装图像域P中服装图像
Figure 45505DEST_PATH_IMAGE004
之间的相似度索引表，根据索引表返回与服装查询草图
Figure 482302DEST_PATH_IMAGE001
最为相似的服装图像给用户。
进一步地，所述服装跨域转换模块包括服装草图跨域转换模块
Figure 781697DEST_PATH_IMAGE013
和服装图像跨域转换模块
Figure 962142DEST_PATH_IMAGE014
；所述服装草图跨域转换模块
Figure 564681DEST_PATH_IMAGE013
包括服装草图编码器
Figure DEST_PATH_IMAGE015
、服装草图生成器
Figure 641221DEST_PATH_IMAGE016
、服装草图判别器
Figure 427911DEST_PATH_IMAGE017
、服装图像生成器
Figure DEST_PATH_IMAGE018
和服装图像判别器
Figure 880889DEST_PATH_IMAGE019
；所述服装图像跨域转换模块
Figure 335005DEST_PATH_IMAGE020
包括服装图像编码器
Figure DEST_PATH_IMAGE021
、服装草图生成器
Figure 582446DEST_PATH_IMAGE016
、服装草图判别器
Figure 583331DEST_PATH_IMAGE022
、服装图像生成器
Figure 105579DEST_PATH_IMAGE018
和服装图像判别器
Figure 414201DEST_PATH_IMAGE019
。
进一步地，训练所述服装草图跨域转换模块
Figure 363702DEST_PATH_IMAGE013
的具体方法为：从服装草图域S和服装图像域P中给定服装草图和服装图像训练样本对
Figure DEST_PATH_IMAGE023
，将服装草图训练样本
Figure 593826DEST_PATH_IMAGE024
输入到服装草图跨域转换模块
Figure 654186DEST_PATH_IMAGE013
中；服装草图编码器
Figure 82894DEST_PATH_IMAGE015
将输入的服装草图训练样本
Figure 937717DEST_PATH_IMAGE024
转换成一个潜在编码
Figure DEST_PATH_IMAGE025
，其中
Figure 655137DEST_PATH_IMAGE026
表示服装草图训练样本
Figure 519188DEST_PATH_IMAGE024
转换为潜在编码
Figure DEST_PATH_IMAGE027
的概率分布；服装草图生成器
Figure 268314DEST_PATH_IMAGE016
将潜在编码
Figure 294039DEST_PATH_IMAGE027
进行解码以重构输入的服装草图训练样本
Figure 29913DEST_PATH_IMAGE024
，重构的服装草图表示为
Figure 697655DEST_PATH_IMAGE028
，其中
Figure DEST_PATH_IMAGE029
表示潜在编码
Figure 38638DEST_PATH_IMAGE027
利用服装草图生成器
Figure 500843DEST_PATH_IMAGE016
重构的服装草图
Figure 724014DEST_PATH_IMAGE030
的概率分布；在编码和解码过程中将重构的服装草图
Figure 195447DEST_PATH_IMAGE030
和服装草图训练样本
Figure 187674DEST_PATH_IMAGE024
输入到服装草图判别器
Figure 820780DEST_PATH_IMAGE017
中，判别一张输入的服装草图是重构的服装草图
Figure 531247DEST_PATH_IMAGE030
还是原始输入的服装草图训练样本
Figure 540792DEST_PATH_IMAGE024
，服装草图生成器
Figure 387525DEST_PATH_IMAGE016
与服装草图判别器
Figure 457112DEST_PATH_IMAGE022
组成第一生成对抗网络
Figure DEST_PATH_IMAGE031
；将服装草图训练样本
Figure 861067DEST_PATH_IMAGE024
的潜在编码
Figure 674302DEST_PATH_IMAGE027
输入到服装图像生成器
Figure 375542DEST_PATH_IMAGE018
中生成服装草图转换图像
Figure 881610DEST_PATH_IMAGE032
，并将生成的服装草图转换图像
Figure 301090DEST_PATH_IMAGE032
以及真实的服装图像训练样本
Figure DEST_PATH_IMAGE033
输入到服装图像判别器
Figure 855699DEST_PATH_IMAGE019
中，判别一张输入的服装图像是真实的服装图像训练样本
Figure 677025DEST_PATH_IMAGE033
还是服装草图训练样本
Figure 88414DEST_PATH_IMAGE024
转换后生成的服装草图转换图像
Figure 995190DEST_PATH_IMAGE032
，服装图像生成器
Figure 150228DEST_PATH_IMAGE018
和服装图像判别器
Figure 826060DEST_PATH_IMAGE019
组成第二生成对抗网络
Figure 408351DEST_PATH_IMAGE034
。
进一步地，训练所述服装图像跨域转换模块
Figure 802424DEST_PATH_IMAGE035
的具体方法为：从服装草图域S和服装图像域P中给定服装草图和服装图像训练样本对
Figure 495573DEST_PATH_IMAGE023
，将服装图像训练样本
Figure 288561DEST_PATH_IMAGE033
输入到服装图像跨域转换模块
Figure 776174DEST_PATH_IMAGE035
中；服装图像编码器
Figure 657543DEST_PATH_IMAGE021
将输入的服装图像训练样本
Figure 419962DEST_PATH_IMAGE033
转换成一个潜在编码
Figure DEST_PATH_IMAGE036
，其中
Figure 8069DEST_PATH_IMAGE037
表示服装图像训练样本
Figure 932163DEST_PATH_IMAGE033
转换为潜在编码
Figure 35248DEST_PATH_IMAGE038
的概率分布；服装图像生成器
Figure DEST_PATH_IMAGE039
潜在编码
Figure 273463DEST_PATH_IMAGE040
进行解码以重构输入的服装图像训练样本
Figure 43973DEST_PATH_IMAGE033
，重构的服装图像表示为
Figure DEST_PATH_IMAGE041
，其中
Figure 607809DEST_PATH_IMAGE042
表示输入潜在编码
Figure 198191DEST_PATH_IMAGE038
利用服装图像生成器
Figure DEST_PATH_IMAGE043
重构的服装图像
Figure 254744DEST_PATH_IMAGE044
的概率分布；在编码和解码过程中将重构的服装图像
Figure 879761DEST_PATH_IMAGE044
和服装图像训练样本
Figure 145657DEST_PATH_IMAGE033
输入到服装草图判别器
Figure 957755DEST_PATH_IMAGE019
中，判别一张输入的服装图像是重构的服装图像
Figure 334510DEST_PATH_IMAGE044
还是原始输入的服装图像训练样本
Figure 548454DEST_PATH_IMAGE033
，服装图像生成器
Figure 985251DEST_PATH_IMAGE018
与服装图像判别器
Figure 550225DEST_PATH_IMAGE019
组成第三生成对抗网络
Figure DEST_PATH_IMAGE045
；将服装图像训练样本
Figure 199512DEST_PATH_IMAGE033
的潜在编码
Figure 533541DEST_PATH_IMAGE038
输入到服装草图生成器
Figure 141240DEST_PATH_IMAGE016
中来生成服装图像转换草图
Figure 193510DEST_PATH_IMAGE046
，将生成的服装图像转换草图
Figure 177646DEST_PATH_IMAGE046
以及真实的服装草图训练样本
Figure 631761DEST_PATH_IMAGE024
输入到服装草图判别器
Figure 407432DEST_PATH_IMAGE022
中，判别一张输入的服装草图是真实的服装草图训练样本
Figure 946997DEST_PATH_IMAGE024
还是服装图像训练样本
Figure 469246DEST_PATH_IMAGE033
转换后生成的服装图像转换草图
Figure 777867DEST_PATH_IMAGE046
，服装草图生成器
Figure 727369DEST_PATH_IMAGE016
和服装草图判别器
Figure 754231DEST_PATH_IMAGE017
组成第四生成对抗网络
Figure DEST_PATH_IMAGE047
。
进一步地，所述特征相似度
Figure 283432DEST_PATH_IMAGE010
的表达式为：
Figure 446560DEST_PATH_IMAGE048
其中，
Figure DEST_PATH_IMAGE049
为服装查询草图
Figure 301384DEST_PATH_IMAGE001
转换生成的服装草图转换图像
Figure 549962DEST_PATH_IMAGE003
的特征向量，
Figure 414013DEST_PATH_IMAGE050
为服装图像域P中服装图像
Figure DEST_PATH_IMAGE051
的特征向量，d为特征向量的维度；
所述特征相似度
Figure 900489DEST_PATH_IMAGE009
的表达式为：
Figure 191793DEST_PATH_IMAGE052
其中，
Figure DEST_PATH_IMAGE053
为服装查询草图
Figure 399439DEST_PATH_IMAGE001
的特征向量，
Figure 67181DEST_PATH_IMAGE054
为服装图像域P中服装图像
Figure 204901DEST_PATH_IMAGE004
转换生成的服装图像转换草图
Figure 667107DEST_PATH_IMAGE007
的特征向量，d为特征向量的维度。
进一步地，所述混合相似度
Figure 155857DEST_PATH_IMAGE011
具体表达式如下：
Figure DEST_PATH_IMAGE055
其中，
Figure 564973DEST_PATH_IMAGE056
和
Figure DEST_PATH_IMAGE057
分别为特征相似度
Figure 26041DEST_PATH_IMAGE010
和特征相似度
Figure 924727DEST_PATH_IMAGE009
的权值，且
Figure 635194DEST_PATH_IMAGE058
。
本发明的有益效果在于：通过建立服装查询草图与服装图像数据集的关联性，实现两种不同领域下的服装图像检索过程，将服装草图和服装图像转换到相同的数据领域，从而解决了服装草图和服装图像之间的异域问题；融合服装草图域和服装图像域中的两个相似度，并利用融合后的混合相似度来进行相似性度量，实现服装草图对服装图像的跨域检索；根据混合相似度进行排序，获取服装查询草图与服装图像之间的相似度索引表，并根据索引表能够准确地返回与服装查询草图最为相似的服装图像给用户；检索准确率高，可以实现大规模服装图像数据情况下特定服装的准确检索；提高服装草图和服装图像跨域转换的鲁棒性和稳定性，保证服装草图或服装图像经过跨域转换后，生成的服装图像或服装草图还能够再次转换回原来的服装草图或服装图像，并且转换后不会丢失原来的特征。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例的流程图。
图2为本发明实施例的跨域转换网络模型架构图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。
除非另作定义，此处使用的技术术语或者科学术语应当为本申请所述领域内具有一般技能的人士所理解的通常意义。本专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样， “一个”或者“一”等类似词语也不表示数量限制，而是表示存在至少一个。 “连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。 “上”、 “下”、 “左”、 “右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也相应地改变。
如图1~图2所示，一种基于跨域转换的草图交互式服装图像检索方法，包括如下步骤：
步骤S000：以服装草图域S和服装图像域P为数据集，建立并训练服装草图和服装图像之间的跨域转换网络模型，所述跨域转换网络模型包括服装跨域转换模块、服装跨域特征提取模块和服装跨域特征相似性度量模块；
步骤S100：输入服装查询草图
Figure 379159DEST_PATH_IMAGE001
；
步骤S200：通过所述服装跨域转换模块将所述服装查询草图
Figure 491471DEST_PATH_IMAGE001
转换为服装草图转换图像
Figure 295479DEST_PATH_IMAGE002
，使用服装草图转换图像
Figure 493243DEST_PATH_IMAGE003
与服装图像域P中的服装图像
Figure 37969DEST_PATH_IMAGE004
进行相似度计算，其中
Figure 270367DEST_PATH_IMAGE005
，N为服装图像域P中服装图像的总数；通过所述服装跨域特征提取模块分别提取服装草图转换图像
Figure 510856DEST_PATH_IMAGE002
和服装图像域P中的服装图像
Figure 930336DEST_PATH_IMAGE004
的深度特征，计算出服装草图转换图像
Figure 281682DEST_PATH_IMAGE003
与服装图像域P中服装图像
Figure 103008DEST_PATH_IMAGE004
之间的特征相似度
Figure 514398DEST_PATH_IMAGE010
；
步骤S300：通过所述服装跨域转换模块将服装图像域P内的所有服装图像
Figure 421174DEST_PATH_IMAGE004
映射到服装草图域S中，得到服装图像转换草图
Figure 310632DEST_PATH_IMAGE007
，其中
Figure DEST_PATH_IMAGE059
，N为服装图像域P中服装图像的总数；通过所述服装跨域特征提取模块分别提取服装查询草图
Figure 720885DEST_PATH_IMAGE001
和服装图像转换草图
Figure 303176DEST_PATH_IMAGE007
的深度特征，计算服装查询草图
Figure 697249DEST_PATH_IMAGE001
与服装图像转换草图
Figure 390398DEST_PATH_IMAGE007
之间的特征相似度
Figure 920736DEST_PATH_IMAGE009
；
步骤400：通过所述服装跨域特征相似性度量模块对特征相似度
Figure 939508DEST_PATH_IMAGE010
和特征相似度
Figure 820876DEST_PATH_IMAGE009
进行加权融合，得到混合相似度
Figure 308928DEST_PATH_IMAGE011
；根据所述混合相似度
Figure 959352DEST_PATH_IMAGE012
进行排序，服装查询草图
Figure 352287DEST_PATH_IMAGE001
与服装图像域P中服装图像
Figure 720952DEST_PATH_IMAGE004
之间的相似度索引表，根据索引表返回与服装查询草图
Figure 772215DEST_PATH_IMAGE001
最为相似的服装图像给用户。
在本发明实施例中，所述服装跨域转换模块包括服装草图跨域转换模块
Figure 542725DEST_PATH_IMAGE013
和服装图像跨域转换模块
Figure 372141DEST_PATH_IMAGE014
；所述服装草图跨域转换模块
Figure 959593DEST_PATH_IMAGE013
包括服装草图编码器
Figure 798236DEST_PATH_IMAGE015
、服装草图生成器
Figure 157673DEST_PATH_IMAGE016
、服装草图判别器
Figure 423569DEST_PATH_IMAGE017
、服装图像生成器
Figure 271220DEST_PATH_IMAGE018
和服装图像判别器
Figure 257762DEST_PATH_IMAGE019
；所述服装图像跨域转换模块
Figure 737285DEST_PATH_IMAGE014
包括服装图像编码器
Figure 174082DEST_PATH_IMAGE021
、服装草图生成器
Figure 739056DEST_PATH_IMAGE016
、服装草图判别器
Figure 919502DEST_PATH_IMAGE022
、服装图像生成器
Figure 253531DEST_PATH_IMAGE018
和服装图像判别器
Figure 861230DEST_PATH_IMAGE019
。
如图2中虚线所示，训练所述服装草图跨域转换模块
Figure 910570DEST_PATH_IMAGE013
的具体方法为：从服装草图域S和服装图像域P中给定服装草图和服装图像训练样本对
Figure 629127DEST_PATH_IMAGE023
，将服装草图训练样本
Figure 83242DEST_PATH_IMAGE024
输入到服装草图跨域转换模块
Figure 861842DEST_PATH_IMAGE013
中；服装草图编码器
Figure 401408DEST_PATH_IMAGE015
将输入的服装草图训练样本
Figure 923656DEST_PATH_IMAGE024
转换成一个潜在编码
Figure 232278DEST_PATH_IMAGE025
，其中
Figure 181779DEST_PATH_IMAGE060
表示服装草图训练样本
Figure 943062DEST_PATH_IMAGE024
转换为潜在编码
Figure 269001DEST_PATH_IMAGE027
的概率分布；服装草图生成器
Figure 697708DEST_PATH_IMAGE016
将潜在编码
Figure 818111DEST_PATH_IMAGE027
进行解码以重构输入的服装草图训练样本
Figure 332269DEST_PATH_IMAGE024
，重构的服装草图表示为
Figure 196320DEST_PATH_IMAGE028
，其中
Figure DEST_PATH_IMAGE061
表示潜在编码
Figure 682796DEST_PATH_IMAGE027
利用服装草图生成器
Figure 254328DEST_PATH_IMAGE016
重构的服装草图
Figure 990202DEST_PATH_IMAGE062
的概率分布；本发明实施例利用变分自编码器(VariationalAuto-Encoder, VAE)来构造服装草图的编码和解码过程，潜在编码
Figure 126786DEST_PATH_IMAGE027
的先验概率
Figure 264506DEST_PATH_IMAGE063
可选择为服从零均值高斯分布模型
Figure DEST_PATH_IMAGE064
，则服装草图训练样本
Figure 195553DEST_PATH_IMAGE024
整个编、解码过程的目标函数
Figure 418724DEST_PATH_IMAGE065
为：
Figure DEST_PATH_IMAGE066
(1)
其中，
Figure 827840DEST_PATH_IMAGE067
表示
Figure 554487DEST_PATH_IMAGE026
与
Figure DEST_PATH_IMAGE068
的KL散度距离，
Figure 922015DEST_PATH_IMAGE069
为服装草图生成器
Figure 366902DEST_PATH_IMAGE016
将潜在编码
Figure 376447DEST_PATH_IMAGE027
进行解码以重构输入的服装草图训练样本
Figure 485830DEST_PATH_IMAGE024
的数学期望；
Figure DEST_PATH_IMAGE070
为编码项，其作用为尽可能地拉近概率分布
Figure 493100DEST_PATH_IMAGE071
与
Figure DEST_PATH_IMAGE072
的距离，在最优化目标函数
Figure 894125DEST_PATH_IMAGE073
时，
Figure 441781DEST_PATH_IMAGE026
与
Figure DEST_PATH_IMAGE074
都可视为服从高斯分布模型，
Figure 877442DEST_PATH_IMAGE075
为解码项，其作用为尽可能地减小重构的服装草图
Figure 852351DEST_PATH_IMAGE030
与实际输入的服装草图训练样本
Figure 537410DEST_PATH_IMAGE024
之间的误差。
在编码和解码过程中，为了保证重构的服装草图
Figure 888757DEST_PATH_IMAGE030
尽可能地还原初始输入的服装草图训练样本
Figure 710083DEST_PATH_IMAGE024
，将重构的服装草图
Figure 121472DEST_PATH_IMAGE030
和服装草图训练样本
Figure 28249DEST_PATH_IMAGE024
输入到服装草图判别器
Figure 917707DEST_PATH_IMAGE017
中，判别一张输入的服装草图是重构的服装草图
Figure 862048DEST_PATH_IMAGE030
还是原始输入的服装草图训练样本
Figure 178760DEST_PATH_IMAGE024
，服装草图生成器
Figure 572832DEST_PATH_IMAGE016
与服装草图判别器
Figure 265982DEST_PATH_IMAGE017
组成第一生成对抗网络
Figure 61899DEST_PATH_IMAGE031
，所述第一生成对抗网络
Figure 80671DEST_PATH_IMAGE031
的目标函数
Figure DEST_PATH_IMAGE076
为：
Figure 899722DEST_PATH_IMAGE077
（2）
其中，
Figure 130984DEST_PATH_IMAGE078
为服装草图判别器
Figure DEST_PATH_IMAGE079
判别原始输入的服装草图训练样本
Figure 250249DEST_PATH_IMAGE024
为真的数学期望，
Figure 174343DEST_PATH_IMAGE080
为服装草图判别器
Figure 543007DEST_PATH_IMAGE017
判别利用服装草图生成器
Figure DEST_PATH_IMAGE081
生成的重构的服装草图
Figure 46801DEST_PATH_IMAGE030
为假的数学期望，
Figure 551732DEST_PATH_IMAGE082
表示服装草图域S中所有服装草图的概率分布。在训练时，服装草图生成器
Figure 643797DEST_PATH_IMAGE016
会最小化目标函数
Figure DEST_PATH_IMAGE083
从而生成与原服装草图训练样本
Figure 968599DEST_PATH_IMAGE024
尽可能相似的重构的服装草图
Figure 541663DEST_PATH_IMAGE062
，服装草图判别器
Figure 166679DEST_PATH_IMAGE017
会最大化目标函数
Figure 698155DEST_PATH_IMAGE076
，从而尽可能地扩大服装草图训练样本
Figure 510253DEST_PATH_IMAGE024
与重构的服装草图
Figure 152587DEST_PATH_IMAGE062
的相似距离。
为了实现服装草图的跨域转换，本发明实施例将服装草图训练样本
Figure 897689DEST_PATH_IMAGE024
的潜在编码
Figure 334487DEST_PATH_IMAGE027
输入到服装图像生成器
Figure 633881DEST_PATH_IMAGE018
中生成服装草图转换图像
Figure 548747DEST_PATH_IMAGE032
，并将生成的服装草图转换图像
Figure 148356DEST_PATH_IMAGE032
以及真实的服装图像训练样本
Figure 21634DEST_PATH_IMAGE033
输入到服装图像判别器
Figure 73904DEST_PATH_IMAGE019
中，判别一张输入的服装图像是真实的服装图像训练样本
Figure 792461DEST_PATH_IMAGE033
还是服装草图训练样本
Figure 237787DEST_PATH_IMAGE024
转换后生成的服装草图转换图像
Figure 16387DEST_PATH_IMAGE032
，服装图像生成器
Figure 290374DEST_PATH_IMAGE018
和服装图像判别器
Figure 812622DEST_PATH_IMAGE019
组成第二生成对抗网络
Figure 386823DEST_PATH_IMAGE034
，所述第二生成对抗网络
Figure 336324DEST_PATH_IMAGE034
的目标函数
Figure 832027DEST_PATH_IMAGE084
为：
Figure DEST_PATH_IMAGE085
（3）
其中，
Figure 626808DEST_PATH_IMAGE086
为服装图像判别器
Figure 789936DEST_PATH_IMAGE019
判别服装图像训练样本
Figure 910339DEST_PATH_IMAGE033
为真的数学期望，
Figure DEST_PATH_IMAGE087
为服装图像判别器
Figure 893339DEST_PATH_IMAGE019
判别利用服装图像生成器
Figure 757389DEST_PATH_IMAGE018
生成的服装草图转换图像
Figure 775024DEST_PATH_IMAGE032
为假的数学期望，
Figure 331907DEST_PATH_IMAGE088
表示服装图像域P中的服装图像的概率分布。在训练时，服装图像生成器
Figure 64852DEST_PATH_IMAGE018
会最小化目标函数
Figure DEST_PATH_IMAGE089
从而生成与原服装图像训练样本
Figure 935856DEST_PATH_IMAGE033
尽可能相似的服装草图转换图像
Figure 73577DEST_PATH_IMAGE032
，服装图像判别器
Figure 801361DEST_PATH_IMAGE019
会最大化目标函数
Figure 758953DEST_PATH_IMAGE089
，从而尽可能地扩大服装图像训练样本
Figure 230386DEST_PATH_IMAGE033
与服装草图转换图像
Figure 222612DEST_PATH_IMAGE032
的相似距离。
与服装草图跨域转换模块
Figure 855719DEST_PATH_IMAGE013
的方法类似，如图2中实线所示，训练所述服装图像跨域转换模块
Figure 566186DEST_PATH_IMAGE014
的具体方法为：从服装草图域S和服装图像域P中给定服装草图和服装图像训练样本对
Figure 841310DEST_PATH_IMAGE023
，将服装图像训练样本
Figure 422464DEST_PATH_IMAGE033
输入到服装图像跨域转换模块
Figure 757630DEST_PATH_IMAGE014
中；服装图像编码器
Figure 424235DEST_PATH_IMAGE090
将输入的服装图像训练样本
Figure 237470DEST_PATH_IMAGE033
转换成一个潜在编码
Figure DEST_PATH_IMAGE091
，其中
Figure 676060DEST_PATH_IMAGE037
表示服装图像训练样本
Figure 650969DEST_PATH_IMAGE033
转换为潜在编码
Figure 336029DEST_PATH_IMAGE038
的概率分布；服装图像生成器
Figure 687376DEST_PATH_IMAGE092
潜在编码
Figure 508701DEST_PATH_IMAGE093
进行解码以重构输入的服装图像训练样本
Figure 654512DEST_PATH_IMAGE033
，重构的服装图像表示为
Figure DEST_PATH_IMAGE094
，其中
Figure 30129DEST_PATH_IMAGE095
表示输入潜在编码
Figure 185167DEST_PATH_IMAGE038
利用服装图像生成器
Figure 860999DEST_PATH_IMAGE043
重构的服装图像
Figure 443290DEST_PATH_IMAGE044
的概率分布；本发明实施例利用变分自编码器(Variational Auto-Encoder, VAE)来构造服装图像的编码和解码过程，潜在编码
Figure 837362DEST_PATH_IMAGE038
的先验概率
Figure DEST_PATH_IMAGE096
服从零均值高斯分布模型
Figure 999353DEST_PATH_IMAGE097
，则服装图像整个编、解码过程的目标函数
Figure DEST_PATH_IMAGE098
为：
Figure 264113DEST_PATH_IMAGE099
（4）
其中，
Figure DEST_PATH_IMAGE100
表示
Figure 217638DEST_PATH_IMAGE101
与
Figure DEST_PATH_IMAGE102
的KL散度距离，
Figure 771110DEST_PATH_IMAGE103
为服装图像生成器
Figure 2371DEST_PATH_IMAGE018
将潜在编码
Figure 652795DEST_PATH_IMAGE038
进行解码以重构输入的服装图像训练样本
Figure 576889DEST_PATH_IMAGE033
的数学期望；
Figure DEST_PATH_IMAGE104
为编码项，其作用为尽可能地拉近概率分布
Figure 352078DEST_PATH_IMAGE101
与
Figure 387030DEST_PATH_IMAGE105
的距离，在最优化目标函数
Figure DEST_PATH_IMAGE106
时，
Figure 578713DEST_PATH_IMAGE101
与
Figure 673708DEST_PATH_IMAGE102
都可视为服从高斯分布模型。
Figure 264089DEST_PATH_IMAGE103
为解码项，其作用为尽可能地减小重构的服装图像
Figure 102732DEST_PATH_IMAGE044
与实际输入的服装图像训练样
Figure 727749DEST_PATH_IMAGE033
之间的误差。
在编码和解码过程中，为了保证重构的服装图像
Figure 931328DEST_PATH_IMAGE044
尽可能地还原初始输入的服装图像训练样
Figure 9006DEST_PATH_IMAGE033
，将重构的服装图像
Figure 385760DEST_PATH_IMAGE044
和服装图像训练样本
Figure 865283DEST_PATH_IMAGE033
输入到服装草图判别器
Figure 302081DEST_PATH_IMAGE019
中，判别一张输入的服装图像是重构的服装图像
Figure 335896DEST_PATH_IMAGE044
还是原始输入的服装图像训练样本
Figure 516341DEST_PATH_IMAGE033
，服装图像生成器
Figure 113020DEST_PATH_IMAGE018
与服装图像判别器
Figure 720719DEST_PATH_IMAGE019
组成第三生成对抗网络
Figure 507410DEST_PATH_IMAGE045
，所述第三生成对抗网络
Figure 960388DEST_PATH_IMAGE045
的目标函数
Figure 414503DEST_PATH_IMAGE107
为：
Figure 927524DEST_PATH_IMAGE108
（5）
其中，
Figure 201510DEST_PATH_IMAGE109
为服装图像判别器
Figure 395862DEST_PATH_IMAGE019
判别服装图像训练样本
Figure 704484DEST_PATH_IMAGE033
为真的数学期望，
Figure 919565DEST_PATH_IMAGE110
为服装图像判别器
Figure 946426DEST_PATH_IMAGE019
判别利用服装图像生成器
Figure 6786DEST_PATH_IMAGE018
生成的重构的服装草图
Figure 435494DEST_PATH_IMAGE044
为假的数学期望；在训练时，服装图像生成器
Figure 558826DEST_PATH_IMAGE018
会最小化目标函数
Figure 807405DEST_PATH_IMAGE107
生成与原服装图像训练样本
Figure 405876DEST_PATH_IMAGE033
尽可能相似的重构的服装图像
Figure 689090DEST_PATH_IMAGE044
，而服装图像判别器
Figure 980394DEST_PATH_IMAGE019
则会最大化目标函数
Figure 716269DEST_PATH_IMAGE107
，来尽可能地扩大服装图像训练样本
Figure 384011DEST_PATH_IMAGE033
与重构的服装图像
Figure 521731DEST_PATH_IMAGE044
的相似距离。
为了实现服装图像的跨域转换，将服装图像训练样本
Figure 718357DEST_PATH_IMAGE033
的潜在编码
Figure 941528DEST_PATH_IMAGE038
输入到服装草图生成器
Figure 412961DEST_PATH_IMAGE016
中来生成服装图像转换草图
Figure 405188DEST_PATH_IMAGE046
，将生成的服装图像转换草图
Figure 303873DEST_PATH_IMAGE046
以及真实的服装草图训练样本
Figure 14340DEST_PATH_IMAGE024
输入到服装草图判别器
Figure 224217DEST_PATH_IMAGE022
中，判别一张输入的服装草图是真实的服装草图训练样本
Figure 336530DEST_PATH_IMAGE024
还是服装图像训练样本
Figure 406117DEST_PATH_IMAGE033
转换后生成的服装图像转换草图
Figure 338301DEST_PATH_IMAGE046
，服装草图生成器
Figure 151536DEST_PATH_IMAGE016
和服装草图判别器
Figure 56038DEST_PATH_IMAGE017
组成第四生成对抗网络
Figure 296527DEST_PATH_IMAGE047
，所述第四生成对抗网络
Figure 716007DEST_PATH_IMAGE047
的目标函数
Figure 67354DEST_PATH_IMAGE111
为：
Figure DEST_PATH_IMAGE112
（6）
其中，
Figure 91942DEST_PATH_IMAGE113
为服装草图判别器
Figure 503331DEST_PATH_IMAGE017
判别服装草图训练样本
Figure 410107DEST_PATH_IMAGE024
为真的数学期望，
Figure DEST_PATH_IMAGE114
为服装草图判别器
Figure 759619DEST_PATH_IMAGE017
判别利用服装草图生成器
Figure 435450DEST_PATH_IMAGE016
生成的服装图像转换草像
Figure 17742DEST_PATH_IMAGE046
为假的数学期望，在训练时，服装草图生成器
Figure 411814DEST_PATH_IMAGE016
会最小化目标函数
Figure 573805DEST_PATH_IMAGE111
从而生成与原服装草图训练样本
Figure 104143DEST_PATH_IMAGE024
尽可能相似的服装图像转换草图
Figure 591756DEST_PATH_IMAGE046
，服装草图判别器
Figure 473125DEST_PATH_IMAGE017
会最大化目标函数
Figure 173228DEST_PATH_IMAGE111
，从而尽可能地扩大服装草图训练样本
Figure 823652DEST_PATH_IMAGE024
与服装图像转换草图
Figure 747745DEST_PATH_IMAGE046
的相似距离。
为了提高服装草图跨域转换模块
Figure 850831DEST_PATH_IMAGE013
和服装图像跨域转换模块
Figure 885783DEST_PATH_IMAGE014
的鲁棒性和稳定性，本发明实施例引入了服装草图的循环转换一致性约束条件和服装图像的循环转换一致性约束条件。所述服装草图的循环转换过程为：将服装草图训练样本
Figure 653363DEST_PATH_IMAGE024
转换生成的服装草图转换图像
Figure 217199DEST_PATH_IMAGE032
输入到服装图像编码器
Figure 807581DEST_PATH_IMAGE021
中进行编码，然后在将编码输入到服装草图生成器
Figure 646224DEST_PATH_IMAGE016
中进行解码，以重构出初始输入的服装草图训练样本
Figure 5661DEST_PATH_IMAGE024
，保证服装草图训练样本
Figure 209240DEST_PATH_IMAGE024
在经过跨域转换后，生成的服装草图转换图像
Figure 286918DEST_PATH_IMAGE032
还能够再次转换回原来的服装草图训练样本
Figure 398093DEST_PATH_IMAGE024
，并且转换后不会丢失原来的草图特征。整个编解码过程同样利用变分自编码器来进行构造，所述服装草图的循环转换一致性约束条件的目标函数
Figure 877616DEST_PATH_IMAGE115
为：
Figure DEST_PATH_IMAGE116
（7）
其中，
Figure 989447DEST_PATH_IMAGE117
为表示
Figure DEST_PATH_IMAGE118
与
Figure 898629DEST_PATH_IMAGE119
的KL散度距离，
Figure DEST_PATH_IMAGE120
为服装草图生成器
Figure 751178DEST_PATH_IMAGE016
将潜在编码
Figure 554049DEST_PATH_IMAGE038
进行解码以重构输入的服装草图训练样本
Figure 427327DEST_PATH_IMAGE024
的数学期望；
Figure 948438DEST_PATH_IMAGE117
为编码项，其作用为将转换生成的服装草图转换图像
Figure 932575DEST_PATH_IMAGE032
编码成
Figure 118181DEST_PATH_IMAGE038
，
Figure 896781DEST_PATH_IMAGE120
为解码项，其作用为根据输入的潜在编码
Figure 436347DEST_PATH_IMAGE038
重构出初始的服装草图训练样本
Figure 161857DEST_PATH_IMAGE024
。
所述服装图像的循环转换过程为：将服装图像训练样本
Figure 204900DEST_PATH_IMAGE033
转换生成的服装图像转换草图
Figure 154401DEST_PATH_IMAGE121
输入到服装草图编码器
Figure 181263DEST_PATH_IMAGE122
中进行编码，然后在将编码输入到服装图像生成器
Figure 179306DEST_PATH_IMAGE018
中进行解码，以重构出初始输入的服装图像训练样本
Figure DEST_PATH_IMAGE123
，保证服装图像训练样本
Figure 811276DEST_PATH_IMAGE033
在经过跨域转换后，生成的服装图像转换草图
Figure 462837DEST_PATH_IMAGE124
也能够再次转换回原来的服装图像训练样本
Figure 445836DEST_PATH_IMAGE123
，并且转换后不会丢失原来的图像特征。整个编解码过程同样利用变分自编码器来进行构造，所述服装图像的循环转换一致性约束条件的目标函数
Figure 324536DEST_PATH_IMAGE125
为：
Figure 342170DEST_PATH_IMAGE126
（8）
其中，
Figure 633474DEST_PATH_IMAGE127
为表示
Figure 103770DEST_PATH_IMAGE128
与
Figure 771512DEST_PATH_IMAGE129
的KL散度距离，
Figure 909232DEST_PATH_IMAGE130
为服装图像生成器
Figure 777962DEST_PATH_IMAGE018
将潜在编码
Figure 735554DEST_PATH_IMAGE027
进行解码以重构输入的服装图像训练样本
Figure 206986DEST_PATH_IMAGE033
的数学期望；
Figure 199213DEST_PATH_IMAGE127
为编码项，其作用为将转换生成的服装图像转换草图
Figure 32652DEST_PATH_IMAGE046
编码成
Figure DEST_PATH_IMAGE131
，
Figure 946382DEST_PATH_IMAGE130
为解码项，其作用为根据输入的潜在编码
Figure 690347DEST_PATH_IMAGE027
重构出初始的服装图像训练样本
Figure 68238DEST_PATH_IMAGE033
。
综上所述，结合公式（1）、（2）、（3）、（7），所述服装草图跨域转换模块
Figure 75509DEST_PATH_IMAGE013
的目标函数
Figure 273272DEST_PATH_IMAGE132
为：
Figure DEST_PATH_IMAGE133
结合公式（4）、（5）、（6）、（8），所述服装图像跨域转换模块
Figure 289769DEST_PATH_IMAGE035
的目标函数
Figure 256588DEST_PATH_IMAGE134
为：
Figure DEST_PATH_IMAGE135
在训练过程中，本发明实施例利用Adam优化器交替优化目标函数
Figure 965918DEST_PATH_IMAGE132
和目标函数
Figure 385398DEST_PATH_IMAGE134
。优化结束后，则可完成服装跨域转换模块的训练过程。
当用户输入服装查询草图
Figure 736745DEST_PATH_IMAGE001
后，通过所述服装跨域转换模块将所述服装查询草图
Figure 823650DEST_PATH_IMAGE001
转换为服装草图转换图像
Figure 706811DEST_PATH_IMAGE002
，使用服装草图转换图像
Figure 613587DEST_PATH_IMAGE003
与服装图像域P中的服装图像
Figure 768625DEST_PATH_IMAGE004
进行相似度计算。本发明实施例利用一组对称的VGG16卷积神经网络作为服装跨域特征提取模块的骨干网络，通过所述服装跨域特征提取模块分别提取服装草图转换图像
Figure 710036DEST_PATH_IMAGE002
和服装图像域P中的服装图像
Figure 292327DEST_PATH_IMAGE004
的深度特征，得到服装草图转换图像
Figure 686400DEST_PATH_IMAGE003
的特征向量和服装图像域P中的服装图像
Figure 379549DEST_PATH_IMAGE051
的特征向量，使用余弦相似度来计算两个特征向量之间的特征相似度
Figure 909887DEST_PATH_IMAGE010
，所述特征相似度
Figure 131921DEST_PATH_IMAGE010
的表达式为：
Figure 13290DEST_PATH_IMAGE136
其中，
Figure 510130DEST_PATH_IMAGE049
为服装查询草图
Figure 160554DEST_PATH_IMAGE001
转换生成的服装草图转换图像
Figure 819069DEST_PATH_IMAGE003
的特征向量，
Figure 453312DEST_PATH_IMAGE050
为服装图像域P中服装图像
Figure 688597DEST_PATH_IMAGE051
的特征向量，d为特征向量的维度。
通过所述服装跨域转换模块将服装图像域P内的所有服装图像
Figure 724686DEST_PATH_IMAGE004
映射到服装草图域S中，得到服装图像转换草图
Figure 554102DEST_PATH_IMAGE007
。通过所述服装跨域特征提取模块分别提取服装查询草图
Figure 410063DEST_PATH_IMAGE001
和服装图像转换草图
Figure 248706DEST_PATH_IMAGE007
的深度特征，得到了服装查询草图
Figure 811405DEST_PATH_IMAGE001
的特征向量和服装图像转换草图
Figure 77301DEST_PATH_IMAGE007
的特征向量，使用余弦相似度来计算两个特征向量之间的特征相似度
Figure 154979DEST_PATH_IMAGE009
，所述特征相似度
Figure 797313DEST_PATH_IMAGE009
的表达式为：
Figure 542415DEST_PATH_IMAGE052
其中，
Figure 713633DEST_PATH_IMAGE053
为服装查询草图
Figure 216290DEST_PATH_IMAGE001
的特征向量，
Figure 122367DEST_PATH_IMAGE054
为服装图像域P中服装图像
Figure 456397DEST_PATH_IMAGE004
转换生成的服装图像转换草图
Figure 64095DEST_PATH_IMAGE007
的特征向量，d为特征向量的维度。
通过所述服装跨域特征相似性度量模块对特征相似度
Figure 116365DEST_PATH_IMAGE010
和特征相似度
Figure 834922DEST_PATH_IMAGE009
进行加权融合，得到混合相似度
Figure 289037DEST_PATH_IMAGE011
，所述混合相似度
Figure 802058DEST_PATH_IMAGE011
具体表达式如下：
Figure 607203DEST_PATH_IMAGE055
其中，
Figure 129452DEST_PATH_IMAGE056
和
Figure 438073DEST_PATH_IMAGE057
分别为特征相似度
Figure 387575DEST_PATH_IMAGE010
和特征相似度
Figure 148857DEST_PATH_IMAGE009
的权值，且
Figure 474796DEST_PATH_IMAGE058
。
在本发明实施例中，经过实验验证，当
Figure 106766DEST_PATH_IMAGE056
= 0.38，
Figure 227169DEST_PATH_IMAGE057
= 0.62时，可取到最佳的服装图像检索精度。根据所述混合相似度
Figure 738397DEST_PATH_IMAGE011
进行排序，获取服装查询草图
Figure 602448DEST_PATH_IMAGE001
与服装图像域P中服装图像
Figure 885662DEST_PATH_IMAGE004
之间的相似度索引表，根据索引表返回与服装查询草图
Figure DEST_PATH_IMAGE137
最为相似的服装图像给用户。
本发明实施例采用服装草图作为检索输入，相较于以文本或示例图像作为检索输入，服装草图包含了关键字描述方式所不能及的丰富信息，具有很强的解释性，更容易表达出服装款式特征且没有任何歧义，并且比服装示例图像更易获得。通过建立服装查询草图与服装图像数据集的关联性，实现这两种不同领域下的服装图像检索过程，将服装草图和服装图像转换到相同的数据领域，从而解决了服装草图和服装图像之间的异域问题；融合服装草图域和服装图像域中的两个相似度，并利用融合后的混合相似度来进行相似性度量，实现服装草图对服装图像的跨域检索；根据混合相似度进行排序，获取服装查询草图与服装图像之间的相似度索引表，并根据索引表能够准确地返回与服装查询草图最为相似的服装图像给用户；检索准确率高，可以实现大规模服装图像数据情况下特定服装的准确检索；提高服装草图和服装图像跨域转换的鲁棒性和稳定性，保证服装草图或服装图像经过跨域转换后，生成的服装图像或服装草图还能够再次转换回原来的服装草图或服装图像，并且转换后不会丢失原来的特征。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于跨域转换的草图交互式服装图像检索方法，其特征在于，包括如下步骤：
步骤S000：以服装草图域S和服装图像域P为数据集，建立并训练服装草图和服装图像之间的跨域转换网络模型，所述跨域转换网络模型包括服装跨域转换模块、服装跨域特征提取模块和服装跨域特征相似性度量模块；
步骤S100：输入服装查询草图
Figure 189441DEST_PATH_IMAGE001
；
步骤S200：通过所述服装跨域转换模块将所述服装查询草图
Figure 774006DEST_PATH_IMAGE001
转换为服装草图转换图像
Figure 754731DEST_PATH_IMAGE002
，使用服装草图转换图像
Figure 766549DEST_PATH_IMAGE003
与服装图像域P中的服装图像
Figure 731094DEST_PATH_IMAGE004
进行相似度计算，其中
Figure 525875DEST_PATH_IMAGE005
，N为服装图像域P中服装图像的总数；通过所述服装跨域特征提取模块分别提取服装草图转换图像
Figure 16899DEST_PATH_IMAGE002
和服装图像域P中的服装图像
Figure 72055DEST_PATH_IMAGE006
的深度特征，计算出服装草图转换图像
Figure 382951DEST_PATH_IMAGE003
与服装图像域P中服装图像
Figure 184685DEST_PATH_IMAGE004
之间的特征相似度
Figure 530216DEST_PATH_IMAGE007
；
步骤S300：通过所述服装跨域转换模块将服装图像域P内的所有服装图像
Figure 493624DEST_PATH_IMAGE004
映射到服装草图域S中，得到服装图像转换草图
Figure 291815DEST_PATH_IMAGE008
，其中
Figure 897240DEST_PATH_IMAGE009
，N为服装图像域P中服装图像的总数；通过所述服装跨域特征提取模块分别提取服装查询草图
Figure 97277DEST_PATH_IMAGE001
和服装图像转换草图
Figure 497166DEST_PATH_IMAGE008
的深度特征，计算服装查询草图
Figure 782654DEST_PATH_IMAGE001
与服装图像转换草图
Figure 191769DEST_PATH_IMAGE008
之间的特征相似度
Figure 246313DEST_PATH_IMAGE010
；
步骤400：通过所述服装跨域特征相似性度量模块对特征相似度
Figure 817103DEST_PATH_IMAGE007
和特征相似度
Figure 589887DEST_PATH_IMAGE010
进行加权融合，得到混合相似度
Figure 537114DEST_PATH_IMAGE011
；根据所述混合相似度
Figure 446164DEST_PATH_IMAGE011
进行排序，服装查询草图
Figure 456364DEST_PATH_IMAGE012
与服装图像域P中服装图像
Figure 450865DEST_PATH_IMAGE004
之间的相似度索引表，根据索引表返回与服装查询草图
Figure 201783DEST_PATH_IMAGE012
最为相似的服装图像给用户。
2.根据权利要求1所述的一种基于跨域转换的草图交互式服装图像检索方法，其特征在于，所述服装跨域转换模块包括服装草图跨域转换模块
Figure 965340DEST_PATH_IMAGE013
和服装图像跨域转换模块
Figure 143512DEST_PATH_IMAGE014
；所述服装草图跨域转换模块
Figure 297412DEST_PATH_IMAGE015
包括服装草图编码器
Figure 711076DEST_PATH_IMAGE016
、服装草图生成器
Figure 470085DEST_PATH_IMAGE017
、服装草图判别器
Figure 678212DEST_PATH_IMAGE018
、服装图像生成器
Figure 522672DEST_PATH_IMAGE019
和服装图像判别器
Figure 412130DEST_PATH_IMAGE020
；所述服装图像跨域转换模块
Figure 150279DEST_PATH_IMAGE014
包括服装图像编码器
Figure 670253DEST_PATH_IMAGE021
、服装草图生成器
Figure 126642DEST_PATH_IMAGE022
、服装草图判别器
Figure 754545DEST_PATH_IMAGE023
、服装图像生成器
Figure 347201DEST_PATH_IMAGE019
和服装图像判别器
Figure 38076DEST_PATH_IMAGE020
。
3.根据权利要求2所述的一种基于跨域转换的草图交互式服装图像检索方法，其特征在于，训练所述服装草图跨域转换模块
Figure 981761DEST_PATH_IMAGE015
的具体方法为：从服装草图域S和服装图像域P中给定服装草图和服装图像训练样本对
Figure 416285DEST_PATH_IMAGE024
，将服装草图训练样本
Figure 535551DEST_PATH_IMAGE025
输入到服装草图跨域转换模块
Figure 521961DEST_PATH_IMAGE015
中；服装草图编码器
Figure 562729DEST_PATH_IMAGE016
将输入的服装草图训练样本
Figure 659998DEST_PATH_IMAGE025
转换成一个潜在编码
Figure 368191DEST_PATH_IMAGE026
，其中
Figure 525503DEST_PATH_IMAGE027
表示服装草图训练样本
Figure 53568DEST_PATH_IMAGE025
转换为潜在编码
Figure 954528DEST_PATH_IMAGE028
的概率分布；服装草图生成器
Figure 517227DEST_PATH_IMAGE017
将潜在编码
Figure 845440DEST_PATH_IMAGE028
进行解码以重构输入的服装草图训练样本
Figure 609870DEST_PATH_IMAGE025
，重构的服装草图表示为
Figure 314521DEST_PATH_IMAGE029
，其中
Figure 466148DEST_PATH_IMAGE030
表示潜在编码
Figure 965262DEST_PATH_IMAGE028
利用服装草图生成器
Figure 467919DEST_PATH_IMAGE017
重构的服装草图
Figure 382785DEST_PATH_IMAGE031
的概率分布；在编码和解码过程中将重构的服装草图
Figure 779131DEST_PATH_IMAGE031
和服装草图训练样本
Figure 324513DEST_PATH_IMAGE025
输入到服装草图判别器
Figure 439100DEST_PATH_IMAGE018
中，判别一张输入的服装草图是重构的服装草图
Figure 360919DEST_PATH_IMAGE031
还是原始输入的服装草图训练样本
Figure 611772DEST_PATH_IMAGE025
，服装草图生成器
Figure 328056DEST_PATH_IMAGE017
与服装草图判别器
Figure 929938DEST_PATH_IMAGE018
组成第一生成对抗网络
Figure 389869DEST_PATH_IMAGE032
；将服装草图训练样本
Figure 446294DEST_PATH_IMAGE025
的潜在编码
Figure 333478DEST_PATH_IMAGE028
输入到服装图像生成器
Figure 157078DEST_PATH_IMAGE019
中生成服装草图转换图像
Figure 155121DEST_PATH_IMAGE033
，并将生成的服装草图转换图像
Figure 787090DEST_PATH_IMAGE033
以及真实的服装图像训练样本
Figure 235389DEST_PATH_IMAGE034
输入到服装图像判别器
Figure 424581DEST_PATH_IMAGE020
中，判别一张输入的服装图像是真实的服装图像训练样本
Figure 350949DEST_PATH_IMAGE034
还是服装草图训练样本
Figure 571845DEST_PATH_IMAGE025
转换后生成的服装草图转换图像
Figure 925466DEST_PATH_IMAGE033
，服装图像生成器
Figure 599024DEST_PATH_IMAGE035
和服装图像判别器
Figure 1187DEST_PATH_IMAGE020
组成第二生成对抗网络
Figure 201224DEST_PATH_IMAGE036
。
4.根据权利要求2所述的一种基于跨域转换的草图交互式服装图像检索方法，其特征在于，训练所述服装图像跨域转换模块
Figure 601112DEST_PATH_IMAGE037
的具体方法为：从服装草图域S和服装图像域P中给定服装草图和服装图像训练样本对
Figure 621021DEST_PATH_IMAGE024
，将服装图像训练样本
Figure 764558DEST_PATH_IMAGE034
输入到服装图像跨域转换模块
Figure 819101DEST_PATH_IMAGE014
中；服装图像编码器
Figure 655470DEST_PATH_IMAGE038
将输入的服装图像训练样本
Figure 428254DEST_PATH_IMAGE034
转换成一个潜在编码
Figure 592126DEST_PATH_IMAGE039
，其中
Figure 642121DEST_PATH_IMAGE040
表示服装图像训练样本
Figure 266701DEST_PATH_IMAGE034
转换为潜在编码
Figure 526781DEST_PATH_IMAGE041
的概率分布；服装图像生成器
Figure 12120DEST_PATH_IMAGE042
潜在编码
Figure 70950DEST_PATH_IMAGE043
进行解码以重构输入的服装图像训练样本
Figure 373755DEST_PATH_IMAGE034
，重构的服装图像表示为
Figure 730918DEST_PATH_IMAGE044
，其中
Figure 144582DEST_PATH_IMAGE045
表示输入潜在编码
Figure 106853DEST_PATH_IMAGE041
利用服装图像生成器
Figure 6326DEST_PATH_IMAGE019
重构的服装图像
Figure 850785DEST_PATH_IMAGE046
的概率分布；在编码和解码过程中将重构的服装图像
Figure 802561DEST_PATH_IMAGE046
和服装图像训练样本
Figure 273467DEST_PATH_IMAGE034
输入到服装草图判别器
Figure 918075DEST_PATH_IMAGE020
中，判别一张输入的服装图像是重构的服装图像
Figure 249830DEST_PATH_IMAGE046
还是原始输入的服装图像训练样本
Figure 5297DEST_PATH_IMAGE034
，服装图像生成器
Figure 207739DEST_PATH_IMAGE019
与服装图像判别器
Figure 23248DEST_PATH_IMAGE020
组成第三生成对抗网络
Figure 639037DEST_PATH_IMAGE047
；将服装图像训练样本
Figure 807982DEST_PATH_IMAGE034
的潜在编码
Figure 520723DEST_PATH_IMAGE041
输入到服装草图生成器
Figure 116920DEST_PATH_IMAGE017
中来生成服装图像转换草图
Figure 547902DEST_PATH_IMAGE048
，将生成的服装图像转换草图
Figure 520537DEST_PATH_IMAGE049
以及真实的服装草图训练样本
Figure 353364DEST_PATH_IMAGE025
输入到服装草图判别器
Figure 117533DEST_PATH_IMAGE018
中，判别一张输入的服装草图是真实的服装草图训练样本
Figure 35810DEST_PATH_IMAGE025
还是服装图像训练样本
Figure 812136DEST_PATH_IMAGE034
转换后生成的服装图像转换草图
Figure 233890DEST_PATH_IMAGE050
，服装草图生成器
Figure 437470DEST_PATH_IMAGE017
和服装草图判别器
Figure 249568DEST_PATH_IMAGE018
组成第四生成对抗网络
Figure 954219DEST_PATH_IMAGE051
。
5.根据权利要求1所述的一种基于跨域转换的草图交互式服装图像检索方法，其特征在于，所述特征相似度
Figure 371425DEST_PATH_IMAGE052
的表达式为：
Figure 870539DEST_PATH_IMAGE053
其中，
Figure 904354DEST_PATH_IMAGE054
为服装查询草图
Figure 22483DEST_PATH_IMAGE001
转换生成的服装草图转换图像
Figure 418829DEST_PATH_IMAGE003
的特征向量，
Figure 292107DEST_PATH_IMAGE055
为服装图像域P中服装图像
Figure 78798DEST_PATH_IMAGE006
的特征向量，d为特征向量的维度；
所述特征相似度
Figure 472389DEST_PATH_IMAGE010
的表达式为：
Figure 988821DEST_PATH_IMAGE056
其中，
Figure 236262DEST_PATH_IMAGE057
为服装查询草图
Figure 713511DEST_PATH_IMAGE012
的特征向量，
Figure 298076DEST_PATH_IMAGE058
为服装图像域P中服装图像
Figure 75540DEST_PATH_IMAGE004
转换生成的服装图像转换草图
Figure 962724DEST_PATH_IMAGE059
的特征向量，d为特征向量的维度。
6.根据权利要求1所述的一种基于跨域转换的草图交互式服装图像检索方法，其特征在于，所述混合相似度
Figure 786324DEST_PATH_IMAGE011
具体表达式如下：
Figure 253208DEST_PATH_IMAGE060
其中，
Figure 885178DEST_PATH_IMAGE061
和
Figure 471492DEST_PATH_IMAGE062
分别为特征相似度
Figure 454492DEST_PATH_IMAGE063
和特征相似度
Figure 521805DEST_PATH_IMAGE010
的权值，且
Figure 601757DEST_PATH_IMAGE064
。
CN202110421671.5A 2021-04-20 2021-04-20 一种基于跨域转换的草图交互式服装图像检索方法 Active CN113157954B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110421671.5A CN113157954B (zh) 2021-04-20 2021-04-20 一种基于跨域转换的草图交互式服装图像检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110421671.5A CN113157954B (zh) 2021-04-20 2021-04-20 一种基于跨域转换的草图交互式服装图像检索方法

Publications (2)

Publication Number Publication Date
CN113157954A true CN113157954A (zh) 2021-07-23
CN113157954B CN113157954B (zh) 2022-04-26

Family

ID=76868971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110421671.5A Active CN113157954B (zh) 2021-04-20 2021-04-20 一种基于跨域转换的草图交互式服装图像检索方法

Country Status (1)

Country Link
CN (1) CN113157954B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114860980A (zh) * 2022-05-26 2022-08-05 重庆邮电大学 一种基于草图局部特征和全局特征匹配的图像检索方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150100332A (ko) * 2014-02-25 2015-09-02 에스케이플래닛 주식회사 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
CN107220277A (zh) * 2017-04-14 2017-09-29 西北大学 基于手绘草图的图像检索算法
CN109408655A (zh) * 2018-10-19 2019-03-01 中国石油大学(华东) 结合带孔卷积与多尺度感知网络的手绘草图检索方法
CN109614508A (zh) * 2018-12-12 2019-04-12 杭州知衣科技有限公司 一种基于深度学习的服装图像搜索方法
CN109670066A (zh) * 2018-12-11 2019-04-23 江西师范大学 一种基于双路径深层语义网络的手绘式服装商品图像检索方法
US20200073968A1 (en) * 2018-09-04 2020-03-05 Inception Institute of Artificial Intelligence, Ltd. Sketch-based image retrieval techniques using generative domain migration hashing
CN111581405A (zh) * 2020-04-26 2020-08-25 电子科技大学 基于对偶学习生成对抗网络的跨模态泛化零样本检索方法
CN111858997A (zh) * 2020-06-23 2020-10-30 浙江蓝天制衣有限公司 一种基于跨领域匹配的服装样板生成方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150100332A (ko) * 2014-02-25 2015-09-02 에스케이플래닛 주식회사 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
CN107220277A (zh) * 2017-04-14 2017-09-29 西北大学 基于手绘草图的图像检索算法
US20200073968A1 (en) * 2018-09-04 2020-03-05 Inception Institute of Artificial Intelligence, Ltd. Sketch-based image retrieval techniques using generative domain migration hashing
CN109408655A (zh) * 2018-10-19 2019-03-01 中国石油大学(华东) 结合带孔卷积与多尺度感知网络的手绘草图检索方法
CN109670066A (zh) * 2018-12-11 2019-04-23 江西师范大学 一种基于双路径深层语义网络的手绘式服装商品图像检索方法
CN109614508A (zh) * 2018-12-12 2019-04-12 杭州知衣科技有限公司 一种基于深度学习的服装图像搜索方法
CN111581405A (zh) * 2020-04-26 2020-08-25 电子科技大学 基于对偶学习生成对抗网络的跨模态泛化零样本检索方法
CN111858997A (zh) * 2020-06-23 2020-10-30 浙江蓝天制衣有限公司 一种基于跨领域匹配的服装样板生成方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
JIANJUN LEI等: "Sketch based Image retrieval via image-aided cross domain learning", 《2017 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING(ICIP)》 *
LEI H等: "A New Algorithm for Sketch-Based Fashion Image Retrieval Based on Cross-Domain Transformation", 《WIRELESS COMMUNICATIONS AND MOBILE COMPUTING》 *
SIMIN CHEN等: "Cross-Domain Transfer for Sketch-based Clothing Retrieval", 《2020 8TH INTERNATIONAL CONFERENCE ON DIGITAL HOME(ICDH)》 *
周燕等: "基于深度学习的三维形状特征提取方法", 《计算机科学》 *
张浩: "基于深度学习的手绘草图检索及相关研究", 《中国优秀硕博士学位论文全文数据库（硕士） (信息科技辑)》 *
章玥: "图像到草图的跨域生成及其在图像检索中的应用", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *
蔡雨婷等: "基于双层级联GAN的草图到真实感图像的异质转换", 《模式识别与人工智能》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114860980A (zh) * 2022-05-26 2022-08-05 重庆邮电大学 一种基于草图局部特征和全局特征匹配的图像检索方法

Also Published As

Publication number Publication date
CN113157954B (zh) 2022-04-26

Similar Documents

Publication Publication Date Title
CN111291212B (zh) 基于图卷积神经网络的零样本草图图像检索方法和系统
Ye et al. Person reidentification via ranking aggregation of similarity pulling and dissimilarity pushing
CN103593792B (zh) 一种基于中文知识图谱的个性化推荐方法与系统
Tang et al. Unified generative adversarial networks for controllable image-to-image translation
Xia et al. LAGA-Net: Local-and-global attention network for skeleton based action recognition
Jing et al. Low-rank regularized multi-representation learning for fashion compatibility prediction
Sun et al. Motion retrieval using low‐rank subspace decomposition of motion volume
Zhang et al. Context-based sketch classification
CN113157954B (zh) 一种基于跨域转换的草图交互式服装图像检索方法
Zou et al. Transductive zero-shot hashing for multilabel image retrieval
Xu et al. On learning semantic representations for large-scale abstract sketches
Lei et al. A New Algorithm for Sketch‐Based Fashion Image Retrieval Based on Cross‐Domain Transformation
Chen et al. Automatic tagging by leveraging visual and annotated features in social media
Liu et al. Cloudmix: Dual mixup consistency for unpaired point cloud completion
Yang et al. Ghost shuffle lightweight pose network with effective feature representation and learning for human pose estimation
Luo et al. A geometric-relational deep learning framework for BIM object classification
Yin et al. A Cross‐Modal Image and Text Retrieval Method Based on Efficient Feature Extraction and Interactive Learning CAE
Zhu et al. Gradually focused fine-grained sketch-based image retrieval
Chen et al. SketchTrans: Disentangled prototype learning with transformer for sketch-photo recognition
CN114781348A (zh) 一种基于词袋模型的文本相似度计算方法及系统
Liu et al. Part-object progressive refinement network for zero-shot learning
Liu et al. Artistic image synthesis with tag-guided correlation matching
Ma et al. Semantic-Aware Dual Contrastive Learning for Multi-label Image Classification
Yan et al. Joint image-text representation learning for fashion retrieval
Runyan et al. A Survey on Learning Objects’ Relationship for Image Captioning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant