CN113255237B - 一种基于自动化建模引擎的服装的检索模型及其方法 - Google Patents

一种基于自动化建模引擎的服装的检索模型及其方法 Download PDF

Info

Publication number
CN113255237B
CN113255237B CN202110768050.4A CN202110768050A CN113255237B CN 113255237 B CN113255237 B CN 113255237B CN 202110768050 A CN202110768050 A CN 202110768050A CN 113255237 B CN113255237 B CN 113255237B
Authority
CN
China
Prior art keywords
feature vector
key point
attribute
model
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110768050.4A
Other languages
English (en)
Other versions
CN113255237A (zh
Inventor
王克华
周柏荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Luoka Data Technology Co ltd
Original Assignee
Hangzhou Luoka Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Luoka Data Technology Co ltd filed Critical Hangzhou Luoka Data Technology Co ltd
Priority to CN202110768050.4A priority Critical patent/CN113255237B/zh
Publication of CN113255237A publication Critical patent/CN113255237A/zh
Application granted granted Critical
Publication of CN113255237B publication Critical patent/CN113255237B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2113/00—Details relating to the application field
    • G06F2113/12—Cloth

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于自动化建模引擎的服装的检索模型及其方法，模型包括：有监督特征提取模块，利用自动化建模引擎，建立多目标服装属性预测模型，和/或关键点属性预测模型，用于获取服装图像属性特征向量，和/或关键点特征向量；特征降维模块，建立变分自编码模型，利用有监督特征提取模块分别提取变分自编码模型中的输入图像的特征向量和输出图像的特征向量，将输入图像的特征向量和输出图像的特征向量的均方差作为变分自编码模型的损失函数中的重构图像损失；特征匹配模块，提取待检索图像的特征向量，计算服装图像特征向量与检索库中的各检索特征向量之间的相似度。提取的服装特征克服背景内容和模特姿态等因素的影响，提高检索精确度。

Description

一种基于自动化建模引擎的服装的检索模型及其方法
技术领域
本发明涉及服装检索的技术领域，尤其涉及一种基于自动化建模引擎的服装的检索模型及其方法。
背景技术
随着互联网和服装电子商务的迅速发展，网络购物市场逐年扩大，如何利用检索技术帮助用户快速找到心仪的服装是一个非常重要的任务。例如，消费者可能希望会根据从时尚杂志和时尚博主的时尚服装款式，从平台上检索到相似的时装产品。同样，在服装生产领域 ，服装生产公司会有大量设计的服装版型的积累，检索功能在高效管理这些设计的版型的过程中扮演重要作用。
然而，服装检测的识别难度很高：其一，衣服形变大，服装本身是柔性很大的物体，人不同的姿势会导致服装的形状不同；其二，在不同的光照情况和复杂的场景下，区分不同服装类型的困难也会增加；此外，衣服的设计包含了大量细节属性，比如领型、版型、颜色、装饰等等，想要区分出它们的难度很大。
一般来说，传统服装检索主要是根据标注的服装标签属性进行检索。然而目前的标签属性描述的信息太过粗糙，因此无法利用标签去详细描述服装的特征；因此，传统检索模型无法满足服装检索的精确度需求，也就是说，实现精准的检索单单依靠服装属性标签是无法实现的，所以如何从服装图像中提取服装的时尚属性是智能检索实现的关键；
随着深度学习的发展，深度学习技术在图像分类，图像分割、目标检测等领域所取得的效果远远由于传统机器视觉。其中卷积神经网络在图像领域优势更加突出，其主要通过卷积核来学习图像特征，卷积核的参数主要靠卷积神经网络模型训练得到。目前视觉各个应用领域的主流算法都是基于卷积神经网络。
目前主流的深度学习特征提取方法分为无监督和有监督模式，其中主流特征学习方式为无监督模式，而变分自编码模型则是其中最热门方法之一。通常变分自编码模型主要用于无监督的特征提取和降维，即在模型中损失函数的设计是通过解码器输出和原图像像素之间的均方差。首先这种像素级对比收敛困难，而且学习深层次的图像特征困难，无法做到去除背景特征信息。
目前服装图像智能检索的挑战性，克服背景内容和模特姿态等因素的影响，提取服装多个维度属性的特征，这是目前图像特征提取手段无法做到的。
发明内容
针对现有技术中存在的上述问题，现提供一种基于自动化建模引擎的服装的检索模型及其方法。
具体技术方案如下：
一种基于自动化建模引擎的服装的检索模型，其中，包括：
有监督特征提取模块，利用自动化建模引擎，根据服装图像的属性标签训练得到多目标服装属性预测模型，和/或根据服装图像的关键点坐标训练得到关键点属性预测模型，并将多目标服装属性预测模型的全连接特征向量层的输出作为属性特征向量，和/或
将关键点属性预测模型的全连接特征向量层的输出作为关键点特征向量；
特征降维模块，用于训练变分自编码模型，具体包括：
特征向量提取单元，采用有监督特征提取模块提取变分自编码模型中的输入图像的特征向量，其中，输入图像的特征向量包括输入图像的属性特征向量和/或输入图像的关键点特征向量；和
采用有监督特征提取模块提取变分自编码模型中的输出图像的特征向量，其中，输出图像的特征向量包括输出图像的属性特征向量和/或输出图像的关键点特征向量；
模型训练单元，将输入图像的特征向量和输出图像的特征向量的均方差作为变分自编码模型的损失函数中的重构图像损失，以完成对变分自编码模型的模型训练；
特征匹配模块，用于将待识别图像输入至训练完成的变分自编码模型中，以得到服装图像特征向量，计算服装图像特征向量与检索库中的各检索特征向量之间的相似度。
优选的，基于自动化建模引擎的服装的检索模型，其中，在变分自编码模型的损失函数包括：图像重建损失和KL散度损失，如下述公式所示：
Figure 805876DEST_PATH_IMAGE001
；
其中，Loss用于表示损失函数，Lrec用于表示图像重建损失，Lkl用于表示KL散度损失；
根据输入图像的特征向量和输出图像的特征向量的均方差计算得到图像重建损失，如下述公式所示：
Figure 534929DEST_PATH_IMAGE002
；
其中，α用于表示属性特征在损失函数中所占权重，β用于表示关键点特征在损失函数中所占权重，m用于表示属性特征向量的个数，k用于表示属性编号，D用于表示计算欧几里得距离函数，j用于表示关键点类别的编号，n用于表示关键点特征向量的个数，lk用于表示第k个属性所对应的输入图像的属性特征向量，
Figure 521339DEST_PATH_IMAGE003
用于表示第k个属性所对应的输出图像的属性特征向量，vj用于表示第j个关键点类别所对应的输入图像的关键点特征向量，
Figure 234212DEST_PATH_IMAGE004
用于表示第j个关键点类别所对应的输出图像的关键点特征向量；
KL散度损失如下述公式所示：
Figure 597060DEST_PATH_IMAGE005
；
其中，Dkl用于表示计算两个分布的KL散度的函数，Z用于表示变分自编码模型的解码网络输出所表示的分布，N用于表示标准正态分布。
优选的，基于自动化建模引擎的服装的检索模型，其中，有监督特征提取模块包括属性提取单元和关键点提取单元；
属性提取单元，采用自动化建模引擎根据服装图像的属性标签训练得到对应的多目标分类模型组，自动化建模引擎从多目标分类模型组中选择最优的多目标分类模型，并采用选择的多目标分类模型进行的属性标签的特征提取，保留全连接特征向量层输出的属性特征向量；
关键点提取单元，采用自动化建模引擎根据服装图像的关键点坐标训练得到对应的关键点预测模型组，自动化建模引擎从关键点预测模型组中选择最优的关键点预测模型，并采用选择的关键点预测模型进行的关键点坐标的特征提取，保留全连接特征向量层输出的关键点特征向量。
优选的，基于自动化建模引擎的服装的检索模型，其中，每个属性标签对应一个属性特征向量；
每类关键点坐标对应一个关键点特征向量关键点坐标。
优选的，基于自动化建模引擎的服装的检索模型，其中，特征匹配模块还包括：
排序单元，用于将相似度按照预设顺序进行排序。
优选的，基于自动化建模引擎的服装的检索模型，其中，属性标签包括服装类别、服装部件名称、服装部件形状、面料、图案、风格和款式。
优选的，基于自动化建模引擎的服装的检索模型，其中，每类关键点坐标包括服装部件轮廓的关键点坐标。
优选的，基于自动化建模引擎的服装的检索模型，其中，变分自编码模型包括编码器网络和解码器网络，编码器网络将输入图像编码为潜在特征向量，解码器网络将潜在特征向量解码为输出图像。
还包括一种基于自动化建模引擎的服装的检索方法，其中，应用与上述任一的检索模型中，具体包括以下步骤：
采用自动化建模引擎，利用自动化建模引擎，根据服装图像的属性标签训练得到多目标服装属性预测模型，和/或根据服装图像的关键点坐标训练得到关键点属性预测模型，并采用多目标服装属性预测模型提取得到属性特征向量，和/或采用关键点属性预测模型提取得到关键点特征向量；
训练变分自编码模型，具体包括：
采用有监督特征提取模块提取变分自编码模型中的输入图像的特征向量，其中，输入图像的特征向量包括输入图像的属性特征向量和/或输入图像的关键点特征向量；和
采用有监督特征提取模块提取变分自编码模型中的输出图像的特征向量，其中，输出图像的特征向量包括输出图像的属性特征向量和/或输出图像的关键点特征向量；
将输入图像的特征向量和输出图像的特征向量的均方差作为变分自编码模型的损失函数中的重构图像损失，以完成对变分自编码模型的模型训练；
将待识别图像输入至训练完成的变分自编码模型中，以得到服装图像特征向量，计算服装图像特征向量与检索库中的各检索特征向量之间的相似度。
优选的，基于自动化建模引擎的服装的检索方法，其中，获取得到输入图像的特征向量具体为：
采用自动化建模引擎根据输入图像的属性标签训练得到对应的多目标分类模型组，自动化建模引擎从多目标分类模型组中选择最优的多目标分类模型，并采用选择的多目标分类模型进行的属性标签的特征提取，保留全连接特征向量层输出的属性特征向量，和/或
采用自动化建模引擎根据输入图像的关键点坐标训练得到对应的关键点预测模型组，自动化建模引擎从关键点预测模型组中选择最优的关键点预测模型，并采用选择的关键点预测模型进行的关键点坐标的特征提取，保留全连接特征向量层输出的关键点特征向量；
获取得到输出图像的特征向量具体为：
采用自动化建模引擎根据输出图像的属性标签训练得到对应的多目标分类模型组，自动化建模引擎从多目标分类模型组中选择最优的多目标分类模型，并采用选择的多目标分类模型进行的属性标签的特征提取，保留全连接特征向量层输出的属性特征向量，和/或
采用自动化建模引擎根据输出图像的关键点坐标训练得到对应的关键点预测模型组，自动化建模引擎从关键点预测模型组中选择最优的关键点预测模型，并采用选择的关键点预测模型进行的关键点坐标的特征提取，保留全连接特征向量层输出的关键点特征向量。
上述技术方案具有如下优点或有益效果：
实现根据用户需求对服装进行自定义的特征提取，从而提高用户的体验度，并且使得检索结果更符合用户的需求；
通过特征降维模块将提取的输入图像的特征向量和输出图像的特征向量的均方差作为变分自编码模型的损失函数的重构图像损失，从而实现对基于自动化建模引擎的变分自编码模型进行训练，并且极大程度的减弱背景和人体等干扰因素的影响，对需要提取特征的服装主体区域进行精准定位，将服装图像不同维度的属性特征向量和/或关键点特征向量进行降维和融合。将融合的服装图像特征向量作为相似度匹配的特征向量，实现服装的检索功能。
附图说明
参考所附附图，以更加充分的描述本发明的实施例。然而，所附附图仅用于说明和阐述，并不构成对本发明范围的限制。
图1为本发明基于自动化建模引擎的服装的检索模型的实施例的原理框图；
图2为本发明基于自动化建模引擎的服装的检索模型的实施例的特征降维模块的原理框图一；
图3为本发明基于自动化建模引擎的服装的检索模型的实施例的特征降维模块的原理框图二；
图4为本发明基于自动化建模引擎的服装的检索模型的实施例的多目标服装属性预测模型的模型结构图；
图5为本发明基于自动化建模引擎的服装的检索模型的实施例的关键点属性预测模型的模型结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
本发明包括一种基于自动化建模引擎的服装的检索模型，如图1所示，包括：
有监督特征提取模块，利用自动化建模引擎，根据服装图像的属性标签训练得到多目标服装属性预测模型，和/或根据服装图像的关键点坐标训练得到关键点属性预测模型，并将多目标服装属性预测模型的全连接特征向量层的输出作为属性特征向量，和/或
将关键点属性预测模型的全连接特征向量层的输出作为关键点特征向量；
如图2所示，特征降维模块，用于训练变分自编码模型，具体包括：
特征向量提取单元，采用有监督特征提取模块提取变分自编码模型中的输入图像的特征向量，其中，输入图像的特征向量包括输入图像的属性特征向量和/或输入图像的关键点特征向量；和
采用有监督特征提取模块提取变分自编码模型中的输出图像的特征向量，其中，输出图像的特征向量包括输出图像的属性特征向量和/或输出图像的关键点特征向量；
模型训练单元，将输入图像的特征向量和输出图像的特征向量的均方差作为变分自编码模型的损失函数中的重构图像损失，以完成对变分自编码模型的模型训练；
特征匹配模块，用于将待识别图像输入至训练完成的变分自编码模型中，以得到服装图像特征向量，计算服装图像特征向量与检索库中的各检索特征向量之间的相似度。
在上述实施例中，通过有监督特征提取模块采用自动化建模引擎训练得到多目标服装属性预测模型和/或关键点属性预测模型，即在上述实施例中基于自动化建模引擎对服装的检索模型进行创建。
需要说明的是，自动化建模引擎是指可以机器自动完成数据特征工程、模型选择和参数调整，建立最优模型。
在上述实施例中，如图4所示，通过将包括有属性标签的服装图像输入到自动化建模引擎训练得到的多目标服装属性预测模型中，多目标服装属性预测模型包括多目标服装属性预测模型的主网络结构和多层全连接特征向量层，将多目标服装属性预测模型的全连接特征向量层的分类输出作为属性特征向量，和/或
如图5所示，将包括有关键点坐标的服装图像输入到自动化建模引擎训练得到的关键点属性预测模型中，关键点属性预测模型包括关键点属性预测模型的主网络结构和多层全连接特征向量层，将关键点属性预测模型的全连接特征向量层的回归输出作为关键点特征向量，
从而实现将对服装的多个维度的特征进行提取。
其中，需要说明的是，fm用于表示多目标服装属性预测模型的第m个全连接特征向量层，fn用于表示关键点属性预测模型的第n个全连接特征向量层，m用于表示属性特征向量的个数，n用于表示关键点特征向量的个数。
作为优选的实施方式一，可以通过有监督特征提取模块一同提取服装图像的属性特征向量和关键点特征向量，从而实现将对服装图像在属性特征和关键点特征的多个维度进行特征提取。
作为优选的实施方式二，可以通过有监督特征提取模块只提取服装图像的属性特征向量，从而实现将对服装图像在属性特征的多个维度进行特征提取。
作为优选的实施方式三，可以通过有监督特征提取模块只提取服装图像的关键点特征向量，从而实现将对服装图像在关键点特征的多个维度进行特征提取。
通过上述优选的实施方式一、二和三，可以实现根据用户需求对服装进行自定义的特征提取，从而提高用户的体验度，并且使得检索结果更符合用户的需求。
在上述实施例中，通过特征降维模块将提取的输入图像的特征向量和输出图像的特征向量的均方差作为变分自编码模型的损失函数的重构图像损失，从而实现根据上述包括有重构图像损失的损失函数对变分自编码模型进行模型训练，进而实现极大程度的减弱背景和人体等干扰因素的影响，对需要提取特征的服装主体区域进行精准定位，将服装图像不同维度的属性特征向量和/或关键点特征向量进行降维和融合；将融合的服装图像特征向量作为相似度匹配的特征向量，实现服装的检索功能。
在上述实施例中，完成模型训练后的变分自编码模型的输出的服装图像特征向量便是降维后的特征向量。
在上述实施例中，通过特征匹配模块计算服装图像特征向量与检索库中的各检索特征向量之间的相似度来实现服装的检索功能。
在上述实施例中，检索模型的实现流程具体可以包括创建检索模型的流程和使用检索模型的流程；
其中，创建检索模型的流程，包括：
利用自动化建模引擎，根据服装图像的属性标签训练得到多目标服装属性预测模型，和/或根据服装图像的关键点坐标训练得到关键点属性预测模型，并采用多目标服装属性预测模型提取得到属性特征向量，和/或采用关键点属性预测模型提取得到关键点特征向量；
训练变分自编码模型，具体包括：
采用有监督特征提取模块提取变分自编码模型中的输入图像的特征向量，其中，输入图像的特征向量包括输入图像的属性特征向量和/或输入图像的关键点特征向量；和
采用有监督特征提取模块提取变分自编码模型中的输出图像的特征向量，其中，输出图像的特征向量包括输出图像的属性特征向量和/或输出图像的关键点特征向量；
将输入图像的特征向量和输出图像的特征向量的均方差作为变分自编码模型的损失函数中的重构图像损失，以完成对变分自编码模型的模型训练；
其中，使用检索模型的流程，包括：
将待识别图像输入至训练完成的变分自编码模型中，以得到服装图像特征向量，计算服装图像特征向量与检索库中的各检索特征向量之间的相似度。
进一步地，在上述实施例中，损失函数包括：图像重建损失和KL散度损失，如下述公式（1）所示：
Figure 695466DEST_PATH_IMAGE006
；（1）
其中，Loss用于表示损失函数，Lrec用于表示图像重建损失，Lkl用于表示KL散度损失；
根据输入图像的特征向量和输出图像的特征向量的均方差计算得到图像重建损失，如下述公式所示：
Figure 340860DEST_PATH_IMAGE007
；（2）
其中，α用于表示属性特征在损失函数中所占权重，β用于表示关键点特征在损失函数中所占权重，m用于表示属性特征向量的个数，k用于表示属性编号，D用于表示计算欧几里得距离函数，j用于表示关键点类别的编号，n用于表示关键点特征向量的个数，lk用于表示第k个属性所对应的输入图像的属性特征向量，
Figure 328977DEST_PATH_IMAGE008
用于表示第k个属性所对应的输出图像的属性特征向量，vj用于表示第j个关键点类别所对应的输入图像的关键点特征向量，
Figure 511828DEST_PATH_IMAGE009
用于表示第j个关键点类别所对应的输出图像的关键点特征向量；
KL散度损失如下述公式（3）所示：
Figure 933582DEST_PATH_IMAGE005
；（3）
其中，Dkl用于表示计算两个分布的KL散度的函数，Z用于表示变分自编码模型的解码网络输出所表示的分布，N用于表示标准正态分布。
在上述实施例中，变分自编码模型包括编码器网络和解码器网络，编码器网络将输入图像编码为潜在特征向量，解码器网络将潜在特征向量解码为输出图像。具体的，首先，输入图像输入到编码器网络中，编码器网络将输入图像x编码为潜在特征向量z，z=E(x)~q(z|x)，其中，E用于表示解码器网络，q(z|x)用于表示潜在特征向量z在输入图像x条件下的分布；然后使用解码器网络将潜在特征向量 z 解码为输出图像
Figure 806336DEST_PATH_IMAGE010
，
Figure 477489DEST_PATH_IMAGE011
，其中，D用于表示编码器网络，
Figure 198451DEST_PATH_IMAGE012
用于表示输出图像
Figure 5870DEST_PATH_IMAGE010
在潜在特征向量z条件下的分布。损失函数是变分自编码模型的训练方向，损失函数由图像重建损失和KL散度损失两部分组成，图像重建损失Lrec用于保证重建样本和输入样本分布一致，KL散度损失Lkl保证VAE模型的特性，使得特征向量z满足正态分布，损失函数如上述公式（1）所示，图像重建损失如上述公式（2）所示，KL散度损失如上述公式（3）所示，因此，损失函数如下述公式（4）所示：
Figure 770564DEST_PATH_IMAGE013
。（4）
作为优选的实施方式，上述公式（2）和（4）中可以将α，β都取1，则损失函数如下述公式（5）所示：
Figure 414166DEST_PATH_IMAGE014
。（5）
需要说明的是，z和Z所表示的含义不同，z用于表示潜在特征向量，Z用于表示变分自编码模型的解码网络输出所表示的分布；
需要说明的是，损失函数会同时对变分自编码模型中的模型编码网络和模型解码网络进行模型训练，如图3所示。
进一步地，在上述实施例中，有监督特征提取模块包括属性提取单元和关键点提取单元；
属性提取单元，采用自动化建模引擎根据服装图像的属性标签训练得到对应的多目标分类模型组，自动化建模引擎从多目标分类模型组中选择最优的多目标分类模型，并采用选择的多目标分类模型进行的属性标签的特征提取，保留全连接特征向量层输出的属性特征向量；
关键点提取单元，采用自动化建模引擎根据服装图像的关键点坐标训练得到对应的关键点预测模型组，自动化建模引擎从关键点预测模型组中选择最优的关键点预测模型，并采用选择的关键点预测模型进行的关键点坐标的特征提取，保留全连接特征向量层输出的关键点特征向量。
在上述实施例中，通过属性提取单元对属性标签进行特征提取，并将多目标分类模型的全连接特征向量层的分类输出作为属性特征向量，从而实现将对服装在属性特征的多个维度进行特征提取。
在上述实施例中，通过关键点提取单元对关键点坐标进行特征提取，并将关键点预测模型的全连接特征向量层的回归输出作为关键点特征向量；从而实现将对服装在关键点特征的多个维度进行特征提取。
在上述实施例中，通过对属性提取单元和关键点提取单元进行选择，从而实现对服装图像的属性特征和/或关键点特征进行提取，从而实现对组成服装的局部属性特征和/或关键点特征进行结合提取，以提高特征提取的全面性；
也就是说，可以单独使用属性提取单元或关键点提取单元进行特征提取，但是一同采用属性提取单元和关键点提取单元可以提高特征提取的精确度。
作为优选的实施方式，当采用属性提取单元无法对局部区域来更好地进行提取时，可以结合关键点提取单元进行特征的补充提取，从而提高特征提取的精确度；
例如，衣领形状这一属性特征可以用简单的形状描述进行特征提取，例如，可以将衣领形状的属性特征描述为V领，为了提高特征提取的精确度，可以将衣领形状的关键点特征进行补充提取。
作为优选的实施方式，当采用关键点提取单元无法对局部区域来更好地进行提取时，可以结合属性提取单元进行特征的补充提取，从而提高特征提取的精确度。
在上述实施例中，通过自动化建模引擎获取属性标签和/或关键点坐标训练得到对应的多目标分类模型组和/或关键点预测模型组，并且从多目标分类模型组和/或关键点预测模型组中选择最优的多目标分类模型和/或关键点预测模型，从而实现了为获取得到的属性标签和/或关键点坐标选择最优的多目标分类模型和/或关键点预测模型，以提高后续的检索精确度。
作为优选的实施方式，当获取得到的服装图像的属性标签为裙子、面料、图案、裙型和风格，自动化建模引擎根据上述属性标签对多个多目标分类模型进行训练，该多个多目标分类模型为inceptionV3、resnet101、resnet152、vgg16四个模型，将上述四个多目标分类模型设置为一个多目标分类模型组，随后进一步在该多目标分类模型组进行进一步选择，最终选择了inceptionV3模型，并将该inceptionV3模型作为上述属性标签对应的最佳多目标分类模型。
需要说明的是，inceptionV3、resnet101、resnet152和vgg16均为多目标服装属性预测模型主网络结构。
作为优选的实施方式，当获取得到的服装图像的属性标签为裤子、裤腰、裤门襟、风格和款式，自动化建模引擎根据上述属性标签选对多个多目标分类模型进行训练，该多个多目标分类模型为inceptionV3、resnet152、MobileNet v3三个模型，将上述三个多目标分类模型设置为一个多目标分类模型组，随后进一步在该多目标分类模型组进行进一步选择，最终选择了resnet152模型，并将该resnet152模型作为上述属性标签对应的最佳多目标分类模型。
需要说明的是，inceptionV3、resnet152和MobileNet v3均为多目标服装属性预测模型主网络结构。
进一步地，在上述实施例中，每个属性标签对应一个属性特征向量；
每类关键点坐标对应一个关键点特征向量。
在上述实施例中，可以将服装部件轮廓的关键点坐标集合表示同一类关键点坐标，每类关键点坐标中包括服装部件轮廓的每个关键点坐标。
进一步地，在上述实施例中，特征匹配模块还包括：
排序单元，用于将相似度按照预设顺序进行排序。
作为优选的实施方式，特征匹配模块可以遍历检索库中所有检索到的检索特征向量，并计算服装图像特征向量与检索库中的各检索特征向量之间的相似度，并且将计算得到的相似度按照从大到小的顺序进行排序。
进一步地，在上述实施例中，属性标签包括服装类别、服装部件名称、服装部件形状、面料、图案、风格和款式。
在上述实施例中，服装类别包括裙子、裤子和上衣等；
服装部件名称包括袖口、衣摆、裙摆等，其中服装部件可以根据服装类别进行对照，例如，当服装类别为裙子时，服装部件可以为裙子的部件；当服装类别为裤子时，服装部件可以为裤子的部件。
服装部件形状可以包括：
袖长－长袖、短袖、无袖；
领型－圆领、翻领、立领、V领、一字领、连帽；
衣长－长款、常规款、短款；
款式可以包括：宽松、修身、直筒（H型）、收腰（X型）；
面料可以包括：棉、麻、雪纺、混纺、牛仔布、蕾丝。
进一步地，在上述实施例中，每类关键点坐标包括服装部件轮廓的关键点坐标。
在上述实施例中，可以将服装部件轮廓的关键点坐标集合表示每类关键点坐标，每类关键点坐标中包括目标服装部件的每个关键点坐标之间的分布情况等关系；
例如，当服装部件轮廓为长袖时，可以获取长袖的关键点坐标入手，获得多个人工标注的关键点坐标组成的轮廓形状。
在上述实施例中，每类关键点坐标包括服装的肩线、腰线、臀线、中摆线和下摆线的结构特征，能从一定程度上可以反映出服装部件的结构特征要素。
作为优选的实施方式，可以建立坐标系，并获取关键点坐标，并根据关键点坐标获取分布情况。
还提供一种基于自动化建模引擎的服装的检索方法，其中，应用与上述检索模型中，具体包括以下步骤：
采用自动化建模引擎，利用自动化建模引擎，根据服装图像的属性标签训练得到多目标服装属性预测模型，和/或根据服装图像的关键点坐标训练得到关键点属性预测模型，并采用多目标服装属性预测模型提取得到属性特征向量，和/或采用关键点属性预测模型提取得到关键点特征向量；
训练变分自编码模型，具体包括：
采用有监督特征提取模块提取变分自编码模型中的输入图像的特征向量，其中，输入图像的特征向量包括输入图像的属性特征向量和/或输入图像的关键点特征向量；和
采用有监督特征提取模块提取变分自编码模型中的输出图像的特征向量，其中，输出图像的特征向量包括输出图像的属性特征向量和/或输出图像的关键点特征向量；
将输入图像的特征向量和输出图像的特征向量的均方差作为变分自编码模型的损失函数中的重构图像损失，以完成对变分自编码模型的模型训练；
将待识别图像输入至训练完成的变分自编码模型中，以得到服装图像特征向量，计算服装图像特征向量与检索库中的各检索特征向量之间的相似度。
进一步地，在上述实施例中，获取得到输入图像的特征向量具体为：
采用自动化建模引擎根据输入图像的属性标签训练得到对应的多目标分类模型组，自动化建模引擎从多目标分类模型组中选择最优的多目标分类模型，并采用选择的多目标分类模型进行的属性标签的特征提取，保留全连接特征向量层输出的属性特征向量，和/或
采用自动化建模引擎根据输入图像的关键点坐标训练得到对应的关键点预测模型组，自动化建模引擎从关键点预测模型组中选择最优的关键点预测模型，并采用选择的关键点预测模型进行的关键点坐标的特征提取，保留全连接特征向量层输出的关键点特征向量；
获取得到输出图像的特征向量具体为：
采用自动化建模引擎根据输出图像的属性标签训练得到对应的多目标分类模型组，自动化建模引擎从多目标分类模型组中选择最优的多目标分类模型，并采用选择的多目标分类模型进行的属性标签的特征提取，保留全连接特征向量层输出的属性特征向量，和/或
采用自动化建模引擎根据输出图像的关键点坐标训练得到对应的关键点预测模型组，自动化建模引擎从关键点预测模型组中选择最优的关键点预测模型，并采用选择的关键点预测模型进行的关键点坐标的特征提取，保留全连接特征向量层输出的关键点特征向量。
需要说明的是，本实施例基于自动化建模引擎的服装的检索方法的各实施例与上述基于自动化建模引擎的服装的检索模型的各实施例一致，在此不做详细赘述。
以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (9)

1.一种基于自动化建模引擎的服装的检索模型，其特征在于，包括：
有监督特征提取模块，利用自动化建模引擎，根据服装图像的属性标签训练得到多目标服装属性预测模型，和根据服装图像的关键点坐标训练得到关键点属性预测模型，并将所述多目标服装属性预测模型的全连接特征向量层的输出作为属性特征向量，和
将所述关键点属性预测模型的全连接特征向量层的输出作为关键点特征向量；
特征降维模块，用于训练变分自编码模型，具体包括：
特征向量提取单元，采用所述有监督特征提取模块提取变分自编码模型中的输入图像的特征向量，其中，所述输入图像的特征向量包括输入图像的属性特征向量和输入图像的关键点特征向量；和
采用所述有监督特征提取模块提取变分自编码模型中的输出图像的特征向量，其中，所述输出图像的特征向量包括输出图像的属性特征向量和输出图像的关键点特征向量；
模型训练单元，将所述输入图像的特征向量和所述输出图像的特征向量的均方差作为变分自编码模型的损失函数中的重构图像损失，以完成对变分自编码模型的模型训练；
特征匹配模块，用于将待识别图像输入至训练完成的所述变分自编码模型中，以得到服装图像特征向量，计算所述服装图像特征向量与检索库中的各检索特征向量之间的相似度；
其中，在所述变分自编码模型的所述损失函数包括：图像重建损失和KL散度损失，如下述公式所示：
Figure DEST_PATH_IMAGE001
；
其中，Loss用于表示所述损失函数，Lrec用于表示所述图像重建损失，Lkl用于表示所述KL散度损失；
根据所述输入图像的特征向量和所述输出图像的特征向量的均方差计算得到所述图像重建损失，如下述公式所示：
Figure DEST_PATH_IMAGE002
；
其中，α用于表示属性特征在损失函数中所占权重，β用于表示关键点特征在损失函数中所占权重，m用于表示属性特征向量的个数，k用于表示属性编号，D用于表示计算欧几里得距离函数，j用于表示关键点类别的编号，n用于表示关键点特征向量的个数，lk用于表示第k个属性所对应的输入图像的属性特征向量，
Figure DEST_PATH_IMAGE003
用于表示第k个属性所对应的输出图像的属性特征向量，vj用于表示第j个关键点类别所对应的输入图像的关键点特征向量，
Figure DEST_PATH_IMAGE004
用于表示第j个关键点类别所对应的输出图像的关键点特征向量；
所述KL散度损失如下述公式所示：
Figure DEST_PATH_IMAGE005
；
其中，Dkl用于表示计算两个分布的KL散度的函数，Z用于表示所述变分自编码模型的解码网络输出所表示的分布，N用于表示标准正态分布。
2.如权利要求1所述的基于自动化建模引擎的服装的检索模型，其特征在于，所述有监督特征提取模块包括属性提取单元和关键点提取单元；
所述属性提取单元，采用所述自动化建模引擎根据服装图像的属性标签训练得到对应的多目标分类模型组，所述自动化建模引擎从所述多目标分类模型组中选择最优的多目标分类模型，并采用选择的所述多目标分类模型进行的属性标签的特征提取，保留全连接特征向量层输出的属性特征向量；
所述关键点提取单元，采用所述自动化建模引擎根据服装图像的关键点坐标训练得到对应的关键点预测模型组，所述自动化建模引擎从所述关键点预测模型组中选择最优的关键点预测模型，并采用选择的所述关键点预测模型进行的关键点坐标的特征提取，保留全连接特征向量层输出的关键点特征向量。
3.如权利要求1所述的基于自动化建模引擎的服装的检索模型，其特征在于，每个所述属性标签对应一个所述属性特征向量；
每类所述关键点坐标对应一个所述关键点特征向量。
4.如权利要求1所述的基于自动化建模引擎的服装的检索模型，其特征在于，所述特征匹配模块还包括：
排序单元，用于将所述相似度按照预设顺序进行排序。
5.如权利要求1所述的基于自动化建模引擎的服装的检索模型，其特征在于，所述属性标签包括服装类别、服装部件名称、服装部件形状、面料、图案、风格和款式。
6.如权利要求1-3任一所述的基于自动化建模引擎的服装的检索模型，其特征在于，每类所述关键点坐标包括服装部件轮廓的关键点坐标。
7.如权利要求1所述的基于自动化建模引擎的服装的检索模型，其特征在于，所述变分自编码模型包括编码器网络和解码器网络，所述编码器网络将输入图像编码为潜在特征向量，所述解码器网络将所述潜在特征向量解码为所述输出图像。
8.一种基于自动化建模引擎的服装的检索方法，其特征在于，应用与上述权利要求1-7任一的检索模型中，具体包括以下步骤：
采用自动化建模引擎，利用自动化建模引擎，根据服装图像的属性标签训练得到多目标服装属性预测模型，和根据服装图像的关键点坐标训练得到关键点属性预测模型，并将所述多目标服装属性预测模型的全连接特征向量层的输出作为属性特征向量，和
将所述关键点属性预测模型的全连接特征向量层的输出作为关键点特征向量；
训练变分自编码模型，具体包括：
采用所述有监督特征提取模块提取变分自编码模型中的输入图像的特征向量，其中，所述输入图像的特征向量包括输入图像的属性特征向量和输入图像的关键点特征向量；和
采用所述有监督特征提取模块提取变分自编码模型中的输出图像的特征向量，其中，所述输出图像的特征向量包括输出图像的属性特征向量和输出图像的关键点特征向量；
将所述输入图像的特征向量和所述输出图像的特征向量的均方差作为变分自编码模型的损失函数中的重构图像损失，以完成对变分自编码模型的模型训练；
将待识别图像输入至训练完成的所述变分自编码模型中，以得到服装图像特征向量，计算所述服装图像特征向量与检索库中的各检索特征向量之间的相似度。
9.如权利要求8所述基于自动化建模引擎的服装的检索方法，其特征在于，获取得到所述输入图像的特征向量具体为：
采用所述自动化建模引擎根据输入图像的属性标签训练得到对应的多目标分类模型组，所述自动化建模引擎从所述多目标分类模型组中选择最优的多目标分类模型，并采用选择的所述多目标分类模型进行的属性标签的特征提取，保留全连接特征向量层输出的属性特征向量，和
采用所述自动化建模引擎根据输入图像的关键点坐标训练得到对应的关键点预测模型组，所述自动化建模引擎从所述关键点预测模型组中选择最优的关键点预测模型，并采用选择的所述关键点预测模型进行的关键点坐标的特征提取，保留全连接特征向量层输出的关键点特征向量；
获取得到所述输出图像的特征向量具体为：
采用所述自动化建模引擎根据输出图像的属性标签训练得到对应的多目标分类模型组，所述自动化建模引擎从所述多目标分类模型组中选择最优的多目标分类模型，并采用选择的所述多目标分类模型进行的属性标签的特征提取，保留全连接特征向量层输出的属性特征向量，和
采用所述自动化建模引擎根据输出图像的关键点坐标训练得到对应的关键点预测模型组，所述自动化建模引擎从所述关键点预测模型组中选择最优的关键点预测模型，并采用选择的所述关键点预测模型进行的关键点坐标的特征提取，保留全连接特征向量层输出的关键点特征向量。
CN202110768050.4A 2021-07-07 2021-07-07 一种基于自动化建模引擎的服装的检索模型及其方法 Active CN113255237B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110768050.4A CN113255237B (zh) 2021-07-07 2021-07-07 一种基于自动化建模引擎的服装的检索模型及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110768050.4A CN113255237B (zh) 2021-07-07 2021-07-07 一种基于自动化建模引擎的服装的检索模型及其方法

Publications (2)

Publication Number Publication Date
CN113255237A CN113255237A (zh) 2021-08-13
CN113255237B true CN113255237B (zh) 2021-12-10

Family

ID=77190858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110768050.4A Active CN113255237B (zh) 2021-07-07 2021-07-07 一种基于自动化建模引擎的服装的检索模型及其方法

Country Status (1)

Country Link
CN (1) CN113255237B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109960737A (zh) * 2019-03-15 2019-07-02 西安电子科技大学 半监督深度对抗自编码哈希学习的遥感影像内容检索方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117437A (zh) * 2017-06-23 2019-01-01 李峰 一种面向服装图像检索的图像特征抽取方法
CN108875818B (zh) * 2018-06-06 2020-08-18 西安交通大学 基于变分自编码机与对抗网络结合的零样本图像分类方法
CN109670591B (zh) * 2018-12-14 2022-09-27 深圳市商汤科技有限公司 一种神经网络的训练方法及图像匹配方法、装置
CN109885709B (zh) * 2019-01-08 2022-12-23 五邑大学 一种基于自编码预降维的图像检索方法、装置和存储介质
CN111291212B (zh) * 2020-01-24 2022-10-11 复旦大学 基于图卷积神经网络的零样本草图图像检索方法和系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109960737A (zh) * 2019-03-15 2019-07-02 西安电子科技大学 半监督深度对抗自编码哈希学习的遥感影像内容检索方法

Also Published As

Publication number Publication date
CN113255237A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN104978762B (zh) 服装三维模型生成方法及系统
CN108109055B (zh) 一种基于图像渲染的跨场景服装检索方法
CN105260747B (zh) 基于衣物共现信息与多任务学习的衣物识别方法
CN110334687A (zh) 一种基于行人检测、属性学习和行人识别的行人检索增强方法
CN107870992A (zh) 基于多通道主题模型的可编辑服装图像搜索方法
CN109614508A (zh) 一种基于深度学习的服装图像搜索方法
Huang et al. Clothing landmark detection using deep networks with prior of key point associations
CN109101864A (zh) 基于关键帧和随机森林回归的人体上半身动作识别方法
Polanía et al. Learning fashion compatibility across apparel categories for outfit recommendation
CN111784845A (zh) 基于人工智能的虚拟试穿方法、装置、服务器及存储介质
CN110598017A (zh) 一种基于自学习的商品详情页的生成方法
Miao et al. ClothingNet: Cross-domain clothing retrieval with feature fusion and quadruplet loss
Li et al. Multiple features with extreme learning machines for clothing image recognition
Zhou et al. Coutfitgan: learning to synthesize compatible outfits supervised by silhouette masks and fashion styles
Zhan et al. Pose-normalized and appearance-preserved street-to-shop clothing image generation and feature learning
CN113379504A (zh) 一种商品信息搜索推荐方法、系统及计算机存储介质
CN112434210A (zh) 一种服装流行趋势预测系统与方法
Li et al. Cocas+: Large-scale clothes-changing person re-identification with clothes templates
Zhang et al. Warpclothingout: A stepwise framework for clothes translation from the human body to tiled images
CN110458020A (zh) 一种基于形状上下文的服装款式检索方法
CN113255237B (zh) 一种基于自动化建模引擎的服装的检索模型及其方法
Lei et al. A new algorithm for sketch-based fashion image retrieval based on cross-domain transformation
CN112699261A (zh) 一种服装图像自动生成系统及方法
CN111159456A (zh) 基于深度学习与传统特征的多尺度服装检索方法及系统
Park et al. Clothing classification using CNN and shopping mall search system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant