CN111581414B - 服饰识别、分类及检索的方法、装置、设备及存储介质 - Google Patents

服饰识别、分类及检索的方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111581414B
CN111581414B CN201910123577.4A CN201910123577A CN111581414B CN 111581414 B CN111581414 B CN 111581414B CN 201910123577 A CN201910123577 A CN 201910123577A CN 111581414 B CN111581414 B CN 111581414B
Authority
CN
China
Prior art keywords
target image
key feature
neural network
image
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910123577.4A
Other languages
English (en)
Other versions
CN111581414A (zh
Inventor
谢宏斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201910123577.4A priority Critical patent/CN111581414B/zh
Priority to EP19915612.6A priority patent/EP3876110A4/en
Priority to PCT/CN2019/127660 priority patent/WO2020168814A1/zh
Priority to US17/295,337 priority patent/US20220019840A1/en
Publication of CN111581414A publication Critical patent/CN111581414A/zh
Application granted granted Critical
Publication of CN111581414B publication Critical patent/CN111581414B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0282—Rating or review of business operators or products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明实施例提供一种服饰识别、分类及检索的方法、装置、计算机设备及存储介质，包括：获取包含待识别服饰的目标图像，基于所述目标图像确定所述目标图像包含的关键特征点对应的热图集，所述热图集包括所述目标图像中包含的每一关键特征点对应的位置概率热图；基于所述目标图像对应的形状约束条件对所述热图集进行处理，确定所述目标图像中包含的关键特征点的位置概率信息。

Description

服饰识别、分类及检索的方法、装置、设备及存储介质
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种服饰识别、分类及检索的方法、装置、设备及存储介质。
背景技术
服饰识别是图像检索领域最重要也是最有挑战性的问题之一。在当今互联网上，多数用户搜索与网上购物内容与服饰相关。因此，服饰识别是解决同款检索、风格识别以及穿搭推荐需求中的关键问题。
发明内容
有鉴于此，本发明的主要目的在于提供一种服饰识别、分类及检索的方法、装置、计算机设备及存储介质，能够更加精确的识别服饰。
为达到上述目的，本发明实施例的技术方案是这样实现的：
本发明实施例第一方面，提供了一种服饰识别方法，所述方法包括：
获取包含待识别服饰的目标图像，基于所述目标图像确定所述目标图像包含的关键特征点对应的热图集，所述热图集包括所述目标图像中包含的每一关键特征点对应的位置概率热图；
基于所述目标图像对应的形状约束条件对所述热图集进行处理，确定所述目标图像中包含的关键特征点的位置概率信息。
本发明实施例的第二方面，提供了一种采用本发明任一实施例所述的服饰识别方法实现的服饰分类方法，包括：
基于目标图像中包含的关键特征点的位置概率信息确定服饰的类别属性；所述类别属性包括以下其中之一：形状、版型和风格；
基于所述类别属性确定对应的服饰类别。
本发明实施例的第三方面，提供了一种采用本发明任一实施例所述的服饰识别方法实现的服饰检索方法，包括：
基于目标图像中包含的关键特征点的位置概率信息确定服饰的类别属性；所述类别属性包括以下其中之一：形状、版型和风格；
基于所述类别属性确定对应的检索要素；其中，所述检索要素包括检索关键字和/或图像；
基于所述检索要素检索与所述目标图像对应的服饰图像集。
本发明实施例的第四方面，提供了一种服饰识别装置，包括：
热图集确定模块，用于获取包含待识别服饰的目标图像，基于所述目标图像确定所述目标图像包含的关键特征点对应的热图集，所述热图集包括所述目标图像中包含的每一关键特征点对应的位置概率热图；
位置概率确定模块，用于基于所述目标图像对应的形状约束条件对所述热图集进行处理，确定所述目标图像中包含的关键特征点的位置概率信息。
本发明实施例的第五方面，提供了一种服饰分类装置，包括：
热图集确定模块，用于获取包含待识别服饰的目标图像，基于所述目标图像确定所述目标图像包含的关键特征点对应的热图集，所述热图集包括所述目标图像中包含的每一关键特征点对应的位置概率热图；
位置概率确定模块，用于基于所述目标图像对应的形状约束条件对所述热图集进行处理，确定所述目标图像中包含的关键特征点的位置概率信息；
第一类别属性确定模块，用于基于目标图像中包含的关键特征点的位置概率信息确定服饰的类别属性；所述类别属性包括以下其中之一：形状、版型和风格；
分类模块，用于基于所述类别属性确定对应的服饰类别。
本发明实施例的第六方面，提供了一种服饰检索装置，包括：
热图集确定模块，用于获取包含待识别服饰的目标图像，基于所述目标图像确定所述目标图像包含的关键特征点对应的热图集，所述热图集包括所述目标图像中包含的每一关键特征点对应的位置概率热图；
位置概率确定模块，用于基于所述目标图像对应的形状约束条件对所述热图集进行处理，确定所述目标图像中包含的关键特征点的位置概率信息；
第二类别属性模块，用于基于目标图像中包含的关键特征点的位置概率信息确定服饰的类别属性；所述类别属性包括以下其中之一：形状、版型和风格；
检索要素确定模块，用于基于所述类别属性确定对应的检索要素；其中，所述检索要素包括检索关键字和/或图像；
检索模块，用于基于所述检索要素检索与所述目标图像对应的服饰图像集。
本发明实施例的第七方面，提供了一种计算机设备，其特征在于，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；
其中，所述处理器用于运行所述计算机程序时，实现本发明任一实施例所提供的服饰识别方法、或所提供的服饰分类方法、或所提供的服饰检索方法。
本发明实施例的第四方面，提供了一种存储介质，所述存储介质中存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现本发明任一实施例所提供的服饰识别方法、或所提供的服饰分类方法、或所提供的服饰检索方法。
本发明实施例所提供的服饰识别、分类及检索的方法、装置、计算机设备及存储介质，获取包含待识别服饰的目标图像，基于所述目标图像确定所述目标图像包含的关键特征点对应的热图集，所述热图集包括所述目标图像中包含的每一关键特征点对应的位置概率热图；如此，获得待识别服饰的目标图像中每一关键特征点的初始位置信息，得到每一关键特征点对应的初始位置概率热图；基于所述目标图像对应的形状约束条件对所述热图集进行处理，确定所述目标图像中包含的关键特征点的位置概率信息。如此，基于与服饰局部对应的形状约束条件对热图集进行处理，能够优化对待识别服饰包含的关键特征点的位置概率的精确识别，根据所述确定的待识别服饰的关键特征点的位置概率信息实现对服饰的精确识别，通过获取所述服饰的关键特征点能够更加广泛的适用于在网络购物、智能穿搭、服装设计等领域的应用。
附图说明
图1为本发明一实施例提供的服饰识别方法的流程示意图；
图2为本发明一实施例提供的服饰关键特征点实例样图；
图3为本发明一实施例提供的第一神经网络的结构示意图
图4为本发明一实施例提供的形状约束条件集的示意图；
图5为本发明一实施例提供的形状约束条件输入双向循环卷积神经网络示意图；
图6为本发明一实施例提供的服饰分类方法的流程示意图；
图7为本发明一实施例提供的服饰检索方法的流程示意图；
图8为本发明一实施例提供的服饰识别装置的结构示意图；
图9为本发明一实施例提供的服饰分类装置的结构示意图；
图10为本发明一实施例提供的服饰检索装置的结构示意图；
图11为本发明一实施例提供的计算机设备的结构示意图。
具体实施方式
以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
对本发明进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1)目标图像，本文中指用于进行服饰关键点检测的成像的图像，例如JPEG等各种数字格式的图像。
2)训练图像，用于图像训练的样本图像。
3)损失函数(loss function)也叫代价函数(cost function)，是神经网络优化的目标函数。
4)神经网络(Neural Networks,NN)，是由大量的、简单的处理单元(称为神经元)广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学习系统。
如图1所示，本发明一实施例提供了一种服饰识别方法，该方法包括如下步骤：
步骤S101：获取包含待识别服饰的目标图像，基于所述目标图像确定所述目标图像包含的关键特征点对应的热图集，所述热图集包括所述目标图像中包含的每一关键特征点对应的位置概率热图；
目标图像是指针对需要进行服饰关键点检测所拍摄或者绘制的图片。基于所述目标图像确定所述目标图像包含的关键特征点对应的热图集是指抓取目标图像中所包含对应的特征，包含关键特征点对应的热图集，所述热图集包括所述目标图像中包含的每一关键特征点对应的位置概率热图。
不同类型的服饰具有不完全相同的关键点，当前系统主要接受5类服饰类型，如图2所示的服饰关键特征点实例样图，共计22个关键点。这里，服饰关键点为服饰所属类别中大多数服饰具有的、在功能和结构上可用于区分服饰类别中不同款式服饰的局部位置，每个服饰可以具有一个或者多个关键点。
确定目标图像包含的关键特征点对应的热图集，即对目标图像的每一关键点初始位置信息，具体地，获得每一关键点对应的位置概率热图。
步骤S102：基于所述目标图像对应的形状约束条件对所述热图集进行处理，确定所述目标图像中包含的关键特征点的位置概率信息。
对热图集和目标图像对应的形状约束条件进行处理，通过形状约束条件实现对热图集的优化，确定目标图像中包含的关键特征点的位置概率信息。
这里，形状约束条件可以是与服饰局部对应的约束条件，用于表征服饰局部的关键特征。
本发明实施例提供的一种服饰识别方法，获取包含待识别服饰的目标图像，基于所述目标图像确定所述目标图像包含的关键特征点对应的热图集，所述热图集包括所述目标图像中包含的每一关键特征点对应的位置概率热图；如此，获得待识别服饰的目标图像中每一关键特征点的初始位置信息，得到每一关键特征点对应的初始位置概率热图；基于所述目标图像对应的形状约束条件对所述热图集进行处理，确定所述目标图像中包含的关键特征点的位置概率信息。如此，基于与服饰局部对应的形状约束条件对热图集进行处理，能够优化对待识别服饰包含的关键特征点的位置概率的精确识别，根据所述确定的待识别服饰的关键特征点的位置概率信息实现对服饰的精确识别，通过获取所述服饰的关键特征点能够更加广泛的适用于在网络购物、智能穿搭、服装设计等领域的应用。
在一实施方式中，所述基于所述目标图像确定所述目标图像包含的关键特征点对应的热图集，包括：
通过训练后的第一神经网络对所述目标图像进行处理，确定所述目标图像包含的关键特征点对应的热图集；
所述基于所述目标图像对应的形状约束条件对所述热图集进行处理，包括：
通过训练后的第二神经网络基于所述目标图像对应的形状约束条件对所述热图集进行处理。
通过训练后的第一神经网络对所述目标图像进行处理是指将目标图像输入训练后的第一神经网络，通过所述第一神经网络抓取目标图像中所包含对应的特征，包含关键特征点对应的热图集，所述热图集包括所述目标图像中包含的每一关键特征点对应的位置概率热图。
利用训练后的第一神经网络确定目标图像包含的关键特征点对应的热图集，即对目标图像的每一关键点初始位置信息，具体地，获得每一关键点对应的位置概率热图。
将热图集和目标图像对应的形状约束条件输入训练后的第二神经网络，通过形状约束条件实现对热图集的优化，确定目标图像中包含的关键特征点的位置概率信息。
这里，形状约束条件可以是与服饰局部对应的约束条件，用于表征服饰局部的关键特征。
在上述实施方式中，获取包含待识别服饰的目标图像，通过训练后的第一神经网络对所述目标图像进行处理，确定所述目标图像包含的关键特征点对应的热图集，所述热图集包括所述目标图像中包含的每一关键特征点对应的位置概率热图；如此，获得待识别服饰的目标图像中每一关键特征点的初始位置信息，得到每一关键特征点对应的初始位置概率热图；通过训练后的第二神经网络基于所述目标图像对应的形状约束条件对所述热图集进行处理，确定所述目标图像中包含的关键特征点的位置概率信息。如此，基于与服饰局部对应的形状约束条件对热图集进行处理，能够优化对待识别服饰包含的关键特征点的位置概率的精确识别，根据所述确定的待识别服饰的关键特征点的位置概率信息实现对服饰的精确识别，通过获取所述服饰的关键特征点能够更加广泛的适用于在网络购物、智能穿搭、服装设计等领域的应用。
在一实施方式中，所述获取目标图像之前，包括：
获取包含有多个服饰的训练图像的图像训练集，所述训练图像包括携带有关键特征点标注信息的原始图像；
基于所述图像训练集对初始的卷积神经网络进行迭代训练，直至损失函数满足收敛条件，得到训练后的所述第一神经网络。
获取包含有多个服饰的训练图像的图像训练集，可以是基于新图像为样本图像构建多批次的训练集，例如，训练图像可以是基于互联网中当前已公开的图像库中收集得到的，训练图像是根据预先确定的标注方式对原始图像中局部图像进行标注予以明确。
这里，损失函数(loss function)也叫代价函数(cost function)，是神经网络优化的目标函数，神经网络训练或者优化的过程就是最小化损失函数的过程，损失函数值越小，对应预测的结果和真实结果的值就越接近。
本发明实施例中，初始的神经网络模型可以是基于预训练好的图像数据集上预训练好的神经网络模型，如基于预训练好的ImageNet、DenseNet等图像数据集上预训练得到的Inception V1、V2、V3、V4等卷积神经网络模型，当然，也可以是基于预训练好的其它图像数据集上预训练好的任意神经网络模型，通过利用基于预训练好的图像数据集上预训练好的神经网络模型的参数搭建初始的神经网络模型。
具体地，参阅图3，所述第一神经网络可以包括数据预处理模块21、特征提取模块22、区域检测模块23、目标检测模块24、关键点定位模块25；
所述特征提取模块22，从目标图像数据中提取并输出图像特征图，以Imagenet网络参数初始化特征提取网络，从第一卷积层、第一残差块第二单元、第二残差块第三单元、第三残差块第五单元、第四残差块最后一个单元输出分别提取特征图并依次进行上采样和通道变换，然后和上一级特征图对应位置相加并进行一次3x3卷积消除叠加褶叠影响，如此构造出多尺度特征金字塔，尺度分别为2，4，8，16，32倍，多尺度的特征有助于检测出不同尺度的对象，使得整体检测方法更加鲁棒。
所述区域检测模块23，分别对每个尺度的特征图进行如下处理：首先进行一个3x3卷积的特征调整，然后分别连接两个全连接分支，一个分支用来预测对象位置，一个分支用来预测对象概率。为了进一步增加预测的鲁棒性，对每个像素引入若干参考盒，它们具有不同的纵横比和尺度，决策时以每个参考盒为基础，这样就细化了决策粒度，稠密的参考盒充分利用了更广泛的集体智慧，减少了预测的不稳定性。训练时，首先通过寻找与每个参考盒重叠面积比例最大的对象边界盒作为相应参考盒的支持对象，每个参考盒仅支持或投票一个对象，与支持对象的重叠面积比例大于指定阈值的视为正样本，否则视为负样本(重叠面积比例大于零的参考盒要比不重叠的参考盒更具有区分对象边界的能力)，为了增加稠密性，进一步指定与每个对象边界盒具有最大重叠面积比例的参考盒为正样本。训练时，每次迭代过程中，为了减少计算量，需要滤除部分参考盒，这些参考盒预测的对象边界盒的面积较小、分数较低，然后进一步使用非极大值压缩方法消除部分参考盒，再根据预测的对象边界盒与标注的对象边界盒的重叠面积比例阈值再次滤除部分边界盒，最后选择位于正负样本集合内的那些边界盒参与最终损失函数的计算。测试时，对每个参考盒预测的对象边界盒的位置和对象分数进行非极大值压缩，选取最佳的对象实例和对象位置。最终需要将每个尺度特征图预测的对象区域进行合并，这些对象区域要调整到原图像尺寸。每个预测的对象区域视为兴趣区域，通过双线性插值将该区域的特征图缩放到14x14大小输出到所述目标检测模块24。
所述目标检测模块24，对于输入的固定大小的14x14的对象特征图，进行最大池化到尺寸7x7，然后将特征图展开为一维向量，再连接两个全连接层进行特征变换，最后再分两支，每个分支为一个全连接层，分别用来精细对象位置和分类对象。训练时，对象边界盒和所述区域检测模块23相同，即为对象类的所有关键点的最小外包围盒。
所述关键点定位模块，对区域检测模块23输出的14x14的对象特征图连续进行4次3x3卷积特征变换，输出同等大小的新的特征图，然后进行一次反卷积使得特征图大小为28x28，最后应用通道变换和sigmoid激活，使得通道个数为22，即关键点个数，每个通道对应一张关键点热图。
基于所述图像训练集对初始卷积神经网络进行迭代训练，直至损失函数满足收敛条件，得到训练后的第一神经网络是指将所述图像训练集输入所述初始卷积神经网络进行迭代训练，通过前向传导、利用标注信息和损失函数来计算代价、通过反向传播损失函数梯度更新每一层中的参数，以调整所述初始卷积神经网络的权重，直至所述初始卷积神经网络的损失函数满足收敛条件，得到训练后的所述第一神经网络。
在上述实施方式中，通过获取包含有多个服饰的训练图像的图像训练集作为基础，对初始的卷积神经网络进行迭代训练，构造用于对目标图像进行服饰识别的训练后的第一神经网络，训练方式简单，解决了服饰识别训练样本少和运算慢的问题。
在一实施方式中，所述基于所述图像训练集对所述第一神经网络进行迭代训练之前，还包括：
对所述原始图像进行图像增广得到对应的增广图像，所述图像训练集还包括所述增广图像。
进一步地，所述对所述原始图像进行图像增广得到对应的增广图像，包括：
对所述原始图像分别进行图像水平平移、图像竖直平移、颜色扰动和/或图像旋转，得到对应的增广图像。
这里，对所述原始图像进行图像增广得到对应的增广图像是指在不改变原始图像类别的情况下，增加数据量。原始图像的增广包括很多，从几何角度来看，有水平平移、竖直平移和图像旋转，从像素变换来看，有颜色扰动。
在上述实施方式中，通过不同的方式对原始图像实现图像增广，得到增广图像，从而扩充的图像训练集的样本，增加了数据量，如此，在通过图像训练集对初始卷积神经网络进行迭代训练时，能大大提高模型的泛化能力，能够更加精确的识别服饰。
在一实施方式中，所述得到训练后的所述第一神经网络之后，包括：
获取训练样本集，所述训练样本集包括所述第一神经网络输出的所述训练图像包含的关键特征点对应的热图集；
基于所述训练样本集以及形状约束条件集对初始的双向循环卷积神经网络进行迭代训练，直至损失函数满足收敛条件，得到训练后的所述第二神经网络。
这里，损失函数(loss function)也叫代价函数(cost function)，是神经网络优化的目标函数，神经网络训练或者优化的过程就是最小化损失函数的过程，损失函数值越小，对应预测的结果和真实结果的值就越接近。
这里，参见图4，形状约束条件集是对服饰关键点特有的形变结构进行建模得到的，节点编号说明见表1。这些形状结构的设计符合服装设计特点以及人体动力学特性，它既能综合骨骼系统中关节模型的优点也能更充分地建模服饰关键点的局部形变约束关系。
表1
进一步地，所述形状约束条件集包括以三角形子结构和/或四边形子结构分别表征多个关键特征点之间约束关系所形成的形状约束条件。
这里，再次参见图4，所述形状约束条件集多为包括以三角形和/或四边形子结构分别表征多个关键特征点之间约束关系，它们分别具有不完全稳定性和完全稳定性的特点，这种不完全和完全稳定性间的组合使得整体的全局结构具有很大形变灵活性，能够充分建模全局的松散约束关系；另外每个对称性形状约束条件还具有对称性的特点，这种设计挖掘了服饰结构特点；再者不同形状约束条件之间的也具有局部区域对称特点，如左袖和右袖，但是这种特点较弱，因为它们并没有完全的连接到一起，而是通过不同的形状约束条件进行传递实施的；最后不同形状约束条件集之间还能建模人体特有拓扑约束关系，如肩部、胸部、腹部等拓扑关系。因此单个形状约束条件可以充分建模局部形变约束，不同形状约束条件集又可以实施全局的松散约束关系，综合在一起使得整个设计具有全局优化的优势。
这里，双向循环卷积神经网络RNN是初始的神经网络模型，主要是基于双向循环卷积神经网络可以更方便地从数据中捕捉序列之间的依赖关系，而不像条件随机场中需要人工设计关键点之间的依赖模式或配置兼容函数。
基于所述训练样本集以及形状约束条件集对初始的双向循环卷积神经网络进行迭代训练，直至损失函数满足收敛条件，得到训练后的所述第二神经网络是指将所述训练样本集以及形状约束条件集输入所述双向循环卷积神经网络中进行迭代训练，通过前向传导、利用标注信息和损失函数来计算代价、通过反向传播损失函数梯度更新每一层中的参数，以调整所述双向循环卷积神经网络的权重，直至所述双向循环卷积神经网络的损失函数满足收敛条件，得到训练后的所述第二神经网络。
在上述实施方式中，基于所述训练样本集以及形状约束条件集对初始的双向循环卷积神经网络进行迭代训练，直至损失函数满足收敛条件，得到训练后的所述第二神经网络，训练方式简单，提高了服饰识别的精度和速度。
在一实施方式中，所述通过训练后的第二神经网络基于所述目标图像对应的形状约束条件对所述热图集进行处理之前，还包括：
根据所述目标图像包含的关键特征点对应的热图集，确定所述目标图像对应的形状约束条件，所述目标图像包括至少一个形状约束条件。
根据所述目标图像包含的关键特征点对应的热图集，确定所述目标图像对应的形状约束条件是指将从第一神经网络中输出的目标图像确定的关键特征点，再从形状约束条件集中找出该关键特征点对应的形状约束条件，例如，确定目标图像包含关键特征点包含5，则参考图4，可知，其包含的形状约束条件包括形状约束条件5-6-13-14、形状约束条件1-3-5、形状约束条件1-2-5-6、形状约束条件22-5-6、形状约束条件5-6-11-12、形状约束条件3-5-7-9。
如此，根据目标图像包含的关键特征点确定对应的形状约束条件，有效地捕捉了服饰局部区域之间的松散约束特性。
在一实施方式中，所述基于所述训练样本集以及形状约束条件集对初始的双向循环卷积神经网络进行迭代训练，包括：
将所述训练样本集以及形状约束条件集输入初始的双向循环卷积神经网络；
所述双向循环卷积神经网络分别以设置顺序将所述形状约束条件集中每一所述形状约束条件输入前向层、以及以设置逆向顺序将所述形状约束条件集中每一所述形状约束条件输入后向层进行迭代训练。
再次参阅图4，形状约束条件集可以分为多个形状约束条件组，如A组、B组、C组、D组、E组、F组，其中，每个形状约束条件组包括多个形状约束条件，对于形状约束条件组具有关键特征点重合的形状约束条件组可以继续细分为多个形状约束条件，使得形状约束条件组内无关键特征点重复，同时兼顾对称性要求，如A组内1-3-5，2-4-6两个形状约束条件可以放到A组的一个子组内，剩余的三个形状约束条件各自一子组。
所述双向循环卷积神经网络分别以设置顺序将所述形状约束条件集中每一所述形状约束条件输入前向层、以及以设置逆向顺序将所述形状约束条件集中每一所述形状约束条件输入后向层进行迭代训练，参见一具体实施例方式，以设置顺序将所述形状约束条件集中每一所述形状约束条件输入前向层是指以A-B-C-D-E-F为序输入前向层，每组内如果含有子组，则随机选取一个子组优化，直到子组优化完成，再继续优化下一个组，这里注意需要维持一个全局的形状约束条件拆分列表，以防止选择相同的关键点作为拆分节点。以设置逆向顺序将所述形状约束条件集中每一所述形状约束条件输入后向层是指以组F-E-D-C-B-A为序逆向再次优化各组，进行消息传播，依次迭代数个回合，最终使得依赖约束得到全局传播，最后获得经局部形状约束条件集约束后的新的关键特征点热图，这里，新的关键点热图是指所述目标图像中包含的关键特征点的位置概率信息。这些热图充分集成了似然和先验知识，具有精细的空间定位，输入是初步预测的关键特征点热图集即包含的每一关键特征点对应的位置概率热图，经过在RNN形状约束集合上依据上述算法反复迭代后输出新的关键特征点热图集。
在一实施方式中，所述双向循环卷积神经网络分别以设置顺序将所述形状约束条件集中每一所述形状约束条件输入前向层、以及以设置逆向顺序将所述形状约束条件集中每一所述形状约束条件输入后向层进行迭代训练，包括：
在一次迭代中，所述双向循环卷积神经网络根据对应的形状约束条件包含的关键特征点之间的约束关系，设置所述关键特征点的连接顺序；
以所述训练图像对应的热图集中包含的一关键特征点为起点，将每一所述关键特征点对应的位置概率热图按所述连接顺序以及所述连接顺序的逆向顺序同时输入前向层和后向层进行迭代训练。
这里，对于每个形状约束条件，它表达了局部关键特征点之间的形状约束特性，是一种环形结构，直接使用RNN无法建模这种带环依赖，我们这里将每个形状约束条件拆分成两个RNN来分别建模，如图5所示，所述双向循环卷积神经网络分别以设置的连接顺序(5-6-14-13)将所述形状约束条件集中每一所述形状约束条件输入前向层、以及以所述连接顺序的逆向顺序(5-13-14-6)将所述形状约束条件集中每一所述形状约束条件输入后向层进行迭代训练是指初始时每个形状约束条件中随机选择一个节点作为起始节点，分别按照顺时针和逆时针分解成两个链条，每个链条对应一个双向RNN。这里，为了促进依赖的全局传播，整体形状约束条件集中的初始点选择不应该重复，如此，防止了局部节点难以学习到充分的约束，进而导致全局消息传播失败。
在一实施方式中，所述通过训练后的第二神经网络基于所述目标图像对应的形状约束条件对所述热图集进行处理，确定所述目标图像中包含的关键特征点的位置概率信息，包括：
所述第二神经网络根据所述目标图像对应的形状约束条件调整所述热图集的显示参数；
根据所述显示参数需要满足的条件，对所述热图集的所述显示参数进行调整得到对应的目标参数，根据所述目标参数得到所述目标图像中包含的关键特征点的位置概率信息。
所述热图集的显示参数所述目标图像中包含的每一关键特征点对应的位置概率热图；以RNN为第二神经网络为例，每个R节点为双向RNN节点，它从上下节点中分别接收前向消息后向消息/>然后结合节点似然项xi，共同输出新的置信yi，这里/>分别为前向和后向传递的RNN依赖，/>为偏移，起到取值范围对齐作用，更新的前后向RNN依赖分别为/>具体规划参见如下公式(1)至公式(5)；
这里，符号f表示前向forward：规定从节点i-1到节点i为前向；符号b表示后向backward：规定从节点i到节点i-1为后向；xi表示输入的原关键点热图i；yi表示输出的新关键点热图i；代表了关键点热图i-1与关键点热图i之间的约束关系(条件概率分布)，概率术语为置信；/>代表了关键点热图i与关键点热图i-1之间的约束关系(条件概率分布)，概率术语为置信；综合原关键点热图xi、前向关键点约束/>后向关键点约束/>的信息之后得到新的关键点热图yi；/>是内部状态，分别表达了前向、后向历史信息；Wx、Wf、Wb、/>为代估计参数。
这里，作为一具体实施方式，再次参见图4中D组形状约束条件，关键特征点5、关键特征点6、关键特征点14分别对应关键特征点热图i-1、关键特征点热图i，关键特征点热图i+1。通过训练后的第二神经网络对关键特征点热图6进行优化，我们需要利用先验知识即关键特征点热图5与关键特征点热图6之间的前向约束和关键特征点热图6与关键特征点热图14之间的后向约束关系信息，以及似然信息即第一神经网络输出的原关键特征点热图6，综合这三种信息获取后验分布即目标图像中包含的关键特征点热图6。如此，能够输出精细的、符合服饰局部形状约束的关键点热图集合。
在另一实施方式中，如图6所示，还提供了一种服饰分类方法，包括；
步骤S201：基于目标图像中包含的关键特征点的位置概率信息确定服饰的类别属性；所述类别属性包括以下其中之一：形状、版型和风格；
步骤S202：基于所述类别属性确定对应的服饰类别。
这里，根据所述目标图像的关键特征点的位置概率信息实现对服饰的精确识别，确定服饰对应的类别属性，例如以类别属性为形状为例，确定服饰为裤子，则将其分类到裤子类别。如此，对于每一目标图像按照形状、版型和风格进行分类，例如，用户进行网络购物，可以对于商户提供的图片进行分类，用户可以在输入关键字“裤子”时，将属于该服饰类别的所有目标图像集展现出来，为购物提供了更加方便快捷的体验；进一步地，对服饰分类，例如按照版型将裤子分成小腿裤、直筒裤、阔腿裤，按照风格将裙子分成短裙、超短裙、过膝裙、长裙，如此不仅丰富了分类选项，也为服装设计以及智能穿搭领域提供了更多的素材，也可以更加广泛的使用于在网络购物、智能穿搭、服装设计等领域的应用。
在另一实施方式中，如图7所示，还提供了一种服饰检索方法，包括；
步骤S301：基于目标图像中包含的关键特征点的位置概率信息确定服饰的类别属性；所述类别属性包括以下其中之一：形状、版型和风格；
步骤S302：基于所述类别属性确定对应的检索要素；其中，所述检索要素包括检索关键字和/或图像；
步骤S303：基于所述检索要素检索与所述目标图像对应的服饰图像集。
这里，根据所述目标图像的关键特征点的位置概率信息实现对服饰的精确识别，确定服饰对应的类别属性，例如以类别属性为形状为例，确定服饰为裤子，则将其分类到裤子类别。
基于所述类别属性确定对应的检索要素是指确定为裤子，则生成的检索要素为检索关键字“裤子”和/或与裤子对应的“裤子图像”，然后与图像特征池中存储的图像特征进行匹配查询，这里可以是根据查询到的服饰结果，将查询到的相似的服饰图片及相应的服饰信息通过移动终端展示给用户，所述服饰信息包括服饰的品牌、价格和材质。如此，基于目标图像的服饰检索，有效地解决了用户不能或不愿用文字进行搜索的困难，降低购物难度，可视化的特点满足了用户对检索功能的更高需求，方便用户快速找到服饰信息，极大地提升了用户体验。同时，类别属性按照版型将裤子分成小腿裤、直筒裤、阔腿裤，按照风格将裙子分成短裙、超短裙、过膝裙、长裙，如此在对服饰进行检索时，更加的细致，用户的检索难度也更小，筛选出来的精度也更加精确；进一步地。为服装设计以及智能穿搭领域提供了更多的素材，也可以更加广泛的使用于在网络购物、智能穿搭、服装设计等领域的应用。
在另一实施方式中，如图8所示，还提供了一种服饰识别装置，包括：
热图集确定模块32，用于获取包含待识别服饰的目标图像，通过训练后的第一神经网络对所述目标图像进行处理，确定所述目标图像包含的关键特征点对应的热图集，所述热图集包括所述目标图像中包含的每一关键特征点对应的位置概率热图；
位置概率确定模块33，用于通过训练后的第二神经网络基于所述目标图像对应的形状约束条件对所述热图集进行处理，确定所述目标图像中包含的关键特征点的位置概率信息。
在本申请上述实施方式中，获取包含待识别服饰的目标图像，通过训练后的第一神经网络对所述目标图像进行处理，确定所述目标图像包含的关键特征点对应的热图集，所述热图集包括所述目标图像中包含的每一关键特征点对应的位置概率热图；如此，获得待识别服饰的目标图像中每一关键特征点的初始位置信息，得到每一关键特征点对应的初始位置概率热图；通过训练后的第二神经网络基于所述目标图像对应的形状约束条件对所述热图集进行处理，确定所述目标图像中包含的关键特征点的位置概率信息。如此，基于与服饰局部对应的形状约束条件对热图集进行处理，能够优化对待识别服饰包含的关键特征点的位置概率的精确识别，根据所述确定的待识别服饰的关键特征点的位置概率信息实现对服饰的精确识别，通过获取所述服饰的关键特征点能够更加广泛的适用于在网络购物、智能穿搭、服装设计等领域的应用。可选地，还包括：训练模块31，用于获取包含有多个服饰的训练图像的图像训练集，所述训练图像包括携带有关键特征点标注信息的原始图像；基于所述图像训练集对初始的卷积神经网络进行迭代训练，直至损失函数满足收敛条件，得到训练后的所述第一神经网络。
可选地，训练模块31，还用于对所述原始图像进行图像增广得到对应的增广图像，所述图像训练集还包括所述增广图像。
可选地，训练模块31，还用于对所述原始图像分别进行图像水平平移、图像竖直平移、颜色扰动和/或图像旋转，得到对应的增广图像。
可选地，训练模块31，还用于获取训练样本集，所述训练样本集包括所述第一神经网络输出的所述训练图像包含的关键特征点对应的热图集；基于所述训练样本集以及形状约束条件集对初始的双向循环卷积神经网络进行迭代训练，直至损失函数满足收敛条件，得到训练后的所述第二神经网络。
可选地，训练模块31，还用于将所述训练样本集以及形状约束条件集输入初始的双向循环卷积神经网络；所述双向循环卷积神经网络分别以设置顺序将所述形状约束条件集中每一所述形状约束条件输入前向层、以及以设置逆向顺序将所述形状约束条件集中每一所述形状约束条件输入后向层进行迭代训练。
可选地，训练模块31，还用于在一次迭代中，所述双向循环卷积神经网络根据对应的形状约束条件包含的关键特征点之间的约束关系，设置所述关键特征点的连接顺序；以所述训练图像对应的热图集中包含的一关键特征点为起点，将每一所述关键特征点对应的位置概率热图按所述连接顺序以及所述连接顺序的逆向顺序同时输入前向层和后向层进行迭代训练。
在另一实施方式中，如图9所示，还提供了一种服饰分类装置，包括：
热图集确定模块32，用于获取包含待识别服饰的目标图像，基于所述目标图像确定所述目标图像包含的关键特征点对应的热图集，所述热图集包括所述目标图像中包含的每一关键特征点对应的位置概率热图；
位置概率确定模块33，用于基于所述目标图像对应的形状约束条件对所述热图集进行处理，确定所述目标图像中包含的关键特征点的位置概率信息；
第一类别属性确定模块41，用于基于目标图像中包含的关键特征点的位置概率信息确定服饰的类别属性；所述类别属性包括以下其中之一：形状、版型和风格；
分类模块42，用于基于所述类别属性确定对应的服饰类别。
在另一实施方式中，如图10所示，还提供了一种服饰检索装置，包括：
热图集确定模块32，用于获取包含待识别服饰的目标图像，基于所述目标图像确定所述目标图像包含的关键特征点对应的热图集，所述热图集包括所述目标图像中包含的每一关键特征点对应的位置概率热图；
位置概率确定模块33，用于基于所述目标图像对应的形状约束条件对所述热图集进行处理，确定所述目标图像中包含的关键特征点的位置概率信息；
第二类别属性模块51，用于基于目标图像中包含的关键特征点的位置概率信息确定服饰的类别属性；所述类别属性包括以下其中之一：形状、版型和风格；
检索要素确定模块52，用于基于所述类别属性确定对应的检索要素；其中，所述检索要素包括检索关键字和/或图像；
检索模块53，用于基于所述检索要素检索与所述目标图像对应的服饰图像集。
在另一实施方式中，如图11所示，还提供了一种服饰识别装置，包括：至少一个处理器210和用于存储能够在处理器210上运行的计算机程序的存储器211；其中，图11中示意的处理器210并非用于指代处理器的个数为一个，而是仅用于指代处理器相对其他器件的位置关系，在实际应用中，处理器的个数可以为一个或多个；同样，图11中示意的存储器211也是同样的含义，即仅用于指代存储器相对其他器件的位置关系，在实际应用中，存储器的个数可以为一个或多个。
其中，所述处理器210用于运行所述计算机程序时，执行如下步骤：
获取包含待识别服饰的目标图像，通过训练后的第一神经网络对所述目标图像进行处理，确定所述目标图像包含的关键特征点对应的热图集，所述热图集包括所述目标图像中包含的每一关键特征点对应的位置概率热图；
通过训练后的第二神经网络基于所述目标图像对应的形状约束条件对所述热图集进行处理，确定所述目标图像中包含的关键特征点的位置概率信息。
在一个可选的实施例中，所述处理器210还用于运行所述计算机程序时，执行如下步骤：
获取包含有多个服饰的训练图像的图像训练集，所述训练图像包括携带有关键特征点标注信息的原始图像；
基于所述图像训练集对初始的卷积神经网络进行迭代训练，直至损失函数满足收敛条件，得到训练后的所述第一神经网络。
在一个可选的实施例中，所述处理器210还用于运行所述计算机程序时，执行如下步骤：
对所述原始图像进行图像增广得到对应的增广图像，所述图像训练集还包括所述增广图像。
在一个可选的实施例中，所述处理器210还用于运行所述计算机程序时，执行如下步骤：
对所述原始图像分别进行图像水平平移、图像竖直平移、颜色扰动和/或图像旋转，得到对应的增广图像。
在一个可选的实施例中，所述处理器210还用于运行所述计算机程序时，执行如下步骤：
获取训练样本集，所述训练样本集包括所述第一神经网络输出的所述训练图像包含的关键特征点对应的热图集；
基于所述训练样本集以及形状约束条件集对初始的双向循环卷积神经网络进行迭代训练，直至损失函数满足收敛条件，得到训练后的所述第二神经网络。
在一个可选的实施例中，所述处理器210还用于运行所述计算机程序时，执行如下步骤：
所述形状约束条件集包括以三角形子结构和/或四边形子结构分别表征多个关键特征点之间约束关系所形成的形状约束条件。
在一个可选的实施例中，所述处理器210还用于运行所述计算机程序时，执行如下步骤：
根据所述目标图像包含的关键特征点对应的热图集，确定所述目标图像对应的形状约束条件，所述目标图像包括至少一个形状约束条件。
在一个可选的实施例中，所述处理器210还用于运行所述计算机程序时，执行如下步骤：
将所述训练样本集以及形状约束条件集输入初始的双向循环卷积神经网络；
所述双向循环卷积神经网络分别以设置顺序将所述形状约束条件集中每一所述形状约束条件输入前向层、以及以设置逆向顺序将所述形状约束条件集中每一所述形状约束条件输入后向层进行迭代训练。
在一个可选的实施例中，所述处理器210还用于运行所述计算机程序时，执行如下步骤：
在一次迭代中，所述双向循环卷积神经网络根据对应的形状约束条件包含的关键特征点之间的约束关系，设置所述关键特征点的连接顺序；
以所述训练图像对应的热图集中包含的一关键特征点为起点，将每一所述关键特征点对应的位置概率热图按所述连接顺序以及所述连接顺序的逆向顺序同时输入前向层和后向层进行迭代训练。
在一个可选的实施例中，所述处理器210还用于运行所述计算机程序时，执行如下步骤：
所述第二神经网络根据所述目标图像对应的形状约束条件调整所述热图集的显示参数；
根据所述显示参数需要满足的条件，对所述热图集的所述显示参数进行调整得到对应的目标参数，根据所述目标参数得到所述目标图像中包含的关键特征点的位置概率信息。
该服饰识别装置还包括：至少一个网络接口212。发送端中的各个组件通过总线系统213耦合在一起。可理解，总线系统213用于实现这些组件之间的连接通信。总线系统213除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图11中将各种总线都标为总线系统213。
其中，存储器211可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器211旨在包括但不限于这些和任意其它适合类型的存储器。
本发明实施例中的存储器211用于存储各种类型的数据以支持发送端的操作。这些数据的示例包括：用于在发送端上操作的任何计算机程序，如操作系统和应用程序。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序，用于实现各种应用业务。这里，实现本发明实施例方法的程序可以包含在应用程序中。
本实施例还提供了一种存储介质，例如包括存储有计算机程序的存储器211，上述计算机程序可由发送端中的处理器210执行，以完成前述方法所述步骤。存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备，如智能手机、平板电脑、笔记本电脑等。一种存储介质，所述存储介质中存储有计算机程序，所述计算机程被处理器运行时，执行如下步骤：
获取包含待识别服饰的目标图像，通过训练后的第一神经网络对所述目标图像进行处理，确定所述目标图像包含的关键特征点对应的热图集，所述热图集包括所述目标图像中包含的每一关键特征点对应的位置概率热图；
通过训练后的第二神经网络基于所述目标图像对应的形状约束条件对所述热图集进行处理，确定所述目标图像中包含的关键特征点的位置概率信息。
在一个可选的实施例中，所述计算机程序被处理器运行时，还执行如下步骤：
获取包含有多个服饰的训练图像的图像训练集，所述训练图像包括携带有关键特征点标注信息的原始图像；
基于所述图像训练集对初始的卷积神经网络进行迭代训练，直至损失函数满足收敛条件，得到训练后的所述第一神经网络。
在一个可选的实施例中，所述计算机程序被处理器运行时，还执行如下步骤：
对所述原始图像进行图像增广得到对应的增广图像，所述图像训练集还包括所述增广图像。
在一个可选的实施例中，所述计算机程序被处理器运行时，还执行如下步骤：
对所述原始图像分别进行图像水平平移、图像竖直平移、颜色扰动和/或图像旋转，得到对应的增广图像。
在一个可选的实施例中，所述计算机程序被处理器运行时，还执行如下步骤：
获取训练样本集，所述训练样本集包括所述第一神经网络输出的所述训练图像包含的关键特征点对应的热图集；
基于所述训练样本集以及形状约束条件集对初始的双向循环卷积神经网络进行迭代训练，直至损失函数满足收敛条件，得到训练后的所述第二神经网络。
在一个可选的实施例中，所述计算机程序被处理器运行时，还执行如下步骤：
所述形状约束条件集包括以三角形子结构和/或四边形子结构分别表征多个关键特征点之间约束关系所形成的形状约束条件。
在一个可选的实施例中，所述计算机程序被处理器运行时，还执行如下步骤：
根据所述目标图像包含的关键特征点对应的热图集，确定所述目标图像对应的形状约束条件，所述目标图像包括至少一个形状约束条件。
在一个可选的实施例中，所述计算机程序被处理器运行时，还执行如下步骤：
将所述训练样本集以及形状约束条件集输入初始的双向循环卷积神经网络；
所述双向循环卷积神经网络分别以设置顺序将所述形状约束条件集中每一所述形状约束条件输入前向层、以及以设置逆向顺序将所述形状约束条件集中每一所述形状约束条件输入后向层进行迭代训练。
在一个可选的实施例中，所述计算机程序被处理器运行时，还执行如下步骤：
在一次迭代中，所述双向循环卷积神经网络根据对应的形状约束条件包含的关键特征点之间的约束关系，设置所述关键特征点的连接顺序；
以所述训练图像对应的热图集中包含的一关键特征点为起点，将每一所述关键特征点对应的位置概率热图按所述连接顺序以及所述连接顺序的逆向顺序同时输入前向层和后向层进行迭代训练。
在一个可选的实施例中，所述计算机程序被处理器运行时，还执行如下步骤：
所述第二神经网络根据所述目标图像对应的形状约束条件调整所述热图集的显示参数；
根据所述显示参数需要满足的条件，对所述热图集的所述显示参数进行调整得到对应的目标参数，根据所述目标参数得到所述目标图像中包含的关键特征点的位置概率信息。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (16)

1.一种服饰识别方法，其特征在于，所述方法包括：
获取包含待识别服饰的目标图像，通过训练后的第一神经网络对所述目标图像进行处理，确定所述目标图像包含的关键特征点对应的热图集，所述热图集包括所述目标图像中包含的每一关键特征点对应的位置概率热图，所述位置概率热图包含待识别服饰的目标图像中每一关键特征点的初始位置信息；
获取训练样本集，所述训练样本集包括所述第一神经网络输出的训练图像包含的关键特征点对应的热图集；基于所述训练样本集以及形状约束条件集对初始的双向循环卷积神经网络进行迭代训练，直至损失函数满足收敛条件，得到训练后的第二神经网络；
通过所述训练后的第二神经网络基于所述目标图像对应的所述形状约束条件对所述热图集进行处理，确定所述目标图像中包含的关键特征点的位置概率信息；其中，所述位置概率信息用于根据所述确定的待识别服饰的所述关键特征点对服饰进行精确识别；所述形状约束条件是基于所述关键特征点从形状约束条件集中确定的；所述形状约束条件集是对服饰关键点特有的形变结构进行建模得到的。
2.如权利要求1所述的服饰识别方法，其特征在于，所述获取目标图像之前，包括：
获取包含有多个服饰的训练图像的图像训练集，所述训练图像包括携带有关键特征点标注信息的原始图像；
基于所述图像训练集对初始的卷积神经网络进行迭代训练，直至损失函数满足收敛条件，得到训练后的所述第一神经网络。
3.如权利要求2所述的服饰识别方法，其特征在于，所述基于所述图像训练集对所述第一神经网络进行迭代训练之前，还包括：
对所述原始图像进行图像增广得到对应的增广图像，所述图像训练集还包括所述增广图像。
4.如权利要求3所述的服饰识别方法，其特征在于，所述对所述原始图像进行图像增广得到对应的增广图像，包括：
对所述原始图像分别进行图像水平平移、图像竖直平移、颜色扰动和/或图像旋转，得到对应的增广图像。
5.如权利要求1所述的服饰识别方法，其特征在于，所述形状约束条件集包括以三角形子结构和/或四边形子结构分别表征多个关键特征点之间约束关系所形成的形状约束条件。
6.如权利要求1所述的服饰识别方法，其特征在于，所述通过训练后的第二神经网络基于所述目标图像对应的形状约束条件对所述热图集进行处理之前，还包括：
根据所述目标图像包含的关键特征点对应的热图集，确定所述目标图像对应的形状约束条件，所述目标图像包括至少一个形状约束条件。
7.如权利要求1所述的服饰识别方法，其特征在于，所述基于所述训练样本集以及形状约束条件集对初始的双向循环卷积神经网络进行迭代训练，包括：
将所述训练样本集以及形状约束条件集输入初始的双向循环卷积神经网络；
所述双向循环卷积神经网络分别以设置顺序将所述形状约束条件集中每一所述形状约束条件输入前向层、以及以设置逆向顺序将所述形状约束条件集中每一所述形状约束条件输入后向层进行迭代训练。
8.如权利要求7所述的服饰识别方法，其特征在于，所述双向循环卷积神经网络分别以设置顺序将所述形状约束条件集中每一所述形状约束条件输入前向层、以及以设置逆向顺序将所述形状约束条件集中每一所述形状约束条件输入后向层进行迭代训练，包括：
在一次迭代中，所述双向循环卷积神经网络根据对应的形状约束条件包含的关键特征点之间的约束关系，设置所述关键特征点的连接顺序；
以所述训练图像对应的热图集中包含的一关键特征点为起点，将每一所述关键特征点对应的位置概率热图按所述连接顺序以及所述连接顺序的逆向顺序同时输入前向层和后向层进行迭代训练。
9.如权利要求1所述的服饰识别方法，其特征在于，所述通过训练后的第二神经网络基于所述目标图像对应的形状约束条件对所述热图集进行处理，确定所述目标图像中包含的关键特征点的位置概率信息，包括：
所述第二神经网络根据所述目标图像对应的形状约束条件调整所述热图集的显示参数；
根据所述显示参数需要满足的条件，对所述热图集的所述显示参数进行调整得到对应的目标参数，根据所述目标参数得到所述目标图像中包含的关键特征点的位置概率信息。
10.一种采用如权利要求1至9任一项所述的服饰识别方法实现的服饰分类方法，其特征在于，包括：
基于目标图像中包含的关键特征点的位置概率信息确定服饰的类别属性；所述类别属性包括以下其中之一：形状、版型和风格；
基于所述类别属性确定对应的服饰类别。
11.一种采用如权利要求1至9任一项所述的服饰识别方法实现的服饰检索方法，其特征在于，包括：
基于目标图像中包含的关键特征点的位置概率信息确定服饰的类别属性；所述类别属性包括以下其中之一：形状、版型和风格；
基于所述类别属性确定对应的检索要素；其中，所述检索要素包括检索关键字和/或图像；
基于所述检索要素检索与所述目标图像对应的服饰图像集。
12.一种服饰识别装置，其特征在于，包括：
热图集确定模块，用于获取包含待识别服饰的目标图像，通过训练后的第一神经网络对所述目标图像进行处理，确定所述目标图像包含的关键特征点对应的热图集，所述热图集包括所述目标图像中包含的每一关键特征点对应的位置概率热图；所述位置概率热图包含待识别服饰的目标图像中每一关键特征点的初始位置信息；
第二神经网络训练模块，用于获取训练样本集，所述训练样本集包括所述第一神经网络输出的训练图像包含的关键特征点对应的热图集；基于所述训练样本集以及形状约束条件集对初始的双向循环卷积神经网络进行迭代训练，直至损失函数满足收敛条件，得到训练后的第二神经网络；
位置概率确定模块，用于通过所述训练后的第二神经网络基于所述目标图像对应的所述形状约束条件对所述热图集进行处理，确定所述目标图像中包含的关键特征点的位置概率信息；其中，所述位置概率信息用于根据所述确定的待识别服饰的所述关键特征点对服饰进行精确识别；所述目标图像对应的所述形状约束条件是基于所述目标图像确定的关键特征点从形状约束条件集中确定的；其中，所述约束条件集是对服饰关键点特有的形变结构进行建模得到的。
13.一种服饰分类装置，其特征在于，包括：
热图集确定模块，用于获取包含待识别服饰的目标图像，通过训练后的第一神经网络对所述目标图像进行处理，确定所述目标图像包含的关键特征点对应的热图集，所述热图集包括所述目标图像中包含的每一关键特征点对应的位置概率热图；所述位置概率热图包含待识别服饰的目标图像中每一关键特征点的初始位置信息；
第二神经网络训练模块，用于获取训练样本集，所述训练样本集包括所述第一神经网络输出的训练图像包含的关键特征点对应的热图集；基于所述训练样本集以及形状约束条件集对初始的双向循环卷积神经网络进行迭代训练，直至损失函数满足收敛条件，得到训练后的第二神经网络；
位置概率确定模块，用于通过所述训练后的第二神经网络基于所述目标图像对应的所述形状约束条件对所述热图集进行处理，确定所述目标图像中包含的关键特征点的位置概率信息；其中，所述位置概率信息用于根据所述确定的待识别服饰的所述关键特征点对服饰进行精确识别；所述目标图像对应的所述形状约束条件是基于所述目标图像确定的关键特征点从形状约束条件集中确定的；其中，所述约束条件集是对服饰关键点特有的形变结构进行建模得到的；
第一类别属性确定模块，用于基于目标图像中包含的关键特征点的位置概率信息确定服饰的类别属性；所述类别属性包括以下其中之一：形状、版型和风格；
分类模块，用于基于所述类别属性确定对应的服饰类别。
14.一种服饰检索装置，其特征在于，包括：
热图集确定模块，用于获取包含待识别服饰的目标图像，通过训练后的第一神经网络对所述目标图像进行处理，确定所述目标图像包含的关键特征点对应的热图集，所述热图集包括所述目标图像中包含的每一关键特征点对应的位置概率热图；所述位置概率热图包含待识别服饰的目标图像中每一关键特征点的初始位置信息；
第二神经网络训练模块，用于获取训练样本集，所述训练样本集包括所述第一神经网络输出的训练图像包含的关键特征点对应的热图集；基于所述训练样本集以及形状约束条件集对初始的双向循环卷积神经网络进行迭代训练，直至损失函数满足收敛条件，得到训练后的第二神经网络；
位置概率确定模块，用于通过所述训练后的第二神经网络基于所述目标图像对应的所述形状约束条件对所述热图集进行处理，确定所述目标图像中包含的关键特征点的位置概率信息；其中，所述位置概率信息用于根据所述确定的待识别服饰的所述关键特征点对服饰进行精确识别；所述目标图像对应的所述形状约束条件是基于所述目标图像确定的关键特征点从形状约束条件集中确定的；其中，所述约束条件集是对服饰关键点特有的形变结构进行建模得到的；
第二类别属性模块，用于基于目标图像中包含的关键特征点的位置概率信息确定服饰的类别属性；所述类别属性包括以下其中之一：形状、版型和风格；
检索要素确定模块，用于基于所述类别属性确定对应的检索要素；其中，所述检索要素包括检索关键字和/或图像；
检索模块，用于基于所述检索要素检索与所述目标图像对应的服饰图像集。
15.一种计算机设备，其特征在于，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；
其中，所述处理器用于运行所述计算机程序时，实现权利要求1至9任一项所述的服饰识别方法、或实现权利要求10所述的服饰分类方法、或实现权利要求11所述的服饰检索方法。
16.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述服饰识别方法、或实现权利要求10所述的服饰分类方法、或实现权利要求11所述的服饰检索方法。
CN201910123577.4A 2019-02-18 2019-02-18 服饰识别、分类及检索的方法、装置、设备及存储介质 Active CN111581414B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910123577.4A CN111581414B (zh) 2019-02-18 2019-02-18 服饰识别、分类及检索的方法、装置、设备及存储介质
EP19915612.6A EP3876110A4 (en) 2019-02-18 2019-12-23 METHOD, DEVICE AND EQUIPMENT FOR DETECTION, CATEGORIZATION AND SEARCH FOR AN ITEM OF CLOTHING AND STORAGE MEDIUM
PCT/CN2019/127660 WO2020168814A1 (zh) 2019-02-18 2019-12-23 服饰识别、分类及检索的方法、装置、设备及存储介质
US17/295,337 US20220019840A1 (en) 2019-02-18 2019-12-23 Method, device and apparatus for recognizing, categorizing and searching for garment, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910123577.4A CN111581414B (zh) 2019-02-18 2019-02-18 服饰识别、分类及检索的方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111581414A CN111581414A (zh) 2020-08-25
CN111581414B true CN111581414B (zh) 2024-01-16

Family

ID=72112922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910123577.4A Active CN111581414B (zh) 2019-02-18 2019-02-18 服饰识别、分类及检索的方法、装置、设备及存储介质

Country Status (4)

Country Link
US (1) US20220019840A1 (zh)
EP (1) EP3876110A4 (zh)
CN (1) CN111581414B (zh)
WO (1) WO2020168814A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102295202B1 (ko) * 2020-01-31 2021-08-27 중앙대학교 산학협력단 다중 객체 검출 방법 및 그 장치
US11473927B2 (en) * 2020-02-05 2022-10-18 Electronic Arts Inc. Generating positions of map items for placement on a virtual map
US11462033B2 (en) * 2020-09-30 2022-10-04 Wipro Limited Method and system for performing classification of real-time input sample using compressed classification model
CN112580652B (zh) * 2020-12-24 2024-04-09 咪咕文化科技有限公司 虚拟装饰方法、装置、电子设备及存储介质
CN112802108B (zh) * 2021-02-07 2024-03-15 上海商汤科技开发有限公司 目标对象定位方法、装置、电子设备及可读存储介质
CN116071359B (zh) * 2023-03-08 2023-06-23 中汽研新能源汽车检验中心(天津)有限公司 一种电池老化程度检测方法、电子设备及存储介质
US11804057B1 (en) * 2023-03-23 2023-10-31 Liquidx, Inc. Computer systems and computer-implemented methods utilizing a digital asset generation platform for classifying data structures
CN116310406B (zh) * 2023-05-22 2023-08-11 浙江之科云创数字科技有限公司 一种图像检测的方法、装置、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105447529A (zh) * 2015-12-30 2016-03-30 商汤集团有限公司 一种服饰检测及其属性值识别的方法和系统
CN106874924A (zh) * 2015-12-14 2017-06-20 阿里巴巴集团控股有限公司 一种图片风格识别方法及装置
CN108229496A (zh) * 2017-07-11 2018-06-29 北京市商汤科技开发有限公司 服饰关键点的检测方法和装置、电子设备、存储介质和程序
CN109166147A (zh) * 2018-09-10 2019-01-08 深圳码隆科技有限公司 基于图片的服装尺寸测量方法及装置
CN109325952A (zh) * 2018-09-17 2019-02-12 上海宝尊电子商务有限公司 基于深度学习的时尚服装图像分割方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6022681B2 (ja) * 2012-06-08 2016-11-09 ナショナル ユニヴァーシティー オブ シンガポール オンラインストアにおける対話型衣料品検索
CN108027972B (zh) * 2015-07-30 2022-03-15 北京市商汤科技开发有限公司 用于对象跟踪的系统和方法
CN108229488B (zh) * 2016-12-27 2021-01-01 北京市商汤科技开发有限公司 用于检测物体关键点的方法、装置及电子设备
JP6929953B2 (ja) * 2017-03-17 2021-09-01 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 部屋レイアウト推定方法および技法
US10943176B2 (en) * 2017-03-22 2021-03-09 Ebay Inc. Visual aspect localization presentation
US10096122B1 (en) * 2017-03-28 2018-10-09 Amazon Technologies, Inc. Segmentation of object image data from background image data
US10733431B2 (en) * 2017-12-03 2020-08-04 Facebook, Inc. Systems and methods for optimizing pose estimation
CN108256431B (zh) * 2017-12-20 2020-09-25 中车工业研究院有限公司 一种手部位置标识方法及装置
US10706262B2 (en) * 2018-01-08 2020-07-07 3DLOOK Inc. Intelligent body measurement
CN108549844B (zh) * 2018-03-22 2021-10-26 华侨大学 一种基于分形网络和关节亲属模式的多人姿态估计方法
US11631193B1 (en) * 2018-06-15 2023-04-18 Bertec Corporation System for estimating a pose of one or more persons in a scene
CN108932495B (zh) * 2018-07-02 2021-06-08 大连理工大学 一种汽车前脸参数化模型全自动生成方法
JP7209333B2 (ja) * 2018-09-10 2023-01-20 国立大学法人 東京大学 関節位置の取得方法及び装置、動作の取得方法及び装置
US11375176B2 (en) * 2019-02-05 2022-06-28 Nvidia Corporation Few-shot viewpoint estimation
US11948401B2 (en) * 2019-08-17 2024-04-02 Nightingale.ai Corp. AI-based physical function assessment system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874924A (zh) * 2015-12-14 2017-06-20 阿里巴巴集团控股有限公司 一种图片风格识别方法及装置
CN105447529A (zh) * 2015-12-30 2016-03-30 商汤集团有限公司 一种服饰检测及其属性值识别的方法和系统
CN108229496A (zh) * 2017-07-11 2018-06-29 北京市商汤科技开发有限公司 服饰关键点的检测方法和装置、电子设备、存储介质和程序
CN109166147A (zh) * 2018-09-10 2019-01-08 深圳码隆科技有限公司 基于图片的服装尺寸测量方法及装置
CN109325952A (zh) * 2018-09-17 2019-02-12 上海宝尊电子商务有限公司 基于深度学习的时尚服装图像分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Human Pose Estimation via Convolutional Part Heatmap Regression;Alexander Toshev 等;COMPUTER VISION-ECCV 2020: 16TH EUROPEAN CONFERENCE;全文 *

Also Published As

Publication number Publication date
CN111581414A (zh) 2020-08-25
EP3876110A1 (en) 2021-09-08
US20220019840A1 (en) 2022-01-20
EP3876110A4 (en) 2022-01-05
WO2020168814A1 (zh) 2020-08-27

Similar Documents

Publication Publication Date Title
CN111581414B (zh) 服饰识别、分类及检索的方法、装置、设备及存储介质
CN110866140B (zh) 图像特征提取模型训练方法、图像搜索方法及计算机设备
WO2021227726A1 (zh) 面部检测、图像检测神经网络训练方法、装置和设备
WO2021027789A1 (zh) 物体识别方法及装置
WO2019018063A1 (en) FINAL GRAIN IMAGE RECOGNITION
US20220222918A1 (en) Image retrieval method and apparatus, storage medium, and device
CN106844518B (zh) 一种基于子空间学习的不完整跨模态检索方法
CN111507419A (zh) 图像分类模型的训练方法及装置
CN110765882B (zh) 一种视频标签确定方法、装置、服务器及存储介质
CN113538441A (zh) 图像分割模型的处理方法、图像处理方法及装置
CN114332680A (zh) 图像处理、视频搜索方法、装置、计算机设备和存储介质
US20220253977A1 (en) Method and device of super-resolution reconstruction, computer device and storage medium
KR20210126646A (ko) 분자 결합 부위를 검출하기 위한 방법 및 장치, 전자 디바이스 및 저장 매체
CN116249991A (zh) 一种神经网络蒸馏方法以及装置
CN111507285A (zh) 人脸属性识别方法、装置、计算机设备和存储介质
Leng et al. Context-aware attention network for image recognition
Stacchio et al. Toward a Holistic Approach to the Socio-historical Analysis of Vernacular Photos
CN117315090A (zh) 基于跨模态风格学习的图像生成方法及装置
Lei et al. A new clothing image retrieval algorithm based on sketch component segmentation in mobile visual sensors
CN117435685A (zh) 文档检索方法、装置、计算机设备、存储介质和产品
CN112183303A (zh) 变电设备图像分类方法、装置、计算机设备和介质
CN111191065A (zh) 一种同源图像确定方法及装置
CN111598000A (zh) 基于多任务的人脸识别方法、装置、服务器和可读存储介质
Yan et al. PointpartNet: 3D point-cloud registration via deep part-based feature extraction
Walch et al. Deep Learning for Image-Based Localization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant