CN112270354A - 一种基于人体身形特征的服装推荐方法 - Google Patents

一种基于人体身形特征的服装推荐方法 Download PDF

Info

Publication number
CN112270354A
CN112270354A CN202011163112.0A CN202011163112A CN112270354A CN 112270354 A CN112270354 A CN 112270354A CN 202011163112 A CN202011163112 A CN 202011163112A CN 112270354 A CN112270354 A CN 112270354A
Authority
CN
China
Prior art keywords
clothing
body shape
human body
model
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011163112.0A
Other languages
English (en)
Other versions
CN112270354B (zh
Inventor
苏卓
王冠
周凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Sun Yat Sen University
Original Assignee
National Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Sun Yat Sen University filed Critical National Sun Yat Sen University
Priority to CN202011163112.0A priority Critical patent/CN112270354B/zh
Publication of CN112270354A publication Critical patent/CN112270354A/zh
Application granted granted Critical
Publication of CN112270354B publication Critical patent/CN112270354B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于人体身形特征的服装推荐方法。定义身形特征类型标签，对服装数据集和人体数据集进行标签化处理；利用标签化服装数据集对服装身形特征提取模型进行训练，输出服装身形特征；利用标签化人体数据集对人体身形特征提取模型进行训练，输出人体身形特征；并利用服装身形特征和人体身形特征对服装人体身形匹配网络模型进行训练，输出服装与人体身形匹配概率；最后按照匹配概率降序排列推荐给用户。本发明可以提取到更为丰富的用户身形和服装的隐语义信息，而不是单纯的将用户或者服装进行分类，将匹配规则简化为在隐语义空间内的“距离计算”，从而实现了为用户推荐距离最近的服装商品，提高了推荐的准确度。

Description

一种基于人体身形特征的服装推荐方法
技术领域
本发明涉及人工智能、智能推荐技术领域，具体涉及一种基于人体身形特征的服装推荐方法。
背景技术
随着电商领域的飞速发展，推荐系统已经越来越多受到了工业界和学术界的关注。服装推荐通常包括服装搭配推荐和服装单品推荐。服装搭配推荐通常注重服装之间的兼容性。而服装单品推荐则更侧重于用户对于服装物品的偏好。然而，并不是所有的人都善于进行服装搭配。
目前的服装推荐方法主要分为两大类：基于传统算法的服装推荐方法和基于深度学习的服装推荐方法。传统的服装推荐方法例如Liu等人提出的一个支持向量机(SVM)模型，用于解决场景导向的套装和服装推荐，其中他们的数据集是人工标注的街景图片；He等人提出的一种利用矩阵分解的方法并入视觉信号来进行推荐任务。基于深度学习的服装推荐方法中，有Han等人提出的利用LSTM来将时装套装建模为一个双向序列，并直接对套装中的兼容性进行建模，取得了优秀的效果；Vasileva等人利用深度学习网络，同时学习了服装之间的相似性(相同服装类型)和兼容性(不同类型的服装间的审美交互性)。
另外，现有的研究认为，在时装领域用户往往更注重产品的外观。例如，在电商购物时，用户往往在查看过产品的图片之后才购买它。对该侧重点的研究主要表现在对视觉兼容性的建模。Song等人同时加入服装的文本标签特征和视觉特征，来完成推荐任务。
现有的方法主要集中于利用图片和文字信息，来建模服装间的兼容性，利用用户的购买信息来建模用户的偏好。然而，在实际的服装搭配场景中，各种时尚专家推荐的服装搭配，往往是根据用户的身形信息，来进行服装推荐的。例如，梨形身材的人适合穿直筒裤。专利“基于卷积神经网络的体貌特征识别分类的服装推荐系统”利用卷积神经网络加多分类器，提取人体的身形特征分类，再利用专家系统，将时尚专家的搭配规则记录其中，根据已记录的规则进行推荐。
目前的现有技术之一是专利“基于卷积神经网络的体貌特征识别分类的服装推荐系统”。考虑到利用用户的体貌信息来进行服装推荐。它采用基于CNN-SVM多分类器算法的特征提取算法将用户的体貌信息进行多分类。该方法将分类区间规定为预先设定的各种类别。再利用专家系统技术，将时尚专家的搭配规则记录其中，利用已经记录好的搭配规则，直接筛选出服装商品清单。
现有技术之一的缺点是：(1)该方法利用卷积神经网络提取用户的体貌特征，将用户的体貌特征限制为了某几个具体的分类，没有提取到用户体貌特征的隐含语义。(2)服装信息的标签化是固定的。每当有新的服装数据进入时，该方法需要人为的对服装数据进行体貌标签设计。
发明内容
本发明的目的是克服现有方法的不足，提出了一种基于人体身形特征的服装推荐方法。本发明解决的主要问题是，一、如何将用户的体貌信息，映射到一个身形信息空间，该空间中人体身形信息的信息量会更多，包含更多的隐语义；二、如何利用服装的视觉信息、文本信息进行建模，将服装也同样映射到人体身形信息空间中，并提取服装在人体身形信息空间中的隐语义，以及如何根据服装的文本信息和图片信息，自动的提取出服装所适合的身形信息；三、如何通过计算用户和服装在该人体身形信息隐语义空间中的距离，为用户匹配基于身形信息的服装。
为了解决上述问题，本发明提出了一种基于人体身形特征的服装推荐方法，所述方法包括：
预先定义身形特征类型标签，之后搜集服装数据集和人体数据集，并利用身形特征类型标签对两个数据集进行标签化处理，得到标签化服装数据集和标签化人体数据集；
采用深度神经网络建立服装身形特征提取模型，并利用所述标签化服装数据集对该模型进行训练，训练好的模型输出结果为服装身形特征；
采用深度神经网络建立人体身形特征提取模型，并利用所述标签化人体数据集对该模型进行训练，训练好的模型输出结果为人体身形特征；
采用多层感知神经网络建立服装人体身形匹配网络模型，并利用所述服装身形特征和所述人体身形特征进行训练，训练好的模型输出结果为服装与人体身形匹配概率；
用户输入自己的个人图片和候选服装图片，利用所述服装人体身形匹配网络模型计算出候选服装与该用户身形的匹配概率，并设置一个匹配阈值，当匹配概率大于匹配阈值时，符合条件的候选服装按照匹配概率降序排列推荐给用户。
优选地，所述对服装数据集进行标签化处理，具体为：
采用词向量方法提取所述身形特征类型标签的词语语义，得到身形标签词向量；
采用词向量方法提取所述服装数据集中服装属性的词语语义，得到服装属性词向量；
对所述服装数据集中的每一件服装，计算所有身形标签词向量与该服装的服装属性词向量的余弦相似度，取其中余弦相似度最大的身形标签词向量所对应的身形特征作为该服装属性的身形特征，并用对应的身形特征类型标签进行标签化。
优选地，所述采用深度神经网络建立服装身形特征提取模型，并利用所述标签化服装数据集对该模型进行训练，训练好的模型输出结果为服装身形特征，具体为：
将所述服装数据集中的某一件服装a的图片，利用预训练完成的RESNET34网络模型，进行视觉特征提取，得到服装图片的视觉特征向量v1；
将所述服装数据集中的某一件服装a所具有的所有所述服装属性词向量相加并求平均，求出所述服装属性词向量的中心点，获得文本特征向量t1；
把所述视觉特征向量v1和所述文本特征向量t1输入服装身形特征提取模型，该模型拥有6层，其中包括输入层1层，隐层感知层5层，输出层1层，隐层的感知节点数量与输入层相等，设置为所述视觉特征向量v1和所述文本特征向量t1的长度相加，在输入层以及各个隐层之间采用3个跳跃链接，将隐层的输出链接到一个多分类层中，采用softmax方法，计算出各个分类的概率，输出层的节点数量为身形特征类型数量，该模型的输出结果为所述服装a属于各个身形特征的概率，选取概率最高的一个作为最终的输出结果；
所述服装身形特征提取模型的训练策略为：其损失函数采用多类别交叉熵损失函数，计算损失函数得到当前结果的误差，通过反向传播算法修改服装身形特征提取模型中各层节点的参数，进而减小误差，获得最终误差较小时的最好模型；
根据上述模型设计与训练策略，输入所述标签化服装数据集，对所述服装身形特征提取模型进行训练，训练完成后，将所述服装身形特征提取模型的最后一层舍去不用，取最后一层的隐层输出，作为所述服装a的服装身形特征Icloth。
优选地，所述采用深度神经网络建立人体身形特征提取模型，并利用所述标签化人体数据集对该模型进行训练，训练好的模型输出结果为人体身形特征，具体为：
将所述人体数据集中的某一人体b的图片，利用预训练完成的RESNET34网络模型，进行视觉特征提取，得到人体图片的视觉特征向量v2；
把所述视觉特征向量v2输入人体身形特征提取模型，该模型拥有6层，其中包括输入层1层，隐层感知层5层，输出层1层，隐层的感知节点数量与输入层相等，即为所述视觉特征向量的长度|v2|，在输入层以及各个隐层之间采用3个跳跃链接，将隐层的输出链接到一个多分类层中，采用softmax方法，计算出各个分类的概率，输出层的节点数量为身形特征类型数量，该模型的输出结果为所述人体b属于各个身形特征的概率，选取概率最高的一个作为最终的输出结果；
所述人体身形特征提取模型的训练策略为：其损失函数采用多类别交叉熵损失函数，计算损失函数得到当前结果的误差，通过反向传播算法修改人体身形特征提取模型中各层节点的参数，进而减小误差，获得最终误差较小时的最好模型；
根据上述模型设计与训练策略，输入所述标签化人体数据集，对所述人体身形特征提取模型进行训练，训练完成后，将所述人体身形特征提取模型的最后一层舍去不用，取最后一层的隐层输出，作为所述人体b的人体身形特征Iuser。
优选地，所述采用多层感知神经网络建立服装人体身形匹配网络模型，并利用所述服装身形特征和所述人体身形特征进行训练，训练好的模型输出结果为服装与人体身形匹配概率，具体为：
把所述服装身形特征Icloth和所述人体身形特征Iuser输入服装人体身形匹配网络模型，该模型采用4层结构，1层输入层，2层隐层，以及1层输出层，输入层与隐层的节点长度均设置为|Icloth|+|Iuser|，输出层只有一个节点，该节点的激活层，采用sigmoid激活函数，服装与人体的匹配概率取值范围为(0,1)；
所述服装人体身形匹配网络模型的训练策略为：其损失函数采用二分类交叉熵损失函数，计算损失函数得到当前结果的误差，通过反向传播算法修改人体身形特征提取模型中各层节点的参数，进而减小误差，获得最终误差较小时的最好模型；
根据上述模型设计与训练策略，利用所述标签化服装数据集通过所述服装身形特征提取模型提取到的所有服装身形特征，以及利用所述标签化人体数据集通过所述人体身形特征提取模型提取到的所有人体身形特征，对模型进行训练，得到最终的服装人体身形匹配网络模型，其输出结果为服装与人体身形匹配概率。
本发明提出的一种基于人体身形特征的服装推荐方法，可以提取到更为丰富的用户身形和服装的隐语义信息，而不是单纯的将用户或者服装进行分类。省去了专家系统的匹配规则，将匹配规则简化为在隐语义空间内的“距离计算”，从而实现了为用户推荐距离最近的服装商品，提高了推荐的准确度。
附图说明
图1是本发明实施例的一种基于人体身形特征的服装推荐方法的总体流程图；
图2是本发明实施例的服装人体身形匹配网络模型的示意图；
图3是本发明实施例的身形特征类型描述图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例的一种基于人体身形特征的服装推荐方法的总体流程图，如图1所示，该方法包括：
S1，预先定义身形特征类型标签，之后搜集服装数据集和人体数据集，并利用身形特征类型标签对两个数据集进行标签化处理，得到标签化服装数据集和标签化人体数据集；
S2，采用深度神经网络建立服装身形特征提取模型，并利用所述标签化服装数据集对该模型进行训练，训练好的模型输出结果为服装身形特征；
S3，采用深度神经网络建立人体身形特征提取模型，并利用所述标签化人体数据集对该模型进行训练，训练好的模型输出结果为人体身形特征；
S4，采用多层感知神经网络建立服装人体身形匹配网络模型，并利用所述服装身形特征和所述人体身形特征进行训练，训练好的模型输出结果为服装与人体身形匹配概率；
S5，用户输入自己的个人图片和候选服装图片，利用所述服装人体身形匹配网络模型计算出候选服装与该用户身形的匹配概率，并设置一个匹配阈值，当匹配概率大于匹配阈值时，符合条件的候选服装按照匹配概率降序排列推荐给用户。
步骤S1，具体如下：
S1-1，以在时尚领域常见的XHAOY五大身形来定义本发明中的身形特征类型标签，如图3所示。
S1-2，搜集人体数据集，本实施例中使用ATR人体解析数据集。人工利用S1-1的身形特征类型标签对人体数据集进行身形标签化处理。
S1-3，采用词向量方法提取词语语义，本实施例中利用Google提供的word2vec工具，本工具采用了经典的BOW(bag-of-words)和skim-gram架构实现，用于将词语提取成一个词向量，该词向量保留了该词语的语义信息。
采用上述词向量方法提取S1-1的身形特征类型标签的词语语义，得到身形标签词向量；
服装数据集选取上，本实施例中使用服装分析领域较为火热的DeepFashion数据集。采用词向量方法提取所述服装数据集中服装属性的词语语义，得到服装属性词向量。
S1-4，对所述服装数据集中的每一件服装，计算所有身形标签词向量与该服装的服装属性词向量的余弦相似度，取其中余弦相似度最大的身形标签词向量所对应的身形特征作为该服装属性的身形特征，并用对应的身形特征类型标签进行标签化。
步骤S2，具体如下：
S2-1，将所述服装数据集中的某一件服装a的图片，利用预训练完成的RESNET34网络模型，进行视觉特征提取，得到服装图片的视觉特征向量v1。
S2-2，将所述服装数据集中的某一件服装a所具有的所有所述服装属性词向量相加并求平均，求出所述服装属性词向量的中心点，获得文本特征向量t1。
S2-3，把所述视觉特征向量v1和所述文本特征向量t1输入服装身形特征提取模型，该模型拥有6层，其中包括输入层1层，隐层感知层5层，输出层1层，隐层的感知节点数量与输入层相等，设置为所述视觉特征向量v1和所述文本特征向量t1的长度相加，在输入层以及各个隐层之间采用3个跳跃链接，将隐层的输出链接到一个多分类层中，采用softmax方法，计算出各个分类的概率，输出层的节点数量为身形特征类型数量，该模型的输出结果为所述服装a属于各个身形特征的概率，选取概率最高的一个作为最终的输出结果。
S2-4，所述服装身形特征提取模型的训练策略为：其损失函数采用多类别交叉熵损失函数，计算损失函数得到当前结果的误差，通过反向传播算法修改服装身形特征提取模型中各层节点的参数，进而减小误差，获得最终误差较小时的最好模型。
损失函数L1的方程如下所示：
Figure BDA0002744974770000101
其中，多类别交叉熵损失函数L1，其中
Figure BDA0002744974770000102
为真值，例如：该服装的身形特征为1，则
Figure BDA0002744974770000103
剩余
Figure BDA0002744974770000104
而yi为服装身形特征提取模型的输出值，其意义为服装身形特征提取模型给出的该服装物品具有身形特征i的概率。yi有可能均不为0，但yi属于(0,1)。
S2-5，根据上述模型设计与训练策略，输入所述标签化服装数据集，对所述服装身形特征提取模型进行训练，训练完成后，将所述服装身形特征提取模型的最后一层舍去不用，取最后一层的隐层输出，作为所述服装a的服装身形特征Icloth。
步骤S3，具体如下：
S3-1，将所述人体数据集中的某一人体b的图片，利用预训练完成的RESNET34网络模型，进行视觉特征提取，得到人体图片的视觉特征向量v2。
S3-2，把所述视觉特征向量v2输入人体身形特征提取模型，该模型拥有6层，其中包括输入层1层，隐层感知层5层，输出层1层，隐层的感知节点数量与输入层相等，即为所述视觉特征向量的长度|v2|，在输入层以及各个隐层之间采用3个跳跃链接，将隐层的输出链接到一个多分类层中，采用softmax方法，计算出各个分类的概率，输出层的节点数量为身形特征类型数量，该模型的输出结果为所述人体b属于各个身形特征的概率，选取概率最高的一个作为最终的输出结果。
S3-3，所述人体身形特征提取模型的训练策略为：其损失函数采用多类别交叉熵损失函数，计算损失函数得到当前结果的误差，通过反向传播算法修改人体身形特征提取模型中各层节点的参数，进而减小误差，获得最终误差较小时的最好模型。
损失函数L2的方程如下所示：
Figure BDA0002744974770000111
其中，多类别交叉熵损失函数L2，其中
Figure BDA0002744974770000112
为真值，例如：该用户的身形特征为1，则
Figure BDA0002744974770000113
剩余
Figure BDA0002744974770000114
而yi为人体身形特征提取模型的输出值，其意义为人体身形特征提取模型给出的该用户具有身形特征i的概率。yi有可能均不为0，但yi属于(0,1)。
S3-4，根据上述模型设计与训练策略，输入所述标签化人体数据集，对所述人体身形特征提取模型进行训练，训练完成后，将所述人体身形特征提取模型的最后一层舍去不用，取最后一层的隐层输出，作为所述人体b的人体身形特征Iuser。
步骤S4，具体如下：
S4-1，把所述服装身形特征Icloth和所述人体身形特征Iuser输入服装人体身形匹配网络模型，整体结构如图2所示，该模型采用4层结构，1层输入层，2层隐层，以及1层输出层，输入层与隐层的节点长度均设置为|Icloth|+|Iuser|，输出层只有一个节点，该节点的激活层，采用sigmoid激活函数，服装与人体的匹配概率取值范围为(0,1)。
S4-2，所述服装人体身形匹配网络模型的训练策略为：其损失函数采用二分类交叉熵损失函数，计算损失函数得到当前结果的误差，通过反向传播算法修改人体身形特征提取模型中各层节点的参数，进而减小误差，获得最终误差较小时的最好模型。
损失函数L3的方程如下所示：
Figure BDA0002744974770000121
其中y是服装人体身形匹配网络模型预测该服装和该用户匹配的概率。
Figure BDA0002744974770000122
则是样本标签，如果该服装与该人体匹配，则
Figure BDA0002744974770000123
否则
Figure BDA0002744974770000124
由于S1中已经对数据进行了人工的标签化处理，所以当人体和服装的身形类型一致时则匹配，否则不匹配。其中匹配判定的规则如下：
Figure BDA0002744974770000125
S4-3，根据上述模型设计与训练策略，利用所述标签化服装数据集通过所述服装身形特征提取模型提取到的所有服装身形特征，以及利用所述标签化人体数据集通过所述人体身形特征提取模型提取到的所有人体身形特征，对模型进行训练，得到最终的服装人体身形匹配网络模型，其输出结果为服装与人体身形匹配概率。
本发明实施例提出的一种基于人体身形特征的服装推荐方法，可以提取到更为丰富的用户身形和服装的隐语义信息，而不是单纯的将用户或者服装进行分类。省去了专家系统的匹配规则，将匹配规则简化为在隐语义空间内的“距离计算”，从而实现了为用户推荐距离最近的服装商品，提高了推荐的准确度。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
另外，以上对本发明实施例所提供的一种基于人体身形特征的服装推荐方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (5)

1.一种基于人体身形特征的服装推荐方法，其特征在于，所述方法包括：
预先定义身形特征类型标签，之后搜集服装数据集和人体数据集，并利用身形特征类型标签对两个数据集进行标签化处理，得到标签化服装数据集和标签化人体数据集；
采用深度神经网络建立服装身形特征提取模型，并利用所述标签化服装数据集对该模型进行训练，训练好的模型输出结果为服装身形特征；
采用深度神经网络建立人体身形特征提取模型，并利用所述标签化人体数据集对该模型进行训练，训练好的模型输出结果为人体身形特征；
采用多层感知神经网络建立服装人体身形匹配网络模型，并利用所述服装身形特征和所述人体身形特征进行训练，训练好的模型输出结果为服装与人体身形匹配概率；
用户输入自己的个人图片和候选服装图片，利用所述服装人体身形匹配网络模型计算出候选服装与该用户身形的匹配概率，并设置一个匹配阈值，当匹配概率大于匹配阈值时，符合条件的候选服装按照匹配概率降序排列推荐给用户。
2.如权利要求1所述的一种基于人体身形特征的服装推荐方法，其特征在于，所述对服装数据集进行标签化处理，具体为：
采用词向量方法提取所述身形特征类型标签的词语语义，得到身形标签词向量；
采用词向量方法提取所述服装数据集中服装属性的词语语义，得到服装属性词向量；
对所述服装数据集中的每一件服装，计算所有身形标签词向量与该服装的服装属性词向量的余弦相似度，取其中余弦相似度最大的身形标签词向量所对应的身形特征作为该服装属性的身形特征，并用对应的身形特征类型标签进行标签化。
3.如权利要求2所述的一种基于人体身形特征的服装推荐方法，其特征在于，所述采用深度神经网络建立服装身形特征提取模型，并利用所述标签化服装数据集对该模型进行训练，训练好的模型输出结果为服装身形特征，具体为：
将所述服装数据集中的某一件服装a的图片，利用预训练完成的RESNET34网络模型，进行视觉特征提取，得到服装图片的视觉特征向量v1；
将所述服装数据集中的某一件服装a所具有的所有所述服装属性词向量相加并求平均，求出所述服装属性词向量的中心点，获得文本特征向量t1；
把所述视觉特征向量v1和所述文本特征向量t1输入服装身形特征提取模型，该模型拥有6层，其中包括输入层1层，隐层感知层5层，输出层1层，隐层的感知节点数量与输入层相等，设置为所述视觉特征向量v1和所述文本特征向量t1的长度相加，在输入层以及各个隐层之间采用3个跳跃链接，将隐层的输出链接到一个多分类层中，采用softmax方法，计算出各个分类的概率，输出层的节点数量为身形特征类型数量，该模型的输出结果为所述服装a属于各个身形特征的概率，选取概率最高的一个作为最终的输出结果；
所述服装身形特征提取模型的训练策略为：其损失函数采用多类别交叉熵损失函数，计算损失函数得到当前结果的误差，通过反向传播算法修改服装身形特征提取模型中各层节点的参数，进而减小误差，获得最终误差较小时的最好模型；
根据上述模型设计与训练策略，输入所述标签化服装数据集，对所述服装身形特征提取模型进行训练，训练完成后，将所述服装身形特征提取模型的最后一层舍去不用，取最后一层的隐层输出，作为所述服装a的服装身形特征Icloth。
4.如权利要求1所述的一种基于人体身形特征的服装推荐方法，其特征在于，所述采用深度神经网络建立人体身形特征提取模型，并利用所述标签化人体数据集对该模型进行训练，训练好的模型输出结果为人体身形特征，具体为：
将所述人体数据集中的某一人体b的图片，利用预训练完成的RESNET34网络模型，进行视觉特征提取，得到人体图片的视觉特征向量v2；
把所述视觉特征向量v2输入人体身形特征提取模型，该模型拥有6层，其中包括输入层1层，隐层感知层5层，输出层1层，隐层的感知节点数量与输入层相等，即为所述视觉特征向量的长度|v2|，在输入层以及各个隐层之间采用3个跳跃链接，将隐层的输出链接到一个多分类层中，采用softmax方法，计算出各个分类的概率，输出层的节点数量为身形特征类型数量，该模型的输出结果为所述人体b属于各个身形特征的概率，选取概率最高的一个作为最终的输出结果；
所述人体身形特征提取模型的训练策略为：其损失函数采用多类别交叉熵损失函数，计算损失函数得到当前结果的误差，通过反向传播算法修改人体身形特征提取模型中各层节点的参数，进而减小误差，获得最终误差较小时的最好模型；
根据上述模型设计与训练策略，输入所述标签化人体数据集，对所述人体身形特征提取模型进行训练，训练完成后，将所述人体身形特征提取模型的最后一层舍去不用，取最后一层的隐层输出，作为所述人体b的人体身形特征Iuser。
5.如权利要求3或4所述的一种基于人体身形特征的服装推荐方法，其特征在于，采用多层感知神经网络建立服装人体身形匹配网络模型，并利用所述服装身形特征和所述人体身形特征进行训练，训练好的模型输出结果为服装与人体身形匹配概率，具体为：
把所述服装身形特征Icloth和所述人体身形特征Iuser输入服装人体身形匹配网络模型，该模型采用4层结构，1层输入层，2层隐层，以及1层输出层，输入层与隐层的节点长度均设置为|Icloth|+|Iuser|，输出层只有一个节点，该节点的激活层，采用sigmoid激活函数，服装与人体的匹配概率取值范围为(0,1)；
所述服装人体身形匹配网络模型的训练策略为：其损失函数采用二分类交叉熵损失函数，计算损失函数得到当前结果的误差，通过反向传播算法修改人体身形特征提取模型中各层节点的参数，进而减小误差，获得最终误差较小时的最好模型；
根据上述模型设计与训练策略，利用所述标签化服装数据集通过所述服装身形特征提取模型提取到的所有服装身形特征，以及利用所述标签化人体数据集通过所述人体身形特征提取模型提取到的所有人体身形特征，对模型进行训练，得到最终的服装人体身形匹配网络模型，其输出结果为服装与人体身形匹配概率。
CN202011163112.0A 2020-10-27 2020-10-27 一种基于人体身形特征的服装推荐方法 Active CN112270354B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011163112.0A CN112270354B (zh) 2020-10-27 2020-10-27 一种基于人体身形特征的服装推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011163112.0A CN112270354B (zh) 2020-10-27 2020-10-27 一种基于人体身形特征的服装推荐方法

Publications (2)

Publication Number Publication Date
CN112270354A true CN112270354A (zh) 2021-01-26
CN112270354B CN112270354B (zh) 2023-06-30

Family

ID=74342180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011163112.0A Active CN112270354B (zh) 2020-10-27 2020-10-27 一种基于人体身形特征的服装推荐方法

Country Status (1)

Country Link
CN (1) CN112270354B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592609A (zh) * 2021-08-17 2021-11-02 中山大学 一种利用时间因素的个性化服饰搭配推荐方法与系统
CN113592609B (zh) * 2021-08-17 2024-06-04 中山大学 一种利用时间因素的个性化服饰搭配推荐方法与系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542455A (zh) * 2010-12-15 2012-07-04 张家港凯纳信息技术有限公司 一种利用物联网信息技术远程选购订制个性化服装的方法
CN103310437A (zh) * 2013-03-22 2013-09-18 上海工程技术大学 一种基于序列图像的织物形态特征提取方法
CN103454276A (zh) * 2013-06-30 2013-12-18 上海工程技术大学 一种基于动态序列图像的织物形态风格评价方法
CN103886026A (zh) * 2014-02-25 2014-06-25 刘强 基于个体特征的服装匹配方法
CN105956910A (zh) * 2016-05-19 2016-09-21 邀月科技（北京）有限责任公司 服装定制化方法、图像拍摄设备及控制系统
CN106709746A (zh) * 2015-11-17 2017-05-24 北京三件客科技有限公司 3d扫描、模型测量一体化的互联网服装定制系统
CN108009577A (zh) * 2017-11-29 2018-05-08 南京工业大学 一种虚拟试衣镜的实现方法
CN110110181A (zh) * 2019-05-09 2019-08-09 湖南大学 一种基于用户风格和场景偏好的服装搭配推荐方法
CN110246011A (zh) * 2019-06-13 2019-09-17 中国科学技术大学 可解释时尚服装个性化推荐方法
CN111723287A (zh) * 2020-06-03 2020-09-29 开普云信息科技股份有限公司 一种基于大规模机器学习的内容和服务推荐方法及其系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542455A (zh) * 2010-12-15 2012-07-04 张家港凯纳信息技术有限公司 一种利用物联网信息技术远程选购订制个性化服装的方法
CN103310437A (zh) * 2013-03-22 2013-09-18 上海工程技术大学 一种基于序列图像的织物形态特征提取方法
CN103454276A (zh) * 2013-06-30 2013-12-18 上海工程技术大学 一种基于动态序列图像的织物形态风格评价方法
CN103886026A (zh) * 2014-02-25 2014-06-25 刘强 基于个体特征的服装匹配方法
CN106709746A (zh) * 2015-11-17 2017-05-24 北京三件客科技有限公司 3d扫描、模型测量一体化的互联网服装定制系统
CN105956910A (zh) * 2016-05-19 2016-09-21 邀月科技（北京）有限责任公司 服装定制化方法、图像拍摄设备及控制系统
CN108009577A (zh) * 2017-11-29 2018-05-08 南京工业大学 一种虚拟试衣镜的实现方法
CN110110181A (zh) * 2019-05-09 2019-08-09 湖南大学 一种基于用户风格和场景偏好的服装搭配推荐方法
CN110246011A (zh) * 2019-06-13 2019-09-17 中国科学技术大学 可解释时尚服装个性化推荐方法
CN111723287A (zh) * 2020-06-03 2020-09-29 开普云信息科技股份有限公司 一种基于大规模机器学习的内容和服务推荐方法及其系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨天祺;黄双喜;: "改进卷积神经网络在分类与推荐中的实例应用", 计算机应用研究, no. 04, pages 1 - 5 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592609A (zh) * 2021-08-17 2021-11-02 中山大学 一种利用时间因素的个性化服饰搭配推荐方法与系统
CN113592609B (zh) * 2021-08-17 2024-06-04 中山大学 一种利用时间因素的个性化服饰搭配推荐方法与系统

Also Published As

Publication number Publication date
CN112270354B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
Yang et al. Image-text multimodal emotion classification via multi-view attentional network
Liu et al. Toward AI fashion design: An Attribute-GAN model for clothing match
Tautkute et al. Deepstyle: Multimodal search engine for fashion and interior design
Zhang et al. Novel framework for image attribute annotation with gene selection XGBoost algorithm and relative attribute model
KR102276216B1 (ko) 표정 기반 컨텐츠 추천 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
Yang et al. Solver: Scene-object interrelated visual emotion reasoning network
Fu et al. FERLrTc: 2D+ 3D facial expression recognition via low-rank tensor completion
Shao et al. What do you do? occupation recognition in a photo via social context
Huang et al. Sketch-based image retrieval with deep visual semantic descriptor
Zhou et al. Fashion sensitive clothing recommendation using hierarchical collocation model
Usmani et al. Enhanced deep learning framework for fine-grained segmentation of fashion and apparel
Chun et al. A novel clothing attribute representation network-based self-attention mechanism
Zhang et al. CascadeGAN: A category-supervised cascading generative adversarial network for clothes translation from the human body to tiled images
Mir et al. Online fake review detection using supervised machine learning and BERT model
Huang et al. Analyzing group-level emotion with global alignment kernel based approach
CN114565119B (zh) 基于多模态图卷积网络的时尚兼容度预测方法
US20220100792A1 (en) Method, device, and program for retrieving image data by using deep learning algorithm
Zhang et al. Research progress of content-based fabric image retrieval
CN112270354A (zh) 一种基于人体身形特征的服装推荐方法
CN115187910A (zh) 视频分类模型训练方法、装置、电子设备及存储介质
Vaca-Castano et al. Holistic object detection and image understanding
Chelliah et al. Principle-to-program: Neural Fashion Recommendation with Multi-modal Input
Liang et al. Visual concept conjunction learning with recurrent neural networks
Seo et al. Business application of convolutional neural networks for apparel classification using runway image
Xu et al. A shopping guide text generation system based on deep neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant