CN108596646B - 一种融合人脸属性分析的服装搭配推荐方法 - Google Patents
一种融合人脸属性分析的服装搭配推荐方法 Download PDFInfo
- Publication number
- CN108596646B CN108596646B CN201810213171.0A CN201810213171A CN108596646B CN 108596646 B CN108596646 B CN 108596646B CN 201810213171 A CN201810213171 A CN 201810213171A CN 108596646 B CN108596646 B CN 108596646B
- Authority
- CN
- China
- Prior art keywords
- user
- matching
- representing
- clothes
- commodity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 239000013598 vector Substances 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 13
- RXKJFZQQPQGTFL-UHFFFAOYSA-N dihydroxyacetone Chemical compound OCC(=O)CO RXKJFZQQPQGTFL-UHFFFAOYSA-N 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract description 10
- 238000000354 decomposition reaction Methods 0.000 abstract description 3
- 230000006399 behavior Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 230000037308 hair color Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007477 logistic regression Methods 0.000 description 3
- 235000019640 taste Nutrition 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 208000008589 Obesity Diseases 0.000 description 1
- 101100313471 Streptomyces sp getA gene Proteins 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 235000020824 obesity Nutrition 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
- G06Q30/0255—Targeted advertisements based on user history
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
- G06Q30/0269—Targeted advertisements based on user profile or attribute
- G06Q30/0271—Personalized advertisement
Landscapes
- Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Engineering & Computer Science (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种融合人脸属性分析的服装搭配推荐方法,综合分析用户的购物记录、浏览记录、他们在社交网络上分享的图片,以及用户的人脸属性特征,向用户推荐一整套的服装搭配。利用学习到的参数化模型来推测不同服装单品之间的搭配程度,服装与人脸属性的匹配程度,并为用户推荐适合度比较高的服装搭配。其中,用户与商品,人脸属性特征与商品,商品与商品之间的交互作用采用了张量分解的方法,为了解决时尚商品的多模态特征,采用了梯度递减的方法来学习非线性函数来将特征向量从特征空间映射到潜在空间。
Description
技术领域
本发明属于一种针对网上购物的服装搭配推荐方法。
背景技术
随着网上购物的兴起,网上购物已经成为一种流行的购物趋势,尤其是网上购买服装受到越来越多的用户的青睐,有效的时尚推荐已经成为一个越来越重要的课题。在社交网络上,人们分享他们的生活,展示自己的个人风格,这些分享展示着用户的时尚品味和个人爱好。并且随着社交网络的快速发展,出现了很多关注时尚的大型网络社区,例如Instagram、polyvore等等。人们几乎会在网络上分享他们日常生活的一切,包括喜欢的音乐、电影、服装等等。因此,很多购物网站试图利用这些信息来优化服装推荐这方面的功能,根据用户的购物记录、浏览记录以及他们在社交网络上分享的图片等来推测用户对于不同服装的偏好程度,从而给用户推荐符合用户喜好的服装搭配。
随着购物网站的发展,网上的服装也各色各样,如何帮助用户快速挑选到自己喜欢的款式是一个急需解决的问题。有效的服装推荐不仅能够节省用户的时间,改善他们的购物体验,而且能够促进他们的网上购物兴趣和参与性,对于购物网站来说能够更好的了解顾客的需求,从而能够推出更多、更好、更人性化的服务。随着不断增强的网上购物趋势,越来越多的公司扩展他们的网络业务,由此激发对是能时尚分析技术的需求。然而,目前大部分推荐系统或研究工作都是针对用户的购买记录和浏览记录等信息,推荐用户喜爱的某一类时尚单品。但是很多情况下,用户可能更需要由多个时尚单品组成的一整套服装搭配,这样的推荐系统会更加的人性化、个性化。此外,通过人脸特征分析,我们可以得到用户的人脸属性,不同年龄、性别、肤色的用户所适合的服装款式也不尽相同。
此外,随着机器学习领域研究的深入,人脸检测和特征提取、分析的技术越来越成熟。我们可以根据用户的人脸特征,得到用户的一些属性特征,例如年龄、性别、肤色、发色等,不同的属性特征可能适合不同的服装,并且我们可以根据不同的特征来间接推测用户的一些喜好,例如年龄比较小的用户可能比较偏爱颜色鲜艳的服装等等。基于这些观察,我们发现用户的人脸属性与服装商品之间有一定的搭配关系,这些特征可以用在服装搭配推荐系统当中。
发明内容
发明目的:针对上述现有技术,提出一种融合人脸属性分析的服装搭配推荐方法,用于智能的向用户推荐一整套的服装搭配。
技术方案:一种融合人脸属性分析的服装搭配推荐方法,包括如下步骤:
步骤一:学习一个参数化模型,用于计算不同商品之间的搭配程度;
步骤二:根据用户的购买记录和浏览记录,得到用户对于不同商品搭配的喜好程度;
步骤三:根据用户的人脸图片提取出人脸特征,根据提取的人脸特征得到用户的属性特征,再根据学习到的参数化模型计算不同属性特征与不同商品之间的合适度;
步骤四:根据步骤一到步骤三的分析,综合推荐与用户搭配度最高的整套服装搭配。
进一步的,将一整套服装搭配配置为一个列表,所述列表中包括一组不同类别的单品,服装推荐系统中可同时配置成若干个列表;
服装推荐系统中,第n类商品的集合表示成:
将一整套服装搭配表示成:
t={t1,...,tN}表示一整套服装搭配Ot中的每个单品的索引;
将用户u与一整套服装搭配Ot之间的评分表示成:
有益效果:本发明将人脸属性提取技术加入到服装推荐系统中,提出融合了人脸属性分析的服装搭配推荐方法。根据人脸特征分析用户的年龄、发色、肤色等特征,并将这些特征与不同商品之间进行分析得到他们之间的匹配度,以此能够帮助用户挑选到不仅符合他们的偏好并且适合他们的服装搭配。传统的服装推荐系统大部分都只是推荐某一类服装给用户,没有考虑到不同时尚单品之间的搭配程度,并且也没有让用户从繁多的商品中解放出来。我们所提出的服装推荐方法融合人脸属性分析,给用户推荐一整套服装搭配,这样能够更好的改善用户的购物体验。
具体实施方式
下面结合对本发明做更进一步的解释。
一种融合人脸属性分析的服装搭配推荐方法,包括如下步骤:
步骤一:学习一个参数化模型,用于计算不同商品之间的搭配程度;
步骤二:根据用户的购买记录和浏览记录,得到用户对于不同商品搭配的喜好程度;
步骤三:根据用户的人脸图片提取出人脸特征,根据提取的人脸特征得到用户的属性特征,再根据学习到的参数化模型计算不同属性特征与不同商品之间的合适度;
步骤四:根据步骤一到步骤三的分析,综合推荐与用户搭配度最高的整套服装搭配。
本实施例中,将一整套服装搭配配置为一个列表,列表中包括一组不同类别的单品,服装推荐系统中可同时配置成若干个列表。
服装推荐系统中,第n类商品的集合表示成:
将一整套服装搭配表示成:
t={t1,...,tN}表示一整套服装搭配Ot中的每个单品的索引;
张量分解已经被深入的研究,在很多研究中都考虑到了成分之间更高阶数的相互作用。在我们的问题中,我们观察到的张量是很稀少的。在所有可能的一整套服装中,每个用户只能对很少一部分进行评分。在有限数量的观察中,得到有效的更高阶的交互作用是很困难的,因此我们只能通过将它分解成一些在潜在空间中一组成对的交互作用来建立的模型。简单的因式分解模型的使用有效地避免了过度拟合,同样,它也能够得到更加有效的学习算法。
将用户u与一整套服装搭配Ot之间的评分表示成:
购物网站日渐盛行,为了能够改善用户的购物体验,节省时间,增加购物兴趣,本发明提出融合人脸属性分析的服装搭配推荐方法。主要包括四个部分:(1)建立模型学习不同商品之间的搭配度;(2)学习用户的行为得到他们的喜爱偏好;(3)通过人脸特征分析得到用户的人脸属性;(4)根据前三部分信息给用户推荐最适合他们的一整套服装。
在推荐系统中,因式分解技术获得了很大的成功,很多模型被提出来分解用户-商品评分矩阵,为了加强这些模型的性能,很多工作研究了矩阵因式分解中附属信息的使用,并且使用线性函数将特征向量从特征空间映射到低维的潜在空间。有的工作提出在矩阵的分解中用梯度推进的方式来自动构造特征函数。本发明将这种梯度推进的方式延伸到张量分解,并且使用排列算法而不是回归算法。
由于不同的用户对于不同的服装搭配的喜好程度可能有很大的差别,所以我们在训练集中加入偏好对,偏好对作为训练数据的使用已经成为学习排列函数常用的方法。
Z表示在训练集中用户与整套服装对(u,Ot)的总数。
所以,把学习问题转化为下列目标函数的学习:
Q表示正则化项:
(1)建立模型学习不同商品之间的搭配程度
与音乐电影不同的是,时尚商品的数量是非常巨大的,一个商品可能有很少甚至没有用户选择,因此仅仅使用用户与商品之间的关系来描述商品之间的特性是不适用的。我们可以使用商品的辅助信息来捕捉商品之间的关系。在网上,商品的信息非常多,我们可以从商品的图片、卖家的描述信息中获取商品的信息,例如价格、流行程度等。
首先我们需要获取商品的信息,主要来自两个方面,一方面是商品的视觉特征,一方面是商品的文字信息。商品的视觉特征可以从商品的图片中获取,商品的文字信息可以从卖家的商品描述信息中获得。对于视觉特征,首先利用显著区域检测的方法,定位商品在图片中的位置,然后对商品的进行特征提取,包括RGB直方图,HOG特征等等。由于提取的特征维度较高,通常有几千上万维,我们需要利用主成分分析(PCA)的方法进行降维。对于商品的描述信息,我们使用的文字信息包括种类、名字以及在网站上描述,每个文字出现的次数组成特征向量。
通常,对于每一个函数我们可以选择一个参数化的模型,例如可以是一个关于c(n)的线性函数,但是,c(n)中的特征可能来自多模态的,并且网上关于某个商品的其他信息也是非常丰富的,因此线性模型不能有效的处理这些异构的信息。因此我们选择用梯度下降法。
(2)学习用户的行为得到他们的喜爱偏好
为了产生更好的推荐,我们需要学习用户过去的行为。一个人搭配或者选择的服装能够反应一个人的品味,这些品味和喜好可以从用户的社交网络上得到。但是,对于某个用户,我们能够得到的整套服装的数量是非常有限的。然而,我们发现具有相同品味的用户分享的服装搭配的数量是很多的,因此我们不仅要学习用户的行为,还要学习其他人的行为。
我们修改了逻辑回归(LR)中牛顿法的置信域来解决这个优化问题。
(3)通过人脸特征分析得到用户的人脸属性
某个用户可能比较偏向于某些风格,但是人的外形特征是会随时变化的,比如发型、妆容、是否带眼镜、发色、胖瘦、年龄等等,这些属性特征可以通过人脸特征分析得到。根据得到的用户属性特征,我们可以推测不同的用户特征与服装之间的搭配程度,这一步与步骤(2)中推测用户的喜爱偏好与服装之间的适合度相似。
首先,我们预先定义一组可描述的视觉特征,例如性别、人种、发色、年龄、是否戴眼镜、胖瘦等等。然后,根据用户的人脸图片,可以使用人脸检测器在图片中检测人脸,该检测器还会返回人脸的姿态角度以及基准点的位置:两只眼睛的眼角以及嘴角。通过这些基准点可以对人脸进行矫正。基于之前的人脸区域检测,我们需要将图片的背景掩盖,避免给分类器造成干扰因素。对于检测到的人脸中的每一个区域,我们可以提取特征,例如LBP,HSV,LPQ等,对人脸进行描述。
然后,针对每一个预定的属性,我们可以训练一个分类器对属性进行预测。分类器可以选择具有RBF内核的SVM模型。
(4)根据前三部分信息给用户推荐最适合他们的一整套服装:
综合前三部分的内容,可以得到用户u与一整套服装Ot之间的评分:
公式中的三个部分,分别表示用户对于时尚单品的喜爱程度,用户人脸属性与每个单品的匹配程度,以及单品之间的匹配程度。综合分析这三个部分,我们可以得到一个用户u对于一整套服装总的评分r,然后我们将得分r最高的一整套服装推荐给用户u。
在本专利中我们提出了针对服装的个性化推荐的问题,并融合了人脸分析技术,自动给用户推荐他们喜欢的服装。用户与商品,人脸属性特征与商品,商品与商品之间的交互作用我们用到了张量分解的方法,为了解决时尚商品的多模态特征,我们使用了梯度递减的方法来学习非线性函数来将特征向量从特征空间映射到潜在空间。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (1)
1.一种融合人脸属性分析的服装搭配推荐方法,其特征在于,包括如下步骤:
步骤一:学习一个参数化模型,用于计算不同商品之间的搭配程度;
步骤二:根据用户的购买记录和浏览记录,得到用户对于不同商品搭配的喜好程度;
步骤三:根据用户的人脸图片提取出人脸特征,根据提取的人脸特征得到用户的属性特征,再根据学习到的参数化模型计算不同属性特征与不同商品之间的合适度;
步骤四:根据步骤一到步骤三的分析,综合推荐与用户搭配度最高的整套服装搭配;
将一整套服装搭配配置为一个列表,所述列表中包括一组不同类别的单品,服装推荐系统中可同时配置成若干个列表;
服装推荐系统中,第n类商品的集合表示成:
将一整套服装搭配表示成:
t={t1,...,tN}表示一整套服装搭配Ot中的每个单品的索引;
将用户u与一整套服装搭配Ot之间的评分表示成:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810213171.0A CN108596646B (zh) | 2018-03-15 | 2018-03-15 | 一种融合人脸属性分析的服装搭配推荐方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810213171.0A CN108596646B (zh) | 2018-03-15 | 2018-03-15 | 一种融合人脸属性分析的服装搭配推荐方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108596646A CN108596646A (zh) | 2018-09-28 |
CN108596646B true CN108596646B (zh) | 2021-07-27 |
Family
ID=63626340
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810213171.0A Active CN108596646B (zh) | 2018-03-15 | 2018-03-15 | 一种融合人脸属性分析的服装搭配推荐方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108596646B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111767817B (zh) * | 2020-06-22 | 2023-08-01 | 北京百度网讯科技有限公司 | 一种服饰搭配方法、装置、电子设备及存储介质 |
CN112017015B (zh) * | 2020-10-30 | 2022-02-01 | 腾讯科技(深圳)有限公司 | 一种商品信息推荐的方法、相关装置、设备及存储介质 |
CN115131111A (zh) * | 2022-08-31 | 2022-09-30 | 深圳前海鹏影数字软件运营有限公司 | 基于电商平台的产品推荐方法、装置、设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014169260A1 (en) * | 2013-04-12 | 2014-10-16 | Ebay Inc. | System and method for providing fashion recommendations |
CN107123033A (zh) * | 2017-05-04 | 2017-09-01 | 北京科技大学 | 一种基于深度卷积神经网络的服装搭配方法 |
CN107169797A (zh) * | 2017-05-16 | 2017-09-15 | 京东方科技集团股份有限公司 | 智能导购方法、系统、共享服务器和智能导购机器人 |
-
2018
- 2018-03-15 CN CN201810213171.0A patent/CN108596646B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014169260A1 (en) * | 2013-04-12 | 2014-10-16 | Ebay Inc. | System and method for providing fashion recommendations |
CN107123033A (zh) * | 2017-05-04 | 2017-09-01 | 北京科技大学 | 一种基于深度卷积神经网络的服装搭配方法 |
CN107169797A (zh) * | 2017-05-16 | 2017-09-15 | 京东方科技集团股份有限公司 | 智能导购方法、系统、共享服务器和智能导购机器人 |
Also Published As
Publication number | Publication date |
---|---|
CN108596646A (zh) | 2018-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11775800B2 (en) | Methods and apparatus for detecting, filtering, and identifying objects in streaming video | |
US20210150249A1 (en) | Systems and Methods for Improving Visual Search Using Summarization Feature | |
US10824942B1 (en) | Visual similarity and attribute manipulation using deep neural networks | |
CN110110181B (zh) | 一种基于用户风格和场景偏好的服装搭配推荐方法 | |
Jagadeesh et al. | Large scale visual recommendations from street fashion images | |
KR102664008B1 (ko) | 시각 정보에 기초한 고객 아이템 추천 방법 및 장치 | |
US20180181569A1 (en) | Visual category representation with diverse ranking | |
US11809985B2 (en) | Algorithmic apparel recommendation | |
US20200342320A1 (en) | Non-binary gender filter | |
CN106055710A (zh) | 基于视频的商品推荐方法及装置 | |
Zhou et al. | Fashion recommendations through cross-media information retrieval | |
US9727620B2 (en) | System and method for item and item set matching | |
KR20120085707A (ko) | 사용자 장르 및 스타일을 학습하고 사용자 선호도에 따라 상품을 매칭하는 방법 및 시스템 | |
KR20210098884A (ko) | 사용자의 체형 및 구매 이력을 이용하여 패션 아이템 추천 서비스를 제공하는 방법 | |
CN102855268A (zh) | 基于属性关系进行图像排序的方法和系统 | |
US10776417B1 (en) | Parts-based visual similarity search | |
JP2022501726A (ja) | スタイル推薦方法、装置及びコンピュータプログラム | |
CN108596646B (zh) | 一种融合人脸属性分析的服装搭配推荐方法 | |
US11238515B1 (en) | Systems and method for visual search with attribute manipulation | |
JP6527275B1 (ja) | イメージ内の複数の客体の調和に基づく調和検索方法、コンピュータ装置およびコンピュータプログラム | |
Huang et al. | Towards next-generation business intelligence: an integrated framework based on DME and KID fusion engine | |
CN110781399A (zh) | 一种跨平台的信息推送方法和装置 | |
US20220100792A1 (en) | Method, device, and program for retrieving image data by using deep learning algorithm | |
KR102378072B1 (ko) | 코디네이션 패션 아이템을 추천하는 방법 | |
Garude et al. | Skin-tone and occasion oriented outfit recommendation system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |