CN112465593A - 通过图神经网络实现时尚套装推荐的方法 - Google Patents

Abstract

本发明公开了一种通过图神经网络实现时尚套装推荐的方法，包括：构建包含用户节点、套装节点、单品节点的网络结构，初始化各个节点的向量表示，并利用连边构建不同节点之间的关系；利用单品的分类，实现单品中之间的信息传递，使得每个单品都包含与其他单品之间的搭配信息，进而实现单品节点向量表示的更新；利用更新后的若干单品节点向量表示来更新套装节点向量表示；利用更新后的套装节点向量表示来更新用户节点向量表示，并利用更新后的用户节点向量表示与套装节点向量表示，计算用户对各套装的喜好分数；根据喜好分数大小对套装进行排序，从而推荐给相应用户。该方法能够有效地对用户、套装和单品之间复杂的交互信息进行建模，提升推荐性能。

Description

通过图神经网络实现时尚套装推荐的方法

技术领域

本发明涉及推荐系统和图数据挖掘领域，尤其涉及一种通过图神经网络实现时尚套装推荐的方法。

背景技术

随着电子商务平台(亚马逊、淘宝等)和时尚社交网络(Instagram、Polyvore网站等)的发展，时尚推荐得到了越来越广泛的应用。但目前的推荐算法只能为用户提供时尚单品的推荐服务。随着用户需求的日益提升，面向时尚套装的个性化推荐算法成为越来越多人关注的热点和亟待解决的问题，然而这类算法相关的研究目前还很少。

给用户推荐套装的关键在于需要满足两点要求：1)套装的单品之间要有很好的搭配效果；2)推荐的套装要满足用户的喜好。目前大多数工作都只关注其中一点，很少有工作同时考虑实现这两个要求。这些算法虽然在套装搭配或单品推荐的任务上取得了不错的成绩，但对于套装的个性化推荐，难以达到很好的效果。

目前少有的个性化套装的推荐算法FPITF(Hu et al，MM2015)和FHN(Lu et al，CVPR2019)也只是简单地将预测模型分解为一系列成对的分数：用户对每个单品的喜好分数和成对单品之间的搭配分数，然后再将这些分数加权求和。然而，这种简单的建模方式很难学习到用户-套装-单品之间复杂的交互信息，此外，这些算法仅仅对用户和单品进行向量表示，而忽略了套装本身的语义信息。因此，需要设计一种新的有效的推荐模型来对这种复杂交互信息进行建模。

发明内容

本发明的目的是提供一种通过图神经网络实现时尚套装推荐的方法，能够有效地对用户、套装和单品之间复杂的交互信息进行建模，提升推荐性能。

本发明的目的是通过以下技术方案实现的：

一种通过图神经网络实现时尚套装推荐的方法，包括：

构建包含用户节点、套装节点、单品节点的三层图神经网络结构，初始化各个节点的向量表示，并利用连边构建不同节点之间的关系；

利用单品的分类，实现单品中之间的信息传递，使得每个单品都包含与其他单品之间的搭配信息，进而实现单品节点向量表示的更新；

根据连边确定套装节点与若干单品节点的关系，从而利用更新后的若干单品节点向量表示来更新套装节点向量表示；

根据连边确定用户节点历史交互过的若干套装节点，从而利用更新后的套装节点向量表示来更新用户节点向量表示，并利用更新后的用户节点向量表示与套装节点向量表示，计算用户对各套装的喜好分数；

根据喜好分数大小对套装进行排序，从而推荐给相应用户。

由上述本发明提供的技术方案可以看出，1)借助图网络结构，信息可以灵活地在用户-套装-单品三层之间进行传递和更新，能够有效地对三者之间复杂的交互信息进行建模。2)推荐模型的测试结果在套装个性化推荐和服装搭配效果预测这两个任务上都得到了有效的提升。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种通过图神经网络实现时尚套装推荐的方法的网络框架图；

图2为本发明实施例提供的单品之间的信息传递示意图；

图3为本发明实施例提供的从单品层到套装层的信息传递示意图；

图4为本发明实施例提供的从套装层到用户层的信息传递示意图；

图5为本发明实施例提供的消融实验性能对比示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

在时尚套装个性化推荐的任务上，关键是要有效地学习用户、套装和单品这三者的向量表示以及它们之间的交互关系。因此，本发明实施例提供一种通过图神经网络实现时尚套装推荐的方法，可以将用户、套装、单品表示在不同层级的节点上，然后通过节点之间的信息传递和更新，来学习不同节点的向量表示和它们之间的交互；如图1所示，展出了该方法所涉及的网络框架，该方法主要包括：

1、构建包含用户节点、套装节点、单品节点的三层图神经网络结构，初始化各个节点的向量表示，并利用连边构建不同节点之间的关系。

本发明实施例中，将用户、套装和单品映射为图神经网络对应层的节点，并对表示它们的向量进行初始化。单品的向量表示用图片提取的视觉特征进行初始化，用户和套装的向量表示跟其他的推荐算法一样用它们的ID信息来进行初始化。

本发明实施例中，所涉及的用户、套装和单品可以从网络平台中获取，或者使用公开数据集中的数据。

2、利用单品的分类，实现单品中之间的信息传递，使得每个单品都包含与其他单品之间的搭配信息，进而实现单品节点向量表示的更新。

由于单品的搭配信息和单品的类别是很相关的，因此，首先根据单品的分类构建类别图，如附图2所示。类别图中每个节点代表一个单品类别，类别c和c′之间连边的权重按如下公式来计算：

其中，g(c′)表示数据集中类别c′出现的次数，g(c，c′)表示数据集中类别c和c′在相同套装中共同出现的次数，

表示类别集合；式子中g(c″)、g(c，c″)表示类似的含义，不再赘述。

建立类别图之后，我们就得到了类别之间的搭配权重。对于任意一套套装，就可以根据套装中每一件单品的类别将这些单品映射到类别图中的一个子集，如附图2中圈住的子集所示。根据单品的类别标签映射到类别图中的对应节点，每个单品节点i的初始向量表示为：

i＝f_c(x_i)

其中，x_i为每个单品的视觉特征，f_c(·)为类别c对应的编码器，将单品的视觉特征映射到对应的类别空间中。

设计在每个单品之间进行信息传递，使每个单品的向量表示可以包含其与其他单品之间的搭配信息，单品节点i和i′中之间传递的信息表示为：

m_i′→i＝w(c_i，c_i′)σ(W₁(i⊙i′))

其中，c_i和c_i′分别是单品i和i′对应的类别；w(c_i，c_i′)为类别图中c_i和c_i′边的权重；σ为LeakyReLU激活函数；W₁是要学习的参数；⊙为元素智能乘积；i和i′分别为单品节点i和i′的初始向量表示。

之后，更新每个单品节点的特征向量：

其中，i、i^*为更新前、后的单品节点的向量表示；

为单品节点i在单品层的邻居集合，即与单品节点i在同一个套装中的其他单品节点集合。

3、根据连边确定套装节点与若干单品节点的关系，从而利用更新后的若干单品节点向量表示来更新套装节点向量表示。

每一套装包含若干单品，在图神经网络结构中套装节点通过连边与相应单品节点连接。更新得到单品的向量表示以后，需要用更新后的单品向量表示来更新套装层节点的向量表示。每一个套装节点应该包含其所含的服装单品节点的信息，如附图3所示。

首先，进行单品层节点到套装层节点的信息传递：

其中，i^*为更新后的单品节点的向量表示；

为单品层与套装节点o相连的邻居集合，即属于套装o的所有单品；σ为LeakyReLu激活函数；W₂为要学习的参数。

之后，更新套装节点的向量表示：

其中，o、o^*为更新前、后的套装节点的向量表示。

4、根据连边确定用户节点历史交互过的若干套装节点，从而利用更新后的套装节点向量表示来更新用户节点向量表示，并利用更新后的用户节点向量表示与套装节点向量表示，计算用户对各套装的喜好分数。

通过前述方式，得到了更新后的每个套装节点的向量表示，并以此再来更新用户的向量表示。由于用户的喜好信息体现在用户曾经的交互过的套装上，因此，对用户的喜好信息进行建模时，首先进行套装层节点到用户层节点的信息传递，如附图4所示。

套装层节点到用户层节点之间的信息传递如下：

其中，o^*为更新后的套装节点的向量表示；

为套装层与用户节点u相连的邻居集合，即用户节点u交互过的所有套装。

之后，更新用户节点的向量表示：

其中，u、u^*为更新前、后的用户节点u的向量表示。

至此，得到了所有节点更新后的向量表示。用更新后的节点表示，可以求得用户对于套装的喜好分数以及套装的搭配分数。具体来说，可以利用更新后的用户节点向量表示与套装节点向量表示，计算用户对各套装的喜好分数的公式为：

其中，u^*、o^*分别为更新后的用户节点向量表示、更新后的套装节点向量表示。

5、根据喜好分数大小对套装进行排序，从而推荐给相应用户。

基于上述步骤，对于每一用户，都可以计算出相对于各套装的喜好分数，按照分数大小可以进行降序排列，并推荐给用户。

本发明实施例上述方案(HFGN)有如下优点：1)借助图神经网络结构，信息可以灵活地在用户-套装-单品三层之间进行传递和更新，能够有效地对三者之间复杂的交互信息进行建模。2)我们的模型的测试结果在套装个性化推荐和服装搭配效果预测这两个任务上都得到了有效的提升。

下面在POG数据集上进行实验来证明本发明上述方案的有效性：

1)套装个性化推荐

表1是本发明上述方案(HFGN)和其他模型在个性化服装推荐任务上的性能对比。因为现有的个性化套装推荐的工作较少，除了FPITF(Hu et al，MM2015)、FHN(Luet al，CVPR2019)这两个个性化套装推荐算法，实验中还对比了一些经典的个性化推荐算法，例如MF(Rendle et al，UAI2009)和VBPR(He et al，AAAI2016)，以及基于图神经网络的推荐算法NGCF(Wanget al，SIGIR2019)。表中的4个指标分别为：

HR@K：表示是否有正样本成功推荐给用户(即分数排在前K)，如果有则为1，否则为0；

NDCG@K：归一化折损累计增益，用来衡量推荐结果的相关性；

Precision@K：表示推荐给用户的样本中正样本的比例；

Recall@K：表示正样本成功推荐给用户的比例。

表1报告的是所有指标在测试集中的均值，其中K＝10。

	HR@10	NDCG@10	Recall@10	Precision@10
					FPITF	0.1006	0.0420	0.0183	0.0112
FHN	0.1109	0.0490	0.0208	0.0119
					MF	0.2121	0.0872	0.0434	0.0239
VBPR	0.2201	0.0949	0.0449	0.0248
					NGCF	0.2619	0.1143	0.0554	0.0310
HFGN	0.2833	0.1241	0.0605	0.0339
					％Improv.	8.17％	8.57％	9.20％	9.35％

表1各方案在个性化服装推荐任务上的性能对比

通过上述结果能看出，本发明上述方案相比其他模型，推荐结果得到了有效的提升，特别是在Precision@10的评价标准上比最好的模型提高了9.35％。

2)消融实验。

依次取消单品层之间、从单品层到套装层和从套装层到用户层的信息传递，分别记为：w/o I、w/o I&O、w/o I&O&U。从附图5，可以看出，每取消一层的信息传递，推荐模型的性能都会有所降低，这也验证了本发明上述方案设计的合理性和有效性。

3)服装搭配预测。

为了测试模型在服装搭配上的性能，随机遮盖掉测试服装中的一件单品让模型从四个候选项中选择合适的单品来补全套装。对比的方法有：Random(在候选项中随机选择答案)、SiameseNet(Veit et al,ICCV2015)、Bi-LSTM(Han et al,MM2017)、FHN(Luet al，CVPR2019)和NGNN(Cui et al,WWW2019)。

	FLTB
		Random	0.2425
SiameseNet	0.5039
		Bi-LSTM	0.6384
FHN	0.7422
		NGNN	0.8422
HFGN	0.8797

表2实验结果

从表2所示的实验结果可以看出在服装搭配效果预测的任务上，本发明与上述方案相比其他模型的准确率也有明显的提高。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (6)

1.一种通过图神经网络实现时尚套装推荐的方法，其特征在于，包括：

构建包含用户节点、套装节点、单品节点的三层图神经网络结构，初始化各个节点的向量表示，并利用连边构建不同节点之间的关系；

利用单品的分类，实现单品中之间的信息传递，使得每个单品都包含与其他单品之间的搭配信息，进而实现单品节点向量表示的更新；

根据连边确定套装节点与若干单品节点的关系，从而利用更新后的若干单品节点向量表示来更新套装节点向量表示；

根据连边确定用户节点历史交互过的若干套装节点，从而利用更新后的套装节点向量表示来更新用户节点向量表示，并利用更新后的用户节点向量表示与套装节点向量表示，计算用户对各套装的喜好分数；

根据喜好分数大小对套装进行排序，从而推荐给相应用户。

2.根据权利要求1所述的一种通过图神经网络实现时尚套装推荐的方法，其特征在于，所述初始化各个节点的向量表示包括：

对于单品节点，利用从相应图片中提取的视觉特征进行初始化；

对于用户节点与套装节点，利用对应的ID信息进行初始化。

3.根据权利要求1所述的一种通过图神经网络实现时尚套装推荐的方法，其特征在于，所述利用单品的分类，实现单品中之间的信息传递，使得每个单品都包含与其他单品之间的搭配信息，进而实现单品节点向量表示的更新包括：

根据单品的分类构建类别图，类别图中每个节点代表一个类别，类别c和c′之间连边的权重按如下公式来计算：

其中，g(c′)表示数据集中类别c′出现的次数，g(c，c′)表示数据集中类别c和c′在相同套装中共同出现的次数，

表示类别集合；

根据单品的类别标签映射到类别图中的对应节点，每个节点i的向量表示为：

i＝f_c(x_i)

其中，x_i为每个单品的视觉特征，f_c(·)为类别c对应的编码器，将单品的视觉特征映射到对应的类别空间中；

单品节点中之间的信息传递表示为：

m_i′→i＝w(c_i，c_i′)σ(W₁(i⊙i′))

其中，c_i和c_i′分别是单品i和i′对应的类别；w(c_i，c_i′)为类别图中c_i和c_i′边的权重；σ为LeakyReLU激活函数；W₁是要学习的参数；⊙为元素智能乘积；i和i′分别为单品节点i和i′的初始向量表示；

之后，更新每个单品节点的特征向量：

其中，i、i^*为更新前、后的单品节点的向量表示，

为单品节点i在单品层的邻居集合，即与单品节点i在同一个套装中的其他单品节点集合。

4.根据权利要求1所述的一种通过图神经网络实现时尚套装推荐的方法，其特征在于，每一套装包含若干单品，在图神经网络结构中套装节点通过连边与相应单品节点连接；

首先，进行单品层节点到套装层节点的信息传递：

其中，i^*为更新后的单品节点的向量表示；

为单品层与套装节点o相连的邻居集合，即属于套装o的所有单品；σ为LeakyReLu激活函数；W₂为要学习的参数；

之后，更新套装节点的向量表示：

其中，o、o^*为更新前、后的套装节点的向量表示。

5.根据权利要求1所述的一种通过图神经网络实现时尚套装推荐的方法，其特征在于，用户的喜好信息体现在用户曾经的交互过的套装上，对用户的喜好信息进行建模时，首先进行套装层节点到用户层节点的信息传递：

其中，o^*为更新后的套装节点的向量表示；

为套装层与用户节点u相连的邻居集合，即用户节点u交互过的所有套装；

之后，更新用户节点的向量表示：

其中，u、u^*为更新前、后的用户节点u的向量表示。

6.根据权利要求1所述的一种通过图神经网络实现时尚套装推荐的方法，其特征在于，利用更新后的用户节点向量表示与套装节点向量表示，计算用户对各套装的喜好分数的公式为：

其中，u^*、o^*分别为更新后的用户节点向量表示、更新后的套装节点向量表示。

Images