CN112256966B - 基于半监督因子分解机的物品推荐方法 - Google Patents

Abstract

本发明提供了一种基于半监督因子分解机的物品推荐方法。该方法包括：构建“用户‑物品‑行为”三元组集合，抽取用户边特征集合和物品边特征集合，进而得到标记样本集合；通过有放回采样，得到两组“训练集‑验证集”划分；对两个训练集独立运用因子分解机，得到两个推荐模型；每个推荐模型标记一些未标记样本，交给对侧推荐模型；利用验证集对伪标记样本进行置信度评估，并依据评估结果更新模型参数和扩充训练集；重复该过程，直至收敛；线性融合两个更新后的推荐模型，用于线上物品推荐。本发明联合使用边信息与未标记数据，既提升了标记数据样本的信息量，也扩充了训练样本数量，从而有效缓解了数据稀疏性问题，达到提升推荐系统性能的目的。

Description

基于半监督因子分解机的物品推荐方法

技术领域

本发明涉及计算机应用技术领域，尤其涉及一种基于半监督因子分解机的物品推荐方法。

背景技术

大数据时代，多元化网络平台与各类移动应用泛在互连，网络信息服务日益表现出“以用户为中心”的特点。如何有效挖掘用户的网络足迹，并为用户提供精准的个性化服务已成为当下学术界和工业界共同关注的热点话题。在此背景下，推荐系统应运而生，在对抗信息过载并提供个性化信息服务方面扮演着重要角色，被广泛应用于在线购物、新闻推荐、餐馆预订、影视推荐等诸多互联网平台。

推荐系统的核心任务是建立从输入空间到输出空间/>的映射函数/> (即推荐模型)。传统推荐系统主要依赖于协同过滤技术，该技术仅使用“用户-物品”交互数据，其所能够提供信息量较小，进而导致输入空间的特征表示不佳。为此，现有主流方法致力于使用各种用户和物品边信息辅助推荐方法设计，以增强输入空间的特征表示能力。常见边信息可以为用户社交网络、物品图片、用户对物品的文本评论等信息。

因子分解机(factorization machines，FM)是目前诸多商业推荐系统的核心技术之一，该技术可方便融合各种边信息建立推荐模型；同时，FM还可与各种深度神经网络(DNN)相结合，以便进一步丰富输入空间的特征表示。例如先使用卷积神经网络(CNN)抽取物品侧图片特征、或同时抽取用户侧和物品侧文本特征，而后再将抽取特征接入FM框架，从而进一步提升推荐系统性能。

半监督学习(semi-supervised learning，SSL)是一种同时使用少量标记样本(获取成本较高)和大量未标记样本(获取成本较低)的机器学习方法以期提升机器学习算法的预测能力。由于推荐模型的预测性能严重受限于标记样本(即“用户-物品”交互行为)的数量及其携带的信息量。现有物品推荐方法主要致力于利用各类用户和物品边信息丰富输入空间的特征表达。该做法有助于增加标记样本的信息量。虽然此类方法可在一定程度上改善推荐性能，但推荐系统所面临的数据稀疏问题并未得到妥善解决，因为标记样本的数量没有任何变化。

发明内容

本发明的实施例提供了一种基于半监督因子分解机的物品推荐方法，以克服现有技术的问题。

为了实现上述目的，本发明采取了如下技术方案。

一种基于半监督因子分解机的物品推荐方法，包括：

S1、收集用户行为数据，构建“用户-物品-行为”三元组集合；

S2、收集用户、物品边信息，根据用户、物品边信息提取用户边特征集合、物品边特征集合；

S3、将所述三元组集合、用户边特征集合、物品边特征集合进行拼接，得到标记样本集合；

S4、对所述标记样本集合实施两次有放回采样，得到两组“训练集-验证集”划分；

S5、基于所述的两个训练集运用因子分解机，独立训练两个推荐模型；

S6、使用所述的两个推荐模型对未标记样本进行预测，得到两个伪标记样本集合，并将两个伪标记样本集合输入到两个推荐模型，所述两个推荐模型交换所述伪标记样本集；

S7、使用训练集和伪标记样本集对所述两个推荐模型进行重新训练，并利用S4所述的验证集对重训练后的推荐模型进行性能评估，若性能提升则更新模型参数同时将伪标记样本加入训练集，反之，则不更新模型参数同时舍弃伪标记样本；

S8、重复S6-S7，直至达到迭代终止条件；

S9、对S6-S8所述更新后的两个推荐模型进行线性融合，得到集成推荐模型，并将集成推荐模型用于线上物品推荐。

优选地，所述的S1中的“用户-物品-行为”三元组集合表示为：

Ω＝{<u,i,r_ui>}，其中u∈{1,2,…,m}、i∈{1,2,…,n}分别表示用户ID、物品ID，r_ui表示用户u对物品i的行为。

优选地，所述的S2中的用户边特征集合表示为：ε＝{e_u|u＝1,2,…,m}，物品边特征集合表示为：

优选地，所述的S3中的标记样本集合表示为： 其中<x_t,y_t>表示一次“用户-物品”交互过程，x_t为交互过程所对应特征向量，该向量由用户u、物品i的独热编码向量，以及用户u、物品i的边特征向量e_u、f_i拼接而成；y_t＝r_ui记录了用户u对物品i的行为。

优选地，所述的S4中的两组“训练集-验证集”划分表示为： 和/>为训练集，/>和/>为验证集。

优选地，所述的运用因子分解机，所得到的推荐模型表示为：

其中x＝[x₁,x₂,…,x_f]^T表示特征向量；Θ＝{w₀,[w₁,…,w_f]^T,[v₁,..,v_f]^T}表示模型的参数，其中w₀为全局偏置，[w₁,…,w_f]为特征偏置，[v₁,..,v_f]为特征隐表示。<v_i,v_j>表示向量内积，用于不同维度特征之间的信息交互；

基于所述两组训练集运用因子分解机得到的两个推荐模型表示为：H₁、H₂。

优选地，所述的S6中的使用所述推荐模型对未标记样本进行预测，得到伪标记样本集合，并将两个伪标记样本集合输入到两个推荐模型，所述两个推荐模型交换所述伪标记样本集，包括：

使用所述两个推荐模型H₁、H₂分别对未标记样本进行预测，得到伪标记样本集合并将伪标记样本集合/>分别输入到两个推荐模型H₂、H₁。

优选地，所述的S7中的使用训练集和伪标记样本集对所述两个推荐模型进行重新训练，并利用所述的验证集对重训练后的推荐模型进行性能评估，若性能提升则更新模型参数同时将伪标记样本集加入训练集，反之则不更新模型参数同时舍弃伪标记样本集，包括：

推荐模型H₁从接收到的伪标记样本集合中取出伪标记样本加入其训练集/>重新训练推荐模型H₁；使用验证集/>评估重训练后的推荐模型H₁的性能；若性能改善，更新推荐模型H₁的参数，保留伪标记样本；反之不更新推荐模型H₁的参数，舍弃伪标记样本；

推荐模型H₂从接收到的伪标记样本集合中取出伪标记样本加入其训练集/>重新训练推荐模型H₂；使用验证集/>评估重训练后的推荐模型H₂的性能；若性能改善，更新推荐模型H₂的参数，保留伪标记样本；反之，不更新推荐模型H₂的参数，舍弃伪标记样本。

优选地，所述的S8中的迭代终止条件包括加入更多伪标记样本对模型性能影响小于设定阈值，或者迭代轮次达到上限。

优选地，所述的线性融合两个推荐模型H₁和H₂，得到所述的集成模型表示为：

由上述本发明的实施例提供的技术方案可以看出，本发明实施例的方法联合使用边信息与未标记数据构建推荐系统，不仅提高了标记样本的信息量，同时也扩充了训练样本的数量，从而有效缓解了数据稀疏性问题，大幅度提升了推荐系统性能。本发明的方法可依据应用场景结合一种或多种用户和物品边信息(如用户社交网络、物品图片、用户对物品的文本评论等信息)，广泛适用于各类推荐场景。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于半监督因子分解机的物品推荐方法的工作流程图；

图2为本发明方法与当前主流技术的实验结果对比示意图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

为了同时提高有标记数据样本的数量和信息量，本发明提出了基于半监督因子分解机的物品推荐方法；该方法根据用户和物品边信息的多样性构建两个具有一定差异的推荐模型，然后利用推荐模型之间的分歧性和互补性从无标记数据中挑选可信的伪标记样本，并据此进一步强化推荐模型；重复该过程，直至收敛，进而实现推荐模型迭代更新、推荐系统性能渐进改善。

图1为本发明实施例提供的一种基于半监督因子分解机的物品推荐方法的处理流程图，包括如下的处理步骤：

步骤S1：首先收集用户行为数据，构建“用户-物品-行为”三元组集合Ω＝{<u,i,r_ui>}，其中u∈{1,2,…,m}、i∈{1,2,…,n}分别表示用户ID、物品ID，r_ui表示用户u对物品i的行为，该行为可以为评分、点击、购买等。

步骤S2：收集用户、物品边信息，根据用户、物品边信息提取用户边特征集合ε＝{e_u|u＝1,2,…,m}、物品边特征集合其中边信息包括评论文本、物品图像、社交信息等。

步骤S3：将三元组集合Ω、用户边特征集合ε、物品边特征集合进行拼接，得到完整的标记样本集合/>其中<x_t,y_t>表示一次“用户-物品”交互过程，x_t为交互过程所对应特征向量，该向量由用户u、物品i的“独热编码”向量，以及用户u、物品i的边特征向量e_u、f_i拼接而成；y_t＝r_ui记录了用户u对物品i的行为。

步骤S4：对标记样本集合实施两次有放回采样，得到两组“训练集-验证集”划分： 和/>为训练集，/>和/>为验证集。

步骤S5：使用上述两组训练集运用因子分解机，独立训练得到两个推荐模型H₁、H₂。

因子分解机的通用定义如下：

其中x＝[x₁,x₂,…,x_f]^T表示特征向量；Θ＝{w₀,[w₁,…,w_f]^T,[v₁,…,v_f]^T}表示模型的参数，；<v_i,v_j>表示向量内积，用于不同维度特征之间的信息交互。

因子分解机是一个通用的拟合模型，针对不同的应用场景可以采用不同的损失函数。模型参数求解采用随机梯度下降算法。

步骤S6：使用上述两个推荐模型H₁、H₂分别对未标记样本进行预测，得到伪标记样本集合并将伪标记样本集合/>分别输入到两个推荐模型H₂、H₁。

步骤S7：基于训练集和接收到的伪标记样本集重新训练推荐模型H₁、H₂，并进行置信度验证，根据置信度验证结果决定是否更新模型参数、是否拓展训练集。

推荐模型H₁从接收到的伪标记样本集合中取出伪标记样本加入其训练集/>重新训练；使用验证集/>评估重训练后的推荐模型H₁的性能；若性能改善，更新推荐模型H₁的参数，保留伪标记样本；反之不更新推荐模型H₁的参数，舍弃伪标记样本。

推荐模型H₂从接收到的伪标记样本集合中取出伪标记样本加入其训练集/>重新训练；使用验证集/>评估重训练后的推荐模型H₂的性能；若性能改善，更新推荐模型H₂的参数，保留伪标记样本；反之不更新推荐模型H₂的参数，舍弃伪标记样本。

步骤S8：判断是否达到迭代终止条件，该迭代终止条件可以为加入更多伪标记样本对模型性能影响小于设定阈值，或者，迭代轮次达到上限。若未达到，则重复上述步骤S6～S7，否则，结束迭代过程，得到更新后的推荐模型H₁和H₂。

步骤S9；将更新后的两个推荐模型H₁和H₂进行线性融合，得到集成推荐模型并将其用于线上物品推荐。

本发明实施例的实验结果如图2所示。

本发明在Amazon数据集的instrument(1429个用户、900个物品、10261条评分和评论文本)、office(4905个用户、2420个物品、53228条评分和评论文本)、videogame(24303个用户、10672个物品、231577条评分和评论文本)三个子集上进行了实验，其中每条评论文本经LDA模型处理成一个低维文本向量；同时将本发明方法(SFM)与经典的因子分解机方法(FM)、基于评论文本的深度推荐方法(DeepConn)、基于评论文本的深度注意力推荐方法(NRPA)进行了对比实验分析，其中FM是其他三个方法SFM、DeepConn、NRPA的基础模型。FM、DeepConn、NRPA分别发表于数据挖掘和信息检索领域顶级会议ICDM 2010、WSDM 2017、SIGIR 2019。

为了获得更好的性能，本实施例为所述的两个推荐模型H₁、H₂构造两种不完全相同的边特征视图，以增加二者间的差异性。H₁所对应的边特征视图由用户u的所有评论文本特征向量的均值向量、用户u对物品i的评论文本特征向量两部分拼接而成；H₂所对应的边特征视图包括用户u对物品i的评论文本特征向量、物品i接收到的所有评论文本特征向量的均值向量两部分拼接而成。

图2展示了SFM、FM、DeepConn、NRPA四种推荐方法在三个数据集上的预测精度对比实验结果，评价指标为均方误差MSE(Mean Squared Error)；图2的实验结果表明本发明方法(SFM)相对于基线模型(FM)性能提升显著(提升比率9-15％)，较之当下主流的深度学习方法NRPA和DeepConn也有一定程度的性能提升(提升比率3-8％)。

综上所述，本发明实施例的方法联合使用边信息与未标记数据构建推荐系统，同时提升了有标记数据样本的信息量和数量，从而有效缓解了数据稀疏性问题，大幅度提升了推荐系统性能；另外，本发明方法为通用框架，可与当下主流方案进行嫁接使用。可依据应用场景结合一种或多种用户和物品边信息(如用户社交网络、物品图片、用户对物品的文本评论等信息)，广泛适用于各类推荐场景。

本发明的基于半监督因子分解机的物品推荐方法根据用户和物品边信息的多样性构建两个具有一定差异的推荐模型，然后利用推荐模型之间的分歧性和互补性从无标记数据中挑选可信的伪标记样本，并据此进一步强化推荐模型；重复该过程，直至收敛，进而实现推荐模型迭代更新、推荐系统性能渐进改善。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (5)

1.一种基于半监督因子分解机的物品推荐方法，其特征在于，包括：

S1、收集用户行为数据，构建“用户-物品-行为”三元组集合；

S2、收集用户、物品边信息，根据用户、物品边信息提取用户边特征集合、物品边特征集合；

S3、将所述三元组集合、用户边特征集合、物品边特征集合进行拼接，得到标记样本集合；

S4、对所述标记样本集合实施两次有放回采样，得到两组“训练集-验证集”划分；

S5、基于所述的两个训练集运用因子分解机，独立训练两个推荐模型；

S6、使用所述的两个推荐模型对未标记样本进行预测，得到两个伪标记样本集合，并将两个伪标记样本集合输入到两个推荐模型，所述两个推荐模型交换所述伪标记样本集；

S7、使用训练集和伪标记样本集对所述两个推荐模型进行重新训练，并利用S4所述的验证集对重训练后的推荐模型进行性能评估，若性能提升则更新模型参数同时将伪标记样本加入训练集，反之，则不更新模型参数同时舍弃伪标记样本；

S8、重复S6-S7，直至达到迭代终止条件；

S9、对S6-S8所述更新后的两个推荐模型进行线性融合，得到集成推荐模型，并将集成推荐模型用于线上物品推荐；

所述的S5中运用因子分解机，所得到的推荐模型表示为：

其中x＝[x₁，x₂，...，x_f]^T表示特征向量；Θ＝{w₀，[w₁，...，w_f]^T，[v₁，..，v_f]^T}表示模型的参数，其中w0为全局偏置，[w₁，...，w_f]为特征偏置，[v₁，..，v_f]为特征隐表示；<v_i，v_j>表示向量内积，用于不同维度特征之间的信息交互；

基于所述两组训练集运用因子分解机得到的两个推荐模型表示为：H₁、H₂；

所述的S6中的使用所述推荐模型对未标记样本进行预测，得到伪标记样本集合，并将两个伪标记样本集合输入到两个推荐模型，所述两个推荐模型交换所述伪标记样本集，包括：

使用所述两个推荐模型H₁、H₂分别对未标记样本进行预测，得到伪标记样本集合并将伪标记样本集合/>分别输入到两个推荐模型H₂、H₁；

所述的S7中的使用训练集和伪标记样本集对所述两个推荐模型进行重新训练，并利用所述的验证集对重训练后的推荐模型进行性能评估，若性能提升则更新模型参数同时将伪标记样本集加入训练集，反之则不更新模型参数同时舍弃伪标记样本集，包括：

推荐模型H₁从接收到的伪标记样本集合中取出伪标记样本加入其训练集/>重新训练推荐模型H₁；使用验证集/>评估重训练后的推荐模型H₁的性能；若性能改善，更新推荐模型H₁的参数，保留伪标记样本；反之不更新推荐模型H₁的参数，舍弃伪标记样本；

推荐模型H₂从接收到的伪标记样本集合中取出伪标记样本加入其训练集/>重新训练推荐模型H₂；使用验证集/>评估重训练后的推荐模型H₂的性能；若性能改善，更新推荐模型H₂的参数，保留伪标记样本；反之，不更新推荐模型H₂的参数，舍弃伪标记样本；

所述的S8中的迭代终止条件包括加入更多伪标记样本对模型性能影响小于设定阈值，或者迭代轮次达到上限；

所述的线性融合两个推荐模型H₁和H₂，得到所述的集成模型表示为：

2.根据权利要求1所述的方法，其特征在于，所述的S1中的“用户-物品-行为”三元组集合表示为：

Ω＝{<u，i，r_ui>}，其中u∈{1，2，…，m}、i∈{1，2，…，n}分别表示用户ID、物品ID，r_ui表示用户u对物品i的行为。

3.根据权利要求1所述的方法，其特征在于，所述的S2中的用户边特征集合表示为：ε＝{e_u|u＝1，2，…，m}，物品边特征集合表示为：

4.根据权利要求1所述的方法，其特征在于，所述的S3中的标记样本集合表示为：其中<x_t，y_t>表示一次“用户-物品”交互过程，x_t为交互过程所对应特征向量，该向量由用户u、物品i的独热编码向量，以及用户u、物品i的边特征向量e_u、f_i拼接而成；y_t＝r_ui记录了用户u对物品i的行为。

5.根据权利要求1中所述的方法，其特征在于，所述的S4中的两组“训练集-验证集”划分表示为： 和/>为训练集，/>和/>为验证集。