CN116562992B

CN116562992B - 一种建模用户新兴趣不确定性的物品推荐方法、装置及介质

Info

Publication number: CN116562992B
Application number: CN202310845818.2A
Authority: CN
Inventors: 冯福利; 王晨旭; 何向南
Original assignee: Data Space Research Institute
Current assignee: Data Space Research Institute
Priority date: 2023-07-11
Filing date: 2023-07-11
Publication date: 2023-09-29
Anticipated expiration: 2043-07-11
Also published as: CN116562992A

Abstract

本发明公开了一种建模用户新兴趣不确定性的物品推荐方法、装置及介质，该物品推荐方法包括以下步骤：提取用户稳定的长期兴趣、利用所述若干个兴趣聚类中心计算用户的每个历史交互信息的兴趣不确定性、利用短期兴趣提取器Uncertain‑GRU建模用户的短期兴趣向量、结合用户的长、短期兴趣向量对目标商品进行打分，得到最终推荐列表结果。本发明可以更好地推荐用户当前感兴趣的商品，使用户对推荐结果的满意度提升。

Description

一种建模用户新兴趣不确定性的物品推荐方法、装置及介质

技术领域

本发明涉及数据处理系统或方法领域，具体的说是一种建模用户新兴趣不确定性的物品推荐方法、装置及介质。

背景技术

在工业界推荐系统中，尤其是电商、短视频等场景下，用户往往产生海量交互，如何准确建模用户兴趣是各大互联网公司争相研究的热点。早期的推荐系统模型关注对特征交互的充分建模，如只建模特征一阶交互的FM模型，对特征域进行划分后在各自域内分别进行特征交互的FFM模型，以及利用神经网络提取特征高阶交互并与建模特征低阶交互的FM模型相融合的DeepFM等。然而特征因子本身提供的信息有限，且用户兴趣变化较快，为了更精细且全面的刻画用户兴趣，有部分工作着眼于对用户历史交互序列进行建模，利用用户的历史交互信息挖掘用户潜在兴趣。为了建模用户的历史交互序列并提取信息，研究者们尝试了大量网络结构。如利用卷积神经网络的CASER模型，利用门控循环神经网络的GRU4Rec模型，以及利用自注意力机制的SASRec模型等等。在推荐系统的实际应用场景中，用户兴趣往往是快速变化的，而用户产生的新兴趣往往与近期交互历史相差较大，由于当前序列推荐模型缺乏对用户是否产生新兴趣的建模，因此模型并不会对用户产生的新兴趣给予重视，甚至会忽略掉这个重要信息。

为了探索用户新兴趣，工业界往往采用手工策略对用户投放新颖内容，希望模型可以逐渐捕捉到用户兴趣发生变化，这种方式往往需要用户对新兴趣产生较多点击后才能起到作用，然而由于初始阶段，模型没有注意到用户新兴趣的产生，因此将极少推荐与用户新兴趣相符的物品，会损失大量收益。除此之外，手工策略也难以进行调优。

为了充分挖掘用户新兴趣，我们设计了一种建模用户新兴趣的物品推荐方法，通过用户历史交互兴趣不确定性的刻画，定量的描述了哪些历史交互代表了用户的新兴趣，并利用兴趣不确定性指导模型产生推荐结果，使得指导模型在推荐过程中更加关注用户新兴趣。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种建模用户新兴趣不确定性的物品推荐方法、装置及介质，可以更好地推荐用户当前感兴趣的商品，使用户对推荐结果的满意度提升。

本发明为达到上述发明目的，采用如下技术方案：

第一方面，本发明提供了一种建模用户新兴趣不确定性的物品推荐方法，该图像分类方法包括以下步骤：

S1，提取用户稳定的长期兴趣，利用若干个兴趣聚类中心表示用户不同的兴趣点，再利用胶囊网络机制获得用户的兴趣聚类中心，每个兴趣聚类中心表示用户的一种长期兴趣；

S2，利用所述若干个兴趣聚类中心计算用户的每个历史交互信息的兴趣不确定性，若兴趣不确定性高，则该历史交互信息不属于任意一个兴趣聚类中心，应重点关注该历史交互信息；

S3，利用短期兴趣提取器Uncertain-GRU，结合每个历史交互信息与所述重点关注的历史交互信息对应的兴趣不确定性，建模用户的短期兴趣向量；

S4，结合用户的长、短期兴趣向量对目标商品进行打分，最后根据打分对待推荐列表进行排序，并得到最终推荐列表结果。

更进一步地，所述历史交互信息的数据集为D，，其中n为数据集大小，每个四元组中u、v、s、y分别表示用户、商品、该用户的历史交互序列，以及对应的标签，则标签/>表示为四元组中的用户是否对对应的商品发生交互，且，历史交互序列/>表示为/>，且N为历史交互序列长度，用户/>进行向量化表示为/>，商品/>向量化表示为/>，且d表示用户商品表征维度。

更进一步地，所述步骤S1中，提取用户稳定的长期兴趣具体包括以下步骤：利用兴趣聚类中心充分表征用户的长期兴趣，从商品序列表征矩阵通过胶囊网络计算获得用户的兴趣聚类中心，商品序列表征矩阵表示为/>，胶囊网络计算过程表达如下：随机初始化变量集合/>，其中，M为胶囊网络输出胶囊个数，r为迭代轮次，/>为胶囊投影矩阵，并按以下操作循环r次：

对每个i计算；

对每个j计算；

对每个i，每个j计算；

返回兴趣聚类中心表征集合。

更进一步地，所述兴趣聚类中心通过辅助模型训练以进一步表征用户的长期兴趣，利用attention机制聚合兴趣聚类中心为长期兴趣表征，再计算辅助损失函数，聚合兴趣聚类中心计算过程表达为：

；

其中，辅助损失函数计算过程表达为：

；

其中，用户兴趣查询表征表示为/>，/>为线性神经网络模型，/>表示长期兴趣表征。

更进一步地，设置正则辅助损失函数以帮助解耦不同的所述兴趣聚类中心，并对兴趣聚类中心过于接近时进行惩罚，辅助损失函数/>表达为：。

更进一步地，所述步骤S3中，建模用户的短期兴趣向量的具体步骤包括：

（1）根据用户的兴趣聚类中心及历史交互序列计算兴趣不确定性，对于历史交互序列中的，若不能判定它属于哪个兴趣聚类，则认为该商品兴趣不确定度较高，判定过程具体计算方式如下：

；

（2）修改gru结构并通过Uncertain-GRU计算方法得到演进兴趣表征序列，当输入历史交互序列后，则可以得到演进兴趣表征序列/>，Uncertain-GRU具体计算方式为：

；

（3）利用attention机制聚合演进兴趣表征序列，得到用户的短期兴趣表征，/>具体计算方式如下：

；

其中，为线性神经网络。

更进一步地，所述步骤S4中，当获得用户的长、短期兴趣表征后，利用门控机制自适应结合长、短期兴趣表征，以获得最终的兴趣表征，/>具体计算方式为：

；

。

更进一步地，所述损失函数之和为优化的损失函数，优化的损失函数形式化表示为：/>，其中，/>分别为平衡各项损失函数的超参数，其中/>为线性神经网络。

第二方面，本发明提供了一种物品推荐装置，包括存储器以及处理器，存储器存储有计算机可执行指令，处理器被配置为运行所述计算机可执行指令，所述计算机可执行指令被所述处理器运行时实现所述的物品推荐方法。

第三方面，本发明提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时实现所述的物品推荐方法。

与现有技术相比，本发明的有益效果如下：

本发明的物品推荐方法通过建模用户的兴趣不确定性，从用户的历史交互信息中发掘与用户的长期兴趣不一致的商品，从而使得模型可以重点关注用户新产生的兴趣，受益于对用户新兴趣的发掘，可以在工业界推荐系统中获得较大性能提升。因此，相比于传统CTR预估方法，本发明的物品推荐方法可以更好地推荐用户当前感兴趣的商品，使用户对推荐结果的满意度提升。

本发明的历史交互序列模型推荐结果普遍高于非序列模型结果，说明对用户兴趣进行建模时，用户历史交互序列的重要性。同时本发明的推荐方法与其它序列模型对比时均有显著提升，说明对用户新兴趣进行建模可以有效地获得更好的推荐效果。

本发明的物品推荐方法可以应用到大型电商、短视频及新闻推荐平台中，充分发掘用户短期内产生的新兴趣，并针对该新兴趣进行推荐，一方面可以提升用户满意度，让平台获取更高收益，另一方面可以更全面的探索用户兴趣，让平台对用户真实兴趣更加了解。

附图说明

图1为本发明提供的实施例1中建模用户新兴趣不确定性的物品推荐方法的流程图；

图2为本发明提供的实施例1中物品推荐模型整体结构图；

图3为本发明的实施例1中Uncertain-GRU的模型结构图。

具体实施方式

实施例1：

参见图1～3，本实施例公开了一种建模用户新兴趣不确定性的物品推荐方法，该物品推荐方法包括以下步骤：

S1，提取用户稳定的长期兴趣，利用若干个兴趣聚类中心表示用户不同的兴趣点，再利用胶囊网络机制获得用户的兴趣聚类中心，每个兴趣聚类中心表示用户的一种长期兴趣。

提取用户稳定的长期兴趣具体包括以下步骤：利用兴趣聚类中心充分表征用户的长期兴趣，从商品序列表征矩阵通过胶囊网络计算获得用户的兴趣聚类中心，商品序列表征矩阵表示为/>，胶囊网络计算过程表达如下：随机初始化变量集合/>，其中，M为胶囊网络输出胶囊个数，r为迭代轮次，为胶囊投影矩阵，并按以下操作循环r次：

对每个i计算；

对每个j计算；

对每个i，每个j计算；

返回兴趣聚类中心表征集合。

此外，兴趣聚类中心可以通过辅助模型训练以进一步表征用户的长期兴趣，利用attention机制聚合兴趣聚类中心为长期兴趣表征，再计算辅助损失函数/>，聚合兴趣聚类中心计算过程表达为：

；

其中，辅助损失函数计算过程表达为：

；

为了帮助解耦不同的兴趣聚类中心，可以设置正则辅助损失函数，并对兴趣聚类中心过于接近时进行惩罚，辅助损失函数/>表达为：/>。

S2，利用所述若干个兴趣聚类中心计算用户的每个历史交互信息的兴趣不确定性，若兴趣不确定性高，则该历史交互信息不属于任意一个兴趣聚类中心，应重点关注该历史交互信息。

用户的历史交互信息的数据集为D，，其中n为数据集大小，每个四元组中u、v、s、y分别表示用户、商品、该用户的历史交互序列，以及对应的标签，则标签/>表示为四元组中的用户是否对对应的商品发生交互，且/>，历史交互序列/>表示为/>，且N为历史交互序列长度，用户/>进行向量化表示为/>，商品/>向量化表示为/>，且d表示用户商品表征维度。

S3，利用短期兴趣提取器Uncertain-GRU，结合每个历史交互信息与所述重点关注的历史交互信息对应的兴趣不确定性，建模用户的短期兴趣向量，建模用户的短期兴趣向量的具体步骤包括：

；

其中，为线性神经网络。

S4，结合用户的长、短期兴趣向量对目标商品进行打分，最后根据打分对待推荐列表进行排序，并得到最终推荐列表结果。具体地，当获得用户的长、短期兴趣表征后，利用门控机制自适应结合长、短期兴趣表征，以获得最终的兴趣表征，/>具体计算方式为：

；

。

其中，损失函数之和为优化的损失函数，优化的损失函数形式化表示为：，其中，/>分别为平衡各项损失函数的超参数，其中/>为线性神经网络。

为了进行验证本实施例公开的推荐方法有效性，在淘宝网公开的数据集中进行测试，该数据集包含了从11月25日至12月3日之间的用户交互历史信息，将12月1日及以前的数据作为训练集，12月2日的数据作为验证集，12月3日的数据作为测试集。该数据集共有用户36915个、物品64138个，经过10-core清洗后总交互数量为1471155个。本实施例公开的推荐方法和传统推荐系统方法进行比对，其中包括非序列推荐模型NCF、LightGCN以及序列推荐模型DIN、DIEN、CASER、SASRec以及GRU4Rec等，再以AUC、GAUC、MRR以及NDCG@2为测试指标，最终结果如表1所示。

表1 不同推荐方法在淘宝网公开的数据集的测试表现结果

从表1中记录的测试表现结果可以看出，序列模型推荐结果普遍高于非序列模型结果，由此说明了对用户兴趣进行建模时，用户历史交互序列的重要性。

实施例2：

第二方面，本发明提供了一种物品推荐装置，包括存储器以及处理器，存储器存储有计算机可执行指令，处理器被配置为运行所述计算机可执行指令，计算机可执行指令被所述处理器运行时实现实施例1公开的物品推荐方法。

实施例3：

第三方面，本发明提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时实现实施例1公开的物品推荐方法。

Claims

1.一种建模用户新兴趣不确定性的物品推荐方法，其特征是，该物品推荐方法包括以下步骤：

S4，结合用户的长、短期兴趣向量对目标商品进行打分，最后根据打分对待推荐列表进行排序，并得到最终推荐列表结果；

其中，所述历史交互信息的数据集为D，D＝{(u₁,v₁,s₁,y₁),…,(u_n,v_n,s_n,y_n)}，其中n为数据集大小，每个四元组中u、v、s、y分别表示用户、商品、该用户的历史交互序列，以及对应的标签，则标签y_i表示为四元组中的用户是否对对应的商品发生交互，且y_i∈{0,1}，历史交互序列s_i表示为且N为历史交互序列长度，用户u_i进行向量化表示为e(u_i)∈R^d，商品v_i向量化表示为e(v_i)∈R^d，且d表示用户商品表征维度；

所述步骤S1中，提取用户稳定的长期兴趣具体包括以下步骤：利用兴趣聚类中心充分表征用户的长期兴趣，从商品序列表征矩阵通过胶囊网络计算获得用户的兴趣聚类中心，商品序列表征矩阵S_p表示为胶囊网络计算过程表达如下：随机初始化变量集合{b_ij}_{1≤i≤N,1≤jM}～N(0,σ²)，其中，M为胶囊网络输出胶囊个数，r为迭代轮次，T∈R^d ^×d为胶囊投影矩阵，并按以下操作循环r次：

对每个i计算w_ij＝softmax(b_ij)；

对每个j计算

对每个i，每个j计算

返回兴趣聚类中心表征集合

所述兴趣聚类中心通过辅助模型训练以进一步表征用户的长期兴趣，利用attention机制聚合兴趣聚类中心为长期兴趣表征e(LT,p)，再计算辅助损失函数L_lt，聚合兴趣聚类中心计算过程表达为：

a₁,a₂,…,a_M＝softmax(o₁,o₂,…,o_M)；

其中，辅助损失函数L_lt计算过程表达为：

其中，用户兴趣查询表征q_p表示为q_p＝[e(u_p),e(v_p)]，f₁,f₂为线性神经网络模型，e(LT,p)表示长期兴趣表征；

所述步骤S3中，建模用户的短期兴趣向量的具体步骤包括：

(1)根据用户的兴趣聚类中心及历史交互序列计算兴趣不确定性，对于历史交互序列中的若不能判定它属于哪个兴趣聚类，则认为该商品兴趣不确定度较高，判定过程具体计算方式如下：

[p(1),p(2),…,p(M)]＝softmax([o(1),o(2)…o(M)])；

(2)修改gru结构并通过Uncertain-GRU计算方法得到演进兴趣表征序列，当输入历史交互序列S_p后，则可以得到演进兴趣表征序列Uncertain-GRU具体计算方式为：

(3)利用attention机制聚合演进兴趣表征序列，得到用户的短期兴趣表征e(ST,p)，e(ST,p)具体计算方式如下：

a₁,a₂,…,a_N＝softmax(o₁,o₂,…,o_N)；

其中，f₃为线性神经网络。

2.根据权利要求1所述的建模用户新兴趣不确定性的物品推荐方法，其特征是，设置正则辅助损失函数L_dis以帮助解耦不同的所述兴趣聚类中心，并对兴趣聚类中心过于接近时进行惩罚，辅助损失函数L_dis表达为：

3.根据权利要求2所述的建模用户新兴趣不确定性的物品推荐方法，其特征是，所述步骤S4中，当获得用户的长、短期兴趣表征后，利用门控机制自适应结合长、短期兴趣表征，以获得最终的兴趣表征L_main，L_main具体计算方式为：

α＝sigmoid(f₄([e(u_p),e(v_p),e(ST,P),e(LT,p)])；

e(p)＝α*e(ST,P)+(1-α)*e(LT,p)；

4.根据权利要求3所述的建模用户新兴趣不确定性的物品推荐方法，其特征是，所述损失函数之和为优化的损失函数，优化的损失函数L_final形式化表示为：L_final＝L_main+βL_lt+γL_dis，其中，β、γ分别为平衡各项损失函数的超参数，其中f₄为线性神经网络。

5.一种物品推荐装置，包括存储器以及处理器，存储器存储有计算机可执行指令，处理器被配置为运行所述计算机可执行指令，其特征在于，所述计算机可执行指令被所述处理器运行时实现权利要求1～4任一项所述的物品推荐方法。

6.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时实现权利要求1～4任一项所述的物品推荐方法。