CN110502704B

CN110502704B - 一种基于注意力机制的群组推荐方法及系统

Info

Publication number: CN110502704B
Application number: CN201910740997.7A
Authority: CN
Inventors: 丁艳辉; 徐海燕
Original assignee: Shandong Normal University
Current assignee: Shandong Normal University
Priority date: 2019-08-12
Filing date: 2019-08-12
Publication date: 2022-04-15
Anticipated expiration: 2039-08-12
Also published as: CN110502704A

Abstract

本公开提供了一种基于注意力机制的群组推荐方法及系统，通过对用户数据信息进行预处理，采用改进后的密度峰值聚类的方法发现用户潜在群组，使相似性较高的用户归为一组；对组内成员使用注意力机制网络，设计注意力机制模型(AMGR)对组内成员计算权重，进行偏好融合；使用神经协同过滤(NCF)框架，进行交互学习数据，预测用户或者群组对不同项目的预测得分，从而实现群组推荐，本公开比传统方法考虑的更加全面，实践证明此方法对实际数据集是有效的。

Description

一种基于注意力机制的群组推荐方法及系统

技术领域

本公开涉及一种基于注意力机制的群组推荐方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

目前，推荐系统被广泛应用于许多在线信息系统，如社交媒体网站、电子商务平台等，帮助用户选择符合自己需求的产品。如今大部分的推荐系统都是为单个用户进行推荐而设计的，然而，随着社交媒体的普及，人们越来越倾向于组织和参与社区群体活动，群组推荐不同于个人推荐，它需要为一组用户进行推荐。在群体推荐中，不仅要考虑单个用户的偏好，还需要考虑整个群体中用户的偏好，尽可能地满足群体中所有成员的偏好。这就需要考虑组中每个成员的影响力，平衡用户之间的偏好差异。

现有的基于内存和模型的群组推荐方法大多采用预定义的群组推荐策略，不能动态地进行群组决策；并且忽略了群组中每个用户的影响权重，用户在不同的群组中，用户的权重也存在差异，用户的权重大小在决定不同类型的项目时发挥着不同的作用和影响。

发明内容

本公开为了解决上述问题，提出了一种基于注意力机制的群组推荐方法及系统。采用种改进的密度峰值聚类的方法构建群组推荐中的潜在偏好群组，采用注意力机制网络获取每个用户在群组中的权重，融合成员偏好，计算项目的预测得分，实现群组推荐。

为了实现上述目的，本公开采用如下技术方案：

一种基于注意力机制的群组推荐方法，包括：

获取用户的兴趣特征数据，计算用户与用户之间的兴趣相似度，并通过聚类方法构建潜在偏好群组；

采用注意力机制网络，计算每个用户在所属潜在偏好群组内的权重，基于每个用户的权重，对潜在偏好群组内用户进行偏好融合，并计算该潜在偏好群组对单个项目的预测得分；

获取待推荐的项目，根据潜在偏好群组对不同项目的预测得分，完成群组推荐。

进一步的，根据用户对项目的评分，得到用户的兴趣特征数据，利用改进的密度峰值聚类方法，将兴趣相似度高的用户划分到同一个潜在偏好群组中。

进一步的，所述构建潜在偏好群组具体包括：

基于用户对项目的评分，得到用户与用户之间共同的评分项目集合，根据该评分项目集合中元素数量，确定用户与用户之间的兴趣相似度，构建兴趣相似度集合；

基于兴趣相似度集合，计算各用户的截断距离；

基于截断距离计算每个用户i的局部密度ρ_i与用户i到具有更高局部密度点的最短距离δ_i，绘制决策图，选取聚类中心；

将其余用户数据点依次分配到具有更高局部密度的最近邻点所属的簇中，直至将所有用户划分为若干个具有相似偏好的潜在偏好群组。

进一步的，计算每个用户在所属潜在偏好群组内的权重包括：

将用户i和项目j表示为嵌入向量x_i与v_j，将用户嵌入向量x_i和项目嵌入向量v_j作为注意力机制网络的输入，通过设置注意力机制网络的权值矩阵，输出该用户在此项目中的权重，

根据每个用户的权重，使用聚合函数进行聚合，将一组偏好表示转换成一个偏好表示。

进一步的，所述计算该潜在偏好群组对单个项目的预测得分具体为：

g_l表示第l个潜在偏好群组，g_l(j)表示第l个潜在偏好群组对第j项目的预测得分，U_l表示第l个潜在偏好群组中用户的集合。

进一步的，所述根据潜在偏好群组对不同项目的预测得分包括：

使用神经协同过滤模型，对于待推荐的项目，创建组-项目对或用户-项目对，计算用户、组以及项目之间非线性和高阶相关性，根据不同的组-项目对或用户-项目对的输入，计算不同待推荐项目的预测得分，根据不同项目的预测得分对群组进行推荐。

一种基于注意力机制的群组推荐系统，包括：

潜在偏好群组构建模块，获取用户的兴趣特征数据，计算用户与用户之间的兴趣相似度，并通过聚类方法构建潜在偏好群组；

偏好融合模块，采用注意力机制网络，计算每个用户在所属潜在偏好群组内的权重，基于每个用户的权重，对潜在偏好群组内用户进行偏好融合，并计算该潜在偏好群组对单个项目的预测得分；

推荐模块，获取待推荐的项目，根据潜在偏好群组对不同项目的预测得分，完成群组推荐。

一种电子设备，包括存储器、处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成基于注意力机制的群组推荐方法。

一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成基于注意力机制的群组推荐方法。

与现有技术相比，本公开的有益效果为：

在推荐效果上，本公开提出的基于注意力机制的群组推荐方法，并结合改进的密度峰值聚类算法发现潜在偏好群组，可以动态的进行群组推荐并且提高了推荐性能。

在适用性和扩展性上，本公开建立的模型，能够提高推荐的准确度，提高用户满意度，对于单个用户推荐也同样适用且效果显著。

由于用户专业、兴趣的不同，在群组中每个用户的影响权重也不同，本公开可以实现动态调整用户权重，动态实现群组决策。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1是本公开方法中各用户数据点的分布图；

图2是本公开方法中构建的决策图；

图3是本公开方法中用户的截断距离图；

图4是本公开方法中基于注意力机制网络的用户偏好聚合模型图；

图5是本公开方法中神经协同过滤NCF模型交互学习示意图；

图6是本公开方法与随机群组推荐效果指标(HR)对比图；

图7是本公开方法与随机群组推荐效果指标(NDCG)对比图；

图8是本公开方法以及其他方法推荐效果比较图；

图9是本公开方法流程示意图。

具体实施方式：

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在本公开中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本公开各部件或元件结构关系而确定的关系词，并非特指本公开中任一部件或元件，不能理解为对本公开的限制。

本公开中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本公开中的具体含义，不能理解为对本公开的限制。

实施例1

本公开提供了一种基于注意力机制的群组推荐方法，包括如下步骤：

(1)根据用户的兴趣特征数据，计算用户与用户之间的兴趣相似度，并通过聚类方法构建潜在偏好群组；

(2)计算每个用户在所属潜在偏好群组内的权重，基于每个用户的权重，采用注意力机制网络对潜在偏好群组内用户进行偏好融合，并计算该潜在偏好群组对单个项目的预测得分；

(3)获取待推荐的项目，根据潜在偏好群组对不同项目的预测得分，完成群组推荐。

进一步优选地，所述步骤(1)包括：

根据用户对项目的评分，得到用户的兴趣特征，利用改进的密度峰值聚类方法，将兴趣相似度高的用户划分到同一个潜在偏好群组中，

所述构建潜在偏好群组具体包括：

(1-1)基于用户对项目的评分，得到用户与用户之间共同的评分项目集合，根据该评分项目集合中元素数量，确定用户与用户之间的兴趣相似度，构建兴趣相似度集合；

基于兴趣相似度集合，计算各用户的截断距离。

进一步优选地，令兴趣相似度集合为：c_i＝{d_i1，d_i2，...，d_in}，d_ij是用户i到用户j之间的距离即相似度，即

其中，

表示用户i对于项目m的评分，

表示用户j对于项目m的评分，评分项目集合M表示用户i和j共同的评分项目，|M|表示该集合中元素的数量，该集合中元素的数量越少，d_ij越大，用户i到用户j之间的兴趣差异性越大，即距离越远。

将兴趣相似度集合中用户i到用户j之间的距离按照升序排列得到向量f_i＝{a_i1，a_i2，...，a_in}，那么用户i的截断距离d_ci可以定义为：

d_ci＝a_ij|max(a_i(j+1)-a_ij)

如图3所示，在向量f_i中取选择相邻两个元素差最大的即a_i(j+1)，a_ij，其中a_i(j+1)＝b，a_ij＝a；

集合D_c＝{d_c1，d_c2，...，d_cn}，表示每个用户i所对应的d_ci的集合，为了减少集群边界上点和离群点的影响及避免d_c过大，所以d_c取集合D_c的最小值，由此出确定d_c。

在密度峰值聚类方法中，d_c的选取通常是根据人工设置，最优的d_c往往需要实验者通过多次实验得出。d_c选取是否恰当对密度峰值聚类算法有一定的影响，在极端情况下，如果d_c过大，所有的数据点都会分到一个类中，反之，在极端情况下，如果d_c过小，所有的数据点会单独成为一个类，所以d_c是否恰当的选区尤为重要，本公开对d_c的选取方法做了改进，确定d_c的方法基于数据对象之间的距离得到的，所以不会增加额外的计算负担，且简单易实现。

(1-2)基于截断距离计算每个用户i的局部密度ρ_i与用户i到具有更高局部密度点的最短距离δ_i，绘制决策图，选取聚类中心。

进一步优选地，计算局部密度ρ_i有两种方式，Cut-off kernal和Gaussiankernel，针对数据集规模比较大的采用Cut-off kernal，计算方法如下：

ρ_i＝∑_jχ(d_ij-d_c)，

其中χ()函数如下定义：

针对数据集规模比较大的采小的采用Gaussian kernel，计算方法如下：

高密度距离δ_i有如下计算方法：

进一步优选地，绘制决策图的具体步骤为：

分别以数据集中每一个用户数据点的ρ_i值和δ_i值为横、纵坐标做二维平面决策图；

选择ρ_i值和δ_i值较高的用户数据点作为聚类的簇中心。

如图1为一个具有28个二维数据点的分布图，将数据点按密度进行降序排序。由图2可以看出，编号1和10比较突出，因为他们同时具有较大的ρ值和δ值，此时这两个点为图1数据集中的两个簇类中心；而编号编号26，27，28的特点是ρ值很小、但δ值很大，所以称它们为离群点。

(1-3)将其余用户数据点依次分配到具有更高局部密度的最近邻点所属的簇中，直至将所有用户划分为若干个具有相似偏好的潜在偏好群组。

进一步优选地，所述步骤(2)中，采用注意力机制网络对潜在偏好群组内用户进行偏好融合具体为，

将用户i和项目j表示为嵌入向量x_i与v_j，将用户嵌入向量x_i和项目嵌入向量v_j作为注意力机制网络的输入，通过设置注意力机制网络的权值矩阵，输出该用户在此项目中的权重；

进一步优选地，α表示用户的权重，计算方式如下：

o(j，r)＝h^TReLU(p_vv_j+p_ux_r+b)，

p_v，p_u表示注意力网络的权值矩阵，b为偏执向量，使用线性整流函数激活，然后将其投射到权重向量h上，最后对得分o(j，r)，使用归一化指数函数，求得用户权重，权重大的用户表示该用户在此项目中具有较大的影响力；

根据每个用户的权重，使用聚合函数进行聚合，将一组偏好表示转换成一个偏好表示，实现组内成员偏好融合。

所述步骤(2)中，计算该潜在偏好群组对单个项目的预测得分具体为：

所述步骤(3)中，使用神经协同过滤(NCF)框架，对于待推荐的项目，创建组-项目对或用户-项目对，计算用户、组以及项目之间非线性和高阶相关性，根据不同的组-项目对或用户-项目对的输入，计算不同待推荐项目的预测得分，根据不同项目的预测得分对群组进行top-k推荐。

进一步优选地，在NCF框架下，给定组-项目对或者用户-项目对，在表示层给每个实体返回对应的嵌入向量。假设输入的组-项目对，执行元素连接即：

捕捉用户，组，项目之间非线性和高阶相关性：

W_h，b_h，z_h分别代表第h层隐藏层的权重矩阵，偏执向量，输出神经元，使用ReLU函数激活，最后输出最后一层z_h计算预测分数，计算方式如下：

最终得到推荐效果如图6，图7所示，可以明显看出本公开的分组方式使群组推荐性能更强。图8展示了本公开基于注意力机制的群组推荐方法(AMGR)与其他方法，如常规方法等性能的比较，由图8可以看出本公开方法相较于其他方法的优越性。

实施例2，本公开提供一种基于注意力机制的群组推荐系统，其特征在于，包括：

进一步优选地，所述偏好融合模块中：

将用户i和项目j表示为嵌入向量x_i与v_j，将用户嵌入向量xi和项目嵌入向量v_j作为注意力机制网络的输入，通过设置注意力机制网络的权值矩阵，输出该用户在此项目中的权重，

实施例3，本公开提供一种计算机设备，包括存储器、处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，实现以下步骤，包括：

实施例4，本公开提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，实现以下步骤，包括：

以上仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims

1.一种基于注意力机制的群组推荐方法，其特征在于，包括：

获取用户的兴趣特征数据，计算用户与用户之间的兴趣相似度，并通过聚类方法构建潜在偏好群组；所述构建潜在偏好群组具体包括：

基于兴趣相似度集合，计算各用户的截断距离；具体步骤为：令兴趣相似度集合为：c_i＝{d_i1,d_i2,...,d_in}，d_ij是用户i到用户j之间的距离即相似度，即

其中，

表示用户i对于项目m的评分，

表示用户j对于项目m的评分，评分项目集合M表示用户i和j共同的评分项目，|M|表示该集合中元素的数量，该集合中元素的数量越少，d_ij越大，用户i到用户j之间的兴趣差异性越大,即距离越远；

将兴趣相似度集合中用户i到用户j之间的距离按照升序排列得到向量f_i＝a_i1,a_i2,...,a_in}，用户i的截断距离d_ci定义为:

将其余用户数据点依次分配到具有更高局部密度的最近邻点所属的簇中，直至将所有用户划分为若干个具有相似偏好的潜在偏好群组；

2.如权利要求1所述的一种基于注意力机制的群组推荐方法，其特征在于，

根据用户对项目的评分，得到用户的兴趣特征数据，利用改进的密度峰值聚类方法，将兴趣相似度高的用户划分到同一个潜在偏好群组中，构建潜在偏好群组。

3.如权利要求1所述的一种基于注意力机制的群组推荐方法，其特征在于，

所述计算每个用户在所属潜在偏好群组内的权重包括：

4.如权利要求3所述的一种基于注意力机制的群组推荐方法，其特征在于，

所述计算该潜在偏好群组对单个项目的预测得分具体为：

5.如权利要求1所述的一种基于注意力机制的群组推荐方法，其特征在于，

所述根据潜在偏好群组对不同项目的预测得分包括：

6.一种基于注意力机制的群组推荐系统，其特征在于，包括：

潜在偏好群组构建模块，获取用户的兴趣特征数据，计算用户与用户之间的兴趣相似度，并通过聚类方法构建潜在偏好群组；所述构建潜在偏好群组具体包括：

其中，

表示用户i对于项目m的评分，

将兴趣相似度集合中用户i到用户j之间的距离按照升序排列得到向量f_i＝{a_i1,a_i2,...,a_in}，用户i的截断距离d_ci定义为:

7.如权利要求6所述的一种基于注意力机制的群组推荐系统，其特征在于，

所述偏好融合模块中：

8.一种计算机设备，其特征是，包括存储器、处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-5任一项方法所述的步骤。

9.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-5任一项方法所述的步骤。