CN113343119B - 一种基于层次注意力机制的群组推荐方法 - Google Patents

一种基于层次注意力机制的群组推荐方法 Download PDF

Info

Publication number
CN113343119B
CN113343119B CN202110562763.5A CN202110562763A CN113343119B CN 113343119 B CN113343119 B CN 113343119B CN 202110562763 A CN202110562763 A CN 202110562763A CN 113343119 B CN113343119 B CN 113343119B
Authority
CN
China
Prior art keywords
group
preference
vector
item
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110562763.5A
Other languages
English (en)
Other versions
CN113343119A (zh
Inventor
彭智勇
林南州
宋伟
杨先娣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202110562763.5A priority Critical patent/CN113343119B/zh
Publication of CN113343119A publication Critical patent/CN113343119A/zh
Application granted granted Critical
Publication of CN113343119B publication Critical patent/CN113343119B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种层次注意力机制的群组推荐方法，首先根据对用户、项目进行嵌入编码，将高维度的编码转换为低维度的嵌入向量。采用层次注意力机制进行群组偏好融合，使用两层注意力神经网络，第一层注意力网络用于捕捉成员之间的影响，第二层注意力网络用于捕捉成员在群组决策的影响力，同时使用注意力机制计算群组的主题偏好。最后计算群组对不同项目的预测得分，并进行排序，完成群组推荐。本公开通过考虑群组成员之间的相互影响、动态调整成员权重以及群组的主题偏好，从而能实现更为有效的群组推荐。

Description

一种基于层次注意力机制的群组推荐方法
技术领域
本发明涉及计算机技术领域，具体涉及一种基于层次注意力机制的群组推荐方法，是基于群组成员的偏好给群组进行推荐的方法。
背景技术
随着大数据、云计算、移动互联网等技术迅速发展，数据大量地累积，用户无法有效地处理海量信息资源，从而造成了严重的信息过载问题。为解决此问题，推荐系统应运而生，其通过对用户海量的数据信息挖掘构建的高级智能系统，从而为用户提供个性化信息服务，有效地缓解了信息过载问题。目前，推荐系统已经广泛应用在多个领域，例如社交网络，电子商务、新闻资讯、电影音乐等，它逐渐成为了数据挖掘、信息检索等领域的研究热点与重点。
推荐系统研究的类型包括移动推荐系统、上下文感知推荐系统、社会化网络推荐系统等这些推荐系统主要是根据单个用户的历史数据进行个性化推荐，只能为单个用户进行推荐。然而，在实际的场景中，许多时候用户会以群组形式出现，如一群朋友去看电影，拼团旅行，团建聚餐等。因此，推荐的对象由个体扩展成群体，对群组进行推荐的系统称为群组推荐系统。与个体推荐系统不同的是，群组推荐需要考虑群组中每个成员的偏好，平衡好成员间的偏好差异，使得推荐的结果尽可能满足所有成员的需求。
本申请发明人在实施本发明的过程中，发现现有技术的方法，至少存在如下技术问题：
现有的群组推荐方法大多采用预先定义好的偏好融合策略，但这些策略是静态的，过于简单，缺乏灵活性，无法应对复杂的、动态的群组决策，存在推荐准确性不高的问题。
发明内容
本发明提出了一种基于层次注意力机制的群组推荐方法。采用层次注意力机制动态调整用户在群组决策中对不同项目的影响以及成员之间的相互影响。使用两层注意力神经网络，第一层用于捕捉成员之间的影响，第二层用于捕捉成员在群组决策的影响。再通过群组的历史交互信息获取群组主题偏好，加上群组成员偏好融合作为群组的偏好表示。然后利用神经协同过滤框架学习群组与数据的交互，最后计算项目的预测得分，实现群组推荐。
为了解决现有技术中群组推荐准确性不高的技术问题，本发明提供了一种基于层次注意力机制的群组推荐方法，包括：
S1：对用户、项目进行嵌入编码，分别得到用户嵌入向量和项目嵌入向量；
S2：基于用户嵌入向量和项目嵌入向量，采用层次注意力机制进行群组偏好融合，并通过群组的历史交互信息计算群组的主题偏好，根据成员偏好融合的结果和群组主题偏好得到群组偏好，其中，采用层次注意力机制进行群组偏好融合包括：采用两层注意力神经网络，分别捕捉成员之间相互影响以及成员在群组决策中的影响，并基于两种影响进行成员偏好融合；
S3：基于群组偏好，利用神经协同过滤框架计算群组对项目的预测得分，进行群组推荐。
在一种实施方式中，S1具体包括：
将用户的独热编码、项目的独热编码作为输入，经过嵌入层后得到用户和项目的嵌入向量，其中，嵌入层用于将高维度的向量转换为低维度的嵌入向量，具体公式为：
Figure SMS_1
Figure SMS_2
其中，成员
Figure SMS_4
的独热编码
Figure SMS_5
和项目
Figure SMS_6
的独热编码
Figure SMS_7
输入到嵌入层之后，得到对应的嵌入向量为
Figure SMS_8
和
Figure SMS_9
，
Figure SMS_10
表示用户嵌入权重矩阵，
Figure SMS_3
表示项目嵌入权重矩阵，d、n、m分别表示嵌入向量的维度、用户总数和项目总数。
在一种实施方式中，S2具体包括：
S2.1：采用层次注意力机制，进行成员偏好融合，S2.1包括：
S2.1.1：计算成员偏好表示，其中，成员偏好包括成员自身的偏好以及群组中其它成员对用户偏好的影响，成员偏好表示的计算具体表示如下：
Figure SMS_11
其中
Figure SMS_12
，
Figure SMS_13
分别表示成员
Figure SMS_14
和
Figure SMS_15
的历史偏好，
Figure SMS_16
表示成员
Figure SMS_17
对于成员
Figure SMS_18
的影响权重，表示成员之间的影响；
S2.1.2：根据成员偏好表示进行成员偏好融合，成员偏好融合表示如下：
Figure SMS_19
Figure SMS_20
表示用户在群组
Figure SMS_21
的偏好，权重系数
Figure SMS_22
表示成员
Figure SMS_23
对于小组选择项目
Figure SMS_24
的影响程度；
S2.2：使用注意力机制计算群组主题偏好，计算公式为：
Figure SMS_25
Figure SMS_26
表示项目
Figure SMS_27
对于计算群组主题偏好影响的权重大小，
Figure SMS_28
表示项目
Figure SMS_29
的嵌入向量；
S2.3：将步骤S2.1和步骤S2.2得到的结果相加得到群组偏好表示，公式如下：
Figure SMS_30
hl表示指向群组
Figure SMS_31
的成员，t表示成员编号。
在一种实施方式中，S2.1.1具体包括：
将
Figure SMS_32
和
Figure SMS_33
作为神经网络的输入，学习得到权重系数
Figure SMS_34
：
Figure SMS_35
Figure SMS_36
Figure SMS_38
，
Figure SMS_40
表示神经网络中将成员偏好嵌入向量转换为隐藏层的权重矩阵，b是隐藏层的偏置向量，使用ReLU函数作为隐藏层的激活函数，再利用权重向量h得到
Figure SMS_41
，
Figure SMS_43
表示成员
Figure SMS_45
的嵌入向量
Figure SMS_46
和成员
Figure SMS_48
的嵌入向量
Figure SMS_37
的相似度，最后使用softmax函数进行归一化处理得到权重系数
Figure SMS_39
，其中，
Figure SMS_42
表示成员
Figure SMS_44
的嵌入向量
Figure SMS_47
和成员
Figure SMS_49
的嵌入向量
Figure SMS_50
的相似度。
在一种实施方式中，S2.1.2具体包括：
将
Figure SMS_51
和
Figure SMS_52
输入到神经网络中学习得到权重系数
Figure SMS_53
，
Figure SMS_54
表示成员
Figure SMS_55
对于小组选择项目
Figure SMS_56
的影响程度，
Figure SMS_57
Figure SMS_58
其中，
Figure SMS_60
和
Figure SMS_61
分别表示神经网络中将项目嵌入向量和用户嵌入向量转换为隐藏层的权重矩阵，b是隐藏层的偏置向量，使用ReLU函数作为隐藏层的激活函数，再利用权重向量h得到
Figure SMS_63
，
Figure SMS_65
表示成员
Figure SMS_67
的偏好表示向量
Figure SMS_69
和项目
Figure SMS_71
的嵌入向量
Figure SMS_59
的相似度，最后使用softmax函数进行归一化处理得到权重系数
Figure SMS_62
，其中，
Figure SMS_64
表示成员
Figure SMS_66
的偏好表示向量
Figure SMS_68
和项目
Figure SMS_70
的嵌入向量
Figure SMS_72
的相似度。
在一种实施方式中，S2.2具体包括：
通过注意力机制学习不同的历史交互项对于群组主题偏好表示影响的权重
Figure SMS_73
：
Figure SMS_74
Figure SMS_75
其中，
Figure SMS_76
，
Figure SMS_78
表示神经网络中将项目嵌入向量转换为隐藏层的权重矩阵，b表示偏置向量，隐藏层的激活函数使用ReLU函数，再利用权重向量h得到
Figure SMS_80
，最后使用softmax函数进行归一化处理得到
Figure SMS_81
，其中，
Figure SMS_83
表示项目
Figure SMS_86
的嵌入向量
Figure SMS_87
和项目
Figure SMS_77
的嵌入向量
Figure SMS_79
的相似度，
Figure SMS_82
表示项目
Figure SMS_84
的嵌入向量
Figure SMS_85
和项目
Figure SMS_88
的嵌入向量
Figure SMS_89
的相似度。
在一种实施方式中，S3具体包括：
S3.1：将群组嵌入向量以及项目向量输入到池化层中，群组和项目的交互采用元素积的形式建模，得到元素积
Figure SMS_90
，并将元素积与群组嵌入向量、项目的嵌入拼接，组成向量
Figure SMS_91
：
Figure SMS_92
S3.2经过全连接层后得到
Figure SMS_93
，再经过预测层得到
Figure SMS_94
，
Figure SMS_95
表示预测群组
Figure SMS_96
对项目
Figure SMS_97
的偏好得分：
Figure SMS_98
Figure SMS_99
其中，
Figure SMS_100
,
Figure SMS_101
表示全连接层的权重矩阵和偏置向量，
Figure SMS_102
表示预测层的权重矩阵，
Figure SMS_103
表示
Figure SMS_104
函数得到的向量；
S3.3：根据不同项目的预测得分进行排序，选择前k个项目进行群组推荐，k为大于等于1的整数。
本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：
本发明的提供一种层次注意力机制的群组推荐方法，首先根据对用户、项目进行嵌入编码，将高维度的编码转换为低维度的嵌入向量。然后采用层次注意力机制进行群组偏好融合，使用两层注意力神经网络，第一层注意力网络用于捕捉成员之间的影响，第二层注意力网络用于捕捉成员在群组决策的影响力，同时使用注意力机制计算群组的主题偏好。最后计算群组对不同项目的预测得分，并进行排序，完成群组推荐。由于考虑了群组成员之间的相互影响，并动态调整成员权重以及群组的主题偏好，从而能实现更为有效的群组推荐，提高群组推荐的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于层次注意力机制的群组推荐方法的流程图；
图2为本发明实施例中基于层次注意力机制的群组推荐框架图；
图3为本发明采用的方法与现有技术中其他方法推荐效果比较示意图。
具体实施方式
本发明实施例提供了一种层次注意力机制的群组推荐方法，用于改善现有方法中推荐结果不够准确的技术问题。
本申请发明人通过大量的研究与实践发现：现有的群组推荐方法大多采用预先定义好的偏好融合策略，但这些策略是静态的，过于简单，缺乏灵活性，无法应对复杂的、动态的群组决策。同时忽视了群组决策中群组成员之间的相互影响，以及群组中成员对于不同的项目选择发挥着不同的作用。
本发明提出了基于层次注意力机制的群组推荐方法，通过注意力机制计算成员在群组决策中的权重。以往的方法，是给所有群组成员分配相同的权重，但这这种均匀分配权重的方式是不合理的。群组成员在群组决策过程中是具有不同的影响力，因此使用注意力机制计算群组成员在群组决策过程中的权重。
深度学习中的注意力机制借鉴了人类的注意力机制，其核心思想是针对当前任务目标从许多信息中选择出较为重要的信息。当人们观察一个场景的时候，通常会先关注场景中的重点，而暂时忽略一些其中不重要的事物。例如，给定一张图片，人们通常会着重关注所需信息的图片区域，在该区域上投入更多的注意力。注意力机制的本质是通过神经网络学习一组权重系数，并以动态加权的方式来强调所关注的区域。
本发明正是基于层次注意力机制的群组推荐方法，利用层次注意力机制对群组成员偏好融合进行建模。通过两层注意力神经网络计算成员在群组决策中的影响权重和成员之间的相互影响权重，针对不同的项目进行动态调整成员的权重，能够更好对复杂动态的群组过程进行建模，提高群组推荐结果。
本发明首先获取成员、项目的嵌入编码，其嵌入编码包含用户的偏好和项目的基本属性信息，然后利用层次注意力机制计算群组的偏好表示，最终通过群组的偏好表示预测项目的得分，对所有项目得分进行排序，取前K个项目完成Top-K推荐。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，本发明提供了一种基于层次注意力机制的群组推荐方法，包括：
S1：对用户、项目进行嵌入编码，分别得到用户嵌入向量和项目嵌入向量；
S2：基于用户嵌入向量和项目嵌入向量，采用层次注意力机制进行群组偏好融合，并通过群组的历史交互信息计算群组的主题偏好，根据成员偏好融合的结果和群组主题偏好得到群组偏好，其中，采用层次注意力机制进行群组偏好融合包括：采用两层注意力神经网络，分别捕捉成员之间相互影响以及成员在群组决策中的影响，并基于两种影响进行成员偏好融合；
S3：基于群组偏好，利用神经协同过滤框架计算群组对项目的预测得分，进行群组推荐。
具体实施过程中，可以通过嵌入层(Embedding)对用户和项目进行嵌入编码，需要说明的是本发明中用户和成员的含义相同，二者可以互换。
采用层次注意力机制，可以通过计算成员之间相互影响的权重以及成员在群组决策中的权重，进行成员偏好融合；然后通过群组的历史交互信息计算群组的主题偏好；S2得到的群组偏好表示由两部分构成，分别为成员偏好融合和群组主题偏好。
因为与传统的矩阵分解模型相比，神经协同过滤模型具有更强的通用性，传统的矩阵分解模型的交互函数过于简单，无法应对复杂关系，而神经协同过滤使用神经网络学习数据中的交互，因此步骤S3中利用利神经协同过滤框架计算群组对项目的预测得分，针对每个小组，对所有项目按照其对应预测得分进行排序，将排名前K的项目推荐给小组。
相对于现有技术，本发明的有益效果是：在推荐效果上，显著提高了群组推荐的准确度，提高用户的满意度。考虑了成员之间的相互影响，动态调整成员的影响权重，并考虑了群组的主题偏好信息。
在一种实施方式中，S1具体包括：
将用户的独热编码、项目的独热编码作为输入，经过嵌入层后得到用户和项目的嵌入向量，其中，嵌入层用于将高维度的向量转换为低维度的嵌入向量，具体公式为：
Figure SMS_105
Figure SMS_106
其中，成员
Figure SMS_108
的独热编码
Figure SMS_109
和项目
Figure SMS_110
的独热编码
Figure SMS_111
输入到嵌入层之后，得到对应的嵌入向量为
Figure SMS_112
和
Figure SMS_113
，
Figure SMS_114
表示用户嵌入权重矩阵，
Figure SMS_107
表示项目嵌入权重矩阵，d、n、m分别表示嵌入向量的维度、用户总数和项目总数。
具体来说，独热编码即One-hot编码。
在一种实施方式中，S2具体包括：
S2.1：采用层次注意力机制，进行成员偏好融合，S2.1包括：
S2.1.1：计算成员偏好表示，其中，成员偏好包括成员自身的偏好以及群组中其它成员对用户偏好的影响，成员偏好表示的计算具体表示如下：
Figure SMS_115
其中
Figure SMS_116
，
Figure SMS_117
分别表示成员
Figure SMS_118
和
Figure SMS_119
的历史偏好，
Figure SMS_120
表示成员
Figure SMS_121
对于成员
Figure SMS_122
的影响权重，表示成员之间的影响；
S2.1.2：根据成员偏好表示进行成员偏好融合，成员偏好融合表示如下：
Figure SMS_123
Figure SMS_124
表示用户在群组
Figure SMS_125
的偏好，权重系数
Figure SMS_126
表示成员
Figure SMS_127
对于小组选择项目
Figure SMS_128
的影响程度；
S2.2：使用注意力机制计算群组主题偏好，计算公式为：
Figure SMS_129
Figure SMS_130
表示项目
Figure SMS_131
对于计算群组主题偏好影响的权重大小，
Figure SMS_132
表示项目
Figure SMS_133
的嵌入向量；
S2.3：将步骤S2.1和步骤S2.2得到的结果相加得到群组偏好表示，公式如下：
Figure SMS_134
hl表示指向群组
Figure SMS_135
的成员，t表示成员编号。
具体实施过程中，通常情况下，成员之间存在交互，在群组决策时，成员之间是会相互影响的。他们在群组决策的时候是会相互影响的，同时每个成员对于其他成员的影响力是不同的。因此成员在群组决策中所体现出来的偏好包括两部分，一部分是成员自身的偏好、另一部分是群组中其它成员偏好的影响。在计算过程中，可以使用注意力机制计算成员之间相互的影响权重，该权重大小取决于成员之间的相似度。首先计算两个成员之间的相似度，再将相似度通过softmax函数进行归一化得到权重系数。
步骤S2.1.2进行成员偏好融合，在群组决策过程中，成员对不同的项目影响的程度不同，具有不同的影响权重。融合过程中，使用注意力机制计算成员在群组决策中影响的权重。首先计算成员和项目的相似度，使用softmax函数进行归一化，得到成员在此项目中影响的权重。根据每个成员的权重，进行加权求和。
步骤S2.2：使用注意力机制计算群组主题偏好
通过小组的历史交互数据学习得到小组的主题偏好，群组的历史交互数据侧面体现了群组的主题偏好。不同的历史交互项目对于反映群组的主题偏好的影响也是不同的。通过注意力机制学习不同的历史交互项对于群组主题偏好表示影响的权重。计算过程中，可以首先计算项目和项目之间的相似度，然后使用softmax函数进行归一化，获取项目在表示群组主题偏好的影响权重。再根据每个历史交互项的权重，加权求和，得到群组主题偏好。
在一种实施方式中，S2.1.1具体包括：
将
Figure SMS_136
和
Figure SMS_137
作为神经网络的输入，学习得到权重系数
Figure SMS_138
：
Figure SMS_139
Figure SMS_140
Figure SMS_143
，
Figure SMS_145
表示神经网络中将成员偏好嵌入向量转换为隐藏层的权重矩阵，b是隐藏层的偏置向量，使用ReLU函数作为隐藏层的激活函数，再利用权重向量h得到
Figure SMS_147
，
Figure SMS_149
表示成员
Figure SMS_152
的嵌入向量
Figure SMS_154
和成员
Figure SMS_156
的嵌入向量
Figure SMS_142
的相似度，最后使用softmax函数进行归一化处理得到权重系数
Figure SMS_144
，其中，
Figure SMS_146
表示成员
Figure SMS_148
的嵌入向量
Figure SMS_150
和成员
Figure SMS_151
的嵌入向量
Figure SMS_153
的相似度，
Figure SMS_155
为成员
Figure SMS_141
的下标。
在一种实施方式中，S2.1.2具体包括：
将
Figure SMS_157
和
Figure SMS_158
输入到神经网络中学习得到权重系数
Figure SMS_159
，
Figure SMS_160
表示成员
Figure SMS_161
对于小组选择项目
Figure SMS_162
的影响程度，
Figure SMS_163
Figure SMS_164
其中，
Figure SMS_165
和
Figure SMS_167
分别表示神经网络中将项目嵌入向量和用户嵌入向量转换为隐藏层的权重矩阵，b是隐藏层的偏置向量，使用ReLU函数作为隐藏层的激活函数，再利用权重向量h得到
Figure SMS_168
，
Figure SMS_170
表示成员
Figure SMS_171
的偏好表示向量
Figure SMS_173
和项目
Figure SMS_174
的嵌入向量
Figure SMS_166
的相似度，最后使用softmax函数进行归一化处理得到权重系数
Figure SMS_169
，其中，
Figure SMS_172
表示成员
Figure SMS_175
的偏好表示向量
Figure SMS_176
和项目
Figure SMS_177
的嵌入向量
Figure SMS_178
的相似度。
其中，权重系数
Figure SMS_179
的取值为(0,1)，该值越大说明该成员对选择该项目的影响力的也就越大。
在一种实施方式中，S2.2具体包括：
通过注意力机制学习不同的历史交互项对于群组主题偏好表示影响的权重
Figure SMS_180
：
Figure SMS_181
Figure SMS_182
其中，
Figure SMS_184
，
Figure SMS_186
表示神经网络中将项目嵌入向量转换为隐藏层的权重矩阵，b表示偏置向量，隐藏层的激活函数使用ReLU函数，再利用权重向量h得到
Figure SMS_187
，最后使用softmax函数进行归一化处理得到
Figure SMS_190
，其中，
Figure SMS_192
表示项目
Figure SMS_194
的嵌入向量
Figure SMS_196
和项目
Figure SMS_183
的嵌入向量
Figure SMS_185
的相似度，
Figure SMS_188
表示项目
Figure SMS_189
的嵌入向量
Figure SMS_191
和项目
Figure SMS_193
的嵌入向量
Figure SMS_195
的相似度。
在一种实施方式中，S3具体包括：
S3.1：将群组嵌入向量以及项目向量输入到池化层中，群组和项目的交互采用元素积的形式建模，得到元素积
Figure SMS_197
，并将元素积与群组嵌入向量、项目的嵌入拼接，组成向量
Figure SMS_198
：
Figure SMS_199
S3.2经过全连接层后得到
Figure SMS_200
，再经过预测层得到
Figure SMS_201
，
Figure SMS_202
表示预测群组
Figure SMS_203
对项目
Figure SMS_204
的偏好得分：
Figure SMS_205
Figure SMS_206
其中，
Figure SMS_207
,
Figure SMS_208
表示全连接层的权重矩阵和偏置向量，
Figure SMS_209
表示预测层的权重矩阵，
Figure SMS_210
表示
Figure SMS_211
函数得到的向量；
S3.3：根据不同项目的预测得分进行排序，选择前k个项目进行群组推荐，k为大于等于1的整数。
将群组嵌入向量以及项目向量输入到池化层中，群组和项目的交互采用元素积的形式建模后，元素积可能造成重要的信息缺失，所以将元素积与组向量
Figure SMS_212
、项目的向量
Figure SMS_213
拼接，组成向量
Figure SMS_214
。
请参见图2，为具体实施例中基于层次注意力机制的群组推荐框架图。
为了计算参数，本实施例需要最小化模型成对损失函数：
Figure SMS_215
其中，
Figure SMS_220
,
Figure SMS_222
,
Figure SMS_224
表示训练集，
Figure SMS_226
是一个三元组，表示的是组
Figure SMS_228
与项目
Figure SMS_230
存在交互，与项目
Figure SMS_232
没有交互，
Figure SMS_217
表示预测群组
Figure SMS_219
对项目
Figure SMS_221
的偏好得分,
Figure SMS_223
表示群组
Figure SMS_225
对项目
Figure SMS_227
的实际得分，
Figure SMS_229
表示群组
Figure SMS_231
对项目
Figure SMS_216
的实际得分,本发明中关注的是隐式反馈数据，存在交互的取值为1，没有交互的值为0。因此有
Figure SMS_218
。
相对于现有技术，本发明的有益效果是：在推荐效果上，显著提高了群组推荐的准确度，提高用户的满意度。考虑了成员之间的相互影响，动态调整成员的影响权重，并考虑了群组的主题偏好信息。
为了更清楚地说明本发明的技术方案，下面通过一个具体的示例予以介绍，具体以为群组推荐旅游地方为例。
假设一共有10个群组，以第一个群组为例，第一个群组一共有4个成员，
Figure SMS_234
，
Figure SMS_235
，
Figure SMS_238
，
Figure SMS_239
，他们一起去过6个地方旅游
Figure SMS_240
，
Figure SMS_241
，
Figure SMS_242
，
Figure SMS_233
，
Figure SMS_236
，
Figure SMS_237
。
下面有3个地方
Figure SMS_243
，
Figure SMS_244
，
Figure SMS_245
，需要预测群组对这三个地方的偏好得分，根据得分进行推荐。
以预测
Figure SMS_246
为例进行介绍。
首先将成员、项目one-hot向量作为输入，得到嵌入向量；
比如
Figure SMS_247
的one-hot向量为
Figure SMS_248
经过嵌入编码后得到一个嵌入向量
Figure SMS_249
得到成员、地方（即项目）对应嵌入向量
其中，用
Figure SMS_250
表示群组对
Figure SMS_251
的偏好表示，1和7都是下标。它由两部分组成：成员偏好融合和群组主题偏好。
成员偏好融合的计算方式为：
Figure SMS_252
Figure SMS_253
+
Figure SMS_254
+
Figure SMS_255
Figure SMS_256
Figure SMS_257
和
Figure SMS_258
是神经网络中将项目嵌入向量和用户嵌入向量转换为隐藏层的权重矩阵。b是隐藏层的偏置向量。使用ReLU函数作为隐藏层的激活函数.
成员偏好表示的计算：
以
Figure SMS_259
为例：
Figure SMS_260
Figure SMS_261
Figure SMS_262
Figure SMS_263
，
Figure SMS_264
是神经网络中将成员偏好嵌入向量转换为隐藏层的权重矩阵，b是隐藏层的偏置向量。使用ReLU函数作为隐藏层的激活函数
群组主题偏好表示：
Figure SMS_265
Figure SMS_266
Figure SMS_267
Figure SMS_268
，
Figure SMS_269
表示神经网络中的权重矩阵，b表示偏置向量。隐藏层的激活函数使用ReLU函数。
那么群组
Figure SMS_270
对
Figure SMS_271
偏好表示为：
Figure SMS_272
计算预测得分：
Figure SMS_273
Figure SMS_274
Figure SMS_275
Figure SMS_276
表示预测群组
Figure SMS_277
对
Figure SMS_278
的喜好程度。
类似地，其它地方（项目）可以按照上述步骤进行计算，然后再进行排序，最后完成群组推荐。
请参见图3，为本发明采用的方法与其他方法推荐效果比较图，GRHAM为本发明采用的方法，NCF、NCF+avg…SoAGREE方法为现有技术中的方法，英文全称如下：
Neural Collaborative Filtering：NCF神经协同过滤
Neural Collaborative Filtering with average strategy：NCF+avg
Neural Collaborative Filtering with least misery strategy：NCF+lm
Neural Collaborative Filtering with maximum satisfaction strategy：NCF+ms
Attentive Group Recommendation:AGREE
Social Enhanced Attentive Group Recommedation: SoAGREE
Towards Group Recommendation Using Hierarchical Attention Mechanism:GRHAM。
指标NDCG表示归一化折损累积增益，指标HR表示命中率。
本发明中所描述的具体实施的例子仅仅是对本发明的方法和步骤的举例说明。本发明所述技术领域的技术人员可以对所描述的具体实施步骤做相应的修改或补充或变形（即采用类似的替代方式），但是不会背离本发明的原理和实质或者超越所附权利要求书所定义的范围。本发明的范围仅由所附权利要求书限定。

Claims (6)

1.一种基于层次注意力机制的群组推荐方法，其特征在于，包括：
S1：对用户、项目进行嵌入编码，分别得到用户嵌入向量和项目嵌入向量；
S2：基于用户嵌入向量和项目嵌入向量，采用层次注意力机制进行成员偏好融合，并通过群组的历史交互信息计算群组的主题偏好，根据成员偏好融合的结果和群组主题偏好得到群组偏好，其中，采用层次注意力机制进行成员偏好融合包括：采用两层注意力神经网络，分别捕捉成员之间相互影响以及成员在群组决策中的影响，并基于两种影响进行成员偏好融合；
S3：基于群组偏好，利用神经协同过滤框架计算群组对项目的预测得分，进行群组推荐；
其中，S2具体包括：
S2.1：采用层次注意力机制，进行成员偏好融合，S2.1包括：
S2.1.1：计算成员偏好表示，其中，成员偏好包括成员自身的偏好以及群组中其它成员对用户偏好的影响，成员偏好表示的计算具体表示如下：
Figure QLYQS_1
其中
Figure QLYQS_2
，
Figure QLYQS_3
分别表示成员
Figure QLYQS_4
和
Figure QLYQS_5
的历史偏好，
Figure QLYQS_6
表示成员
Figure QLYQS_7
对于成员
Figure QLYQS_8
的影响权重，表示成员之间的影响；
S2.1.2：根据成员偏好表示进行成员偏好融合，成员偏好融合表示如下：
Figure QLYQS_9
Figure QLYQS_10
表示用户在群组
Figure QLYQS_11
的偏好，权重系数
Figure QLYQS_12
表示成员
Figure QLYQS_13
对于小组选择项目
Figure QLYQS_14
的影响程度；
S2.2：使用注意力机制计算群组主题偏好，计算公式为：
Figure QLYQS_15
Figure QLYQS_16
表示项目
Figure QLYQS_17
对于计算群组主题偏好影响的权重大小，
Figure QLYQS_18
表示项目
Figure QLYQS_19
的嵌入向量；
S2.3：将步骤S2.1和步骤S2.2得到的结果相加得到群组偏好表示，公式如下：
Figure QLYQS_20
hl表示指向群组
Figure QLYQS_21
的成员，t表示成员编号。
2.如权利要求1所述的群组推荐方法，其特征在于，S1具体包括：
将用户的独热编码、项目的独热编码作为输入，经过嵌入层后得到用户和项目的嵌入向量，其中，嵌入层用于将高维度的向量转换为低维度的嵌入向量，具体公式为：
Figure QLYQS_22
Figure QLYQS_23
其中，成员
Figure QLYQS_25
的独热编码
Figure QLYQS_26
和项目
Figure QLYQS_27
的独热编码
Figure QLYQS_28
输入到嵌入层之后，得到对应的嵌入向量为
Figure QLYQS_29
和
Figure QLYQS_30
，
Figure QLYQS_31
表示用户嵌入权重矩阵，
Figure QLYQS_24
表示项目嵌入权重矩阵，d、n、m分别表示嵌入向量的维度、用户总数和项目总数。
3.如权利要求1所述的群组推荐方法，其特征在于，S2.1.1具体包括：
将
Figure QLYQS_32
和
Figure QLYQS_33
作为神经网络的输入，学习得到权重系数
Figure QLYQS_34
：
Figure QLYQS_35
Figure QLYQS_36
Figure QLYQS_38
，
Figure QLYQS_39
表示神经网络中将成员偏好嵌入向量转换为隐藏层的权重矩阵，b是隐藏层的偏置向量，使用ReLU函数作为隐藏层的激活函数，再利用权重向量h得到
Figure QLYQS_41
，
Figure QLYQS_43
表示成员
Figure QLYQS_45
的嵌入向量
Figure QLYQS_48
和成员
Figure QLYQS_50
的嵌入向量
Figure QLYQS_37
的相似度，最后使用softmax函数进行归一化处理得到权重系数
Figure QLYQS_40
，其中，
Figure QLYQS_42
表示成员
Figure QLYQS_44
的嵌入向量
Figure QLYQS_46
和成员
Figure QLYQS_47
的嵌入向量
Figure QLYQS_49
的相似度。
4.如权利要求1所述的群组推荐方法，其特征在于，S2.1.2具体包括：
将
Figure QLYQS_51
和
Figure QLYQS_52
输入到神经网络中学习得到权重系数
Figure QLYQS_53
，
Figure QLYQS_54
表示成员
Figure QLYQS_55
对于小组选择项目
Figure QLYQS_56
的影响程度，
Figure QLYQS_57
Figure QLYQS_58
其中，
Figure QLYQS_60
和
Figure QLYQS_62
分别表示神经网络中将项目嵌入向量和用户嵌入向量转换为隐藏层的权重矩阵，b是隐藏层的偏置向量，使用ReLU函数作为隐藏层的激活函数，再利用权重向量h得到
Figure QLYQS_63
，
Figure QLYQS_66
表示成员
Figure QLYQS_67
的偏好表示向量
Figure QLYQS_70
和项目
Figure QLYQS_72
的嵌入向量
Figure QLYQS_59
的相似度，最后使用softmax函数进行归一化处理得到权重系数
Figure QLYQS_61
，其中，
Figure QLYQS_64
表示成员
Figure QLYQS_65
的偏好表示向量
Figure QLYQS_68
和项目
Figure QLYQS_69
的嵌入向量
Figure QLYQS_71
的相似度。
5.如权利要求1所述的群组推荐方法，其特征在于，S2.2具体包括：
通过注意力机制学习不同的历史交互项对于群组主题偏好表示影响的权重
Figure QLYQS_73
：
Figure QLYQS_74
Figure QLYQS_75
其中，
Figure QLYQS_76
，
Figure QLYQS_78
表示神经网络中将项目嵌入向量转换为隐藏层的权重矩阵，b表示偏置向量，隐藏层的激活函数使用ReLU函数，再利用权重向量h得到
Figure QLYQS_80
，最后使用softmax函数进行归一化处理得到
Figure QLYQS_82
，其中，
Figure QLYQS_84
表示项目
Figure QLYQS_86
的嵌入向量
Figure QLYQS_88
和项目
Figure QLYQS_77
的嵌入向量
Figure QLYQS_79
的相似度，
Figure QLYQS_81
表示项目
Figure QLYQS_83
的嵌入向量
Figure QLYQS_85
和项目
Figure QLYQS_87
的嵌入向量
Figure QLYQS_89
的相似度。
6.如权利要求1所述的群组推荐方法，其特征在于，S3具体包括：
S3.1：将群组嵌入向量以及项目向量输入到池化层中，群组和项目的交互采用元素积的形式建模，得到元素积
Figure QLYQS_90
，并将元素积与群组嵌入向量、项目的嵌入拼接，组成向量
Figure QLYQS_91
：
Figure QLYQS_92
S3.2经过全连接层后得到
Figure QLYQS_93
，再经过预测层得到
Figure QLYQS_94
，
Figure QLYQS_95
表示预测群组
Figure QLYQS_96
对项目
Figure QLYQS_97
的偏好得分：
Figure QLYQS_98
Figure QLYQS_99
其中，
Figure QLYQS_100
,
Figure QLYQS_101
表示全连接层的权重矩阵和偏置向量，
Figure QLYQS_102
表示预测层的权重矩阵，
Figure QLYQS_103
表示
Figure QLYQS_104
函数得到的向量；
S3.3：根据不同项目的预测得分进行排序，选择前k个项目进行群组推荐，k为大于等于1的整数。
CN202110562763.5A 2021-05-24 2021-05-24 一种基于层次注意力机制的群组推荐方法 Active CN113343119B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110562763.5A CN113343119B (zh) 2021-05-24 2021-05-24 一种基于层次注意力机制的群组推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110562763.5A CN113343119B (zh) 2021-05-24 2021-05-24 一种基于层次注意力机制的群组推荐方法

Publications (2)

Publication Number Publication Date
CN113343119A CN113343119A (zh) 2021-09-03
CN113343119B true CN113343119B (zh) 2023-05-23

Family

ID=77470933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110562763.5A Active CN113343119B (zh) 2021-05-24 2021-05-24 一种基于层次注意力机制的群组推荐方法

Country Status (1)

Country Link
CN (1) CN113343119B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113868550B (zh) * 2021-09-29 2024-03-22 西安理工大学 一种基于注意力机制的群组美食推荐方法
CN114519510A (zh) * 2022-01-27 2022-05-20 电子科技大学(深圳)高等研究院 一种基于互信息和偏好感知的空间众包任务分配方法
CN115357805B (zh) * 2022-08-02 2023-06-16 山东省计算中心（国家超级计算济南中心） 一种基于内外部视角的群组推荐方法
CN116821522B (zh) * 2023-08-30 2023-12-01 暨南大学 一种基于群组的合作性群智感知任务推荐方法及系统
CN117150150B (zh) * 2023-10-31 2024-02-09 中国科学技术大学 一种基于图信号处理的群体推荐方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110765260A (zh) * 2019-10-18 2020-02-07 北京工业大学 一种基于卷积神经网络与联合注意力机制的信息推荐方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109670121A (zh) * 2018-12-18 2019-04-23 辽宁工程技术大学 基于注意力机制的项目级和特征级深度协同过滤推荐算法
CN110502704B (zh) * 2019-08-12 2022-04-15 山东师范大学 一种基于注意力机制的群组推荐方法及系统
US11443346B2 (en) * 2019-10-14 2022-09-13 Visa International Service Association Group item recommendations for ephemeral groups based on mutual information maximization
CN111177577B (zh) * 2019-12-12 2023-03-28 中国科学院深圳先进技术研究院 一种群组的项目推荐方法、智能终端以及存储装置
CN112149010B (zh) * 2020-11-01 2024-05-24 云境商务智能研究院南京有限公司 基于注意力机制的群体旅游路线推荐方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110765260A (zh) * 2019-10-18 2020-02-07 北京工业大学 一种基于卷积神经网络与联合注意力机制的信息推荐方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李诗文 ; 潘善亮 ; .基于注意力机制的神经网络贝叶斯群组推荐算法.计算机应用与软件.2020,(05),全文. *

Also Published As

Publication number Publication date
CN113343119A (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
CN113343119B (zh) 一种基于层次注意力机制的群组推荐方法
WO2021203819A1 (zh) 一种内容推荐方法、装置、电子设备和存储介质
CN109785062B (zh) 一种基于协同过滤模型的混合神经网络推荐系统
CN110795571B (zh) 基于深度学习和知识图谱的文化旅游资源推荐方法
CN110060097A (zh) 基于注意力机制和卷积神经网络的用户行为序列推荐方法
Wasid et al. A particle swarm approach to collaborative filtering based recommender systems through fuzzy features
CN108287904A (zh) 一种基于社会化卷积矩阵分解的文档上下文感知推荐方法
CN113643103B (zh) 基于用户相似度的产品推荐方法、装置、设备及存储介质
CN110225368B (zh) 一种视频定位方法、装置及电子设备
CN114817663A (zh) 一种基于类别感知图神经网络的服务建模与推荐方法
CN112948625B (zh) 一种基于属性异质信息网络嵌入的电影推荐方法
CN112559878A (zh) 一种基于图神经网络的序列推荐系统及推荐方法
CN112149734B (zh) 一种基于堆叠自编码器的跨域推荐方法
Linda et al. Effective context-aware recommendations based on context weighting using genetic algorithm and alleviating data sparsity
Dai et al. DAS-GNN: Denoising autoencoder integrated with self-supervised learning in graph neural network-based recommendations
CN108932643A (zh) 一种个性化推荐方法及装置
CN112435079B (zh) 一种面向纯社交平台的广告推荐方法
CN112559905B (zh) 一种基于双模式注意力机制和社交相似度的会话推荐方法
CN114138967A (zh) 双重最相关推荐方法、装置、设备及存储介质
CN114048380A (zh) 一种基于图神经网络的兴趣点推荐方法
CN112765488A (zh) 一种融合社交网络和知识图谱的推荐方法、系统和设备
Wang et al. MOOC resources recommendation based on heterogeneous information network
CN112528141B (zh) 一种基于多任务学习的个性化评论文本推荐方法
Gong et al. Applying knowledge of users with similar preference to construct surrogate models of iga
CN117421661B (zh) 一种基于反事实增强的图卷积网络的群组推荐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant