CN110929164B - 一种基于用户动态偏好与注意力机制的兴趣点推荐方法 - Google Patents
一种基于用户动态偏好与注意力机制的兴趣点推荐方法 Download PDFInfo
- Publication number
- CN110929164B CN110929164B CN201911250421.9A CN201911250421A CN110929164B CN 110929164 B CN110929164 B CN 110929164B CN 201911250421 A CN201911250421 A CN 201911250421A CN 110929164 B CN110929164 B CN 110929164B
- Authority
- CN
- China
- Prior art keywords
- user
- term
- preference
- short
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000007246 mechanism Effects 0.000 title claims abstract description 21
- 230000007774 longterm Effects 0.000 claims abstract description 84
- 239000013598 vector Substances 0.000 claims description 100
- 238000004364 calculation method Methods 0.000 claims description 27
- 238000013528 artificial neural network Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 7
- 230000010354 integration Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 2
- 230000003542 behavioural effect Effects 0.000 claims description 2
- 230000017105 transposition Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 3
- 230000006399 behavior Effects 0.000 description 68
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了一种基于用户动态偏好与注意力机制的兴趣点推荐方法,包括以下步骤:S1、获取用户的历史行为记录,构建用户历史行为序列,并将用户历史行为序列划分为长期历史行为序列和短期历史行为序列;S2、将长期历史行为序列和短期历史行为序列分别输入到长期偏好模型和短期偏好模型学习用户的长期偏好和短期偏好;S3、将用户的长期偏好和短期偏好进行整合得到用户最终偏好;S4、通过所述用户最终偏好计算用户对地点的评分,根据用户对地点的评分对用户进行兴趣点推荐。本发明既实现了用户偏好的动态建模,又能获得用户偏好精确地表示,提高兴趣点推荐的效果。
Description
技术领域
本发明涉及序列推荐技术领域,尤其涉及一种基于用户动态偏好与注意力机制的兴趣点推荐方法。
背景技术
随着移动智能设备、定位技术和移动互联网技术的快速发展,基于位置的社交网络(Location-Based Social Network,LBSN)开始出现并变得越来越流行。用户可以在社交网络中通过签到的方式分享自己当前所在的地点以及和地点相关的内容信息,如文本或图像,用户分享的地点又称为兴趣点(Point Of Interest,POI)。利用LBSN中用户丰富的历史记录挖掘用户的行为习惯和兴趣偏好,并向用户推荐其可能感兴趣的地点称为兴趣点推荐。兴趣点推荐在LBSN中具有非常重要的作用,既可以满足用户出行的个性化需求又可以为商家带来商业价值,因此兴趣点推荐收受到了工业界和学术界的广泛关注具有非常重要的研究价值。
现有的兴趣点推荐方法大致分为三类:基于协同过滤的方法、基于嵌入学习的方法和基于深度学习的方法。近年来深度学习广泛的应用到兴趣点推荐中,基于深度学习的方法较其他的方法能够挖掘从数据中挖掘更深层次的结构关系,取得了很好的进展。比如循环神经网络(Recurrent Neural Network,RNN)被广泛的研究和使用在兴趣点推荐中对用户的历史行为序列进行建模挖掘用户的偏好,而现有的基于RNN的兴趣点推荐方法大多将用户历史记录压缩到一个固定隐含向量中,一方面限制了该方法的推荐性能,另一方面无法很好的捕捉用户行为序列中地点之间的相关性,存在许多有待研究和改进的问题。
目前注意力机制在计算机视觉和自然语言处理等领域的迅速发展与广泛的应用,开始被引入到兴趣点推荐中极大的改进了现有方法的不足,注意力机制是一种自上而下的信息选择机制来过滤掉大量的无关信息,它表示将注意力放在系统中更重要或更相关的信息上而不是所有的信息。自注意力作为注意力机制的一种特殊情况,经过改进后开始代替RNN对用户的历史序列进行建模,自注意力模型既可以对用户的历史记录进行序列化建模,又可以显式的捕捉历史序列中地点之间的相关性。
上述兴趣点推荐方法虽然取得了很好的效果,但仍存在以下几个问题:其一,用户的兴趣是复杂多样的,多数研究都将用户访问过的地点同等看待,没有区分不同地点对表达用户兴趣的重要性,因此在用户偏好建模的过程中引入很多噪声。其二,用户的兴趣是随着时间动态变化的,多数方法只对用户长期稳定的偏好进行建模,忽略了用户存在短期的兴趣和需求,以致无法精确的捕捉用户的兴趣偏好。
发明内容
本发明的实施例提供了一种基于用户动态偏好与注意力机制的兴趣点推荐方法,以克服现有技术的缺陷。
为了实现上述目的,本发明采取了如下技术方案。
一种基于用户动态偏好与注意力机制的兴趣点推荐方法,包括以下步骤:
S1、获取用户的历史行为记录,构建用户历史行为序列,并将所述用户历史行为序列划分为长期历史行为序列和短期历史行为序列;
S2、将所述长期历史行为序列和短期历史行为序列分别输入到长期偏好模型和短期偏好模型学习用户的长期偏好和短期偏好;
S3、将所述用户的长期偏好和短期偏好进行整合得到用户最终偏好;
S4、通过所述用户最终偏好计算用户对地点的评分,根据用户对地点的评分对用户进行兴趣点推荐。
优选地,所述S1包括:
优选地,所述S2包括:
S21、对用户短期偏好进行建模;
S22、对用户长期偏好进行建模。
优选地,所述S21包括:
S211、位置编码:
为了捕捉短期历史行为序列中地点之间的位置关系,创建一个可学习的位置嵌入矩阵Ep∈Rk×d,为短期历史行为序列中的每一个位置都分配一个向量,在短期偏好模型的最底层将用户短期历史行为序列的向量与位置向量相加:
S212、多头自注意力计算:
将添加了位置信息的进行多头自注意力计算,利用不同的线性转换矩阵将d维度输入向量转化成dk维度的查询向量Query、键向量Key和值向量Value,并进行自注意力计算,将上述操作并行的进行h次,得到h个输出,将h个头的输出进行拼接得到最后输出向量多头自注意力的表达式如下所示:
S213、构建前馈神经网络:
S214、基于目标地点的注意力整合得到用户的短期偏好:
经过自注意力网络后用户短期行为序列中的地点获得了新的向量表示,将目标地点向量作为查询向量,计算目标地点与用户短期历史行为序列中地点的相关度,并利用softmax函数将相关度转化成目标地点在用户短期序列中的注意力分布,注意力分布的计算公式如下:
使用计算得到的注意力分布对用户短期历史行为序列中的地点向量进行加权求和作为用户的短期偏好表示,
优选地,所述S22包括:
将用户的偏好向量作为查询向量,计算用户在长期历史行为序列中的注意力分布,计算公式如下所示:
其中,eu∈Rd表示用户u所对应的向量表示,表示用户长期历史行为序列中第i个地点所对应的向量表示,l表示用户长期历史行为序列的长度,βi表示经过用户注意力计算之后用户长期历史序列中第i个地点所对应的注意力权重;
利用用户在长期历史行为序列中的注意力分布对用户长期历史行为序列中的地点向量进行加权求和得到用户的长期偏好,在用户的长期偏好表示中加入用户的整体偏好向量从而获得用户的长期偏好表示,
优选地,所述S3包括:
利用用户短期偏好表示和长期偏好表示计算得到权重向量,计算公式如下:
w=σ(WlPl u+WsPs u+bw)
其中,w∈Rd为权重向量,表示短期偏好在用户最终偏好中所占的比重,激活函数σ(z)=1/(1+e-z),Wl,Ws∈Rd×d为线性转换矩阵,将长期偏好表示和短期偏好表示转化到同一语义空间,bw∈Rd为偏置向量;
利用计算得到的权重向量对用户长期偏好的和短期偏好进行加权求和得到用户的最终偏好表示,计算公式如下:
Pu=(1-w)⊙Pl u+w⊙Ps u
其中,⊙表示向量之间对位相乘。
优选地,所述S4包括:
获得用户的最终偏好表示之后通过用户偏好表示向量与地点向量的点积来计算用户对地点的评分,
将二分类交叉熵作为模型训练的目标函数,并使用Adam算法训练兴趣点推荐模型,定义的目标函数如下所示:
其中,激活函数σ(z)=1/(1+e-z),R+为正样本集合,R-为负样本集合,N为训练过程中所有样本总数;
在对用户进行兴趣点推荐时,将以用户当前的位置为中心,距离d为半径的圆内用户没有访问过的地点作为向用户推荐的候选地点集合,再利用训练好的兴趣点推荐模型计算用户对推荐候选集合中地点的评分,按照评分的大小进行排序,向用户推荐评分较高的前K个地点。
由上述本发明的实施例提供的技术方案可以看出,本发明实施例提供了一种基于用户动态偏好与注意力机制的兴趣点推荐方法,将用户的历史行为序列划分为长期历史行为序列和短期历史行为序列,通过设计长期偏好模型和短期偏好模型两种模型从不同的角度对用户偏好建模,既能学习用户长期稳定的偏好又能捕捉用户短期内存在的兴趣需求,实现了用户偏好的动态建模。同时恰当的将注意力机制的使用在长短期偏好模型当中,从而实现更高效、准确的兴趣点推荐。
本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一种基于用户动态偏好与注意力机制的兴趣点推荐方法的结构示意图;
图2为一种基于用户动态偏好与注意力机制的兴趣点推荐方法的流程示意图;
图3为一种划分用户长期历史行为序列和短期历史行为序列的示意图;
图4为一种自注意力网络的结构示意图。
具体实施方式
下面详细描述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样定义,不会用理想化或过于正式的含义来解释。
为便于对本发明实施例的理解,下面将结合附图以几个具体实施例为例做进一步的解释说明,且各个实施例并不构成对本发明实施例的限定。
本发明实施例提供了一种基于用户动态偏好与注意力机制的兴趣点推荐方法,其中,兴趣点推荐模型包括:嵌入层向量化表示、长期偏好模型、短期偏好模型和长短期偏好整合。由图1可知,该方法将用户的历史行为序列划分为长期历史行为序列和短期历史行为序列,分别利用长期偏好模型和短期偏好模型从不同的角度对用户偏好建模,既能学习用户长期稳定的偏好又能捕捉用户短期内存在的兴趣需求。同时设计基于注意力机制的长短期偏好模型,从而实现更高效、准确的兴趣点推荐。
本发明实施例提供了一种基于用户动态偏好与注意力机制的兴趣点推荐方法,如图2所示,包括以下步骤:
S1、获取用户的历史行为记录,构建用户历史行为序列,并将用户历史行为序列划分为长期历史行为序列和短期历史行为序列。
首先,获取用户的历史行为记录,将每个用户的历史记录按时间进行排序,并将用户的历史行为序列划分为长期历史行为序列和短期历史行为序列。具体如图3所示,假设按时间排序后用户u的历史行为序列为其中表示用户u访问的第i个地点,|h|表示用户访问地点的数目。将用户访问的最后一个地点作为预测的目标地点,将剩余历史记录作为用户的长期历史行为序列,取最近的k个历史记录作为用户的短期历史行为序列,其中1≤k≤10。
其次,利用嵌入层对用户和地点进行向量化表示,具体为:将用户集合中每一个用户和地点集合中每一个地点都使用一个向量来表示,用随机初始化的方式创建一个用户嵌入矩阵Eu∈Rm×d和一个地点嵌入矩阵Ev∈Rn×d,eu表示矩阵Eu的第u行,ev表示矩阵Ev的第v行,d表示向量的维度,m和n分别表示数据集中用户的数目和地点的数目。通过向量表示可以将用户长期历史行为序列中的每个地点转化为该地点所对应的嵌入向量,得到用户长期历史行为序列的向量化表示同理可得到用户短期历史行为序列的向量化表示
S2、将长期历史行为序列和短期历史行为序列分别输入到长期偏好模型和短期偏好模型学习用户的长期偏好和短期偏好。
本发明实施例提供了两种方法分别对用户短期偏好和长期偏好进行建模,下面将分别对用户短期偏好建模过程和长期偏好建模过程进行详细的介绍。
短期偏好模型主要是为了捕捉用户短期行为序列中地点之间的相关性以及在预测时减小无关行为的影响。短期偏好模型包括自注意力网络和基于目标地点的注意力两个部分。
自注意力网络这一部分主要是用来捕捉用户短期行为序列中地点的序列相关性获得地点更丰富的表示,自注意力网络的结构如图4所示,包括:位置编码、多头自注意力以及前馈神经网络三个部分。
S21、对用户短期偏好进行建模,包括以下步骤:
S211、位置编码
由于自注意力网络不包含任何的循环和卷积结构,无法捕捉用户短期行为序列中地点之间的位置关系,首先创建一个可学习的位置嵌入矩阵Ep∈Rk×d,为短期序列中每一个位置都分配一个向量,在短期模型的最底层将用户短期历史行为的向量与位置向量相加捕捉短期历史行为序列中地点之间的位置关系。
S212、多头自注意力计算
自注意力是注意机制的一种特殊情况,它将序列自身作为查询、键和值向量进行注意力的计算,以下公式为注意力的计算方式,这里使用的计算方式是缩放的点积注意力。
用户的兴趣受到多方面的影响,而单一的自注意力网络无法捕捉地点之间多方面的关系,而多头自注意力可以捕捉地点在不同表示子空间的关系并且可以从多个角度对用户偏好进行建模。
将添加了位置信息的进行多头自注意力计算,首先利用不同的线性转换矩阵将d维度输入向量转化成dk维度的查询向量(Query)、键向量(Key)和值向量(Value),并进行自注意力计算,将上述操作并行的进行h次,得到h个输出,最后将h个头的输出进行拼接得到最后输出向量因此通过多头自注意力捕捉了序列自身在不同子空间的关系。多头自注意力的表达式如下所示:
S213、构建前馈神经网络
由于多头自注意力部分是线性模型,因此在多头自注意力部分输出之后使用全连接的前馈神经网络学习不同潜在特征的非线性交互,前馈神经网络包括两个线性转换和一个非线性激活函数。并且在前馈网络前后加入残差连接和层归一化。残差连接将低层次的特征传入高层并且避免了训练过程中的梯度消失,层归一化有利于稳定和加速模型训练。具体表达式如下所示:
其中,W1,W2∈Rd×d,b1,b2∈Rd为模型参数,W1、W2表示前馈神经网络的权重矩阵,b1、b2表示偏置向量,Fs u∈Rk×d表示前馈神经网络的输出。
S214、基于目标地点的注意力整合得到用户的短期偏好
经过前馈神经网络之后获得了用户短期序列中地点新的向量表示,使用基于目标地点的注意力方式得到用户的短期偏好。将目标地点向量作为查询向量,计算目标地点与用户短期序列中地点的相关度,并利用softmax函数将相关度转化成目标地点在用户短期序列中的注意力分布,注意力分布的计算公式如下:
其中,et∈Rd表示目标地点所对应的向量表示,Fs u[i]∈Rd表示经过步骤三后用户短期行为序列中第i个地点的向量表示,αi表示经过基于目标地点的注意力计算后用户短期历史序列中第i个地点所对应的注意力权重;
最后使用计算得到的注意力分布对用户短期序列中的地点向量进行加权求和作为用户的短期偏好表示,利用这种方式可以根据目标地点动态的获取用户短期偏好。
S22、对用户长期偏好进行建模
长期偏好模型主要用于捕捉用户长期稳定的兴趣偏好,该部分模型将用户访问过的地点作为用户的兴趣表示,对用户行为历史中的地点表示向量进行加权求和,对重要的能够表现用户偏好的地点赋予更大的权重,这里使用基于用户的注意力方式区分不同地点对用户的重要程度。在这里将用户的偏好向量作为查询向量,计算用户在长期历史序列中的注意力分布,计算公式如下所示:
其中,eu∈Rd表示用户u所对应的向量表示,表示用户长期历史行为序列中第i个地点所对应的向量表示,l表示用户长期历史行为序列的长度,βi表示经过用户注意力计算之后用户长期历史序列中第i个地点所对应的注意力权重;
得到用户在长期历史行为序列中的注意力分布后对用户长期历史行为序列中的地点向量进行加权求和得到用户的长期偏好,由于用户的历史记录有限,在用户的长期偏好表示中加入用户的整体偏好向量从而获得用户更精确和丰富的长期偏好表示。
S3、将用户的长期偏好和短期偏好进行整合得到用户最终偏好。
长期偏好表示的是用户主要稳定的偏好,而短期偏好捕捉到的是用户短期内兴趣需求,在兴趣点推荐过程中起到了不同的作用,因此需要对用户的短期偏好和长期偏好进行有效的整合。
本发明借鉴循环神经网络中的门函数首先根据学习到的用户短期偏好表示和长期偏好表示计算得到权重向量,计算公式如下:
w=σ(WlPl u+WsPs u+bw)
其中,w∈Rd为权重向量,表示短期偏好在用户最终偏好中所占的比重,激活函数σ(z)=1/(1+e-z),Wl,Ws∈Rd×d为线性转换矩阵,将长期偏好表示和短期偏好表示转化到同一语义空间,bw∈Rd为偏置向量;
利用计算得到的权重向量对用户长期偏好的和短期偏好进行加权求和得到用户的最终偏好表示,计算公式如下:
Pu=(1-w)⊙Pl u+w⊙Ps u
其中,⊙表示向量之间对位相乘;
S4、通过用户最终偏好计算用户对地点的评分,根据用户对地点的评分对用户进行兴趣点推荐。
获得用户最终的偏好表示之后通过用户偏好表示向量与地点向量的点积来计算用户对地点的评分。
在进行模型训练时,将学习该兴趣点推荐模型看做一个二分类问题,数据集中用户真正访问的地点作为正样本,在用户没有访问的地点集合中随机采样作为负样本,因此将二分类交叉熵作为兴趣点推荐模型训练的目标函数,并使用Adam算法训练兴趣点推荐模型,定义的目标函数如下所示:
其中,激活函数σ(z)=1/(1+e-z),R+为正样本集合,R-为负样本集合,N为训练过程中所有样本(包括正负样本)总数。
在兴趣点推荐阶段,首先将以用户当前的位置为中心,距离d为半径的圆内用户没有访问过的地点作为向用户推荐的候选地点集合。再利用训练好的兴趣点推荐模型计算用户对推荐候选集合中地点的评分,按照评分的大小进行排序,向用户推荐评分较高的前K个地点。
综上所述,本发明实施例提出的一种基于用户动态偏好与注意力机制的兴趣点推荐方法,该方法将用户的历史行为序列划分为长期历史行为序列和短期历史行为序列,通过设计长期偏好模型和短期偏好模型两种模型从不同的角度对用户偏好建模,既能学习用户长期稳定的偏好又能捕捉用户短期内存在的兴趣需求,既实现了用户偏好的动态建模,又能获得用户偏好精确地表示,提高兴趣点推荐的效果;同时恰当的将注意力机制使用在长短期偏好模型当中,使得在学习用户偏好的过程中过滤序列中无关的信息,并利用自注意力模型捕捉了用户短期历史的序列相关性,从而实现更高效、准确的兴趣点推荐。
本领域普通技术人员可以理解:附图只是一个实施例的示意图,附图中的模块或流程并不一定是实施本发明所必须的。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。
Claims (3)
1.一种基于用户动态偏好与注意力机制的兴趣点推荐方法,其特征在于,包括以下步骤:
S1、获取用户的历史行为记录,构建用户历史行为序列,并将所述用户历史行为序列划分为长期历史行为序列和短期历史行为序列;
S2、将所述长期历史行为序列和短期历史行为序列分别输入到长期偏好模型和短期偏好模型学习用户的长期偏好和短期偏好;具体包括:
S21、对用户短期偏好进行建模,具体包括:
S211、位置编码:
为了捕捉短期历史行为序列中地点之间的位置关系,创建一个可学习的位置嵌入矩阵Ep∈Rk×d,为短期历史行为序列中的每一个位置都分配一个向量,在短期偏好模型的最底层将用户短期历史行为序列的向量与位置向量相加:
S212、多头自注意力计算:
将添加了位置信息的进行多头自注意力计算,利用不同的线性转换矩阵将d维度输入向量转化成dk维度的查询向量Query、键向量Key和值向量Value,并进行自注意力计算,将上述操作并行的进行h次,得到h个输出,将h个头的输出进行拼接得到最后输出向量多头自注意力的表达式如下所示:
S213、构建前馈神经网络:
S214、基于目标地点的注意力整合得到用户的短期偏好:
经过自注意力网络后用户短期行为序列中的地点获得了新的向量表示,将目标地点向量作为查询向量,计算目标地点与用户短期历史行为序列中地点的相关度,并利用softmax函数将相关度转化成目标地点在用户短期序列中的注意力分布,注意力分布的计算公式如下:
使用计算得到的注意力分布对用户短期历史行为序列中的地点向量进行加权求和作为用户的短期偏好表示,
S22、对用户长期偏好进行建模,具体包括:
将用户的偏好向量作为查询向量,计算用户在长期历史行为序列中的注意力分布,计算公式如下所示:
其中,eu∈Rd表示用户u所对应的向量表示,表示用户长期历史行为序列中第i个地点所对应的向量表示,l表示用户长期历史行为序列的长度,βi表示经过用户注意力计算之后用户长期历史序列中第i个地点所对应的注意力权重;
利用用户在长期历史行为序列中的注意力分布对用户长期历史行为序列中的地点向量进行加权求和得到用户的长期偏好,在用户的长期偏好表示中加入用户的整体偏好向量从而获得用户的长期偏好表示,
S3、将所述用户的长期偏好和短期偏好进行整合得到用户最终偏好;具体包括:
利用用户短期偏好表示和长期偏好表示计算得到权重向量,计算公式如下:
其中,w∈Rd为权重向量,表示短期偏好在用户最终偏好中所占的比重,激活函数σ(z)=1/(1+e-z),Wl,Ws∈Rd×d为线性转换矩阵,将长期偏好表示和短期偏好表示转化到同一语义空间,bw∈Rd为偏置向量;
利用计算得到的权重向量对用户长期偏好的和短期偏好进行加权求和得到用户的最终偏好表示,计算公式如下:
Pu=(1-w)⊙Pl u+w⊙Ps u
其中,⊙表示向量之间对位相乘;
S4、通过所述用户最终偏好计算用户对地点的评分,根据用户对地点的评分对用户进行兴趣点推荐。
3.根据权利要求1所述的方法,其特征在于,所述S4包括:
获得用户的最终偏好表示之后通过用户偏好表示向量与地点向量的点积来计算用户对地点的评分,
将二分类交叉熵作为模型训练的目标函数,并使用Adam算法训练兴趣点推荐模型,定义的目标函数如下所示:
其中,激活函数σ(z)=1/(1+e-z),R+为正样本集合,R-为负样本集合,N为训练过程中所有样本总数;
在对用户进行兴趣点推荐时,将以用户当前的位置为中心,距离d为半径的圆内用户没有访问过的地点作为向用户推荐的候选地点集合,再利用训练好的兴趣点推荐模型计算用户对推荐候选集合中地点的评分,按照评分的大小进行排序,向用户推荐评分较高的前K个地点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911250421.9A CN110929164B (zh) | 2019-12-09 | 2019-12-09 | 一种基于用户动态偏好与注意力机制的兴趣点推荐方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911250421.9A CN110929164B (zh) | 2019-12-09 | 2019-12-09 | 一种基于用户动态偏好与注意力机制的兴趣点推荐方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110929164A CN110929164A (zh) | 2020-03-27 |
CN110929164B true CN110929164B (zh) | 2023-04-21 |
Family
ID=69858418
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911250421.9A Active CN110929164B (zh) | 2019-12-09 | 2019-12-09 | 一种基于用户动态偏好与注意力机制的兴趣点推荐方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110929164B (zh) |
Families Citing this family (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113495991A (zh) * | 2020-04-03 | 2021-10-12 | 北京沃东天骏信息技术有限公司 | 一种推荐方法和装置 |
CN111666462B (zh) * | 2020-04-28 | 2021-09-21 | 百度在线网络技术(北京)有限公司 | 地理位置的推荐方法、装置、设备和计算机存储介质 |
CN113674043A (zh) * | 2020-05-15 | 2021-11-19 | 北京沃东天骏信息技术有限公司 | 商品推荐方法及装置、计算机可读存储介质、电子设备 |
CN111506822B (zh) * | 2020-05-28 | 2023-08-18 | 支付宝(杭州)信息技术有限公司 | 数据编码以及信息推荐方法、装置和设备 |
CN111723306B (zh) * | 2020-05-29 | 2023-07-25 | 长三角信息智能创新研究院 | 一种基于地理感知的序列位置推荐方法 |
CN112163147A (zh) * | 2020-06-09 | 2021-01-01 | 中森云链(成都)科技有限责任公司 | 一种用于网站会话场景的推荐方法 |
CN111915395A (zh) * | 2020-07-07 | 2020-11-10 | 云境商务智能研究院南京有限公司 | 一种基于多视图注意力机制的旅游包推荐方法 |
CN111932336A (zh) * | 2020-07-17 | 2020-11-13 | 重庆邮电大学 | 一种基于长短期兴趣偏好的商品列表推荐方法 |
CN111949865A (zh) * | 2020-08-10 | 2020-11-17 | 杭州电子科技大学 | 基于图神经网络与用户长短期偏好的兴趣点推荐方法 |
CN111949877B (zh) * | 2020-08-14 | 2023-02-28 | 中国科学院信息工程研究所 | 一种个性化兴趣点推荐方法及系统 |
CN114422859B (zh) * | 2020-10-28 | 2024-01-30 | 贵州省广播电视信息网络股份有限公司 | 基于深度学习的有线电视运营商的排序推荐系统及方法 |
CN112256971B (zh) * | 2020-10-29 | 2023-06-20 | 清华大学深圳国际研究生院 | 一种序列推荐方法及计算机可读存储介质 |
CN112381581B (zh) * | 2020-11-17 | 2022-07-08 | 东华理工大学 | 一种基于改进Transformer的广告点击率预估方法 |
CN112541846B (zh) * | 2020-12-22 | 2022-11-29 | 山东师范大学 | 一种基于注意力机制的高校选修课混合推荐方法及系统 |
CN112559878B (zh) * | 2020-12-24 | 2022-09-23 | 山西大学 | 一种基于图神经网络的序列推荐系统及推荐方法 |
CN112700274A (zh) * | 2020-12-29 | 2021-04-23 | 华南理工大学 | 一种基于用户偏好的广告点击率预估方法 |
CN112631560B (zh) * | 2020-12-29 | 2023-07-07 | 上海海事大学 | 一种推荐模型的目标函数的构建方法及终端 |
CN112733030B (zh) * | 2021-01-13 | 2022-08-09 | 重庆邮电大学 | 一种用户兴趣偏好捕获方法 |
CN112801749B (zh) * | 2021-02-04 | 2022-10-14 | 重庆邮电大学 | 融合用户连续签到行为序列上下文特征的兴趣点推荐方法 |
CN112966193B (zh) * | 2021-03-05 | 2023-07-25 | 北京百度网讯科技有限公司 | 出行意图推断方法、模型训练方法、相关装置及电子设备 |
CN112948716B (zh) * | 2021-03-05 | 2023-02-28 | 桂林电子科技大学 | 一种基于多头注意力机制的连续兴趣点包推荐方法 |
CN112948709B (zh) * | 2021-03-05 | 2022-03-25 | 桂林电子科技大学 | 一种影响力感知驱动的连续兴趣点实时推荐方法 |
CN112950325B (zh) * | 2021-03-16 | 2023-10-03 | 山西大学 | 一种社交行为融合的自注意力序列推荐方法 |
CN113139140B (zh) * | 2021-05-17 | 2024-01-16 | 辽宁工程技术大学 | 基于时空感知gru并结合用户关系偏好的旅游景点推荐方法 |
CN113407819B (zh) * | 2021-05-20 | 2022-06-17 | 桂林电子科技大学 | 一种基于残差网络的序列推荐方法、系统及存储介质 |
CN113569133A (zh) * | 2021-06-11 | 2021-10-29 | 车主邦(北京)科技有限公司 | 一种信息推荐方法及装置 |
CN113505306B (zh) * | 2021-06-21 | 2022-04-22 | 广东交通职业技术学院 | 基于异质图神经网络的兴趣点推荐方法、系统及介质 |
CN113239179B (zh) * | 2021-07-12 | 2021-09-17 | 北京邮电大学 | 科研技术兴趣领域识别模型训练方法、科技资源查询方法及装置 |
CN114003131B (zh) * | 2021-12-31 | 2022-05-27 | 垒途智能教科技术研究院江苏有限公司 | 一种基于注意力引导机制的vr叙事方法 |
CN114637911B (zh) * | 2022-02-21 | 2024-04-09 | 桂林电子科技大学 | 一种注意力融合感知网络的下一个兴趣点推荐方法 |
CN115098763B (zh) * | 2022-05-05 | 2023-04-07 | 杭州电子科技大学 | 基于动静态兴趣建模与持续时间感知的序列服务推荐方法 |
CN114579893B (zh) * | 2022-05-09 | 2023-04-07 | 山东大学 | 一种连续poi推荐方法及系统 |
CN114722238B (zh) * | 2022-05-13 | 2022-09-30 | 北京达佳互联信息技术有限公司 | 视频推荐方法、装置、电子设备、存储介质及程序产品 |
CN114781625B (zh) * | 2022-06-13 | 2022-09-23 | 支付宝(杭州)信息技术有限公司 | 一种网络模型训练、推送内容确定方法及装置 |
CN116049535A (zh) * | 2022-08-18 | 2023-05-02 | 荣耀终端有限公司 | 信息推荐方法、装置、终端装置及存储介质 |
CN115858926B (zh) * | 2022-11-29 | 2023-09-01 | 杭州电子科技大学 | 基于用户的复杂多模式兴趣提取与建模的序列推荐方法 |
CN116127199B (zh) * | 2023-04-17 | 2023-06-16 | 昆明理工大学 | 一种针对服装序列推荐的用户偏好建模方法 |
CN117763492A (zh) * | 2023-12-04 | 2024-03-26 | 淮阴工学院 | 基于时序空间特征和偏好波动的网络安全工具智能推荐方法及装置 |
CN117633371B (zh) * | 2024-01-25 | 2024-04-12 | 云南大学 | 基于多注意力机制的推荐方法、设备和可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013081051A1 (ja) * | 2011-12-02 | 2013-06-06 | Kddi株式会社 | レコメンド装置、レコメンドシステム、レコメンド方法およびプログラム |
CN110008409A (zh) * | 2019-04-12 | 2019-07-12 | 苏州市职业大学 | 基于自注意力机制的序列推荐方法、装置及设备 |
CN110060097A (zh) * | 2019-04-01 | 2019-07-26 | 苏州市职业大学 | 基于注意力机制和卷积神经网络的用户行为序列推荐方法 |
CN110287335A (zh) * | 2019-06-17 | 2019-09-27 | 桂林电子科技大学 | 基于知识图谱和用户长短期偏好的个性化景点推荐方法及装置 |
CN110399565A (zh) * | 2019-07-29 | 2019-11-01 | 北京理工大学 | 基于时空周期注意力机制的递归神经网络兴趣点推荐方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104572734B (zh) * | 2013-10-23 | 2019-04-30 | 腾讯科技(深圳)有限公司 | 问题推荐方法、装置及系统 |
-
2019
- 2019-12-09 CN CN201911250421.9A patent/CN110929164B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013081051A1 (ja) * | 2011-12-02 | 2013-06-06 | Kddi株式会社 | レコメンド装置、レコメンドシステム、レコメンド方法およびプログラム |
CN110060097A (zh) * | 2019-04-01 | 2019-07-26 | 苏州市职业大学 | 基于注意力机制和卷积神经网络的用户行为序列推荐方法 |
CN110008409A (zh) * | 2019-04-12 | 2019-07-12 | 苏州市职业大学 | 基于自注意力机制的序列推荐方法、装置及设备 |
CN110287335A (zh) * | 2019-06-17 | 2019-09-27 | 桂林电子科技大学 | 基于知识图谱和用户长短期偏好的个性化景点推荐方法及装置 |
CN110399565A (zh) * | 2019-07-29 | 2019-11-01 | 北京理工大学 | 基于时空周期注意力机制的递归神经网络兴趣点推荐方法 |
Non-Patent Citations (1)
Title |
---|
基于知识图谱和用户长短期偏好的个性化景点推荐;贾中浩等;《智能系统学报》;20190906;第15卷(第5期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110929164A (zh) | 2020-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110929164B (zh) | 一种基于用户动态偏好与注意力机制的兴趣点推荐方法 | |
Wu et al. | Session-based recommendation with graph neural networks | |
Mao et al. | Predicting remaining useful life of rolling bearings based on deep feature representation and long short-term memory neural network | |
CN111931062B (zh) | 一种信息推荐模型的训练方法和相关装置 | |
Wu et al. | Learning of multimodal representations with random walks on the click graph | |
CN112966091B (zh) | 一种融合实体信息与热度的知识图谱推荐系统 | |
CN113139140B (zh) | 基于时空感知gru并结合用户关系偏好的旅游景点推荐方法 | |
CN111241425B (zh) | 一种基于层次注意力机制的poi推荐方法 | |
Kong et al. | Probabilistic low-rank multitask learning | |
CN114519145A (zh) | 一种基于图神经网络挖掘用户长短期兴趣的序列推荐方法 | |
Gui et al. | Depression detection on social media with reinforcement learning | |
Hong et al. | Selective residual learning for visual question answering | |
Buskirk et al. | Why machines matter for survey and social science researchers: Exploring applications of machine learning methods for design, data collection, and analysis | |
Yin et al. | ADPR: An attention-based deep learning point-of-interest recommendation framework | |
Zhang et al. | A generative adversarial network–based method for generating negative financial samples | |
Isaac et al. | A conceptual enhancement of lstm using knowledge distillation for hate speech detection | |
Bagwan et al. | Artificially intelligent health chatbot using deep learning | |
Twardowski et al. | Metric learning for session-based recommendations | |
Dong et al. | A hierarchical network with user memory matrix for long sequence recommendation | |
Kumar et al. | A Recommendation System & Their Performance Metrics using several ML Algorithms | |
Rong et al. | Exploring network behavior using cluster analysis | |
Liu | POI recommendation model using multi-head attention in location-based social network big data | |
Wang et al. | Semantic place prediction with user attribute in social media | |
CN112559905A (zh) | 一种基于双模式注意力机制和社交相似度的会话推荐方法 | |
CN111444338A (zh) | 文本处理、装置、存储介质及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |