CN110032679B - 一种基于层次注意力网络的动态新闻推荐的方法 - Google Patents
一种基于层次注意力网络的动态新闻推荐的方法 Download PDFInfo
- Publication number
- CN110032679B CN110032679B CN201910302363.3A CN201910302363A CN110032679B CN 110032679 B CN110032679 B CN 110032679B CN 201910302363 A CN201910302363 A CN 201910302363A CN 110032679 B CN110032679 B CN 110032679B
- Authority
- CN
- China
- Prior art keywords
- news
- user
- sequence
- sentence
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出一种基于层次注意力网络的动态新闻推荐的方法,采用的模块包括层次注意力网络,卷积层和全连接层;在所述层次注意力网络中包括句子水平的注意力网络和新闻水平的注意力网络。用户的新闻序列和候选新闻,经过所述句子水平的注意力网络,得到所述新闻序列中句子的注意力权重,然后计算句子内容向量的加权和得到新闻的内容向量,所述新闻序列的嵌入表示与所述内容向量连接得到所述新闻的整体表示,所述整体表示经过所述新闻水平的注意力网络,获得所述新闻序列中新闻的注意力权重,得到新闻的最终表示;在卷积层中,按序堆叠历史新闻的最终表示得到矩阵,输入卷积层学习用户序列阅读模式,得到序列偏好向量;在全连接层中,将所述序列偏好向量、候选新闻整体表示和用户嵌入表示进行连接,得到用户点击候选新闻的概率。
Description
技术领域
本发明涉及一种动态新闻推荐的方法,尤其涉及一种基于层次注意力网络的动态新闻推荐的方法。
背景技术
近年来,随着云计算、大数据等技术的迅猛发展,互联网中各类应用的层出不穷引发了数据规模的爆炸式增长。大数据中蕴含着丰富的价值与巨大的潜力,给人类社会带来变革性的发展,但同时也带来了“信息过载”问题。如何快速有效地从纷繁复杂的数据中获取有价值的信息成为了当前大数据发展的关键难题。推荐系统作为解决“信息过载”问题的有效方法,已经成为学术界和工业界的关注热点,并得到了广泛应用。随着万维网的发展,人们的新闻阅读习惯逐渐从报纸、电视等传统媒体转向在线新闻网站,例如谷歌新闻、雅虎新闻、今日头条等。在线新闻网站从多个来源收集海量新闻,为用户提供新闻的聚合视图,存在严重的“信息过载”问题。为解决这一问题,新闻推荐方法旨在根据用户的个人兴趣,向用户推送他们感兴趣的新闻,提升用户阅读体验,同时为新闻网站增加用户粘性,带来良好的收益。
现有技术中存在4种新闻推荐方法,一是基于内容的方法,基于内容的方法主要根据用户已经阅读的新闻,推荐其他内容上相似的新闻。首先获取用户的历史阅读新闻,然后从这些新闻中学习用户画像,最后根据用户画像与候选新闻之间的相似度进行推荐。二是协同过滤方法,协同过滤方法利用相似用户之间具有相似兴趣的特点,来发现用户对新闻的偏好。首先计算用户之间的相似度,然后向用户推荐相似度大的其他用户读过的新闻。三是混合方法,为了获得更好的推荐效果,混合方法组合以上两种方法进行推荐,分别使用基于内容和协同过滤的方法得到推荐分数,然后组合得到最后的推荐分数;或是SCENE模型首先将候选新闻聚类为主题,然后构建用户画像,包括主题分布、实体分布和访问模式相似的用户,最后先选择主题,再在主题中选择新闻,进行推荐。四是基于深度学习的方法。近两年来,基于深度学习的方法在新闻推荐领域展示了优越的性能,具有对复杂用户行为的建模能力,可以构建更加贴合用户偏好的模型。采用循环神经网络(RNN)进行新闻序列推荐;或采用三维卷积神经网络(3D CNN)进行建模,利用了内容信息和序列信息;或采用CNN和注意力网络来进行新闻推荐,使用知识图谱加强效果。
现有技术一基于内容的方法为用户推荐和历史阅读新闻相似的新闻,但是该方法缺乏多样性,无法推荐给用户不熟悉但具有潜在兴趣的新闻。现有技术二中协同过滤方法的冷启动问题十分严峻,对于没有历史记录的新用户,无法找到与其兴趣相似的用户,更重要的是,每时每刻都有新闻产生,过时的新闻被新的新闻快速替代,对于没有被阅读过的新的新闻,无法进行推荐,因此协同过滤方法并不适用于新闻领域。现有技术三混合方法组合以上两种方法,可以缓解各自的不足,但是数据往往具有多模态、异构等复杂特征,该方法的研究仍然面临着严峻的挑战。现有技术四基于深度学习的方法都从新闻水平提取特征,很少有工作考虑细粒度的句子水平的区分,并且很少有工作考虑新闻阅读的时间衰减特性以及新闻阅读的序列特性。
发明内容
本发明提出一种基于层次注意力网络的动态新闻推荐的方法,采用的模块包括层次注意力网络、卷积层和全连接层;所述层次注意力网络包括句子水平的注意力网络和新闻水平的注意力网络。用户的新闻序列和候选新闻经过所述句子水平的注意力网络,得到所述新闻序列中句子的注意力权重,然后计算句子内容向量的加权和得到新闻的内容向量,所述新闻的嵌入表示与所述新闻的内容向量连接得到所述新闻的整体表示,所述整体表示经过所述新闻水平的注意力网络,得到所述新闻序列中新闻的注意力权重,最后得到新闻的最终表示;在卷积层中,按序堆叠历史新闻的最终表示得到矩阵,输入卷积层学习用户序列阅读模式,得到序列偏好向量;在全连接层中,将所述序列偏好向量、候选新闻整体表示和用户嵌入表示进行连接后输入,输出得到用户点击候选新闻的概率。
本发明达到的技术效果为,一是从句子和新闻两个粒度,区分之前阅读的内容对预测当前候选新闻的差异化影响,具体地使用两层注意力网络,加大和候选新闻内容相关的句子和历史新闻的权重,增强推荐的可解释性;二是使用时间衰减因子,阅读时间越近的历史新闻越能反映用户当前的兴趣,反映新闻阅读的动态性;三是使用一维卷积神经网络(1D CNN)学习新闻阅读中的序列信息,挖掘用户序列阅读模式。
附图说明
图1为本发明的整体框架图;
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提出一种基于层次注意力网络的动态新闻推荐的方法。当在线新闻网站收集到一条新的新闻时,本发明根据用户历史阅读内容来预测每个用户点击这条新闻的概率。Ci=[c1,c2,…,cL]表示用户i最近阅读的包含L条新闻的新闻序列,其中L表示用来预测用户点击率的历史新闻数目。每条新闻cj=[sj1,sj2,...,sjK]是一个句子序列,其中sjk是新闻cj的第k个句子,K是每条新闻用来预测用户点击率的最大句子数目。给定新闻序列Ci和候选新闻c*,目标是预测用户i点击候选新闻c*的概率。
图1为本发明的方法架构图,主要由三部分组成:层次注意力网络、卷积层和全连接层,输入为用户i的新闻序列Ci和候选新闻c*。首先,经过句子水平的注意力网络,计算句子sjk的注意力权重βjk,计算句子内容向量的加权和得到新闻cj的内容向量v(cj)。同时,学习新闻cj的嵌入表示e(cj),与内容向量连接得到新闻cj的整体表示[v(cj)||e(cj)]。然后,经过新闻水平的注意力网络,基于时间衰减因子,获取新闻cj的注意力权重αj,通过[v(cj)||e(cj)]和αj,得到新闻cj的最终表示xj。然后,在卷积层中,按序堆叠历史新闻的最终表示得到矩阵,输入卷积层学习用户序列阅读模式,得到序列偏好向量pi。最后,在全连接层中,将序列偏好向量pi、候选新闻整体表示[v(c*)||e(c*)]和用户嵌入表示ui进行连接后输入,输出得到用户i点击候选新闻c*的概率
本发明使用Word2vec得到句子内容向量和候选新闻内容向量:假设每个单词被表示为d维向量,句子sjk的内容向量v(sjk)∈Rd通过sjk中的单词向量求平均得到,所述d为通过Word2vec得到的单词向量长度,候选新闻c*的内容向量v(c*)∈Rd通过c*中的单词向量求平均得到。
本发明采用一个两层的前馈神经网络来确定句子sjk的非标准化的注意力权重bjk:
bjk=W2φ(W1[v(sjk)||v(c*)]+b1)
这里[·||·]表示连接操作,φ(x)=max(0,x)是ReLU非线性激活函数,W1∈Rd ×2d、W2∈R1×d以及b1∈Rd是前馈神经网络的参数。所述注意力权重经过softmax函数进行标准化:
所述βjk为句子sjk的标准化的注意力权重,代表句子sjk和候选新闻c*的内容相似度。进而计算新闻cj关于当前候选新闻c*的内容向量v(cj):
和句子水平注意力网络的出发点相似,和候选新闻内容相关的历史新闻对预测点击率有更大的影响,新闻水平的注意力网络能够捕捉不同新闻的影响。到目前为止,已经得到了每条新闻的内容向量。此外,结构信息还提供了一种衡量新闻相似度的方法,例如,被人们频繁共同点击的两条新闻往往是相似的,为保留这种结构信息,需要进一步学习新闻cj的嵌入表示e(cj)和新闻c*的嵌入表示e(c*),然后分别使用[v(cj)||e(cj)]∈R2d和[v(c*)||e(c*)]∈R2d作为新闻cj和新闻c*的整体表示。
本发明采用另一个两层的前馈神经网络来确定新闻cj的非标准化的注意力权重aj:
aj=W4φ(W3[v(cj)||e(cj)||v(c*)||e(c*)]+b2)+b3
其中,W3∈R2d×4d、W4∈R1×2d、b2∈R2d以及b3∈R是前馈神经网络的参数。在新闻水平的注意力网络中,考虑到时间间隔的影响,进一步加入时间衰减因子。举个例子,当一个用户刚刚看完一条新闻,在短时间内,例如1分钟,更倾向于阅读相似内容的新闻;当过了较长一段时间,例如6小时,这条新闻对用户当前兴趣的影响变小。本发明建模用户新闻阅读行为的时间动态性,采用指数衰减公式来建模新闻cj的时间衰减因子ft(j):
ft(j)=exp(-γ(t*-tj)/3600)
其中,γ≥0表示时间衰减速率,tj表示用户i阅读新闻cj的时间戳,t*表示进行推荐的时间戳。本发明将时间衰减因子加入到新闻水平的注意力权重计算中,然后经过softmax函数进行标准化:
所述αj为新闻cj的标准化的注意力权重。最后计算新闻cj关于当前候选新闻c*的最终表示xj:
xj=αj[v(cj)||e(cj)]∈R2d
由于新闻阅读具有序列性,本发明利用卷积神经网络(CNN)来学习序列信息。首先,将历史阅读新闻的最终表示堆叠成一个特征映射E∈RL×2d。卷积层具有n个卷积核Fq∈Rh ×2d,q=1,...,n,其中h和2d分别表示卷积核的高度和宽度,每个卷积核沿着特征映射E的行进行滑动来捕捉用户的序列阅读模式,卷积核Fq的卷积结果为:
其中,通过卷积操作以及ReLU非线性激活函数得到。所有卷积核的卷积结果可以堆叠成一个大小为(L-h+1)×n的特征映射。实际上,整个网络中总共有M层卷积层,每一层得到的结果特征映射作为下一层的输入。这M层网络中所有卷积核高度都为h。使用多层卷积操作的原因是,它可以捕捉较长的序列阅读模式。而且,整个网络中没有池化层,因为最大池化操作会忽略位置等序列信息。
最后一层卷积层的结果特征映射的大小为(L-M(h-1))×nM,M为整个网络的卷积层层数,其中nM为最后一层的卷积核个数。将该特征映射的(L-M(h-1))个向量进行连接,得到用户i的序列偏好向量pi。
将用户i的序列偏好向量pi、候选新闻c*的整体表示[v(c*)||e(c*)]和用户i的嵌入表示ui∈Rd连接为一个向量,并输入全连接层得到点击率:
其中,σ为sigmoid函数,D+代表正样本实例集合,D-代表负样本实例集合。对于每个正样本实例(i,c*),随机选取3条用户i之前没有阅读过的新闻作为负样本实例。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (5)
1.一种基于层次注意力网络的动态新闻推荐的方法,其特征在于,所述方法采用的模块包括层次注意力网络、卷积层和全连接层;所述层次注意力网络包括句子水平的注意力网络和新闻水平的注意力网络, 所述方法的输入为用户i的新闻序列Ci=[c1,c2,...,cL]和候选新闻c*,所述新闻cj=[sj1,sj2,...,sjK]是一个句子序列,所述sjk是新闻cj的第k个句子,所述L是用来预测用户点击率的历史新闻数目,所述K是每条新闻用来预测用户点击率的最大句子数目,所述i是用户的序数,所述j是新闻的序数,所述k是句子的序数, 用户i的新闻序列Ci和候选新闻c*经过所述句子水平的注意力网络,得到所述新闻序列中句子sjk的注意力权重βjk,然后计算句子内容向量加权和得到新闻cj的内容向量v(cj),所述新闻cj的嵌入表示e(cj)与所述新闻cj的内容向量v(cj)连接得到所述新闻cj的整体表示[v(cj)||e(cj)],所述整体表示经过所述新闻水平的注意力网络,使用时间衰减因子,得到所述新闻cj的注意力权重αj,通过[v(cj)||e(cj)]和αj得到所述新闻cj的最终表示xj;在卷积层中,按序堆叠历史新闻的最终表示得到矩阵,输入卷积层学习用户序列阅读模式,得到序列偏好向量pi;在全连接层中,将所述序列偏好向量pi、候选新闻整体表示[v(c*)||e(c*)]和用户嵌入表示ui连接后输入,输出得到用户i点击候选新闻c*的概率
3.如权利要求2所述的方法,其特征在于,所述新闻水平的注意力网络采用两层的前馈神经网络来确定所述新闻cj的非标准化的注意力权重aj:
aj=W4φ(W3[v(cj)||e(cj)||v(c*)||e(c*)]+b2)+b3
所述W3∈R2d×4d、W4∈R1×2d、b2∈R2d以及b3∈R是前馈神经网络的参数;建模用户新闻阅读行为的时间动态性,采用指数衰减公式来建模新闻cj的时间衰减因子ft(j):
ft(j)=exp(-γ(t*-tj)/3600)
所述γ≥0表示时间衰减速率,所述tj为用户阅读新闻cj的时间戳,所述t*是进行推荐的时间戳;最后获得新闻cj关于当前候选新闻c*的最终表示xj:
xj=αj[v(cj)||e(cj)]∈R2d
4.如权利要求3所述的方法,其特征在于,所述卷积层利用卷积神经网络CNN学习序列信息将历史阅读新闻的最终表示堆叠成一个特征映射E∈RL×2d,所述卷积层具有n个卷积核Fq∈Rh×2d,q=1,...,n,所述h和2d分别表示卷积核的高度和宽度,所述n为正整数,每个卷积核沿着特征映射E的行进行滑动来捕捉用户的序列阅读模式,卷积核Fq的卷积结果为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910302363.3A CN110032679B (zh) | 2019-04-16 | 2019-04-16 | 一种基于层次注意力网络的动态新闻推荐的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910302363.3A CN110032679B (zh) | 2019-04-16 | 2019-04-16 | 一种基于层次注意力网络的动态新闻推荐的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110032679A CN110032679A (zh) | 2019-07-19 |
CN110032679B true CN110032679B (zh) | 2021-06-15 |
Family
ID=67238497
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910302363.3A Active CN110032679B (zh) | 2019-04-16 | 2019-04-16 | 一种基于层次注意力网络的动态新闻推荐的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110032679B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110619081B (zh) * | 2019-09-20 | 2022-05-17 | 苏州市职业大学 | 一种基于交互图神经网络的新闻推送方法 |
CN110930219B (zh) * | 2019-11-14 | 2022-10-18 | 电子科技大学 | 一种基于多特征融合的个性化电商推荐方法 |
CN112541128B (zh) * | 2020-09-07 | 2022-05-13 | 同济大学 | 基于特征双向动态协同的个性化新闻推荐方法 |
CN112328879B (zh) * | 2020-11-05 | 2023-07-28 | 中国平安人寿保险股份有限公司 | 新闻推荐方法、装置、终端设备及存储介质 |
CN112307257B (zh) * | 2020-11-25 | 2021-06-15 | 中国计量大学 | 一种基于多信息节点图网络的短视频点击率预测方法 |
CN112925980B (zh) * | 2021-03-11 | 2022-08-19 | 合肥工业大学 | 一种基于文本和图像的用户个性化偏好挖掘方法 |
CN113343142B (zh) * | 2021-05-14 | 2022-05-31 | 电子科技大学 | 一种基于用户行为序列填充和筛选的新闻点击率预测方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11409791B2 (en) * | 2016-06-10 | 2022-08-09 | Disney Enterprises, Inc. | Joint heterogeneous language-vision embeddings for video tagging and search |
CN108256631A (zh) * | 2018-01-26 | 2018-07-06 | 深圳市唯特视科技有限公司 | 一种基于注意力模型的用户行为推荐系统 |
-
2019
- 2019-04-16 CN CN201910302363.3A patent/CN110032679B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110032679A (zh) | 2019-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110032679B (zh) | 一种基于层次注意力网络的动态新闻推荐的方法 | |
CN108647996B (zh) | 一种基于Spark的个性化推荐方法及系统 | |
CN110717098B (zh) | 基于元路径的上下文感知用户建模方法、序列推荐方法 | |
CN109544306B (zh) | 一种基于用户行为序列特征的跨领域推荐方法及装置 | |
Zhang et al. | Dynamic attention-integrated neural network for session-based news recommendation | |
Jiang et al. | Fema: flexible evolutionary multi-faceted analysis for dynamic behavioral pattern discovery | |
CN114817663B (zh) | 一种基于类别感知图神经网络的服务建模与推荐方法 | |
CN111667022A (zh) | 用户数据处理方法、装置、计算机设备和存储介质 | |
CN111222332A (zh) | 一种结合注意力网络和用户情感的商品推荐方法 | |
CN113806630B (zh) | 基于注意力的多视角特征融合跨域推荐方法及装置 | |
CN111737578A (zh) | 一种推荐方法及系统 | |
Dai et al. | BTR: a feature-based Bayesian task recommendation scheme for crowdsourcing system | |
CN115618101A (zh) | 基于负反馈的流媒体内容推荐方法、装置及电子设备 | |
CN110502701B (zh) | 引入注意力机制的好友推荐方法、系统和存储介质 | |
Che et al. | Inter-basket and intra-basket adaptive attention network for next basket recommendation | |
Du et al. | POLAR++: active one-shot personalized article recommendation | |
CN112231579A (zh) | 基于隐式社群发现的社会化视频推荐系统与方法 | |
CN116010696A (zh) | 融合知识图谱和用户长短期兴趣的新闻推荐方法、系统及介质 | |
CN112559905B (zh) | 一种基于双模式注意力机制和社交相似度的会话推荐方法 | |
CN114417124A (zh) | 一种多任务强化学习推荐方法 | |
CN112231572A (zh) | 用户特征的提取方法、装置、设备及存储介质 | |
CN112765474A (zh) | 一种基于深度协同过滤的推荐方法及系统 | |
CN111737591A (zh) | 一种基于异质重边信息网络翻译模型的产品推荐方法 | |
Sridhar et al. | Extending Deep Neural Categorisation Models for Recommendations by Applying Gradient Based Learning | |
CN114491294B (zh) | 基于图神经网络的数据推荐方法及装置、电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |