CN114637911B - 一种注意力融合感知网络的下一个兴趣点推荐方法 - Google Patents

一种注意力融合感知网络的下一个兴趣点推荐方法 Download PDF

Info

Publication number
CN114637911B
CN114637911B CN202210157793.2A CN202210157793A CN114637911B CN 114637911 B CN114637911 B CN 114637911B CN 202210157793 A CN202210157793 A CN 202210157793A CN 114637911 B CN114637911 B CN 114637911B
Authority
CN
China
Prior art keywords
user
data
interest
check
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210157793.2A
Other languages
English (en)
Other versions
CN114637911A (zh
Inventor
杨青
胡诗彦
王对强
王逸丰
李宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN202210157793.2A priority Critical patent/CN114637911B/zh
Publication of CN114637911A publication Critical patent/CN114637911A/zh
Application granted granted Critical
Publication of CN114637911B publication Critical patent/CN114637911B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9537Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Abstract

本发明涉及计算机兴趣点推荐技术领域,涉及一种注意力融合感知网络的下一个兴趣点推荐方法,包括获取用户历史签到数据;将数据组成序列组;划分为长期签到序列数据和短期签到序列数据;分别送到模型进行训练,通过不同神经网络捕获用户不同偏好表示,构建偏好预测单元,利用注意力机制有机结合偏好,经过随机搜索方式学习最优参数,输出排名前K的兴趣点;将训练模型部署在多个服务器中;记录用户下一签到地点以及相对应的类别信息。本发明能够实现更加准确、高效的下一个兴趣点推荐。

Description

一种注意力融合感知网络的下一个兴趣点推荐方法
技术领域
本发明涉及计算机兴趣点推荐技术领域,具体地说,涉及一种注意力融合感知网络的下一个兴趣点推荐方法。
背景技术
在计算机兴趣点推荐领域,深度神经网络经过良好的训练能够有效捕捉到用户不断变化的兴趣偏好,对用户接下来的行为预测展现出极好的性能。高效的推荐系统不仅可以为服务商带来流量和收益,还可以帮助用户更准确快速的选择感兴趣的兴趣点。然而,由于用户偏好具有不确定性和多样性,目前的大多研究没有有效利用不同序列签到信息,对于冷启动和数据稀疏性的处理能力不够好。
传统的兴趣点推荐算法主要集中采用协同过滤的方法来估计用户偏好,在数据集完善、内容丰富的条件下,能够获得较高的准确率,同时计算简单,能够实现快速响应。但一方面,随着系统用户数量的增大,新用户的加入等情况,算法计算时间会显著增长,同时难以准确对下一个兴趣点进行推荐。另一方面,由于这种方法只对用户静态偏好进行建模,没有考虑用户动态偏好对下一兴趣点访问的影响。随着深度学习的不断发展,神经网络在计算机兴趣点推荐领域展现出了强大的能力,主要集中采用可以有效捕捉具有序列特性的数据,挖掘数据中的时序信息的循环神经网络。但RNN无法实现并行化运算,另外积累的数据带来追踪用户实际兴趣机会的同时,早期的数据交互可能会影响用户当前的选择,用户过去的签到序列并没有得到十分有效的利用。因此,现有设计需要一种可灵活迭代更新的模型,通过深度学习的方式有效捕捉用户不同偏好的关系,并能够将模型部署在移动端或者服务器上,来提高对用户下一兴趣点推荐预测的准确率。
发明内容
本发明的内容是提供一种注意力融合感知网络的下一个兴趣点推荐方法,其对于用户复杂的兴趣偏好以及签到数据稀疏带来的预测准确度底的问题,能够较高准确性的预测在未来的某个时间段内用户感兴趣的POI。
根据本发明的一种注意力融合感知网络的下一个兴趣点推荐方法,其包括以下步骤:
步骤一、从社交网络中采集用户的历史签到数据;
步骤二、提取历史签到数据中用户、用户访问过的兴趣点及位置、访问时间以及兴趣点类别形成用户的一个签到记录;
步骤三、将每个签到记录分为长期签到序列数据和短期签到序列数据进行语义空间映射,得到每个签到记录特征矢量,再将用户所有签到记录特征矢量组成用户的轨迹特征向量;
步骤四、将用户的签到序列数据推送给模型进行训练,经过随机搜索的方式学习出适应该区域的最优超参数;所述模型动态提取用户对兴趣点的长期偏好特征和短期偏好特征,两种特征表达为两个特征嵌入向量,将两种特征进行注意力机制计算,通过得分进行排序,输出排名为前K的兴趣点;K为设定值;
步骤五、将训练模型部署在多个服务器中,按一定频率将用户签到数据序列传入不同服务器中进行预测,并根据用户ID将预测结果传回用户端;
步骤六、记录用户下一签到地点以及相对应的类别信息,得到反馈数据用于优化模型,通过反馈及新用户签到序列定期更新模型。
作为优选,步骤一中,从社交网络大数据平台中获取用户签到数据构成的信息集合,其中包含签到数据涉及到的用户ID、兴趣点ID、用户-兴趣点交互时间、兴趣点位置以及兴趣点类别信息。
作为优选,步骤二中,根据用户的行为将一天的签到数据组成一个序列组,对序列组进行清洗,去掉一天签到次数少的序列,去掉签到总次数少于5次的用户数据以及签到次数少于5次的兴趣点。
作为优选,步骤三中,将序列组分为训练集和测试集,将训练集推送给模型,采用深度学习的方式并在Tensorflow框架上进行训练。
作为优选,步骤四中,将不同签到序列数据分别送到模型进行训练,通过长短期记忆网络和自注意力单元捕获用户的长期偏好表示。
作为优选,步骤四中,通过动态调节的卷积神经网络捕获用户的短期偏好表示
作为优选,步骤四中,利用注意力机制来动态调节不同偏好之间的权重,得到用户对不同偏好的影响力向量,并与用户ID嵌入向量进行拼接。
作为优选,步骤六中,通过后续不断采集用户下一签到地点以及相对应的类别信息,对模型进行更新优化,将后续采集的用户数据直接划分为训练集和测试集,以历史模型作为预训练模型进行微调操作;将后续数据的训练集直接输入到模型中,然后随机选择原始测试集和当前测试集,将模型超参数调整到最佳。
与现有技术相比,本发明的有益效果是:
(1)本发明利用注意力机制将循环神经网络和动态调节的卷积神经网络有机结合的算法,设计一种动态融合序列偏好的下一个兴趣点推荐方法。该发明以社交网络大数据平台获取的用户历史签到数据集为研究对象,通过划分不同时序数据,得到两个不同特征序列数据,长期签到序列数据和短期签到序列数据。采用循环神经网络和自注意力机制单元学习长期签到序列数据信息,该单元提取的长期偏好是复杂多样的,并行计算能力强,并且对用户的长期行为的依存关系表现良好。同时采用动态调节的卷积神经网络捕获短期签到序列数据信息,对用户短期偏好更加敏感,预测最近时间内用户要去的地点,提高了用户体验感。
(2)本发明采用注意力机制的方式有机结合用户的不同偏好表示,对不同用户的不同偏好设置不同权重,充分利用和有机结合不同偏好表示,与现有技术相比,这种方法对捕捉用户偏好变化更加准确,能够有效提升用户行为的个性化分析及推荐精准度。本发明的模型也可以部署在移动设备上,可以根据用户的实际需要调整模型参数的大小,从而提高用户的满意度。
(3)本发明可以将历史模型作为预训练模型,通过收集后续更新的用户登录数据和新增用户数据进行微调操作,不断迭代更新模型,不断适应添加新的用户组。
附图说明
图1为实施例1中一种注意力融合感知网络的下一个兴趣点推荐方法的流程图。
具体实施方式
为进一步了解本发明的内容,结合附图和实施例对本发明作详细描述。应当理解的是,实施例仅仅是对本发明进行解释而并非限定。
实施例1
如图1所示,本实施例提供了一种注意力融合感知网络的下一个兴趣点推荐方法,具体包括以下步骤:
第一步,准备数据集。
(1)获取用户历史签到数据。
从大型社交网络数据平台上获取公开的用户历史签到数据,可以但不只是包括这些数据集,例如Foursquare、Gowalla、Instagram。
(2)提取相关信息。
为充分捕捉兴趣点上下文特征,提取原始数据中用户ID、用户访问的兴趣点ID、兴趣点类别信息、位置信息以及用户-兴趣点交互时间信息。
第二步,预处理数据。
(1)清洗数据。
去掉异常值和重复值,然后删除签到次数少于5次的用户信息以及被签到次数少于5次的兴趣点信息。
(2)组成序列信息再清洗。
将每个用户一天内的签到数据组成序列,去掉一天之内签到少于两次的序列数据。
用户u的签到序列表示为:{<l1,t1,c1>,<l2,t2,c2>,<l3,t3,c3>,...,<lk,tk,ck>},其中k表示签到记录个数,t表示时间戳,l表示用户u在时间t访问的兴趣点位置,c表示兴趣点类别。
第三步,数据嵌入。
(1)划分数据。
将序列分为按照8:2的比例分为训练集和测试集,训练集又分为长期签到序列和短期签到序列送入模型训练。
(2)数据嵌入。
通过将数据转化为稠密向量的形式学习用户潜在特征表示和兴趣点上下文特征表示。式中Wl、Wt、Wc表示权重参数,b表示偏置参数,σ为非线性激活函数。
第四步,模型训练。
(1)通过循环神经网络和自注意力单元捕获用户长期偏好表示。对用户长期签到序列数据进行编码处理,编码方式采用适于处理长距离数据依赖问题的长短期记忆网络(LSTM),它可以对输入特征的流通和损失进行控制,具体公式如下:
ft=σ(Wf·[ht-1,xt]+bf)
it=σ(Wi·[ht-1,xt]+bi)
ot=σ(Wo·[ht-1,xt]+bo)
ht=ot*tanh(Ct)
其中Wf、Wi、Wc为权重参数;σ为激活函数;xt为当前状态下的数据输入,ht为隐含状态;ot为输出门,决定哪些信息将会被当作当前状态的输出;输入门it对信息进行挑选,遗忘门ft对上一节点传来的输入进行选择性忘记,通过将一部分信息剔除来防止大量信息涌入模型中。
(2)将学习到的编码向量送入到自注意力层中,捕获用户轨迹中每个签到兴趣点之间的关系,得到用户的长期偏好兴趣表示。
步骤四、将数据送入模型进行训练,,采用动态调节的卷积神经网络捕获用户短期偏好表示。利用注意力机制构建偏好预测单元,有机结合用户不同偏好,经过随机搜索方式学习最优超参数,输出排名为前K的兴趣点。
同时将短期签到序列数据送入动态调节的卷积神经网络中,将原本固定的卷积核变成可以根据输入动态改变注意力的卷积核捕获用户长期偏好兴趣表示,部分代码如下:
接着应用学习到的用户偏好进行注意力得到每一个兴趣点的不同影响力,具体实施如下:使用注意力机制有机结合每个用户的不同偏好,多次迭代得到用户对不同偏好的关注。
步骤五、模型可以部署在多个服务器中,按一定频率将用户签到数据序列传入不同服务器中进行预测。
步骤六、通过后续不断采集用户下一签到地点以及相对应的类别信息,对模型进行更新优化。
以上示意性的对本发明及其实施方式进行了描述,该描述没有限制性,附图中所示的也只是本发明的实施方式之一,实际的结构并不局限于此。所以,如果本领域的普通技术人员受其启示,在不脱离本发明创造宗旨的情况下,不经创造性的设计出与该技术方案相似的结构方式及实施例,均应属于本发明的保护范围。

Claims (6)

1.一种注意力融合感知网络的下一个兴趣点推荐方法,其特征在于:包括以下步骤:
步骤一、从社交网络中采集用户的历史签到数据;
步骤二、提取历史签到数据中用户、用户访问过的兴趣点及位置、访问时间以及兴趣点类别形成用户的一个签到记录;
步骤三、将每个签到记录分为长期签到序列数据和短期签到序列数据进行语义空间映射,得到每个签到记录特征矢量,再将用户所有签到记录特征矢量组成用户的轨迹特征向量;
步骤四、将用户的签到序列数据推送给模型进行训练,经过随机搜索的方式学习出适应该区域的最优超参数;所述模型动态提取用户对兴趣点的长期偏好特征和短期偏好特征,两种特征表达为两个特征嵌入向量,将两种特征进行注意力机制计算,通过得分进行排序,输出排名为前K的兴趣点;K为设定值;
(1)通过循环神经网络和自注意力单元捕获用户长期偏好表示;对用户长期签到序列数据进行编码处理,编码方式采用适于处理长距离数据依赖问题的长短期记忆网络LSTM,它可以对输入特征的流通和损失进行控制,具体公式如下:
ft=σ(Wf·[ht-1,xt]+bf)
it=σ(Wi·[ht-1,xt]+bi)
ot=σ(Wo·[ht-1,xt]+bo)
ht=ot*tanh(Ct)
其中Wf、Wi、Wc为权重参数;σ为激活函数;xt为当前状态下的数据输入,ht为隐含状态;ot为输出门,决定哪些信息将会被当作当前状态的输出;输入门it对信息进行挑选,遗忘门ft对上一节点传来的输入进行选择性忘记,通过将一部分信息剔除来防止大量信息涌入模型中;
(2)将学习到的编码向量送入到自注意力层中,捕获用户轨迹中每个签到兴趣点之间的关系,得到用户的长期偏好兴趣表示;
将数据送入模型进行训练,采用动态调节的卷积神经网络捕获用户短期偏好表示;
步骤五、将训练模型部署在多个服务器中,按一定频率将用户签到数据序列传入不同服务器中进行预测,并根据用户ID将预测结果传回用户端;
步骤六、记录用户下一签到地点以及相对应的类别信息,得到反馈数据用于优化模型,通过反馈及新用户签到序列定期更新模型。
2.根据权利要求1中一种注意力融合感知网络的下一个兴趣点推荐方法,其特征在于:步骤一中,从社交网络大数据平台中获取用户签到数据构成的信息集合,其中包含签到数据涉及到的用户ID、兴趣点ID、用户-兴趣点交互时间、兴趣点位置以及兴趣点类别信息。
3.根据权利要求1中一种注意力融合感知网络的下一个兴趣点推荐方法,其特征在于:步骤二中,根据用户的行为将一天的签到数据组成一个序列组,对序列组进行清洗,去掉一天签到次数少的序列,去掉签到总次数少于5次的用户数据以及签到次数少于5次的兴趣点。
4.根据权利要求1中一种注意力融合感知网络的下一个兴趣点推荐方法,其特征在于:步骤三中,将序列组分为训练集和测试集,将训练集推送给模型,采用深度学习的方式并在Tensorflow框架上进行训练。
5.根据权利要求1中一种注意力融合感知网络的下一个兴趣点推荐方法,其特征在于:步骤四中,利用注意力机制来动态调节不同偏好之间的权重,得到用户对不同偏好的影响力向量,并与用户ID嵌入向量进行拼接。
6.根据权利要求1中一种注意力融合感知网络的下一个兴趣点推荐方法,其特征在于:步骤六中,通过后续不断采集用户下一签到地点以及相对应的类别信息,对模型进行更新优化,将后续采集的用户数据直接划分为训练集和测试集,以历史模型作为预训练模型进行微调操作;将后续数据的训练集直接输入到模型中,然后随机选择原始测试集和当前测试集,将模型超参数调整到最佳。
CN202210157793.2A 2022-02-21 2022-02-21 一种注意力融合感知网络的下一个兴趣点推荐方法 Active CN114637911B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210157793.2A CN114637911B (zh) 2022-02-21 2022-02-21 一种注意力融合感知网络的下一个兴趣点推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210157793.2A CN114637911B (zh) 2022-02-21 2022-02-21 一种注意力融合感知网络的下一个兴趣点推荐方法

Publications (2)

Publication Number Publication Date
CN114637911A CN114637911A (zh) 2022-06-17
CN114637911B true CN114637911B (zh) 2024-04-09

Family

ID=81945958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210157793.2A Active CN114637911B (zh) 2022-02-21 2022-02-21 一种注意力融合感知网络的下一个兴趣点推荐方法

Country Status (1)

Country Link
CN (1) CN114637911B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435685A (zh) * 2021-04-28 2021-09-24 桂林电子科技大学 一种分层Attention深度学习模型的课程推荐方法
CN115270007B (zh) * 2022-08-17 2023-09-22 烟台大学 一种基于混合图神经网络的poi推荐方法及系统
CN117633371B (zh) * 2024-01-25 2024-04-12 云南大学 基于多注意力机制的推荐方法、设备和可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929164A (zh) * 2019-12-09 2020-03-27 北京交通大学 一种基于用户动态偏好与注意力机制的兴趣点推荐方法
CN111949865A (zh) * 2020-08-10 2020-11-17 杭州电子科技大学 基于图神经网络与用户长短期偏好的兴趣点推荐方法
CN112948709A (zh) * 2021-03-05 2021-06-11 桂林电子科技大学 一种影响力感知驱动的连续兴趣点实时推荐方法
CN113886451A (zh) * 2021-09-13 2022-01-04 武汉大学 一种融入多视图的基于自注意力机制的poi推荐方法
WO2022007526A1 (zh) * 2020-07-07 2022-01-13 云境商务智能研究院南京有限公司 一种基于多视图注意力机制的旅游包推荐方法
CN114021011A (zh) * 2021-11-04 2022-02-08 辽宁工程技术大学 一种基于自注意力机制的下一个兴趣点推荐方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11783436B2 (en) * 2019-06-04 2023-10-10 Visa International Service Association Magellan: a context-aware itinerary recommendation system built only using card-transaction data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929164A (zh) * 2019-12-09 2020-03-27 北京交通大学 一种基于用户动态偏好与注意力机制的兴趣点推荐方法
WO2022007526A1 (zh) * 2020-07-07 2022-01-13 云境商务智能研究院南京有限公司 一种基于多视图注意力机制的旅游包推荐方法
CN111949865A (zh) * 2020-08-10 2020-11-17 杭州电子科技大学 基于图神经网络与用户长短期偏好的兴趣点推荐方法
CN112948709A (zh) * 2021-03-05 2021-06-11 桂林电子科技大学 一种影响力感知驱动的连续兴趣点实时推荐方法
CN113886451A (zh) * 2021-09-13 2022-01-04 武汉大学 一种融入多视图的基于自注意力机制的poi推荐方法
CN114021011A (zh) * 2021-11-04 2022-02-08 辽宁工程技术大学 一种基于自注意力机制的下一个兴趣点推荐方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种结合矩阵分解和深度学习技术的POI推荐模型;董丽丽;秦蕾;张翔;;计算机测量与控制;20200625(06);213-217+222 *
兴趣点推荐系统研究综述;于正一;;德州学院学报;20200815(04);58-65 *

Also Published As

Publication number Publication date
CN114637911A (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
CN114637911B (zh) 一种注意力融合感知网络的下一个兴趣点推荐方法
CN110928993B (zh) 基于深度循环神经网络的用户位置预测方法及系统
CN111797321B (zh) 一种面向不同场景的个性化知识推荐方法及系统
CN109544197B (zh) 一种用户流失预测方法和装置
CN111708876B (zh) 生成信息的方法和装置
CN109960761B (zh) 信息推荐方法、装置、设备及计算机可读存储介质
CN111651671B (zh) 用户对象推荐方法、装置、计算机设备和存储介质
CN113139140B (zh) 基于时空感知gru并结合用户关系偏好的旅游景点推荐方法
CN111475637A (zh) 用于推送知识点的数据处理、训练方法及装置
CN112100504B (zh) 内容推荐方法、装置、电子设备及存储介质
CN113158038B (zh) 基于sta-tcn神经网络框架的兴趣点推荐方法及系统
CN112910710A (zh) 网络流量时空预测方法、装置、计算机设备和存储介质
CN110322067A (zh) 基于因子图模型的移动用户位置预测方法
CN113487018A (zh) 一种基于会话推荐的全局上下文增强图神经网络方法
CN114282077A (zh) 一种基于会话数据的会话推荐方法及系统
CN111291138A (zh) 更新关系网络的方法及装置
CN114911969A (zh) 一种基于用户行为模型的推荐策略优化方法和系统
CN117390266A (zh) 基于高阶邻居生成算法与异构图神经网络的项目推荐方法
CN114757391B (zh) 一种面向服务质量预测的网络数据空间设计与应用方法
CN112948709B (zh) 一种影响力感知驱动的连续兴趣点实时推荐方法
CN117633371B (zh) 基于多注意力机制的推荐方法、设备和可读存储介质
CN113205427B (zh) 社交网络的下一个兴趣点的推荐方法
CN117828193B (zh) 基于多兴趣半联合学习兴趣推荐方法、系统、设备及介质
CN114417817B (zh) 一种会话信息切割方法和装置
CN116776004A (zh) 一种多兴趣序列推荐方法、系统及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant