CN116150511A - 一种基于时空上下文和类别偏好的下一个位置推荐方法 - Google Patents

一种基于时空上下文和类别偏好的下一个位置推荐方法 Download PDF

Info

Publication number
CN116150511A
CN116150511A CN202310125978.XA CN202310125978A CN116150511A CN 116150511 A CN116150511 A CN 116150511A CN 202310125978 A CN202310125978 A CN 202310125978A CN 116150511 A CN116150511 A CN 116150511A
Authority
CN
China
Prior art keywords
user
sign
preference
category
embedded vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310125978.XA
Other languages
English (en)
Inventor
周旭
王雪莹
刘衍珩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202310125978.XA priority Critical patent/CN116150511A/zh
Publication of CN116150511A publication Critical patent/CN116150511A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于时空上下文和类别偏好的下一个位置推荐方法，包括：步骤一、获取用户签到的类别序列，构建每个用户的类别关联图，用词向量获取图中节点的嵌入向量，通过进行门控图神经网络训练，得到每个类别节点的嵌入向量，通过注意力机制生成用户的类别偏好；步骤二、获取用户签到序列，通过LSTM和上下文注意力机制得到每次签到的嵌入向量表示和隐藏状态，基于时间注意力机制得到每次签到的权重，生成用户的兴趣点偏好；步骤三、筛选候选兴趣点，结合类别偏好和兴趣点偏好，计算候选兴趣点的概率值，并对其进行降序排列，对候选兴趣点进行排序，将Top‑N的位置推荐给用户。

Description

一种基于时空上下文和类别偏好的下一个位置推荐方法
技术领域
本发明设计一种基于时空上下文和类别偏好的下一个位置推荐方法，属于数据处理技术领域。
背景技术
近年来随着移动网络的快速发展，基于位置的社交网络得到了广泛的应用，用户可以通过签到地点来分享他们的位置和生活，如Foursquare,Facebook和Yelp。根据用户的历史签到信息，能够构建用户的移动轨迹，挖掘用户的移动模式。下一个位置推荐已成为LBSN中最重要的任务之一，具有广泛的应用前景，它的主要目标是根据用户的签到序列中的可用信息预测用户在特定时间内可能访问的下一个POI。下一个位置推荐在基于位置的服务中具有重要的作用，它不仅可以提高与位置相关的业务服务的质量，而且有助于提升客户体验。
目前已经存在大量关于下一个位置推荐的研究。一些研究人员开发了一种通用马尔可夫模型，根据用户过去的轨迹序列来预测用户的下一个位置。例如Rendle等人提出了分解个性化马尔可夫链(FPMC)框架，将矩阵分解与马尔可夫链相结合来进行推荐。此外，有研究人员提出了基于张量的统一潜在模式模型，通过捕获连续签到行为来挖掘每个用户的潜在模式层次偏好。然而，现有的基于马尔可夫链的一阶序列转移模式研究只能建模非常短的序列上下文，而无法建模较长的序列上下文。
能够建模长序列的深度学习模型如循环神经网络(RNN)，LSTM等被应用于下一个位置推荐中，并且开始使用LBSN中许多不同类型的上下文信息，如签到时间、POI地理位置等，分析影响用户的签到行为的因素，构建用户偏好模型。Zhang等人基于RNN提出了只考虑用户签到POI编号(ID)的下一个位置推荐模型，忽略了丰富的上下文信息，生成的用户偏好比较单一。Zhu等人基于LSTM设计了研究签到行为的时间间隔的时间门模型Time-LSTM，增强了时间信息对POI推荐的影响，但是模型只在POI维度上考虑，没有综合研究其他维度(如类别)对用户下一次签到的影响。Sun等人对单一RNN模型进行扩展，综合用户的长期和短期偏好，提出了基于时空信息的推荐模型LSTPM，但没有考虑POI的类别信息，导致没有很好地构建用户的移动模式。此外还有研究者吴等人基于GRU(门控循环单元)和GNN(图神经网络)，提出了SR-GNN模型，建模序列中的相关性，很好地解决了会话推荐问题。Liu等人提出了基于GNN的CaSe4SR框架，同时研究序列中的每一项及所属类别的关联性，极大提高了推荐性能，证明了在类别层面上和具体项目层面上研究推荐问题的必要性。
为了解决LBSN中下一个POI推荐的签到稀疏问题，早期常用的方法是通过马尔可夫链对用户的移动模式进行建模。但是，马尔可夫链方法难以捕获较长的序列上下文。近年来，将深度学习应用到推荐系统已成为趋势，但由于RNN具有梯度消失的缺点，不适合构建长序列。为了能有效解决长序列构建的问题，捕获用户的长期偏好，LSTM被应用到下一个位置推荐上。现有方法在解决下一个位置推荐问题时，只基于用户访问轨迹的位置序列，而忽略了用户访问轨迹中的类别序列，往往没能充分考虑LBSN中的不同上下文信息，没有将不同类型的上下文信息(时间序列、地理位置、类别信息等)聚合到下一个位置推荐方法中，以有效缓解数据稀疏性。此外，多数研究为了解决只使用最后时间步的隐藏状态作为用户偏好而导致推荐不准确的问题，结合LSTM和注意力机制以区分每个时间步可能对下一个签到POI的不同影响程度。但多数研究者并没有通过注意力机制考虑用户每个签到表示中不同上下文信息的权重占比，即没有考虑和区分影响用户做出每次签到中各属性的重要程度，导致最终对用户偏好的分析不精确和用户签到预测的准确性较低。
为了实现基于时空上下文和类别偏好对用户进行下一个位置的推荐，本发明充分利用基于位置的社交网络(LBSN:Location based Social Network)所包含的丰富上下文信息(类别因素、时间因素和地理因素等)，旨在完成基于时空上下文和类别偏好的下一个位置推荐关键问题研究，有效地提高用户的生活服务体验满意度。本发明分为两部分，一部分采用具有多层次注意力机制的长短期记忆(LSTM)网络来获取用户对位置(也可称为兴趣点(POI：point of interest))的偏好。利用注意力机制研究各个属性对于每次签到的不同影响程度和每个签到对于下一个位置推荐的不同重要性，得到用户的兴趣点偏好。第二部分根据用户签到序列生成POI类别序列，构建每个用户的类别关联图，通过图神经网络(GNN)和门控循环单元(GRU)组成的门控图神经网络(GGNN)得到用户的类别偏好。最后基于用户的POI偏好和类别偏好，以加权的方式得到用户偏好，再与筛选得到的候选POI进行运算，根据预测概率排序得到Top-N推荐列表。
发明内容
本发明设计开发了一种基于时空上下文和类别偏好的下一个位置推荐方法，通过构建用户类别偏好和用户兴趣点偏好筛选候选兴趣点，结合类别偏好和兴趣点偏好，计算候选兴趣点的概率值，并对其进行降序排列，对候选兴趣点进行排序，将Top-N的位置推荐给用户，提高推荐精确度。
本发明提供的技术方案为：
一种基于时空上下文和类别偏好的下一个位置推荐方法，包括：
步骤一、获取用户签到的类别序列，构建每个用户的类别关联图，用词向量获取图中节点的嵌入向量，通过进行门控图神经网络训练，得到每个类别节点的嵌入向量，通过注意力机制生成用户的类别偏好；
步骤二、获取用户签到序列，通过LSTM和上下文注意力机制得到每次签到的嵌入向量表示和隐藏状态，基于时间注意力机制得到每次签到的权重，生成用户的兴趣点偏好；
步骤三、筛选候选兴趣点，结合类别偏好和兴趣点偏好，计算候选兴趣点的概率值，并对其进行降序排列，对候选兴趣点进行排序，将Top-N的位置推荐给用户。
优选的是，所述步骤一包括：
步骤1、从LSBN中根据用户编号提取签到的兴趣点编号、时间、类别、地理位置，进行预处理操作；
步骤2、从已经提取的信息中获取每个用户的签到类别，并按照签到的时间顺序形成类别序列
Figure BDA0004082126040000041
式中，
Figure BDA0004082126040000042
代表用户u在时间tk访问了类别为catv的兴趣点v，t1为用户第一次签到行为时刻，t2为用户第二次签到行为的时刻，tN为第N次签到行为的时刻；
步骤3、根据序列中访问类别的前后关系，将其转化为类别关联图，图中的每一个节点表示该用户签到过的一个类别，连接两个节点之间的无向边表示用户先后签到了这两个类别；
步骤4：利用词向量机制获取图中每个节点的嵌入向量表示，将词向量机制获取的嵌入向量表示作为初始向量输入到门控图神经网络中，经过不断的迭代优化捕获该用户访问类别之间的联系，并生成类别的嵌入向量表示sc；
步骤5、使用注意力机制根据关联图中每个节点的嵌入向量表示得到整张图的嵌入向量表示，作为用户的类别偏好。
优选的是，所述步骤5中通过注意力机制对于整张图输出用户的类别偏好，包括：
αc＝W1σ(W2q+W3sc)；
Figure BDA0004082126040000043
式中，W1、W2、W3为权重矩阵，q为注意力机制中的查询参数，αc为关联图中每个类别节点的权重，
Figure BDA0004082126040000044
为用户的类别偏好，Y为用户签到类别的总数。
优选的是，所述步骤二包括：
步骤a、从LBSN中将每个用户的历史签到行为按照时间顺序提取出用户签到序列；
步骤b、将用户轨迹序列中的签到属性提取出来，通过词向量机制将签到属性转换为嵌入向量表示；
步骤c、将用户在时间tk签到的嵌入向量表示
Figure BDA0004082126040000045
与tk-1时刻的隐藏状态/>
Figure BDA0004082126040000046
一起进入到tk时刻的LSTM中，获取tk时刻的隐藏状态/>
Figure BDA0004082126040000047
Figure BDA0004082126040000048
通过注意力机制、生成每次签到的权重向量μk，用每个
Figure BDA0004082126040000049
对应的权重μk衡量第k次历史签到对下一次签到的影响程度，将得到的权重向量μk乘以HP，得到用户的POI偏好。
优选的是，其特征在于，
所述步骤b中，用户u的历史签到活动表示为签到元组
Figure BDA0004082126040000051
Figure BDA0004082126040000052
上式表示用户u在tk时刻访问了兴趣点
Figure BDA0004082126040000053
地理位置为lv，所属类别为catv，时间属于一周中的第/>
Figure BDA0004082126040000054
天；
根据词向量机制得到的各属性嵌入向量表示，基于注意力机制，以加权的形式生成嵌入向量表示
Figure BDA0004082126040000055
Figure BDA0004082126040000056
Figure BDA0004082126040000057
式中，
Figure BDA0004082126040000058
是第i个属性对应的待学习参数，/>
Figure BDA0004082126040000059
是待学习参数，/>
Figure BDA00040821260400000510
是在时间tk签到嵌入向量表示，/>
Figure BDA00040821260400000511
表示在上下文注意力机制下的第k次签到中第i个特征的嵌入向量表示，/>
Figure BDA00040821260400000512
是第k次签到中第i个特征的权重表示，/>
Figure BDA00040821260400000513
表示第k次历史签到中的第i个属性的嵌入向量表示。
优选的是，所述步骤c中，每次签到的权重向量μk的计算公式为：
Figure BDA00040821260400000514
Figure BDA00040821260400000515
式中，
Figure BDA00040821260400000516
为时间注意机制的查询信息，为N+1时刻的下一个签到的POI嵌入向量表示，然后将得到的权重向量μk乘以HP，得到用户的POI偏好：
Figure BDA00040821260400000517
式中，μk为时刻tk的隐藏状态
Figure BDA00040821260400000518
的权重，/>
Figure BDA00040821260400000519
为用户u的POI偏好，k为第k次签到，N为签到的总次数。
优选的是，所述步骤三包括：
通过获取的类别偏好和POI偏好，计算候选POI的概率值；
Figure BDA0004082126040000061
式中，M为候选POI的个数，vk为候选POI的嵌入向量表示，catv为候选POI的类别的嵌入向量表示，因此
Figure BDA0004082126040000062
表示在类别偏好和POI偏好的影响下，用户u最终访问POIvk的可能性，/>
Figure BDA0004082126040000063
为用户u在时间tN+1访问兴趣点vk的概率；
根据候选POI的概率值进行降序排序，得到用户u的Top-N推荐列表。
本发明所述的有益效果：
1.本发明将用户访问位置偏好划分为POI和类别这两个维度的影响，在POI层面考虑用户签到序列在时间顺序上的偏好，研究序贯性和具体POI的影响程度；在类别层面考虑类别之间的关联性，这两种偏好的结合能够多维度研究用户偏好，提高推荐精确度。
2.本发明考虑到语境上下文因素和时间因素，在POI层面不仅考虑到用户每个签到对于最后一次签到的影响力是不同的，还考虑到影响用户做出每次签到的属性的重要程度也是不同的。因此采用多层次注意力机制研究签到行为和签到中各属性对于用户偏好的影响程度。
3.本发明考虑类别之间的关联性，这反映了用户在类别层面的移动偏好，采用门控图神经网络能够精确获取用户的类别偏好，相较于现有考虑类别因素的推荐方法,本发明从类别相关性的角度考虑类别对具体POI推荐结果的影响。
附图说明
图1为本发明所述的基于时空上下文和类别偏好的下一个位置推荐方法流程图。
图2为本发明所述的一个类别关联图示例。
具体实施方式
下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
如图1-2所示，本发明提供一种基于时空上下文和类别偏好的下一个位置推荐方法，通过构建用户类别偏好和用户兴趣点偏好筛选候选兴趣点，结合类别偏好和兴趣点偏好，计算候选兴趣点的概率值，并对其进行降序排列，对候选兴趣点进行排序，将Top-N的位置推荐给用户，提高推荐精确度。
步骤一、获取用户签到的类别序列，构建每个用户的类别关联图，用词向量获取图中节点的嵌入向量，通过进行门控图神经网络训练，得到每个类别节点的嵌入向量，通过注意力机制生成用户的类别偏好；
步骤二、获取用户签到序列，通过LSTM和上下文注意力机制得到每次签到的嵌入向量表示和隐藏状态，基于时间注意力机制得到每次签到的权重，生成用户的兴趣点偏好；
步骤三、筛选候选兴趣点，结合类别偏好和兴趣点偏好，计算候选兴趣点的概率值，并对其进行降序排列，对候选兴趣点进行排序，将Top-N的位置推荐给用户。
在LBSN中，每个用户可以对感兴趣的位置进行签到，将用户u的签到轨迹按时间顺序构成签到序列
Figure BDA0004082126040000071
签到序列长度为N，其中，每个元素/>
Figure BDA0004082126040000072
是用户u在时间tk时的一次签到，每个签到状态/>
Figure BDA0004082126040000073
是一个六元组，具体组成为
Figure BDA0004082126040000074
Figure BDA0004082126040000075
表示用户u在时间tk访问了兴趣点POI v(POI是与LBSN中的地理坐标关联的位置，例如餐厅或酒吧，每个POI都与经度和纬度相关联)，v的类别是catv，地理位置是lv，/>
Figure BDA0004082126040000076
表示签到时间tk是一星期中的第w天。
用户的签到类别序列是由一组签到类别元组集合
Figure BDA0004082126040000077
表示的，其中/>
Figure BDA0004082126040000078
表示用户u在时间tk访问了类别为catv的兴趣点v，下一个POI推荐的目标是给定一个用户u在时刻1到N的历史签到序列Au和类别序列Cu，为用户推荐在N+1时刻最可能签到的位置，并且按照降序排序形成Top-N推荐列表。
如图1所示，本发明的基于时空上下文和类别偏好的下一个位置推荐方法主要包括如下过程：
首先，从面向位置的社交网络中获取用户签到的类别序列，根据访问类别的先后关系构建每个用户的类别关联图，图中每个节点表示该用户的签到类别序列中的每个类别，节点间的边表示序列中这两个类别节点有先后关系。通过门控图神经网络，每张图中节点的向量表示和权重参数都得到优化，从而得到类别关联图的向量表示，通过注意力机制得到用户的类别偏好；其中门控图神经网络是基于门控循环单元(GRU)的图神经网络，门控图神经网络优化类别关联图的数据，门控图神经网络的输入为类别的嵌入向量表示，输出为用户的类别偏好；
然后，从面向位置的社交网络中获取用户的签到序列，其中包含的上下文信息有POI、时间、地理位置、距离、时间差、星期，这些信息经过词向量(word2vec)模型转换为嵌入向量表示，利用LSTM和上下文注意力机制，得到每次签到中不同属性对于本次签到的影响程度，从而得到每次签到的嵌入向量表示和隐藏状态，利用时间注意力机制得到每次签到对于下一个签到位置的影响程度，生成用户的兴趣点偏好；
最后，根据用户的访问历史、兴趣点的受欢迎程度以及距离得到候选POI，结合前面得到的用户的类别偏好和兴趣点偏好，对候选POI进行排序，生成Top-N推荐列表，具体包括：
步骤1：从LBSN中根据用户编号(ID)提取签到的POI编号、时间、类别、地理位置，并且进行数据预处理操作；
时间是指用户访问兴趣点的时间，类别是指兴趣点所属的类别，如餐饮、办公场所、娱乐、运动等，地理位置是由经度和纬度构成的二元组，用以表示兴趣点的具体位置
统计每位用户的签到活动次数，删除其中签到活动次数少于5的不活跃用户，以及没有被任何一位用户访问过的不活跃POI，然后将用户ID和兴趣点ID重新从1开始编号；根据用户签到POI的地理位置计算POI之间的距离，存入距离矩阵中，以备后续使用。
步骤2：从已经提取的信息中获取每个用户的签到类别，并按照签到的时间顺序形成类别序列
Figure BDA0004082126040000081
其中/>
Figure BDA0004082126040000082
代表用户u在时间tk访问了类别为catv的兴趣点v。
步骤3：根据序列中访问类别的前后关系，将其转化为类别关联图，图中的每一个节点表示该用户签到过的一个类别，连接两个节点之间的无向边表示用户先后签到了这两个类别；如图2所示，例如用户的签到类别序列为“餐饮”-“休闲”-“运动”，则类别关联图中有3个节点分别表示“餐饮”、“休闲”、“运动”，其中“餐饮”和“休闲”之间有边，“休闲”和“运动”之间有边。
步骤4：利用词向量机制获取图中每个节点的嵌入向量表示。；
步骤5：将词向量机制获取的嵌入向量表示作为初始向量输入到门控图神经网络中，经过不断的迭代优化捕获该用户访问类别之间的联系，并准确地生成类别的嵌入向量表示，其计算方式如下。
Figure BDA0004082126040000091
Figure BDA0004082126040000092
Figure BDA0004082126040000093
Figure BDA0004082126040000094
Figure BDA0004082126040000095
Figure BDA0004082126040000096
Figure BDA0004082126040000097
式中，
Figure BDA0004082126040000098
是模型中的权重矩阵，/>
Figure BDA0004082126040000099
是实数集，E是维度，/>
Figure BDA00040821260400000910
是偏置向量，/>
Figure BDA00040821260400000911
是用户访问兴趣点v的类别的嵌入向量表示；/>
Figure BDA00040821260400000912
是每个节点在图中的嵌入向量表示；/>
Figure BDA00040821260400000913
是节点(POI类别)c的初态；Ac是类别节点c和类别关联图中的其他节点间有边与否的向量表示，/>
Figure BDA00040821260400000914
表示在t-1时刻所有类别节点c的隐藏状态，b是偏置向量，/>
Figure BDA00040821260400000915
是t时刻当前节点c在GGNN中的输入向量，σ()是sigmoid函数，/>
Figure BDA00040821260400000916
是t-1时刻节点c的隐藏状态，/>
Figure BDA00040821260400000917
是GGNN中的更新门，控制前边记忆信息能够继续保留到当前时刻的数据量，或者说决定有多少前一时间步的信息和当前时间步的信息要被继续传递到下一时间步，/>
Figure BDA00040821260400000918
是GGNN中的重置门，控制要遗忘多少过去的信息，Wz、Uz、Wr、Ur、W、U是权重参数，tanh()是双曲正切函数，⊙是元素的乘法运算符，/>
Figure BDA00040821260400000919
是t时刻候选隐藏层状态，/>
Figure BDA00040821260400000920
是t时刻的隐藏层状态。
通过各用户的类别关联图的不断迭代优化，得到所有类别的嵌入向量表示：
Figure BDA00040821260400000921
式中，
Figure BDA0004082126040000101
是图中每个类别节点的嵌入向量表示。
步骤6：使用注意力机制根据图中每个节点的嵌入向量表示得到整张图的嵌入向量表示，即用户的类别偏好。
用注意力机制对于整张图输出用户的类别偏好：
αc＝W1σ(W2q+W3cc)；
Figure BDA0004082126040000102
式中，W1、W2、W3为权重矩阵，q为注意力机制中的查询参数，αc为关联图中每个类别节点的权重，
Figure BDA0004082126040000103
为用户的类别偏好，Y为用户签到类别的总数。
步骤7：从LBSN中将每个用户的历史签到按照时间顺序提取出用户签到序列，其中包含签到属性有POI、时间、地理位置、距离、时间差、星期。
步骤8：将用户轨迹序列中的签到属性提取出来，利用词向量机制将签到属性转换为嵌入向量表示，为输入到LSTM模型做准备。
用户u的历史签到活动表示为签到元组
Figure BDA0004082126040000104
表示用户u在tk时刻访问了兴趣点/>
Figure BDA0004082126040000105
地理位置为lv，所属类别为catv，时间属于一周中的第/>
Figure BDA0004082126040000106
天，根据词向量机制得到的POI、时间、地理位置、距离、时间差、星期这6个签到属性嵌入向量表示。
步骤9：为了考虑到每个属性对签到行为的影响程度，将签到中各属性的嵌入向量表示输入到与LSTM结合的上下文注意力层；嵌入层中的每个特征都标记了当前签到的一个属性，这些属性对当前签到的影响程度是不一样的，因此，基于上下文注意力机制研究不同特征在当前签到中的占比，将各签到属性的嵌入向量表示以加权和的形式获得签到的嵌入向量表示
Figure BDA0004082126040000107
Figure BDA0004082126040000108
/>
Figure BDA0004082126040000109
式中，
Figure BDA00040821260400001010
是第i个属性对应的待学习参数，/>
Figure BDA00040821260400001011
是待学习参数，/>
Figure BDA00040821260400001012
是在tk时刻输入到LSTM网络的嵌入向量表示，/>
Figure BDA00040821260400001013
表示在上下文注意力机制下的第k次签到中第i个特征的，包括：/>
Figure BDA00040821260400001014
为在第k次历史签到中的POI编号的嵌入向量表示，
Figure BDA00040821260400001015
为第k次历史签到中POI位置的嵌入向量表示，/>
Figure BDA00040821260400001016
为在第k次历史签到中签到时间戳的嵌入向量表示，/>
Figure BDA00040821260400001017
为第k次历史签到中签到是星期几的嵌入向量表示，
Figure BDA0004082126040000111
为表示当前签到与上一次签到之间的距离差的嵌入向量表示，/>
Figure BDA0004082126040000112
为当前签到与上一次签到之间的时间差的嵌入向量表示。
Figure BDA0004082126040000113
是第k次签到中第i个特征的权重表示：
Figure BDA0004082126040000114
Figure BDA0004082126040000115
式中，
Figure BDA0004082126040000116
是第k次签到中第i个特征的临时权重表示，/>
Figure BDA0004082126040000117
Figure BDA0004082126040000118
是待学习参数，tanh()是双曲正切函数，/>
Figure BDA0004082126040000119
是LSTM网络中第tk-1时刻的细胞状态，/>
Figure BDA00040821260400001110
是LSTM网络中第tk-1时刻的隐藏状态，exp()函数是以自然常数e为底的指数函数，/>
Figure BDA00040821260400001111
与ρ(i,tk)相乘来获取在上下文注意力机制下的嵌入表示，基于上下文注意机制，将各签到属性的嵌入向量表示以加权和的形式获得签到活动的嵌入向量表示/>
Figure BDA00040821260400001112
步骤10：
Figure BDA00040821260400001113
作为tk时刻的输入向量，与tk-1时刻的隐藏状态/>
Figure BDA00040821260400001114
一起进入到tk时刻LSTM中，获取tk时刻的隐藏状态/>
Figure BDA00040821260400001115
Figure BDA00040821260400001116
式中，
Figure BDA00040821260400001117
是tk时刻的输入向量，/>
Figure BDA00040821260400001118
是t-1时刻的隐藏状态，这两者都是tk时刻LSTM网络的输入，/>
Figure BDA00040821260400001119
是tk时刻的隐藏状态。
步骤11：为了考虑不同的历史签到对每个用户下一个POI的偏好所产生的不同影响，我们使用时间注意力机制自适应地选择相关的历史签到活动，学习签到序列中不同时间步长的权重，以区分历史签到中每个签到的重要程度，以更好地实现下一个兴趣点推荐。
Figure BDA00040821260400001120
是由所有隐藏向量/>
Figure BDA00040821260400001121
组成的矩阵。通过注意力机制生成每次签到的权重向量μk，用每个/>
Figure BDA00040821260400001122
对应的权重μk衡量第k次历史签到对下一次签到的影响程度。/>
Figure BDA00040821260400001123
Figure BDA0004082126040000121
式中，
Figure BDA0004082126040000122
为时间注意机制的查询信息，为N+1时刻的下一个签到的POI嵌入向量表示，然后将得到的权重向量μk乘以HP，得到用户的POI偏好。
Figure BDA0004082126040000123
式中，μk为时刻tk的隐藏状态
Figure BDA0004082126040000124
的权重，/>
Figure BDA0004082126040000125
为用户u的POI偏好，k为第k次签到，N为签到的总次数。
步骤12：从所有兴趣点中为每个用户筛选候选兴趣点，这个兴趣点必须至少满足以下条件之一:(1)该兴趣点是用户以前访问过的；(2)该兴趣点接近用户最近访问的兴趣点；(3)是所有用户访问最多的兴趣点，即热门兴趣点。
步骤13：根据获取的类别偏好和POI偏好，计算候选POI的概率值。
通过获取的类别偏好和POI偏好，计算候选POI的概率值；
Figure BDA0004082126040000126
式中，M为候选POI的个数，vk为候选POI的嵌入向量表示，catv为候选POI的类别的嵌入向量表示，因此
Figure BDA0004082126040000127
表示在类别偏好和POI偏好的影响下，用户u最终访问POIvk的可能性，/>
Figure BDA0004082126040000128
为用户u在时间tN+1访问兴趣点vk的概率；
步骤14：根据候选POI的概率值进行降序排序，得到用户u的Top-N推荐列表，从而根据推荐列表中获得的位置向用户推荐其感兴趣的POI，本发明推荐算法可以应用在美团、Facebook等用户服务型平台。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (7)

1.一种基于时空上下文和类别偏好的下一个位置推荐方法，其特征在于，包括：
步骤一、获取用户签到的类别序列，构建每个用户的类别关联图，用词向量获取图中节点的嵌入向量，通过进行门控图神经网络训练，得到每个类别节点的嵌入向量，通过注意力机制生成用户的类别偏好；
步骤二、获取用户签到序列，通过LSTM和上下文注意力机制得到每次签到的嵌入向量表示和隐藏状态，基于时间注意力机制得到每次签到的权重，生成用户的兴趣点偏好；
步骤三、筛选候选兴趣点，结合类别偏好和兴趣点偏好，计算候选兴趣点的概率值，并对其进行降序排列，对候选兴趣点进行排序，将Top-N的位置推荐给用户。
2.根据权利要求1所述的基于时空上下文和类别偏好的下一个位置推荐方法，其特征在于，所述步骤一包括：
步骤1、从LSBN中根据用户编号提取签到的兴趣点编号、时间、类别、地理位置，进行预处理操作；
步骤2、从已经提取的信息中获取每个用户的签到类别，并按照签到的时间顺序形成类别序列
Figure FDA0004082126030000011
式中，
Figure FDA0004082126030000012
代表用户u在时间tk访问了类别为catv的兴趣点v，t1为用户第一次签到行为时刻，t2为用户第二次签到行为的时刻，tN为第N次签到行为的时刻；
步骤3、根据序列中访问类别的前后关系，将其转化为类别关联图，图中的每一个节点表示该用户签到过的一个类别，连接两个节点之间的无向边表示用户先后签到了这两个类别；
步骤4：利用词向量机制获取图中每个节点的嵌入向量表示，将词向量机制获取的嵌入向量表示作为初始向量输入到门控图神经网络中，经过不断的迭代优化捕获该用户访问类别之间的联系，并生成类别的嵌入向量表示sc；
步骤5、使用注意力机制根据关联图中每个节点的嵌入向量表示得到整张图的嵌入向量表示，作为用户的类别偏好。
3.根据权利要求2所述的基于时空上下文和类别偏好的下一个位置推荐方法，其特征在于，所述步骤5中通过注意力机制对于整张图输出用户的类别偏好，包括：
αc＝W1σ(W2q+W3sc)；
Figure FDA0004082126030000021
式中，W1、W2、W3为权重矩阵，q为注意力机制中的查询参数，αc为关联图中每个类别节点的权重，
Figure FDA0004082126030000022
为用户的类别偏好，Y为用户签到类别的总数。
4.根据权利要求3所述的基于时空上下文和类别偏好的下一个位置推荐方法，其特征在于，所述步骤二包括：
步骤a、从LBSN中将每个用户的历史签到行为按照时间顺序提取出用户签到序列；
步骤b、将用户轨迹序列中的签到属性提取出来，通过词向量机制将签到属性转换为嵌入向量表示；
步骤c、将用户在时间tk签到的嵌入向量表示
Figure FDA0004082126030000023
与tk-1时刻的隐藏状态/>
Figure FDA0004082126030000024
一起进入到tk时刻的LSTM中，获取tk时刻的隐藏状态/>
Figure FDA0004082126030000025
Figure FDA0004082126030000026
通过注意力机制、生成每个签到的权重向量μk，用每个
Figure FDA0004082126030000027
对应的权重μk衡量第k次历史签到对下一次签到的影响程度，将得到的权重向量μk乘以HP，得到用户的POI偏好。
5.根据权利要求4所述的基于时空上下文和类别偏好的下一个位置推荐方法，其特征在于，
所述步骤b中，用户u的历史签到活动表示为签到元组
Figure FDA0004082126030000028
Figure FDA0004082126030000029
上式表示用户u在tk时刻访问了兴趣点
Figure FDA00040821260300000210
地理位置为lv，所属类别为catv，时间属于一周中的第/>
Figure FDA00040821260300000211
天；
根据词向量机制得到的各属性嵌入向量表示，基于注意力机制，以加权的形式生成嵌入向量表示
Figure FDA00040821260300000212
Figure FDA00040821260300000213
Figure FDA0004082126030000031
式中，
Figure FDA0004082126030000032
是第i个属性对应的待学习参数，/>
Figure FDA00040821260300000316
是待学习参数，/>
Figure FDA0004082126030000033
是在时间tk签到嵌入向量表示，/>
Figure FDA0004082126030000034
表示在上下文注意力机制下的第k次签到中第i个特征的嵌入向量表示，/>
Figure FDA0004082126030000035
是第k次签到中第i个特征的权重表示，/>
Figure FDA0004082126030000036
表示第k次历史签到中的第i个属性的嵌入向量表示。
6.根据权利要求5所述的基于时空上下文和类别偏好的下一个位置推荐方法，其特征在于，所述步骤c中，每次签到的权重向量μk的计算公式为：
Figure FDA0004082126030000037
Figure FDA0004082126030000038
式中，
Figure FDA0004082126030000039
为时间注意机制的查询信息，为N+1时刻的下一个签到的POI嵌入向量表示，然后将得到的权重向量μk乘以HP，得到用户的POI偏好：
Figure FDA00040821260300000310
式中，μk为时刻tk的隐藏状态
Figure FDA00040821260300000311
的权重，/>
Figure FDA00040821260300000312
为用户u的POI偏好，k为第k次签到，N为签到的总次数。
7.根据权利要求6所述的基于时空上下文和类别偏好的下一个位置推荐方法，其特征在于，所述步骤三包括：
通过获取的类别偏好和POI偏好，计算候选POI的概率值；
Figure FDA00040821260300000313
式中，M为候选POI的个数，vk为候选POI的嵌入向量表示，catv为候选POI的类别的嵌入向量表示，因此
Figure FDA00040821260300000314
表示在类别偏好和POI偏好的影响下，用户u最终访问POIvk的可能性，/>
Figure FDA00040821260300000315
为用户u在时间tN+1访问兴趣点vk的概率；
根据候选POI的概率值进行降序排序，得到用户u的Top-N推荐列表。
CN202310125978.XA 2023-02-17 2023-02-17 一种基于时空上下文和类别偏好的下一个位置推荐方法 Pending CN116150511A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310125978.XA CN116150511A (zh) 2023-02-17 2023-02-17 一种基于时空上下文和类别偏好的下一个位置推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310125978.XA CN116150511A (zh) 2023-02-17 2023-02-17 一种基于时空上下文和类别偏好的下一个位置推荐方法

Publications (1)

Publication Number Publication Date
CN116150511A true CN116150511A (zh) 2023-05-23

Family

ID=86359704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310125978.XA Pending CN116150511A (zh) 2023-02-17 2023-02-17 一种基于时空上下文和类别偏好的下一个位置推荐方法

Country Status (1)

Country Link
CN (1) CN116150511A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117633371A (zh) * 2024-01-25 2024-03-01 云南大学 基于多注意力机制的推荐方法、设备和可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117633371A (zh) * 2024-01-25 2024-03-01 云南大学 基于多注意力机制的推荐方法、设备和可读存储介质
CN117633371B (zh) * 2024-01-25 2024-04-12 云南大学 基于多注意力机制的推荐方法、设备和可读存储介质

Similar Documents

Publication Publication Date Title
CN110928993B (zh) 基于深度循环神经网络的用户位置预测方法及系统
CN110399565B (zh) 基于时空周期注意力机制的递归神经网络兴趣点推荐方法
Tingley et al. Birds track their Grinnellian niche through a century of climate change
CN105532030A (zh) 用于分析目标实体的移动的装置、系统和方法
CN110570044A (zh) 基于循环神经网络和注意力机制的下一个地点预测方法
CN111444243A (zh) 一种基于轨迹信息的用户行为预测画像方法及系统
CN113139140B (zh) 基于时空感知gru并结合用户关系偏好的旅游景点推荐方法
CN109948066A (zh) 一种基于异构信息网络的兴趣点推荐方法
CN106910199A (zh) 面向城市空间信息采集的车联网众包方法
CN112598165B (zh) 基于私家车数据的城市功能区转移流量预测方法及装置
Terroso-Saenz et al. Land use discovery based on Volunteer Geographic Information classification
Santos-Fernandez et al. Bayesian spatio-temporal models for stream networks
CN110322067A (zh) 基于因子图模型的移动用户位置预测方法
CN115952355A (zh) 基于时空幂律注意力的下一兴趣点推荐系统
CN113158038A (zh) 基于sta-tcn神经网络框架的兴趣点推荐方法及系统
CN116150511A (zh) 一种基于时空上下文和类别偏好的下一个位置推荐方法
He et al. Next point-of-interest recommendation via a category-aware Listwise Bayesian Personalized Ranking
CN116108984A (zh) 基于流量-poi因果关系推理的城市流量预测方法
CN117271899A (zh) 一种基于时空感知的兴趣点推荐方法
Liao et al. Enriching large-scale trips with fine-grained travel purposes: A semi-supervised deep graph embedding framework
Salomón et al. User identification from mobility traces
Kažič et al. Predicting users’ mobility using Monte Carlo simulations
Li et al. Multi-modal representation learning for successive poi recommendation
CN115510333A (zh) 一种基于时空感知并结合局部和全局偏好的poi预测方法
CN114065024A (zh) 基于用户个性化生活模式的poi推荐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination