CN110570044A - 基于循环神经网络和注意力机制的下一个地点预测方法 - Google Patents

基于循环神经网络和注意力机制的下一个地点预测方法 Download PDF

Info

Publication number
CN110570044A
CN110570044A CN201910872506.4A CN201910872506A CN110570044A CN 110570044 A CN110570044 A CN 110570044A CN 201910872506 A CN201910872506 A CN 201910872506A CN 110570044 A CN110570044 A CN 110570044A
Authority
CN
China
Prior art keywords
vector
user
check
place
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910872506.4A
Other languages
English (en)
Inventor
曾骏
何欣
唐浩然
文俊浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN201910872506.4A priority Critical patent/CN110570044A/zh
Publication of CN110570044A publication Critical patent/CN110570044A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Mathematical Physics (AREA)
  • Strategic Management (AREA)
  • Computational Linguistics (AREA)
  • Human Resources & Organizations (AREA)
  • Software Systems (AREA)
  • Operations Research (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Fuzzy Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Remote Sensing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了基于循环神经网络和注意力机制的下一个地点预测方法，包括以下步骤：获取所有用户的历史签到数据并按时间先后形成签到序列，根据历史签到数据中包含的用户ID、地点ID和时间戳计算嵌入向量I，L，T；根据向量I和向量L计算包含时间戳中用户签到时间和地点ID信息的向量C0；根据向量C0计算体现签到序列中各个地点ID位置之间的关系向量X；根据向量X和向量I计算包含用户ID信息和各个地点ID位置之间的关系向量C1；根据向量C1分别计算Scorepos和Scoreatt；根据Scorepos和Scoreatt的计算结果生成预测列表。有益效果：可以对用户将要去到的下一个地点或者多个地点进行预测。

Description

基于循环神经网络和注意力机制的下一个地点预测方法
技术领域
本发明涉及下一个地点预测方法技术领域，具体来说，涉及基于循环神经网络和注意力机制的下一个地点预测方法。
背景技术
近些年来，越来越多基于位置的社交应用鼓励用户通过签到共享活动。基于此，大量的用户轨迹数据得以积累，这些数据包含空间和时间信息，即用户去了何地，在何时进行了签到。但是，用户对位置的共享具有很强的随机性，用户自身是否乐于签到、时间是否允许签到、情绪变化等，都能在一定程度上影响用户的签到情况。这使得签到数据十分稀疏，有可能用户在某日去了二十余个地点，但只在五个地方进行了签到。
对于一个特定的用户来说，这些离散的签到数据可以按照时间整合为一个序列，该序列能够反映出用户的一个历史访问情况。对这些序列数据进行分析后，研究人员发现用户行为具有随机和多变的特点。研究人员还发现，用户行为在社会和地理信息的影响下，仍存在一定的规律性。挖掘用户轨迹所反映出来的行为习惯与规律，以此作为基础的下一个地点预测研究有着广泛的应用，如城市计算、疾病防控、交通流预测、个性化推荐、摘要总结、语义角色标注。
下一个地点预测广阔的应用前景，吸引着越来越多的研究人员。在过去的十年间，对下一个地点进行预测的方法层出不穷。常用的包括马尔可夫模型、矩阵分解、循环神经网络、贝叶斯模型。基于上述方法，研究人员在进行预测时考虑了时间和空间的规律性。但目前仍存在如下问题：
1、用户总是更愿意在他们最感兴趣的位置签到，这使得签到数据十分稀疏，而且用户的行为习惯会随着时间的变化而发生改变，时间久远的轨迹数据难以用于对用户行为的挖掘。
2、人类的行为受到多种环境因素的影响，诸如天气、情绪等因素，甚至包含一些不可控的情况。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明要解决的技术问题是：如何挖掘序列模式下以及不同上下文因素下各地点之间的关系，以便合理分析各个用户的不同习惯与偏好，更加准确的对用户将要去到的地点进行预测。
为此，本发明采用的具体技术方案如下：
基于循环神经网络和注意力机制的下一个地点预测方法，通过面向用户历史轨迹数据，采用循环神经网络以及自注意力机制对用户行为规律进行挖掘，对下一个地点进行预测的方法，包括以下步骤：
获取所有用户的历史签到数据并按时间先后形成签到序列，根据所述历史签到数据中包含的用户ID、地点ID和时间戳计算嵌入向量I，L，T；
根据所述向量I和所述向量L计算包含所述时间戳中用户签到时间和所述地点ID信息的向量C0；
根据所述向量C0计算体现所述签到序列中各个所述地点ID位置之间的关系向量X；
根据所述向量X和所述向量I计算包含所述用户ID信息和各个所述地点ID位置之间的关系向量C1；
根据所述向量C1按照预先设定的法则分别计算Scorepos和Scoreatt；
根据所述Scorepos和所述Scoreatt的计算结果生成预测列表。
优选的，在获取所有用户的历史签到数据并按时间先后形成签到序列，根据所述历史签到数据中包含的用户ID、地点ID和时间戳计算嵌入向量I，L，T中还包括以下步骤：
对所述签到数据中的所述用户ID进行映射，映射后的向量I可以唯一标识该用户；
对所述签到数据中的所述地点ID进行映射，映射后的向量L反应用户去过的地点；
对所述签到数据中的所述时间戳进行映射，映射后的向量T反应用户在该地点进行签到的时间；
其中，所述时间戳(t1,t2，…tn)，所述地点ID(l1,l2，…ln)和所述用户ID可以分别嵌入实值向量T，L，I中，对于给定的用户，所述向量I，L，T包括该用户一端时间内的行为信息，并在一定程度上能够反映出该用户的行为规律。
优选的，在根据所述向量I和所述向量L计算包含所述时间戳中用户签到时间和所述地点ID信息的向量C0中还包括以下步骤：
将所述向量L和所述向量T进行连接，得到包含用户所到地点和所到地点时间信息的向量C0，且所述向量C0包含位置信息和用户访问时间信息；
通过GRU对所述向量C0进行处理，获取给定用户所述签到序列中各个所述地点ID位置之间的关系。
优选的，在根据所述向量C0计算体现所述签到序列中各个所述地点ID位置之间的关系向量X中还包括以下步骤：
计算反映出所述签到序列中各个所述地点ID位置之间的关系向量X：
zt＝σ(Wt·[ht-1，xt])；
rt＝σ(Wr·[ht-1，xt])；
ct＝tanh(W·[rt*ht-1,xt])；
ht＝(1-zt)*ht-1+zt*ct；
其中，xt表示t时刻的输入，ht-1表示t时刻的网络输出，W表示学习到的权值矩阵，zt和rt分别为更新门和复位门，σ表示一个激活函数，ct表示一种新的隐藏状态，ht表示网络的输出；
其主要目的是处理稀疏的用户签到数据，在时间跨度很大的情况下，提取出所述签到系列中各个所述地点ID位置之间的关系，该关系在一定程度上反映了用户的偏好，例如，用户喜欢在餐馆吃完午饭后去书店，或者在购物中心购物后去咖啡馆。
优选的，在根据所述向量C1按照预先设定的法则分别计算Scorepos和Scoreatt中还包括以下步骤：
基于所述向量C1计算Scorepos，Scorepos包含每个所述地点ID的得分，即用户会去的概率；
基于所述向量C1计算Scoreatt：
scoreatt(Q,K,V)＝Concat(head1,head2,...,headn)W0Concat(head1,head2,...,headn)Wo；所述Scoreatt包含的是不同上下文因素的影响下，每个所述地点ID之间的关系，其中，dk为神经网络隐藏单元的维数，Q、K、V分别是查询、键和值，它们是神经网络前一层的输出；
其中，用户会去到的下一个地点除了受到已去地点的影响外，也受到天气、情绪以及一些其它因素的影响，自注意力中的多头机制能够探索不同上下文因素对用户行为的影响，计算得到的权重矩阵可以帮助网络从不同的表示子空间了解每个位置对于给定用户的重要性。
优选的，在根据所述Scorepos和所述Scoreatt的计算结果生成预测列表中还包括以下步骤：
根据最终的得分获取排序列表，并在所述排序列表中按照分数由高到低对预测地点进行选择。
本发明的有益效果为：本发明利用历史轨迹信息来捕捉时间与用户已经访问过的位置之间的关系，并且利用自注意力机制从不同的上下文因素发现轨迹中各位置间的关系，通过研究特定用户的历史轨迹信息背后的潜在规律，探索序列的规律性，并发现影响用户行为的因素，与传统的常用预测方法相比，本发明所提的模型在预测精度上取得了更好的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的基于循环神经网络和注意力机制的下一个地点预测方法的步骤说明示意图；
图2是根据本发明实施例的基于循环神经网络和注意力机制的下一个地点预测方法的流程示意图；
图3是根据本发明实施例的基于循环神经网络和注意力机制的下一个地点预测方法中自注意力机制的示意图；
图4是根据本发明实施例的基于循环神经网络和注意力机制的下一个地点预测方法中不同α和β值对预测结果的影响示意图；
图5是根据本发明实施例的基于循环神经网络和注意力机制的下一个地点预测方法中实验效果对比图。
具体实施方式
为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。
根据本发明的实施例，提供了基于循环神经网络和注意力机制的下一个地点预测方法。
本发明描述了一种基于循环神经网络和自注意力机制的下一个地点预测方法。利用词嵌入方法将稀疏数据(例如时间戳、位置ID、用户ID)转换向量表示。这些向量会传入一个循环神经网络，目的是对轨迹序列中复杂而长期的依赖关系进行建模。
自注意力机制会分析循环神经网络处理后的结果，理解原始序列中存在的内部联系。自注意力机制最初由Vaswani在2017年提出，用于解决机器翻译的问题。同时，可以捕捉到影响人类行为迁移规律的不同语境因素的重要性。然后，结合历史轨迹信息，对下一位置进行预测。
在本发明中，签到即用户通过基于位置的服务对访问过的地点进行记录。每个签到记录都是唯一的，包括用户ID、时间戳、位置信息，这些信息由经纬度表示。例如，用户t时刻在l位置的第m个签到记录c可以描述为cm＝(t,l)。
轨迹是指在一个特定的时间窗口w下，签到序列Su可分为若干个子序列：Su＝sw1sw2…swk，每个子序列可由swi(i∈{1,2,3…k})：sw1＝c1c2c3…cj，sw2＝cj+1cj+2…cj+m(1<j+m<n)进行表示。窗口w是两个子序列之间的时间间隔,它的值可以设置为一个小时，一天，一个星期等。
下一个位置预测是指给定用户的签到序列Su＝c1c2c3…cn，预测他将会去到的地点。即给定Su，要获得一个预测列表，该列表需要包含cn+1、cn+2或更多用户u接下来想访问的位置的概率。
现结合附图和具体实施方式对本发明进一步说明，如图1-5所示，根据本发明实施例的基于循环神经网络和注意力机制的下一个地点预测方法，通过面向用户历史轨迹数据，采用循环神经网络以及自注意力机制对用户行为规律进行挖掘，对下一个地点进行预测的方法，包括以下步骤：
步骤S101，获取所有用户的历史签到数据并按时间先后形成签到序列，根据所述历史签到数据中包含的用户ID、地点ID和时间戳计算嵌入向量I，L，T；
具体的，在获取所有用户的历史签到数据并按时间先后形成签到序列，根据所述历史签到数据中包含的用户ID、地点ID和时间戳计算嵌入向量I，L，T中还包括以下步骤：
对所述签到数据中的所述用户ID进行映射，映射后的向量I可以唯一标识该用户；
对所述签到数据中的所述地点ID进行映射，映射后的向量L反应用户去过的地点；
对所述签到数据中的所述时间戳进行映射，映射后的向量T反应用户在该地点进行签到的时间；
其中，所述时间戳(t1,t2，…tn)，所述地点ID(l1,l2，…ln)和所述用户ID可以分别嵌入实值向量T，L，I中，对于给定的用户，所述向量I，L，T包括该用户一端时间内的行为信息，并在一定程度上能够反映出该用户的行为规律。
步骤S102，根据所述向量I和所述向量L计算包含所述时间戳中用户签到时间和所述地点ID信息的向量C0；
具体的，在根据所述向量I和所述向量L计算包含所述时间戳中用户签到时间和所述地点ID信息的向量C0中还包括以下步骤：
将所述向量L和所述向量T进行连接，得到包含用户所到地点和所到地点时间信息的向量C0，且所述向量C0包含位置信息和用户访问时间信息；
通过GRU对所述向量C0进行处理，获取给定用户所述签到序列中各个所述地点ID位置之间的关系。
步骤S103，根据所述向量C0计算体现所述签到序列中各个所述地点ID位置之间的关系向量X；
具体的，在根据所述向量C0计算体现所述签到序列中各个所述地点ID位置之间的关系向量X中还包括以下步骤：
计算反映出所述签到序列中各个所述地点ID位置之间的关系向量X：
zt＝σ(Wt·[ht-1，xt])；
rt＝σ(Wr·[ht-1，xt])；
ct＝tanh(W·[rt*ht-1,xt])；
ht＝(1-zt)*ht-1+zt*ct；
其中，xt表示t时刻的输入，ht-1表示t时刻的网络输出，W表示学习到的权值矩阵，zt和rt分别为更新门和复位门，σ表示一个激活函数，ct表示一种新的隐藏状态，ht表示网络的输出；
其主要目的是处理稀疏的用户签到数据，在时间跨度很大的情况下，提取出所述签到系列中各个所述地点ID位置之间的关系，该关系在一定程度上反映了用户的偏好，例如，用户喜欢在餐馆吃完午饭后去书店，或者在购物中心购物后去咖啡馆。
步骤S104，根据所述向量X和所述向量I计算包含所述用户ID信息和各个所述地点ID位置之间的关系向量C1；
步骤S105，根据所述向量C1按照预先设定的法则分别计算Scorepos和Scoreatt；
具体的，在根据所述向量C1按照预先设定的法则分别计算Scorepos和Scoreatt中还包括以下步骤：
基于所述向量C1计算Scorepos，Scorepos包含每个所述地点ID的得分，即用户会去的概率；
基于所述向量C1计算Scoreatt：
scoreatt(Q,K,V)＝Concat(head1,head2,...,headn)W0Concat(head1,head2,...,headn)Wo；所述Scoreatt包含的是不同上下文因素的影响下，每个所述地点ID之间的关系，其中，dk为神经网络隐藏单元的维数，Q、K、V分别是查询、键和值，它们是神经网络前一层的输出；
其中，用户会去到的下一个地点除了受到已去地点的影响外，也受到天气、情绪以及一些其它因素的影响，自注意力中的多头机制能够探索不同上下文因素对用户行为的影响，计算得到的权重矩阵可以帮助网络从不同的表示子空间了解每个位置对于给定用户的重要性。
步骤S106，根据所述Scorepos和所述Scoreatt的计算结果生成预测列表。
具体的，在根据所述Scorepos和所述Scoreatt的计算结果生成预测列表中还包括以下步骤：
根据最终的得分获取排序列表，并在所述排序列表中按照分数由高到低对预测地点进行选择。
在本实施例中，本发明选择的数据集是Foursquare NY，包含纽约市的签到信息。这些数据收集时间大约为10个月，从2012年4月12日到2013年2月16日。它包含由1083个用户生成的227428条签到数据。每条签到数据都包含有时间和空间信息，时间特征以时间戳表示，空间特征由坐标反映，在数据集中以<经度，纬度>表示。我们删除轨迹少于5条的用户，以及签到次数少于5的地点。
随机选择每个用户70％的轨迹数据作为训练集，其余数据作为测试集。评价指标为accuracy@N，基于公式
计算得到，其中N为预测地点数目。如预测了5个地点，accuracy衡量的就是这5个地点中预测正确的地点数目。
为了评估本发明针对下一个位置预测的准确性，将其与一些流行的方法进行了比较:
Markov：面向用户历史签到数据，基于马尔可夫链对用户的下一个地点进行预测。
RNN：面向用户历史签到数据，基于循环神经网络对下一个地点进行预测。
DeepMove：面向用户历史签到数据，基于循环神经网络和注意力机制对下一个地点进行预测。
最终得分反映了从一个给定位置到其他位置的得分，表示为公式Score＝α·Scoreatt+β·Scorepos，Scorepos包含每个地方的得分，即用户会去到的概率；Scoreatt包含的是在不同上下文因素的影响下，每个地点之间的关系。
本发明还设置了不同的α和β值(β＝1-α)以探索两种方法之间的关系。通过计算得到，当α＝0.4，β＝0.6，本发明达到最佳的预测性能。
实验结果显示，本发明相较其它三种常用方法而言，能够更好地对下一个位置进行预测。这是因为，传统的马尔可夫链通过获取用户最后访问的位置序列来构建转换矩阵，但忽略了时间对于用户行为的影响。与马尔可夫模型相比，RNN具有较强的时间特征捕获能力，能够处理离散的签到数据，从整合的序列当中发现地点之间的联系。然而，它可能很少关注用户的历史轨迹。DeepMove对单纯的RNN模型进行了扩展，它从较长的历史轨迹上阐明了人类行为具有周期性，并利用注意机制捕捉用户对某些位置的关注。本发明利用历史轨迹信息来捕捉时间与用户已经访问过的位置之间的关系，并且利用自注意力机制从不同的上下文因素发现轨迹中各位置间的关系。
本发明提出了一种基于循环神经网络和自注意力机制的下一个位置预测方法。通过研究特定用户的历史轨迹信息背后的潜在规律，探索序列的规律性，并发现影响用户行为的因素。本发明在真实的数据集Foursquare NY上进行实验。实验结果表明，与其他三种常用的预测方法相比，本发明所提的模型在预测精度上取得了更好的效果。
综上所述，借助于本发明的上述技术方案，本发明利用历史轨迹信息来捕捉时间与用户已经访问过的位置之间的关系，并且利用自注意力机制从不同的上下文因素发现轨迹中各位置间的关系，通过研究特定用户的历史轨迹信息背后的潜在规律，探索序列的规律性，并发现影响用户行为的因素，与传统的常用预测方法相比，本发明所提的模型在预测精度上取得了更好的效果。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.基于循环神经网络和注意力机制的下一个地点预测方法，通过面向用户历史轨迹数据，采用循环神经网络以及自注意力机制对用户行为规律进行挖掘，对下一个地点进行预测的方法，其特征在于，包括以下步骤：
获取所有用户的历史签到数据并按时间先后形成签到序列，根据所述历史签到数据中包含的用户ID、地点ID和时间戳计算嵌入向量I，L，T；
根据所述向量I和所述向量L计算包含所述时间戳中用户签到时间和所述地点ID信息的向量C0；
根据所述向量C0计算体现所述签到序列中各个所述地点ID位置之间的关系向量X；
根据所述向量X和所述向量I计算包含所述用户ID信息和各个所述地点ID位置之间的关系向量C1；
根据所述向量C1按照预先设定的法则分别计算Scorepos和Scoreatt；
根据所述Scorepos和所述Scoreatt的计算结果生成预测列表。
2.根据权利要求1所述的基于循环神经网络和注意力机制的下一个地点预测方法，其特征在于，在获取所有用户的历史签到数据并按时间先后形成签到序列，根据所述历史签到数据中包含的用户ID、地点ID和时间戳计算嵌入向量I，L，T中还包括以下步骤：
对所述签到数据中的所述用户ID进行映射，映射后的向量I可以唯一标识该用户；
对所述签到数据中的所述地点ID进行映射，映射后的向量L反应用户去过的地点；
对所述签到数据中的所述时间戳进行映射，映射后的向量T反应用户在该地点进行签到的时间；
其中，所述时间戳(t1,t2，…tn)，所述地点ID(l1,l2，…ln)和所述用户ID可以分别嵌入实值向量T，L，I中，对于给定的用户，所述向量I，L，T包括该用户一端时间内的行为信息，并在一定程度上能够反映出该用户的行为规律。
3.根据权利要求1所述的基于循环神经网络和注意力机制的下一个地点预测方法，其特征在于，在根据所述向量I和所述向量L计算包含所述时间戳中用户签到时间和所述地点ID信息的向量C0中还包括以下步骤：
将所述向量L和所述向量T进行连接，得到包含用户所到地点和所到地点时间信息的向量C0，且所述向量C0包含位置信息和用户访问时间信息；
通过GRU对所述向量C0进行处理，获取给定用户所述签到序列中各个所述地点ID位置之间的关系。
4.根据权利要求1所述的基于循环神经网络和注意力机制的下一个地点预测方法，其特征在于，在根据所述向量C0计算体现所述签到序列中各个所述地点ID位置之间的关系向量X中还包括以下步骤：
计算反映出所述签到序列中各个所述地点ID位置之间的关系向量X：
zt＝σ(Wt·[ht-1，xt])；
rt＝σ(Wr·[ht-1，xt])；
ct＝tanh(W·[rt*ht-1,xt])；
ht＝(1-zt)*ht-1+zt*ct；
其中，xt表示t时刻的输入，ht-1表示t时刻的网络输出，W表示学习到的权值矩阵，zt和rt分别为更新门和复位门，σ表示一个激活函数，ct表示一种新的隐藏状态，ht表示网络的输出；
其主要目的是处理稀疏的用户签到数据，在时间跨度很大的情况下，提取出所述签到系列中各个所述地点ID位置之间的关系，该关系在一定程度上反映了用户的偏好。
5.根据权利要求1所述的基于循环神经网络和注意力机制的下一个地点预测方法，其特征在于，在根据所述向量C1按照预先设定的法则分别计算Scorepos和Scoreatt中还包括以下步骤：
基于所述向量C1计算Scorepos，Scorepos包含每个所述地点ID的得分，即用户会去的概率；
基于所述向量C1计算Scoreatt：
scoreatt(Q,K,V)＝Concat(head1,head2,...,headn)W0Concat(head1,head2,...,headn)Wo；所述Scoreatt包含的是不同上下文因素的影响下，每个所述地点ID之间的关系，其中，dk为神经网络隐藏单元的维数，Q、K、V分别是查询、键和值，它们是神经网络前一层的输出；
其中，用户会去到的下一个地点除了受到已去地点的影响外，也受到天气、情绪以及一些其它因素的影响，自注意力中的多头机制能够探索不同上下文因素对用户行为的影响，计算得到的权重矩阵可以帮助网络从不同的表示子空间了解每个位置对于给定用户的重要性。
6.根据权利要求1所述的基于循环神经网络和注意力机制的下一个地点预测方法，其特征在于，在根据所述Scorepos和所述Scoreatt的计算结果生成预测列表中还包括以下步骤：
根据最终的得分获取排序列表，并在所述排序列表中按照分数由高到低对预测地点进行选择。
CN201910872506.4A 2019-09-16 2019-09-16 基于循环神经网络和注意力机制的下一个地点预测方法 Withdrawn CN110570044A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910872506.4A CN110570044A (zh) 2019-09-16 2019-09-16 基于循环神经网络和注意力机制的下一个地点预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910872506.4A CN110570044A (zh) 2019-09-16 2019-09-16 基于循环神经网络和注意力机制的下一个地点预测方法

Publications (1)

Publication Number Publication Date
CN110570044A true CN110570044A (zh) 2019-12-13

Family

ID=68780176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910872506.4A Withdrawn CN110570044A (zh) 2019-09-16 2019-09-16 基于循环神经网络和注意力机制的下一个地点预测方法

Country Status (1)

Country Link
CN (1) CN110570044A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111400620A (zh) * 2020-03-27 2020-07-10 东北大学 基于时空嵌入Self-Attention的用户轨迹位置预测方法
CN111444243A (zh) * 2020-03-31 2020-07-24 北京信息科技大学 一种基于轨迹信息的用户行为预测画像方法及系统
CN111667106A (zh) * 2020-05-29 2020-09-15 浙江工业大学 一种基于社交网络的用户数据预测方法
CN111723305A (zh) * 2020-05-29 2020-09-29 中国科学技术大学智慧城市研究院(芜湖) 一种预测用户下一轨迹点的方法
CN111729305A (zh) * 2020-06-23 2020-10-02 网易（杭州）网络有限公司 地图场景预加载方法、模型训练方法、设备及存储介质
CN112488384A (zh) * 2020-11-27 2021-03-12 香港理工大学深圳研究院 基于社交媒体签到预测目标区域的方法、终端及存储介质
CN113256024A (zh) * 2021-06-17 2021-08-13 上海大学 一种融合群体行为的用户行为预测方法
CN114177747A (zh) * 2021-12-02 2022-03-15 昆岳互联环境技术(江苏)有限公司 一种基于机器学习算法的烟气脱硫二氧化硫浓度预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JUN ZENG: "A Next Location Predicting Approach Based on a Recurrent Neural Network and Self-attention", 《COLLABORATIVE COMPUTING: NETWORKING, APPLICATIONS AND WORKSHARING 》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111400620A (zh) * 2020-03-27 2020-07-10 东北大学 基于时空嵌入Self-Attention的用户轨迹位置预测方法
CN111444243A (zh) * 2020-03-31 2020-07-24 北京信息科技大学 一种基于轨迹信息的用户行为预测画像方法及系统
CN111444243B (zh) * 2020-03-31 2023-08-29 北京信息科技大学 一种基于轨迹信息的用户行为预测画像方法及系统
CN111723305B (zh) * 2020-05-29 2023-05-23 长三角信息智能创新研究院 一种预测用户下一轨迹点的方法
CN111723305A (zh) * 2020-05-29 2020-09-29 中国科学技术大学智慧城市研究院(芜湖) 一种预测用户下一轨迹点的方法
CN111667106B (zh) * 2020-05-29 2023-07-14 苏州唯智互动传媒有限公司 一种基于社交网络的用户数据预测方法
CN111667106A (zh) * 2020-05-29 2020-09-15 浙江工业大学 一种基于社交网络的用户数据预测方法
CN111729305A (zh) * 2020-06-23 2020-10-02 网易（杭州）网络有限公司 地图场景预加载方法、模型训练方法、设备及存储介质
CN111729305B (zh) * 2020-06-23 2024-02-09 网易（杭州）网络有限公司 地图场景预加载方法、模型训练方法、设备及存储介质
CN112488384A (zh) * 2020-11-27 2021-03-12 香港理工大学深圳研究院 基于社交媒体签到预测目标区域的方法、终端及存储介质
CN112488384B (zh) * 2020-11-27 2021-08-31 香港理工大学深圳研究院 基于社交媒体签到预测目标区域的方法、终端及存储介质
CN113256024A (zh) * 2021-06-17 2021-08-13 上海大学 一种融合群体行为的用户行为预测方法
CN114177747A (zh) * 2021-12-02 2022-03-15 昆岳互联环境技术(江苏)有限公司 一种基于机器学习算法的烟气脱硫二氧化硫浓度预测方法

Similar Documents

Publication Publication Date Title
CN110570044A (zh) 基于循环神经网络和注意力机制的下一个地点预测方法
CN105389332B (zh) 一种地理社交网络下的用户相似性计算方法
CN105532030B (zh) 用于分析目标实体的移动的装置、系统和方法
Yang et al. Predicting next location using a variable order Markov model
del Carmen Rodríguez-Hernández et al. DataGenCARS: A generator of synthetic data for the evaluation of context-aware recommendation systems
Bao et al. A BiLSTM-CNN model for predicting users’ next locations based on geotagged social media
CN113139140B (zh) 基于时空感知gru并结合用户关系偏好的旅游景点推荐方法
Sadilek et al. Modeling the impact of lifestyle on health at scale
Li et al. Location inference for non-geotagged tweets in user timelines
CN104520881A (zh) 基于访问可能性对附近目的地排名以及从位置历史来预测对地点的未来访问
Wang et al. Predictability and prediction of human mobility based on application-collected location data
CN104915392A (zh) 一种微博转发行为预测方法及装置
CN113158038B (zh) 基于sta-tcn神经网络框架的兴趣点推荐方法及系统
Du et al. A geographical location prediction method based on continuous time series Markov model
CN108874911A (zh) 基于区域环境与犯罪事件数据的疑犯位置预测方法
Chen et al. Next POI recommendation based on location interest mining with recurrent neural networks
CN109949089A (zh) 一种确定展示率的方法、装置及终端
CN115982468A (zh) 一种结合用户周期性偏好和短期兴趣的兴趣点推荐方法
He et al. Next point-of-interest recommendation via a category-aware Listwise Bayesian Personalized Ranking
CN116150511A (zh) 一种基于时空上下文和类别偏好的下一个位置推荐方法
Chen et al. Event popularity prediction using influential hashtags from social media
CN115952355A (zh) 基于时空幂律注意力的下一兴趣点推荐系统
CN115408618A (zh) 一种基于社交关系融合位置动态流行度和地理特征的兴趣点推荐方法
Li et al. Impact of the pre-simulation process of occupant behaviour modelling for residential energy demand simulations
Shen et al. Novel model for predicting individuals’ movements in dynamic regions of interest

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20191213

WW01 Invention patent application withdrawn after publication