CN113111581A - 结合时空因素和基于图神经网络的lstm轨迹预测方法 - Google Patents

结合时空因素和基于图神经网络的lstm轨迹预测方法 Download PDF

Info

Publication number
CN113111581A
CN113111581A CN202110385031.3A CN202110385031A CN113111581A CN 113111581 A CN113111581 A CN 113111581A CN 202110385031 A CN202110385031 A CN 202110385031A CN 113111581 A CN113111581 A CN 113111581A
Authority
CN
China
Prior art keywords
time
gate
neural network
space
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110385031.3A
Other languages
English (en)
Other versions
CN113111581B (zh
Inventor
尚凤军
鲁琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202110385031.3A priority Critical patent/CN113111581B/zh
Publication of CN113111581A publication Critical patent/CN113111581A/zh
Application granted granted Critical
Publication of CN113111581B publication Critical patent/CN113111581B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及时空轨迹预测技术领域，具体涉及一种结合时空因素和基于图神经网络的LSTM轨迹预测方法，获取用户的签到数据；数据预处理：根据用户的平均签到数量和社交关系情况进行筛选；划分位置域，并采用聚类方法将同一位置域的用户赋予相同的位置标签；将时空因素引入门控机制，采用长短时记忆神经网络LSTM和历史轨迹序列学习用户的移动习惯，建立个人移动轨迹模型；将时间序列输入个人移动轨迹模型中预测用户未来某个时间段的出行轨迹；采用基于图神经网络的位置语义推断方法推断出行轨迹预测结果中的位置语义类别。本发明针对基于位置的社交网络产生的签到数据的稀疏性，结合文本内容进行位置发现和提取，扩展位置数量，提高预测准确率。

Description

结合时空因素和基于图神经网络的LSTM轨迹预测方法
技术领域
本发明涉及时空轨迹预测技术领域，具体涉及一种结合时空因素和基于图神经网络的LSTM轨迹预测方法。
背景技术
随着移动互联网的迅速发展，越来越多的人开始在移动设备上通过社交平台主动分享自己的时空信息，通常还伴有文本图片等反映用户活动内容的语义信息，如国外的Gowalla、Facebook、Foursquare和国内的微博、朋友圈等。与传统社交网络相比，基于位置的社交网络(LBSN)最大的不同就是结合了定位技术，增加了空间维度，是位置和社交的融合。由于用户数量庞大，又不受时间地点的约束，通过用户的签到记录或者通过文本内容挖掘出来的位置信息，可以在短时间内产生大量的个体移动轨迹数据，这些数据相比传统的GPS数据具有信息丰富、容易获取并且可以从中挖掘出社交关系的特点，因而在基于位置的智能化和个性化服务中起着关键作用。
基于用户的历史轨迹数据，我们可以分析和预测用户在固定时间段可能的移动轨迹，对于个体的轨迹预测来说，广告商可以更精准的给用户推荐目的地的信息，广泛用于各类推荐系统，兴趣点推荐等，大大提升目标客户的消费率，提高效益。对于用户来说，也可以根据第三方应用推荐的内容更合理地规划自己的出行，获取兴趣点相关的信息和服务，节省大量的人力成本和时间成本，提升用户体验。对于群体的轨迹预测来说，对城市管理则具有重大意义。首先可以分析和预测交通状况，由于我国人口基数庞大，对于大中型城市来说，上下班高峰期的拥堵已经成为了一个很严重的问题，通过大量社交数据对人群出行轨迹进行预测，可以通过分流等手段有效缓解市区交通状况，其次针对景区等人流密集场所的网络延迟问题也可以通过群体轨迹预测更合理地分配网络资源。
现有技术中，轨迹预测方法主要是基于时间、空间以及时间和空间相结合，有的还把社交关系引入到预测模型中，通常是采用马尔科夫模型或者其改进模型，但是还存在以下问题：
(1)用户可以通过签到的形式记录自己的位置，但是相邻签到记录的时间往往间隔长短不一。比如同一用户上次签到和下次签到时间间隔太久导致时间序列缺失；或者某一地点的签到数量很少，导致空间序列缺失，数据稀疏性太强。此外，用户签到的随机性较大，受到年龄、性别等自身属性以及天气等自然因素的影响。在时间序列上，仅仅依靠签到数据会有很大的缺失，无法达到很好的预测效果。
(2)轨迹预测模型的构建和历史轨迹预测密切相关，用户下一次出现的位置可能和前一个位置有关，可能和之前若干个位置都相关，无法精确量化，因此需要尽可能考察长的序列依赖关系，目前的方法存在长序列依赖不足的问题，容易出现梯度消失，会影响预测的准确率。
发明内容
为了解决上述问题，本发明提供一种结合时空因素和基于图神经网络的LSTM轨迹预测方法。
一种结合时空因素和基于图神经网络的LSTM轨迹预测方法，包括以下步骤：
S1、获取用户的签到数据，包括用户在社交网站的发表内容、发表内容的时间以及发表内容时分享的位置信息；
S2、数据预处理：根据用户的平均签到数量和社交关系情况进行筛选，保留签到数量大于5的用户和朋友数量大于5的用户；选取每个用户访问频率最高的3个访问位置(某一用户访问频率最高的访问位置代表该用户常去的地理空间活动范围)，使用3个位置的平均经纬度作为用户的地理坐标；划分位置域，并采用聚类方法将同一位置域的用户赋予相同的位置标签；
S3、将时空因素引入门控机制，采用长短时记忆神经网络LSTM和历史轨迹序列学习用户的移动习惯，建立个人移动轨迹模型；
S4、将时间序列输入个人移动轨迹模型中，得到预测用户未来某个时间段的出行轨迹预测结果；
S5、采用基于图神经网络的位置语义推断方法推断出行轨迹预测结果中的位置语义类别。
进一步的，LSTM模型包括分别加入时空因素的输入门、遗忘门、输出门以及一个决定当前时刻细胞状态的细胞，各个部分的计算公式如下：
ft＝σf(wxfxt+whfht-1+wcf☉ct-1+bf) (1)
it＝σi(wxixt+whiht-1+wci☉ct-1+bi) (2)
ct＝ft☉ct-1+it☉tanh(wxcxt+whcht-1+bc) (3)
ot＝σo(wxoxt+whoht-1+wco☉ct+bo) (4)
ht＝ot☉tanh(ct+b) (5)
其中，it、ft、ot、ct、ht分别代表输入门、遗忘门、输出门、细胞状态和隐藏状态，每个控制门中都有一个激活函数σ，默认为sigmod函数，其中σf表示遗忘门的激活函数，σi表示输入门的激活函数，σo表示输出门的激活函数，it、ft、ot、ct这些向量的大小与隐藏状态ht相同，每个矩阵权重w的下标代表从一个状态到另一个状态，其中wxf表示从输入门到遗忘门的权重矩阵，wcf表示从细胞状态到遗忘门的权重矩阵，b为各个门的偏置，其中bi为输入门的偏置，bf为遗忘门的偏置，xt表示t时刻的向量输入，t为时间参数。
进一步的，个人移动轨迹模型在LSTM模型的基础上添加一个时空门，时空门用于存储时间间隔以及空间距离间隔到每个时刻的细胞状态，将时间和空间影响作为内隐信息来指导门机制的学习，进而学习行为之间的时空隐含关系。
进一步的，个人移动轨迹模型在LSTM模型的基础上添加一个时空门，时空门用于存储时间间隔以及空间距离间隔到每个时刻的细胞状态，将时间和空间影响作为内隐信息来指导门机制的学习，进而学习行为之间的时空隐含关系。
进一步的，时空门主要由三个部分组成，除了输入门xt，增加了时间间隔△tt和空间间隔△st这两个输入特征，并分别与时间差权重w△t(st)和距离差权重w△s(st)两个权重相乘，时空门的表达式包括：
stt＝σst(wx(st)+w△t(st)Δtt+w△s(st)Δst+b(st))
其中，stt表示时空门，σst表示激活函数，wx(st)表示从输入门到时空门的权重矩阵，b(st)表示时空门的偏置。
进一步的，步骤S5中，采用基于图神经网络的位置语义推断方法推断出行轨迹预测结果中的位置语义类别包括：
S51、构造地理空间网络NSP，从中提取用户的时空特征和位置的时空特征；
S52、根据用户的时空特征和位置的时空特征构建用户-位置访问二部图Nc，再利用图卷积神经网络获取用户签到活动中的高阶信息，得到出行轨迹预测结果的语义类别。
进一步的，步骤S51中，构造地理空间网络NSP包括：将用户、地理位置看做节点，通过计算节点间距离，若距离小于δ时，两节点相连构成边，否则不构成边，最终形成地理空间网络NSP。
进一步的，所述图卷积神经网络选用两层图卷积神经网络层，一层图卷积神经网络层代表节点与一阶邻居节点的信息交互，二阶图卷积神经网络层代表节点与二阶邻居节点的信息交互。为了有效利用两层卷积神经网络的有效信息，将两层信息融合相加取平均，最终输出结果。
有益效果：
(1)本发明针对基于位置的社交网络产生的签到数据的稀疏性，结合文本内容进行位置发现和提取，扩展位置数量，提高预测准确率。
(2)本发明针对长序列依赖不足的问题，采用改进的循环神经网络(RNN)，引入门控机制，也就是增加了遗忘门的长短期记忆网络(LSTM)，尽可能利用好序列关系。
附图说明
下面结合附图和具体实施方式对本发明做进一步详细的说明。
图1为本实施例提供的一种结合时空因素的人移动轨迹模型图；
图2为时空特征提取示意图；
图3为基于图卷积神经网络的位置语义推断模型整体框架。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实施例提供一种结合时空因素和基于图神经网络的LSTM轨迹预测方法，如图1所示，在一种优选实施方式中，包括但不限于如下步骤：
首先获取用户的签到数据。
用户的签到数据包括：用户在社交网站的发表内容(如文字、图片、视频)以及发表内容的时间、发表内容时分享的位置信息(用户的纬度、经度和位置编号)。
示例性的，采用著名社交网站格瓦拉上面公开的数据集。格瓦拉是一个移动互联网应用，它提供基于地理位置的服务，用户使用过程中，不仅可以发表文字、图片、视频等信息来分享自己的生活见闻，还可以留下自己发表状态时分享的位置。将用户发表的每条状态(文字、图片或视频信息)视作一条签到数据，每条签到数据包含用户编号、签到时间、签到时用户的纬度、经度和位置编号。
获取数据后，对数据进行预处理操作，包括：根据用户的平均签到数量和社交关系情况进行筛选，保留签到数量大于5的用户和朋友数量大于5的用户；选取每个用户访问频率最高的3个访问位置(某一用户访问频率最高的访问位置代表该用户常去的地理空间活动范围)，使用3个位置的平均经纬度作为用户的地理坐标；划分位置域，并采用聚类方法将同一位置域的用户赋予相同的位置标签，得到预处理后的用户签到数据，将其作为人移动轨迹模型的训练数据集。
虽然获取签到数据的总量很大，但个别用户的平均签到数量和个别位置的平均签到数量过少，并不适合直接拿来构建轨迹预测模型，因此本方法选取签到数量大于5的用户进行处理；同时结合社交关系，筛选掉朋友数量小于5的用户，保留朋友数量大于5的用户。
原始的签到数据每一个<纬度，经度>精确到小数点后十多位，位置划分的粒度过细，而在实际应用的时候，比如只需要知道用户在某一个小区、学校或者商圈即可，因此可以用聚类方法对位置数据进行合并。进行聚类合并时，把点与点之间的距离阈值设为1km，即当一对经纬度代表的位置在1平方公里之内时，赋予他们相同的位置ID。
S3、预测步骤：将预处理后的用户签到数据输入人移动轨迹模型中，学习用户的移动习惯，最终根据时间序列得到用户未来某个时间段的出行轨迹预测结果。本步骤所述人移动轨迹模型为结合时空因素的LSTM模型，又称为ST-LSTM位置预测模型，具体介绍如下：
如图1所示为一种结合时空因素的人移动轨迹模型图，在LSTM模型的基础上添加了一个时空门，用来存储时间间隔以及空间距离间隔到每个时刻的细胞状态，进而学习行为之间的时空隐含关系。图1中，Xt为t时刻的向量输入，Ht-1为t-1时刻的输出，Ct-1为t-1时刻的细胞状态，Ot为t时刻的输出门，st为t时刻的空间向量输入，ST为时空门，S为tanh激励函数。
在LSTM模型中，i、f、o、c分别为LSTM模型的输入门、遗忘门、输出门和细胞状态。这些门允许LSTM中的单元随时间保持、更新或忘记信息。输入门、遗忘门和输出门控制着流经细胞的信息流，其中输入门i决定是否输入数据，遗忘门f决定是否遗忘历史，输出门o决定是否产生当前状态。这些门从大量输入数据中接受训练，学习如何正常工作。然而，由于数据的稀疏性，输入到LSTM的签到数据序列为稀疏数据，因此标准的LSTM模型很难学习到功能良好的门。由于不同的时间间隔对用户的移动意图有不同的影响，因此时间间隔的长度对于预测未来的移动是至关重要的。同理，空间区间对于预测未来的移动也是起到关键作用。
本发明方法将时间和空间影响作为内隐信息来指导门机制的学习，本文提出的ST-LSTM位置预测模型不同于传统的LSTM模型，它将用户行为之间的时间与距离间隔所隐含的关系单独存入到时空门中，在循环网络中筛选和保留相应的信息，从而能更好地学习运动轨迹信息中所蕴含的行为习惯。
ST-LSTM模型在LSTM的基础上添加了一个时空门，用来存储时间间隔以及空间距离间隔到每个时刻的细胞状态，进而学习行为之间的时空隐含关系。
在一种实施例中，ST-LSTM模型各个结构的详细描述如下：
①遗忘门
遗忘门的作用包括：针对上一时刻序列隐藏状态中的信息，选择性遗忘一些不重要的移动行为习惯，或者减小这个时刻签到地点对轨迹预测的影响作用。例如某个用户几个月前去过某一地方，但最近都没有再去，遗忘门就会“忘记”去该地点的行为。
②输入门
输入门作用于细胞状态，与遗忘门结构类似，同样是由上一时刻的隐藏状态和现有的序列组成。因为输入门相对于遗忘门更偏向于打开的状态，将新的信息选择性的记录到细胞状态中。加入在学习用户的时间序列信息时，会将预处理过的签到数据存储到细胞状态中作为整个模型的输入。
③时空门
时空门主要由三个部分组成，除了输入门xt，增加了时间间隔△tt和空间间隔△st这两个输入特征，并分别与时间差权重w△t(st)和距离差权重w△s(st)两个权重相乘，时空门的表达式更新为：
stt＝σst(wx(st)+w△t(st)Δtt+w△s(st)Δst+b(st))
其中，stt表示时空门，σst表示激活函数，wx(st)表示从输入门到时空门的权重矩阵，b(st)表示时空门的偏置。
④细胞状态
细胞状态由两部分组成，一部分是上一时刻序列的隐藏状态和遗忘门的按元素乘，另一部分是当前输入的细胞状态和输入门的输出按元素相乘，这样就可以将细胞状态更新为以往历史重要的兴趣信息和现在信息相结合的状态，得到的结果即为新的地点候选值。因此，细胞状态是存储各个门的综合信息。在改进的ST-LSTM网络层中，stt作为细胞状态公式的一部分，将时空信息加入到细胞状态中，进入到下一时刻的计算，1-stt参与到上一时刻的细胞状态中，计算公式更新为ct＝ft☉ct-1☉(1-stt)+it☉tanh(wxcxt+whcht-1+bc)☉stt。
⑤输出门
输出门不像其他控制门，输出门的开和关都是较为平衡的，控制细胞状态输出到ST-LSTM的前输出值ht中的数量，然后把前面的判断信息保存到隐层中去，并通过激活函数tanh将输出的当前时刻的细胞状态的值保持在区间[－1，1]。本文模型每次循环输出时，在输出结果上添加个人修正因子参数，表示采取k-means聚类后每类用户的行为兴趣，是对用户结果的一个修正。最终的输出状态的公式为：ht＝ot☉tanh(ct)+pui。其中，pui表示用户ui的修正因子。一方面，ST-LSTM模型通过添加时空门将Δt和Δst的时空信息存入stt中，以单独的门存在，将时空关联性更加直接地表示出来，并且是只负责用户行为的时空特性，这里没有像其他门一样加入上一时刻的隐藏状态ht－1，因为已经将上一时刻与当前时刻的信息用时间间隔和距离间隔数据来表示，并将时空门看作单位1，作用于细胞状态中。一部分将stt参与到当前输入的单元状态信息，控制Δtt和Δst的时空信息进入新的细胞状态中，另一部分将1－stt参与到上一时刻的细胞状态中，和遗忘门一起控制将不重要的以往历史信息过滤掉。因此，时空门有助于将长远的信息存储在细胞状态中。在这个模型中，实际上是将stt看成时空特征数据的输入门，将1－stt看作为时空特征数据的遗忘门，共同控制时空信息，使模型具有时空特性。
得到用户未来某个时间段的出行轨迹预测结果后，得到每个位置的语义信息可以揭示用户活动的目的和用户偏好，由于基于位置的社交网络服务商无法获得位置语义标签，因而大多数位置语义标签缺失，现有方法通过手工提取位置时空特征，挖掘用户中的时空模式，训练分类器的方式推断位置语义类别。但存在高价值的时空模式提取较为困难，手工提取又缺乏统一的标准，并且也没有对轨迹数据中的高阶信息进行有效利用，因此采用基于图神经网络的位置语义推断方法推断出行轨迹预测结果中的位置语义类别，具体包括：
1、构造地理空间网络NSP，从中提取用户的时空特征和位置的时空特征。
所述时空特征包括时间特征和空间特征，其中空间特征提取过程包括：将用户或地理位置看做节点，通过计算节点间距离，若距离小于特定阈值δ时，将该两节点相连构成边，否则不构成边，构造地理空间网络NSP。采用空间特征提取算法从地理空间网络NSP中无监督学习用户或地理位置的空间特征表达fsp(节点v的特征表达式)。优选的，采用node2vec算法无监督学习用户或地理位置的空间特征表达fsp，空间特征提取过程如图2所示，具体包括：定义V是地理空间网络Nsp中的节点集合，v是其中一个节点，N(v)是v的邻居。位置空间特征提取的优化目标是最大化邻居节点的出现概率，即Pr(N(v)|fsp)＝max∑v∈VlogPr(N(v)|fsp)。
时间特征的提取的目标是学习用户访问的时间模式。用户通常活动规律大多都为7天(既一个周)，因此建立7×24的时间矩阵，计算用户访问时间、位置的被访问时间得到时间矩阵。例如，用户A在周一上午9点-10点访问位置B，则时间矩阵相应元素加1。位置的时间矩阵与用户的时间矩阵计算方法一致。该方法利用node2vec学习用户和位置的空间结构和时间信息的特征表达，有效提取用户、地理位置的时空特征，避免现有方法手工提取特征的不足。
2、根据上述提取的时间特征和空间特征构建用户-位置访问二部图Nc：用户-位置访问二部图Nc如图3中间部分所示，二部图一侧节点为用户u，另一侧节点为访问的位置l，两侧节点之间边的连接关系由用户是否访问过该位置决定，若用户ui访问过挖掘用户地理位置lj，则e(i,j)＝1，反之e(i,j)＝0。再利用图卷积神经网络从用户-位置访问二部图Nc中获取用户签到活动中的高阶信息，得到出行轨迹预测结果的语义类别。用户-位置访问二部图反映用户与地理位置之间的访问关系与拓扑结构。该方法的目的是利用图卷积神经网络将用户-位置访问二部图的拓扑关系、用户和地理位置的时空特征相结合探索位置的语义。为了有效挖掘用户签到活动中的高阶信息，构建两层图卷积神经网络层。一层图卷积神经网络代表节点与一阶邻居节点的信息交互，二阶图卷积神经网络代表节点与二阶邻居节点的信息交互。
在一种实施方式中，所述图卷积神经网络选用两层图卷积神经网络层，一层图卷积神经网络层代表节点与一阶邻居节点的信息交互，二阶图卷积神经网络层代表节点与二阶邻居节点的信息交互。为了有效利用两层卷积神经网络的有效信息，将两层信息融合相加取平均，最终输出结果，输出结果为位置语义标签。
需要说明的是，本领域普通技术人员可以理解实现上述方法实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-0nly Memory，ROM)或随机存储记忆体(RandomAccess Memory，RAM)等。
以上所述仅是本申请的具体实施方式，应当指出，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种结合时空因素和基于图神经网络的LSTM轨迹预测方法，其特征在于，包括以下步骤：
S1、获取用户的签到数据，包括用户在社交网站的发表内容、发表内容的时间以及发表内容时分享的位置信息；
S2、数据预处理：根据用户的平均签到数量和社交关系情况进行筛选，保留签到数量大于5的用户和朋友数量大于5的用户；选取每个用户访问频率最高的3个访问位置，使用3个位置的平均经纬度作为用户的地理坐标；划分位置域，并采用聚类方法将同一位置域的用户赋予相同的位置标签；
S3、将时空因素引入门控机制，采用长短时记忆神经网络LSTM和历史轨迹序列学习用户的移动习惯，建立个人移动轨迹模型；
S4、将时间序列输入个人移动轨迹模型中，得到用户未来某个时间段的出行轨迹预测结果；
S5、采用基于图神经网络的位置语义推断方法推断出行轨迹预测结果中的位置语义类别。
2.根据权利要求1所述的一种结合时空因素和基于图神经网络的LSTM轨迹预测方法，其特征在于，个人移动轨迹模型为结合时空因素的LSTM模型，包括分别加入时空因素的输入门、遗忘门、输出门以及一个决定当前时刻细胞状态的细胞，输入门、遗忘门和输出门控制着流经细胞的信息流，其中输入门i决定是否输入数据，遗忘门f决定是否遗忘历史，输出门o决定是否产生当前状态，各个部分的计算公式如下：
ft＝σf(wxfxt+whfht-1+wcf☉ct-1+bf)
it＝σi(wxiXt+whiht-1+wci☉ct-1+bi)
ct＝ft☉ct-1+it☉tanh(wxcXt+whcht-1+bc)
ot＝σo(wxoXt+whoht-1+wco☉ct+bo)
ht＝ot☉tanh(ct+b)
其中，it、ft、ot、ct、ht分别代表输入门、遗忘门、输出门、细胞状态和隐藏状态，每个控制门中都有一个激活函数σ，默认为sigmod函数，其中σf表示遗忘门的激活函数，σi表示输入门的激活函数，σo表示输出门的激活函数，it、ft、ot、ct这些向量的大小与隐藏状态ht相同，每个矩阵权重w的下标代表从一个状态到另一个状态，其中wxf表示从输入门到遗忘门的权重矩阵，wcf表示从细胞状态到遗忘门的权重矩阵，b为各个门的偏置，其中bi为输入门的偏置，bf为遗忘门的偏置，Xt表示t时刻的向量输入，t为时间参数。
3.根据权利要求1所述的一种结合时空因素和基于图神经网络的LSTM轨迹预测方法，其特征在于，个人移动轨迹模型在LSTM模型的基础上添加一个时空门，时空门用于存储时间间隔以及空间距离间隔到每个时刻的细胞状态，将时间和空间影响作为内隐信息来指导门机制的学习，进而学习行为之间的时空隐含关系。
4.根据权利要求3所述的一种结合时空因素和基于图神经网络的LSTM轨迹预测方法，其特征在于，时空门主要由三个部分组成，除了输入门xt，增加了时间间隔△tt和空间间隔△st这两个输入特征，并分别与时间差权重w△t(st)和距离差权重w△s(st)两个权重相乘，时空门的表达式包括：
stt＝σst(wx(st)+w△t(st)Δtt+w△s(st)Δst+b(st))
其中，stt表示时空门，σst表示激活函数，wx(st)表示从输入门到时空门的权重矩阵，b(st)表示时空门的偏置。
5.根据权利要求1所述的一种结合时空因素和基于图神经网络的LSTM轨迹预测方法，其特征在于，步骤S5中，采用基于图神经网络的位置语义推断方法推断出行轨迹预测结果中的位置语义类别包括：
S51、构造地理空间网络NSP，从中提取用户的时空特征和位置的时空特征；
S52、根据用户的时空特征和位置的时空特征构建用户-位置访问二部图Nc，再利用图卷积神经网络获取用户签到活动中的高阶信息，得到出行轨迹预测结果的语义类别。
6.根据权利要求5所述的一种结合时空因素和基于图神经网络的LSTM轨迹预测方法，其特征在于，步骤S51中，构造地理空间网络NSP包括：将用户、地理位置看做节点，通过计算节点间距离，若距离小于特定阈值δ时，两节点相连构成边，否则不构成边，最终形成地理空间网络NSP。
7.根据权利要求5所述的一种结合时空因素和基于图神经网络的LSTM轨迹预测方法，其特征在于，所述图卷积神经网络选用两层图卷积神经网络层，一层图卷积神经网络层代表节点与一阶邻居节点的信息交互，二阶图卷积神经网络层代表节点与二阶邻居节点的信息交互，为了有效利用两层卷积神经网络的有效信息，将两层信息融合相加取平均，最终输出结果。
CN202110385031.3A 2021-04-09 2021-04-09 结合时空因素和基于图神经网络的lstm轨迹预测方法 Active CN113111581B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110385031.3A CN113111581B (zh) 2021-04-09 2021-04-09 结合时空因素和基于图神经网络的lstm轨迹预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110385031.3A CN113111581B (zh) 2021-04-09 2021-04-09 结合时空因素和基于图神经网络的lstm轨迹预测方法

Publications (2)

Publication Number Publication Date
CN113111581A true CN113111581A (zh) 2021-07-13
CN113111581B CN113111581B (zh) 2022-03-11

Family

ID=76715619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110385031.3A Active CN113111581B (zh) 2021-04-09 2021-04-09 结合时空因素和基于图神经网络的lstm轨迹预测方法

Country Status (1)

Country Link
CN (1) CN113111581B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113722604A (zh) * 2021-11-03 2021-11-30 北京奇岱松科技有限公司 空间知识信息流的推送方法、装置及计算设备
CN113837268A (zh) * 2021-09-18 2021-12-24 北京百度网讯科技有限公司 确定轨迹点状态的方法、装置、设备和介质
CN114202561A (zh) * 2021-12-03 2022-03-18 广东海聊科技有限公司 一种长跑运动轨迹异常检测方法
CN114442623A (zh) * 2022-01-20 2022-05-06 中国农业大学 一种基于时空图神经网络的农机作业轨迹田路分割方法
CN114780866A (zh) * 2022-04-11 2022-07-22 山东省人工智能研究院 一种基于时空上下文兴趣学习模型的个性化智能推荐方法
CN114827904A (zh) * 2022-05-10 2022-07-29 山东大学 一种移动服务用户轨迹预测方法及系统
CN115346372A (zh) * 2022-08-16 2022-11-15 重庆邮电大学 一种基于图神经网络的多组件融合交通流量预测方法
CN115830076A (zh) * 2023-02-21 2023-03-21 创意信息技术股份有限公司 一种人员轨迹视频智能分析系统
CN116129560A (zh) * 2022-12-07 2023-05-16 中电信数智科技有限公司 一种基于人工智能的智慧楼宇管理系统
WO2023123624A1 (zh) * 2021-12-31 2023-07-06 中国科学院深圳先进技术研究院 城市流感发病趋势预测方法、系统、终端以及存储介质
CN116484309A (zh) * 2023-03-09 2023-07-25 重庆市规划和自然资源信息中心 户籍人口数据与不动产登记数据融合方法
CN117062280A (zh) * 2023-08-17 2023-11-14 北京美中爱瑞肿瘤医院有限责任公司 一种神经外科自助式手术灯自动跟随系统
CN117319451A (zh) * 2023-11-28 2023-12-29 爱瑞克(大连)安全技术集团有限公司 基于多模态大数据的城市级消防物联网监管系统及其方法
CN117688257A (zh) * 2024-01-29 2024-03-12 东北大学 一种面向异构用户行为模式的长期轨迹预测方法
EP4332865A4 (en) * 2021-09-02 2024-10-02 Samsung Electronics Co Ltd SERVERS AND CONTROL METHODS THEREFOR

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680250A (zh) * 2015-02-11 2015-06-03 北京邮电大学 一种位置预测系统
CN107194011A (zh) * 2017-06-23 2017-09-22 重庆邮电大学 一种基于社交网络的位置预测系统及方法
CN107529651A (zh) * 2017-08-18 2018-01-02 北京航空航天大学 一种基于深度学习的城市交通客流预测方法和设备
CN108829766A (zh) * 2018-05-29 2018-11-16 苏州大学 一种兴趣点推荐方法、系统、设备及计算机可读存储介质
CN109062962A (zh) * 2018-06-27 2018-12-21 华南理工大学 一种融合天气信息的门控循环神经网络兴趣点推荐方法
CN110147892A (zh) * 2019-02-20 2019-08-20 电子科技大学 基于变分轨迹上下文感知的人类移动模式推测模型、训练方法及推测方法
CN110503073A (zh) * 2019-08-29 2019-11-26 大连海事大学 一种第三视角下动态链接的密集多智能体轨迹预测方法
CN110928993A (zh) * 2019-11-26 2020-03-27 重庆邮电大学 基于深度循环神经网络的用户位置预测方法及系统
CN110929841A (zh) * 2019-10-11 2020-03-27 浙江大学城市学院 基于增强意图的循环神经网络模型预测行人轨迹的方法
CN111274901A (zh) * 2020-01-15 2020-06-12 浙江大学 一种基于深度门控递归单元的手势深度图像连续检测方法
US20200265291A1 (en) * 2019-02-18 2020-08-20 Nec Laboratories America, Inc. Spatio temporal gated recurrent unit
CN112270349A (zh) * 2020-10-23 2021-01-26 福州大学 基于gcn-lstm的个体位置预测方法
CN112382094A (zh) * 2020-11-13 2021-02-19 北京航空航天大学 基于时空势能场的城市交通流量可解释预测方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680250A (zh) * 2015-02-11 2015-06-03 北京邮电大学 一种位置预测系统
CN107194011A (zh) * 2017-06-23 2017-09-22 重庆邮电大学 一种基于社交网络的位置预测系统及方法
CN107529651A (zh) * 2017-08-18 2018-01-02 北京航空航天大学 一种基于深度学习的城市交通客流预测方法和设备
CN108829766A (zh) * 2018-05-29 2018-11-16 苏州大学 一种兴趣点推荐方法、系统、设备及计算机可读存储介质
CN109062962A (zh) * 2018-06-27 2018-12-21 华南理工大学 一种融合天气信息的门控循环神经网络兴趣点推荐方法
US20200265291A1 (en) * 2019-02-18 2020-08-20 Nec Laboratories America, Inc. Spatio temporal gated recurrent unit
CN110147892A (zh) * 2019-02-20 2019-08-20 电子科技大学 基于变分轨迹上下文感知的人类移动模式推测模型、训练方法及推测方法
CN110503073A (zh) * 2019-08-29 2019-11-26 大连海事大学 一种第三视角下动态链接的密集多智能体轨迹预测方法
CN110929841A (zh) * 2019-10-11 2020-03-27 浙江大学城市学院 基于增强意图的循环神经网络模型预测行人轨迹的方法
CN110928993A (zh) * 2019-11-26 2020-03-27 重庆邮电大学 基于深度循环神经网络的用户位置预测方法及系统
CN111274901A (zh) * 2020-01-15 2020-06-12 浙江大学 一种基于深度门控递归单元的手势深度图像连续检测方法
CN112270349A (zh) * 2020-10-23 2021-01-26 福州大学 基于gcn-lstm的个体位置预测方法
CN112382094A (zh) * 2020-11-13 2021-02-19 北京航空航天大学 基于时空势能场的城市交通流量可解释预测方法

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
BASMAH ALTAF: "Spatio-Temporal Attention based Recurrent Neural Network for Next Location Prediction", 《2018 IEEE INTERNATIONAL CONFERENCE ON BIG DATA》 *
JUNBO ZHANG: "Flow Prediction in Spatio-Temporal Networks Based on Multitask Deep Learning", 《IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING》 *
PENGPENG ZHAO: "Where to Go Next: A Spatio-Temporal Gated Network for Next POI Recommendation", 《IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING》 *
ZHIXIANG HE: "STANN: A Spatio–Temporal Attentive Neural Network for Traffic Prediction", 《IEEE ACCESS》 *
人工智能遇见磐创: "TensorFlow系列专题（十）：门控循环神经网络LSTM与GRU", 《HTTPS://WWW.JIANSHU.COM/P/320C6899A229》 *
吴睿智: "基于图卷积神经网络的位置语义推断", 《电子科技大学学报》 *
张皓: "三次简化一张图：一招理解LSTM/GRU门控机制", 《HTTPS://ZHUANLAN.ZHIHU.COM/P/28297161》 *
杨任农: "基于Bi-LSTM的无人机轨迹预测模型及仿真", 《航空工程进展》 *
郭旦怀: "融合深度学习技术的用户兴趣点推荐研究综述", 《武汉大学学报.信息科学版》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4332865A4 (en) * 2021-09-02 2024-10-02 Samsung Electronics Co Ltd SERVERS AND CONTROL METHODS THEREFOR
CN113837268A (zh) * 2021-09-18 2021-12-24 北京百度网讯科技有限公司 确定轨迹点状态的方法、装置、设备和介质
CN113722604A (zh) * 2021-11-03 2021-11-30 北京奇岱松科技有限公司 空间知识信息流的推送方法、装置及计算设备
CN114202561A (zh) * 2021-12-03 2022-03-18 广东海聊科技有限公司 一种长跑运动轨迹异常检测方法
WO2023123624A1 (zh) * 2021-12-31 2023-07-06 中国科学院深圳先进技术研究院 城市流感发病趋势预测方法、系统、终端以及存储介质
CN114442623A (zh) * 2022-01-20 2022-05-06 中国农业大学 一种基于时空图神经网络的农机作业轨迹田路分割方法
CN114442623B (zh) * 2022-01-20 2023-10-24 中国农业大学 一种基于时空图神经网络的农机作业轨迹田路分割方法
CN114780866A (zh) * 2022-04-11 2022-07-22 山东省人工智能研究院 一种基于时空上下文兴趣学习模型的个性化智能推荐方法
CN114780866B (zh) * 2022-04-11 2022-11-01 山东省人工智能研究院 一种基于时空上下文兴趣学习模型的个性化智能推荐方法
CN114827904A (zh) * 2022-05-10 2022-07-29 山东大学 一种移动服务用户轨迹预测方法及系统
CN114827904B (zh) * 2022-05-10 2022-09-27 山东大学 一种移动服务用户轨迹预测方法及系统
CN115346372B (zh) * 2022-08-16 2024-01-02 云南公路联网收费管理有限公司 一种基于图神经网络的多组件融合交通流量预测方法
CN115346372A (zh) * 2022-08-16 2022-11-15 重庆邮电大学 一种基于图神经网络的多组件融合交通流量预测方法
CN116129560A (zh) * 2022-12-07 2023-05-16 中电信数智科技有限公司 一种基于人工智能的智慧楼宇管理系统
CN115830076A (zh) * 2023-02-21 2023-03-21 创意信息技术股份有限公司 一种人员轨迹视频智能分析系统
CN115830076B (zh) * 2023-02-21 2023-05-09 创意信息技术股份有限公司 一种人员轨迹视频智能分析系统
CN116484309A (zh) * 2023-03-09 2023-07-25 重庆市规划和自然资源信息中心 户籍人口数据与不动产登记数据融合方法
CN116484309B (zh) * 2023-03-09 2023-09-29 重庆市规划和自然资源信息中心 户籍人口数据与不动产登记数据融合方法
CN117062280A (zh) * 2023-08-17 2023-11-14 北京美中爱瑞肿瘤医院有限责任公司 一种神经外科自助式手术灯自动跟随系统
CN117062280B (zh) * 2023-08-17 2024-03-08 北京美中爱瑞肿瘤医院有限责任公司 一种神经外科自助式手术灯自动跟随系统
CN117319451B (zh) * 2023-11-28 2024-02-27 爱瑞克(大连)安全技术集团有限公司 基于多模态大数据的城市级消防物联网监管系统及其方法
CN117319451A (zh) * 2023-11-28 2023-12-29 爱瑞克(大连)安全技术集团有限公司 基于多模态大数据的城市级消防物联网监管系统及其方法
CN117688257A (zh) * 2024-01-29 2024-03-12 东北大学 一种面向异构用户行为模式的长期轨迹预测方法

Also Published As

Publication number Publication date
CN113111581B (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
CN113111581B (zh) 结合时空因素和基于图神经网络的lstm轨迹预测方法
CN109754605B (zh) 一种基于注意力时态图卷积网络的交通预测方法
Choi et al. TrajGAIL: Generating urban vehicle trajectories using generative adversarial imitation learning
Chen et al. A graph convolutional stacked bidirectional unidirectional-LSTM neural network for metro ridership prediction
Al-Molegi et al. STF-RNN: Space time features-based recurrent neural network for predicting people next location
CN114519932B (zh) 一种基于时空关系抽取的区域交通状况集成预测方法
Yang et al. Efficient traffic congestion estimation using multiple spatio-temporal properties
Al‐kheder et al. Fuzzy inference guided cellular automata urban‐growth modelling using multi‐temporal satellite images
CN112541302A (zh) 空气质量预测模型训练方法、空气质量预测方法及装置
CN113298319B (zh) 一种基于跳跃图注意力门控循环网络的交通速度预测方法
CN115578852A (zh) 一种基于dstgcn的交通预测方法
CN115545758B (zh) 城市服务设施自适应增量选址的方法和系统
CN112801340B (zh) 一种基于多层级城市信息单元画像的人群密度预测方法
Wang et al. Urban traffic flow prediction: A dynamic temporal graph network considering missing values
Solomon et al. Analyzing movement predictability using human attributes and behavioral patterns
Abirami et al. Hybrid spatio-temporal deep learning framework for particulate matter (pm 2.5) concentration forecasting
CN116150511A (zh) 一种基于时空上下文和类别偏好的下一个位置推荐方法
CN115952355A (zh) 基于时空幂律注意力的下一兴趣点推荐系统
CN115860179A (zh) 轨迹预测方法、装置、设备、存储介质及程序产品
Shuai et al. Relationship analysis of short-term origin–destination prediction performance and spatiotemporal characteristics in urban rail transit
Alesiani et al. A probabilistic activity model for predicting the mobility patterns of homogeneous social groups based on social network data
CN117633371B (zh) 基于多注意力机制的推荐方法、设备和可读存储介质
Liu et al. Neural Collaborative Filtering to Detect Anomalies in Human Semantic Trajectories
Liao et al. A bi-direction LSTM attention fusion model for the missing POI identification
Xiao et al. Streaming Traffic Flow Prediction Based on Continuous Reinforcement Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant