CN114048380A - 一种基于图神经网络的兴趣点推荐方法 - Google Patents

Abstract

本发明公开一种基于图神经网络的兴趣点推荐方法，通过将影响用户的历史轨迹的位置点加到构建的user‑poi图中，通过图神经网络，找到相类似的邻居集合，能很大程度的缓解数据稀疏情况下的推荐精度问题。此外，本发明中采用的自注意力机制可以学习用户不同时期的兴趣变化，很好的反应用户的兴趣迁移变化等情况，并及时的更新位置点的权重信息，能够极大的提高了推荐精确度与用户体验。

Description

一种基于图神经网络的兴趣点推荐方法

技术领域

本发明涉及推荐系统技术领域，具体涉及一种基于图神经网络的兴趣点推荐方法。

背景技术

互联网的出现和普及给用户带来了大量的信息，但随着网络的快速发展使得信息量呈爆炸增长，用户面临着严重的信息过载问题，很难在海量的数据中快速的获取到有效的信息。推荐系统能够帮助用户在大数据中寻找到适用的信息，它是根据用户的信息需求、个人偏好等，将用户感兴趣的信息推荐给用户，提升用户对系统的使用体验。目前，推荐系统已经流行在各个领域，例如社交网络、交通运输、医疗服务等多个行业。

基于位置的社交网络推荐是最近的学术界一直研究的热点之一。用户去到一个位置点进行签到的时候，签到的信息包括有签到的时间、签到位置点的经纬度、签到位置点的地名等信息。社交网络积累了大量的关于位置点的签到信息，将这些数据理解为用户的行为和偏好，可以为用户提供位置点的推荐。在目前的推荐技术中，协同过滤技术是最热门的推荐技术之一。协同过滤是通过分析用户的历史数据，通过计算用户自身的兴趣和物品的相似度来进行推荐(比如，如果一个用户A喜欢物品B，物品B与物品C相似，那么就可以给用户A推荐物品C)，但是在位置点推荐中，有些用户的签到记录很少，比如只去了A和B 2个地点。像这种用户由于缺少历史数据，采用协同过滤技术则很难找到相类似的用户来进行推荐。因此传统的协同过滤不能缓解用户的稀疏性问题。

基于神经网络的推荐可以有效的解决用户的稀疏性问题，现在逐渐的成为学术界和商业界的研究热点。基于图神经网络的推荐主要思想是利用图神经网络技术可以捕捉到高阶节点的信息。高阶节点指的是如果2个节点之间有其他节点，那么这2个节点的关系属于高阶节点。图神经网络可以把这种高阶的节点之间的相互影响的因素找出来，其每个节点代表一个地理位置，每个节点之间会相互影响，每个位置点(节点)都有自己的特征，比如时间，地理位置，地点名等。现实生活中，位置点往往会影响另外一个位置点，比如某一个位置点人流量很多，那么它周边的位置点会比较大的概率会被人们去签到。图神经网络可以捕捉到位置点与位置点间的潜在关系，把用户签到的历史轨迹中周围的位置点也考虑进来。这样用户的历史轨迹信息就变得没有那么稀疏，之后再通过找到与用户轨迹相类似的用户作为邻居，进而可以结合邻居的历史轨迹和自己的历史轨迹进行更有效的推荐。

然而，基于图神经网络的推荐存在的挑战如下：

1、用户签到的位置点会受它周边位置点的影响，比如用户签到的位置是商场的餐厅，这个周围是旅游区而且人流量很大，那么很大概率用户下一个要去的地方就是这个旅游区，当然，一个位置点周围的地方有很多，它们之间的距离也各不相同。从个人角度看，用户的个人偏好，个人的行为习惯都是影响位置点推荐的因素。因此，如何设置合适的权重融合这些因素，找到合适的周围位置点作为用户的历史轨迹的信息的填充，是一个很重要的挑战。

2、用户的历史轨迹会存在长期兴趣和短期兴趣的影响和出现兴趣漂移的现象。兴趣漂移现象指的是一个人的兴趣爱好随着时间的变化会发生变化。长期兴趣指的是一直保持的兴趣，比如从小就开始喜欢足球运动，到现在还在喜欢这项运动，这种兴趣就是长期兴趣。短期兴趣指的是在某一段时间断内喜欢的兴趣，比如在某一段时间喜欢打篮球，这段时间过后很少打篮球或者不再打篮球，像这种兴趣视为短期兴趣。用户的历史轨迹也会有这种现象，用户有自己长期兴趣的签到位置点和短期兴趣的签到点，如何通过历史轨迹学习到用户的兴趣点漂移的规律是研究的一个难点。

发明内容

本发明所要解决的是现有利用神经网络解决推荐系统中的用户稀疏性问题所存在的挑战，提供一种基于图神经网络的兴趣点推荐方法。

为解决上述问题，本发明是通过以下技术方案实现的：

一种基于图神经网络的兴趣点推荐方法，包括步骤如下：

步骤1、从社交网站抓取所有用户的历史签到信息，并据此构建每个用户的轨迹矩阵、影响位置矩阵和用户-位置点图；

每个用户的轨迹矩阵由各历史访问位置点的ID、各历史访问位置点的经纬度位置坐标、各历史访问位置点的访问时间构成；

每个用户的影响位置矩阵各历史访问位置点的ID、各历史访问位置点的各影响位置点的ID、各历史访问位置点的各影响位置点的经纬度位置坐标、各历史访问位置点的各影响位置点的在当前用户访问当前历史访问位置点的访问时间下的签到人数构成；

每个用户的用户-位置点图由节点和边构成；第一层节点为当前用户，第二层节点为当前用户的历史访问位置点，第三层为当前用户的每个历史访问位置点的影响位置点；当前用户与其历史访问位置点通过边连接，历史访问位置点与其影响位置点通过边连接；

步骤2、将所有用户的轨迹矩阵中的各历史访问位置点的ID和各历史访问位置点的经纬度位置坐标进行多模态的嵌入转化成1×D维的用户签到位置点向量e_l；将所有用户的轨迹矩阵中的各历史访问位置点的访问时间进行多模态的嵌入转化成1×D维的用户签到位置时间向量e_t；将所有用户的影响位置矩阵中的各历史访问位置点的各影响位置点的ID、各历史访问位置点的各影响位置点的经纬度位置坐标和各历史访问位置点的各影响位置点的在当前用户访问当前历史访问位置点的访问时间下的签到人数进行多模态的嵌入转化成1×D维的周围影响点向量e_p；

步骤3、将用户-位置点图中的第一层的用户节点用1×3D维的全零矩阵h₀来表示；并将用户-位置点图中第二层的各历史访问位置点节点和第三层的影响位置点节点用来N×3D维的矩阵h_i′来表示，其中h_i′＝(e_li′,e_ti′,e_pi′)，e_ti′为用户签到位置点向量e_l的第i′列，e_ti′为用户签到位置时间向量e_t的第i′列，e_pi′为周围影响点向量e_p的第i′列；由此得到用户-位置点图的各节点的节点表示h_i；

步骤4、先将用户-位置点图的第一层的用户节点的经纬度位置坐标视为(0,0)，并根据第二层的历史访问位置点节点的实际经纬度位置坐标和第三层的影响位置点节点的实际经纬度位置坐标，计算用户-位置点图中第一层的用户节点与第二层的各历史访问位置点节点的节点距离，以及第二层的各历史访问位置点节点与其对应的第三层的各影响位置点节点的节点距离；后将用户-位置点图的边用所计算出的节点距离来表示；由此得到用户-位置点图的各条边的边表示d_ij；

步骤5、将步骤3所得到的用户-位置点图的各节点的节点表示h_i和步骤4所得到的用户-位置点图的各条边的边表示d_ij送入到图神经网络中进行至少一层的节点聚合，且在图神经网络的每层节点聚合过程中，均将各节点的上一层节点表示与其边的边表示相乘后作为该层节点聚合的输入，由此得到用户-位置点图的各个节点的最终节点表示；

步骤6、将步骤5所得到的用户-位置点图的各节点的最终节点表示进行拼接后得到该用户-位置点图所对应用户的特征向量S_p；

步骤7、先对步骤6所得到的用户的特征向量利用余弦相似度计算各用户与其他用户的用户相似度S_pq；再将用户相似度S_pq小于设定阈值的其他用户作为该用户的邻居；后将该用户及其邻居的所有历史访问位置点作为该用户的历史感兴趣点；

步骤8、对每个用户的所有历史感兴趣点进行基于自注意力机制的深度学习，得到每个历史感兴趣点的评分，并将评分较高的K个历史访问位置点推荐给该用户；

上述D为社交网站中所有位置点的个数；i′＝1,2,...,N-1，i,j＝0,1,...,N-1，N为用户-位置点图的节点个数；p,q＝1,2,...,M，M为社交网站中所有用户的个数；K为设定的正整数。

上述步骤1中，历史访问位置点的影响位置点是以历史访问位置点为圆心，以半径r所形成的圆范围内，签到次数最多的n个位置点；其中r和n均为设定值。

上述步骤4中，节点距离d_ij为：

d_ij＝R*arcos[cos(y_i)*cos(y_j)*cos(x_i-x_j)+sin(y_i)*sin(y_j)]

式中，R为地球半径，x_i为第i个节点的经度，y_j为第i个节点的纬度，x_j为第j个节点的经度，y_j为第j个节点的纬度，i,j＝0,1,...,N-1，N为用户-位置点图的节点个数。

上述步骤7中，用户相似度S_pq为：

式中，S_pl为第p个用户的特征向量S_p的第l个向量，S_ql为第q个用户的特征向量S_q的第l个向量，p,q＝1,2,...,M为社交网站中所有用户的个数，D为社交网站中所有位置点的个数。

与现有技术相比，本发明通过将影响用户的历史轨迹的位置点加到构建的user-poi图中，通过图神经网络，找到相类似的邻居集合，能很大程度的缓解数据稀疏情况下的推荐精度问题。此外，本发明中采用的自注意力机制可以学习用户不同时期的兴趣变化，很好的反应用户的兴趣迁移变化等情况，并及时的更新位置点的权重信息，能够极大的提高了推荐精确度与用户体验。

说明书附图

图1为用户-位置点图的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，对本发明进一步详细说明。

随着数据爆炸性的增加，数据变得非常的稀疏，像传统的协同过滤等技术很难达到好的效果，由于图神经网络可以捕捉高阶的节点信息，本发明构建了用户-位置点(user-poi)图。user-poi图可以将用户的签到位置周围位置点的信息聚合起来，聚合后使得用户的信息不仅包括了自己的历史签到位置还包括周围具有影响力的位置点的信息。通过user-poi图得到每个用户的最终特征表示，通过对用户特征向量进行相似性的比较，把相似的节点分成一类，把相似的用户作为邻居。有了邻居的历史轨迹以及自己的历史轨迹，结合他们的信息，用自注意力机制进行位置点的推荐，以提高推荐的效果。这在很大程度上可以缓解了数据稀疏性情况下的推进精度。

一种基于图神经网络的兴趣点推荐方法，包括步骤如下：

步骤1、从社交网站抓取所有用户的历史签到信息，并据此构建每个用户的轨迹矩阵、影响位置矩阵和用户-位置点图。

每个用户的轨迹矩阵由各历史访问位置点的ID、各历史访问位置点的经纬度位置坐标、各历史访问位置点的访问时间构成。

由于用户的签到位置往往会受到周围位置点的影响，因此设定一个半径r(r为设定值)，用户到达一个位置后，统计在当前用户在访问该历史访问位置点的访问时间下，以这个位置为圆心的半径为r的圆内的各个位置的上用户的个数，把位置点的用户个数作为位置点的签到个数。选取n个(n为设定值，n≥1，在本实施例中，n＝2)被签到次数最多的位置点作为该位置的影响点。

每个用户的影响位置矩阵各历史访问位置点的ID、各历史访问位置点的各影响位置点的ID、各历史访问位置点的各影响位置点的经纬度位置坐标、各历史访问位置点的各影响位置点的在当前用户访问当前历史访问位置点的访问时间下的签到人数构成。

每个用户的用户-位置点图由节点和边构成。第一层节点为当前用户，第二层节点为当前用户的历史访问位置点，第三层为当前用户的每个历史访问位置点的影响位置点。当前用户与其历史访问位置点通过边连接，历史访问位置点与其影响位置点通过边连接。如图1所示。

步骤2、将所有用户的轨迹矩阵中的各历史访问位置点的ID和各历史访问位置点的经纬度位置坐标进行多模态的嵌入可以转化成向量，得到1×D维的用户签到位置点向量e_l；将所有用户的轨迹矩阵中的各历史访问位置点的访问时间进行多模态的嵌入可以转化成向量，得到1×D维的用户签到位置时间向量e_t；将所有用户的影响位置矩阵中的各历史访问位置点的各影响位置点的ID、各历史访问位置点的各影响位置点的经纬度位置坐标和各历史访问位置点的各影响位置点的在当前用户访问当前历史访问位置点的访问时间下的签到人数进行多模态的嵌入可以转化成向量，得到1×D维的周围影响点向量e_p。D为社交网站中所有位置点的个数。

步骤3、将用户-位置点图中的第一层的用户节点用1×3D维的全零矩阵h₀来表示；并将用户-位置点图中第二层的各历史访问位置点节点和第三层的影响位置点节点用来N×3D维的矩阵h_i′来表示，其中h_i′＝(e_li′,e_ti′,e_pi′)，e_ti′为用户签到位置点向量e_l的第i′列，e_ti′为用户签到位置时间向量e_t的第i′列，e_pi′为周围影响点向量e_p的第i′列；由此得到用户-位置点图的各节点的节点表示h_i。i′＝1,2,...,N-1，i＝0,1,...,N-1，N为用户-位置点图的节点个数。

步骤4、先将用户-位置点图的第一层的用户节点的经纬度位置坐标视为(0,0)，并根据第二层的历史访问位置点节点的实际经纬度位置坐标和第三层的影响位置点节点的实际经纬度位置坐标，计算用户-位置点图中第一层的用户节点与第二层的各历史访问位置点节点的节点距离，以及第二层的各历史访问位置点节点与其对应的第三层的各影响位置点节点的节点距离；后将用户-位置点图的边用所计算出的节点距离d_ij来表示；由此得到用户-位置点图的各条边的边表示d_ij。i,j＝0,1,...,N-1，N为用户-位置点图的节点个数。

节点距离d_ij为：

d_ij＝R*arcos[cos(y_i)*cos(y_j)*cos(x_i-x_j)+sin(y_i)*sin(y_j)]

式中，R代表地球半径，即6371km，x_i代表第i个节点的经度，y_j代表第i个节点的纬度，x_j代表第j个节点的经度，y_j代表第j个节点的纬度，i,j＝0,1,...,N-1，N为用户-位置点图的节点个数。

步骤5、将步骤3所得到的用户-位置点图的各节点的节点表示h_i和步骤4所得到的用户-位置点图的各条边的边表示d_ij送入到图神经网络中进行至少一层的节点聚合，且在图神经网络的每层节点聚合过程中，均将各节点的上一层节点表示与其边的边表示相乘后作为该层节点聚合的输入，由此得到用户-位置点图的各个节点的最终节点表示。

图神经网络是一种基于图结构的深度学习方法，通过节点消息的聚合，不仅能得到自身节点的信息还能得到周围邻居节点的信息，可以实现深度跟更深的特征抽取，得到更有效的特征表示。

传统的做法是将上一层节点的节点表示h_i ^(g-1)作为该层节点聚合的输入来得到下一层节点的节点表示h_i ^(g)，即：

而在本发明中是将上一层节点的节点表示h_i ^(g-1)与其边的边表示d_ij相乘后作为该层节点聚合的输入来得到下一层节点的节点表示h_i ^(g)，即：

式中，σ(·)为非线性激活函数。g＝1,2,...,G，G为设定的聚合层数，在本实施例中，G＝4。h_i ^(g)为第g层的第i个节点的节点表示，h_i ^(g-1)为第g-1层的第i个节点的节点表示，h_i ⁽⁰⁾为步骤3所得到的第i个节点的节点表示，h_i ^(G)为本步骤所得到的第i个节点的最终节点表示。w^(g)为图神经网络的第G层的可学习的权重矩阵。d_ij为第i个节点与第j个节点之间的边的边表示。N(i)为第i个节点的邻居节点即与第i个节点有边连接的节点的集合。

步骤6、将步骤5所得到的用户-位置点图的各个节点的最终节点表示进行拼接后得到该用户-位置点图所对应用户的特征向量S_p。p＝1,2,...,M，M为社交网站中所有用户的个数。

S_p＝[h₀ ^(G)；h₁ ^(G)；h₂ ^(G)；....；h_N-1 ^(G)]

步骤7、先对步骤6所得到的用户的特征向量利用余弦相似度计算各用户与其他用户的用户相似度S_pq。再将用户相似度S_pq小于设定阈值的其他用户作为该用户的邻居。后将该用户及其邻居的所有历史访问位置点作为该用户的历史感兴趣点。p,q＝1,2,...,M，M为社交网站中所有用户的个数。

用户相似度S_pq为：

式中，S_pl为第p个用户的特征向量S_p的第l个向量，S_ql为第q个用户的特征向量S_q的第l个向量，p,q＝1,2,...,M为社交网站中所有用户的个数，D为社交网站中所有位置点的个数。

步骤8、对每个用户的所有历史感兴趣点进行基于自注意力机制的深度学习，得到每个历史感兴趣点的评分，并将评分较高的K个历史访问位置点推荐给该用户。K为设定的正整数。

自注意力机制可以快速提取稀疏数据的重要特征，因而被广泛用于自然语言处理任务，特别是机器翻译。自注意力机制是注意力机制的改进，其减少了对外部信息的依赖，更擅长捕捉数据或特征的内部相关性，可以有效的捕捉到序列中重要的位置点并给与更大的权重，更有利于推荐。

需要说明的是，尽管以上本发明所述的实施例是说明性的，但这并非是对本发明的限制，因此本发明并不局限于上述具体实施方式中。在不脱离本发明原理的情况下，凡是本领域技术人员在本发明的启示下获得的其它实施方式，均视为在本发明的保护之内。

Claims (4)

1.一种基于图神经网络的兴趣点推荐方法，其特征是，包括步骤如下：

步骤1、从社交网站抓取所有用户的历史签到信息，并据此构建每个用户的轨迹矩阵、影响位置矩阵和用户-位置点图；

每个用户的轨迹矩阵由各历史访问位置点的ID、各历史访问位置点的经纬度位置坐标、各历史访问位置点的访问时间构成；

每个用户的影响位置矩阵各历史访问位置点的ID、各历史访问位置点的各影响位置点的ID、各历史访问位置点的各影响位置点的经纬度位置坐标、各历史访问位置点的各影响位置点的在当前用户访问当前历史访问位置点的访问时间下的签到人数构成；

每个用户的用户-位置点图由节点和边构成；第一层节点为当前用户，第二层节点为当前用户的历史访问位置点，第三层为当前用户的每个历史访问位置点的影响位置点；当前用户与其历史访问位置点通过边连接，历史访问位置点与其影响位置点通过边连接；

步骤2、将所有用户的轨迹矩阵中的各历史访问位置点的ID和各历史访问位置点的经纬度位置坐标进行多模态的嵌入转化成1×D维的用户签到位置点向量e_l；将所有用户的轨迹矩阵中的各历史访问位置点的访问时间进行多模态的嵌入转化成1×D维的用户签到位置时间向量e_t；将所有用户的影响位置矩阵中的各历史访问位置点的各影响位置点的ID、各历史访问位置点的各影响位置点的经纬度位置坐标和各历史访问位置点的各影响位置点的在当前用户访问当前历史访问位置点的访问时间下的签到人数进行多模态的嵌入转化成1×D维的周围影响点向量e_p；

步骤3、将用户-位置点图中的第一层的用户节点用1×3D维的全零矩阵h₀来表示；并将用户-位置点图中第二层的各历史访问位置点节点和第三层的影响位置点节点用来N×3D维的矩阵h_i′来表示，其中h_i′＝(e_li′,e_ti′,e_pi′)，e_ti′为用户签到位置点向量e_l的第i′列，e_ti′为用户签到位置时间向量e_t的第i′列，e_pi′为周围影响点向量e_p的第i′列；由此得到用户-位置点图的各节点的节点表示h_i；

步骤4、先将用户-位置点图的第一层的用户节点的经纬度位置坐标视为(0,0)，并根据第二层的历史访问位置点节点的实际经纬度位置坐标和第三层的影响位置点节点的实际经纬度位置坐标，计算用户-位置点图中第一层的用户节点与第二层的各历史访问位置点节点的节点距离，以及第二层的各历史访问位置点节点与其对应的第三层的各影响位置点节点的节点距离；后将用户-位置点图的边用所计算出的节点距离来表示；由此得到用户-位置点图的各条边的边表示d_ij；

步骤5、将步骤3所得到的用户-位置点图的各节点的节点表示h_i和步骤4所得到的用户-位置点图的各条边的边表示d_ij送入到图神经网络中进行至少一层的节点聚合，且在图神经网络的每层节点聚合过程中，均将各节点的上一层节点表示与其边的边表示相乘后作为该层节点聚合的输入，由此得到用户-位置点图的各个节点的最终节点表示；

步骤6、将步骤5所得到的用户-位置点图的各节点的最终节点表示进行拼接后得到该用户-位置点图所对应用户的特征向量S_p；

步骤7、先对步骤6所得到的用户的特征向量利用余弦相似度计算各用户与其他用户的用户相似度S_pq；再将用户相似度S_pq小于设定阈值的其他用户作为该用户的邻居；后将该用户及其邻居的所有历史访问位置点作为该用户的历史感兴趣点；

步骤8、对每个用户的所有历史感兴趣点进行基于自注意力机制的深度学习，得到每个历史感兴趣点的评分，并将评分较高的K个历史访问位置点推荐给该用户；

上述D为社交网站中所有位置点的个数；i′＝1,2,…,N-1，i,j＝0,1,…,N-1，N为用户-位置点图的节点个数；p,q＝1,2,…,M，M为社交网站中所有用户的个数；K为设定的正整数。

2.根据权利要求1所述的一种基于图神经网络的兴趣点推荐方法，其特征是，步骤1中，历史访问位置点的影响位置点是以历史访问位置点为圆心，以半径r所形成的圆范围内，签到次数最多的n个位置点；其中r和n均为设定值。

3.根据权利要求1所述的一种基于图神经网络的兴趣点推荐方法，其特征是，步骤4中，节点距离d_ij为：

d_ij＝R*arcos[cos(y_i)*cos(y_j)*cos(x_i-x_j)+sin(y_i)*sin(y_j)]

式中，R为地球半径，x_i为第i个节点的经度，y_j为第i个节点的纬度，x_j为第j个节点的经度，y_j为第j个节点的纬度，i,j＝0,1,…,N-1，N为用户-位置点图的节点个数。

4.根据权利要求1所述的一种基于图神经网络的兴趣点推荐方法，其特征是，步骤7中，用户相似度S_pq为：

式中，S_pl为第p个用户的特征向量S_p的第l个向量，S_ql为第q个用户的特征向量S_q的第l个向量，p,q＝1,2,…,M为社交网站中所有用户的个数，D为社交网站中所有位置点的个数。

Images