CN113886451A - 一种融入多视图的基于自注意力机制的poi推荐方法 - Google Patents

Abstract

本发明涉及一种融入多视图的基于自注意力机制的POI推荐方法。本发明通过对获取的用户数据进行预处理，并利用自注意机制分别更新POI和POI类别的特征，然后使用交叉融合注意力网络学习两者之间的相互依赖关系，挖掘在融入POI类型信息的前提下的POI特征，并根据用户的出行范围对候选POI进行预筛选，从而更加科学、有效、真实地为用户推荐下一时刻出行的地点，有助于进一步分析为发展规划、建筑选址等提供决策支持。

Description

一种融入多视图的基于自注意力机制的POI推荐方法

技术领域

本发明属于出行推荐领域，特别是涉及一种融入多视图的基于自注意力机制的POI推荐方法。

背景技术

随着数据时代的快速发展，网约车平台等出行推荐平台积累了大量的签到数据。这些数据包括用户信息、签到POI信息、签到时间信息、签到地点的类型信息等，随着数据挖掘领域的不断发展，基于签到数据的智能推荐系统兴起并不断发展。签到信息的主体POI可以是一个火车站、一个餐馆、一所学校等。通过对用户过去的POI时序特征进行学习，挖掘用户的出行特征，有助于出行平台更好地为用户推荐兴趣点，进一步为发展规划、建筑选址等提供决策支持。目前POI推荐一般采用卷积神经网络和图神经网络的方法，对用户的长短期特征偏好进行学习，然而这些模型往往只是单纯的考虑签到地点及签到的时间信息，缺少签到地点类型的上下文信息。在少数考虑签到地点类型的模型中，其对于POI类型信息的融合也只是简单的加权相加或者拼接，缺乏两者的有效融合。

发明内容

本发明针对现有技术的不足，提供一种融入多视图的基于自注意力机制的POI推荐方法。首先对获取的用户数据进行预处理，并基于自注意力模型的编码器分别更新POI和POI类型的序列，然后利用面向POI和POI类别信息的交叉融合注意力网络，对POI和POI类别信息进行跨视图融合，得到用户的行为偏好，并根据用户的出行范围对候选POI进行预筛选，最后将用户的行为偏好和筛选后的POI匹配得到推荐信息。

为了达到上述目的，本发明提供的技术方案是一种融入多视图的基于自注意力机制的POI推荐方法，包括以下步骤：

步骤1，获取所有用户的签到数据；

步骤2，对用户的签到数据进行预处理；

步骤2.1，将每个用户的签到数据处理为相同长度的序列；

步骤2.2，对用户的签到时间做周期化处理；

步骤2.3，将周期化处理的数据向量化；

步骤3，对POI和POI类别信息进行跨视图融合，得到用户的行为偏好；

步骤3.1，基于自注意力模型的编码器分别更新POI和POI类型的序列；

步骤3.2，利用面向POI和POI类别信息的交叉融合注意力网络，对POI和POI类别信息进行跨视图融合，得到用户的行为偏好；

步骤4，利用候选集过滤器缩小候选POI范围；

步骤4.1，通过K-means聚类得到用户合适的簇数，对于每一簇中的所有POI生成最大凸包，每一簇会生成一个中心点；

步骤4.2，将最大凸包或单个POI生成距离为5km的缓冲区，作为用户的活动范围，筛除不在用户活动范围的POI；

步骤5，将步骤3得到的用户的行为偏好与步骤4筛选得到的候选集匹配，生成推荐信息。

而且，所述步骤1中令用户集合为U＝{u₁,u₂,...,u_|U|}，POI集合为L＝{l₁,l₂,...,l_|L|}，所有POI的类别集合为C＝{c₁,c₂,...,c_|C|}，|U|、|L|、|C|分别为用户、POI和POI类别的数量；对于用户u∈U，其历史签到的序列可表示为

其中

是用户签到的POI，

是用户签到的POI类别，

是签到的时间戳，最终目标为预测用户u在

时刻访问的POI点。

而且，所述步骤2.1中统一所有用户的签到序列到一个固定长度为5，5为模块能够处理的最大序列长度，如果用户原始序列的签到数量大于5，则选取时间最近的5个签到生成新的序列，如果用户原始签到序列小于5，则在序列的左侧补零直到序列长度等于5。

而且，所述步骤2.2中由于用户签到时间不会重复，且具有稀疏性，因此对时间进行周期化处理，将每周分为7×24＝168小时，则时间嵌入的索引大小为168，每个签到的时间嵌入向量e^t∈R^d，t由其时间戳对应的小时决定，d为向量特征维度。

而且，所述步骤2.3中随机初始化POI和POI类型的特征向量，分别定义为e^poi∈R^d和e^category∈R^d，定义序列中的POI和POI类型的特征向量分别表示为e^l＝e^poi+e^t和e^c＝e^category+e^t。

而且，所述步骤3.1中POI编码器的输入为用户的签到特征向量

基于自注意力机制原理，E^l通过线性变换生成新的特征向量，分别表示为Q，K和V：

Q＝E^lW^Q (1)

K＝E^lW^K (2)

V＝E^lW^V (3)

式中，W^Q,W^K,W^V∈R^d×d是可学习参数。

采用多头自注意力机制MHA(·)计算新的序列特征：

E^l′＝MHA(E^l)＝Concat(h₁,h₂,...,h_k)W^M (4)

h_i＝SA(Q,K,V) (5)

式中，Concat(·)表示拼接所有的自注意力模块，SA(·)的输出h_i∈R^m×d，h_i为多头注意力机制中第i个头的计算结果，k是自注意力头数，W^M∈R^k*d×d是自学习的投影向量，SA(·)的计算如下：

式中，

为激活函数，d为向量特征维度。

然后，将多头自注意力机制的输出E^l′加入到双层前馈网络FFN(·)中增加模型的非线性能力：

O^l＝FFN(E^l′)＝ReLU((E^l′W₁+b₁)W₂+b₂) (7)

式中，W₁,W₂∈R^d×d是可学习矩阵，ReLU(·)为线性整流函数，b₁、b₂是ReLU函数拟合的偏置值，O^l为更新后的POI特征。

更新POI类型序列的方法与更新的POI特征的方法相同，利用编码器得到更新后的POI类型序列

值得注意的是，在模型计算过程中需要两个掩码来屏蔽影响注意力计算的序列位置，第一个掩码用于适应不同长度的用户登录序列，大小为序列左侧的零填充长度；另一个掩码屏蔽了相对于预测的POI的未来签到行为，及预测位置之后的序列信息需要掩码覆盖。

而且，所述步骤3.2中将两个编码器的输出O^l和O^c同时输入到交叉融合注意力网络中，计算公式如下：

式中，O^l′为融入POI类型特征的POI特征向量，也可表示为用户的行为偏好。

而且，所述步骤4.2中最终的候选集如下：

Set_u＝filter(Set) (9)

式中，filter(·)表示候选集过滤器，Set＝{l₁,l₂,...,l_|L|}是原始候选集，Set_u＝{l_k,l_t,...,l_|L′|}表示经过候选集筛选后的POI(|L′|＜|L|)集合。

而且，所述步骤5中采用点积计算候选集中第i个POI的排序得分如下：

式中，E_i是候选地点i的特征向量，

是预测的下一个位置特征向量。

经过上述计算，候选集中得分越高的POI越可能在下一时刻被用户访问到。

与现有技术相比，本发明具有如下优点：本发明通过自注意机制分别更新POI和POI类别的特征，然后使用交叉融合注意力网络学习两者之间的相互依赖关系，挖掘在融入POI类型信息的前提下的POI特征，并根据用户的出行范围对候选POI进行预筛选，从而更加科学、有效、真实地为用户推荐下一时刻出行的地点，有助于进一步分析为发展规划、建筑选址等提供决策支持。

附图说明

图1为本发明实施例技术流程图。

图2为本发明实施例原始数据成分示意图。

图3为本发明实施例模型示意图。

具体实施方式

本发明提供一种融入多视图的基于自注意力机制的POI推荐方法，首先对获取的用户数据进行预处理，并基于自注意力模型的编码器分别更新POI和POI类型的序列，然后利用面向POI和POI类别信息的交叉融合注意力网络，对POI和POI类别信息进行跨视图融合，得到用户的行为偏好，并根据用户的出行范围对候选POI进行预筛选，最后将用户的行为偏好和筛选后的POI匹配得到推荐信息。

下面结合附图和实施例对本发明的技术方案作进一步说明。

如图1所示，本发明实施例的流程包括以下步骤：

步骤1，获取所有用户的签到数据。

令用户集合为U＝{u₁,u₂,...,u_|U|}，POI集合为L＝{l₁,l₂,...,l_|L|}，所有POI的类别集合为C＝{c₁,c₂,...,c_|C|}，|U|、|L|、|C|分别为用户、POI和POI类别的数量。对于用户u∈U，其历史签到的序列可表示为

其中

是用户签到的POI，

是用户签到的POI类别，

是签到的时间戳，最终目标为预测用户u在

时刻访问的POI点，如表1所示为用户签到的部分样本数据。

表1

用户	签到POI	POI类型	签到时间	POI地理坐标
					u<sub>1</sub>	l<sub>1</sub>	c<sub>1</sub>	t<sub>1</sub>	Lat1，Lon1
u<sub>1</sub>	l<sub>2</sub>	c<sub>1</sub>	t<sub>2</sub>	Lat2，Lon2
					u<sub>1</sub>	l<sub>1</sub>	c<sub>1</sub>	t<sub>3</sub>	Lat1，Lon1
u<sub>2</sub>	l<sub>3</sub>	c<sub>2</sub>	t<sub>4</sub>	Lat3，Lon3
					u<sub>2</sub>	l<sub>3</sub>	c<sub>2</sub>	t<sub>5</sub>	Lat3，Lon3
u<sub>2</sub>	l<sub>4</sub>	c<sub>3</sub>	t<sub>6</sub>	Lat4，Lon4
					u<sub>2</sub>	l<sub>3</sub>	c<sub>2</sub>	t<sub>7</sub>	Lat3，Lon3

步骤2，对用户的签到数据进行预处理，具体包括以下几个步骤：

将每个用户的签到数据处理为相同长度的序列，并对时间数据进行周期化处理，将预处理后的数据向量化，以更好地在模型中学习用户签到行为的多维特征。

步骤2.1，将每个用户的签到数据处理为相同长度的序列。

统一所有用户的签到序列到一个固定长度为5，5为模块能够处理的最大序列长度。如果用户原始序列的签到数量大于5，则选取时间最近的5个签到生成新的序列，如果用户原始签到序列小于5，则在序列的左侧补零直到序列长度等于5。例如用户签到序列变为

步骤2.2，对用户的签到时间做周期化处理。

由于用户签到时间不会重复，且具有稀疏性，因此对时间进行周期化处理，将每周分为7×24＝168小时，则时间嵌入的索引大小为168。每个签到的时间嵌入向量e^t∈R^d，t由其时间戳对应的小时决定，d为向量特征维度。

步骤2.3，将周期化处理的数据向量化。

随机初始化POI和POI类型的特征向量，分别定义为e^poi∈R^d和e^category∈R^d，定义序列中的POI和POI类型的特征向量分别表示为e^l＝e^poi+e^t和e^c＝e^category+e^t。

步骤3，对POI和POI类别信息进行跨视图融合，得到用户的行为偏好，具体包括以下几个步骤：

步骤3.1，基于自注意力模型的编码器分别更新POI和POI类型的序列。

两种编码器都计算历史序列中每个位置的注意权值，从而有效地学习长期签到序列的依赖特征。由于两种编码器的整体架构相同，因此以POI序列的建模为例，详细介绍建模过程。

POI编码器的输入为用户的签到特征向量

基于自注意力机制原理，E^l通过线性变换生成新的特征向量，分别表示为Q，K和V：

Q＝E^lW^Q (1)

K＝E^lW^K (2)

V＝E^lW^V (3)

式中，W^Q,W^K,W^V∈R^d×d是可学习参数。

采用多头自注意力机制MHA(·)计算新的序列特征：

E^l′＝MHA(E^l)＝Concat(h₁,h₂,...,h_k)W^M (4)

h_i＝SA(Q,K,V) (5)

式中，Concat(·)表示拼接所有的自注意力模块，SA(·)的输出h_i∈R^m×d，h_i为多头注意力机制中第i个头的计算结果，k是自注意力头数，W^M∈R^k*d×d是自学习的投影向量，SA(·)的计算如下：

式中，

为激活函数，d为向量特征维度。

然后，将多头自注意力机制的输出E^l′加入到双层前馈网络FFN(·)中增加模型的非线性能力：

O^l＝FFN(E^l′)＝ReLU((E^l′W₁+b₁)W₂+b₂) (7)

式中，W₁,W₂∈R^d×d是可学习矩阵，ReLU(·)为线性整流函数，b₁、b₂是ReLU函数拟合的偏置值，O^l为更新后的POI特征。

更新POI类型序列的方法与更新的POI特征的方法相同，利用编码器得到更新后的POI类型序列

值得注意的是，在模型计算过程中需要两个掩码来屏蔽影响注意力计算的序列位置，第一个掩码用于适应不同长度的用户登录序列，大小为序列左侧的零填充长度；另一个掩码屏蔽了相对于预测的POI的未来签到行为，及预测位置之后的序列信息需要掩码覆盖。

步骤3.2，利用面向POI和POI类别信息的交叉融合注意力网络，对POI和POI类别信息进行跨视图融合，得到用户的行为偏好。

将两个编码器的输出O^l和O^c同时输入到交叉融合注意力网络中，计算公式如下：

式中，O^l′为融入POI类型特征的POI特征向量，也可表示为用户的行为偏好。

步骤4，利用候选集过滤器缩小候选POI范围。

由于用户的足迹通常围绕某些中心展开，因此用户的签到行为在空间上是聚集的，本发明基于用户访问记录的地理坐标设计了一个候选集过滤器，从而缩小候选POI范围，具体包括以下几个步骤：

步骤4.1，通过K-means聚类得到用户合适的簇数，对于每一簇中的所有POI生成最大凸包，每一簇会生成一个中心点。

步骤4.2，将最大凸包或单个POI生成距离为5km的缓冲区，作为用户的活动范围，筛除不在用户活动范围的POI。

最终的候选集如下：

Set_u＝filter(Set) (9)

式中，filter(·)表示候选集过滤器，Set＝{l₁,l₂,...,l_|L|}是原始候选集，Set_u＝{l_k,l_t,...,l_|L′|}表示经过候选集筛选后的POI(|L′|＜|L|)集合。

步骤5，将步骤3得到的用户的行为偏好与步骤4筛选得到的候选集匹配，生成推荐信息。

采用点积计算候选集中第i个POI的排序得分如下：

式中，E_i是候选地点i的特征向量，

是预测的下一个位置特征向量。

经过上述计算，候选集中得分越高的POI越可能在下一时刻被用户访问到。

具体实施时，以上流程可采用计算机软件技术实现自动运行流程。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (9)

1.一种融入多视图的基于自注意力机制的POI推荐方法，其特征在于，包括如下步骤：

步骤1，获取所有用户的签到数据；

步骤2，对用户的签到数据进行预处理；

步骤3，对POI和POI类别信息进行跨视图融合，得到用户的行为偏好；

步骤3.1，基于自注意力模型的编码器分别更新POI和POI类型的序列；

步骤3.2，利用面向POI和POI类别信息的交叉融合注意力网络，对POI和POI类别信息进行跨视图融合，得到用户的行为偏好；

步骤4，利用候选集过滤器缩小候选POI范围；

步骤4.1，通过K-means聚类得到用户合适的簇数，对于每一簇中的所有POI生成最大凸包，每一簇会生成一个中心点；

步骤4.2，将最大凸包或单个POI生成距离为τkm的缓冲区，作为用户的活动范围，筛除不在用户活动范围的POI；

步骤5，将步骤3得到的用户的行为偏好与步骤4筛选得到的候选集匹配，生成推荐信息。

2.如权利要求1所述的一种融入多视图的基于自注意力机制的POI推荐方法，其特征在于：步骤1中令用户集合为U＝{u₁,u₂,...,u_|U|}，POI集合为L＝{l₁,l₂,...,l_|L|}，所有POI的类别集合为C＝{c₁,c₂,...,c_|C|}，|U|、|L|、|C|分别为用户、POI和POI类别的数量；对于用户u∈U，其历史签到的序列可表示为

其中

是用户签到的POI，

是用户签到的POI类别，

是签到的时间戳，最终目标为预测用户u在

时刻访问的POI点。

3.如权利要求2所述的一种融入多视图的基于自注意力机制的POI推荐方法，其特征在于：步骤2中对用户的签到数据进行预处理包括以下几个子步骤：

步骤2.1，将每个用户的签到数据处理为相同长度的序列；

步骤2.2，对用户的签到时间做周期化处理；

步骤2.3，将周期化处理的数据向量化；

随机初始化POI和POI类型的特征向量，分别定义为e^poi∈R^d和e^category∈R^d，定义序列中的POI和POI类型的特征向量分别表示为e^l＝e^poi+e^t和e^c＝e^category+e^t。

4.如权利要求3所述的一种融入多视图的基于自注意力机制的POI推荐方法，其特征在于：步骤2.1中统一所有用户的签到序列到一个固定长度为L₁，L₁为模块能够处理的最大序列长度，如果用户原始序列的签到数量大于L₁，则选取时间最近的L₁个签到生成新的序列，如果用户原始签到序列小于L₁，则在序列的左侧补零直到序列长度等于L₁。

5.如权利要求4所述的一种融入多视图的基于自注意力机制的POI推荐方法，其特征在于：步骤2.2中由于用户签到时间不会重复，且具有稀疏性，因此对时间进行周期化处理，将每周分为7×24＝168小时，则时间嵌入的索引大小为168，每个签到的时间嵌入向量e^t∈R^d，t由其时间戳对应的小时决定，d为向量特征维度。

6.如权利要求5所述的一种融入多视图的基于自注意力机制的POI推荐方法，其特征在于：步骤3.1中POI编码器的输入为用户的签到特征向量

基于自注意力机制原理，E^l通过线性变换生成新的特征向量，分别表示为Q，K和V：

Q＝E^lW^Q (1)

K＝E^lW^K (2)

V＝E^lW^V (3)

式中，W^Q,W^K,W^V∈R^d×d是可学习参数；

采用多头自注意力机制MHA(·)计算新的序列特征：

E^l′＝MHA(E^l)＝Concat(h₁,h₂,...,h_k)W^M (4)

h_i＝SA(Q,K,V) (5)

式中，Concat(·)表示拼接所有的自注意力模块，SA(·)的输出h_i∈R^m×d，h_i为多头注意力机制中第i个头的计算结果，k是自注意力头数，W^M∈R^k*d×d是自学习的投影向量，SA(·)的计算如下：

式中，

为激活函数，d为向量特征维度；

然后，将多头自注意力机制的输出E^l′加入到双层前馈网络FFN(·)中增加模型的非线性能力：

O^l＝FFN(E^l′)＝ReLU((E^l′W₁+b₁)W₂+b₂) (7)

式中，W₁,W₂∈R^d×d是可学习矩阵，ReLU(·)为线性整流函数，b₁、b₂是ReLU函数拟合的偏置值，O^l为更新后的POI特征；

更新POI类型序列的方法与更新的POI特征的方法相同，利用编码器得到更新后的POI类型序列

7.如权利要求6所述的一种融入多视图的基于自注意力机制的POI推荐方法，其特征在于：步骤3.2中将两个编码器的输出O^l和O^c同时输入到交叉融合注意力网络中，计算公式如下：

式中，O^l′为融入POI类型特征的POI特征向量，也可表示为用户的行为偏好。

8.如权利要求7所述的一种融入多视图的基于自注意力机制的POI推荐方法，其特征在于：步骤4.2中最终的候选集如下：

Set_u＝filter(Set) (9)

式中，filter(·)表示候选集过滤器，Set＝{l₁,l₂,...,l_|L|}是原始候选集，Set_u＝{l_k,l_t,...,l_|L′|}表示经过候选集筛选后的POI(|L′|＜|L|)集合。

9.如权利要求8所述的一种融入多视图的基于自注意力机制的POI推荐方法，其特征在于：步骤5中采用点积计算候选集中第i个POI的排序得分如下：

式中，E_i是候选地点i的特征向量，

是预测的下一个位置特征向量；

经过上述计算，候选集中得分越高的POI越可能在下一时刻被用户访问到。

Images