CN109062962B - 一种融合天气信息的门控循环神经网络兴趣点推荐方法 - Google Patents

Abstract

本发明公开了一种融合天气信息的门控循环神经网络兴趣点推荐方法，包括：S1、根据用户历史地点签到数据得到所有用户的地点访问历史记录，并对地点进行one‑hot编码；S2、根据地理位置距离得到多个距离矩阵D_d；S3、通过历史签到时间点对应的天气信息计算得到天气变化速率矩阵V；S4、针对兴趣点推荐问题对经典门控循环神经网络中的门控循环单元GRU进行修改，将重置门与更新门计算方法与天气信息进行融合得到V‑GRU；S5、提出基于V‑GRU构建的多层循环神经网络框架DV‑RNN；S6、通过输入层将用户在之前时刻访问的地点编码、相应的距离矩阵以及天气变化速率矩阵V输入到神经网络之中；通过输出层计算得到用户在当前时刻访问地点的概率分布，进而得到推荐结果。

Description

一种融合天气信息的门控循环神经网络兴趣点推荐方法

技术领域

本发明涉及个性化推荐技术领域，具体涉及一种融合天气信息的门控循环神经网络兴趣点推荐方法。

背景技术

互联网的出现和普及给用户带来了大量的信息，满足了用户在信息时代对信息的需求，使得人们的生活越来越离不开网络，越来越多的人选择在网络上进行娱乐或购物。但随着网络的迅速发展而带来的网上信息量的大幅增长，使得用户在面对大量信息时无法从中获得对自己真正有用的那部分信息，对信息的使用效率反而降低了。面对日益扩大的用户需求，以及越来越丰富的资源，如何能够充分理解用户的需求，快捷地为用户找到自己需要的资源，成为吸引用户的一个有力手段。基于此需求，个性化推荐技术渐渐受到重视，如今已经进入一个成熟发展的阶段。

个性化推荐技术，是用户行为分析技术的一个重要方面，简单的说，它是根据用户的信息需求、兴趣等，将用户感兴趣的信息、产品等推荐给用户，为用户找到他可能感兴趣的资源的个性化信息推荐系统。和搜索引擎相比推荐系统通过研究用户的兴趣偏好，进行个性化计算，由系统发现用户的兴趣点，从而引导用户发现自己的信息需求。为了实现个性化的资源推荐，必须“懂”用户、“懂”资源。通过对用户资料及大量历史行为的分析，从中得出用户的兴趣知识，然后以一种合理的方式来表示用户兴趣。同时对资源进行组织，选取合理表达方式来表达资源特征。然后采用恰当的推荐算法，匹配用户兴趣与资源特征，完成推荐。推荐系统现已广泛应用于很多领域，比如社交网络领域、电子商务领域、内容推荐领域等。

个性化推荐系统已经在商品、电影、音乐的用户推荐上取得了较大的成功，但在基于位置的服务上，兴趣点的个性化推荐则较少使用。针对基于地理位置的社交网络服务的兴趣点推荐技术，是个性化推荐技术中比较重要的一块应用，在过去几年间获得了很多的关注。兴趣点推荐有着不同于网站物品推荐的时空特质和关注点，比如实际的地理距离以及当天的天气情况都会对用户的兴趣偏好产生非常大的影响。同时因为地点访问行为比网页访问或点击行为的行为代价要大许多，所以兴趣点推荐面临着比网站物品推荐更严重的数据稀疏性问题。

目前，流行的兴趣点推荐算法如协同过滤，通常基于用户的地点签到行为进行用户评分预测或地点推荐。但是当预测用户将要访问一个具体地点时，传统的协同过滤算法无法捕获用户兴趣的演变或时空上下文相关的兴趣。

发明内容

本发明的目的是针对现有技术的不足，提供了一种融合天气信息的门控循环神经网络兴趣点推荐方法，所述方法通过定义一种融合天气信息的门控循环单元V-GRU和一个基于V-GRU构建的多层循环神经网络框架DV-RNN，综合考虑了天气因素与地理距离因素对用户偏好的影响以及用户的周期性行为，避免了传统方法对用户偏好建模考虑因素不足的问题，将门控循环神经网络结构创新地与各时间点的天气信息进行融合，可以通过对用户的地点访问历史进行建模，融合当前时间点下的天气状况，提供更加准确的兴趣点推荐，并在一定程度上解决数据稀疏性问题。

循环神经网络在传统神经网络中引入了时间因素和隐含状态，使用本时刻的输入以及上一时刻的隐含状态共同决定本时刻的输出，具备了处理序列化数据的能力。门控循环神经网络是循环神经网络的一种形式，它提出的目的是为了更好地捕捉时序数据中间隔较大的依赖关系，其隐含层结构——门控循环单元(GRU)——包含了一个重置门(resetgate)和一个更新门(update gate)，其中重置门有助于捕捉时序数据中短期的依赖关系，更新门有助于捕捉时序数据中长期的依赖关系。

本发明的目的可以通过如下技术方案实现：

一种融合天气信息的门控循环神经网络兴趣点推荐方法，所述方法包括以下步骤：

S1、获取用户的历史地点签到数据，得到用户u的地点访问历史记录P^u,进而得到所有用户的地点访问历史记录P^U，并对地点进行one-hot编码；

S2、根据访问地点的地理位置距离，得到多个距离矩阵D_d；

S3、通过天气网站的API获得历史签到时间点对应的天气信息，计算得到天气变化速率矩阵V；

S4、针对兴趣点推荐问题对经典门控循环神经网络中的门控循环单元GRU进行修改，将重置门与更新门计算方法与天气信息进行融合，得到V-GRU；

S5、提出一个基于V-GRU构建的多层循环神经网络框架DV-RNN；

S6、通过输入层，将用户在之前时刻访问的地点编码、相应的距离矩阵以及天气变化速率矩阵V输入到神经网络之中；通过输出层，计算得到用户在当前时刻访问地点的概率分布，进而得到推荐结果。

进一步地，步骤S1中，用户u的地点访问历史记录P^u和所有用户的地点访问历史记录P^U的构建方法具体为：设

表示用户u在t_i时刻访问的地点，则用户u的地点访问历史记录记录

所有用户的地点访问历史记录

进一步地，步骤S2中，距离矩阵D_d为一个能够通过神经网络进行学习得到的参数矩阵，下标d代表具体的距离值，假设地点p的坐标为{x_p,y_p}，则下标

进一步地，步骤S3中，设获取到的t_i时刻的天气信息向量为

t_j时刻的天气信息向量为

首先使用余弦相似度衡量其相似性

计算方法为：

其中，k表示当前时刻天气信息向量的第k维，n表示天气信息向量的维数，然后使用如下公式计算得到t_i时刻到t_j时刻的天气变化速率

其中，ω为设定的时间窗口大小，∈为一个极小值，用来防止出现分母为0的情况，因此，天气变化速率矩阵V表示为：

进一步地，步骤S4中，融合天气信息后得到的V-GRU中的隐含状态具体为：

其中，

表示t时刻用户u的隐含状态，

表示可接受时间窗口内用户u的隐含状态，

为满足最接近时间窗口ω且用户u在

到t时间内有地点访问记录的值，

为V-GRU结构中的更新门，具体为：

其中，W_pz表示更新门中当前地点向量的权重矩阵，W_hz表示更新门中上一时刻隐含状态的权重矩阵，σ表示sigmoid函数，

为V-GRU中的候选隐含状态，具体为：

其中，

表示与上述距离相关的参数矩阵，W_hh表示上一时刻隐含状态的权重矩阵，

为V-GRU结构中的重置门，具体为：

其中，W_pr表示重置门中当前地点向量的权重矩阵，W_hr表示重置门中上一时刻隐含状态的权重矩阵，∈为一个极小值，用来防止出现分母为0的情况。

进一步地，步骤S6中，将用户在之前时刻访问的地点编码、相应的距离矩阵以及天气变化速率矩阵V输入到神经网络中的输出层时，初始化得到V-GRU中的隐含状态H₀，将输入送入到第一层的V-GRU时，通过V-GRU计算得到隐含状态H₁，对每一个时间窗口间隔的时刻，将间隔内的

和上一层隐含状态

送入V-GRU的计算单元，多层V-GRU单元进行计算，得到t时刻的隐含状态后，计算得到输出

具体为：

其中，U^u为用户u对应的隐特征向量，p^p为地点p对应的隐特征向量，再经过SoftMax层输出得到下一时刻用户访问地点的概率分布，将概率分布输入到DV-RNN的最后一层推荐排序层，选取概率最大的K个地点并排序作为推荐结果。

本发明与现有技术相比，具有如下优点和有益效果：

本发明公开的一种融合天气信息的门控循环神经网络兴趣点推荐方法，利用余弦相似度和时间间隔计算出天气特征的变化速率，并将其应用到GRU的重置门与更新门计算中，从而影响循环神经网络对于长期记忆和短期记忆的重视程度。同时将地理距离相关权重赋值到输入权重的计算之中，使得较远距离的地点得到的权重更低。本发明与现有技术相比，考虑了天气因素与地理距离因素对用户偏好的影响，使得推荐结果更加准确；利用循环神经网络对于时间序列数据的处理优点，准确学习到用户的周期性行为，进一步提高推荐结果准确性；输入设置弹性时间窗口，有助于解决用户行为数据的稀疏性问题。

附图说明

图1为本发明实施例V-GRU的结构图。

图2为本发明实施例DV-RNN的模型框架图。

图3为本发明实施例融合天气信息的门控循环神经网络兴趣点推荐方法的流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例：

本实施例提供了一种融合天气信息的门控循环神经网络兴趣点推荐方法，所述方法的流程图如图3所示，包括以下步骤：

S1、获取用户的历史地点签到数据，得到用户u的地点访问历史记录P^u,进而得到所有用户的地点访问历史记录P^U，并对地点进行one-hot编码；

S2、根据访问地点的地理位置距离，得到多个距离矩阵D_d；

S3、通过天气网站的API获得历史签到时间点对应的天气信息，计算得到天气变化速率矩阵V；

S4、针对兴趣点推荐问题对经典门控循环神经网络中的门控循环单元GRU进行修改，将重置门与更新门计算方法与天气信息进行融合，得到V-GRU；

S5、提出一个基于V-GRU构建的多层循环神经网络框架DV-RNN；

S6、通过输入层，将用户在之前时刻访问的地点编码、相应的距离矩阵以及天气变化速率矩阵V输入到神经网络之中；通过输出层，计算得到用户在当前时刻访问地点的概率分布，进而得到推荐结果。

具体地，整个技术方案主要包括两个部分：

一、定义如图1所示的V-GRU和图2所示的DV-RNN结构，并根据历史数据训练模型参数；

(1)、根据图1所示的V-GRU结构定义V-GRU；

(2)、利用步骤(1)中定义好的V-GRU，根据图2所示的DV-RNN模型框架图定义循环神经网络模型，对应的参数为Θ＝{D,W_pr,W_hr,W_pz,W_hz,W_hh},其中，D表示地理距离权重矩阵，使用均值为0方差为1的正态分布对上述每一个参数以及H₀进行初始化；

(3)、通过网站获取新的用户行为数据和天气信息数据，并计算得到one-hot编码、用户行为序列和天气变化速率矩阵；

(4)、划分训练集和测试集，将用户行为序列中最新的20％的行为从数据集中单独取出，作为测试集，余下部分的数据作为训练集；

(5)、选取训练集中部分数据(批量数据)输入定义好的神经网络模型中,通过网络计算得出SoftMax层输出：

其中，

表示最后一层V-GRU的输出，SoftMax函数表达式具体为：

其中，x_j表示x的第j个分量；

(6)、计算最大似然损失函数

具体为：

其中，λ为正则化参数，可以通过交叉验证得到。

表示SoftMax层输出结果中地点p对应的概率值；

(7)、根据损失函数的表达式使用BPTT(经过时间的反向传播)算法计算上述模型参数Θ中每一个参数的梯度Φ，具体为：

例如对于中间变量U^u求导，具体为：

对中间变量求导后进一步对模型参数Θ中每一个参数进行求导，根据链式法则即可求得对于每一个参数的梯度Φ；

(8)、使用基于随机梯度下降的优化算法来更新神经网络参数，参数更新的具体方式为：

Θ_new＝Θ-ηΦ

其中，η表示预先设定的学习率参数，一般范围在0.001-0.1之间，Θ_new表示根据批量数据学习得到的新参数；

(9)、对上述步骤(5)-(8)步进行重复，直至损失函数

收敛。

二、利用已经训练好的网络给出推荐结果；

(1)、利用训练阶段训练好的模型参数定义DV-RNN模型；

(2)、通过网站获取新的用户行为数据和天气信息数据，并计算得到one-hot编码、用户行为序列和天气变化速率矩阵；

(3)、输入上一部分已经定义好的CV-RNN模型中，计算得到推荐结果。

以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明专利构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (6)

1.一种融合天气信息的门控循环神经网络兴趣点推荐方法，其特征在于，所述方法包括以下步骤：

S1、获取用户的历史地点签到数据，得到用户u的地点访问历史记录P^u，进而得到所有用户的地点访问历史记录P^U，并对地点进行one-hot编码；

S2、根据访问地点的地理位置距离，得到多个距离矩阵D_d，所述距离矩阵D_d为一个能够通过神经网络进行学习得到的参数矩阵，下标d代表具体的距离值；

S3、通过天气网站的API获得历史签到时间点对应的天气信息，计算得到天气变化速率矩阵V，所述天气变化速率矩阵V为包含天气变化速率信息的矩阵，矩阵中的元素根据获取到的不同时刻的天气信息向量通过余弦相似度计算得到；

S4、针对兴趣点推荐问题对经典门控循环神经网络中的门控循环单元GRU进行修改，将重置门与更新门计算方法与天气信息进行融合，得到V-GRU；

S5、基于V-GRU构建多层循环神经网络框架DV-RNN；

S6、通过输入层，将用户在之前时刻访问的地点编码、相应的距离矩阵以及天气变化速率矩阵V输入到神经网络之中；通过输出层，计算得到用户在当前时刻访问地点的概率分布，进而得到推荐结果。

2.根据权利要求1所述的融合天气信息的门控循环神经网络兴趣点推荐方法，其特征在于：步骤S1中，用户u的地点访问历史记录Pu和所有用户的地点访问历史记录P^U的构建方法具体为：设

表示用户u在t_i时刻访问的地点，则用户u的地点访问历史记录记录

所有用户的地点访问历史记录

3.根据权利要求1所述的融合天气信息的门控循环神经网络兴趣点推荐方法，其特征在于：步骤S2中，距离矩阵D_d为一个能够通过神经网络进行学习得到的参数矩阵，下标d代表具体的距离值，假设地点p的坐标为(x_p，y_p)，则下标

其中

和

分别表示用户u在t和t_i时刻访问的地点。

4.根据权利要求1所述的融合天气信息的门控循环神经网络兴趣点推荐方法，其特征在于：步骤S3中，设获取到的t_i时刻的天气信息向量为

t_j时刻的天气信息向量为

首先使用余弦相似度衡量其相似性

计算方法为：

其中，k表示当前时刻天气信息向量的第k维，n表示天气信息向量的维数，然后使用如下公式计算得到t_i时刻到t_j时刻的天气变化速率

其中，ω为设定的时间窗口大小，∈为一个极小值，用来防止出现分母为0的情况，因此，天气变化速率矩阵V表示为：

5.根据权利要求2所述的融合天气信息的门控循环神经网络兴趣点推荐方法，其特征在于，步骤S4中，融合天气信息后得到的V-GRU中的隐含状态具体为：

其中，

表示t时刻用户u的隐含状态，

表示可接受时间窗口内用户u的隐含状态，

为满足最接近时间窗口ω且用户u在

到t时间内有地点访问记录的值，

为V-GRU结构中的更新门，具体为：

其中，W_pz表示更新门中当前地点向量的权重矩阵，W_hz表示更新门中上一时刻隐含状态的权重矩阵，σ表示sigmoid函数，

为V-GRU中的候选隐含状态，具体为：

其中，

表示与上述距离相关的参数矩阵，W_hh表示上一时刻隐含状态的权重矩阵，

为V-GRU结构中的重置门，具体为：

其中，W_pr表示重置门中当前地点向量的权重矩阵，W_hr表示重置门中上一时刻隐含状态的权重矩阵，∈为一个极小值，用来防止出现分母为0的情况。

6.根据权利要求5所述的融合天气信息的门控循环神经网络兴趣点推荐方法，其特征在于，步骤S6中，将用户在之前时刻访问的地点编码、相应的距离矩阵以及天气变化速率矩阵V输入到神经网络中的输出层时，初始化得到V-GRU中的隐含状态H₀，将输入送入到第一层的V-GRU时，通过V-GRU计算得到隐含状态H₁，对每一个时间窗口间隔的时刻，将间隔内的

和上一层隐含状态

送入V-GRU的计算单元，多层V-GRU单元进行计算，得到t时刻的隐含状态后，计算得到输出

具体为：

其中，U^u为用户u对应的隐特征向量，p^p为地点p对应的隐特征向量，再经过SoftMax层输出得到下一时刻用户访问地点的概率分布，将概率分布输入到DV-RNN的最后一层推荐排序层，选取概率最大的K个地点并排序作为推荐结果。

Images