CN108804646A - 一种融合深度学习和因子分解机的兴趣点签到预测方法 - Google Patents

Abstract

本发明涉及一种融合深度学习和因子分解机的兴趣点签到预测方法，属于位置签到预测领域包括：S1：获取用户签到数据；S2：对输入的离散数据进行嵌入处理；S3：离散数据去稀疏处理，并学习数据之间的隐含二阶关系；S4：对于连续特征加入全连接隐藏层进行学习，选取合适的激励函数；S5：输入由离散特征经过处理的结果和连续特征经过处理的结果相加作为隐藏层h₁的输入；S6：隐藏层h₁的输出l₁经过一阶线性和特征交互结构并相加作为隐藏层h₂的输入；S7：隐藏层h₃接收的输入来自隐藏层h₁和h₂的输出l₁和l₂，同时加入shortcut结构保证参数学习时梯度的稳定性，确定最佳的模型结构，最后输出预测结果。本发明通过分析用户签到信息，充分挖掘学习签到规律，预测兴趣点签到问题。

Description

一种融合深度学习和因子分解机的兴趣点签到预测方法

技术领域

本发明属于位置签到预测领域，涉及一种融合深度学习和因子分解机的兴趣点签到预测方法。

背景技术

基于位置的社交网络是通过智能终端设备建立的以社会交互为目的的网络。LBSN和用户的生活密切相关，可以真实反映用户的社会关系和现实生活中的活动，是沟通真实物理世界和虚拟互联空间的桥梁。随着移动终端、无线通信、移动互联网等技术的发展，用户可以随时随地记录自己的移动轨迹，并且可以上传到例如Foursquare、Gowalla等基于位置的社交网络，分享自己的爱好，兴趣，游玩攻略等信息。这些签到数据真实的记录了用户在什么时间访问了什么地点。通过对这些签到信息的学习，可以挖掘出用户的潜行为模式、规律和偏好。其中，预测系统作为目前解决信息过滤和个性化服务问题的重要技术手段之一，在位置服务中发挥着越来越重要的作用。目前，社交网络中的用户规模和用户发布的信息增量迅猛，而包含着地理位置信息的内容也在被越来越多的人所关注，有关兴趣点预测的模型层出不穷。

除了一些经典的兴趣点签到预测的方法，还有一些方法取得了较好的效果，在中国专利CN107515949A中公开了兴趣点预测和推荐中的用户时空相似性度量方法；另一篇中国专利CN105488213A中则公开了一种面向LBS的基于马尔可夫预测算法的个性化推荐方法，这些方法都对位置签到预测做出了很好的阐述，但是，在实现精准的个性化兴趣点签到预测方面还存在一些不足。

发明内容

有鉴于此，本发明的目的在于提供一种融合深度学习和因子分解机的兴趣点签到预测方法，旨在针对特定的兴趣点进行签到预测，该方法以特定兴趣点为中心，通过分析用户签到的天气、时间和空间信息，充分地挖掘和学习用户的签到规律和模式，从而能够准确地预测特定兴趣点的签到问题。

为达到上述目的，本发明提供如下技术方案：

一种融合深度学习和因子分解机的兴趣点签到预测方法，包括以下步骤：

S1：获取用户签到数据，签到数据分为连续特征数据和离散特征数据；

S2：对输入的离散数据进行嵌入处理，通过一个类似局部连接的结构，将离散特征映射到低维向量；

S3：利用类似FM的网络结构进行离散数据的去稀疏处理，并学习数据之间的隐含二阶关系；

S4：对于连续特征加入全连接隐藏层进行学习，选取合适的激励函数；

S5：输入由离散特征经过处理的结果和连续特征经过处理的结果相加作为隐藏层h₁的输入；

S6：隐藏层h₁的输出l₁经过一阶线性和特征交互结构并相加作为隐藏层h₂的输入；

S7：隐藏层h₃接收的输入来自隐藏层h₁和h₂的输出l₁和l₂，同时加入shortcut结构保证参数学习时梯度的稳定性，确定最佳的模型结构，包括离散特征映射到低维向量的长度、因子分解机中学习特征之间二阶关系的系数矩阵的列数、初始学习率、隐藏层层数以及隐藏层神经元数目，最后输出预测结果。

进一步，在步骤S1中，所获取的用户签到数据，分为连续特征数据和离散特征数据，连续特征数据包括经纬度、温度、风速、降雨量，离散特征数据包括签到月、日、时、星期。

进一步，在步骤S2中，首先对输入的离散数据数据进行嵌入处理，通过一个类似局部连接的结构，将离散特征Field[1..i..N]映射到低维向量V[1..i..N]，其中V_i的长度为M，公式为：

进一步，在步骤S3中，对于稀疏向量，通过利用类似FM的网络结构进行去稀疏处理，其中f为特征间一阶线性关系，s是特征间的二阶关系，经过该结构的处理后去除了数据的稀疏性，并学习到数据之间的隐含二阶关系，R为大小为N*K的矩阵，公式f＝f[1..i..N]和类似因子分解机结构，在这里每一个特征是一个向量v_i，特征之间的乘积就是向量的点乘运算，公式为：S＝{s_i,j}(i,j＝1...N)，s_i,j＝＜R_iR_j＞＜V_iV_j＞，另外，为了进一步缓解数据稀疏的问题，利用信息量公式δ＝-log p_i以正负样本1：n的比例构造负样本，负样本的构造可以扩充数据集，增加可训练的样本。

进一步，在步骤S4中，把连续特征包括天气、空间等信息加入到全连接隐藏层进行学习，定义relu(x)＝max(0,x)为隐藏层输出的激励函数，公式为：l_c1＝relu(W_c1x+b_c1)，l_c2＝relu(W_c2l_c1+b_c2)。

进一步，在步骤S5中，l₁是隐藏层h₁的输出，其输入由离散特征经过处理的结果和连续特征经过处理的结果相加组成，公式为：l_f＝W_f'f，l_s＝W_s's，l₁＝relu(l_c2+l_f+l_s+b₀)，其中f为特征间一阶线性关系，s是特征间的二阶关系。

进一步，在步骤S6中，此时离散特征数据已经经过FM层去稀疏处理，在隐藏层h₁的数据可以通过∑w_ix_i+∑∑w_ijx_ix_j和进行参数学习，表示隐藏层h₁的输出l₁经过一阶线性和特征交互结构到达h₂层并相加，其中表示两个相同大小的矩阵或者向量元素各自相乘，这样特征之间的隐含内在联系能够更好地被挖掘出来，从而提高预测精度。

进一步，在步骤S7中，隐藏层h₃的输出表示为l₃，由于加入的shortcut结构，接受的输入来自隐藏层h₁和h₂的输出l₁和l₂，保证参数学习时梯度的稳定性，最后输出预测结果：输出层y∈(0,1)，即用户在兴趣点签到的概率，公式为：l₃＝relu(W₂l₂+l₁+b₂)，最佳的网络结构包含离散特征映射到低维向量的长度M为20，因子分解机中学习特征之间二阶关系的系数矩阵的列数K为20，初始学习率为0.05，隐藏层个数为3层，隐藏层h₁的神经元个数为32，隐藏层h₂的神经元个数为64，隐藏层h₃的神经元个数为32。

本发明的收益效果是：

采用本发明可以准确的预测出对于特定的兴趣点在某一时刻的签到数量，即用户的访问量，大大减少了用户访问某一兴趣点的盲目性，预测的结果还可以应用于旅游规划、智能交通、安全预防等领域。

本发明对于特定的兴趣点签到预测有别于目前大量以用户为中心的基于位置的社交网络的签到研究。特定兴趣点签到预测，是以兴趣点为中心的签到预测研究，是指给定兴趣点历史签到数据，预测在将来有多少用户会在某一个兴趣点进行签到。在实际生活中，时间、空间、天气等特征对兴趣点的签到转移有着重要的影响，因此在使用深度学习预测兴趣点签到的过程中，也充分结合时间、空间、天气对兴趣点签到的影响，从而大幅度提高了预测的质量，由此可见本发明相对于传统的以用户为中心的预测算法有着很大的优势。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本发明实施例所述方法的宏观流程图；

图2为本发明实施例所述的兴趣点预测模型网络结构；

图3为本发明实施例所述步骤S7中所述的残差结构，即shortcut结构；

图4为本发明实施例所述应用于Gowalla数据集与经典的模型预测准确度的对比示意图；

图5为本发明实施例所述应用于Brightkite数据集与经典的模型预测准确度的对比示意图；

图6为本发明实施例所述加入构造的负样本应用于Gowalla数据集预测准确度的示意图；

图7为本发明实施例所述加入构造的负样本应用于Brightkite数据集预测准确度的示意图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

如图1-7所示，本发明为一种融合深度学习和因子分解机的兴趣点签到预测方法，包括如下步骤：

步骤S1：获取用户签到数据，签到数据分为连续特征数据和离散特征数据；

步骤S2：对输入的离散数据数据进行嵌入处理，通过一个类似局部连接的结构，将离散特征映射到低维向量；

步骤S3：利用类似FM的网络结构进行离散数据的去稀疏处理，并学习数据之间的隐含二阶关系；

步骤S4：对于连续特征(天气，空间信息)加入全连接隐藏层进行学习，选取合适的激励函数；

步骤S5：输入由离散特征经过处理的结果和连续特征经过处理的结果相加作为隐藏层h₁的输入；

步骤S6：隐藏层h₁的输出l₁经过一阶线性和特征交互结构并相加作为隐藏层h₂的输入；

步骤S7：隐藏层h₃接收的输入来自隐藏层h₁和h₂的输出l₁和l₂，同时加入shortcut结构保证参数学习时梯度的稳定性，确定最佳的模型结构，包括离散特征映射到低维向量的长度、因子分解机中学习特征之间二阶关系的系数矩阵的列数、初始学习率、隐藏层层数以及隐藏层神经元数目，最后输出预测结果。

其中，步骤S1中，所获取得用户签到数据，分为连续特征数据和离散特征数据，连续特征数据包括经纬度、温度、风速、降雨量，离散特征数据包括签到月、日、时、星期。

其中，步骤S2中，首先对输入的离散数据数据进行嵌入处理，通过一个类似局部连接的结构，将离散特征Field[1..i..N]映射到低维向量V[1..i..N]，其中V_i的长度为M，公式为：

其中，步骤S3中，对于稀疏向量，通过利用类似FM的网络结构进行去稀疏处理，其中f为特征间一阶线性关系，s是特征间的二阶关系，经过该结构的处理后去除了数据的稀疏性，并学习到数据之间的隐含二阶关系，R为大小为N*K的矩阵，公式f＝f[1..i..N]和类似因子分解机结构，在这里每一个特征是一个向量v_i，特征之间的乘积就是向量的点乘运算，公式为：S＝{s_i,j}(i,j＝1...N)，s_i,j＝＜R_iR_j＞＜V_iV_j＞，另外，为了进一步缓解数据稀疏的问题，利用信息量公式δ＝-log p_i以正负样本1：n的比例构造负样本，负样本的构造可以扩充数据集，增加可训练的样本。

其中，步骤S4中，把连续特征包括天气、空间等信息加入到全连接隐藏层进行学习，定义relu(x)＝max(0,x)为隐藏层输出的激励函数，公式为：l_c1＝relu(W_c1x+b_c1)，l_c2＝relu(W_c2l_c1+b_c2)。

其中，步骤S5中，l₁是隐藏层h₁的输出，其输入由离散特征经过处理的结果和连续特征经过处理的结果相加组成，公式为：l_f＝W_f'f，l_s＝W_s's，l₁＝relu(l_c2+l_f+l_s+b₀)。其中f为特征间一阶线性关系，s是特征间的二阶关系。

其中，在步骤S6中，此时离散特征数据已经经过FM层去稀疏处理，在隐藏层h₁的数据可以通过∑w_ix_i+∑∑w_ijx_ix_j和进行参数学习，表示隐藏层h₁的输出l₁经过一阶线性和特征交互结构到达h₂层并相加，其中表示两个相同大小的矩阵或者向量元素各自相乘，这样特征之间的隐含内在联系能够更好地被挖掘出来，从而提高预测精度。

其中，步骤S7中，隐藏层h₃的输出表示为l₃，由于加入的shortcut结构，接受的输入来自隐藏层h₁和h₂的输出l₁和l₂，保证参数学习时梯度的稳定性，最后输出预测结果：输出层y∈(0,1)，即用户在兴趣点签到的概率，公式为：l₃＝relu(W₂l₂+l₁+b₂)，最佳的网络结构包含离散特征映射到低维向量的长度M为20，因子分解机中学习特征之间二阶关系的系数矩阵的列数K为20，初始学习率为0.05，隐藏层个数为3层，隐藏层h₁的神经元个数为32，隐藏层h₂的神经元个数为64，隐藏层h₃的神经元个数为32。

本实施例的一个具体应用为：

表1：用户签到数据

数据集	城市	用户数	签到数
				Gowalla	纽约	2338	113094
Gowalla	洛杉矶	1019	39470
				Gowalla	芝加哥	1044	49192
Brightkite	纽约	1060	80353
				Brightkite	洛杉矶	576	54183
Brightkite	芝加哥	499	41585

选取数据集中签到最高的兴趣点(纽约，洛杉矶，芝加哥)作为被预测点，其中选取签到记录在10条以上的用户。

表2：数据集中签到最高的兴趣点的情况

如图4-7所示，表明TSWNN模型与其他经典模型进行比较，表现出优越的性能，尤其加入天气信息的预测结果(TSWNN)还要略优于不加入天气信息的结果(TSNN)，其中准确率提升3.5％-5.4％预测准确度较高，还可以看出数据负样本比例增加缓解了数据稀疏的问题，提高了预测的准确度，总体来说，本发明稳定性较好，推广能力强，可以满足实际要求。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (8)

1.一种融合深度学习和因子分解机的兴趣点签到预测方法，其特征在于：包括以下步骤：

S1：获取用户签到数据，包括连续特征数据和离散特征数据；

S2：对输入的离散数据进行嵌入处理，通过一个类似局部连接的结构，将离散特征映射到低维向量；

S3：利用类似FM的网络结构进行离散数据的去稀疏处理，并学习数据之间的隐含二阶关系；

S4：对于连续特征加入全连接隐藏层进行学习，选取合适的激励函数；

S5：输入由离散特征经过处理的结果和连续特征经过处理的结果，将两项结果进行相加作为隐藏层h₁的输入；

S6：隐藏层h₁的输出l₁经过一阶线性和特征交互结构并相加，作为隐藏层h₂的输入；

S7：隐藏层h₃接收的输入来自隐藏层h₁和h₂的输出l₁和l₂，同时加入shortcut结构保证参数学习时梯度的稳定性，确定最佳的模型结构，包括离散特征映射到低维向量的长度、因子分解机中学习特征之间二阶关系的系数矩阵的列数、初始学习率、隐藏层层数以及隐藏层神经元数目，最后输出预测结果。

2.根据权利要求1所述的一种融合深度学习和因子分解机的兴趣点签到预测方法，其特征在于：在步骤S1中，所述连续特征数据包括经纬度、温度、风速和降雨量，离散特征数据包括签到月、日、时、星期。

3.根据权利要求1所述的一种融合深度学习和因子分解机的兴趣点签到预测方法，其特征在于：在步骤S2中，将离散特征Field[1..i..N]映射到低维向量V[1..i..N]，公式为：其中V_i的长度为M。

4.根据权利要求1所述的一种融合深度学习和因子分解机的兴趣点签到预测方法，其特征在于：在步骤S3中，对于稀疏向量，通过利用类似FM的网络结构进行去稀疏处理，公式f＝f[1..i..N]和类似因子分解机结构，其中f为特征间一阶线性关系，在这里每一个特征是一个向量v_i，特征之间的乘积就是向量的点乘运算，公式为：S＝{s_i,j}(i,j＝1...N)，s_i,j＝＜R_iR_j＞＜V_iV_j＞，s是特征间的二阶关系，经过该结构的处理后去除了数据的稀疏性，并学习到数据之间的隐含二阶关系，R为大小为N*K的矩阵，另外，为了进一步缓解数据稀疏的问题，利用信息量公式δ＝-log p_i以正负样本1:n的比例构造负样本，以扩充数据集，增加可训练的样本。

5.根据权利要求1所述的一种融合深度学习和因子分解机的兴趣点签到预测方法，其特征在于：在步骤S4中，把所述连续特征包括天气、空间信息加入到全连接隐藏层进行学习，定义relu(x)＝max(0,x)为隐藏层输出的激励函数，公式为：l_c1＝relu(W_c1x+b_c1)，l_c2＝relu(W_c2l_c1+b_c2)。

6.根据权利要求1所述的一种融合深度学习和因子分解机的兴趣点签到预测方法，其特征在于：在步骤S5中，所述隐藏层h₁的输出表示为l₁，其输入由离散特征经过处理的结果和连续特征经过处理的结果相加组成，公式为：lf＝W_f'f，l_s＝W_s's，l₁＝relu(l_c2+l_f+l_s+b₀)，其中f为特征间一阶线性关系，s是特征间的二阶关系。

7.根据权利要求1所述的一种融合深度学习和因子分解机的兴趣点签到预测方法，其特征在于：在步骤S6中，此时离散特征数据已经经过FM层去稀疏处理，在所述隐藏层h₁的数据可以通过∑w_ix_i+∑∑w_ijx_ix_j和进行参数学习，表示所述隐藏层h₁的输出l₁经过一阶线性和特征交互结构到达h₂层并相加，其中表示两个相同大小的矩阵或者向量元素各自相乘，这样特征之间的隐含内在联系能够更好地被挖掘出来，从而提高预测精度。

8.根据权利要求1所述的一种融合深度学习和因子分解机的兴趣点签到预测方法，其特征在于：在步骤S7中，所述隐藏层h₃的输出表示为l₃，由于加入的shortcut结构，接受的输入来自隐藏层h₁和h₂的输出l₁和l₂，保证参数学习时梯度的稳定性，最后输出预测结果：输出层y∈(0,1)，即用户在兴趣点签到的概率，公式为：l₃＝relu(W₂l₂+l₁+b₂)，最佳的网络结构包含离散特征映射到低维向量的长度M为20，因子分解机中学习特征之间二阶关系的系数矩阵的列数K为20，初始学习率为0.05，隐藏层个数为3层，隐藏层h₁的神经元个数为32，隐藏层h₂的神经元个数为64，隐藏层h₃的神经元个数为32。