CN111125551B - 一种基于选择记忆的马尔可夫模型的用户位置预测方法 - Google Patents

Abstract

本发明提供一种基于选择记忆的马尔可夫模型的用户位置预测方法。本发明基于传统马尔可夫模型，汲取循环神经网络模型的思想，在保留马尔可夫模型优点的前提下，增加选择记忆单元，解决马尔可夫模型本身的缺陷，即假设未来状态只与当前状态相关，与其他历史状态相互独立。本发明方法保留了传统马尔可夫模型运算简单，速度快的优势的基础上，通过选择记忆单元大幅度提升了预测的精度，在速度远快于RNN预测模型的前提下，可以取的与一般RNN预测模型近似的预测精度。

Description

一种基于选择记忆的马尔可夫模型的用户位置预测方法

技术领域

本发明针对位置预测方法，具体涉及一种基于选择记忆的马尔可夫模型的用户位置预测方法。

背景技术

近年来随着移动终端的普及，基于位置的社交网络(如四方、新浪、微信、脸谱、推特等)得到了空前的发展，用户的打卡行为逐渐成为一种潮流，甚至是一种习惯。用户位置预测算法在基于位置的各类应用中蕴藏了巨大的可供挖掘的价值。比如，对于当下城市中流行的商业综合体，其运维管体系统可以根据用户当前的位置信息以及其历史打卡的位置信息推测其心怡的下一位置，基于该推测结果做出更精准的娱乐消费场所的推荐，从而可以大大提升成功推荐的概率。这不仅提高了当下的商业收益，而且提升了用户对该商业体的满意度，为商业体的长期繁荣发展奠定了基础。对于政府而言，交通管理部门可以根据用户位置流动状况，推测交通分布变化状况，提前做好干预引导工作，从而可以减轻交通阻塞问题，确保交通体系安全流畅的运行。

现有的用户位置预测算法既有基于传统马尔可夫模型的预测方法也有基于当前被广泛关注的循环神经网络(RNN)模型的方法。以上两类方法均有较为明显的优点与缺点，前者运算速度快，运算成本低，但是其精度相对较低，后者的预测精度更高，但是其算力消耗大，对于训练数据的需求量大。

发明内容

针对现有技术中存在的问题，本发明提供一种基于选择记忆的马尔可夫模型的用户位置预测方法。

本发明基于传统马尔可夫模型，汲取循环神经网络模型的思想，在保留马尔可夫模型优点的前提下，增加选择记忆单元，解决马尔可夫模型本身的缺陷，即假设未来状态只与当前状态相关，与其他历史状态相互独立。

一种基于选择记忆的马尔可夫模型的用户位置预测方法，步骤如下：

步骤(1)、确定用户位置预测的基本数学模型：

社交媒体中的用户信息基本包含了用户身份信息U，用户位置信息L，打卡的时间信息T，社交关系信息E。用户身份信息U＝(u₁,u₂,u₃,…,u_n),由社交媒体平台的用户ID信息组成，用户位置信息

其中

l＝(lon,lat)，lon表示用户位置的经度坐标信息，lat表示用户位置的纬度坐标信息。打卡时间信息

其中t_i表示打卡的时间戳。

用户位置预测即通过用户的当前位置信息及历史位置信息预测用户下一步的位置，计算公式如下式所示：

上式中i＝1,2,3…n，M为需要求解的预测模型。

设置固定的时间变化，仅考虑位置的变迁，则用户位置预测方法的公式可简化为：

步骤(2)、确定基本的马尔可夫预测模型的数学模型

有限状态空间上的马尔可夫链是指在可数状态集S上的离散随机过程，且满足马尔可夫特性(无记忆特性)；

式中，i_n,i_n-1,…,i₀∈s，n∈N。

引入转移概率p_ij(n)，公式如下；

p_ij(n)＝P(X(n+1)＝j|X(n)＝i),i,j∈S (4)

考虑时间同质马尔可夫链，将转移概率简化为p_ij，不再依赖时间索引n∈N；

p_ij＝P(X(n+1)＝j|X(n)＝i),i,j∈S (5)

记P为状态转移矩阵，

状态转移矩阵P满足以下性质，

步骤3构建选择记忆单元的数学模型：

在用户位置预测中，用户访问的位置点定义为状态，通过社交媒体上的历史记录数据可以求取相应的状态转移矩阵。

马尔可夫特性简化了计算，但丢失了大量有用信息，本发明引入了选择记忆功能，定义记忆单元转换矩阵为：

H＝(H₂,H₃,…,H_h) (8)

式中，h表示最长记忆时间距离。

在实际的用户位置变迁过程中，下一步的可能目的地不仅与当前位置有关，还受到过去到达过的位置的影响，同时吸取马尔可夫特性简化计算的优势，对于前k步的记忆，忽略k+1步影响，定义记忆单元中：

步骤(4)、构建选择记忆的马尔可夫模型M：

M＝[P,H₂,H₃,…,H_h]W (11)

式中，W∈R^h×1表示选择记忆权重向量，人类越临近的行为对未来行为影响作用越大，基于该人类行为的基本规律，对于选择记忆权重向量W中各个元素w_k的取值原则为,k(定义当前步k＝1)值越小，则相应的权重值w_k越大。为降低运算复杂度，将W定义为One-hot向量，公式如下：

步骤(5)、预处理真实的原生用户打卡数据。

原生用户打卡数据稀疏性较强，在不影响模型预测精度的情况下，为提升计算效率，将用户中打卡总数少于阈值θ₁的用户剔除，将被打卡地点中打卡次数少于阈值θ₂的地点剔除。根据用户打卡行为的统计规律，将每连续Γ时长内的打卡行为记录划分为一个时间窗口，考虑到打卡数据本身潜在的周期性与序列性，确定了用户时间窗口数阈值θ₃和单个时间窗口内打卡次数阈值θ₄，将用户时间窗口总数少于阈值θ₃的用户剔除，将单个时间窗口内打卡次数小于阈值θ₄的窗口剔除。

步骤(6)、训练选择记忆的马尔可夫模型

将预处理后的数据输入提出的选择记忆的马尔可夫模型M，模型训练的程序通过python语言编写。最后通过训练后的选择记忆的马尔可夫模型M进行用户位置预测。

本发明有益结果如下：

1、随着5G技术的入市，基于位置的社交网络将迎来一轮迅猛的发展，因此对于高质量位置预测算法的需求会进一步提升。因此该专利中的算法的出现将为5G技术的推广普及奠定坚实的基础。

2、选择记忆的马尔可夫模型保留了传统马尔可夫模型运算简单，速度快的优势的基础上，通过选择记忆单元大幅度提升了预测的精度，在速度远快于RNN预测模型的前提下，可以取的与一般RNN预测模型近似的预测精度。

附图说明

图1为本发明方法整体流程图；

图2为本发明方法预测模型训练流程图；

图3为本发明方法在纽约与东京两地的数据集上三种预测模型的预测精度直方图。

具体实施方式

以下结合附图对本发明方法进行进一步描述。

如图1所示，本发明的用户位置预测方法，步骤如下：

步骤(1)、确定用户位置预测的基本数学模型：

社交媒体中的用户信息基本包含了用户身份信息U，用户位置信息L，打卡的时间信息T，社交关系信息E。用户身份信息U＝(u₁,u₂,u₃,…,u_n),由社交媒体平台的用户ID信息组成，用户位置信息

其中

l＝(lon,lat)，lon表示用户位置的经度坐标信息，lat表示用户位置的纬度坐标信息。打卡时间信息

其中t_i表示打卡的时间戳。

用户位置预测即通过用户的当前位置信息及历史位置信息预测用户下一步的位置，计算公式如下式所示：

上式中i＝1,2,3…n，M为需要求解的预测模型。

设置固定的时间变化，仅考虑位置的变迁，则用户位置预测方法的公式可简化为：

步骤(2)、确定基本的马尔可夫预测模型的数学模型

有限状态空间上的马尔可夫链是指在可数状态集S上的离散随机过程，且满足马尔可夫特性(无记忆特性)；

式中，i_n,i_n-1,…,i₀∈s，n∈N。

引入转移概率p_ij(n)，公式如下；

p_ij(n)＝P(X(n+1)＝j|X(n)＝i),i,j∈S (4)

考虑时间同质马尔可夫链，将转移概率简化为p_ij，不再依赖时间索引n∈N；

p_ij＝P(X(n+1)＝j|X(n)＝i),i,j∈S (5)

记P为状态转移矩阵，

状态转移矩阵P满足以下性质，

步骤3构建选择记忆单元的数学模型：

在用户位置预测中，用户访问的位置点定义为状态，通过社交媒体上的历史记录数据可以求取相应的状态转移矩阵。

马尔可夫特性简化了计算，但丢失了大量有用信息，本发明引入了选择记忆功能，定义记忆单元转换矩阵为：

H＝(H₂,H₃,…,H_h) (8)

式中，h表示最长记忆时间距离。

在实际的用户位置变迁过程中，下一步的可能目的地不仅与当前位置有关，还受到过去到达过的位置的影响，同时吸取马尔可夫特性简化计算的优势，对于前k步的记忆，忽略k+1步影响，定义记忆单元中：

步骤(4)、构建选择记忆的马尔可夫模型M：

M＝[P,H₂,H₃,…,H_h]W (11)

式中，W∈R^h×1表示选择记忆权重向量，人类越临近的行为对未来行为影响作用越大，基于该人类行为的基本规律，对于选择记忆权重向量W中各个元素w_k的取值原则为,k(定义当前步k＝1)值越小，则相应的权重值w_k越大。为降低运算复杂度，将W定义为One-hot向量，公式如下：

步骤(5)、预处理真实的原生用户打卡数据。

原生用户打卡数据稀疏性较强，在不影响模型预测精度的情况下，为提升计算效率，将用户中打卡总数少于阈值θ₁的用户剔除，将被打卡地点中打卡次数少于阈值θ₂的地点剔除。根据用户打卡行为的统计规律，将每连续Γ时长内的打卡行为记录划分为一个时间窗口，考虑到打卡数据本身潜在的周期性与序列性，确定了用户时间窗口数阈值θ₃和单个时间窗口内打卡次数阈值θ₄，将用户时间窗口总数少于阈值θ₃的用户剔除，将单个时间窗口内打卡次数小于阈值θ₄的窗口剔除。

步骤(6)、训练选择记忆的马尔可夫模型

如图2所示，将预处理后的数据输入提出的选择记忆的马尔可夫模型M，模型训练的程序通过python语言编写。最后通过训练后的选择记忆的马尔可夫模型M进行用户位置预测。

步骤(7)、验证选择记忆的马尔可夫模型的性能

与传统马尔可夫预测模型、RNN模型的预测结果对比

图3为本发明方法在纽约与东京两地的数据集上三种预测模型的预测精度直方图。

Claims (1)

1.一种基于选择记忆的马尔可夫模型的用户位置预测方法，其特征在于，具体步骤如下：

步骤(1)、确定用户位置预测的基本数学模型：

社交媒体中的用户信息基本包含了用户身份信息U，用户位置信息L，打卡的时间信息T，社交关系信息E；用户身份信息U＝(u₁,u₂,u₃,…,u_x),由社交媒体平台的用户ID信息组成，用户位置信息

其中

l＝(lon,lat)，lon表示用户位置的经度坐标信息，lat表示用户位置的纬度坐标信息；打卡时间信息

其中t表示打卡的时间戳；

用户位置预测即通过用户的当前位置信息及历史位置信息预测用户下一步的位置，计算公式如下式所示：

上式中v＝1,2,3…x'，M为需要求解的预测模型；

设置固定的时间变化，仅考虑位置的变迁，则用户位置预测方法的公式可简化为：

步骤(2)、确定基本的马尔可夫预测模型的数学模型

有限状态空间上的马尔可夫链是指在可数状态集S上的离散随机过程，且满足马尔可夫特性，即无记忆特性；

式中，i_n,i_n-1,…,i₀∈S，n∈N；

引入转移概率p_ij(n)，公式如下；

p_ij(n)＝P(X(n+1)＝j|X(n)＝i),i,j∈S (4)

考虑时间同质马尔可夫链，将转移概率简化为p_ij，不再依赖时间索引n∈N；

p_ij＝P(X(n+1)＝j|X(n)＝i),i,j∈S (5)

记P为状态转移矩阵，

状态转移矩阵P满足以下性质，

步骤(3)、构建选择记忆单元的数学模型：

在用户位置预测中，用户访问的位置点定义为状态，通过社交媒体上的历史记录数据可以求取相应的状态转移矩阵；

马尔可夫特性简化了计算，但丢失了大量有用信息，本发明引入了选择记忆功能，定义记忆单元转换矩阵为：

H＝(H₂,H₃,…,H_h) (8)

式中，h表示最长记忆时间距离；

在实际的用户位置变迁过程中，下一步的可能目的地不仅与当前位置有关，还受到过去到达过的位置的影响，同时吸取马尔可夫特性简化计算的优势，对于前k步的记忆，忽略k+1步影响，定义记忆单元中：

步骤(4)、构建选择记忆的马尔可夫模型M：

M＝[P,H₂,H₃,…,H_h]W (11)

式中，W∈R^h×1表示选择记忆权重向量，人类越临近的行为对未来行为影响作用越大，基于该人类行为的基本规律，对于选择记忆权重向量W中各个元素w_k的取值原则为,k值越小，则相应的权重值w_k越大，定义当前步k＝1；为降低运算复杂度，将W定义为One-hot向量，公式如下：

步骤(5)、预处理真实的原生用户打卡数据；

原生用户打卡数据稀疏性较强，在不影响模型预测精度的情况下，为提升计算效率，将用户中打卡总数少于阈值θ₁的用户剔除，将被打卡地点中打卡次数少于阈值θ₂的地点剔除；根据用户打卡行为的统计规律，将每连续Γ时长内的打卡行为记录划分为一个时间窗口，考虑到打卡数据本身潜在的周期性与序列性，确定了用户时间窗口数阈值θ₃和单个时间窗口内打卡次数阈值θ₄，将用户时间窗口总数少于阈值θ₃的用户剔除，将单个时间窗口内打卡次数小于阈值θ₄的窗口剔除；

步骤(6)、训练选择记忆的马尔可夫模型

将预处理后的数据输入提出的选择记忆的马尔可夫模型M，模型训练的程序通过python语言编写；最后通过训练后的选择记忆的马尔可夫模型M进行用户位置预测。

Images