CN110795522B - 一种移动用户轨迹位置的预测方法及装置 - Google Patents

Abstract

本发明涉及一种移动用户轨迹位置的预测方法及装置，属于数据挖掘处理技术领域。本发明通过构造包括LSTM网络和MDN网络的循环混合密度网络作为预测模型，该预测模型能够自动提取深度特征，利用该预测模型可从移动用户的最近轨迹数据中学习用户的运动趋势、长时间历史信息和隐藏代表性特征，从而实现对未来一段时间内用户位置坐标的预测。且本发明解决了预测连续位置坐标值时将面临的稀疏性问题和维数灾难问题，并能够充分模拟运动行为的不确定性，能够提高预测的精确性。

Description

一种移动用户轨迹位置的预测方法及装置

技术领域

本发明涉及一种移动用户轨迹位置的预测方法及装置，属于数据挖掘处理技术领域。

背景技术

预测移动用户未来长期的位置坐标是许多新兴应用的基础。如交通预警，异常行为探测，位置服务推荐系统和智能交通系统等。但位置预测也是一个棘手的问题，移动用户的运动行为受自身内部驱动和环境因素的双重影响，具有复杂性和多样性，因此传统的依靠线性模型和动力学方程的位置预测方法不能取得理想的预测效果。随着导航定位技术的快速发展，移动用户的位置数据可以被实时地采集和存储，使得许多以数据驱动方式进行位置预测的方法出现。数据驱动方法通过挖掘用户的位置序列数据，即轨迹挖掘，理解用户的运动规律，从而实现预测。目前，通过轨迹挖掘进行预测的方法主要集中于马尔科夫模型和关联性分析。

例如申请公布号为CN107018493A的中国专利申请文件提出了一种基于连续时序马尔科夫模型的地理位置预测方法。该方法首先对原始的用户轨迹数据进行过滤和聚类，得到离散分布的候选位置，并将用户的轨迹数据转化为候选位置及相应时间的序列。其次，利用高斯混合模型对每个位置的序列进行建模。将位置的高斯混合模型与转移概率矩阵、序列点概率等信息结合，改进原始的马尔科夫模型，建立基于连续时序的马尔科夫模型。最后，利用基于连续时序的马尔科夫模型对目标时间点的地理位置预测。该方法将轨迹数据离散为候选位置的方式容易不适用于连续位置坐标的预测。且马尔科夫模型建立在未来位置仅与当前状态有关的假设上，因此无法利用位置序列中更多的历史信息，而这些历史信息对于预测十分重要。因此，基于马尔科夫模型的方法的预测性能受到很大的限制。

申请公布号为CN109034448A的中国专利申请文件提出了基于车辆轨迹语义分析和深度信念网络的轨迹预测方法。该方法在获取数据源的基础上进行交通卡口关联性分析。根据轨迹数据集中的交通卡口上下文关系，使用统计概率模型构建关联空间并计算交通卡口之间的关联性。基于轨迹时空关联向量集挖掘轨迹中的用户行车模式，利用深度信念网络提取特征。根据特征建立回归预测模型，利用处理后的交通轨迹特征集对未来轨迹进行回归预测，并采用权重聚类对结果进行优化。该方法在训练深度信念网络前需要构造关联空间以及计算关联性等繁琐的预处理操作。同时，基于关联性的特征提取也未充分利用轨迹数据中的历史信息，导致预测结果准确性低。

发明内容

本发明的目的是提供一种移动用户轨迹位置的预测方法及装置，以解决目前采用马尔克夫模型或关联性分析进行轨迹位置预测导致预测结果准确率低的问题。

本发明为解决上述技术问题提供了一种移动用户轨迹位置的预测方法，该预测方法包括以下步骤：

1)获取移动用户最近的轨迹数据，并对获取的轨迹数据进行预处理，得到轨迹中各定位点相对于前一点的位移量序列；

2)构造包含有LSTM网络和MDN网络的RMDN模型，所述RMDN模型包括输入层、隐藏LSTM层和MDN层，其中输入层用于接收预处理后的轨迹数据；隐藏LSTM层包括至少两个LSTM层，每个LSTM层的输入由上一层LSTM层和输入层的输出共同构成，各LSTM层的输出均连接至MDN层的输入；MDN层用于根据各LSTM层的输出生成待预测位移的混合概率密度分布；

3)将步骤1)中预处理后的移动用户轨迹数据输入到已训练的RMDN模型中进行预测，得到关于用户将来位移的混合概率密度分布，并基于权重参数选择相应的高斯分量，得到位移预测值，根据位移预测值确定用户将来位置。

本发明还提供了一种移动用户轨迹位置的预测装置，该预测装置包括存储器和处理器，以及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器与所述存储器相耦合，所述处理器执行所述计算机程序时实现以下上述方法。

本发明通过构造包括LSTM网络和MDN网络的循环混合密度网络作为预测模型，该预测模型能够自动提取深度特征，利用该预测模型可从移动用户的最近轨迹数据中学习用户的运动趋势、长时间历史信息和隐藏代表性特征，从而实现对未来一段时间内用户位置坐标的预测。且本发明解决了预测连续位置坐标值时将面临的稀疏性问题和维数灾难问题，并能够充分模拟运动行为的不确定性，能够提高预测的精确性。

进一步地，每个LSTM层由至少两个LSTM单元通过双向网络连接构成，双向网络结构用于在时间维度上经过前向和后向两个过程处理序列数据。

进一步地，每个LSTM单元包括输入门、遗忘门和输出门。

进一步地，对所述RMDN模型进行训练时衡量RMDN模型输出与训练标签之间差异的损失函数采用负对数似然函数。

进一步地，为了避免循环混合密度网络模型在计算输出时出现激活函数饱和问题，所述步骤1)中的预处理还包括将得到的位移值进行标准化处理的步骤。

进一步地，为了保证有足够多的训练数据，对所述RMDN模型进行训练时的训练数据是通过对历史轨迹数据采用滑移窗口策略得到。

进一步地，对所述RMDN模型进行训练时的训练数据是按照步骤1)中预处理方式预处理后的历史轨迹数据。

附图说明

图1是本发明移动用户轨迹位置的预测方法的流程图；

图2是本发明实施例中训练数据生成示意图；

图3是本发明实施例中所建立的循环混合密度网络模型(RMDN)示意图；

图4是本发明实施例中采用的LSTM单元结构示意图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步地说明。

方法实施例

本发明针对目前轨迹预测方法中采用马尔科夫模型和关联性分析导致预测不准的问题，提出了一种新的移动互用轨迹位置的预测方法，该方法将长短时记忆(Longshort-term memory，LSTM)网络与混合密度网络(Mixture density network，MDN)结合，构造一种混合密度网络(Recurrent mixture density network，RMDN)的深度学习模型，利用该模型从移动用户的最近轨迹数据中学习用户的运动趋势、长时间历史信息和隐藏代表性特征，预测未来一段时间内用户的位置坐标。该方法的实现流程如图1所示，具体实施步骤如下。

1.获取历史轨迹数据，并对其进行预处理。

这里的获取的历史轨迹数据包括两类，一类是用于模型训练的，一类是用于实际预测的，两者的预处理过程是相同，下面以用于模型训练的数据为例对预处理过程进行说明。

首先对获取的用作训练数据的历史轨迹数据进行重采样，重采样时将每个时空点之间的时间间隔固定为相同值，得到原始位置数据{x₁,...,x_j,...x_n}，其中表示第j个位置点，每个位置点采用二维向量表示，x＝{lng,lat}，分别表示位置点的经度和维度，由于得到的原始位置数据是具有趋势的非平稳序列，而混合密度网络输出的概率密度模型不适用于非平稳序列的建模，需要得到的原始位置数据进行一阶差分处理，得到对应的位移序列{Δx₂,...,Δx_j+1,…Δx_n}，其中Δx_j+1＝x_j+1-x_j是当前前基于前一点的位移向量，Δx＝{Δlng,Δlat}。因此，通过一阶差分处理将预测未来位置的问题转换成了预测未来位移的问题，而未来位置坐标x_j+1＝x_j+Δx_j+1可通过轨迹重构获得。

同时为了避免循环混合密度网络模型在计算输出时出现激活函数饱和的问题，需要对位移序列中各位移值进行标准化处理，即将各位移值转换到0至1的范围内。

由于获取的历史数据有限，为保证有充足的训练数据，本发明对位移序列采用滑移窗口策略产生训练输入和训练标签，如图2所示，假设输入序列长度k＝3，预测序列长度l＝2，模型的训练输入与训练标签的长度相等，训练标签相比训练输入延后l个时刻点。通过这样的处理得到的训练数据，能够模型具备预测后l个时刻位置坐标的能力。

对用于位置预测的最近的若干轨迹数据的预处理过程与训练数据的预处理过程相同，这里不再详细描述。

2.构建RMDN模型，并对其进行训练。

本实施例中采用RMDN模型是将LSTM网络与MDN结合构造得到，其结构如图3所示，包括输入层，隐藏LSTM层和MDN层在内的多个网络层。输入层即预处理后的位移值Δx_i(j-k+2≤i≤j)，在时间维度的展开长度为k-1；隐藏LSTM层由多个LSTM层堆积而成，每个LSTM层的输入由上一层以及输入层的输出共同构成，所有LSTM层的输出连接起来作为隐藏层的级联输出，馈送到MDN层；MDN层

其中每一个LSTM层由多个LSTM单元按照双向传输的结构连接，双向网络结构在时间维度上经过前向和后向两个过程处理序列数据，可以更充分地传递和分享历史信息。LSTM单元的结构如图4所示，通过输入门，遗忘门和输出门组成的结构完成隐藏层函数的编码任务，将输入信号编码成输出信号，其编码方式如下所示：

其中，f_j，i_j和o_j分别表示遗忘门，输入门和输出门。h_j-1和h_j是同一层相邻的两个LSTM单元的输出。

是临时的单元状态，将被用来更新旧单元状态C_j-1至新单元状态C_j，状态更新过程由遗忘门f_j和输入门i_j共同决定。σ代表逻辑sigmoid函数，用作激活函数，非线性函数tanh也用作激活函数。与这些门结构和单元状态相关的权重矩阵W_f，W_i，W_o，W_c以及相应的偏置b便是在训练过程中需要优化的变量。最终，更新过后的单元状态由激活函数tanh激活并由输出门o_j控制，产生输出信号h_j。

位于隐藏LSTM层之上的MDN层是一个全连接结构的网络：

其中，N表示堆叠的隐藏LSTM层的层数，

和

分别表示第n层双向LSTM层的前向输出和后向输出。

和

表示连接LSTM层与MDN层的权重矩阵，b_y为对应的偏置，

则为MDN层的输出。MDN层的输出用来参数化待预测位移值的混合概率密度分布，该分布由M个独立分量按照一定的权重混合而成。一部分MDN的输出用作权重参数，剩下的部分用来参数化每个独立分量。本发明采用二维高斯联合分布来对二维位移向量Δx＝{Δlng,Δlat}进行建模。因此，如图3所示，高斯混合分布的参数除了权重π，还包括期望μ，标准差σ和相关系数ρ：

根据高斯混合分布的特点，这些参数将标准化至合理范围：

在得到模型的最终输出y_j后，训练标签关于该混合分布的概率密度可计算得到：

其中G表示二维高斯函数：

由此可定义衡量模型输出与训练标签之间差异的损失函数为负对数似然函数：

损失函数便是在训练过程中以梯度下降方式优化的目标函数。为了防止优化时出现梯度爆炸的问题，在训练过程中采取梯度裁剪策略，将梯度大小限制在有限范围内，同时也采取防过拟合的措施，提高模型的泛化能力。训练的过程中从训练数据中划分出单独的验证数据集，通过模型在验证集上的表现确定优化过程是否结束，训练是否完成。

本发明构造的循环混合密度网络模型是具有提取深度特征能力的深度学习模型，该模型学习到的特征将能更有效地提高预测性能。同时，混合密度机制的引入，解决了预测连续位置坐标值时将面临的稀疏性问题和维数灾难问题，该模型擅长于对实值预测目标进行建模，能充分模拟运动行为的不确定性，能够取得精确的预测结果。本发明提取历史信息和深度特征的过程由模型自动完成，不需要任何专家知识和精密复杂的特征提供，因此本方法易于移植到不同应用场景，具有很强的普适性。

3.根据用户最近的轨迹数据对用户未来位置坐标进行预测。

将按照步骤1进行预处理后的移动用户最近轨迹数据输入到训练好的预测模型中，由预测模型根据最近轨迹数据进行未来位置坐标的实时预测。具体而言，首先选取用户最近的轨迹数据，并按照步骤1中方式进行重采样、一阶差分和标准化处理，得到最近的位移序列；然后将得到的最近位移序列输入到训练好的预测模型中，得到关于未来位移的二维高斯混合分布；最后基于权重参数采用轮盘赌策略选取产生最终结果的高斯分量，即在各个高斯分量组成的样本中进行随机抽取，权重越大的高斯分量被选中的概率越大。从选取的高斯分量中采样得到位移预测值，再对预测值进行反标准化以及轨迹重构，即可得到最终的位置预测结果。

装置实施例

本发明的移动用户轨迹位置的预测装置包括存储器和处理器，以及存储在存储器上并在处理器上运行的计算机程序，处理器与存储器相耦合，处理器执行所述计算机程序时实现以下步骤：

1)获取移动用户最近的轨迹数据，并对获取的轨迹数据进行预处理，得到轨迹中各定位点相对于前一点的位移量序列；

2)构造包含有LSTM网络和MDN网络的RMDN模型，所述RMDN模型包括输入层、隐藏LSTM层和MDN层，其中输入层用于接收预处理后的轨迹数据；隐藏LSTM层包括至少两个LSTM层，每个LSTM层的输入由上一层LSTM层和输入层的输出共同构成，各LSTM层的输出均连接至MDN层的输入；MDN层用于根据各LSTM层的输出生成待预测位移的混合概率密度分布；

3)将步骤1)中预处理后的移动用户轨迹数据输入到已训练的RMDN模型中进行预测，得到关于用户将来位移的混合概率密度分布，并基于权重参数选择相应的高斯分量，得到位移预测值，根据位移预测值确定用户将来位置。

上述步骤的具体实现过程已在方法的实施例中进行了详细说明，这里不赘述。

本发明利用构造的RMDN深度学习模型，基于移动用户的最近轨迹数据，预测用户在未来一段时间内的位置坐标，具有预测准确率高，能充分模拟运动行为的不确定性以及易于移植等优点。本发明以数据驱动的方式进行位置预测，将成为许多新兴应用的基础，为交通预警，异常行为探测，位置服务推荐系统和智能交通系统等实际应用提供基础支持。

Claims (8)

1.一种移动用户轨迹位置的预测方法，其特征在于，该预测方法包括以下步骤：

1)获取移动用户最近的轨迹数据，并对获取的轨迹数据进行预处理，得到轨迹中各定位点相对于前一点的位移量序列；

2)构造包含有LSTM网络和MDN网络的RMDN模型，所述RMDN模型包括输入层、隐藏LSTM层和MDN层，其中输入层用于接收预处理后的轨迹数据；隐藏LSTM层包括至少两个LSTM层，每个LSTM层的输入由上一层LSTM层和输入层的输出共同构成，各LSTM层的输出均连接至MDN层的输入；MDN层用于根据各LSTM层的输出生成待预测位移的混合概率密度分布；

3)将步骤1)中预处理后的移动用户轨迹数据输入到已训练的RMDN模型中进行预测，得到关于用户将来位移的混合概率密度分布，并基于权重参数选择相应的高斯分量，得到位移预测值，根据位移预测值确定用户将来位置。

2.根据权利要求1所述的移动用户轨迹位置的预测方法，其特征在于，每个LSTM层由至少两个LSTM单元通过双向网络连接构成，双向网络结构用于在时间维度上经过前向和后向两个过程处理序列数据。

3.根据权利要求2所述的移动用户轨迹位置的预测方法，其特征在于，每个LSTM单元包括输入门、遗忘门和输出门。

4.根据权利要求1或2所述的移动用户轨迹位置的预测方法，其特征在于，对所述RMDN模型进行训练时衡量RMDN模型输出与训练标签之间差异的损失函数采用负对数似然函数。

5.根据权利要求1所述的移动用户轨迹位置的预测方法，其特征在于，所述步骤1)中的预处理还包括将得到的位移值进行标准化处理的步骤。

6.根据权利要求1所述的移动用户轨迹位置的预测方法，其特征在于，对所述RMDN模型进行训练时的训练数据是通过对历史轨迹数据采用滑移窗口策略得到。

7.根据权利要求1或5所述的移动用户轨迹位置的预测方法，其特征在于，对所述RMDN模型进行训练时的训练数据是按照步骤1)中预处理方式预处理后的历史轨迹数据。

8.一种移动用户轨迹位置的预测装置，其特征在于，该预测装置包括存储器和处理器，以及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器与所述存储器相耦合，所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述的移动用户轨迹位置的预测方法。

Images