CN110738370B - 一种新颖的移动对象目的地预测算法 - Google Patents

Abstract

本发明公开了一种移动对象目的地预测算法。包括：首先提出了一种改进型最小描述长度(IMDL)的轨迹分段方法，引入权重参数，同时使用Dijkstra算法将轨迹分段问题转化为求无向图的最短路径问题，得出轨迹的最佳分段，从而实现对轨迹的简化；接着又提出了一种基于嵌入式处理与长短时记忆融合的深度学习预测模型EP‑LSTM，将高维的输入向量转为嵌入式向量作为模型的输入。本发明的优点是：有效解决了移动对象目的地预测中所遇到的数据稀疏问题和长期依赖问题，通过在真实数据集上进行大量的实验验证，均取得了优秀的预测效果。

Description

一种新颖的移动对象目的地预测算法

技术领域

本发明涉及一种新颖的移动对象目的地预测算法，是针对移动对象轨迹进行预处理、建模并进行目的地预测的方法，属于统计学与计算机信息科学的交叉领域。

背景技术

目前很多文献通过数据挖掘的方法解决移动对象目的地预测问题，因为移动对象频繁到达目的地的出行路线比较固定，基本不会发生太大变化。Morzy等采用改进的Apriori算法来生成关联规则，并在后来的研究中通过移动轨迹序列频繁项集来预测移动对象的位置。郑宇等利用用户的行为习惯，提出一种推测用户运动路线的方法，但该方法存在一定的局限性。马尔科夫模型非常适合时间序列的预测，一直以来被广泛应用于目的地的预测。Guillouet等采用聚类的方法，把历史出行轨迹按相似性聚类成一定数目的类别，用该类别所有出行目的地的平均值作为目的地的预测值。Kim等使用路网信息，将轨迹切分成路段，并通过路段与历史轨迹信息查询、匹配来进行预测。Krumm采用了贝叶斯推断的方法来预测车辆出行目的地，它是通过历史出行信息计算各出行轨迹和出行目的地的先验概率和后验概率，最后通过贝叶斯方式来推断出行目的地在每个网格的概率分布。Xue等提出SubSyn算法，通过匹配历史相似出行的方法来预测出行目的地，将历史轨迹分割并且重构形成新的轨迹数据，来增加历史数据的多样性，然后建立马尔科夫模型量化相邻位置之间的相关性。Ying等利用用户历史轨迹的语义特征和空间位置来预测移动对象的下一个位置，但该方法的计算时代价较高。Li等提出了一种吸收马尔可夫链模型方法，该方法通过建模分离目标轨迹，再考虑目的地与经过点的差异，实现对移动对象的目的地预测。Yang等通过对DBSCAN算法进行改进获取停留点，并通过变阶马尔科夫模型实现对移动对象下一个位置的预测。Mathew等使用隐马尔科夫模型中的隐状态来计算移动对象概率最高的下一个位置。Chang等将社会网络数据和轨迹数据进行融合，利用递归神经网络模型精确地推荐了相似用户和兴趣点。Rossi等使用基于位置的社会网络(LBSN)中的地理信息，并对访问的地点语义进行编码，再通过建立递归神经网络模型，实现对下一个目的地的预测。Alahi等提出使用基于社交网络的LSTM位置预测，从用户轨迹之间的相互影响来预测出行意图。Qian等定义了一种新的模型，将车辆轨迹转换为定长向量，以此来捕捉轨迹的相邻和远距离的依赖关系，来预测最终的目的地。

综上所述，在移动对象的预测领域仍然存在需要解决的问题，我们提出一种新颖的目的地预测方法，首先通过对轨迹进行分段得到轨迹简化序列，接着提出了一种基于嵌入式处理与长短时记忆融合的深度学习预测模型EP-LSTM，并且采用真实数据集进行训练和预测，最后通过实验验证得到了良好的预测效果，有效的解决了移动对象目的地预测中所遇到的数据稀疏问题和长期依赖问题，从而证明该模型是有效且可用的。

发明内容

发明目的：本发明的目的是提供一种移动对象目的地预测算法。它能够有效解决移动对象轨迹预测领域中常见的数据稀疏问题和长期依赖问题，使目的地预测的结果更准确，从而为基于位置的服务(LBS)提供更有力的技术支持。

技术方案：为实现上述目的，本发明提出一种基于LSTM的移动对象目的地预测算法，目前大多数的轨迹目的地预测是使用历史轨迹数据，如果所要查询的轨迹与历史轨迹中出现的某一部分相匹配，那么这部分轨迹的目的地很可能也是所查询轨迹的目的地。但这种方法往往忽略了历史数据的时效性和数据稀疏问题，现有的历史轨迹远远不足以覆盖所有可能的查询轨迹，从而不能精确、实时的预测轨迹目的地位置这一问题。当前一个新兴研究方向是通过神经网络进行预测，例如，利用RNN、GRU、MLP模型虽然精确的推荐了相似用户和兴趣点，但它们都不擅长记忆长轨迹序列，导致预测结果不太理想。尤其是RNN，由于存在梯度消失，一直面临着无法解决长期依赖问题的重大挑战。我们通过引入一种轨迹分段的方法IMDL，再对轨迹分段数据结果进行嵌入式处理，用以构建预测模型。所提出的方法不仅有效克服了轨迹数据稀疏问题而且也解决了长期依赖问题。其具体的技术方案包括以下几个步骤：

步骤一：轨迹预处理。

(1)通过引入改进型最小描述长度(IMDL)的轨迹分段方法，将轨迹分段问题转化为求无向图的最短路径问题，从而求得轨迹的最佳分段，有效的克服了目的地预测时的数据稀疏问题。

步骤二：特征向量的提取和嵌入式处理。

(2)通过借鉴word2vec技术中的CBOW模型，将轨迹序列转化为嵌入向量序列，实现对数据序列的降维，并将提取后的特征向量作为预测模型的输入。这种嵌入式处理方法在不忽略移动对象运动规律的同时，有效的解决了长期依赖问题。

步骤三：EP-LSTM预测模型。

(3)根据所提取出来的轨迹嵌入式向量对长短时记忆网络(LSTM)模型进行了重构，先采用一部分数据集对模型进行训练，迭代12000代时，得到了稳定的神经网络模型，最后再利用该模型进行轨迹的目的地预测。

有益效果：本发明针对移动对象轨迹预测领域中存在的目的地预测问题提供了有效的解决方法。首先通过对轨迹进行分段得到轨迹简化数据。此外，利用嵌入式技术对特征向量进行提取，在保留原始数据有效信息的情况下，对轨迹序列进行降维。接着提出了一种基于嵌入式处理与长短时记忆融合的深度学习预测模型EP-LSTM。最后采用真实数据集进行训练和预测，实验结果表明，我们所提出的目的地预测方法不但有效解决了数据稀疏和长期依赖问题，而且具有较高的预测准确性。

附图说明

图1是移动对象目的地预测算法的流程图。

图2是实现轨迹分段的表示图。

具体实施方式

下面结合附图，对本发明做进一步说明。

本发明依据图1的流程图，解决了数据稀疏问题和长期依赖问题，在防止有效信息丢失的同时，对轨迹目的地进行了准确的预测。首先将历史轨迹数据和待预测轨迹数据进行轨迹分段，采用改进型的最小描述长度(IMDL)方法进行处理，在很大程度上保存了原始轨迹特征，同时又对每一条轨迹分段数据进行轨迹分割，解决了数据稀疏的问题；接着利用嵌入式技术，提取出来特征向量，将轨迹序列转化为嵌入向量序列作为预测模型的输入。通过一部分数据集先在EP-LSTM模型上进行训练，当训练到一定次数时，趋于稳定，输出该模型。最后输入待预测向量序列到模型中，实现对轨迹目的地的预测。实施步骤如下，具体流程见附图1。

1、轨迹预处理

为了使轨迹更加简洁方便处理，需要对原始轨迹进行分段(如图2(a)所示)，所谓轨迹分段即从一条轨迹中找出特征点，将相邻的特征点进行连接形成轨迹的分段表示。MDL被证明是行之有效的轨迹分段方法之一，本发明采用改进型的MDL方法(IMDL)实现对轨迹的简化。

由最小描述长度原理可知，分为含两个部分：L(H)和L(D|H)，这里H是假设，D是数据。前者用来描述假设的长度，后者是在假设为H的情况下对数据D进行编码后，数据D编码的长度。当二者之和最小时，H是能够解释数据D的最佳假设。该方法存在的一个缺点是，只能找到使L(H)+L(D|H)较小的近似轨迹分段，但在实际应用中对轨迹的精确性和简洁性是有一定的要求的。因此，本发明提出一种改进型的最小描述长度方法(IMDL)，从而使得轨迹的精确性和简洁性满足要求。采用以mL(H)+nL(D|H)代替L(H)+L(D|H)，即找到一个分段，使得mL(H)+nL(D|H)最小，其中m，n≥0，且m，n为实数，同时m，n的大小根据具体需求来调整，该分段就是最佳分段。L(H)和L(D|H)的公式如下：

接着将轨迹T_i中的所有点转化为一个无向完全图，则将轨迹分段问题转换为求无向图的最短路径问题(如图2(b)所示)，其中边p_ip_j的权重ω(p_ip_j)由mL(H)+nL(D|H)计算得出，可使用Dijkstra算法求得最佳分段。具体流程如算法1所示。

2、特征向量的提取和嵌入式处理

据研究发现，one-hot，即独热编码，是自然语言处理中常见的提取文本特征的方法。它在特征提取上属于词袋模型，具体原理是使用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位置。

拟借鉴这种方式将位置信息的离散编码值转化为向量。例如，离散型输入一共有N种类型，输入第i种类型时，那么输入就会被转化为N维的向量：[0，0，0...1，0...0]，其中第i维为1，即只有这一位有效，其他位全为0。对于一个轨迹序列集合L＝{h₁，h₂，h₃，...，h_n}，h_i可表示为[0，1，0...0]，该稀疏向量为该地理位置坐标对应的one-hot编码。针对所有的轨迹序列，都可以采用基于one-hot编码的方式使之转化为向量，完成对特征向量的提取。这种方式，在一定程度上提高移动对象目的地预测的效率，同时提高算法的预测精确度，但one-hot编码算法也存在以下问题：

(1)当数据量较大时，将会面临向量长度太长和有效信息太少的问题。

(2)不能很好的展现移动对象的运动模式，地理位置之间的关系无法体现。

虽然进行了轨迹的简化，但编码后的轨迹序列向量的维度对神经网络模型来说还是相对比较高的。针对one-hot编码存在的问题，我们采用嵌入式处理技术来解决离散型输入值的问题。即将输入的轨迹序列映射为嵌入式向量，并将该结果用于模型的输入。基于该思路，我们提出一种基于嵌入式处理与长短时记忆神经网络结合的深度学习预测模型EP-LSTM。

在介绍EP-LSTM之前，需要先介绍嵌入式处理技术。它是一种常用于自然语言处理领域中的word2vec技术。word2vec工具主要包含两个模型：跳字模型(Skip-gram)和连续词袋模型(CBOW)。CBOW模型是根据目标词预测上下文，Skip-gram模型则是根据上下文来预测目标词。这里也有两种高效训练的方法：负采样(negative sampling)和层序softmax(hierarchical softmax)。

word2vec技术可以较好地表达不同词之间的相似和类比关系，它的本质是一种浅层的神经网络。本发明选取的是CBOW模型和层序softmax的训练方法来优化word2vec，相对于DNN，使用霍夫曼树网络结构不需要计算所有非叶子节点，每次只会反向对路径上的参数求偏导更新路径上的节点参数，提高了词向量训练效率。

随着神经网络的训练，不断地更新参数，直到找到合适的权重向量，使得条件概率p(w|Context(w))的值最大。该权重向量与输入矩阵相乘的结果即为该输入值所对应的词向量，为下一步重构LSTM模型做准备。

基于神经网络模型的目标函数通常采用对数似然的方式，如公式(3)所示：

关键就在于对条件概率p(w|Context(w))的构造。hierarchical softmax本质是把N分类问题变成log(N)次二分类问题，用它训练CBOW的思想就是把复杂的归一化概率分解为一系列条件概率的乘积，如公式(4)所示：

(4)

每一层条件概率对应一个二分类问题。这可以通过一个简单的逻辑回归函数去拟合，这样就将概率归一化问题转化为概率拟合问题。

CBOW模型包含三层：输入层、投影层和输出层，是一个三层的神经网络。该模型等价于一个词袋模型的向量乘以一个embedding矩阵，从而得到一个连续的embedding向量。对于该模型，层与层之间的映射思路如下：

(1)输入层：采用one-hot编码方式，将轨迹形成低维的特征向量X，再将特征向量通过线性转换进行更新，其中w为所有词组成的字典，线性变换如公式(5)所示：

w^c-k＝WX^c-k (5)

(2)投影层：通过对应维度累加求和且平均的方式，将输入矩阵映射为向量，如公式(6)所示：

(3)输出层：将各词的出现频率作为权重，然后根据每个类别的权重和模型参数构建哈夫曼树并输出，如公式(7)所示。但对于CBOW模型来说，要实现概率最大化的参数输出，采用公式(4)可求解最大似然函数。

z＝Uw’

y＝soft max(z) (7)

关于梯度的计算，CBOW模型采用随机梯度上升法来更新各参数，因此通过最大化这个似然函数来求解二叉树上的参数-非叶节点上的向量。hierarchical softmax通过构造一个分类二叉树，利用Huffman编码的形式。这样可降低计算复杂度，在n个训练样本进行训练时，根据每个类别出现的次数作为Huffman树的权重。出现次数多的类别的样本，路径就短，出现次数少的样本，路径就长。

3、EP-LSTM预测模型

长短期记忆神经网络模型，简称是LSTM模型，它是建立在RNN基础上的神经网络，但RNN经过许多阶段传播后的梯度倾向于消失，即面临的最大挑战就是长期依赖问题，LSTM就应运而生，它是最常用的解决长期依赖问题的模型之一，其核心是加入了特殊的单元，即记忆模块，对当前信息学习并提取数据之间相关联的信息和规律，以此进行信息传递，LSTM由于具有特殊的单元，凭借记忆模块减缓信息丢失问题，更容易解决RNN中梯度消失问题。在处理大量数据的历史问题上，LSTM被证明比RNN具有更好的表现。LSTM使用记忆单元的状态(state)来保存历史信息，每个记忆模块共有三个“门”结构，分别为输入门(i_t)，遗忘门(f_t)，输出门(O_t)来控制记忆单元，精准的门结构对细胞的信息进行增加或者删除，利用调节门选择信息，可表示y(x)＝σ(W_x+b)，其中W表示权重矩阵，b表示偏移向量。

通过以上的门控机制，LSTM模型解决了轨迹序列的长期依赖问题，使用上一步介绍的嵌入式处理的方法可对LSTM模型进行改进，因为LSTM的隐藏层受数据序列长度的影响较大，将高维的输入向量转为低维的嵌入式向量，也就是将轨迹序列转化为嵌入向量序列，再去构建模型，从而使得基于LSTM的预测算法可以更好的去处理轨迹预测问题，在一定程度上提高了预测的精度。具体流程如算法2所示。

下面给出基于EP-LSTM的目的地预测算法，如算法3所示。

Claims (2)

1.一种新颖的移动对象目的地预测算法，其主要特征包括如下步骤：

步骤一：轨迹预处理；通过引入改进型最小描述长度(IMDL)的轨迹分段方法，将轨迹分段问题转化为求无向图的最短路径问题，从而求得轨迹的最佳分段；具体包括：找到一个使得mL(H)+nL(D|H)最小的分段即为最佳分段，其中L(H)和L(D|H)的公式如下：

其中m，n≥0，且m，n为实数，L(H)和L(D|H)分别表示假设的长度和在假设为H的情况下对数据D进行编码后的长度；H是假设，D是数据，par_i-1是假设的数量，pc_j是第j个假设的概率，c_j+1是相邻假设数量，p_k是第k个假设的概率，len()是求长度函数，d_⊥和d_θ分别表示正交操作以及学习参数；

步骤二：特征向量的提取和嵌入式处理；采用分词领域word2vec技术中的CBOW模型，将轨迹序列转化为嵌入向量序列对数据序列的降维，并将提取后的特征向量作为预测模型的输入；CBOW模型是一个三层的神经网络，包括输入层、投影层和输出层；输入层采用one-hot编码方式，将轨迹形成低维的特征向量，再将特征向量通过线性转换进行更新；投影层通过对应维度累加求和且平均的方式，将输入矩阵映射为向量；输出层将各词的出现频率作为权重，然后根据每个类别的权重和模型参数构建哈夫曼树并输出；

步骤三：EP-LSTM预测模型；根据所提取出来的轨迹嵌入式向量对长短时记忆网络(LSTM)模型进行重构；先采用一部分数据集对模型进行训练，迭代12000代，得到稳定的神经网络模型，最后再利用该模型进行轨迹的目的地预测。

2.根据权利要求1所述的一种新颖的移动对象目的地预测算法，其特征在于，所述步骤二中采用one-hot编码方式，将轨迹形成低维的特征向量，再将特征向量通过线性转换进行更新，包括：

(1)采用自然语言处理中的独热编码one-hot对于一个轨迹序列集合L＝{h₁，h₂，h₃，...，h_n}，h_i可表示为[0，1，0...0]，完成对特征向量的提取；把输入的轨迹序列映射为嵌入式向量，用于长短时记忆神经网络模型的输入；

(2)神经网络不断地更新参数，直到条件概率p(w|Context(w))的值最大；目标函数采用对数似然的方式，如公式(1)所示：

其中w为所有词组成的字典；把公式(1)归一化概率分解为一系列条件概率的乘积，如公式(2)：

其中b_i(w)表示预测关键词w对应的词向量。