CN107480786A - 基于输出状态限制的循环神经网络轨迹似然概率计算方法 - Google Patents

Abstract

本发明属于轨迹计算技术领域，具体为一种基于输出状态限制的循环神经网络轨迹似然概率计算方法。本发明方法的步骤包括：训练阶段，利用输出状态限制的循环神经网络对轨迹进行建模，根据历史轨迹数据训练模型参数；在线查询阶段，根据已训练好的模型对输入的轨迹的每个路段预测转移到下一个路段的概率。本发明利用深度神经网络的强大的表达能力，可以学习到基于马尔可夫模型所无法捕捉到的长距离依赖关系，从而更准确地对轨迹数据进行建模。

Description

基于输出状态限制的循环神经网络轨迹似然概率计算方法

技术领域

本发明属于轨迹计算技术领域，具体涉及一种基于输出状态限制的循环神经网络轨迹似然 概率的计算方法。

背景技术

移动端GPS设备的普及推动了基于位置的服务的发展，轨迹计算也应运而生。随着大量轨 迹数据的获得，从而使得对这些轨迹数据建立一个概率模型得到了可能。轨迹模型是轨迹计算 中的一个非常重要且基础的问题。对轨迹进行概率建模，能够帮助解决路径推荐、路况预计、 轨迹预测、频繁模式挖掘、异常检测等与行驶路径有关的应用问题，具有非常大的应用场景。 现有的轨迹概率建模技术主要分为基于马尔可夫链的模型与基于反向增强学习的模型两类：

(1)基于马尔可夫链的模型：

大量的已有工作都使用了马尔可夫链对一条轨迹进行概率建模，也就是说，这些工作假定 轨迹之间的路段转换符合马尔可夫性，即，当前路段转移至下一个路段的这个事件与更先前经 过的路段是无关的。很显然，这种假设虽然能简化问题，但是也同时损失了建模的准确性。基 于马尔可夫链的模型，无法捕捉到轨迹数据中长间隔的依赖关系。

(2)基于反向增强学习的模型

还有一些工作使用了反向增强学习的模型对轨迹进行概率建模，这些方法的主要问题在于， 使用马尔可夫决策过程进行建模并使用反向增强学习的模型，虽然能捕捉到未来的信息，但是 仍然无法摆脱马尔可夫性；使用最大熵反向增强学习的模型，虽然能够捕捉到长距离的依赖关 系，但是由于模型本身参数过少，导致模型表达能力不强，而受到了制约。

发明内容

本发明的目的在于针对现有技术的不足，提出一种可以捕捉长距离下的依赖关系的具有强 大表达能力的循环神经网络轨迹似然概率的计算方法。

本发明提出的循环神经网络轨迹似然概率的计算方法，是基于输出状态限制的，包括训练 阶段和在线查询阶段，具体步骤如下：

(一)训练阶段，利用马尔可夫决策过程模型对轨迹进行建模，根据历史轨迹数据训练模 型参数；具体流程为：

(1)构建循环神经网络，循环神经网络是一种特殊的神经网络，定义网络隐层节点数为H， 输入向量的维度为I，所有隐层节点构成的向量称为隐层向量h，那么一个简单的单层循环神 经网络的参数W_N＝{W_hh,W_xh,b}，其中，是前一个时间片的隐层到当前时间片的 隐层的权重矩阵，是网络输入层到隐层的权重矩阵，,是偏置参数，。对于第 1时刻的输入x₁，循环神经网络的隐层向量其中，是维度为H 的零向量。对于第t时刻的输入x_t，对应的t时刻的网络隐层向量h_t＝σ(W_xhx_t+W_hhh_t-1+b)， 其中σ()为一个非线性的激活函数，通常使用双曲正切函数tanh或者纠正线性单元(Rectified Linear Unit,ReLu)。需要注明的是，循环神经网络有多重变种形式，这些变种的循环神经网络 也是可以合法的应用在本发明中的，包括深度循环神经网络(Deep Recurrent Neural Network)， 门循环单元网络(Gated Recurrent Unit,GRU)，长短期记忆1神经网络(Long-Short Term Memory, LSTM)等，由于这些结构都属于已有发明，故不做详细阐述。

定义循环神经网络N，对应的参数为W_N，从[-α,α]的均匀分布中对每个元素进行初始化， 其中，α是作为一个超参数，是一个预先设定的正常数，一般设定范围为0.01到1，具体值由 验证集效果而设定。

(2)对于路网中的每条道路r_i，由于r_i仅仅是一个编号，并不具有实际数值大小含义，直 接将其作为输入进神经网络是无意义的，所以需要将r_i映射成一个具有含义的向量v_i，也就是 词嵌入(Word Embedding)。本发明的做法是首先对词嵌入元素亦从[-α,α]的均匀分布中对每 个元素进行初始化，并将所有道路的词嵌入一同作为整个模型的待优化参数，即假设共有R 条道理，则所有的词嵌入V＝{v₁,v₂,..,v_R}，通过模型学习出每个词嵌入的具体值。

(3)构建蒙板矩阵M，其中M[i,j]为1，当且仅当r_i与r_j在路网中邻接，否则令M[i,j]为0。

(4)循环神经网络N的隐层h_t根据网络的定义计算出后，则可以利用h_t进行预测。定义 神经网络隐层至输出层之间的仿射变换参数与即o_t＝W_oh_t+b_o，从[-α,α]的均匀分布中对每个元素进行初始化；(注：仿射变换指的是Y＝ax+b，默认包含两个参 数a与b，故这里统一用―仿射变换参数”来指代)。

(5)对于轨迹中扫描到的当前状态r_i，计算循环神经网络N对应的隐层向量：

h_i＝N(v_i,h_i-1；W_N)，

其中，N()代表一个合法的循环神经网络前馈运算过程，如σ(W_xhv_i+W_hhh_i-1+b)，其中 W_N＝{W_hh,W_xh,b}，h_i-1为前一时刻循环神经网络N的隐层节点构成的向量。

(6)计算r_i转移到r_i+1的转移概率：

P(r_i+1|r₁,…,r_i)＝M⊙softmax(W_oh_i+b_o)[r_i+1]；

其中⊙为按元素顺序的乘法(Element-wise product)，给定向量x＝{x₁,x₂,…,x_m}，softmax(x) 将会得到一个同样是m维的向量，其中第i维的值

(7)计算一条长度为k的轨迹的交叉熵作为神经网络的 目标函数。

(8)根据轨迹的交叉熵目标函数C，使用经过时间的反向传播算法(backpropagation through time)计算网络每个参数的梯度(反向传播算法可参见：PaulJ.Werbos.Backpropagation throughtime:what it does and how to doit.Proceedings of theIEEE,78(10):1550–1560,1990)。

(9)使用基于随机梯度下降的优化算法，更新神经网络参数。

(10)重复步骤(5)—(9)，直至目标函数收敛，将此时的所有参数作为模型的最终参 数；其中模型的所有参数包括W_N,W_o,b_o以及所有的词嵌入V。

(二)在线查询阶段，根据已训练好的模型计算道路之间的转移概率，具体流程为：

(1)使用训练阶段训练好的模型参数定义模型；

(2)对于轨迹中扫描到的当前状态r_i，计算循环神经网络N对应的隐层向量：

h_i＝N(v_i,h_i-1；W_N)，

其中，N()代表一个合法的循环神经网络前馈运算过程，h_i-1为前一时刻循环神经网络N 的隐层节点构成的向量；

(3)计算r_i转移到r_i+1的转移概率：

P(r_i+1|r₁,…,r_i)＝M⊙softmax(W_oh_i+b_o)[r_i+1]；

(4)重复执行步骤(2)、(3)，计算得到给定轨迹的似然概率：

本发明利用基于输出状态限制的循环神经网络对轨迹建立概率模型，通过定义模型将历史 数据的交叉熵作为模型的优化目标进行优化得到模型的参数；在在线求解概率阶段，利用已经 训练完成的模型对轨迹进行前馈计算，得到最终轨迹的似然概率。

本发明方法，利用了循环神经网络强大的表达能力，对轨迹进行建模，能够捕捉长距离的 依赖关系，更准确地求的轨迹的似然概率。

附图说明

图1为虚线轨迹tr₁:r₁→r₅→r₁₂→r₁₆→r₁₇与实线轨迹tr₂:r₃→r₆→r₉→r₈作为用于训 练模型的历史数据图。

图2为在线阶段需要求解似然概率的轨迹。

具体实施方式

下面结合具体实例来说明本发明：

1.根据历史轨迹数据训练神经网络模型参数

(1)定义一个单层简单的循环神经网络N，对应的参数为W_N＝{W_hh,W_xh,b}，从[-α,α]的 均匀分布中对每个元素进行初始化，其中α是一个预先设定的正常数，如0.03。则神经网络的 前馈计算函数为N(v_i,h；W_N)＝σ(W_xhv_i+W_hhh+b)，其中σ()为一个非线性激活函数，这里不妨定义为双曲正切函数tanh()。

(2)对于路网中的每条道路r_i，定义对应I维(如100)词嵌入为v_i，对词向量元素从[-α,α]的 均匀分布中对每个元素进行初始化。

(3)构建蒙板矩阵M，其中M[i,j]为1当且仅当r_i与r_j在路网中邻接，否则令M[i,j]为0， 如样例中，M[1,5]＝1,M[1,12]＝0。

(4)定义神经网络隐层至预测层之间的仿射变换参数W_O与b_o，从[-α,α]的均匀分布中对 每个元素进行初始化。

(5)对虚线历史轨迹tr₁进行交叉熵计算

(a)计算h＝0,P(r₅|r₁)＝M⊙softmax(W_o·h+b_o)[5]

(b)计算h＝N(v₁,h；W_N),P(r₁₂|r₁,r₅)＝M⊙softmax(W_o·h+b_o)[12]

(c)计算h＝N(v₁₂,h；W_N),P(r₁₆|r₁,r₅,r₁₂)＝M⊙softmax(W_o·h+b_o)[16]

(d)计算h＝N(v₁₆,h；W_N),P(r₁₇|r₁,r₅,r₁₂,r₁₆)＝M⊙softmax(W_o·h+b_o)[17

(e)计算交叉熵：

C(tr₁)＝-log[P(r₅|r₁)*P(r₁₂|r₁,r₅)*P(r₁₆|r₁,r₅,r₁₂)*P(r₁₇|r₁,r₅,r₁₂,r₁₆)]。

(6)根据目标函数C使用经过时间的反向传播算法计算模型所有参数W＝{W_N,W_o,b_o,V} 的梯度

具体为根据交叉熵的目标函数求得W_O与b_o的导数，再通过求导的链式法则逐步向后传递， 求出剩余参数的导数。

(7)使用基于随机梯度下降的优化算法更新神经网络参数。

具体更新过程为：其中ρ是学习率参数，为一个预先设定的正数，不妨 设置为0.01。W_new则是根据轨迹tr₁这个数据学习后更新得到的新参数。

(8)对虚线历史轨迹tr₂进行交叉熵计算

(a)计算h＝0,P(r₆|r₃)＝M⊙softmax(W_o·h+b_o)[6]

(b)计算h＝N(v₆,h；W_N),P(r₉|r₃,r₆)＝M⊙softmax(W_o·h+b_o)[9]

(c)计算h＝N(v₉,h；W_N),P(r₈|r₃,r₆,r₉)＝M⊙softmax(W_o·h+b_o)[8]

(d)计算交叉熵C(tr₂)＝-log[P(r₆|r₃)*P(r₆|r₃)*P(r₈|r₃,r₆,r₉)]。

(9)根据目标函数C使用经过时间的反向传播算法计算网络每个参数的梯度(10)使用基于随机梯度下降的优化算法更新神经网络参数。

(11)重复步骤(5)—(10)直至目标函数收敛。

2.利用已训练好的模型计算给定轨迹的概率

(1)使用训练阶段训练好的模型参数定义模型；

(2)对虚线历史轨迹tr₁进行交叉熵计算；

(a)计算h＝0,P(r₂|r₁)＝M⊙softmax(W_o·h+b_o)[2]；

(b)计算h＝N(v₂,h；W_N),P(r₆|r₁,r₂)＝M⊙softmax(W_o·h+b_o)[6]；

(c)计算h＝N(v₆,h；W_N),P(r₁₃|r₁,r₂,r₆)＝M⊙softmax(W_o·h+b_o)[13]；

(d)计算似然概率P(tr)＝P(r₂|r₁)*P(r₆|r₁,r₂)*P(r₁₃|r₁,r₂,r₆)。

Claims (2)

1.一种基于输出状态限制的循环神经网络轨迹似然概率的计算方法，其特征在于，包括训练阶段和在线查询阶段，具体步骤如下：

(一)训练阶段，利用马尔可夫决策过程模型对轨迹进行建模，根据历史轨迹数据训练模型参数；具体流程为：

(1)构建循环神经网络，定义网络隐层节点数为H，输入向量的维度为I，所有隐层节点构成的向量称为隐层向量h，一个单层循环神经网络的参数为：W_N＝{W_hh,W_xh,b}，其中，是前一个时间片的隐层到当前时间片的隐层的权重矩阵，是网络输入层到隐层的权重矩阵，是偏置参数；对于第1时刻的输入x₁，循环神经网络的隐层向量其中，是维度为H的零向量；对于第t时刻的输入x_t，对应的t时刻的网络隐层向量h_t＝σ(W_xhx_t+W_hhh_t-1+b)，其中σ()为一个非线性的激活函数；

定义循环神经网络N，对应的参数为W_N，从[-α,α]的均匀分布中对每个元素进行初始化，其中，α是为一个超参数，设定范围为0.01到1；

(2)对于路网中的每条道路r_i，将r_i映射成一个具有含义的向量v_i，就是词嵌入，首先对词嵌入元素亦从[-α,α]的均匀分布中对每个元素进行初始化，并将所有道路的词嵌入一同作为整个模型的待优化参数，即假设共有R条道路，则所有的词嵌入V＝{v₁,v₂,..,v_R}，通过模型学习出每个词嵌入的具体值；

(3)构建蒙板矩阵M，其中M[i,j]为1，当且仅当r_i与r_j在路网中邻接，否则令M[i,j]为0；

(4)循环神经网络N的隐层h_t根据网络的定义计算出后，利用h_t进行预测；定义神经网络隐层至输出层之间的仿射变换参数与即o_t＝W_oh_t+b_o，从[-α,α]的均匀分布中对每个元素进行初始化；

(5)对于轨迹中扫描到的当前状态r_i，计算循环神经网络N对应的隐层向量：

h_i＝N(v_i,h_i-1；W_N)，

其中，N()代表一个合法的循环神经网络前馈运算过程，取为σ(W_xhv_i+W_hhh_i-1+b)，其中W_N＝{W_hh,W_xh,b}，h_i-1为前一时刻循环神经网络N的隐层节点构成的向量；

(6)计算r_i转移到r_i+1的转移概率：

P(r_i+1|r₁,…,r_i)＝M⊙softmax(W_oh_i+b_o)[r_i+1]；

其中⊙为按元素顺序的乘法，给定向量x＝{x₁,x₂,…,x_m}，softmax(x)得到一个同样是m维的向量，其中第i维的值

(7)计算一条长度为k的轨迹的交叉熵作为神经网络的目标函数；

(8)根据轨迹的交叉熵目标函数C，使用经过时间的反向传播算法计算网络每个参数的梯度

(9)使用基于随机梯度下降的优化算法，更新神经网络参数；

(10)重复步骤(5)—(9)，直至目标函数收敛，将此时的所有参数作为模型的最终参数；其中模型的所有参数包括W_N,W_o,b_o以及所有的词嵌入V；

(二)在线查询阶段，根据已训练好的模型计算道路之间的转移概率，具体流程为：

(1)使用训练阶段训练好的模型参数定义模型；

(2)对于轨迹中扫描到的当前状态r_i，计算循环神经网络N对应的隐层向量：

h_i＝N(v_i,h_i-1；W_N)，

其中，N()代表一个合法的循环神经网络前馈运算过程，h_i-1为前一时刻循环神经网络N的隐层节点构成的向量；

(3)计算r_i转移到r_i+1的转移概率：

P(r_i+1|r₁,…,r_i)＝M⊙softmax(W_oh_i+b_o)[r_i+1]；

(4)重复执行步骤(2)、(3)，计算得到给定轨迹的似然概率：

<mrow> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>r</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>r</mi> <mn>2</mn> </msub> <mo>,</mo> <mo>...</mo> <mo>,</mo> <msub> <mi>r</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mo>&amp;Pi;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>k</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>r</mi> <mrow> <mi>i</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>|</mo> <msub> <mi>r</mi> <mn>1</mn> </msub> <mo>,</mo> <mo>...</mo> <mo>,</mo> <msub> <mi>r</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>.</mo> </mrow>

2.根据权利要求1所述的计算方法，其特征在于，所述σ()为一个tanh函数或者纠正线性单元。