CN113065074A - 一种基于知识图谱和自注意力机制的轨迹目的地预测的方法 - Google Patents

Abstract

一种基于知识图谱和自注意力机制的轨迹目的地预测的方法，属于深度学习与城市交通规划技术交叉的领域。本发明先由底向上构建多层知识图谱，其中第一层表示基础路网结构及基本属性，第二层表示轨迹数据中路段的上下游关系及选择偏好，第三层使用MeanShift算法对轨迹起始点和终点进行聚类对路网进行功能区的划分。其次，本发明对Graph‑Bert算法进行改进提出TrafficGraph‑Bert的算法对多层交通知识图谱进行图表示，并根据目的地的密度对路网进行划分，以解决轨迹数据稀疏的问题。最后，用自注意力机制对轨迹序列进行学习，并通过注意力机制学习轨迹中不同路段对结果预测的贡献程度，并预测最终轨迹到达的地点。

Description

一种基于知识图谱和自注意力机制的轨迹目的地预测的方法

技术领域

本发明属于深度学习与城市交通规划技术交叉的领域，涉及一种基于交通知识图谱和自注意力机制根据部分已知轨迹预测轨迹目的地的方法。

背景技术

最近，交通出行作为当代社会一个瞩目而又无可避免的问题频繁的出现在我们的视野之中。作为城市发展的关键点之一，交通出行无论在生态环境还是经济发展都有着瞩目的影响力。通过交通运输实现了城市之间的联通，促进了运输业商业等行业的快速发展。除了交通本身的同行收益，在交通工具上投放广告同样也可以为广告商带来经济收益。当然，交通为我们带来了许多便利和良好的经济效应的同时也导致了一些问题。例如，当发生交通拥堵时，出行时间的增加导致了运输成本的增加，在给经济发展和社会发展带来影响的同时，汽车所排放的尾气也会对城市的生态环境带来恶劣的影响。因此，如何对交通进行有效地管理，最大化的利用交通带给我们便利的同时降低交通所产生的负面的影响。这一问题为我们带来了巨大的挑战。而交通作为一个复杂的系统，同时受到出行者、时间、天气等多种方面的影响，因此仅凭交通领域知识是不够的。而交通大数据的出现赋予了这一挑战新的转机。通过交通大数据，可以对交通系统建立科学且有效的模型，学习大数据中所包含的多源信息对于交通状态的影响，从而准确的对路网中的交通状态进行预测。

所谓目的地预测，即在车辆的行进过程中，通过已经产生的轨迹部分以及一些其他的辅助的信息，对尚未到达的最终的目的地进行预测。目的地预测作为交通状态预测领域中的一个主要的分支，无论在商业广告推广、社会的公共治安管理还是交通调度都具有十分重要的意义。例如，在商业中，在出租车行驶的过程中，如果可以预测出乘客最终可能到达的区域，从而可以将该区域相关的商家信息优先的推送给此时乘车的乘客。在公共治安管理之中，当出现未报备大型集会的时候，通过预测此时路网中汽车可能到达的区域，可以提前发现并终止这种大型集会的发生。除此之外，在交通领域中，通常认为一个区域产生交通拥堵的根本原因是因为这一区域的车辆流入量大于流出量。通过目的地预测任务，可以间接地估计出未来某一区域的车流量，从而可以提前对该区域的交通拥堵作出对应的管控。

在目的地预测这一任务中，最大的挑战是如何把握当前车辆的出行意图。而车辆的出行意图受到多种变量影响，如时间、乘客和路网结构等，如何综合地考虑这些因素是至关重要的。例如，即使从相同的起始点出发，并且当前经过的轨迹类似，但是取决于工作日或者是双休日，车辆的出行意图可能是截然不同的。而更加显而易见的是，即使是同一个时间段同一个地点出发的车辆，如果选择了不同的前行方向，那么也可以看出它们拥有着不同的出行意图。并且，轨迹的选择也通常取决于路网结构，因此，不同的路网结构可以决定出行轨迹的不同模式。通过准确的把握用户的出行偏好对用户进行建模，目的地预测的准确率可以大幅地提升。但是值得关注的是，在当前社会中，越来越多的民众关注到了隐私相关的问题，因此解决如何在不获取隐私信息的条件下准确地对目的地预测也是当下亟需解决的问题。Xu等人[Xu M,Wang D,Li J.DESTPRE:a data-driven approach todestination prediction for taxi rides[C].Proceedings of the 2016 ACMInternational Joint Conference on Pervasive and Ubiquitous Computing.2016:729-739.]将地图中的区域以网格划分，将轨迹序列转化为网格序列，并且将每个网格作为马尔可夫链中的状态，预测到达不同区域的概率。但这一类基于低阶马尔可夫链的目的地预测算法通常有两个主要的问题，第一个问题是低阶马尔可夫算法中由于只对最新的时间戳进行合并即未来的状态仅依赖于当前的状态而与过去的状态无关，因此无法捕捉序列中长期的依赖。第二个问题是由于路网中的轨迹数据具有稀疏性，因此对于从未出现在数据集中的轨迹，预测的准确率很可能会受到影响。

因此，为了更好的解决目的地预测的任务，本发明提出一个算法，在学习路网中的局部和全局的空间信息以及轨迹序列中的时间信息的同时，解决轨迹稀疏性导致的问题并准确的把握用户的出行意图。目前交通领域和计算机领域都存在着大量的目的地预测的方法，对于交通领域的算法，大部分都是基于路网中的结构利用交通领域的公式定理进行计算，这种算法可以最优的考虑路网结构对预测结果的影响，但是具有显而易见的不足之处，便是无法考虑到天气、时间这些外界的因素，过多的依赖领域知识同时也会使模型不够灵活。计算机领域的算法，可以从过往的轨迹数据和提供的外界信息中，学习到不同的因素对于预测结果的影响。但是，同样的，数据驱动的算法同样面临轨迹稀疏的问题。对于那些未曾出现过的轨迹，当使用数据驱动的算法进行预测的时候，算法的效率会大幅的下降。因此，如果想要在数据驱动算法的基础上更加准确的把握交通态势和交通大环境从而进行目的地预测的任务，首先需要关注并解决轨迹的空间稀疏性这一最重要的问题。其次，因为大部分的信息都包含在轨迹数据之中，因此如何更多的学习到轨迹数据之间的信息同样是至关重要的。最后，由于时间等客观因素同样会对预测结果产生影响，因此一个优秀的目的地预测模型同样需要具有学习这些客观因素的功能。这样才能准确的把握交通工具的出行意图。

发明内容

为了解决上面提出的问题，本发明提出一个基于交通知识图谱和自注意力机制的目的地预测的方法。通过这一方法，可以学习到复杂的交通系统之中的多种影响因素，并且由于采用了基于轨迹密度的区域划分方法以及知识图谱嵌入时本身具有的特征传播的属性，因此这一方法也不会受到轨迹数据量不足的影响，同时采用的自注意力机制可以在捕获长距离的依赖关系的同时，直观地将学习到的轨迹中不同部分的影响权重展示出来，利用学习不同的权重对模型进行优化有助于在对预测的准确率不产生较大影响的情况大，大幅地提升预测的速度。这一方法的步骤大致分为两个模块，第一个模块需要构建多层交通知识图谱并获得它的向量表示。在多层知识图谱的构建中，每一层分别表示交通路网中的路网结构和功能结构和轨迹数据，多层结构中的路网层和轨迹层将原本扁平的路网结构和轨迹数据在相同的维度对齐，将轨迹数据中所包含的如路段方向、上下游等信息融入到交通知识图谱之中，从而实现路网结构的细节化和立体化。构建好多层知识图谱后，用基于随机游走的嵌入算法获得知识图谱中路段节点的低维向量表示，通过嵌入算法可以将图谱中与目标节点相近的节点的特征信息以及图谱结构一起嵌入到节点的低维向量表示之中，以用于后续的预测任务之中。第二个模块通过自注意力机制模块学习轨迹序列中各个路段彼此之间的相互依赖并通过位置嵌入学习轨迹中所包含的时序信息，最后学习轨迹中不同路段贡献的权重并通过全连接层得到最终预测的目的地。第一个模块作为第二个模块的基础，可以在轨迹路段的特征向量中嵌入路网的结构信息和所在的区域信息，这种信息是目的地预测任务中至关重要的。相比过往的目的地预测的方法，本发明中提出的多层交通知识图谱从水平的维度出发可以将原本孤立的路段节点通过节点间关系构建起联系，使路段节点在交通路网中感知到更多的相关信息，从而有效提升下游目的地预测任务的准确率；从垂直的维度出发，相比过往普通的扁平化的知识图谱来说，多一个维度可以携带更多信息的同时，可以发挥出路段节点在知识图谱不同的功能层的不同作用，图1为本发明的整体模块设计图。

为了达到上述目的，本发明采用的技术方案如下：

一种基于知识图谱和自注意力机制的轨迹目的地预测的方法，步骤如下：

步骤1：从路段和兴趣点POI中提取地理位置之间的邻接关系，并从轨迹数据中获得路段间上下游信息，并对交通路网进行功能区的划分，从下向上构建知识图谱；

步骤2：对构建好的多层知识图谱用TrafficGraphBert算法进行图表示以获得路段节点在知识图谱之中的表示向量。

步骤3：根据轨迹目的地的密度分布，基于二叉搜索树算法将地图划分至每一区域的轨迹终点数量均布。

步骤4：用Transformer迭代更新后的路段的表示向量替换轨迹数据中的节点，再使用自注意力机制和位置嵌入，学习轨迹序列中各个节点携带的信息以及先后信息，并通过注意力机制学习各个路段贡献的权重，最后对目的地的GPS坐标进行预测。

进一步地，步骤1的具体过程为：

步骤1.1：根据路段的GPS计算不同路段、兴趣点POI之间的邻接关系，构建第一层基础的无向路网结构图，邻接关系提取的公式如下：

其中，用G＝(E,R)表示知识图谱，E表示知识图谱中的实体，实体的个数为n，所述的实体为路段实体或兴趣点实体；路段实体和兴趣点实体分别用E^R和E^P表示，

表示路段实体之间的关系，

表示路段实体和兴趣点实体之间的关系。知识图谱中的路段实体E^R的位置信息以GPS坐标序列形式表示，即

其中δ_ik'表示第i个路段实体中第k'个GPS坐标，兴趣点POI坐标信息表示为

表示兴趣点实体的GPS坐标。公式中1≤i,j,u≤n，i,j表示不同路段，u表示兴趣点POI。δ_im表示第i条路段中第m个点的GPS坐标；δ_jn表示第j条路段中第n个点的GPS坐标。d()为两个GPS坐标之间的欧几里得距离，第一层关系中两个实体之间没有先后顺序。γ表示实体之间的距离阈值；δ_u表示第u个兴趣点实体的GPS坐标；

步骤1.2：将轨迹数据和构建好的第一层基础的无向路网结构图中的实体相匹配，将轨迹的GPS序列转换为实体序列，并根据轨迹中实体的相邻及先后关系构建第二层基于轨迹数据的有向路网结构图，实体匹配、相邻及先后关系提取的公式如下：

其中ζ'表示转换后的轨迹，R₂为第二层有向路网图中的边的集合，

表示转换后的轨迹序列中的第k个路段实体，

表示初始轨迹中前n₁个GPS坐标点，

表示在轨迹数据中与路段实体

存在上下游关系的所有路段实体，R₂中的边都为有向边且从第一个实体指向第二个实体。

对于每个实体来说，计算从该实体出发到达相邻实体的每条边的概率，作为该边的权重，计算的公式如下：

其中

表示边

的权重，

表示数据集中从节点

出发到达

的轨迹的条数。

步骤1.3：提取轨迹的GPS序列中所有的起点和终点投影到路网地图中，用均值漂移算法(MeanShift)对所有的起点和终点进行聚类，从而获得每一类的聚类中心。计算第一层无向路网结构图图谱中各个实体到各聚类中心的距离，选择距离最近的聚类中心作为该实体所属的功能区，根据不同的聚类中心构建知识图谱的功能层。其中，均值漂移算法的向量漂移公式为：

其中S_h是一个半径为h的高维球，Xⁱ为轨迹的GPS序列中所有的起点和终点中的任意一个样本点，l为落入区域中的样本点的个数，M_h(x)为实体X漂移的向量。

进一步地，步骤2的具体过程为：

步骤2.1：计算节点之间的关联程度以对知识图谱进行划分。(所述的节点即为知识图谱中所述的实体)两层知识图谱都分别用随机游走方式计算两两节点之间的节点关联度，并将两层知识图谱计算出的关联度按比例求和，得到最终的节点关联度。节点两两之间的关联的公式如下：

S_i＝α·(I-(1-α)·M)^-1

最终的节点关联度公式如下：

S＝βS₁+(1-β)S₂

其中，S_i表示每一层图谱的节点关联度，i＝1或2，表示图谱层数；S为最终的节点关联度，α∈[0,1]，表示节点在随机游走时随机跳转的概率；β∈[0,1]，表示在计算关联度时，知识图谱第一层的权重，I为单位对角阵，在第一层知识图谱无向图中M＝AD^-1为对图的邻接矩阵A的列向量进行归一化，D为图的邻接矩阵的度矩阵；在第二层知识图谱有向概率图中M则为输入的概率图。

取出和每个节点的最终的节点关联度最高的k个节点，并按最终的节点关联度由高到低的排列组成节点序列，这个节点序列则看作以该节点为中心的知识图谱的子图，子图划分的公式如下：

Γ(E_a)＝{E_b|E_b∈E、{E_a}∧S(E_a,E_b)≥θ_a}

其中，E表示第一层图中的所有节点，S(E_a,E_b)表示节点E_a和节点E_b之间的相关性的分数。θ_a表示节点E_a相关性分数topk的阈值。

步骤2.2：对于每一组子图分别学习子图中节点的原始特征、在知识图谱中的全局位置信息、在子图序列中的局部位置信息以及节点间的距离关系，并将四种关系嵌入到低维空间中，获得四种表示向量，将四种表示向量进行聚合通过Transformer进行迭代更新最后这四种节点的向量表示；

子图中节点的原始特征的嵌入：Embed^formal(E_j)＝f(x_j)

在知识图谱中的全局位置信息的嵌入：Embed^global(E_j)＝Position(WL(x_j))

在子图序列中的局部位置信息的嵌入：Embed^local(E_j)＝Position(P(x_j))

在子图序列中的节点间的距离关系的嵌入：Embed^distance(E_j)＝Position(H(x_j,x_i))通过Transformer进行迭代更新的过程：

其中f()表示对节点原始的特征向量进行嵌入的函数，Position()为对序列中的节点进行位置嵌入的函数，WL()为Weisfeiler-Lehman算法的函数，用来嵌入节点在图中的全局位置，P()为节点在子图中的相对位置的嵌入函数，H(x_j,x_i)函数用于计算两个节点之间在图中的相对距离。在获得四个表示向量之后，通过将四个向量相加最终聚合成一个最终的向量H⁽⁰⁾并输入到Transformer中进行迭代，H⁽ⁿ⁾为图中节点在Transformer的第n层时的表示向量。

进一步地，所述的步骤4的具体过程为：

步骤4.1：用Transformer迭代更新后的路段的表示向量替换轨迹数据中的节点，为了考量轨迹中所包含的路段选择的信息以及学习节点间的长距离依赖，接下来并使用自注意力机制学习轨迹中路段节点之间的相互影响。但由于自注意力机制本身没有考虑到时间先后的信息，因此并在进行自注意力机制的学习之前还需要首先对输入的表示向量进行位置编码，实现位置信息的嵌入。

位置编码的公式：X^After＝PositionEmbedding(X)

自注意力机制进行学习的公式：Attention(Q,K,V)＝Activation(QK^T)V

其中Q、K、V分别为轨迹序列的向量矩阵分别与三个权重矩阵相乘W^Q、W^K、W^V得到，Activation()为激活函数，通常使用

·指代激活函数Activation()括号中的内容。

步骤4.2：轨迹经过自注意力机制后，每个节点的表示向量根据学习到的轨迹中其他节点的信息进行更新。最后用权重矩阵对轨迹中各个节点的向量进行聚合以获得最终表示轨迹的向量，并将最终的表示向量通过softmax层预测该轨迹可能到达地图中各区域的概率；其公式表示为：

Y＝softmax(W^TX)

其中W为轨迹中各个路段的权重向量。

步骤4.3：将步骤4.2所得的到达各个区域的概率和各个区域的中心进行乘法计算，获得最后预测的目的地GPS坐标。目的地GPS的计算公式为：

其中，δ_i为第i个区域中心的GPS坐标，α_i表示预测出的可能到达第i个区域的概率。

本方法区别于已有方法的特色在于：

(1)本发明首次用多层知识图谱表示路网结构、路段属性以及路段间的关联，将原本平面的路网结构用立体的方式表现出来。由于多层知识图谱中不同的层次表示交通路网中不同类别的属性，因此无论是在知识图谱的图表示中还是所应用的下游任务之中，都可以分别对知识图谱的不同层进行学习和利用，这样也有助于提高知识图谱的可解释性。相比于过往的轨迹预测的算法来说，通常会把路网中的节点看成是孤立的存在而独立地去学习该节点的属性特征。但在实际的交通路网之中，路段和路段以及路段和POI之间都存在着相互影响，因此在考虑路网中一个节点的向量表示的时候，只考虑其本身的特征是完全不够的。因此通过知识图谱将路网中的路段和POI关联在一起并按照不同类型的关联对其进行分层可以有助于更加全面的表示节点，扩大节点的感知域，从而在下游的轨迹预测的任务中，提供更多的信息以进行更加准确的预测。除此之外，由于知识图谱中节点的特征可以沿着边传播，则对于一些路段存在的对应的轨迹数据量不足的问题，可以通过节点特征的传播而感知到其相邻节点的特征作为缺失的轨迹数据的一种补充。因此用知识图谱对路网进行建模同样也可以解决数据不足带来的问题。

(2)本发明对Graph-Bert算法进行改进，提出了Traffic Graph-Bert算法将交通知识图谱嵌入到低维空间。Traffic Graph-Bert算法相比原有的Graph-Bert算法只能对单层知识图谱进行嵌入，通过分别计算路网层和轨迹层的亲密度并乘以相关权重获得最终的多层知识图谱之间的节点相关度，从而实现多层知识图谱的划分。这种嵌入算法可以通过无监督学习实现交通知识图谱的预训练，可以很好的适用于我们构建的交通知识图谱。经过预训练之后，路段节点可以感知到路网结构、节点本身的基本属性和相关的节点的属性及路网中的所处位置，获得的表示向量应用于下游任务中可以有效提高下游任务的精度。相比过往的图表示算法，基于TrafficGraph-Bert的图表示算法对节点种类的个数没有较多的要求。同时算法通过计算路段节点之间的关联度将原有的路网划分为多个子图分别进行特征的学习，这与交通知识图谱中节点通常对其密切相关的节点影响程度较大的思想也是一致的。并且在对大规模的图进行了划分之后进行分布式的计算有效的提高了图计算的速率，并且由于不再受限于图本身的结构，因此更易进行预训练和迁移学习。在图划分的过程中，由于对子图中节点的个数进行了限制，即对子图的规模进行了限制，因此也避免了图神经网络中聚合操作过多的堆叠导致节点感知域过大而导致节点的向量表示近似的过度平滑的问题。

(3)本发明首次提出一个基于注意力机制目的地预测的算法，在将出发时间和路网中基础结构作为先验知识的前提下，通过学习已行进的部分轨迹的模式，对轨迹最终到达的区域进行预测。准确的目的地进行预测有助于判断路网中某一区域的交通态势，以及时的进行疏导。本发明利用自注意力机制学习轨迹序列中各节点的信息。与知识图谱中学习路网级别信息不同的是，自注意力机制可以学习轨迹级别的信息。路网级别的信息例如路网结构等通常是不随时间改变的，但是轨迹作为时间序列中所包含的信息会随着时间而变化，不同的轨迹往往有着不同的模式。并且根据过往的研究，轨迹的起始点包含着很多的信息，因此对于此前目的地预测任务中使用的RNN一类的时间序列模型，在处理较长的时间序列时，靠前部分的信息可能会遗失。因此，本发明通过使用自注意力机制学习轨迹序列中的时序信息。在自注意力机制中每两个路段节点之间都要学习他们之间相关的权重，因此即使两个节点之间在轨迹中间隔比较远也可以彼此感知，从而捕获长距离依赖关系。自注意力机制帮助节点感知轨迹中其他节点的信息并体现在该节点的表示向量中，最后通过注意力机制将多个路段聚合成为一个向量。利用注意力机制进行聚合可以学习不同路段对于目的地预测任务的贡献程度，相比过往端到端的预测算法来说，更加具有可解释性。

(4)本发明通过构建二叉搜索树实现了基于目的地地点的密度分布划分。由于轨迹数据所具有的稀疏性，轨迹目的地通常只分布在路网中的少数区域，如CBD、居民区等区域。因此相比对路网均匀的划网格的算法，这一方法虽然增加了计算预测点gps的复杂度，但是可以将目的地点均匀的分布在网格之中，解决训练数据标签分布不均匀的问题，从而提高预测的准确率。

本发明的有益效果为：

(1)使用多层交通知识图谱的形式表示路网，建立路段、POI之间的关联，让轨迹中的节点在知识图谱中可以感知到路网中邻近节点和路网连接结构。在下游的目的地预测的任务中，每个节点除了自己本身的属性之外可以提供更多的路网中信息，并且对于在轨迹出现次数较少的节点，邻近节点的信息可以作为一种额外的补充，相比过往的算法，增强了节点之间的关联性和数据不足时模型预测的准确性和鲁棒性。

(2)在路网之中如果从一个路段出发可以频繁的到达另一个路段，则说明两个路段之间有着较大的相关度。因此，利用随机游走的算法计算路网中节点之间的关联度，可以对交通路网进行有效地划分。基于TrafficGraph-Bert的算法实现交通知识图谱的预训练，可以根据随机游走算法对图谱划分的结果将大任务转换为多个彼此不相关的小任务以进行并行计算，减少计算的时间开销。限制子图的大小同样可以避免图神经网络算法中过度平滑的问题。

(3)使用注意力机制对轨迹数据进行编码相比基于RNN的轨迹预测算法，可以更好地适应于较长的轨迹序列。并且自注意力机制通过学习轨迹之间的相互影响对轨迹进行编码也更加符合同一条轨迹中路段彼此影响并共同决定轨迹表示的特点。轨迹向量经过自注意力层时，每个节点将同一轨迹中的其他路段包含的信息编码到自己的表示向量之中，并且同时学习到不同路段的影响力大小。再利用注意力函数对编码后轨迹中的路段进行聚合，学习当前轨迹中的路段对于最终的目的地预测任务的重要性大小。相比过往的方法提高了模型的可解释性和应对长轨迹序列的能力。

(4)采用了两种不同的方法对地图进行划分。第一种地图划分方法是由于轨迹数据的起始点和终点通常出现在功能区之中。因此在知识图谱之中，使用MeanShift算法对轨迹中的出发点和终点进行聚类，可以获得地图中不同的功能区域。在后续进行目的地预测的时候，将起点所属功能区的特征向量参与预测，有效地提高了目的地预测的准确率。第二种地图划分方法为了解决轨迹稀疏性所导致的预测标签分布不均匀的问题，基于二叉搜索树的算法根据目的地在地图中分布的密度对地图进行分区，使得地图中划分的所有区域数据量分布相同。

附图说明

图1为本发明的整体模块设计图。

图2为起始点分布图。

图3为起始点聚类图。

图4为基于密度的地图划分效果图。

具体实施方法

下面对本发明的实施方法进行详细的说明。

第一个交通知识图谱构建及其向量表示的模块的具体方案为，首先需要进行相应的数据处理并从下向上构建多层知识图谱。构建路网层需要从高德地图中通过爬虫获取的路网之中的路段相关信息，而由于这些数据是杂乱孤立且有许多冗余无效的的部分，因此需要根据路段中提供的gps的信息判断两条路段之间的地理关联。路网层作为多层知识图谱中的最底层，表示了路段所构成的最基本的路网结构，基于路网层的节点关系，某一路段的特征的可以传播给相邻或交叉的节点。这是因为在交通领域中，路段通常会容易受到距离相近的其他路段的影响。例如对于交通拥堵来说，正是因为拥堵具有的扩散的特性，因此在一段时间之后，下游路段的拥堵拥堵会对上游临近的路段产生影响，这也就是我们所说的路段之间相互影响的一种体现。在输入轨迹数据之后，由于轨迹的原始数据为gps点的时间序列，而在知识图谱中则是以路网节点为单位存在的，因此如果想要将轨迹数据导入到知识图谱中，则需要将轨迹数据的gps点序列转换为知识图谱对应的节点序列。因此本发明提出了一个轨迹-知识图谱匹配并行算法。该算法通过三级筛选和并行计算降低匹配目标路段的耗费时间并最终达到轨迹-知识图谱匹配的目的。之所以将轨迹引入知识图谱是因为轨迹中包含着路段的上下游信息以及路径的关联度信息，这是因为经常出现在同一路径之中的路段通常有着更高的关联程度，这与使用Apriori算法评估项集关联程度时背后的动机也是一致的。并且在交通知识图谱之中，关系的指向至关重要，因为交通中可能存在一些在地理位置上相连的路段，但是由于通行方向的原因，实际上这两条道路之间的关系并没有直观所看到的上的那么紧密。因此，在引入轨迹数据之后的知识图谱可以排除这部分的影响。功能层作为多层知识图谱的最高层，用于表示知识图谱中各个路段所属的功能区域。在交通领域中，路段所属的功能区域对于该路段有着不可忽视的影响力。例如，对于位于居民区的路段来说，它们的活跃时间通常为工作日的早高峰和晚高峰；而对于位于商业区的路段，它们的活跃时间通常处于休息日。这也与社会中人们的作息是相同的。过往的文章对于路网分区通常会采用划网格的方法，这种方法的优点是简单易实现，但是现实生活中的路网的区域并不是均匀分布的。因此为了更加准确地对路网中的功能区域进行区分，本发明将轨迹数据中的起点和终点投影到路网之中投影后如图2，并用MeanShift算法进行聚类，并根据聚类的结果划分相应的功能区域，对轨迹起始点和终点的目的地聚类的结果如图3。之所以使用起点和终点是因为对于一次有意义的出行来说，用户通常会从一个功能区到达另一个功能区，因此在轨迹数据的起始点和终点已经包含着功能区划分的信息。

构建好的知识图谱作为下游任务的基石，需要嵌入到低维的向量空间，才能应用于下一步的任务。由于多层交通知识图谱存在多个层次，因此过往的应用于一个层次的图表示算法不能很好的应用于我们构建的知识图谱之中。同样的，过往的图表示算法大多为有监督学习算法，通过将节点分类作为目标任务以获得节点的向量表示。诚然，这种方法可以获得较为准确的向量表示，但是对于我们所构建的交通知识图谱来说，由于只存在路段节点一种节点，因此无法通过分类的有监督学习算法来进行学习。为了解决以上问题，本发明采用对Graph-Bert算法进行改进提出适用于多层知识图谱嵌入的TrafficGraph-Bert算法。TrafficGraph-Bert算法与Graph-Bert进行图表示的思想相同，但是增加了轨迹层中节点的亲密度计算，最后将轨迹层和路网层的节点亲密度以一定的权重相加获得最终的节点间亲密度。由于TrafficGraph-Bert算法需要计算图中节点之间的关联度以对图谱进行子图采样，而多层知识图谱的路网层和轨迹层分别为无向图和有向图，因此需要分别进行关联度的计算。本发明在计算关联度时采用了随机游走的算法，即认为当从一个路段出发时有更较大的概率到达另一个点则说明这两个路段之间有较大的关联度。因此将路段之间到达的概率迭代相加，当结果收敛于一个稳定的值时，则这个值作为两个节点之间的关联度。在分别计算出两层的节点关联度之后，将两层中的节点间关联程度乘以一定参数求和，获得最终的节点间关联度。提取每个节点关联度靠前的相关节点作为当前节点的上下文节点并按关联度排序。在获得上下文节点后，需要计算每一个上下文节点的初始特征嵌入、全局信息嵌入、局部信息嵌入和相对位置嵌入，并将这些嵌入进行聚合得到上下文节点在该节点序列中的表示。最后通过Transformer的编码器学习序列中每个节点最终的向量表示。使用这一算法相比其他的图神经网络算法，由于只使用了Attention机制进行节点特征的学习，所以避免了过度平滑的问题。并且通过对知识图谱进行子图的采样，可以对图进行并行计算以提高算法的效率，这也是普通的图网络算法无法做到的，因为普通的图神经网络在学习节点表示的时候需要感知全局的信息，因此无法对图进行并行计算。

在获得图中节点的向量表示之后，就可以将其应用到目的地预测任务之中。在最开始的数据处理的过程中，我们已经将轨迹的gps序列转换为知识图谱节点序列，并且在知识图谱嵌入的过程中，我们也已经获得了节点的向量表示。因此，对应的轨迹序列通过上述步骤可以转换为节点向量的序列。与自然语言处理领域相似的是，在交通之中，路段不是孤立的，也会受到轨迹中其他路段的影响。因此本发明通过self-attention机制编码轨迹序列中包含的信息，节点向量通过self-attention模块后，每一个节点都可以学习到轨迹序列中其他节点和当前节点的关系并编码到自己的表示向量之中。由于在预测目的地任务中，轨迹中不同的路段会贡献不同程度的信息，即预测时不同部分的关注程度是不同的。为了学习到不同路段对预测结果的贡献权重，并实现权重的可视化，我们使用注意力机制对轨迹中路段的表示向量进行学习。通过注意力模块可以将轨迹中多个路段的表示向量按不同权重聚合为一个向量，这个向量表示轨迹中所包含的时序的先后信息以及路段本身属性。相比LSTM等时序模型，自注意力机制模型可以更好的学习长期的依赖。并且由于注意力机制的特性，在学习的过程中，通过学习到轨迹中不同节点特征向量对于预测结果的贡献程度可以让我们对最终的结果有更加直观的理解。除此之外，正如我们前面所提到的那样，在目的地预测任务之中，轨迹出发的区域及时间这些信息同样也是至关重要的。因此本发明通过多层知识图谱中的功能层获取轨迹起点路段所属的功能分区，并以小时为单位对一天进行划分从而获得车辆出发时的时间范围。最后将功能区及时间的表示和之前聚合后的轨迹的表示向量链接在一起通过softmax层以获得当前轨迹最终各个区域概率。对于最后所预测的区域来说，在过往的研究之中，通常会使用划网格的方法，即对地图进行均匀的划分，但是这种方法有一个问题在于轨迹目的地在地图中的分布是不均匀的，因此在训练的时候会导致数据集标签分布不均匀的问题从而降低预测精度。因此本发明使用基于二分法的算法，根据轨迹目的地分布的密度如图4对地图进行划分，避免了数据分布不均匀的问题，有效的提高了预测的精度。最后，根据预测的可能到达的各个区域的概率和各个区域的中心坐标最终计算出预测的目的地的坐标。则最终的损失函数为预测的目的地的坐标和真正的目的地的坐标之间的球面距离。

实施例：

一种基于知识图谱和注意力机制的轨迹目的地预测的方法，如图1，该方法主要分为两部分模块，分别为多层知识图谱构建及预训练模块和基于注意力机制的轨迹目的地预测模块，其中，每个模块的实施方法为：

(1)多层知识图谱构建及预训练模块

这一模块的主要目标是构建多层知识图谱并通过预训练获得节点的向量表示。这一模块提出了一个新的路网结构的表现方式，通过挖掘节点之间关联构建的多层知识图谱，从多个角度表示路网结构和路段属性，因此这一模块是整个方法的基础。

本发明中用G＝(E,R)表示知识图谱，E表示知识图谱中的实体，实体的个数为n，所述的实体为路段实体或兴趣点实体；路段实体和兴趣点实体分别用E^R和E^P表示，

表示路段实体之间的关系，

表示路段实体和兴趣点实体之间的关系；知识图谱中的路段实体E^R的位置信息以GPS坐标序列形式表示，即

其中δ_ik'表示第i个路段实体中第k'个GPS坐标，兴趣点POI坐标信息表示为

δ_u表示兴趣点实体的GPS坐标；公式中1≤i,j,u≤n，i,j表示不同路段，u表示兴趣点POI；δ_im表示第i条路段中第m个点的GPS坐标；δ_jn表示第j条路段中第n个点的GPS坐标；d()为两个GPS坐标之间的欧几里得距离，第一层关系中两个实体之间没有先后顺序；γ表示实体之间的距离阈值；δ_u表示第u个兴趣点实体的GPS坐标。

多层知识图谱构建的步骤是自下而上的。首先根据路段的gps计算不同路段、POI之间的临接的关系，构建底层基础的无向路网结构图，关系提取的公式如下：

其次，将轨迹数据和构建好的第一层知识图谱中的节点相匹配，将轨迹的GPS序列转换为节点序列，并根据轨迹中节点的相邻及先后关系构建第二层基于轨迹数据的有向路网结构图。节点匹配及关系提取的公式如下：

其中ζ'表示转换后的轨迹，R₂为第二层有向路网图中的边的集合，

表示转换后的轨迹序列中的第k个路段实体，

表示初始轨迹中前n₁个GPS坐标点，

表示在轨迹数据中与路段实体

存在上下游关系的所有路段实体，R₂中的边都为有向边且从第一个实体指向第二个实体；

对于每个节点来说，计算从该节点出发到达其他节点的每条边的概率，作为该边的权重，计算的公式如下：

其中

表示边

的权重，

表示数据集中从节点

出发到达

的轨迹的条数。

最后，提取轨迹序列中所有的起点和终点投影到路网地图中，用MeanShift算法对这些点进行聚类从而获得各个区域的聚类中心。计算第一层知识图谱中各个节点到各聚类中心的距离，选择距离最近的聚类作为该节点所属的功能区，根据不同的聚类中心构建知识图谱的功能层。其中，MeanShift算法的向量漂移公式为：

其中S_h是一个半径为h的高维球，Xⁱ为轨迹的GPS序列中所有的起点和终点中的任意一个样本点，l为落入区域中的样本点的个数，M_h(x)为实体X漂移的向量。

在构建好交通知识图谱之后，为了在下游任务中更好的学习知识图谱中的图结构、节点属性等信息，需要先对知识图谱进行预训练以获得每个路段的节点的向量表示。预训练的步骤大致如下，首先计算节点之间的关联程度以对知识图谱进行划分。两层都分别用随机游走计算节点两两之间的关联度，并将两层计算出的关联度按比例求和，得到最终的节点关联度。节点两两之间的关联的公式如下：

S_i＝α·(I-(1-α)·M)^-1

最终的节点关联度公式如下：

S＝βS₁+(1-β)S₂

其中，S_i表示每一层图谱的节点关联度，i＝1或2，表示图谱层数；S为最终的节点关联度，α∈[0,1]，表示节点在随机游走时随机跳转的概率；β∈[0,1]，表示在计算关联度时，知识图谱第一层的权重，I为单位对角阵，在第一层知识图谱无向图中M＝AD^-1为对图的邻接矩阵A的列向量进行归一化，D为图的邻接矩阵的度矩阵；在第二层知识图谱有向概率图中M则为输入的概率图，由于在构建的时候已经进行过归一化，因此可以直接进行计算。

取出和每个节点的最终的节点关联度最高的k个节点，并按最终的节点关联度由高到低的排列组成节点序列，这个节点序列则看作以该节点为中心的知识图谱的子图，子图划分的公式如下：

Γ(E_a)＝{E_b|E_b∈E、{E_a}∧S(E_a,E_b)≥θ_a}

其中，E表示第一层图中的所有节点，S(E_a,E_b)表示节点E_a和节点E_b之间的相关性的分数；θ_a表示节点E_a相关性分数topk的阈值；

其次，对于每一组子图分别学习子图中节点的原始特征、在知识图谱中的全局位置信息、在子图序列中的局部位置信息以及节点间的距离关系。将四种表示向量进行聚合通过Transformer进行迭代更新最后这些节点的向量表示。知识图谱嵌入的公式表示如下：

子图中节点的原始特征的嵌入：Embed^formal(E_j)＝f(x_j)

在知识图谱中的全局位置信息的嵌入：Embed^global(E_j)＝Position(WL(x_j))

在子图序列中的局部位置信息的嵌入：Embed^local(E_j)＝Position(P(x_j))

在子图序列中的节点间的距离关系的嵌入：Embed^distance(E_j)＝Position(H(x_j,x_i))通过Transformer进行迭代更新的过程：

其中f()表示对节点原始的特征向量进行嵌入的函数，Position()为对序列中的节点进行位置嵌入的函数，WL()为Weisfeiler-Lehman算法的函数，用来嵌入节点在图中的全局位置，P()为节点在子图中的相对位置的嵌入函数，H(x_j,x_i)函数用于计算两个节点之间在图中的相对距离；在获得四个表示向量之后，通过将四个向量相加最终聚合成一个最终的向量H⁽⁰⁾并输入到Transformer中进行迭代，H⁽ⁿ⁾为图中节点在Transformer的第n层时的表示向量。

通过多层知识图谱构建及预训练模块将路网中的路段节点和POI关联在一起，并且为了区分知识图谱中包含的不同类别的信息，对知识图谱进行了分层。第一层知识图谱表示基本的路网结构，并且每个节点都携带基本的属性信息；第二层知识图谱表示轨迹中包含的路段选择倾向和部分路段之间的方向信息；第三层知识图谱表示从轨迹数据中获取的路网的多个功能区。

(2)基于注意力机制的轨迹目的地预测模块

这一模块将上一步中得到的轨迹节点的表示向量引入至轨迹中，在学习轨迹序列中的路段信息后，预测轨迹目的地的GPS坐标。这一模块作为知识图谱的下游应用依赖于知识图谱的嵌入结果。首先，对于轨迹数据，将轨迹数据的gps转换为知识图谱中的节点序列，此时节点的表示向量中只包含着路网的结构信息和路段本身的属性信息，为了考量轨迹中所包含的路段选择的信息以及学习节点间的长距离依赖，接下来使用自注意力机制学习轨迹中路段节点之间的相互影响。但由于自注意力机制本身没有考虑到时间先后的信息，因此在进行自注意力机制的学习之前还需要对输入的表示向量进行位置编码。自注意力机制进行学习的公式如下：

位置编码的公式：X^After＝PositionEmbedding(X)

自注意力机制进行学习的公式：Attention(Q,K,V)＝Activation(QK^T)V

其中Q、K、V分别为输入的轨迹序列的表示向量分别与三个权重矩阵相乘W^Q、W^K、W^V得到，Activation()为激活函数，通常使用

·指代激活函数Activation()括号中的内容。

轨迹经过自注意力机制，每个节点的表示向量根据学习到的轨迹中其他节点携带的信息进行更新。最后对于更新后的轨迹中各路段的表示向量，用权重矩阵对向量进行聚合以获得最终的向量。其公式表示为：

Y＝softmax(W^TX)

其中W为轨迹中各个路段的权重向量。

将最后获得的向量通过softmax层获得该该轨迹到达各个区域的概率。将概率和各个区域的中心进行乘，获得最后预测的目的地GPS坐标。其中，对于最终预测的地图的分区，将数据集中所有轨迹目的地投影到地图之中并使用基于二分搜索树的算法对目的地的密度进行均匀的划分，使得每一个区域中的轨迹目的地数量处于大致相同的水平。目的地GPS的计算公式为：

其中，δ_i为第i个区域中心的GPS坐标。

通过基于注意力机制的轨迹目的地模块，体现了以多层知识图谱表示路网结构的有效性。解决了对于轨迹序列较长时RNN等时序模型可能会丢失起始节点的信息的不足之处。并且由于Attention机制本身的特性，使得我们可以解释并且可视化整个模型，轨迹中不同部分对于目的地预测的重要程度。

(3)实验结果

经过构建两个模块，本发明实现了对目的地GPS坐标的预测。为了证明本发明各个模块的有效性，本发明进行了各个模块的消融实验并和领域内其他相关工作进行了对比。实验结果如表1。其中，表格的横向表示在预测时已知的轨迹占全部轨迹的比例，纵向表示使用的不同的方法，数据表示预测的误差，单位为千米。从实验结果中可以看出，本发明提出的方法在已知30％-90％轨迹的时候都取得了最好的结果，而在10％-20％时，将自注意力机制模块替换为LSTM的模型取得了最优的表现，这可能是因为在学习短距离序列的时候，LSTM相对自注意力机制有着更好的表现。

表1

通过这一实验，证明了本发明提出的方法可以有效的对交通系统进行建模，并学习轨迹序列中的信息，准确的进行目的地的预测。

Claims (4)

1.一种基于知识图谱和自注意力机制的轨迹目的地预测的方法，其特征在于，步骤如下：

步骤1：从路段和兴趣点POI中提取地理位置之间的邻接关系，并从轨迹数据中获得路段间上下游信息，并对交通路网进行功能区的划分，从下向上构建知识图谱；

步骤2：对构建好的多层知识图谱用TrafficGraphBert算法进行图表示以获得路段节点在知识图谱之中的表示向量；

步骤3：根据轨迹目的地的密度分布，基于二叉搜索树算法将地图划分至每一区域的轨迹终点数量均布；

步骤4：用Transformer迭代更新后的路段的表示向量替换轨迹数据中的节点，再使用自注意力机制和位置嵌入，学习轨迹序列中各个节点携带的信息以及先后信息，并通过注意力机制学习各个路段贡献的权重，最后对目的地的GPS坐标进行预测。

2.根据权利要求1所述的一种基于知识图谱和自注意力机制的轨迹目的地预测的方法，其特征在于，步骤1的具体过程为：

步骤1.1：根据路段的GPS计算不同路段、兴趣点POI之间的邻接关系，构建第一层基础的无向路网结构图，邻接关系提取的公式如下：

其中，用G＝(E,R)表示知识图谱，E表示知识图谱中的实体，实体的个数为n，所述的实体为路段实体或兴趣点实体；路段实体和兴趣点实体分别用E^R和E^P表示，

表示路段实体之间的关系，

表示路段实体和兴趣点实体之间的关系；知识图谱中的路段实体E^R的位置信息以GPS坐标序列形式表示，即

其中δ_ik'表示第i个路段实体中第k'个GPS坐标，兴趣点POI坐标信息表示为

δ_u表示兴趣点实体的GPS坐标；公式中1≤i,j,u≤n，i,j表示不同路段，u表示兴趣点POI；δ_im表示第i条路段中第m个点的GPS坐标；δ_jn表示第j条路段中第n个点的GPS坐标；d()为两个GPS坐标之间的欧几里得距离，第一层关系中两个实体之间没有先后顺序；γ表示实体之间的距离阈值；δ_u表示第u个兴趣点实体的GPS坐标；

步骤1.2：将轨迹数据和构建好的第一层基础的无向路网结构图中的实体相匹配，将轨迹的GPS序列转换为实体序列，并根据轨迹中实体的相邻及先后关系构建第二层基于轨迹数据的有向路网结构图，实体匹配、相邻及先后关系提取的公式如下：

其中ζ'表示转换后的轨迹，R₂为第二层有向路网图中的边的集合，

表示转换后的轨迹序列中的第k个路段实体，

表示初始轨迹中前n₁个GPS坐标点，

表示在轨迹数据中与路段实体

存在上下游关系的所有路段实体，R₂中的边都为有向边且从第一个实体指向第二个实体；

对于每个实体来说，计算从该实体出发到达相邻实体的每条边的概率，作为该边的权重，计算的公式如下：

其中

表示边

的权重，

表示数据集中从节点

出发到达

的轨迹的条数；

步骤1.3：提取轨迹的GPS序列中所有的起点和终点投影到路网地图中，用均值漂移算法对所有的起点和终点进行聚类，从而获得每一类的聚类中心；计算第一层无向路网结构图图谱中各个实体到各聚类中心的距离，选择距离最近的聚类中心作为该实体所属的功能区，根据不同的聚类中心构建知识图谱的功能层；其中，均值漂移算法的向量漂移公式为：

其中S_h是一个半径为h的高维球，Xⁱ为轨迹的GPS序列中所有的起点和终点中的任意一个样本点，

为落入区域中的样本点的个数，M_h(x)为实体X漂移的向量。

3.根据权利要求1所述的一种基于知识图谱和自注意力机制的轨迹目的地预测的方法，其特征在于，步骤2的具体过程为：

步骤2.1：计算节点之间的关联程度以对知识图谱进行划分；两层知识图谱都分别用随机游走方式计算两两节点之间的节点关联度，并将两层知识图谱计算出的关联度按比例求和，得到最终的节点关联度；节点两两之间的关联的公式如下：

S_i＝α·(I-(1-α)·M)^-1

最终的节点关联度公式如下：

S＝βS₁+(1-β)S₂

其中，S_i表示每一层图谱的节点关联度，i＝1或2，表示图谱层数；S为最终的节点关联度，α∈[0,1]，表示节点在随机游走时随机跳转的概率；β∈[0,1]，表示在计算关联度时，知识图谱第一层的权重，I为单位对角阵，在第一层知识图谱无向图中M＝AD^-1为对图的邻接矩阵A的列向量进行归一化，D为图的邻接矩阵的度矩阵；在第二层知识图谱有向概率图中M则为输入的概率图；

取出和每个节点的最终的节点关联度最高的k个节点，并按最终的节点关联度由高到低的排列组成节点序列，这个节点序列则看作以该节点为中心的知识图谱的子图，子图划分的公式如下：

Γ(E_a)＝{E_b|E_b∈E、{E_a}∧S(E_a,E_b)≥θ_a}

其中，E表示第一层图中的所有节点，S(E_a,E_b)表示节点E_a和节点E_b之间的相关性的分数；θ_a表示节点E_a相关性分数topk的阈值；

步骤2.2：对于每一组子图分别学习子图中节点的原始特征、在知识图谱中的全局位置信息、在子图序列中的局部位置信息以及节点间的距离关系，并将四种关系嵌入到低维空间中，获得四种表示向量，将四种表示向量进行聚合通过Transformer进行迭代更新最后这四种节点的向量表示；

子图中节点的原始特征的嵌入：Embed^formal(E_j)＝f(x_j)

在知识图谱中的全局位置信息的嵌入：Embed^global(E_j)＝Position(WL(x_j))

在子图序列中的局部位置信息的嵌入：Embed^local(E_j)＝Position(P(x_j))

在子图序列中的节点间的距离关系的嵌入：Embed^distance(E_j)＝Position(H(x_j,x_i))

通过Transformer进行迭代更新的过程：

其中f()表示对节点原始的特征向量进行嵌入的函数，Position()为对序列中的节点进行位置嵌入的函数，WL()为Weisfeiler-Lehman算法的函数，用来嵌入节点在图中的全局位置，P()为节点在子图中的相对位置的嵌入函数，H(x_j,x_i)函数用于计算两个节点之间在图中的相对距离；在获得四个表示向量之后，通过将四个向量相加最终聚合成一个最终的向量H⁽⁰⁾并输入到Transformer中进行迭代，H⁽ⁿ⁾为图中节点在Transformer的第n层时的表示向量。

4.根据权利要求1所述的一种基于知识图谱和自注意力机制的轨迹目的地预测的方法，其特征在于，所述的步骤4的具体过程为：

步骤4.1：用Transformer迭代更新后的路段的表示向量替换轨迹数据中的节点，并使用自注意力机制学习轨迹中路段节点之间的相互影响；在进行自注意力机制的学习之前

首先对输入的表示向量进行位置编码，实现位置信息的嵌入；

位置编码的公式：X^After＝PositionEmbedding(X)

自注意力机制进行学习的公式：Attention(Q,K,V)＝Activation(QK^T)V

其中Q、K、V分别为轨迹序列的向量矩阵分别与三个权重矩阵相乘W^Q、W^K、W^V得到，Activation()为激活函数，通常使用

·指代激活函数Activation()括号中的内容；

步骤4.2：轨迹经过自注意力机制后，每个节点的表示向量根据学习到的轨迹中其他节点的信息进行更新；最后用权重矩阵对轨迹中各个节点的向量进行聚合以获得最终表示轨迹的向量，并将最终的表示向量通过softmax层预测该轨迹可能到达地图中各区域的概率；其公式表示为：

Y＝softmax(W^TX)

其中W为轨迹中各个路段的权重向量；

步骤4.3：将步骤4.2所得的到达各个区域的概率和各个区域的中心进行乘法计算，获得最后预测的目的地GPS坐标；目的地GPS的计算公式为：

其中，δ_i为第i个区域中心的GPS坐标，α_i表示预测出的可能到达第i个区域的概率。

Images