CN116793376B - 一种基于最短路径和历史经验的路径预测方法、装置及存储介质 - Google Patents

Abstract

本发明提供一种基于最短路径和历史经验的路径预测方法、装置及存储介质，所述方法的步骤包括：获取道路地图和车辆行驶散点，基于所述车辆行驶散点的坐标将车辆行驶散点表示在所述道路地图中，得到行驶路径；将所述行驶路径中每两个顶点之间的路径作为所述行驶路径的子路径，基于最短路径算法计算每条子路径中结束顶点和所述行驶路径的终点顶点的历史经验计算路径概率；基于所述子路径中两个顶点与所述行驶路径的终点顶点的最短路径长度和子路径的路径概率确定每个子路径的奖励值；基于所述行驶路径的总奖励值对预设的深度强化学习模型进行训练，完成训练的所述深度强化学习模型接收路径起点和路径终点，并输出预测路径。

Description

一种基于最短路径和历史经验的路径预测方法、装置及存储 介质

技术领域

本发明涉及路径规划技术领域，尤其涉及一种基于最短路径和历史经验的路径预测方法、装置及存储介质。

背景技术

在群智感知活动场景中，不同的人类参与者在出行过程中，需要在活动选定的位置，即兴趣点，进行数据收集。通常，系统要在人类参与者给定起止点时，就为其分配好数据收集任务。然而，在实际出行过程中，人类参与者出于个体的出行需求、驾驶经验和实际路况，其选择的路径可能无法与传统的路径预测算法匹配，无法很好满足群智感知活动的传感覆盖需求。

现有的路径预测算法通常是采用最短路径或者根据历史经验的两种方式对路径进行预测，但是，无论是最短路径或者根据历史经验均只能从一个维度对路径进行预测，无法对结合多个维度进行路径预测，导致预测结果准确度较差。

发明内容

鉴于此，本发明的实施例提供了一种基于最短路径和历史经验的路径预测方法，以消除或改善现有技术中存在的一个或更多个缺陷。

本发明的一个方面提供了一种基于最短路径和历史经验的路径预测方法，所述方法的步骤包括：

获取道路地图和车辆行驶散点，基于所述车辆行驶散点的坐标将所述车辆行驶散点表示在所述道路地图中，得到行驶路径；

所述道路地图中包括边和顶点，将所述行驶路径中每两个顶点之间的路径作为所述行驶路径的子路径，基于最短路径算法计算每条子路径中结束顶点和所述行驶路径的终点顶点的历史经验计算路径概率；

基于所述子路径中两个顶点与所述行驶路径的终点顶点的最短路径长度和子路径的路径概率确定每个子路径的奖励值；

基于所述行驶路径的总奖励值对预设的深度强化学习模型进行训练，完成训练的所述深度强化学习模型接收路径起点和路径终点，并输出预测路径。

采用上述方案，本方案以最短路径和经验预测的思路，基于城市出租车历史出行数据和城市道路网络模型，构建基于最短路径和经验预测两个维度的深度强化学习训练神经网络，结合多个维度进行路径预测，提高预测结果准确度，能够为出行者预测一条完整的，贴近历史经验和实际道路的路径。

在本发明的一些实施方式中，在基于所述行驶路径的总奖励值对预设的深度强化学习模型进行训练的步骤中，采用反向传播算法基于所述总奖励值对所述深度强化学习模型的模型参数进行更新。

在本发明的一些实施方式中，基于所述车辆行驶散点的坐标将所述车辆行驶散点表示在所述道路地图中，得到行驶路径的步骤还包括：将每个车辆行驶散点归属于与该车辆行驶散点最近的顶点，并基于车辆行驶散点的记录时间顺序连接车辆行驶散点所归属的顶点，得到行驶路径。

在本发明的一些实施方式中，所述基于车辆行驶散点的记录时间顺序连接车辆行驶散点所归属的顶点，得到行驶路径的步骤还包括：

确定所述行驶路径中子路径是否处于所述道路地图的边上；

若所述子路径未处于所述道路地图的边上则计算所述子路径两端的顶点的最短路径，重新构建所述行驶路径。

在本发明的一些实施方式中，在基于最短路径算法计算每条子路径中结束顶点和所述行驶路径的终点顶点的历史经验计算路径概率的步骤中，获取历史经验数据库中包括当前子路径两个顶点中的结束顶点的历史路径数量，及同时包括子路径中结束顶点和所述行驶路径的终点顶点的历史路径数量，基于历史经验数据库中包括当前子路径的结束顶点的历史路径数量，及同时包括子路径中结束顶点和所述行驶路径的终点顶点的历史路径数量计算所述子路径的路径概率。

在本发明的一些实施方式中，在基于历史经验数据库中包括当前子路径的结束顶点的历史路径数量，及同时包括子路径中结束顶点和所述行驶路径的终点顶点的历史路径数量计算所述子路径的路径概率的步骤中，根据如下公式计算所述子路径的路径概率：

其中，P(V,U)表示以V为起始顶点，且以U为结束顶点的子路径的路径概率，C(E)表示历史经验数据库中包括E顶点的历史路径的数量，C(U,E)表示历史经验数据库中同时包括V顶点和E顶点的历史路径的数量，E顶点为所述行驶路径的终点顶点。

在本发明的一些实施方式中，所述基于最短路径算法计算每条子路径中两个顶点与所述行驶路径的终点顶点的最短路径长度的步骤还包括计算所述子路径的长度，在基于所述子路径中两个顶点与所述行驶路径的终点顶点的最短路径长度和子路径的路径概率确定每个子路径的奖励值的步骤中，基于所述子路径中两个顶点与所述行驶路径的终点顶点的最短路径长度、子路径的长度和子路径的路径概率确定每个子路径的奖励值。

在本发明的一些实施方式中，在基于所述子路径中两个顶点与所述行驶路径的终点顶点的最短路径长度和子路径的路径概率确定每个子路径的奖励值的步骤中，基于如下公式计算每个子路径的奖励值：

其中，F(V,U)表示以V为起始顶点，且以U为结束顶点的子路径的奖励值；M(V,E)表示子路径的起始顶点V到所述行驶路径的终点顶点E的最短距离；M(U,E)表示子路径的结束顶点U到所述行驶路径的终点顶点E的最短距离；D(v,U)表示以V为起始顶点，且以U为结束顶点的子路径的距离；P(V,U)表示以V为起始顶点，且以U为结束顶点的子路径的路径概率，E顶点为所述行驶路径的终点顶点。

本发明的第二方面还提供一种基于最短路径和历史经验的路径预测装置，该装置包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如前所述方法所实现的步骤。

本发明的第三方面还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述基于最短路径和历史经验的路径预测方法所实现的步骤。

本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出并获得。

本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。

图1为本发明基于最短路径和历史经验的路径预测方法一种实施方式的示意图；

图2为对图1中S100步骤展开的示意图；

图3为对图1中S100步骤另一种展开方式的示意图；

图4为道路地图的示意图；

图5为构建行驶路径的一种实施方式的示意图；

图6为计算奖励值的示意图；

图7为模型训练步骤的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

现有技术介绍：

现有技术一采用经典的路径规划/预测算法，如A-star，迪杰斯特拉算法，为用户预测路径。

现有技术一的缺点：实际出行中，除了最短路径的考虑外，出行者还会根据实际路况，自身出行需求进行路径规划。因此，基于最短路径的预测思路，并未考虑和利用历史的出行数据，在短程的路径预测中通常不会有较大的偏差，而在道路距离较远，长度较大的时候则会和历史数据集中的真实路径差异较大。

现有技术二采用一些传统的概率预测模型，如LSTM长短时记忆网络模型，完全按出行的历史经验进行路径预测。

现有技术二的缺点：历史数据集具有自身局限性，在城市道路较为密集的区域，会有较多的分布，而在人烟稀少的地区几乎很少有具体的出行数据。完全基于经验预测的方式，在用于训练的数据集上表现良好，可一旦应用于实际，容易预测出一条舍近求远的，尽可能往历史上最密集道路靠拢的路径，这条路径难以保证用户最终能到达终点。

为解决以上问题，如图1所示，本发明提出一种基于最短路径和历史经验的路径预测方法，所述方法的步骤包括：

步骤S100，获取道路地图和车辆行驶散点，基于所述车辆行驶散点的坐标将所述车辆行驶散点表示在所述道路地图中，得到行驶路径；

如图4所示，在具体实施过程中，所述道路地图为提取实际地图的道路，以实际地图的道路构成的地图；所述车辆行驶散点为车辆行驶过程中，每个预设时间所采集的车辆位置信息，所述预设时间可以为30s，所述车辆可以为出租车。

本发明中参照和提取的历史出行数据，记录了多位城市出租车司机一个月内每天不同时刻，在城市道路中打表，驾驶和停靠时所处的经纬位置散点信息。由于这些散点可能分布于城市网络的道路之间，而非落于城市网络的顶点上，因此，需要经过细致的数据处理才能提炼出历史数据中的路径信息。

根据历史打表数据，按个体分类散点信息；历史的出行数据包含以下信息：每辆出租车的编号(ID)，记录日期(Day)，记录时刻(Time)，经度(Longitude)和纬度(Latitude)。先依照日期对历史数据进行切片，以达到将不同日期的路径分开的目的；然后根据出租车的编号，提取不同出租车在不同日期内的路径散点信息。

步骤S200，所述道路地图中包括边和顶点，将所述行驶路径中每两个顶点之间的路径作为所述行驶路径的子路径，基于最短路径算法计算每条子路径中结束顶点和所述行驶路径的终点顶点的历史经验计算路径概率；

在具体实施过程中，所述道路地图中的边为以实线表示的道路，所述道路地图中的顶点为道路的交点或道路的起点或终点。

在具体实施过程中，所述子路径为所述行驶路径中相互连接的相邻顶点之间的路径；所述子路径的两个顶点的分别为起始顶点和结束顶点，所述行驶路径的首个顶点为起点顶点，最后一个顶点为终点顶点。

采用上述方案，本发明将城市网络进行“路网映射”，以每个道路交汇点作为图网络中的顶点，每条道路作为图网络的边，道路的距离作为边的权值来构建一块包含点和边的图网拓扑结构，本发明从收集到的城市出租车历史出行数据中提取相应的路径信息和经验信息。路径信息包括每位出租车司机在其出行轨迹中位于每个道路交汇点所做的转向选择，每条路径表示为：从起点至终点所经过的所有道路交汇点的集合。经验信息包含出租车司机在驾驶过程中对实际路况和驾驶经验的判断，将其量化为：历史出行数据里，从某个道路交汇点出发，最终到达另一道路交汇点的概率分布。

本发明所述的路网映射，意义在于将具体形象的城市道路网络(RoadNetwork)映射为计算机可识别处理的图网络(Graph Network)数据结构。网络中的顶点和边基于真实道路的具体信息决定，其意义与取值分别如下：

顶点(Veretx)：城市网络中具体的道路交汇点，如：十字路口、环岛路口和分岔路口等。每个顶点包含所处道路交汇点的经纬坐标信息；

边(Edge)：城市网络中具体的道路，如：X街，Y路和Z大道等。每条边都包含两个不同顶点A和B，代表着从一个道路交汇点A可以直接到达另一个道路交汇点B。每条边都有一个固定的权值(Weight)，代表着这条道路的具体长度，以米(m)作单位。

步骤S300，基于所述子路径中两个顶点与所述行驶路径的终点顶点的最短路径长度和子路径的路径概率确定每个子路径的奖励值；

在具体实施过程中，所述最短路径的计算方法可以为A-star或迪杰斯特拉算法等。

步骤S400，基于所述行驶路径的总奖励值对预设的深度强化学习模型进行训练，完成训练的所述深度强化学习模型接收路径起点和路径终点，并输出预测路径。

所述路径起点和路径终点为所需预测路径的起点和终点的位置参数。

采用上述方案，本方案以最短路径和经验预测的思路，基于城市出租车历史出行数据和城市道路网络模型，构建基于最短路径和经验预测两个维度的深度强化学习训练神经网络，结合多个维度进行路径预测，提高预测结果准确度，能够为出行者预测一条完整的，贴近历史经验和实际道路的路径。本方案针对网络路径预测中较难同时基于历史经验和最短路径进行准确预测的问题，提供了一种基于历史经验和最短路径的路径预测方法，能够从历史的出行数据中提取轨迹和历史经验信息，并通过强化学习的方式预测处一条较准确的出行路径。

在本发明的一些实施方式中，在基于所述行驶路径的总奖励值对预设的深度强化学习模型进行训练的步骤中，采用反向传播算法基于所述总奖励值对所述深度强化学习模型的模型参数进行更新。

如图2所示，在本发明的一些实施方式中，基于所述车辆行驶散点的坐标将所述车辆行驶散点表示在所述道路地图中，得到行驶路径的步骤还包括：步骤S110，获取道路地图和车辆行驶散点，将每个车辆行驶散点归属于与该车辆行驶散点最近的顶点；步骤S120，并基于车辆行驶散点的记录时间顺序连接车辆行驶散点所归属的顶点，得到行驶路径。

如图5所示，在具体实施过程中，根据分类后的散点，规约至最近道路顶点；对每条路径，将路径中包含的经纬散点信息归附到城市网络中与自身相邻的道路交汇点上。

采用上述方案，根据规约后的顶点，确定历史真实路径；考虑到历史数据里，两次时间间隔较远的连续打表散点，归附到各自最近顶点后可能不存在相应边的情况。由于出租车规定的打表间隔较短，可以认为两点相距不会过远，对不相邻的两点，本发明依照最短路径确定其之间的道路。

如图3所示，在本发明的一些实施方式中，所述基于车辆行驶散点的记录时间顺序连接车辆行驶散点所归属的顶点，得到行驶路径的步骤还包括：

步骤S130，确定所述行驶路径中子路径是否处于所述道路地图的边上；

步骤S140，若所述子路径未处于所述道路地图的边上则计算所述子路径两端的顶点的最短路径，重新构建所述行驶路径。

在具体实施过程中，若所述子路径均处于所述道路地图的边上，则不需重新构建所述行驶路径。

在本发明的一些实施方式中，在基于最短路径算法计算每条子路径中结束顶点和所述行驶路径的终点顶点的历史经验计算路径概率的步骤中，获取历史经验数据库中包括当前子路径两个顶点中的结束顶点的历史路径数量，及同时包括子路径中结束顶点和所述行驶路径的终点顶点的历史路径数量，基于历史经验数据库中包括当前子路径的结束顶点的历史路径数量，及同时包括子路径中结束顶点和所述行驶路径的终点顶点的历史路径数量计算所述子路径的路径概率。

在本发明的一些实施方式中，在基于历史经验数据库中包括当前子路径的结束顶点的历史路径数量，及同时包括子路径中结束顶点和所述行驶路径的终点顶点的历史路径数量计算所述子路径的路径概率的步骤中，根据如下公式计算所述子路径的路径概率：

其中，P(V,U)表示以V为起始顶点，且以U为结束顶点的子路径的路径概率，C(E)表示历史经验数据库中包括E顶点的历史路径的数量，C(U,E)表示历史经验数据库中同时包括V顶点和E顶点的历史路径的数量。

在本发明的一些实施方式中，所述基于最短路径算法计算每条子路径中两个顶点与所述行驶路径的终点顶点的最短路径长度的步骤还包括计算所述子路径的长度，在基于所述子路径中两个顶点与所述行驶路径的终点顶点的最短路径长度和子路径的路径概率确定每个子路径的奖励值的步骤中，基于所述子路径中两个顶点与所述行驶路径的终点顶点的最短路径长度、子路径的长度和子路径的路径概率确定每个子路径的奖励值。

在本发明的一些实施方式中，在基于所述子路径中两个顶点与所述行驶路径的终点顶点的最短路径长度和子路径的路径概率确定每个子路径的奖励值的步骤中，基于如下公式计算每个子路径的奖励值：

其中，F(V,U)表示以V为起始顶点，且以U为结束顶点的子路径的奖励值；M(V,E)表示子路径的起始顶点V到所述行驶路径的终点顶点E的最短距离；M(U,E)表示子路径的结束顶点U到所述行驶路径的终点顶点E的最短距离；D(V,U)表示以V为起始顶点，且以U为结束顶点的子路径的距离；P(V,U)表示以V为起始顶点，且以U为结束顶点的子路径的路径概率。

由历史轨迹和历史经验，我们可以假设：当人类参与者位于某个顶点V时，其受到来自相邻顶点对自己施加的“牵引力”F(V，U)，即以V为起始顶点，且以U为结束顶点的子路径的奖励值。顶点U是顶点V的相邻顶点之一，则牵引力F表达由顶点V出发，以顶点U作为到达终点的路径中下一个顶点的可能程度。

如图6所示，牵引力F的大小将同时受到两个因素影响，其一是相邻顶点V和U距离终点E的相对最短路径。考虑到尽管人类参与者在驾驶过程中通常不会刻意做出中途折返的决策，实际驾驶过程是一个从起点逐渐逼近终点的过程。因此，当顶点U距终点E的最短路径长度比顶点V距终点E的最短路径长度要短时，U应该对V施加正向牵引力，反之，则施加反向的牵引力。

同时，考虑到实际的驾驶状况，如：当某条道路状况较为良好，尽管从城市网络来看，从该道路到达终点的路径并非最短路径，司机可能依然愿意在路径规划里包含该道路。本发明基于历史经验信息，在不改变牵引力方向的同时，为牵引力附着一个历史经验因子，使其与相对最短路径共同调节牵引力的大小。

路径预测过程可以理解为一次马尔科夫决策过程，当人类参与者位于网络中的某个顶点(即网络中的道路交汇点)时，可以认为其位于决策过程中的某个状态(State)，网络中包含该顶点的边(网络中可供选择的道路)可视作人类参与者可选择的行为(Action)，当人类参与者做出选择后，将会到达下一个顶点，即新的状态。本发明基于上述的牵引力机制设计奖励(Reward)，采用深度强化学习算法，模拟人类参与者的驾驶过程，训练神经网络。

采用上述方案，本发明基于最短路径和历史经验，计算从起点顶点到终点顶点间每个道路交汇点对人类参与者所产生的“牵引力”。当人类参与者位于城市网络中的某个道路交汇点时，与该道路交汇点相邻的顶点都将对其形成一股“牵引力”。由于该“牵引力”同时考虑到最短路径的影响和历史路径经验的影响，因此，当某个相邻的道路交汇点对人类参与者的“牵引力”越大，人类参与者到达该道路交汇点的可能性越高。

如图7所示，具体预训练过程可以为：

1.初始化终点、最大步长、经验池和训练总次数。

2.每一次训练开始时，将初始状态设为城市网络中的随机顶点，步长清零，并将先前累计的奖励归零。

3.基于一定的概率，决定是否基于学习结果，或随机选择一个行为。每做出一次行为后，更新当前的状态，基于牵引力大小得到相应奖励。当完成这一过程后，当前步长增加一步。

4.将每一步的决策过程视为一次经验，存入经验池中，每次从经验池中抽取若干个经验进行学习。

5.重复3和4，直到当前状态为终点或超出步长最大步长时，视为一次训练。

6.重复2至5，当完成训练总次数时，网络训练完毕，保存对应的网络权重。

在完成神经网络的训练后，当指定起点和终点时，要预测一条从起点到终点的路径时，可以调用对应终点的网络权重。

本方案首先获得完成预训练的深度强化学习模型，在通过在线训练的方式，进一步优化深度强化学习模型。

综上，本发明基于强化学习算法，将人类参与者具体的出行过程抽象为马尔科夫决策过程，将人类参与者所处的道路交汇点视为状态，将可选择的道路视为行为，基于计算的道路牵引力设计奖励，设计强化学习网络，预测一条从起点到终点间总收益最高的路径。

本方案将强化学习思想引入具体的路径预测问题中，将路径中诸多的道路交汇点选择，转化为一次马尔科夫决策过程，并围绕顶点之间的牵引力来设计奖励，从而做到预测出较为准确的路径，满足背景里群智感知的感知需求，为后续数据收集活动的开展做好基础。

本发明实施例还提供一种基于最短路径和历史经验的路径预测装置，该装置包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如前所述方法所实现的步骤。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述基于最短路径和历史经验的路径预测方法所实现的步骤。该计算机可读存储介质可以是有形存储介质，诸如随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、软盘、硬盘、可移动存储盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。

本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，做出各种改变、修改和添加，或者改变步骤之间的顺序。

本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于最短路径和历史经验的路径预测方法，其特征在于，所述方法的步骤包括：

获取道路地图和车辆行驶散点，基于所述车辆行驶散点的坐标将所述车辆行驶散点表示在所述道路地图中，得到行驶路径；

所述道路地图中包括边和顶点，将所述行驶路径中每两个顶点之间的路径作为所述行驶路径的子路径，基于最短路径算法计算每条子路径中结束顶点和所述行驶路径的终点顶点的历史经验计算路径概率；

基于所述子路径中两个顶点与所述行驶路径的终点顶点的最短路径长度和子路径的路径概率确定每个子路径的奖励值，基于最短路径算法计算每条子路径中两个顶点与所述行驶路径的终点顶点的最短路径长度和子路径的长度，基于所述子路径中两个顶点与所述行驶路径的终点顶点的最短路径长度、子路径的长度和子路径的路径概率确定每个子路径的奖励值，基于如下公式计算每个子路径的奖励值：

其中，F(V,U)表示以V为起始顶点，且以U为结束顶点的子路径的奖励值；M(V,E)表示子路径的起始顶点V到所述行驶路径的终点顶点E的最短距离；M(U,E)表示子路径的结束顶点U到所述行驶路径的终点顶点E的最短距离；D(V,U)表示以V为起始顶点，且以u为结束顶点的子路径的距离；P(V,U)表示以V为起始顶点，且以U为结束顶点的子路径的路径概率，E顶点为所述行驶路径的终点顶点；

基于所述行驶路径的总奖励值对预设的深度强化学习模型进行训练，完成训练的所述深度强化学习模型接收路径起点和路径终点，并输出预测路径。

2.根据权利要求1所述的基于最短路径和历史经验的路径预测方法，其特征在于，在基于所述行驶路径的总奖励值对预设的深度强化学习模型进行训练的步骤中，采用反向传播算法基于所述总奖励值对所述深度强化学习模型的模型参数进行更新。

3.根据权利要求1所述的基于最短路径和历史经验的路径预测方法，其特征在于，基于所述车辆行驶散点的坐标将所述车辆行驶散点表示在所述道路地图中，得到行驶路径的步骤还包括：将每个车辆行驶散点归属于与该车辆行驶散点最近的顶点，并基于车辆行驶散点的记录时间顺序连接车辆行驶散点所归属的顶点，得到行驶路径。

4.根据权利要求3所述的基于最短路径和历史经验的路径预测方法，其特征在于，所述基于车辆行驶散点的记录时间顺序连接车辆行驶散点所归属的顶点，得到行驶路径的步骤还包括：

确定所述行驶路径中子路径是否处于所述道路地图的边上；

若所述子路径未处于所述道路地图的边上则计算所述子路径两端的顶点的最短路径，重新构建所述行驶路径。

5.根据权利要求1所述的基于最短路径和历史经验的路径预测方法，其特征在于，在基于最短路径算法计算每条子路径中结束顶点和所述行驶路径的终点顶点的历史经验计算路径概率的步骤中，获取历史经验数据库中包括当前子路径两个顶点中的结束顶点的历史路径数量，及同时包括子路径中结束顶点和所述行驶路径的终点顶点的历史路径数量，基于历史经验数据库中包括当前子路径的结束顶点的历史路径数量，及同时包括子路径中结束顶点和所述行驶路径的终点顶点的历史路径数量计算所述子路径的路径概率。

6.根据权利要求5所述的基于最短路径和历史经验的路径预测方法，其特征在于，在基于历史经验数据库中包括当前子路径的结束顶点的历史路径数量，及同时包括子路径中结束顶点和所述行驶路径的终点顶点的历史路径数量计算所述子路径的路径概率的步骤中，根据如下公式计算所述子路径的路径概率：

其中，P(V,U)表示以V为起始顶点，且以U为结束顶点的子路径的路径概率，C(E)表示历史经验数据库中包括E顶点的历史路径的数量，C(U,E)表示历史经验数据库中同时包括U顶点和E顶点的历史路径的数量，E顶点为所述行驶路径的终点顶点。

7.一种基于最短路径和历史经验的路径预测装置，其特征在于，该装置包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如权利要求1～6任一项所述方法所实现的步骤。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时以实现如权利要求1～6任一项所述方法所实现的步骤。