CN113902427A - 一种预估到达时间的确定方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种预估到达时间的确定方法、装置、设备及存储介质，相关实施例可应用于云技术、人工智能、智慧交通等各种场景，用于提高预估到达时间的准确性。本申请实施例方法包括：从目标路线中获取第t个路段和第t+1个路段，其中，t为大于或等于1的整数，获取第t个路段的路段特征，其中，路段特征包括路段限速、路段地形、路段里程以及路段自由流速，将第t个路段的路段特征输入时间预估模型，通过时间预估模型输出第t个预估到达时间，获取第t+1个路段的路段特征，将第t+1个路段的路段特征和第t个预估到达时间输入时间预估模型，通过时间预估模型输出第t+1个预估到达时间。

Description

一种预估到达时间的确定方法、装置、设备及存储介质

技术领域

本申请实施例涉及云计算技术领域，尤其涉及一种预估到达时间的确定方法、装置、设备及存储介质。

背景技术

随着定位设备、导航电子地图的普及，以及车辆普及带来的人们活动区域越来越大，驾车用户对导航产品的依赖性也越来越强。尤其是当目的地经过的道路不熟悉的时候，用户就会依赖导航产品为用户提供规划路线以及到达时间的预估等功能。

目前对于到达时间的预估一般是基于规则的逐路段累加方法依赖人工经验，根据每个路段的长度、速度、红绿灯等状况，估计出每个路段的通过时间，再加上每个路口的通过时间，这样累加起来，就构成了整条路线的总时间，但是，这种方法对人工经验的依赖很强，并且，由于现实路况十分复杂，通过人为设定的规则无法覆盖各种情形，导致获取到的路线时间的准确率不高。

发明内容

本申请实施例提供了一种预估到达时间的确定方法、装置、设备及存储介质，用于通过当前路段的预估到达时间以及路段特征不断地迭代推算与当前路段相邻的下一个路段的预估到达时间，能够减少各个路段产生的累积误差的情况，且无需依赖于人工经验，避免人为设定的规则的影响，从而能够提高预估到达时间的准确性。

本申请实施例一方面提供了一种预估到达时间的确定方法，包括：

从目标路线中获取第t个路段和第t+1个路段，其中，t为大于或等于1的整数；

获取第t个路段的路段特征，其中，路段特征包括路段限速、路段地形、路段里程以及路段自由流速；

将第t个路段的路段特征输入时间预估模型，通过时间预估模型输出第t个预估到达时间；

获取第t+1个路段的路段特征；

将第t+1个路段的路段特征和第t个预估到达时间输入时间预估模型，通过时间预估模型输出第t+1个预估到达时间。

本申请另一方面提供了一种预估到达时间的确定装置，包括：

获取单元，用于从目标路线中获取第t个路段和第t+1个路段，其中，t为大于或等于1的整数；

获取单元，还用于获取第t个路段的路段特征，其中，路段特征包括路段限速、路段地形、路段里程以及路段自由流速；

处理单元，用于将第t个路段的路段特征输入时间预估模型，通过时间预估模型输出第t个预估到达时间；

获取单元，还用于获取第t+1个路段的路段特征；

处理单元，还用于将第t+1个路段的路段特征和第t个预估到达时间输入时间预估模型，通过时间预估模型输出第t+1个预估到达时间。

在一种可能的设计中，本申请实施例另一方面的一种实现方式中，

获取单元，还用于接收目标终端设备发送的路线查询请求，并获取路线查询请求的触发时刻；

获取单元，还用于获取与路线查询请求的触发时刻对应的目标路线上的车辆实况速度；

处理单元具体可以用于：

将车辆实况速度以及第t个路段的路段特征输入时间预估模型，通过时间预估模型输出第t个预估到达时间；

处理单元具体可以用于：

将车辆实况速度、第t+1个路段的路段特征和第t个预估到达时间输入时间预估模型，通过时间预估模型输出第t+1个预估到达时间。

在一种可能的设计中，本申请实施例另一方面的一种实现方式中，获取单元具体可以用于：

获取触发时刻在目标路线上行驶的各个车辆的行驶速度；

对各个车辆的行驶速度进行加权取平均计算，得到车辆实况速度。

在一种可能的设计中，本申请实施例另一方面的一种实现方式中，

确定单元，用于根据触发时刻、第t个预估到达时间以及第t+1个预估到达时间，确定目标路线的全程预估到达时间和达到时刻；

处理单元，还用于向目标终端设备推送目标路线的全程预估到达时间和达到时刻。

在一种可能的设计中，本申请实施例另一方面的一种实现方式中，

处理单元，还用于将各个路段对应的预估到达时间分别作为各个路段对应的路段权重；

确定单元，还用于根据各个路段的路段特征以及各个路段对应的路段权重，确定目标路线的拥堵路段；

处理单元，还用于向目标终端设备推送目标路线上的拥堵路段。

在一种可能的设计中，本申请实施例另一方面的一种实现方式中，

获取单元，还用于获取若干个历史路线轨迹，其中，至少两个历史路线轨迹来自同一路线；

获取单元，还用于针对于每个历史路线轨迹，获取第N个路段的历史路段特征，其中，N为大于或等于1的整数；

处理单元，还用于将第N个路段的历史路段特征输入时间预估模型，通过时间预估模型输出第N个期望时间以及第N个标准差；

处理单元，还用于根据第N个期望时间以及第N个标准差构造第N个损失函数；

处理单元，还用于根据第N个损失函数对应时间预估模型进行参数更新。

在一种可能的设计中，本申请实施例另一方面的一种实现方式中，

处理单元，还用于根据第N个路段的历史路段特征中的路段历史自由流速和路段里程计算第N个历史行驶时间；

处理单元，还用于根据第N个历史行驶时间、第N个期望时间以及第N个标准差获取第N个奖赏；

处理单元具体可以用于：根据第N个奖赏、第N个期望时间以及第N个标准差构造第N个损失函数。

在一种可能的设计中，本申请实施例另一方面的一种实现方式中，处理单元具体可以用于：

获取第N个历史行驶时间与第N个期望时间之间的平方差；

将平方差作为第N个奖赏。

在一种可能的设计中，本申请实施例另一方面的一种实现方式中，处理单元具体可以用于：

获取第N个历史行驶时间、第N个期望时间以及第N个方差之间的负对数似然值；

将负对数似然值作为第N个奖赏。

在一种可能的设计中，本申请实施例另一方面的一种实现方式中，

获取单元，还用于针对于每个历史路线轨迹，获取历史全程预估到达时间以及历史实际达到时间；

处理单元，还用于根据历史全程预估到达时间以及历史实际达到时间计算路线奖赏；

处理单元，还用于根据路线奖赏和第N个奖赏计算第N个累积奖赏；

处理单元具体可以用于：根据第N个累积奖赏、第N个期望时间以及第N个标准差构造第N个损失函数。

在一种可能的设计中，本申请实施例另一方面的一种实现方式中，处理单元具体可以用于：

获取历史全程预估到达时间与历史实际达到时间之间的历史平方差；

将历史平方差作为路线奖赏。

在一种可能的设计中，本申请实施例另一方面的一种实现方式中，处理单元具体可以用于：

获取历史全程预估到达时间与历史实际达到时间之间的差值绝对值；

将差值绝对值作为路线奖赏。

本申请另一方面提供了一种计算机设备，包括：存储器、收发器、处理器以及总线系统；

其中，存储器用于存储程序；

处理器用于执行存储器中的程序时实现如上述各方面的方法；

总线系统用于连接存储器以及处理器，以使存储器以及处理器进行通信。

本申请的另一方面提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面的方法。

本申请的一个方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任一方面所提供的文本类别的确定方法。

从以上技术方案可以看出，本申请实施例具有以下优点：

通过从目标路线中获取第t个路段和第t+1个路段，并获取第t个路段的路段特征，进而，可以将第t个路段的路段特征输入时间预估模型，通过时间预估模型输出第t个预估到达时间，然后，获取第t+1个路段的路段特征，并将第t+1个路段的路段特征和第t个预估到达时间输入时间预估模型，通过时间预估模型输出第t+1个预估到达时间。通过上述方式，能够通过获取各个路段的路段特征，并通过第t个预估到达时间以及第t+1个路段的路段特征来实现对第t+1个预估到达时间的预估，能够基于强化学习算法，通过当前路段的预估到达时间以及路段特征不断地迭代推算与当前路段相邻的下一个路段的预估到达时间，能够减少各个路段产生的累积误差的情况，且无需依赖于人工经验，避免人为设定的规则的影响，从而能够提高预估到达时间的准确性。

附图说明

图1是本申请实施例中道路数据控制系统的一个架构示意图；

图2是本申请实施例中预估到达时间的确定方法的一个实施例流程图；

图3是本申请实施例中预估到达时间的确定方法的另一个实施例流程图；

图4是本申请实施例中预估到达时间的确定方法的另一个实施例流程图；

图5是本申请实施例中预估到达时间的确定方法的另一个实施例流程图；

图6是本申请实施例中预估到达时间的确定方法的另一个实施例流程图；

图7是本申请实施例中预估到达时间的确定方法的另一个实施例流程图；

图8是本申请实施例中预估到达时间的确定方法的另一个实施例流程图；

图9是本申请实施例中预估到达时间的确定方法的另一个实施例流程图；

图10是本申请实施例中预估到达时间的确定方法的一个路线显示界面示意图；

图11是本申请实施例中预估到达时间的确定方法的预估时长可达圈的示意图；

图12是本申请实施例中预估到达时间的确定装置的一个实施例示意图；

图13是本申请实施例中计算机设备的一个实施例示意图。

具体实施方式

本申请实施例提供了一种预估到达时间的确定方法、装置、设备及存储介质，用于通过当前路段的预估到达时间以及路段特征不断地迭代推算与当前路段相邻的下一个路段的预估到达时间，能够减少各个路段产生的累积误差的情况，且无需依赖于人工经验，避免人为设定的规则的影响，从而能够提高预估到达时间的准确性。

本申请的说明书和权利要求书及附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“对应于”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

而随着信息的飞速发展，云技术（Cloud technology）也逐渐走入人们生活的方方面面。云技术是基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。

其中，云安全(Cloud Security) 是指基于云计算商业模式应用的安全软件、硬件、用户、机构、安全云平台的总称。云安全融合了并行处理、网格计算、未知病毒行为判断等新兴技术和概念，通过网状的大量客户端对网络中软件行为的异常监测，获取互联网中木马、恶意程序的最新信息，并发送到服务端进行自动分析和处理，再把病毒和木马的解决方案分发到每一个客户端。本申请实施例提供的预估到达时间的确定方法就可以通过云计算技术以及云安全技术来实现。

下面对本申请实施例中涉及的部分概念进行介绍。

1、ETA

到达时间预估(Estimated Time of Arrival ,ETA)是地图软件中的一个基础功能，其功能为针对地图上的一条路线和出发时间，给出走完这条路线所要的时间。

2、路线和路段

在地图应用中，路线是一条完整的连接起点和终点的线路，实际场景中，通常一条路线的长度在一公里到几十公里的范围内。 路线是用路段(link)的序列来表达的。在地图数据中，道路被划分为一段一段的线段，这些线段的长度在几十米到几公里不等，每个线段称为一个路段，并被赋予一个全局唯一的路段标识码（identity，ID），路段标识码可以具体表现为整数（int）型的数字串，也可以具体表现为字符串等，因此，地图中的一条路线，就是这条路线中所有路段组成的序列。

在本申请实施例中，将一条路线划分为多个路段的方法不限，例如，可以根据路线中的节点将路线划分为多个路段，相邻节点之间为一个路段；也可以根据道路等级划分路段，即路线中道路等级不变的一段道路作为一个路段。此外，将一条路线中包含的路段数量也不限。

3、ATA

在地图服务的历史数据中，可以提取出一条路线的实际到达时间(Actual Timeof Arrival，ATA)，因此可以使用这一数据作为样本值来训练机器学习算法，得到模型参数。

4、路况推演

在一个路线的一次ETA预估过程，需要不断的推演车辆从第一个路段的起点开始到达下一个路段的起点的时间，并预测当时的路况，不断推演下去，直到到达终点。

5、方差

方差(Var)是在概率论和统计方差衡量随机变量或一组数据时离散程度的度量。概率论中方差用来度量随机变量和其数学期望(即均值)之间的偏离程度。统计中的方差(样本方差)是每个样本值与全体样本值的平均数之差的平方值的平均数。在许多实际问题中，究方差即偏离程度有着重要意义。在统计描述中，方差用来计算每一个变量(观察值)与总体均数之间的差异。为避免出现离均差总和为零，离均差平方和受样本含量的影响，统计学采用平均离均差平方和来描述变量的变异程度。

应理解，本申请提供的预估到达时间的确定方法可以应用于云技术、人工智能、智慧交通等领域，用于通过预估到达时间实现路线推荐或评价等场景。需要说明的是，下文提及的应用场景仅是为了便于理解本申请的原理而示出，本申请实施例在此方面不受任何限制。相反，本申请实施例可以应用于适用的任何场景。

作为示例，例如当目标对象需要利用导航软件规划路线时，可以操作终端设备，在终端设备的离线地图中输入起点和终点，或者直接选定起点和终点等，使得终端设备响应于目标对象的操作，可以根据这些信息确定起点与终点之间的若干条候选路线，计算出每条候选路线的预计到达时间，然后从中选择一条预计到达时间最短的路线，向终端设备推送。此外，若终端设备中安装有电子地图的客户端时，客户端还可以响应于目标对象的操作，将起点和终点数据向服务器发送，由服务器根据起点与终点确定若干条候选路线，计算出每条候选路线的预计到达时间，然后从中选择一条预计到达时间最短的路线，发送回客户端。

作为另一示例，例如终端设备中的客户端进入导航状态以后，即已确定了路线和终点，每隔预定时长，终端设备将定位位置发送至服务器，服务器将接收到定位位置作为起点，又根据路线和终点，计算出当前时刻对应的预计到达时间，进而计算出剩余路程所需的行驶时长并反馈至终端设备，从而使用终端设备的目标对象可以获知剩余的行驶时长，方便目标对象安排行程。

作为另一示例，例如终端设备将目标对象输入的起点发送至服务器，使得服务器可以根据接收到的位置作为起点，计算预估时间后每条路线中的终点位置，从而形成预估时长可达圈。图10示出了一个预估时长可达圈的示意图。如图10所示，以点O为起点，沿图10中4条不同路线行驶经过半小时后，分别可以到达位置A、B、C、D，将点A、B、C、D依次连接，得到如图10中所示的半小时可达圈。服务器可以将该预估时长可达圈发送至终端设备，或者基于该预估时长可达圈将圈内的信息发送至终端设备，从而方便目标对象了解地点O周边的情况。

作为另一示例，例如外卖后台服务器在派发外卖订单时，可以先根据供应对象（如商家）的位置作为起点，目标对象（如客户）的位置作为终点，计算每一个外卖订单对应的路线耗时，从而依据路线耗时更好地给工作对象（如配送员）派单，优化派单结果，提高配送效率。

作为另一示例，例如目标对象利用客户端打车时，终点设备将当前位置发送至服务器，服务器将各工作对象（如出租车司机）的当前位置作为起点，目标对象的当前位置作为终点，计算每个工作对象行驶车辆到达目标对象位置的时长，从而更好的安排工作对象接单，提高客运效率。

作为另一示例，例如目标对象利用客户端制定旅游路线攻略时，客户端还可以响应于目标对象的操作，将起点和终点数据向服务器发送，由服务器根据起点与终点确定若干条候选路线，计算出每条候选路线的预计到达时间，然后根据预计到达时间评价各路线的优劣，发送回客户端，方便目标对象安排旅游行程。

在上述种种场景中，为了完成预估路线的到达时间，通常是根据每个路段的长度、速度、红绿灯等状况，估计出每个路段的通过时间，再加上每个路口的通过时间，来累加得到整条路线的总时间，但是，这种方法对人工经验的依赖很强，并且，由于现实路况十分复杂，通过人为设定的规则无法覆盖各种情形，从而导致获取到的路线时间的准确率不高。

为了解决上述问题，本申请提出了一种预估到达时间的确定方法，该方法应用于图1所示的道路数据控制系统，请参阅图1，图1为本申请实施例中道路数据控制系统的一个架构示意图，如图1所示，服务器通过接收目标终端设备发送的路线查询请求，可以根据路线查询请求确定目标路线，进而可以从目标路线中获取第t个路段和第t+1个路段，并获取第t个路段的路段特征，可以将第t个路段的路段特征输入时间预估模型，通过时间预估模型输出第t个预估到达时间，然后，获取第t+1个路段的路段特征，并将第t+1个路段的路段特征和第t个预估到达时间输入时间预估模型，通过时间预估模型输出第t+1个预估到达时间。通过上述方式，能够通过获取各个路段的路段特征，并通过第t个预估到达时间以及第t+1个路段的路段特征来实现对第t+1个预估到达时间的预估，能够基于强化学习算法，通过当前路段的预估到达时间以及路段特征不断地迭代推算与当前路段相邻的下一个路段的预估到达时间，能够减少各个路段产生的累积误差的情况，且无需依赖于人工经验，避免人为设定的规则的影响，从而能够提高预估到达时间的准确性。

可以理解的是，图1中仅示出了一种终端设备，在实际场景中可以由更多种类的终端设备参与到数据处理的过程中，终端设备包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端等，具体数量和种类因实际场景而定，具体此处不做限定。另外，图1中示出了一个服务器，但在实际场景中，也可以有多个服务器的参与，特别是在多模型训练交互的场景中，服务器的数量因实际场景而定，具体此处不做限定。

需要注意的是，本实施例中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络（contentdelivery network，CDN）、以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，终端设备以及服务器可以连接组成区块链网络，本申请在此不做限制。

为了解决上述问题，本申请提出了一种预估到达时间的确定方法，该方法一般由服务器或终端设备执行，相应地，应用于预估到达时间的确定装置一般设置于服务器或终端设备中。

可以理解的是，如本申请所公开的预估到达时间的确定方法、装置、设备及存储介质，其中多个服务器或终端设备可以组成为一区块链，而服务器或终端设备为区块链上的节点。在实际应用中，可以在区块链中需要进行节点与节点之间的数据共享，每个节点上可以存储有车辆数据以及路况数据等。

下面将对本申请中预估到达时间的确定方法进行介绍，请参阅图2，本申请实施例中预估到达时间的确定方法一个实施例包括：

在步骤S101中，从目标路线中获取第t个路段和第t+1个路段，其中，t为大于或等于1的整数；

在本实施例中，当目标对象需要利用电子地图查询路线或规划路线时，可以操作终端设备安装的电子地图的客户端，使得客户端可以响应于目标对象的操作，将携带有起点和终点数据的路线查询请求发送至服务器，服务器可以根据接收到的路线查询请求中携带的起点与终点确定若干条候选路线，即目标路线，进而，可以将每条目标路线划分为若干个路段，以获取到第t个路段和第t+1个路段。

具体地，通过目标对象操作终端设备使得终端设备或服务器可以获取起点和终点，具体可以是通过目标对象在终端设备的客户端中输入起点的标识和终点的标识，如地点名称，终端设备或者服务器基于标识，可以确定起点的具体位置以及终点的具体位置。如图9所示，通过目标对象可以在“请输入起点”位置输入起点的标识S1，在“请输入终点”的位置输入终点的标识S2，则终端设备或服务器可以确定起点和终点；或者，也可以是通过目标对象在客户端显示的地图中直接选定起点和终点，如目标对象点击或将光标移动至地图中的起点位置，客户端响应于目标对象的点击操作或光标移动操作确定起点，同理，可以确定终点；或者，还可以是通过终端设备中设置的定位单元，可以是卫星定位芯片，具有卫星通信功能，使得终端设备可以通过定位单元与定位卫星直接通信，从而能收实施收集到定位信息，然后，终端设备可以将实时收集到的定位信息发送给服务器，从而使得服务器也能收实施获取终端设备的定位信息，此时，目标对象可以将当前位置作为起点，或者将当前位置作为终点，以生成定位信息，从而服务器可以根据定位信息确定具体的起点或者终点。此外，应当理解，本实施例及后续实施例中，目标对象均指的是终端设备的使用者。

进一步地，服务器确定了起点和终点后，可以确定出起点和终点之间的多条路线，其中，服务器可以将每一条路线均作为目标路线，确定每一条路线的最终预估时间，或者，服务器基于预设的规则从多条路线中选择一条作为目标路线，再或者，服务器将路线向终端设备发送，目标对象基于终端设备的显示，选择一条路线作为目标路线。

进一步地，由于路线可以通过路段的序列来表达的，且在地图数据中，可以将每条路线划分为若干个路段，且每一个路段都被赋予一个全局唯一的ID，因此，服务器可以根据唯一的ID，从目标路线中获取到第t个路段以及第t+1个路段，以使后续可以充分考虑每个路段的路段情形来准确获取每个路段的到达时间，再进一步预估目标路线的到达时间，从而能够在一定程度上提高获取目标路线的预估达到时间准确率，其中，路线中路段的划分方式不做限制，例如可以按照路口进行划分，即将相邻路口之间的路线部分作为一个路段；或者例如可以按照对应道路中包含的车道数量进行划分，即将车道数量不变的连续路线作为一个路段；再或者可以按照道路的等级进行划分，即将道路等级不变的连续路线作为一个路段。

例如，如图9所示，通过目标对象可以在“请输入起点”位置输入起点的标识S1，在“请输入终点”的位置输入终点的标识S2，服务器可以根据接收到的起点和终点确定如图9所示目标路线R1，以及其他路线如R2，假设按照路口进行划分，可以从目标路线R1中获取到第一个路段如r1和第二个路段如r2等路段。

在步骤S102中，获取第t个路段的路段特征，其中，路段特征包括路段限速、路段地形、路段里程以及路段自由流速；

在本实施例中，路段特征包括路段限速、路段地形、路段里程以及路段自由流速，还包括当前路段的道路等级、当前时刻的路况、当前时刻的历史经典速度、时刻的拥堵概率等等。

具体地，为了避免只考虑整条路线的特征，例如全程总路程、出发时刻的全程平均速度、全程红绿灯总数、全程拥堵里程占比等，而忽略了各路段的特征，如忽略一条路线中某一时段的某一个路段的极度拥堵得，对预估整条路线的到达时间影响巨大，导致路线的ETA不准的情况，因此，在从目标路线中获取到第t个路段以及第t+1个路段之后，服务器可以根据各个路段的路段ID，从路网数据中获取相对应的特征值，其中，获取路网数据后，服务器需要对路网数据进行数据筛选、归一化处理等常规数据预处理，这里不做赘述。服务器根据预处理完成的路网数据可以获取相应的第t个路段的路段特征。

在步骤S103中，将第t个路段的路段特征输入时间预估模型，通过时间预估模型输出第t个预估到达时间；

在本实施例中，在获取到第t个路段的路段特征后，可以利用时间预估模型对第t个预估到达时间进行计算，即将第t个路段的路段特征作为时间预估模型的输入，通过时间预估模型输出第t个预估到达时间。

具体地，时间预估模型具体可以表现为基于强化学习算法的梯度策略模型，如

，其中，eta_link表示路段的时间期望，std_link表示与时间期望 对应的标准差，

表示学习参数，还可以表现为强化学习的其他策略模型，此处不作具体限 制，其中，基于强化学习算法的梯度策略包含有如下概念：

（1）幕（episode）：类似于棋类游戏中“局”的概念，一局棋称为一幕；类似的，游戏中从开始到胜利或失败也称为一幕，可以理解的是，在一个目标路线的一次ETA预估过程中，一幕指的是针对于一条目标路线推算出来各个路段的到达时间以及当时的路况状态，构成的整个过程，其中，这个过程中时间步的个数为路段的个数，即一个时间步对应于一个路段；

（2）状态（state）：以围棋为例，棋盘当前黑子、白子的分布情况，就是当前的状态，或者，在一局围棋游戏中各棋手的下棋位置也可以作为当前的状态，可以理解的是，在一个目标路线的一次ETA预估过程中，状态指的是每个路段的路段特征，可以记为X_t；

（3）动作（action）：在棋类游戏中每个棋手的每一个下棋决策（如落子位置），都是动作，可以理解的是，在一个目标路线的一次ETA预估过程中，动作是指预估目标对象走完当前路段所需要的时间的概率分布，其中，通常可以使用正态分布对该概率分布进行刻画，因此，可以将动作确定为两个数值，分别为走完当前路段的时间期望（如第t个预估到达时间），可以记为eta_link，以及与该时间期望对应的标准差，可以记为std_link；

（4）策略函数：通常用

表示，其中，s表示状态，a表示动作，θ为时间预 估模型需要学习的参数，该策略函数的输出为a这个动作的概率，例如，棋类游戏中，这一函 数可以用来决定当前棋盘状态下，接下来要如何落子，可以理解的是，在一个目标路线的一 次ETA预估过程中，本实施例可以使用该策略函数来预测走完当前路段的时间和标准差，其 中，该策略函数通常可以使用神经网络来实现；

（5）奖赏（reward）：例如，在棋类游戏中的是否赢棋即为奖赏，由于奖赏并不总是 在一幕结束后才可获得，例如，在贪吃蛇游戏中，吃到苹果为奖赏，多存活一步也是奖赏，故 可以理解的时，通常一个动作不止影响当前的奖赏，还会影响后续的奖赏，但奖赏随时间有 折扣，即相比与即时奖赏，多步之后才获得的奖赏对动作的影响更弱，即“折扣”，其中，这一 折扣通常用γ表示，经过t个时间步后的奖赏可以表示为

，而当时γ=1，可以表示当前 时刻的奖赏与未来的奖赏同样重要，即没有折扣。

进一步地，由于强化学习算法的梯度策略是把学习看作试探评价过程，因此可以通过Agent（智能体）选择一个动作用于环境，环境接受该动作后状态发生变化，同时产生一个强化信号(奖或惩)反馈给Agent，使得Agent可以根据强化信号和环境当前状态再选择下一个动作，选择的原则是使受到正强化(奖赏)的概率增大，可以理解的是，在一个目标路线的一次ETA预估过程中，本实施例在获取到第t个路段的路段特征后，可以采用强化学习算法的梯度策略的时间预估模型对第t个预估到达时间进行计算，以获取第t个预估到达时间，以使后续可以基于强化学习算法，根据第t个预估到达时间来准确预估第t+1个预估到达时间。

例如，如图9所示，从目标路线R1中获取到第一个路段如r1和第二个路段如r2等路段，可以将路段r1的路段特征作为时间预估模型的输入，通过时间预估模型输出一个期望值，即第1个预估到达时间如1分钟。

在步骤S104中，获取第t+1个路段的路段特征；

在本实施例中，为了减少时间预估中的累积误差，提高时间预估的准确性，可以基于强化学习算法的梯度策略，通过第t个路段的第t个预估到达时间结合第t+1个路段的路段特征，可以更好地对第t+1个路段的的第t+1个预估到达时间进行预估，因此，在获取到第t个路段的第t个预估到达时间后，服务器可以从路网数据中提取第t+1个路段的路段特征。

具体地，在采用强化学习算法的梯度策略的时间预估模型对第t个预估到达时间进行计算获取第t个预估到达时间后，可以基于强化学习算法，根据第t个预估到达时间来准确预估第t+1个预估到达时间，因此，获取第t+1个路段的路段特征可以采用与步骤S102中获取第t个路段的路段特征的方式相似，此处不再赘述，以使后续可以将第t+1个路段的路段特征以及第t个预估到达时间作为时间预估模型的输入，以准确第t+1个预估到达时间。

在步骤S105中，将第t+1个路段的路段特征和第t个预估到达时间输入时间预估模型，通过时间预估模型输出第t+1个预估到达时间。

在本实施例中，在获取到第t+1个路段的路段特征和第t个预估到达时间后，可以基于强化学习算法的梯度策略，将获取到的第t+1个路段的路段特征和第t个预估到达时间输入时间预估模型中，可以通过时间预估模型预估第t+1个路段的的第t+1个预估到达时间。

具体地，在获取到第t+1个路段的路段特征后，可以利用时间预估模型对第t+1个预估到达时间进行计算，即可以将第t+1个路段的路段特征以及第t个预估到达时间作为时间预估模型的输入，通过时间预估模型输出第t+1个预估到达时间。

例如，如图9所示，从目标路线R1中获取到第一个路段如r1和第二个路段如r2等路段，可以将路段r2的路段特征以及路段r1的预估到达时间1分钟作为时间预估模型的输入，通过时间预估模型输出第2个预估到达时间如3分钟。

进一步地，在获取到第t+1个预估到达时间后，同理，可以基于第t+1个预估到达时间以及第t+2个路段的路段特征作为时间预估模型的输入，通过时间预估模型输出第t+2个预估到达时间，然后，可以基于第t+2个预估到达时间以及下一个路段如第t+3个路段的路段特征继续对下一个路段的到达时间进行预估，不断迭代推算，直至预估到目标路线的最后一个路段的到达时间，进而可以整合各个路段的到达时间以获取到目标路线的ETA。

例如，如图9所示，对目标路线R1得到每个路段进行到达时间预估，并对每个路段的到达时间进行求和，可以得到目标路线R1的预估到达时间如38分钟。

在本申请实施例中，提供了一种预估到达时间的确定方法，通过上述方式，通过获取各个路段的路段特征，并通过第t个预估到达时间以及第t+1个路段的路段特征来实现对第t+1个预估到达时间的预估，能够基于强化学习算法，通过当前路段的预估到达时间以及路段特征不断地迭代推算与当前路段相邻的下一个路段的预估到达时间，能够减少各个路段产生的累积误差的情况，且无需依赖于人工经验，避免人为设定的规则的影响，从而能够提高预估到达时间的准确性。

可选地，在上述图2对应的实施例的基础上，本申请实施例提供的预估到达时间的确定方法另一个可选实施例中，如图3所示，从目标路线中获取第t个路段和第t+1个路段之前，该方法还包括：

在步骤S201中，接收目标终端设备发送的路线查询请求，并获取路线查询请求的触发时刻；

在步骤S202中，获取与路线查询请求的触发时刻对应的目标路线上的车辆实况速度；

在步骤S203中，将车辆实况速度以及第t个路段的路段特征输入时间预估模型，通过时间预估模型输出第t个预估到达时间；

在步骤S204中，将车辆实况速度、第t+1个路段的路段特征和第t个预估到达时间输入时间预估模型，通过时间预估模型输出第t+1个预估到达时间。

在本实施例中，当目标对象需要利用电子地图查询路线或规划路线时，可以操作终端设备安装的电子地图的客户端，使得客户端可以响应于目标对象的操作，可以生成相应的路线查询请求并发送至服务器，服务器可以根据接收到的路线查询请求获取到相应的请求发送时刻，即路线查询请求的触发时刻，进而，在考虑每个路段的路段特征的同时，还可以根据时间等于路程除以速度可知，车辆在目标路线上的行驶速度是预估达到时间的关键因素之一，因此，本实施例通过考虑目标路线上的车辆速度来增加预估到达时间的可靠性，可以根据路线查询请求的触发时刻，获取与路线查询请求的触发时刻对应的目标路线上的车辆实况速度。

具体地，如图9所示，当客户端可以响应于目标对象的操作，可以生成相应的路线查询请求并发送至服务器，服务器可以根据接收到的路线查询请求获取到路线查询请求的触发时刻，如2020年3月1日上午10点，然后，服务器可以根据实时采集的GPS(GlobalPositioning System ,全球定位系统)数据计算出与该触发时刻相对应的目标路线上所有车辆行驶速度的平均车速，即车辆实况速度。

进一步地，在获取到与路线查询请求的触发时刻相对应的目标路线上的车辆实况速度以及第t个路段的路段特征后，基于强化学习算法的梯度策略，可以将第t个路段的路段特征以及车辆实况速度作为时间预估模型的输入，通过时间预估模型可以获取到更加准确的第t个预估到达时间，同理，可以在获取到第t+1个路段的路段特征后，可以将第t+1个路段的路段特征、更加准确的第t个预估到达时间以及车辆实况速度作为时间预估模型的输入，通过时间预估模型可以获取到更加准确的第t+1个预估到达时间，能够基于车辆行驶速度、下一路段的路段特征以及当前路段的到达预估时间能够更加准确地推算得到到下一路段的到达预估时间，从而获取到更加准确地目标路线的预估到达时间。

可选地，在上述图3对应的实施例的基础上，本申请实施例提供的预估到达时间的确定方法另一个可选实施例中，如图4所示，获取与路线查询请求的触发时刻对应的目标路线上的车辆实况速度，包括：

在步骤S301中，获取触发时刻在目标路线上行驶的各个车辆的行驶速度；

在步骤S302中，对各个车辆的行驶速度进行加权取平均计算，得到车辆实况速度。

在本实施例中，在获取到的路线查询请求的触发时刻后，为了能够进一步增加预估到达时间的可靠性，服务器可以根据该路线查询请求的触发时刻，获取在目标路线上行驶的各个车辆上传的行驶速度，但是由于在同一条路线上，不同类型的交通工具对应的行驶速度不同，也会导致到达时间不同，一般来说，汽车与自行车相比，汽车的到达时间较短，自行车的到达时间较长，因此，本申请实施例通过针对不同的交通工具对应设置有不同的权重，进而可以根据不同的权重对各个车辆的行驶速度进行加权计算，并对加权得到的数值进行取平均计算，以更好更准确地获取到与触发时刻相对应的目标路线上车辆实况速度，从而可以在一定程度上提高预估到达时间的准确性。

具体地，如图9所示，当客户端可以响应于目标对象的操作，可以生成相应的路线查询请求并发送至服务器，服务器可以根据接收到的路线查询请求获取到路线查询请求的触发时刻，如2020年3月1日上午10点，然后，服务器可以采集触发时刻行驶在目标路线R1上的各个车辆所上传的GPS数据，可以理解的是，在获取GPS数据后，服务器可以对获取到的GPS数据进行数据筛选、归一化处理等常规数据预处理，这里不做赘述，服务器可以根据预处理能够获取到各个车辆的车辆行驶速度，然后，可以根据预设的各种交通工具对应的权重对各个车辆的行驶速度进行加权计算，并对加权得到的数值进行取平均计算，以更好更准确地获取到与触发时刻相对应的目标路线上车辆实况速度。

可选地，在上述图3对应的实施例的基础上，本申请实施例提供的预估到达时间的确定方法另一个可选实施例中，如图4所示，将第t+1个路段的路段特征和第t个预估到达时间输入时间预估模型，通过时间预估模型输出第t+1个预估到达时间之后，该方法还包括：

在步骤S401中，根据触发时刻、第t个预估到达时间以及第t+1个预估到达时间，确定目标路线的全程预估到达时间和达到时刻；

在步骤S402中，向目标终端设备推送目标路线的全程预估到达时间和达到时刻。

在本实施例中，当服务器接收到的路线查询请求时，可以获取到与路线查询请求相应的触发时刻，并在获取到目标路线的各个路段的到达时间后，如第t+个路段的第t个预估到达时间以及第t+1个路段的第t+1个预估到达时间等，可以计算各个路段的到达时间的总和以获取目标路线的全程到达时间，进而，可以根据触发时刻以及目标路线的全程到达时间计算目标路线的全程到达时刻，然后，可以将获取到的目标路线的全程预估到达时间和达到时刻推送至目标终端设备，可以使目标对象可以获知目标路线全程的行驶时长，方便目标对象安排行程。

具体地，如图9所示，在对目标路线R1进行ETA预估时，可以先获取目标路线R1的路线查询请求对应的触发时刻，如2020年3月1日上午10点，进而，可以计算车辆行驶完第一路段r1所花费的时间，再根据第一路段r1的所花费的时间计算车辆行驶完第二路段r2所花费的时间，不断迭代推算，以获取到车辆行驶完目标路线最后一个路段所花费的时间，并将各个路段花费的时间进行加和，可以获取到目标路线R1的全程到达时间如38分钟，然后，可以将获取到的全程到达时间加上触发时刻，可以得到2020年3月1日上午10点38分到达目标路线的终点，即得到目标路线R1的全程预估到达时刻，同理，可以如图9所示，可以得到目标路线R2的全程预估到达时间为39分钟以及全程预估到达时刻为2020年3月1日上午10点39分。

进一步地，如图9所示，可以将获取到的目标路线R1的全程到达时间38分钟以及目标路线R1的全程预估到达时刻2020年3月1日上午10点38分作为推荐方案一推送至目标终端设备，同时，还可以将获取到的目标路线R2的全程到达时间39分钟以及目标路线R2的全程预估到达时刻2020年3月1日上午10点39分作为推荐方案二推送至目标终端设备，以使目标对象可以通过目标终端设备的显示界面获取到相对应的路线、路线的全程到达时间以及全程到达时刻的推荐方案，来选择适合目标对象的路线方案，协助目标对象安排行程，还可以帮助目标对象及时了解各个目标路线的优劣等。

可选地，在上述图3对应的实施例的基础上，本申请实施例提供的预估到达时间的确定方法另一个可选实施例中，如图4所示，将第t+1个路段的路段特征和第t个预估到达时间输入时间预估模型，通过时间预估模型输出第t+1个预估到达时间之后，该方法还包括：

在步骤S501中，将各个路段对应的预估到达时间分别作为各个路段对应的路段权重；

在步骤S502中，根据各个路段的路段特征以及各个路段对应的路段权重，确定目标路线的拥堵路段；

在步骤S503中，向目标终端设备推送目标路线上的拥堵路段。

在本实施例中，在获取到各个路段对应的预估到达时间后，可以理解的是，假如一个目标路线存在有一个里程较短路段如r1和一个里程较长的路段如r2中，如果路段r1对应的预估到达时间大于路段r2对应的预估到达时间，可以理解为车辆在短里程路段上花费的时间长于长里程的路段，即可以反映出路段r1在触发时刻的路况的拥挤程度是要高于路段r2的，因此，可以将各个路段对应的预估到达时间分别作为各个路段对应的路段权重，并结合各个路段的路段特征可以进行特征值的加权计算，即可根据计算得到的加权值判断各个路段的拥挤程度，以获取目标路线上的拥堵路段，进而，可以将获取到的拥堵路段推送至目标终端设备，以使目标对象能够根据各个目标路线的拥堵情况，选择最优路线，或者，在向目标终端设备推送拥堵路段之前，服务器还可以根据每个目标路线的拥堵路段、每个目标路线的全程长度以及每个目标路线的路段特征等，综合选择最优路线再推送至目标终端设备。

具体地，如图9所示，在获取到各个路段对应的预估到达时间后，假设路段r1对应的预估到达时间为6分钟，路段r2对应的预估到达时间为3分钟，即路段r1对应的预估到达时间大于路段r2对应的预估到达时间，然后，可以将各个路段对应的预估到达时间分别作为各个路段对应的路段权重，如路段r1对应的路段权重为1，路段r2对应的路段权重为3，进而，根据各个路段的路段特征以及各个路段对应的路段权重，假设计算得到路段r1对应的加权特征值为5，确定路段r1对应的加权特征值为3，根据加权特征值与拥堵程度为正相关的原则，可以将各个路段对应的加权特征值进行两两比较，可以得到目标路线的拥堵路段为路段r1。

进一步地，如图9所示，可以将获取到的目标路线R1的拥堵路段r1和非拥堵路段r2都通过推荐方案一推送至目标终端设备，以使目标对象可以通过目标终端设备的显示界面获取到相对应的路线以及路线的拥堵情况的推荐方案，可以更好地推荐给目标对象的路线方案，以协助目标对象安排行程，还可以帮助目标对象及时了解各个目标路线的优劣等。

可选地，在上述图2对应的实施例的基础上，本申请实施例提供的预估到达时间的确定方法另一个可选实施例中，如图5所示，该方法还包括：

在步骤S601中，获取若干个历史路线轨迹，其中，至少两个历史路线轨迹来自同一路线；

在步骤S602中，针对于每个历史路线轨迹，获取第N个路段的历史路段特征，其中，N为大于或等于1的整数；

在步骤S603中，将第N个路段的历史路段特征输入时间预估模型，通过时间预估模型输出第N个期望时间以及第N个标准差；

在步骤S604中，根据第N个期望时间以及第N个标准差构造第N个损失函数；

在步骤S605中，根据第N个损失函数对应时间预估模型进行参数更新。

在本实施例中，通过使用时间预估模型预估得出目标路线的各个路段的预估到达时间，从而得到目标路线的全程预估达到时间，因此，在训练时间预估模型时，为了时间预估模型能够更好更充分地学习到各种路况情形与到达时间之间的关系，本实施例通过获取各种交通工具行驶在各种路线上形成的轨迹数据作为训练样本，即历史路线轨迹，其中，一个路线可以对应有多个历史轨迹路线，然后，可以对所有历史路线轨迹，执行获取路段特征操作、通过时间预估模型获取时间期望和标准差操作、构造损失函数操作以及调整参数操作，直到该基于强化学习算法的梯度策略稳定，基于梯度策略函数进行了显式的路况推演，具备很强的可解释性，且利用了历史路线轨迹作为一个辅助的监督信息，可以增强时间预估模型学习各种路况情形与到达时间之间的关系的学习能力，从而提高了时间预估模型的精度，能够在一定程度上提高获取预估到达时间的准确性。

具体地，基于强化学习算法的梯度策略构造策略函数

，先初始化策略函数，通常使用随机初始化，即可以对θ进行 随机赋值，进而，对于每一幕，即每一个历史路线轨迹，可以对历史路线轨迹中的每个路段 依次进行路段的达到时间预估，即对于每个时间步进行时间预估，具体可以是通过从路网 数据中获取第N个路段的历史路段特征，获取方式与步骤S102中获取第t个路段的路段特征 相似，此处不再赘述，其中，历史路段特征包括历史路线轨迹的历史查询请求时刻，可以记 为t_req、第N个路段的ID、到达第N个路段的时刻，可以记为t₀，还包括第N个路段的里程、第N 个路段的限速、t₀时刻的历史经典速度、t₀时刻的拥堵概率等。

进一步地，在获取到第N个路段的历史路段特征后，可以将历史路段特征作为一个 辅助的监督信息，以提高时间预估模型的学习能力，且如果策略函数输出的概率值符合正 态分布，则可以将第N个路段的历史路段特征作为X_t带入初始化后的策略函数

，可以预估出走完该第N个路段的时间期望及时间期望对应 的标准差，然后，根据第N个期望时间以及第N个标准差构造第N个损失函数。

进一步地，构造得到第N个损失函数后，可以基于第N个损失函数利用反向传播算 法训练时间预估模型，其中，反向传播算法为常用的训练方法，这里不做赘述。由于损失函 数的大小与模型精度呈负相关，因此，通过反向传播算法调整时间预估模型的模型参数，使 得策略稳定，具体可以是使得损失函数小于预设阈值，可以理解为，当前时间预估模型的损 失函数的值足够小，趋向于平稳的状态，即时间预估模型已收敛，则可以将此时的模型参数 进行保存从而得到时间预估模型。或者，通过反向传播算法调整时间预估模型的模型参数， 使得策略函数

的值最小化，可以理解为，当前策略函数的值 足够小，可以理解为，当前时间预估模型的损失函数的值足够小，趋向于平稳的状态，即时 间预估模型已收敛，从而可以得到时间预估模型。

可以理解的是，在策略函数

即最终的时间预估模型 中，

是要学习的参数，且策略梯度算法要求策略函数的输出为一个概率值，即对应ETA的 概率，故本实施例采用如下公式（1）所示的模型：

可以使用两组参数θ_μ和θ_σ分别拟合正态分布的均值和标准差。其中，公式（1）中的模型的一个特例为线性模型如下式（2）和（3）所示：

其中，X表示状态的特征，点号表示向量内积，进而，可以通过重复执行获取路段特征操作、通过时间预估模型获取时间期望和标准差操作、构造损失函数操作以及调整参数操作，不断更新公式（2）和（3）中的向量θ_μ和θ_σ，以使向量θ_μ和θ_σ趋向于平稳的状态，从而达到策略稳定。

可选地，在上述图2对应的实施例的基础上，本申请实施例提供的预估到达时间的确定方法另一个可选实施例中，如图6所示，根据第N个期望时间以及第N个标准差构造第N个损失函数之前，该方法还包括：

在步骤S701中，根据第N个路段的历史路段特征中的路段历史自由流速和路段里程计算第N个历史行驶时间；

在步骤S702中，根据第N个历史行驶时间、第N个期望时间以及第N个标准差获取第N个奖赏；

在步骤S703中，根据第N个奖赏、第N个期望时间以及第N个标准差构造第N个损失函数。

在本实施例中，由于在一个目标路线的一次ETA预估过程中，因为训练样本是采集的历史路线轨迹，可以获取到每个路段的到达时刻的真实的路况速度，因此，一部分奖赏可以来源于在预测走完每个路段的时间后，对比到达时刻的真实的路况速度，可以理解为，真实的路况速度与基于预估到达时间计算得到的速度二者越接近，则奖赏越大，换而言之，也可以根据获取到的真实的路况速度计算走完该路段的真实时间，即历史行驶时间，对比预估到达时间与历史行驶时间之间的误差，可以理解为，如果模型向奖赏大的方向学习，那么预估到达时间与实际的历史行驶时间之间的误差越小，即时间预估模型的预估时间的精度越高。

进一步地，在获取到历史行驶时间之后，可以基于历史行驶时间、期望时间以及标准差计算走完每个时间步的奖赏，即第N个奖赏，其中，获取奖赏的方式具体可以表现为计算平方差、绝对值或极大似然值等，还可以是其他获取方式，此处不作具体限制，然后，可以根据第N个奖赏、第N个期望时间以及第N个标准差构造第N个损失函数，以增加模型的多样性和鲁棒性，从而使得时间预估模型能够更加关注时间预估的精准性。

具体地，根据当前时间步的预估结果，即第N个路段的第N个期望时间以及第N个标准差，同时，可以从历史路段特征中提取历史查询请求时刻t_req对应的历史车辆实况速度以及第N个路段的路段里程，其中，历史车辆行驶速度的获取方式与步骤S202中获取车辆实况速度的方式相似，此处不再赘述，然后，通过路程等于速度乘以时间计算按照历史车辆实况速度行驶花费的时间，即历史行驶时间，可以记为ata_link，进而可以根据ata_link、eta_link和std_link计算得到当前时间步的奖赏，即第N个奖赏。

可选地，在上述图6对应的实施例的基础上，本申请实施例提供的预估到达时间的确定方法另一个可选实施例中，如图7所示，根据第N个历史行驶时间、第N个期望时间以及第N个标准差获取第N个奖赏，包括：

在步骤S801中，获取第N个历史行驶时间与第N个期望时间之间的平方差；

在步骤S802中，将平方差作为第N个奖赏。

具体地，在计算得到按照历史车辆实况速度行驶花费的时间ata_link时，进而可以根据如下公式（4）计算ata_link和eta_link之间的平方差，并将计算得到的平方差作为第N个奖赏，以使后续可以基于该平方差构造多样性更好的损失函数，从而使得时间预估模型能够更加关注时间预估的精准性：

可选地，在上述图6对应的实施例的基础上，本申请实施例提供的预估到达时间的确定方法另一个可选实施例中，如图7所示，根据第N个历史行驶时间、第N个期望时间以及第N个标准差获取第N个奖赏，包括：

在步骤S901中，获取第N个历史行驶时间、第N个期望时间以及第N个标准差之间的负对数似然值；

在步骤S902中，将负对数似然值作为第N个奖赏。

具体地，在计算得到按照历史车辆实况速度行驶花费的时间ata_link时，进而可以根据如下公式（5）计算ata_link、eta_link和std_link之间的负对数似然值，并将计算得到的负对数似然值作为第N个奖赏，以使后续可以基于该负对数似然值能够构造鲁棒性更好的损失函数，从而使得时间预估模型能够更加关注时间预估的精准性:

可选地，在上述图6对应的实施例的基础上，本申请实施例提供的预估到达时间的确定方法另一个可选实施例中，如图8所示，根据第N个奖赏、第N个期望时间以及第N个标准差构造第N个损失函数之前，该方法还包括：

在步骤S1001中，针对于每个历史路线轨迹，获取历史全程预估到达时间以及历史实际达到时间；

在步骤S1002中，根据历史全程预估到达时间以及历史实际达到时间计算路线奖赏；

在步骤S1003中，根据路线奖赏和第N个奖赏计算第N个累积奖赏；

在步骤S1004中，根据第N个累积奖赏、第N个期望时间以及第N个平标准差构造第N个损失函数。

在本实施例中，由于在一个目标路线的一次ETA预估过程中，因为训练样本是采集的历史路线轨迹，可以获取到整条历史轨迹路线的终点时的真实行驶时间ATA，即历史实际达到时间，因此，一部分奖赏可以来源于根据到达整条历史轨迹路线的终点获取到的ATA，可以获取预估得到历史轨迹路线的ETA，即历史全程预估到达时间，并计算ETA与ATA之间对比的误差，可以理解的是，误差越小，奖赏越大，故可以针对于每个历史路线轨迹，通过获取历史全程预估到达时间以及历史实际达到时间，然后，可以根据历史全程预估到达时间以及历史实际达到时间计算路线奖赏，进一步地，可以通过根据路线奖赏和第N个奖赏计算第N个累积奖赏，以通过累积奖赏能够更加真实准确地反馈路段的奖赏，进而，根据第N个累积奖赏、第N个期望时间、第N个标准差以及路线奖赏构造第N个损失函数，可以更好地增加模型的多样性和鲁棒性，从而使得时间预估模型能够更加关注时间预估的精准性。

具体地，在获取到历史路线轨迹后，可以获取历史路线轨迹中的各个路段的历史路段特征，以完成一幕的时间预估，即将各个路段的历史路段特征作为时间预估模型的输入，可以通过时间预估模型获取到各个路段的历史到达时间，然后，可以通过各个路段的历史到达时间获取到走完整条历史路线轨迹的历史全程预估到达时间ETA，同时，可以根据获取到历史路线轨迹，可以从路网数据中直接获取到历史实际达到时间，进而，可以将ETA与ATA进行对比，可以得到最后一个时间步的奖赏，即路线奖赏，可以记为r_final。

进一步地，在获取到路线奖赏以及第N个路段的第N个奖赏后，可以根据如下公式（6）计算第N个累积奖赏G_t：

其中，T表示时间步，即从历史轨迹路线获取到的第N个路段，γ表示折扣系数，以及λ表示奖赏系数，其中，折扣系数γ以及奖赏系数λ均是根据实际应用需求进行设置的，此处不作具体限制。

进一步地，在获取到第N个累积奖赏后，可以根据第N个累积奖赏、第N个期望时间以及第N个标准差构造第N个损失函数如公式（7）所示：

进一步地，在获取到第N个损失函数之后，可以根据如公式（8）所示，根据第N个损失函数利用反向传播算法训练时间预估模型，以使学习参数趋向于平稳，从而使得策略稳定：

其中，α是学习速率，α是根据实际应用需求进行设置的，此处不作具体限制。

可选地，在上述图8对应的实施例的基础上，本申请实施例提供的预估到达时间的确定方法另一个可选实施例中，如图9所示，根据历史全程预估到达时间以及历史实际达到时间计算路线奖赏，包括：

在步骤S1101中，获取历史全程预估到达时间与历史实际达到时间之间的历史平方差；

在步骤S1102中，将历史平方差作为路线奖赏。

具体地，在获取历史全程预估到达时间与历史实际达到时间之后，进而可以根据如下公式（9）计算ETA和ATA之间的平方差，并将计算得到的平方差的负值作为路线奖赏，以使后续可以基于该差值的绝对值的负值构造鲁棒性更好的损失函数，从而使得时间预估模型能够更加关注时间预估的精准性：

可选地，在上述图8对应的实施例的基础上，本申请实施例提供的预估到达时间的确定方法另一个可选实施例中，如图9所示，根据历史全程预估到达时间以及历史实际达到时间计算路线奖赏，包括：

在步骤S1201中，获取历史全程预估到达时间与历史实际达到时间之间的差值绝对值；

在步骤S1202中，将差值绝对值作为路线奖赏。

具体地，在获取历史全程预估到达时间与历史实际达到时间之后，进而可以根据如下公式（10）计算ETA和ATA之间的差值的绝对值，并将计算得到的差值的绝对值的负值作为路线奖赏，以使后续可以基于该差值的绝对值的负值构造鲁棒性更好的损失函数，从而使得时间预估模型能够更加关注时间预估的精准性：

下面对本申请中的预估到达时间的确定装置进行详细描述，请参阅图12，图12为本申请实施例中预估到达时间的确定装置的一个实施例示意图，预估到达时间的确定装置20包括：

获取单元201，用于从目标路线中获取第t个路段和第t+1个路段，其中，t为大于或等于1的整数；

获取单元201，还用于获取第t个路段的路段特征，其中，路段特征包括路段限速、路段地形、路段里程以及路段自由流速；

处理单元202，用于将第t个路段的路段特征输入时间预估模型，通过时间预估模型输出第t个预估到达时间；

获取单元201，还用于获取第t+1个路段的路段特征；

处理单元202，还用于将第t+1个路段的路段特征和第t个预估到达时间输入时间预估模型，通过时间预估模型输出第t+1个预估到达时间。

可选地，在上述图12对应的实施例的基础上，本申请实施例提供的预估到达时间的确定装置的另一实施例中，

获取单元201，还用于接收目标终端设备发送的路线查询请求，并获取路线查询请求的触发时刻；

获取单元201，还用于获取与路线查询请求的触发时刻对应的目标路线上的车辆实况速度；

处理单元202具体可以用于：

将车辆实况速度以及第t个路段的路段特征输入时间预估模型，通过时间预估模型输出第t个预估到达时间；

处理单元具体可以用于：

将车辆实况速度、第t+1个路段的路段特征和第t个预估到达时间输入时间预估模型，通过时间预估模型输出第t+1个预估到达时间。

可选地，在上述图12对应的实施例的基础上，本申请实施例提供的预估到达时间的确定装置的另一实施例中，获取单元201具体可以用于：

获取触发时刻在目标路线上行驶的各个车辆的行驶速度；

对各个车辆的行驶速度进行加权取平均计算，得到车辆实况速度。

可选地，在上述图12对应的实施例的基础上，本申请实施例提供的预估到达时间的确定装置的另一实施例中，

确定单元203，用于根据触发时刻、第t个预估到达时间以及第t+1个预估到达时间，确定目标路线的全程预估到达时间和达到时刻；

处理单元202，还用于向目标终端设备推送目标路线的全程预估到达时间和达到时刻。

可选地，在上述图12对应的实施例的基础上，本申请实施例提供的预估到达时间的确定装置的另一实施例中，

处理单元202，还用于将各个路段对应的预估到达时间分别作为各个路段对应的路段权重；

确定单元203，还用于根据各个路段的路段特征以及各个路段对应的路段权重，确定目标路线的拥堵路段；

处理单元202，还用于向目标终端设备推送目标路线上的拥堵路段。

可选地，在上述图12对应的实施例的基础上，本申请实施例提供的预估到达时间的确定装置的另一实施例中，

获取单元201，还用于获取若干个历史路线轨迹，其中，至少两个历史路线轨迹来自同一路线；

获取单元201，还用于针对于每个历史路线轨迹，获取第N个路段的历史路段特征，其中，N为大于或等于1的整数；

处理单元202，还用于将第N个路段的历史路段特征输入时间预估模型，通过时间预估模型输出第N个期望时间以及第N个标准差；

处理单元202，还用于根据第N个期望时间以及第N个标准差构造第N个损失函数；

处理单元202，还用于根据第N个损失函数对应时间预估模型进行参数更新。

可选地，在上述图12对应的实施例的基础上，本申请实施例提供的预估到达时间的确定装置的另一实施例中，

处理单元202，还用于根据第N个路段的历史路段特征中的路段历史自由流速和路段里程计算第N个历史行驶时间；

处理单元202，还用于根据第N个历史行驶时间、第N个期望时间以及第N个标准差获取第N个奖赏；

处理单元202具体可以用于：根据第N个奖赏、第N个期望时间以及第N个标准差构造第N个损失函数。

可选地，在上述图12对应的实施例的基础上，本申请实施例提供的预估到达时间的确定装置的另一实施例中，处理单元202具体可以用于：

获取第N个历史行驶时间与第N个期望时间之间的平方差；

将平方差作为第N个奖赏。

可选地，在上述图12对应的实施例的基础上，本申请实施例提供的预估到达时间的确定装置的另一实施例中，处理单元202具体可以用于：

获取第N个历史行驶时间、第N个期望时间以及第N个标准差之间的负对数似然值；

将负对数似然值作为第N个奖赏。

可选地，在上述图12对应的实施例的基础上，本申请实施例提供的预估到达时间的确定装置的另一实施例中，

获取单元201，还用于针对于每个历史路线轨迹，获取历史全程预估到达时间以及历史实际达到时间；

处理单元202，还用于根据历史全程预估到达时间以及历史实际达到时间计算路线奖赏；

处理单元202，还用于根据路线奖赏和第N个奖赏计算第N个累积奖赏；

处理单元202具体可以用于：根据第N个累积奖赏、第N个期望时间以及第N个标准差构造第N个损失函数。

可选地，在上述图12对应的实施例的基础上，本申请实施例提供的预估到达时间的确定装置的另一实施例中，处理单元202具体可以用于：

获取历史全程预估到达时间与历史实际达到时间之间的历史平方差；

将历史平方差作为路线奖赏。

可选地，在上述图12对应的实施例的基础上，本申请实施例提供的预估到达时间的确定装置的另一实施例中，处理单元202具体可以用于：

获取历史全程预估到达时间与历史实际达到时间之间的差值绝对值；

将差值绝对值作为路线奖赏。

本申请另一方面提供了另一种计算机设备示意图，如图13所示，图13是本申请实施例提供的一种计算机设备结构示意图，该计算机设备300可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器（central processing units，CPU）310（例如，一个或一个以上处理器）和存储器320，一个或一个以上存储应用程序331或数据332的存储介质330（例如一个或一个以上海量存储设备）。其中，存储器320和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对计算机设备300中的一系列指令操作。更进一步地，中央处理器310可以设置为与存储介质330通信，在计算机设备300上执行存储介质330中的一系列指令操作。

计算机设备300还可以包括一个或一个以上电源340，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口360，和/或，一个或一个以上操作系统333，例如Windows Server^TM，Mac OS X^TM，Unix^TM, Linux^TM，FreeBSD^TM等等。

上述计算机设备300还用于执行如图2至图9对应的实施例中的步骤。

本申请的另一方面提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如图2至图9所示实施例描述的方法中的步骤。

本申请的另一方面提供了一种包含指令的计算机程序产品当其在计算机或处理器上运行时，使得所述计算机或处理器执行如图2至图9所示实施例描述的方法中的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (16)

1.一种预估到达时间的确定方法，其特征在于，包括：

从目标路线中获取第t个路段和第t+1个路段，其中，所述t为大于或等于1的整数；

获取所述第t个路段的路段特征，其中，所述路段特征包括路段限速、路段地形、路段里程以及路段自由流速；

将所述第t个路段的路段特征输入时间预估模型，通过所述时间预估模型输出第t个预估到达时间；

获取所述第t+1个路段的路段特征；

将所述第t+1个路段的路段特征和所述第t个预估到达时间输入时间预估模型，通过所述时间预估模型输出第t+1个预估到达时间。

2.根据权利要求1所述的方法，其特征在于，所述从目标路线中获取第t个路段和第t+1个路段之前，所述方法还包括：

接收目标终端设备发送的路线查询请求，并获取所述路线查询请求的触发时刻；

获取与所述路线查询请求的触发时刻对应的所述目标路线上的车辆实况速度；

所述将所述第t个路段的路段特征输入时间预估模型，通过所述时间预估模型输出第t个预估到达时间，包括：

将所述车辆实况速度以及所述第t个路段的路段特征输入时间预估模型，通过所述时间预估模型输出第t个预估到达时间；

所述将所述第t+1个路段的路段特征和所述第t个预估到达时间输入时间预估模型，通过所述时间预估模型输出第t+1个预估到达时间，包括：

将所述车辆实况速度、所述第t+1个路段的路段特征和所述第t个预估到达时间输入时间预估模型，通过所述时间预估模型输出第t+1个预估到达时间。

3.根据权利要求2所述的方法，其特征在于，所述获取与所述路线查询请求的触发时刻对应的所述目标路线上的车辆实况速度，包括：

获取所述触发时刻在所述目标路线上行驶的各个车辆的行驶速度；

对所述各个车辆的行驶速度进行加权取平均计算，得到所述车辆实况速度。

4.根据权利要求2所述的方法，其特征在于，所述将所述第t+1个路段的路段特征和所述第t个预估到达时间输入时间预估模型，通过所述时间预估模型输出第t+1个预估到达时间之后，所述方法还包括：

根据所述触发时刻、所述第t个预估到达时间以及所述第t+1个预估到达时间，确定所述目标路线的全程预估到达时间和达到时刻；

向所述目标终端设备推送所述目标路线的全程预估到达时间和达到时刻。

5.根据权利要求1所述的方法，其特征在于，所述将所述第t+1个路段的路段特征和所述第t个预估到达时间输入时间预估模型，通过所述时间预估模型输出第t+1个预估到达时间之后，所述方法还包括：

将各个路段对应的预估到达时间分别作为所述各个路段对应的路段权重；

根据所述各个路段的路段特征以及所述各个路段对应的路段权重，确定所述目标路线的拥堵路段；

向目标终端设备推送所述目标路线上的拥堵路段。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取若干个历史路线轨迹，其中，至少两个所述历史路线轨迹来自同一路线；

针对于每个历史路线轨迹，获取第N个路段的历史路段特征，其中，所述N为大于或等于1的整数；

将所述第N个路段的历史路段特征输入所述时间预估模型，通过所述时间预估模型输出第N个期望时间以及第N个标准差；

根据所述第N个期望时间以及所述第N个标准差构造第N个损失函数；

根据所述第N个损失函数对应所述时间预估模型进行参数更新。

7.根据权利要求6所述的方法，其特征在于，所述根据所述第N个期望时间以及所述第N个标准差构造第N个损失函数之前，所述方法还包括：

根据所述第N个路段的历史路段特征中的路段历史自由流速和路段里程计算第N个历史行驶时间；

根据所述第N个历史行驶时间、所述第N个期望时间以及所述第N个标准差获取第N个奖赏；

所述根据所述第N个期望时间以及所述第N个标准差构造第N个损失函数，包括：

根据所述第N个奖赏、所述第N个期望时间以及所述第N个标准差构造第N个损失函数。

8.根据权利要求7所述的方法，其特征在于，所述根据所述第N个历史行驶时间、所述第N个期望时间以及所述第N个标准差获取第N个奖赏，包括：

获取所述第N个历史行驶时间与所述第N个期望时间之间的平方差；

将所述平方差作为所述第N个奖赏。

9.根据权利要求7所述的方法，其特征在于，所述根据所述第N个历史行驶时间、所述第N个期望时间以及所述第N个标准差获取第N个奖赏，包括：

获取所述第N个历史行驶时间、所述第N个期望时间以及所述第N个标准差之间的负对数似然值；

将所述负对数似然值作为所述第N个奖赏。

10.根据权利要求7所述的方法，其特征在于，所述根据所述第N个奖赏、所述第N个期望时间以及所述第N个标准差构造第N个损失函数之前，所述方法还包括：

针对于每个所述历史路线轨迹，获取历史全程预估到达时间以及历史实际达到时间；

根据所述历史全程预估到达时间以及所述历史实际达到时间计算路线奖赏；

根据所述路线奖赏和所述第N个奖赏计算第N个累积奖赏；

所述根据所述第N个奖赏、所述第N个期望时间以及所述第N个标准差构造第N个损失函数，包括：

所述根据所述第N个累积奖赏、所述第N个期望时间以及所述第N个标准差奖赏构造第N个损失函数。

11.根据权利要求10所述的方法，其特征在于，所述根据所述历史全程预估到达时间以及所述历史实际达到时间计算路线奖赏，包括：

获取所述历史全程预估到达时间与所述历史实际达到时间之间的历史平方差；

将所述历史平方差作为所述路线奖赏。

12.根据权利要求10所述的方法，其特征在于，所述根据所述历史全程预估到达时间以及所述历史实际达到时间计算路线奖赏，包括：

获取所述历史全程预估到达时间与所述历史实际达到时间之间的差值绝对值；

将所述差值绝对值作为所述路线奖赏。

13.一种预估到达时间的确定装置，其特征在于，包括：

获取单元，用于从目标路线中获取第t个路段和第t+1个路段，其中，所述t为大于或等于1的整数；

所述获取单元，还用于获取所述第t个路段的路段特征，其中，所述路段特征包括路段限速、路段地形、路段里程以及路段自由流速；

处理单元，用于将所述第t个路段的路段特征输入时间预估模型，通过所述时间预估模型输出第t个预估到达时间；

所述获取单元，还用于获取所述第t+1个路段的路段特征；

所述处理单元，还用于将所述第t+1个路段的路段特征和所述第t个预估到达时间输入时间预估模型，通过所述时间预估模型输出第t+1个预估到达时间。

14.一种计算机设备，其特征在于，包括：存储器、收发器、处理器以及总线系统；

其中，所述存储器用于存储程序；

所述处理器用于执行所述存储器中的程序时实现如权利要求1至12中任一项所述的方法；

所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。

15.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1至12中任一项所述的方法。

16.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至12中任一项所述方法的步骤。

Images