CN113252054B - 一种导航方法和导航系统 - Google Patents
一种导航方法和导航系统 Download PDFInfo
- Publication number
- CN113252054B CN113252054B CN202010086672.4A CN202010086672A CN113252054B CN 113252054 B CN113252054 B CN 113252054B CN 202010086672 A CN202010086672 A CN 202010086672A CN 113252054 B CN113252054 B CN 113252054B
- Authority
- CN
- China
- Prior art keywords
- time
- road network
- neural network
- vehicles
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 87
- 238000003062 neural network model Methods 0.000 claims abstract description 73
- 230000002787 reinforcement Effects 0.000 claims abstract description 16
- 230000009467 reduction Effects 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3407—Route searching; Route guidance specially adapted for specific applications
- G01C21/3415—Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
- G01C21/3492—Special cost functions, i.e. other than distance or default speed limit of road segments employing speed data or traffic data, e.g. real-time or historical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明实施例提供了一种导航方法和导航系统，其中，所述方法包括：获取路网的拓扑结构和出行数据，所述出行数据包括所述路网在历史时间内的车辆的出发时间、出发地和目的地；将所述历史时间划分为多个时间片，并根据所述出行数据，生成每个时间片对应的训练数据；以所有车辆的总通行时间作为强化学习的奖励值，利用所述时间片对应的训练数据，训练得到一个全连接的神经网络模型；利用训练得到的所述神经网络模型，生成目标车辆的导航路线并下发给所述目标车辆。本发明可以在提前感知所有交通需求的情况下，通过强化学习充分疏导和分散交通，可以在给车辆规划路线的同时减轻拥堵，从而减少全局的通行时间。
Description
技术领域
本发明涉及车辆导航技术领域，具体而言，本发明涉及一种导航方法和导航系统。
背景技术
车辆导航系统可以根据车辆的出发地、目的地以及实时的道路拥堵信息，为车辆规划合适的行驶路线，降低车辆的行驶成本(如行驶时间等)，提高道路的通行效率。
现有技术的一些传统的交通流量的优化方法，参考文献1的Nie Y.A class ofbush-based algorithms for the traffic assignment problem.TranspResPartB:Methodol2010；44(1):73–89，以及文献2的S.,Lima,A.,&González,M.C.(2016).Understanding congested travel in urban areas.Nature communications,7,10793，通常是基于启发式的优化算法，大多是以非常高的复杂度得到一些近似的解，优化效果一般而且难以满足实际应用对高效的要求。
现有技术的另一种在线导航系统(参考美国专利申请US9964414))，可以针对每个司机发起的出发地-目的地的驾驶需求，为司机推荐能够避开当前拥塞的行驶路线。但是该导航系统没有区别对待不同司机也没有协调司机之间的路线，这样的导航很容易在某些地方引发新的拥堵。
发明内容
本发明实施例要解决的技术问题是提供一种导航方法和导航系统，可以在提前感知所有交通需求的情况下，通过强化学习充分疏导和分散交通，可以在给车辆规划路线的同时减轻拥堵，从而减少全局的通行时间。
为解决上述技术问题，根据本发明的一个方面，提供了一种导航方法，包括：
获取路网的拓扑结构和出行数据，所述出行数据包括所述路网在历史时间内的车辆的出发时间、出发地和目的地；
将所述历史时间划分为多个时间片，每个时间片包括时间上连续的预设长度的时间，并根据所述出行数据，生成每个时间片对应的训练数据，所述训练数据包括：出发时间属于该时间片的车辆的出发地和目的地；
以所有车辆的总通行时间作为强化学习的奖励值，利用所述时间片对应的训练数据，训练得到一个全连接的神经网络模型；
利用训练得到的所述神经网络模型，生成目标车辆的导航路线并下发给所述目标车辆。
根据本发明的至少一个实施例，利用所述时间片对应的训练数据，训练得到一个全连接的神经网络模型的步骤，包括：
在利用每个时间片对应的训练数据训练所述神经网络模型时，根据所述路网的拓扑结构，为所述训练数据中的每个车辆生成距离最短的行驶路线，得到所述路网的初始流量分布，以所述初始流量分布作为路网流量的初始状态，并重复执行以下步骤，直至所述总通行时间收敛：
计算在路网流量的当前状态下所有车辆的总通行时间；
将路网流量的当前状态作为全连接的神经网络模型的输入，通过对路网流量的调整，更新所述路网流量的状态和所述总通行时间，并计算更新后的所述总通行时间的减少值；
将所述总通行时间的减少值作为梯度传播，更新所述神经网络模型。
根据本发明的至少一个实施例，计算在路网流量的当前状态下所有车辆的总通行时间的步骤，包括：
利用预先获得的所述路网的通行时间模型，计算在路网流量的当前状态下所有车辆的总通行时间。
根据本发明的至少一个实施例，对路网流量的调整，包括：
将一条路径上的车辆，分流到具有相同的起点和终点，但距离更远的另一路径。
根据本发明的至少一个实施例，，利用训练得到的所述神经网络模型，生成目标车辆的导航路线的步骤，包括：
获取目标时间片内计划出行的所有目标车辆的出发地和目的地；
根据所述路网的拓扑结构，为所有目标车辆生成距离最短的行驶路线，得到所述路网流量的状态并输入至所述神经网络模型；以及，获取所述神经网络模型输出的每个目标车辆的行驶路线，作为每个目标车辆的导航路线。
根据本发明的至少一个实施例，所述神经网络模型为两层的全连接网络。
根据本发明的另一发明，还提供了一种导航系统，包括：
聚合器模块，用于获取出行数据，所述出行数据包括所述路网在历史时间内的车辆的出发时间、出发地和目的地；将所述历史时间划分为多个时间片，每个时间片包括时间上连续的预设长度的时间，并根据所述出行数据，生成每个时间片对应的训练数据，所述训练数据包括：出发时间属于该时间片的车辆的出发地和目的地；
路网模块，用于获取路网的拓扑结构；
预训练模块，用于以所有车辆的总通行时间作为强化学习的奖励值，利用所述时间片对应的训练数据，训练得到一个全连接的神经网络模型；
控制器模块，用于利用训练得到的所述神经网络模型，生成目标车辆的导航路线；
分配器模块，用于将所述目标车辆的导航路线发送给所述目标车辆。
根据本发明的至少一个实施例，所述预训练模块，还用于在利用每个时间片对应的训练数据训练所述神经网络模型时，根据所述路网的拓扑结构，为所述训练数据中的每个车辆生成距离最短的行驶路线，得到所述路网的初始流量分布，以所述初始流量分布作为路网流量的初始状态，并重复执行以下步骤，直至所述总通行时间收敛：
计算在路网流量的当前状态下所有车辆的总通行时间；
将路网流量的当前状态作为全连接的神经网络模型的输入，通过对路网流量的调整，更新所述路网流量的状态和所述总通行时间，并计算更新后的所述总通行时间的减少值；
将所述总通行时间的减少值作为梯度传播，更新所述神经网络模型。
根据本发明的至少一个实施例，所述预训练模块，还用于在计算在路网流量的当前状态下所有车辆的总通行时间时，利用预先获得的所述路网的通行时间模型，计算在路网流量的当前状态下所有车辆的总通行时间。
根据本发明的至少一个实施例，所述预训练模块，还用于在对路网流量的调整时，将一条路径上的车辆，分流到具有相同的起点和终点，但距离更远的另一路径。
根据本发明的至少一个实施例，所述控制器模块，还用于获取目标时间片内计划出行的所有目标车辆的出发地和目的地；根据所述路网的拓扑结构，为所有目标车辆生成距离最短的行驶路线，得到所述路网流量的状态并输入至所述神经网络模型；以及，获取所述神经网络模型输出的每个目标车辆的行驶路线，作为每个目标车辆的导航路线。
根据本发明的至少一个实施例，所述神经网络模型为两层的全连接网络。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的导航方法的步骤。
与现有技术相比，本发明实施例提供的导航方法和导航系统，可以在提前感知所有交通需求的情况下，通过强化学习对目标车辆进行疏导和分散交通，可以在给目标车辆规划路线的同时减轻拥堵，从而减少总通行时间。相比于传统的导航方法，本发明实施例是基于强化学习的算法，能采用自动学习最优路径的规划策略，可以避免手工规则制定和启发式算法的复杂流程设计，降低了计算复杂度，提高了导航效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的导航方法的一种应用场景示意图；
图2为本发明实施例提供的导航方法的一种流程示意图；
图3为本发明实施例提供的路网流量调整的一种示例图；
图4为本发明实施例提供的导航系统的一种结构示意图；
图5为本发明实施例提供的导航系统的另一结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描述。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
如背景技术所述的，现有技术的导航方法，通常存在着计算量大难以满足实际应用的需要，或者容易引发新的拥堵等问题。为解决以上问题中的至少一种，本发明实施例提供了一种导航方法，可以在规划车辆行驶路线的同时减小路网的整体拥堵，从而减少整个路网的通行时间。
图1为本发明实施例的导航方法的一种应用场景示意图。图1中包括有导航系统和终端，其中，导航系统和终端以服务器-客户端的形式工作。具体的，所述导航系统可以是集成在一台设备上，也可以是各个模块分设在不同设备上。所述终端可以车载终端或智能手机等，所述客户端对应于一个应用(App)，用于发送导航需求以及接收导航路线规划。
如图1所示，所述服务器，即导航系统可以包括聚合器模块、路网模块、控制器模块、分配器模块以及一个预训练模块，这些模块构成了一个集中式的计算平台。其中，聚集器模块用于收集出发地和目的地(OD)的需求，路网模块提供真实的路网拓扑结构和候选路径的容量(用于计算每条路径的通行时间)，控制器模块负责根据预训练好的神经网络模型为所有目标车辆规划导航路线，最后，分配器模块用于规划好的导航路线发送给相应的终端(目标车辆)。
如图2所示，本发明实施例提供的一种导航方法，可以应用于图1所示的导航系统，该方法具体包括：
步骤21，获取路网的拓扑结构和出行数据，所述出行数据包括所述路网在历史时间内的车辆的出发时间、出发地和目的地。
这里，本发明实施例针对特定的路网，例如，某个目标区域的路网，获取该路网的路网拓扑结构，并采集该路网的历史出行数据，包括各个车辆的出发地、目的地以及出发时间等信息，例如，获取路网在过去一天、一周或者一个月内的车辆出行数据，从而可以获得历史时间内该路网的车辆出行信息，以用于后续步骤中生成该路网对应的神经网络模型。
步骤22，将所述历史时间划分为多个时间片，每个时间片包括时间上连续的预设长度的时间，并根据所述出行数据，生成每个时间片对应的训练数据，所述训练数据包括：出发时间属于该时间片的车辆的出发地和目的地。
这里，为了便于后续的模型训练，可以将出现数据划分成多份训练数据，每份训练数据对应于一个时间片。具体的，可以将所述历史时间划分为多个连续且不重叠的多个时间片，每个时间片的时长可以相等或不等，例如每个时间片为1分钟、2分钟或5分钟等。假设步骤21中的历史时间为前一日的24小时，每个时间片的长度为2分钟，从而可以得到24*60/2＝720个时间片，每个时间片内的车辆的出发地和目的地作为一份训练数据，从而可以得到720份训练数据。
步骤23，以所有车辆的总通行时间作为强化学习的奖励值，利用所述时间片对应的训练数据，训练得到一个全连接的神经网络模型。
这里，本发明实施例将优化路线的过程设计成一个马尔科夫决策过程的形式，其中：
状态：是指当前时刻下路网上的流量分布(此分布可以结合路网数据，计算当前每条路径的通行时间)。
动作：决策是否将当前一条路径上的车辆分流到一条距离更远的路径上(潜在的会减少总体的通行时间)。
奖励(奖赏)：全部通行时间求和。
在深度强化学习模型的训练过程，决策过程由一个两层的全连接网络实现，全连接网络的输入是当前的状态，输出是执行每个动作的概率，此全连接网络的参数可以从步骤21中采集到的真实的历史数据中学习。
在步骤23中，本发明实施例利用步骤22中获得的多份训练数据，训练一个全连接的神经网络模型。具体的，所述神经网络模型可以采用两层的全连接网络。
本发明实施例在利用每个时间片对应的训练数据，训练所述神经网络模型时，首先根据所述路网的拓扑结构，为所述训练数据中的每个车辆生成距离最短的行驶路线，得到所述路网的初始流量分布，然后，以所述初始流量分布作为路网流量的初始状态，并重复执行以下步骤a～c，直至所述总通行时间收敛：
a)计算在路网流量的当前状态下所有车辆的总通行时间。这里，所述总通行时间是指当前用于训练的训练数据中的所有车辆的通行时间的总和；
b)将路网流量的当前状态作为全连接的神经网络模型的输入，通过对路网流量的调整，更新所述路网流量的状态和所述总通行时间，并计算更新后的所述总通行时间的减少值。
这里，对路网流量的调整，通常可以是，将一条路径上的车辆，分流到具有相同的起点和终点，但距离更远的另一路径。这里，路径可以包括一个或多个路段，所述路段通常是指路网拓扑中的最小单元，例如，相邻节点之间的道路通常被作为一个路段。如图3所示，假设出发地到目的地的路线为实线所示，其中包括一段起点为A终点为B的路径，在进行流量调整时，可以将A->B的路径调整至距离更远的另一路径，如图3中的虚线所示。
c)将所述总通行时间的减少值作为梯度传播，更新所述神经网络模型。
如果路网流量调整后可以减少总通行时间，则在执行每次动作后将奖励值(总通行时间)传回，同时更新神经网络模型的参数。
在以上步骤a或c中，计算或更新在路网流量的当前状态下所有车辆的总通行时间，具体可以利用预先获得的所述路网的通行时间模型，计算在路网流量的当前状态下所有车辆的总通行时间。所述通行时间模型可以是预先针对所述路网的各个路段统计得到的不同流量状态下的车辆通行时间，每个路段上的车辆通行时间通常与该路段当前的车流量和该路段的车辆容量相关。需要指出的是，车辆通行时间的计算，可以采用统计方式或者采用现有技术的其他算法，本发明实施例对此不作具体限定。
这样，通过利用多份训练数据，重复执行以上的训练过程，最终可以训练得到一个神经网络模型，该神经网络模型可以用于规划所述路网的导航路线。
步骤24，利用训练得到的所述神经网络模型，生成目标车辆的导航路线并下发给所述目标车辆。
在获得训练好的神经网络模型后，可以利用该神经网络模型进行导航路线的规划。具体的，车辆可以向服务器发送导航路线的请求消息，该请求消息可以携带有车辆的计划出行的出发时间、出发地和目的地等信息，这样服务器可以获取目标时间片内计划出行的所有目标车辆的出发地和目的地，然后，根据所述路网的拓扑结构，为所有目标车辆生成距离最短的行驶路线，得到所述路网流量的状态并输入至所述神经网络模型，以利用所述神经网络模型生成所述目标车辆的行驶路线，这样，就可以将所述神经网络模型输出的每个目标车辆的行驶路线，作为每个目标车辆的导航路线，然后发送给各个目标车辆。
通过以上步骤，本发明实施例可以在提前感知所有交通需求的情况下，通过强化学习对目标车辆进行疏导和分散交通，可以在给目标车辆规划路线的同时减轻拥堵，从而减少总通行时间。相比于传统的导航方法，本发明实施例是基于强化学习的算法，能采用自动学习最优路径的规划策略，可以避免手工规则制定和启发式算法的复杂流程设计，降低了计算复杂度，提高了导航效率。
基于以上的导航方法，本发明实施例还提供了实施上述方法的装置。
请参照图4，本发明实施例提供的一种导航系统40，包括：
聚合器模块41，用于获取出行数据，所述出行数据包括所述路网在历史时间内的车辆的出发时间、出发地和目的地；将所述历史时间划分为多个时间片，每个时间片包括时间上连续的预设长度的时间，并根据所述出行数据，生成每个时间片对应的训练数据，所述训练数据包括：出发时间属于该时间片的车辆的出发地和目的地；
路网模块42，用于获取路网的拓扑结构；
预训练模块43，用于以所有车辆的总通行时间作为强化学习的奖励值，利用所述时间片对应的训练数据，训练得到一个全连接的神经网络模型；
控制器模块44，用于利用训练得到的所述神经网络模型，生成目标车辆的导航路线；
分配器模块45，用于将所述目标车辆的导航路线发送给所述目标车辆。
根据本发明的至少一个实施例，所述预训练模块43，还用于在利用每个时间片对应的训练数据训练所述神经网络模型时，根据所述路网的拓扑结构，为所述训练数据中的每个车辆生成距离最短的行驶路线，得到所述路网的初始流量分布，以所述初始流量分布作为路网流量的初始状态，并重复执行以下步骤，直至所述总通行时间收敛：
计算在路网流量的当前状态下所有车辆的总通行时间；
将路网流量的当前状态作为全连接的神经网络模型的输入，通过对路网流量的调整，更新所述路网流量的状态和所述总通行时间，并计算更新后的所述总通行时间的减少值；
将所述总通行时间的减少值作为梯度传播，更新所述神经网络模型。
根据本发明的至少一个实施例，所述预训练模块43，还用于在计算在路网流量的当前状态下所有车辆的总通行时间时，利用预先获得的所述路网的通行时间模型，计算在路网流量的当前状态下所有车辆的总通行时间。
根据本发明的至少一个实施例，所述预训练模块43，还用于在对路网流量的调整时，将一条路径上的车辆，分流到具有相同的起点和终点，但距离更远的另一路径。
根据本发明的至少一个实施例，所述控制器模块44，还用于获取目标时间片内计划出行的所有目标车辆的出发地和目的地；根据所述路网的拓扑结构，为所有目标车辆生成距离最短的行驶路线，得到所述路网流量的状态并输入至所述神经网络模型；以及，获取所述神经网络模型输出的每个目标车辆的行驶路线，作为每个目标车辆的导航路线。
根据本发明的至少一个实施例，所述神经网络模型为两层的全连接网络。
如图5所示，本发明实施例还提供了另一种导航系统50，该导航系统50具体包括处理器51、存储器52、总线系统53、接收器54和发送器55。其中，处理器51、存储器52、接收器54和发送器55通过总线系统53相连，该存储器52用于存储指令，该处理器51用于执行该存储器52存储的指令，以控制接收器54接收信号，并控制发送器55发送信号；
其中，该处理器51，用于读取存储器中的程序，执行下列过程：
获取路网的拓扑结构和出行数据，所述出行数据包括所述路网在历史时间内的车辆的出发时间、出发地和目的地；
将所述历史时间划分为多个时间片，每个时间片包括时间上连续的预设长度的时间，并根据所述出行数据，生成每个时间片对应的训练数据，所述训练数据包括：出发时间属于该时间片的车辆的出发地和目的地；
以所有车辆的总通行时间作为强化学习的奖励值，利用所述时间片对应的训练数据，训练得到一个全连接的神经网络模型；
利用训练得到的所述神经网络模型，生成目标车辆的导航路线并下发给所述目标车辆。
应理解，在本发明实施例中，该处理器51可以是中央处理单元(CentralProcessing Unit，简称为“CPU”)，该处理器51还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器52可以包括只读存储器和随机存取存储器，并向处理器51提供指令和数据。存储器52的一部分还可以包括非易失性随机存取存储器。例如，存储器52还可以存储设备类型的信息。
该总线系统53除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都标为总线系统53。
在实现过程中，上述方法的各步骤可以通过处理器51中的硬件的集成逻辑电路或者软件形式的指令完成。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器52，处理器51读取存储器52中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
根据本发明的至少一个实施例，所述程序被处理器51执行时还可实现如下步骤：
在利用每个时间片对应的训练数据训练所述神经网络模型时，根据所述路网的拓扑结构，为所述训练数据中的每个车辆生成距离最短的行驶路线，得到所述路网的初始流量分布，以所述初始流量分布作为路网流量的初始状态，并重复执行以下步骤，直至所述总通行时间收敛：
计算在路网流量的当前状态下所有车辆的总通行时间；
将路网流量的当前状态作为全连接的神经网络模型的输入，通过对路网流量的调整，更新所述路网流量的状态和所述总通行时间，并计算更新后的所述总通行时间的减少值；
将所述总通行时间的减少值作为梯度传播，更新所述神经网络模型。
根据本发明的至少一个实施例，所述程序被处理器51执行时还可实现如下步骤：
利用预先获得的所述路网的通行时间模型，计算在路网流量的当前状态下所有车辆的总通行时间。
根据本发明的至少一个实施例，所述程序被处理器51执行时还可实现如下步骤：
在对路网流量的时，将一条路径上的车辆，分流到具有相同的起点和终点，但距离更远的另一路径。
根据本发明的至少一个实施例，所述程序被处理器51执行时还可实现如下步骤：
获取目标时间片内计划出行的所有目标车辆的出发地和目的地；
根据所述路网的拓扑结构，为所有目标车辆生成距离最短的行驶路线，得到所述路网流量的状态并输入至所述神经网络模型；以及，获取所述神经网络模型输出的每个目标车辆的行驶路线，作为每个目标车辆的导航路线。
可选的，所述神经网络模型为两层的全连接网络。
在本发明的一些实施例中，还提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时可以实现以下步骤：
获取路网的拓扑结构和出行数据，所述出行数据包括所述路网在历史时间内的车辆的出发时间、出发地和目的地；
将所述历史时间划分为多个时间片，每个时间片包括时间上连续的预设长度的时间，并根据所述出行数据，生成每个时间片对应的训练数据，所述训练数据包括：出发时间属于该时间片的车辆的出发地和目的地；
以所有车辆的总通行时间作为强化学习的奖励值，利用所述时间片对应的训练数据，训练得到一个全连接的神经网络模型；
利用训练得到的所述神经网络模型，生成目标车辆的导航路线并下发给所述目标车辆。
该程序被处理器执行时能实现图2所示的导航方法中的所有实现方式，且能达到相同的技术效果，为避免重复，此处不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种导航方法，其特征在于，包括：
获取路网的拓扑结构和出行数据，所述出行数据包括所述路网在历史时间内的车辆的出发时间、出发地和目的地；
将所述历史时间划分为多个时间片，每个时间片包括时间上连续的预设长度的时间，并根据所述出行数据，生成每个时间片对应的训练数据，所述训练数据包括：出发时间属于该时间片的车辆的出发地和目的地；
以所有车辆的总通行时间作为强化学习的奖励值，利用所述时间片对应的训练数据，训练得到一个全连接的神经网络模型；
利用训练得到的所述神经网络模型，生成目标车辆的导航路线并下发给所述目标车辆；
其中，利用所述时间片对应的训练数据，训练得到一个全连接的神经网络模型的步骤，包括：
在利用每个时间片对应的训练数据训练所述神经网络模型时，根据所述路网的拓扑结构，为所述训练数据中的每个车辆生成距离最短的行驶路线，得到所述路网的初始流量分布，以所述初始流量分布作为路网流量的初始状态，并重复执行以下步骤，直至所述总通行时间收敛：
计算在路网流量的当前状态下所有车辆的总通行时间；
将路网流量的当前状态作为全连接的神经网络模型的输入，通过对路网流量的调整，更新所述路网流量的状态和所述总通行时间，并计算更新后的所述总通行时间的减少值；
将所述总通行时间的减少值作为梯度传播，更新所述神经网络模型。
2.如权利要求1所述的方法，其特征在于，计算在路网流量的当前状态下所有车辆的总通行时间的步骤，包括：
利用预先获得的所述路网的通行时间模型，计算在路网流量的当前状态下所有车辆的总通行时间。
3.如权利要求1所述的方法，其特征在于，对路网流量的调整，包括：
将一条路径上的车辆，分流到具有相同的起点和终点，但距离更远的另一路径。
4.如权利要求1所述的方法，其特征在于，利用训练得到的所述神经网络模型，生成目标车辆的导航路线的步骤，包括：
获取目标时间片内计划出行的所有目标车辆的出发地和目的地；
根据所述路网的拓扑结构，为所有目标车辆生成距离最短的行驶路线，得到所述路网流量的状态并输入至所述神经网络模型；以及，获取所述神经网络模型输出的每个目标车辆的行驶路线，作为每个目标车辆的导航路线。
5.如权利要求1所述的方法，其特征在于，所述神经网络模型为两层的全连接网络。
6.一种导航系统，其特征在于，包括：
聚合器模块，用于获取出行数据，所述出行数据包括路网在历史时间内的车辆的出发时间、出发地和目的地；将所述历史时间划分为多个时间片，每个时间片包括时间上连续的预设长度的时间，并根据所述出行数据，生成每个时间片对应的训练数据，所述训练数据包括：出发时间属于该时间片的车辆的出发地和目的地；
路网模块，用于获取路网的拓扑结构；
预训练模块，用于以所有车辆的总通行时间作为强化学习的奖励值，利用所述时间片对应的训练数据，训练得到一个全连接的神经网络模型；
控制器模块，用于利用训练得到的所述神经网络模型，生成目标车辆的导航路线；
分配器模块，用于将所述目标车辆的导航路线发送给所述目标车辆；
其中，所述预训练模块，还用于在利用每个时间片对应的训练数据训练所述神经网络模型时，根据所述路网的拓扑结构，为所述训练数据中的每个车辆生成距离最短的行驶路线，得到所述路网的初始流量分布，以所述初始流量分布作为路网流量的初始状态，并重复执行以下步骤，直至所述总通行时间收敛：
计算在路网流量的当前状态下所有车辆的总通行时间；
将路网流量的当前状态作为全连接的神经网络模型的输入，通过对路网流量的调整，更新所述路网流量的状态和所述总通行时间，并计算更新后的所述总通行时间的减少值；
将所述总通行时间的减少值作为梯度传播，更新所述神经网络模型。
7.如权利要求6所述的导航系统，其特征在于，
所述预训练模块，还用于在计算在路网流量的当前状态下所有车辆的总通行时间时，利用预先获得的所述路网的通行时间模型，计算在路网流量的当前状态下所有车辆的总通行时间。
8.如权利要求6所述的导航系统，其特征在于，
所述预训练模块，还用于在对路网流量的调整时，将一条路径上的车辆，分流到具有相同的起点和终点，但距离更远的另一路径。
9.如权利要求6所述的导航系统，其特征在于，
所述控制器模块，还用于获取目标时间片内计划出行的所有目标车辆的出发地和目的地；根据所述路网的拓扑结构，为所有目标车辆生成距离最短的行驶路线，得到所述路网流量的状态并输入至所述神经网络模型；以及，获取所述神经网络模型输出的每个目标车辆的行驶路线，作为每个目标车辆的导航路线。
10.如权利要求6所述的导航系统，其特征在于，所述神经网络模型为两层的全连接网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010086672.4A CN113252054B (zh) | 2020-02-11 | 2020-02-11 | 一种导航方法和导航系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010086672.4A CN113252054B (zh) | 2020-02-11 | 2020-02-11 | 一种导航方法和导航系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113252054A CN113252054A (zh) | 2021-08-13 |
| CN113252054B true CN113252054B (zh) | 2023-11-28 |
Family
ID=77219539
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010086672.4A Active CN113252054B (zh) | 2020-02-11 | 2020-02-11 | 一种导航方法和导航系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113252054B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114153934A (zh) * | 2021-12-13 | 2022-03-08 | 高德软件有限公司 | 机器学习模型训练、导航路线推荐方法及计算机存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106781592A (zh) * | 2017-01-04 | 2017-05-31 | 成都四方伟业软件股份有限公司 | 一种基于大数据的交通导航系统及方法 |
| CN108180919A (zh) * | 2017-12-12 | 2018-06-19 | 沈阳美行科技有限公司 | 一种规划路线的优化方法及装置 |
| CN108847037A (zh) * | 2018-06-27 | 2018-11-20 | 华中师范大学 | 一种面向非全局信息的城市路网路径规划方法 |
| CN109579861A (zh) * | 2018-12-10 | 2019-04-05 | 华中科技大学 | 一种基于强化学习的路径导航方法及系统 |
| CN110073426A (zh) * | 2017-11-23 | 2019-07-30 | 北京嘀嘀无限科技发展有限公司 | 估计到达时间的系统和方法 |
| CN110274609A (zh) * | 2019-06-10 | 2019-09-24 | 浙江工业大学 | 一种基于行程时间预测的实时路径规划方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11256983B2 (en) * | 2017-07-27 | 2022-02-22 | Waymo Llc | Neural networks for vehicle trajectory planning |
| US10571291B2 (en) * | 2017-12-08 | 2020-02-25 | Here Global B.V. | Method, apparatus, and computer program product for traffic optimized routing |
-
2020
- 2020-02-11 CN CN202010086672.4A patent/CN113252054B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106781592A (zh) * | 2017-01-04 | 2017-05-31 | 成都四方伟业软件股份有限公司 | 一种基于大数据的交通导航系统及方法 |
| CN110073426A (zh) * | 2017-11-23 | 2019-07-30 | 北京嘀嘀无限科技发展有限公司 | 估计到达时间的系统和方法 |
| CN108180919A (zh) * | 2017-12-12 | 2018-06-19 | 沈阳美行科技有限公司 | 一种规划路线的优化方法及装置 |
| CN108847037A (zh) * | 2018-06-27 | 2018-11-20 | 华中师范大学 | 一种面向非全局信息的城市路网路径规划方法 |
| CN109579861A (zh) * | 2018-12-10 | 2019-04-05 | 华中科技大学 | 一种基于强化学习的路径导航方法及系统 |
| CN110274609A (zh) * | 2019-06-10 | 2019-09-24 | 浙江工业大学 | 一种基于行程时间预测的实时路径规划方法 |
Non-Patent Citations (4)
| Title |
|---|
| Learning-based logistics planning and scheduling for crowdsourced parcel delivery;Yuncheol Kang等;《Computers & Industrial Engineering》;271-279 * |
| 动态重规划的多目标路径产生方法研究;于泉;姚宗含;《交通运输工程与信息学报》;第17卷(第4期);105-112 * |
| 城市路网多路口路径动态实时选择方法;严丽平;胡文斌;王欢;邱振宇;杜博;;软件学报(第09期);2199-2217 * |
| 基于遗传算法的智能车行驶路线优化;李勇; 柳建;《电子设计工程》;第27卷(第6期);83-86 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113252054A (zh) | 2021-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhou et al. | Development of an efficient driving strategy for connected and automated vehicles at signalized intersections: A reinforcement learning approach | |
| CN113805572B (zh) | 运动规划的方法与装置 | |
| CN108873905A (zh) | 自动驾驶车辆控制方法、自动驾驶车辆及可读存储介质 | |
| CN110969857B (zh) | 一种交通信息处理方法及装置 | |
| CN110400015B (zh) | 一种时间估计方法及其装置、设备 | |
| CN109841059A (zh) | 一种基于vanet环境下预测拥挤路段并进行规避的方法 | |
| CN113516277B (zh) | 一种基于路网动态定价的网联智能交通路径规划方法 | |
| CN111625989B (zh) | 一种基于a3c-sru的智能车汇入车流方法及系统 | |
| Aragon-Gómez et al. | Traffic-signal control reinforcement learning approach for continuous-time Markov games | |
| CN110570656B (zh) | 定制公共交通线路方法及装置 | |
| CN113252054B (zh) | 一种导航方法和导航系统 | |
| US20220414450A1 (en) | Distributed Multi-Task Machine Learning for Traffic Prediction | |
| Zhao et al. | Dynamic eco‐driving on signalized arterial corridors during the green phase for the connected vehicles | |
| CN111400425B (zh) | 一种路径自动优化选择的方法和系统 | |
| CN111862591A (zh) | 路况预测方法、装置及存储介质 | |
| CN114519433A (zh) | 多智能体强化学习、策略执行方法及计算机设备 | |
| CN114676911A (zh) | 一种运输车辆行车路线确定方法及装置 | |
| Wang et al. | Joint traffic signal and connected vehicle control in IoV via deep reinforcement learning | |
| CN108198413A (zh) | 一种大数据及自主深度学习的智能交通缓堵方法 | |
| CN116189454A (zh) | 交通信号控制方法、装置、电子设备及存储介质 | |
| Zhu et al. | Trajectory Optimization of CAVs in Freeway Work Zone considering Car‐Following Behaviors Using Online Multiagent Reinforcement Learning | |
| Withanawasam et al. | Multi-agent based road traffic control optimization | |
| CN113788007B (zh) | 一种分层式实时能量管理方法和系统 | |
| CN113657606B (zh) | 车联网场景下分压聚合的局域联邦学习方法 | |
| Li et al. | The impact of autonomous vehicles' headway on the social delay of traffic networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |