CN114894210A - 物流车辆路径规划方法、装置、设备和存储介质 - Google Patents
物流车辆路径规划方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN114894210A CN114894210A CN202210522489.3A CN202210522489A CN114894210A CN 114894210 A CN114894210 A CN 114894210A CN 202210522489 A CN202210522489 A CN 202210522489A CN 114894210 A CN114894210 A CN 114894210A
- Authority
- CN
- China
- Prior art keywords
- logistics
- vehicle path
- path planning
- logistics vehicle
- strategy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 37
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 30
- 230000009471 action Effects 0.000 claims abstract description 21
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 125000004122 cyclic group Chemical group 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 238000004088 simulation Methods 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 4
- 238000010200 validation analysis Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3407—Route searching; Route guidance specially adapted for specific applications
- G01C21/3415—Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3446—Details of route searching algorithms, e.g. Dijkstra, A*, arc-flags, using precalculated routes
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Evolutionary Computation (AREA)
- Computer Hardware Design (AREA)
- Aviation & Aerospace Engineering (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种物流车辆路径规划方法、装置、设备和存储介质。一种物流车辆路径规划方法包括：根据物流仓库节点、物流客户节点和物流车辆的信息构建物流车辆路径规划模型输入数据；基于Rollout算法训练Policy Gradient策略算法，得到训练后的物流车辆路径规划模型，其中，基于Transformer网络输出实例数据的策略动作概率；将物流车辆规划任务输入训练后的物流车辆路径规划模型，得到规划后的物流车辆路径。本发明实施例的技术方案，提高了物流车辆的配送效率。
Description
技术领域
本发明实施例涉及智能控制技术，尤其涉及一种物流车辆路径规划方法、装置、设备和存储介质。
背景技术
现代物流企业处于高速的发展过程，如何使用先进的技术提升物流效率和提高客户的满足率是保持企业竞争力的核心。
其中，物流车辆路径规划是个很重要的任务，优化物流车辆路线不仅能降低运营成本，而且能提升效率满足客户的需求。
但是车辆路径规划任务在传统运筹学中属于非确定性多项式难题(Non-deterministic Polynomial-HARD，NP-HARD)，而且现代的物流运输任务规模越来越大，运输的需求变化更快，如何在较短的时间内，规划出合理的车辆派送路径一直是个具有挑战性的难题。
发明内容
本发明提供一种物流车辆路径规划方法、装置、设备和存储介质，以提高物流配送效率。
第一方面，本发明实施例提供了一种物流车辆路径规划方法，包括：
根据物流仓库节点、物流客户节点和物流车辆的信息构建物流车辆路径规划模型输入数据；
基于Rollout算法训练Policy Gradient策略算法，得到训练后的物流车辆路径规划模型，其中，基于Transformer网络输出实例数据的策略动作概率；
将物流车辆规划任务输入训练后的物流车辆路径规划模型，得到规划后的物流车辆路径。
在第一方面一种可能的实现方式中，基于Rollout算法训练Policy Gradient策略算法，得到训练后的物流车辆路径规划模型，其中，基于Transformer网络输出实例数据的策略动作概率，包括：
随机生成物流车辆路径规划模型的实例数据集；
采用Transformer网络和分类动作采样训练第一策略；
采用Transformer网络和贪心动作采样训练第二策略；
将实例数据集输入第一策略中得到线路规划后的第一代价估计值，将实例数据集输入第二策略中得到线路规划后的第二代价估计值和动作选择概率值，根据第一代价估计值、第二代价估计值和动作选择概率值计算损失；
使用损失更新Transformer网络模型参数；
使用验证数据集计算更新后的Transformer网络模型策略代价，若代价降低则得到训练后的物流车辆路径规划模型，否则重复随机生成实例数据并采用Transformer网络训练。
在第一方面一种可能的实现方式中，随机生成物流车辆路径规划模型的实例数据集之前，还包括：
确定Transformer网络模型的训练轮数、每轮步数和每步中的批次数，其中，随机生成的物流车辆路径规划模型的实例数据集为每轮步数和每步中的批次数之积组，训练轮数为Transformer网络的最大训练轮数；
初始化Transformer网络模型参数；
生成验证数据集。
在第一方面一种可能的实现方式中，Transformer网络包含Encoder模块和Decoder模块，Encoder模块接收处理后的物流仓库节点和物流客户节点数据，输出所有节点编码数据和拓扑图编码数据，Decoder模块接收Encoder模块的输出，循环解码计算物流车辆行驶节点顺序和所有路径中成本。
在第一方面一种可能的实现方式中，Decoder模块包括仿真环境和循环解码模块；
仿真环境用于记录每辆物流车辆的形式节点顺序，更新每辆物流车辆的形式时间和已行驶距离，根据每个物流客户节点的需求访问时间和已行驶节点，返回下一节点的mask矩阵，根据当前选择物流客户节点输出下一次选择的上下文向量；
循环解码模块用于根据mask矩阵和上下文向量，循环计算出每辆物流车辆的形式节点，其中，循环次数是物流客户节点数量，其中mask矩阵用于在解码时不选择已行驶过的节点和当前不在访问时间的节点。
在第一方面一种可能的实现方式中，根据物流仓库节点、物流客户节点和物流车辆的信息构建物流车辆路径规划模型输入数据之后，还包括：
对物流车辆路径规划模型输入数据进行归一化处理。
在第一方面一种可能的实现方式中，对物流车辆路径规划模型输入数据进行归一化处理之后，还包括：
分别对物流仓库节点和物流客户节点数据进行嵌入编码处理，并将处理后的编码向量进行拼接。
第二方面，本发明实施例提供一种物流车辆路径规划装置，包括：
数据输入模块，用于根据物流仓库节点、物流客户节点和物流车辆的信息构建物流车辆路径规划模型输入数据；
模型训练模块，用于基于Rollout算法训练Policy Gradient策略算法，得到训练后的物流车辆路径规划模型，其中，基于Transformer网络输出实例数据的策略动作概率；
路径规划模块，用于将物流车辆规划任务输入训练后的物流车辆路径规划模型，得到规划后的物流车辆路径。
第三方面，本发明实施例提供一种电子设备，电子设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面任一种可能的实现方式的物流车辆路径规划方法。
第四方面，本发明实施例提供一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行如第一方面任一种可能的实现方式的物流车辆路径规划方法
本发明实施例提供的物流车辆路径规划方法、装置、设备和存储介质，创新地将Transformer网络、Policy Gradient算法和Rollout算法结合在一起，解决实际物流中物流车辆路径规划问题，提供了一种高效地物流车辆路径规划方法，提高了物流配送的效率。
附图说明
图1为本发明实施例提供的一种物流车辆路径规划方法的流程图；
图2为Transformer网络结构示意图；
图3为EncoderLayer结构示意图；
图4为本对物流车辆路径规划模型进行训练的的流程图；
图5为本发明实施例提供的一种物流车辆路径规划装置的结构示意图；
图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
图1为本发明实施例提供的一种物流车辆路径规划方法的流程图，如图1所示，本实施例提供的物流车辆路径规划方法包括：
步骤S110，根据物流仓库节点、物流客户节点和物流车辆的信息构建物流车辆路径规划模型输入数据。
本发明实施例提供的物流车辆路径规划方法用于对物流车辆的路径进行规划。对物流车辆的路径进行规划的工作由物流车辆规划装置执行，该装置可以是独立的装置，也可以是设置于任一具有处理能力的设备中的软件装置。在物流行业中，可以将物流仓库和物流客户分别看作物流网络中的节点，物流车辆在各节点中进行获取传递。一辆物流车辆从物流仓库出发时，会装载多个物流客户的货物，因此为了提高配送效率，需要为物流车辆规划合理的路径，才能提高物流车辆的配送效率。另外各物流客户可能还有收货时间要求，因此更需要对物流车辆的行驶路径进行合理规划。
本实施例采用强化学习的方法，对物流车辆路径进行规划，首先，根据物流仓库节点、物流客户节点和物流车辆的信息构建物流车辆路径规划模型输入数据。物流车辆路径规划模型是根据物流仓库节点、物流客户节点建立的模型。在一个物流配送方负责的区域内，可能存在一个或多个物流仓库和众多的物流客户，在物流配送方负责的区域内，将每个物流仓库作为一个节点，每个物流客户也作为一个节点，从而可以建立物流车辆路径规划模型。将物流仓库节点、物流客户节点和物流车辆的信息作为物流车辆路径规划模型输入数据。其中物流仓库节点、物流客户节点的信息包括但不限于位置信息、访问时间信息、货物信息，物流车辆信息包括但不限于车辆使用时间段、车辆载货量。
进一步地，根据物流仓库节点、物流客户节点和物流车辆的信息构建物流车辆路径规划模型输入数据之后，还可以对物流车辆路径规划模型输入数据进行归一化处理。
进一步地，物流车辆路径规划模型输入数据进行归一化处理之后，还可以分别对物流仓库节点和物流客户节点数据进行嵌入编码(embedding)处理，并将处理后的编码向量进行拼接。
步骤S120，基于Rollout算法训练Policy Gradient策略算法，得到训练后的物流车辆路径规划模型，其中，基于Transformer网络输出实例数据的策略动作概率。
在得到物流车辆路径规划模型输入数据之后，即可对物流车辆路径规划模型进行训练。在本实施例中，基于Rollout算法训练Policy Gradient策略算法对物流车辆路径规划模型进行训练，其中基于Transformer网络输出实例数据的策略动作概率。其中，对物流车辆路径规划模型进行训练所使用的数据时随机生成的。
其中，Rollout算法的基本思想是在未来有限的k步之内采用直接优化的方法，而在k步之外，采用基础策略(base policy)对数值功能(Value function)来进行近似。Policy Gradient策略算法是基于策略做梯度下降而进行优化的策略。Transformer网络时采用编码-解码框架进行计算的一种网络结构。本实施例创新地将Transformer网络、Policy Gradient算法和Rollout算法结合在一起，解决实际物流中物流车辆路径规划问题。
其中，本实施例将传统Transformer网络进行了改造，Transformer网络的具体结构如图2所示，图2为Transformer网络结构示意图。
Transformer网络模块包含编码(Encoder)和解码(Decoder)两个模块，Encoder模块的输入为处理后的物流仓库节点和物流客户节点数据，输出为所有节点编码数据和整张拓扑图的编码数据。Decoder模块接收Encoder模块输出，循环解码计算出物流车辆行驶节点顺序和所有路径总的成本。
从图2中可以看出，Encoder模块由三个编码层(EncoderLayer)组成，每个EncoderLayer的结构如图3所示，图3为EncoderLayer结构示意图。如图3所示，MultiHeadAttention是指多头自注意力机制。FeedForward是由一层线性层、一层relu激活层和一层线性层组合而成。Add&Norm是指残差连接和BatchNorm1d(归一化层)组成。
Decoder模块核心主要有仿真环境和循环解码模块。仿真环境用于记录每辆物流车辆的形式节点顺序，更新每辆物流车辆的形式时间和已行驶距离，根据每个物流客户节点的需求访问时间和已行驶节点，返回下一节点的mask矩阵，根据当前选择物流客户节点输出下一次选择的上下文向量。循环解码模块用于根据mask矩阵和上下文向量，循环计算出每辆物流车辆的形式节点，其中，循环次数是物流客户节点数量，其中mask矩阵用于在解码时不选择已行驶过的节点和当前不在访问时间的节点。循环解码模块主要包含：MultiHeadAttention(多头自注意力层)、Linear(线性层)和DotProductAttention(点乘自注意力层)。
步骤S130，将物流车辆规划任务输入训练后的物流车辆路径规划模型，得到规划后的物流车辆路径。
通过步骤S120的训练，即可得到训练后的物流车辆路径规划模型，此时即可将实际的物流车辆规划任务输入训练后的物流车辆路径规划模型，即可得到规划后的物流车辆路径。其中，实际物流车辆规划任务包括物流仓库、物流客户的货物供求信息、配送时间信息等。
本实施例提供的物流车辆路径规划方法，创新地将Transformer网络、PolicyGradient算法和Rollout算法结合在一起，解决实际物流中物流车辆路径规划问题，提供了一种高效地物流车辆路径规划方法，提高了物流配送的效率。
图4为本对物流车辆路径规划模型进行训练的的流程图，如图4所示，本实施例提供的方法包括：
步骤S410，确定Transformer网络模型的训练轮数、每轮步数和每步中的批次数。例如，训练轮数为E、每轮步数为T、每步中的批次数为B。
步骤S420，初始化Transformer网络模型参数。Transformer网络模型参数例如为θ。
步骤S430，生成验证数据集。验证数据集可以是随机生成的，验证数据集例如为S1。
需要说明的是，步骤S410-步骤S430中的各种参数可以采用预设数据，也就是也可以无需执行步骤S410-步骤S430。
步骤S440，随机生成物流车辆路径规划模型的实例数据集。其中，随机生成的物流车辆路径规划模型的实例数据集为每轮步数和每步中的批次数之积组。例如，生成的实例数据集为S2＝T*B(组)。
步骤S450，采用Transformer网络和分类动作采样训练第一策略。第一策略例如为策略π1。
步骤S460，采用Transformer网络和贪心动作采样训练第二策略。第二策略例如为策略π2。
步骤S470，将实例数据集输入第一策略中得到线路规划后的第一代价估计值，将实例数据集输入第二策略中得到线路规划后的第二代价估计值和动作选择概率值，根据第一代价估计值、第二代价估计值和动作选择概率值计算损失。例如将数据集S2输入到策略π1中，得到代价估计值L(π1)，将数据集S2输入到策略π2中，得到代价估计值L(π2)和动作选择概率值Pθ(π2)。使用规划路径所有车辆的行驶路径作为代价估计值。计算损失Loss＝(L(π1)-L(π2))*Pθ(π2)。
步骤S480，使用损失更新Transformer网络模型参数。例如可以使用Adam优化器，并使用损失Loss输入优化器中更新Transformer网络模型参数θ。
步骤S490，使用验证数据集计算更新后的Transformer网络模型策略代价，若代价降低则得到训练后的物流车辆路径规划模型，否则重复随机生成实例数据并采用Transformer网络训练。例如使用数据集S1计算当前模型策略代价，如果代价降低，则保存模型，否则重复步骤S440-步骤S490。其中，训练轮数为Transformer网络的最大训练轮数，也就是当训练轮数到达E，则停止训练。
本实施例提供的物流车辆路径规划方法可用在供应链行业数字孪生应用中的仿真优化模块。
图5为本发明实施例提供的一种物流车辆路径规划装置的结构示意图，如图5所示，本实施例提供的物流车辆路径规划装置包括：
数据输入模块51，用于根据物流仓库节点、物流客户节点和物流车辆的信息构建物流车辆路径规划模型输入数据。
模型训练模块52，用于基于Rollout算法训练Policy Gradient策略算法，得到训练后的物流车辆路径规划模型，其中，基于Transformer网络输出实例数据的策略动作概率。
路径规划模块53，用于将物流车辆规划任务输入训练后的物流车辆路径规划模型，得到规划后的物流车辆路径。
本实施例提供的物流车辆路径规划装置用于实现图1所示物流车辆路径规划方法，其实现原理和技术效果类似，此处不再赘述。
图6为本发明实施例提供的一种电子设备的结构示意图，如图6所示，该电子设备包括处理器61、存储器62、输入装置63和输出装置64；电子设备中处理器61的数量可以是一个或多个，图6中以一个处理器61为例；电子设备中的处理器61、存储器62、输入装置63和输出装置64可以通过总线或其他方式连接，图6中以通过总线连接为例。
存储器62作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的物流车辆路径规划方法对应的程序指令/模块(例如，物流车辆路径规划装置中的数据输入模块41、模型训练模块42、路径规划模块43)。处理器61通过运行存储在存储器62中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的物流车辆路径规划方法。
存储器62可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器62可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器62可进一步包括相对于处理器61远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置63可用于通过任一种通信方式连接接收外部输入的信息和数据。输出装置64可用于通过任一种通信方式连接向外发送信息和数据。
本发明实施例还提供一种包含计算机可执行指令的存储介质，该计算机可执行指令在由计算机处理器执行时用于执行一种物流车辆路径规划方法，该方法包括：根据物流仓库节点、物流客户节点和物流车辆的信息构建物流车辆路径规划模型输入数据；基于Rollout算法训练Policy Gradient策略算法，得到训练后的物流车辆路径规划模型，其中，基于Transformer网络输出实例数据的策略动作概率；将物流车辆规划任务输入训练后的物流车辆路径规划模型，得到规划后的物流车辆路径。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上的方法操作，还可以执行本发明任意实施例所提供的物流车辆路径规划方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述物流车辆路径规划装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种物流车辆路径规划方法，其特征在于，包括：
根据物流仓库节点、物流客户节点和物流车辆的信息构建物流车辆路径规划模型输入数据；
基于Rollout算法训练Policy Gradient策略算法，得到训练后的物流车辆路径规划模型，其中，基于Transformer网络输出所述实例数据的策略动作概率；
将物流车辆规划任务输入训练后的物流车辆路径规划模型，得到规划后的物流车辆路径。
2.根据权利要求1所述的方法，其特征在于，所述基于Rollout算法训练PolicyGradient策略算法，得到训练后的物流车辆路径规划模型，其中，基于Transformer网络输出所述实例数据的策略动作概率，包括：
随机生成所述物流车辆路径规划模型的实例数据集；
采用Transformer网络和分类动作采样训练第一策略；
采用Transformer网络和贪心动作采样训练第二策略；
将所述实例数据集输入所述第一策略中得到线路规划后的第一代价估计值，将所述实例数据集输入所述第二策略中得到线路规划后的第二代价估计值和动作选择概率值，根据所述第一代价估计值、所述第二代价估计值和所述动作选择概率值计算损失；
使用所述损失更新Transformer网络模型参数；
使用验证数据集计算更新后的Transformer网络模型策略代价，若代价降低则得到训练后的物流车辆路径规划模型，否则重复随机生成实例数据并采用Transformer网络训练。
3.根据权利要求2所述的方法，其特征在于，所述随机生成所述物流车辆路径规划模型的实例数据集之前，还包括：
确定所述Transformer网络模型的训练轮数、每轮步数和每步中的批次数，其中，随机生成的所述物流车辆路径规划模型的实例数据集为所述每轮步数和所述每步中的批次数之积组，所述训练轮数为所述Transformer网络的最大训练轮数；
初始化所述Transformer网络模型参数；
生成验证数据集。
4.根据权利要求2或3所述的方法，其特征在于，所述Transformer网络包含Encoder模块和Decoder模块，所述Encoder模块接收处理后的物流仓库节点和物流客户节点数据，输出所有节点编码数据和拓扑图编码数据，所述Decoder模块接收所述Encoder模块的输出，循环解码计算物流车辆行驶节点顺序和所有路径中成本。
5.根据权利要求4所述的方法，其特征在于，所述Decoder模块包括仿真环境和循环解码模块；
所述仿真环境用于记录每辆物流车辆的形式节点顺序，更新每辆物流车辆的形式时间和已行驶距离，根据每个物流客户节点的需求访问时间和已行驶节点，返回下一节点的mask矩阵，根据当前选择物流客户节点输出下一次选择的上下文向量；
所述循环解码模块用于根据所述mask矩阵和所述上下文向量，循环计算出每辆物流车辆的形式节点，其中，循环次数是物流客户节点数量，其中mask矩阵用于在解码时不选择已行驶过的节点和当前不在访问时间的节点。
6.根据权利要求1～3任一项所述的方法，其特征在于，所述根据物流仓库节点、物流客户节点和物流车辆的信息构建物流车辆路径规划模型输入数据之后，还包括：
对所述物流车辆路径规划模型输入数据进行归一化处理。
7.根据权利要求6所述的方法，其特征在于，所述对所述物流车辆路径规划模型输入数据进行归一化处理之后，还包括：
分别对所述物流仓库节点和所述物流客户节点数据进行嵌入编码处理，并将处理后的编码向量进行拼接。
8.一种物流车辆路径规划装置，其特征在于，包括：
数据输入模块，用于根据物流仓库节点、物流客户节点和物流车辆的信息构建物流车辆路径规划模型输入数据；
模型训练模块，用于基于Rollout算法训练Policy Gradient策略算法，得到训练后的物流车辆路径规划模型，其中，基于Transformer网络输出所述实例数据的策略动作概率；
路径规划模块，用于将物流车辆规划任务输入训练后的物流车辆路径规划模型，得到规划后的物流车辆路径。
9.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的物流车辆路径规划方法。
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的物流车辆路径规划方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210522489.3A CN114894210B (zh) | 2022-05-13 | 2022-05-13 | 物流车辆路径规划方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210522489.3A CN114894210B (zh) | 2022-05-13 | 2022-05-13 | 物流车辆路径规划方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114894210A true CN114894210A (zh) | 2022-08-12 |
| CN114894210B CN114894210B (zh) | 2023-09-29 |
Family
ID=82721298
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210522489.3A Active CN114894210B (zh) | 2022-05-13 | 2022-05-13 | 物流车辆路径规划方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114894210B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115983756A (zh) * | 2023-03-17 | 2023-04-18 | 交通运输部水运科学研究所 | 一种粮食基地的物流联合供应方法、系统及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109544070A (zh) * | 2018-11-21 | 2019-03-29 | 北京智行者科技有限公司 | 一种自动物流配送方法 |
| CN110210814A (zh) * | 2019-06-22 | 2019-09-06 | 浙江交联新能源科技有限公司 | 一种智慧仓储运输系统 |
| CN111415048A (zh) * | 2020-04-10 | 2020-07-14 | 大连海事大学 | 一种基于强化学习的车辆路径规划方法 |
| CN111461624A (zh) * | 2020-04-20 | 2020-07-28 | 上海东普信息科技有限公司 | 物流线路规划方法、装置、设备及存储介质 |
| CN112420191A (zh) * | 2020-11-23 | 2021-02-26 | 北京麦岐科技有限责任公司 | 一种中医辅助决策系统及方法 |
| US20210223056A1 (en) * | 2020-06-30 | 2021-07-22 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for generating route planning model, and storage medium |
| CN113220851A (zh) * | 2021-04-28 | 2021-08-06 | 山东师范大学 | 一种基于推理对话模型的人机个性化对话方法及系统 |
| CN113778094A (zh) * | 2021-09-14 | 2021-12-10 | 北京航空航天大学 | 车辆路径规划方法、装置、可读存储介质及电子设备 |
| CN114047764A (zh) * | 2021-11-16 | 2022-02-15 | 北京百度网讯科技有限公司 | 路径规划模型的训练方法和路径规划方法、装置 |
-
2022
- 2022-05-13 CN CN202210522489.3A patent/CN114894210B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109544070A (zh) * | 2018-11-21 | 2019-03-29 | 北京智行者科技有限公司 | 一种自动物流配送方法 |
| CN110210814A (zh) * | 2019-06-22 | 2019-09-06 | 浙江交联新能源科技有限公司 | 一种智慧仓储运输系统 |
| CN111415048A (zh) * | 2020-04-10 | 2020-07-14 | 大连海事大学 | 一种基于强化学习的车辆路径规划方法 |
| CN111461624A (zh) * | 2020-04-20 | 2020-07-28 | 上海东普信息科技有限公司 | 物流线路规划方法、装置、设备及存储介质 |
| US20210223056A1 (en) * | 2020-06-30 | 2021-07-22 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for generating route planning model, and storage medium |
| CN112420191A (zh) * | 2020-11-23 | 2021-02-26 | 北京麦岐科技有限责任公司 | 一种中医辅助决策系统及方法 |
| CN113220851A (zh) * | 2021-04-28 | 2021-08-06 | 山东师范大学 | 一种基于推理对话模型的人机个性化对话方法及系统 |
| CN113778094A (zh) * | 2021-09-14 | 2021-12-10 | 北京航空航天大学 | 车辆路径规划方法、装置、可读存储介质及电子设备 |
| CN114047764A (zh) * | 2021-11-16 | 2022-02-15 | 北京百度网讯科技有限公司 | 路径规划模型的训练方法和路径规划方法、装置 |
Non-Patent Citations (2)
| Title |
|---|
| 宋绪文: "基于函数逼近的物流车辆路径规划方法及应用研究", 《中国优秀硕士学位论文 全文数据库 工程科技Ⅱ辑》, no. 10 * |
| 樊建华等: "随机需求多车辆路径问题的重优化算法", 《南开大学学报（自然科学版）》, vol. 41, no. 2 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115983756A (zh) * | 2023-03-17 | 2023-04-18 | 交通运输部水运科学研究所 | 一种粮食基地的物流联合供应方法、系统及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114894210B (zh) | 2023-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gao et al. | A hybrid particle-swarm tabu search algorithm for solving job shop scheduling problems | |
| WO2021061094A1 (en) | System and method for routing optimization | |
| Homayouni et al. | A multistart biased random key genetic algorithm for the flexible job shop scheduling problem with transportation | |
| US20240205266A1 (en) | Epistemic uncertainty reduction using simulations, models and data exchange | |
| CN114894210A (zh) | 物流车辆路径规划方法、装置、设备和存储介质 | |
| Absi et al. | A relax-and-repair heuristic for the Swap-Body Vehicle Routing Problem | |
| CN113205220A (zh) | 一种面向实时订单数据的无人机物流配送全局规划方法 | |
| Liu et al. | Optimization approach for yard crane scheduling problem with uncertain parameters in container terminals | |
| Ju et al. | Path planning using a hybrid evolutionary algorithm based on tree structure encoding | |
| Boualem | Insensitive bounds for the stationary distribution of a single server retrial queue with server subject to active breakdowns | |
| CN114925853A (zh) | 一种梯度提升树模型的构建方法、装置、设备和介质 | |
| CN112800737A (zh) | 自然语言文本生成方法和装置以及对话系统 | |
| CN108234195B (zh) | 预测网络性能的方法和装置、设备、介质 | |
| CN113050644A (zh) | 基于迭代贪婪进化的agv调度方法 | |
| Khorramizadeh et al. | A bee colony optimization approach for mixed blocking constraints flow shop scheduling problems | |
| CN114780224A (zh) | 一种应用于元宇宙的资源调度方法及系统 | |
| CN111784078B (zh) | 一种针对决策树的分布式预测方法和系统 | |
| CN113537710B (zh) | 一种数据驱动下基于人工智能的活动时序在线预测方法 | |
| CN112258131B (zh) | 路径预测网络训练、订单处理方法及装置 | |
| Uzuner Sahin et al. | A genetic algorithm for the redundancy allocation problem with repairable components | |
| CN112561166A (zh) | 车辆的调度方法和装置、存储介质、电子装置 | |
| Wendong et al. | Design of public bicycle scheduling model based on data mining algorithm | |
| Deng et al. | Solving a Two‐Stage Stochastic Capacitated Location‐Allocation Problem with an Improved PSO in Emergency Logistics | |
| CN114168320B (zh) | 基于隐式空间映射的端到端边缘智能模型搜索方法和系统 | |
| CN118036839A (zh) | 应用于智慧物流调度的大数据处理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 266000 No. 1, Minshan Road, Qingdao area, China (Shandong) pilot Free Trade Zone, Qingdao, Shandong Applicant after: CAOS industrial Intelligence Research Institute (Qingdao) Co.,Ltd. Applicant after: HAIER DIGITAL TECHNOLOGY (SHANGHAI) Co.,Ltd. Applicant after: Kaos Digital Technology (Qingdao) Co.,Ltd. Address before: 266000 No. 1, Minshan Road, Qingdao area, China (Shandong) pilot Free Trade Zone, Qingdao, Shandong Applicant before: CAOS industrial Intelligence Research Institute (Qingdao) Co.,Ltd. Applicant before: HAIER DIGITAL TECHNOLOGY (SHANGHAI) Co.,Ltd. Applicant before: Haier digital technology (Qingdao) Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 266000 No. 1, Minshan Road, Qingdao area, China (Shandong) pilot Free Trade Zone, Qingdao, Shandong Patentee after: CAOS industrial Intelligence Research Institute (Qingdao) Co.,Ltd. Patentee after: Kaos Digital Technology (Shanghai) Co.,Ltd. Patentee after: Kaos Digital Technology (Qingdao) Co.,Ltd. Address before: 266000 No. 1, Minshan Road, Qingdao area, China (Shandong) pilot Free Trade Zone, Qingdao, Shandong Patentee before: CAOS industrial Intelligence Research Institute (Qingdao) Co.,Ltd. Patentee before: HAIER DIGITAL TECHNOLOGY (SHANGHAI) Co.,Ltd. Patentee before: Kaos Digital Technology (Qingdao) Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder |