CN112836858B - 一种集装箱多式联运减排路径选择方法、系统及装置 - Google Patents

Abstract

一种集装箱多式联运减排路径选择方法、系统及装置，属于交通运输技术领域。为了解决目前的多式联运减排路径选择方法中确定的联运方式存在确定运输策略的效率低的问题和策略对应的实际运输效率低的问题。本发明针对不同的碳税征收模式确定集装箱多式联运减排效用模型；然后以集装箱为智能体，以多式联运减排路径的总效用为目标任务，建立Q表；将多式联运减排路径的起、终点作为Q表的起、终点，利用基于强化学习算法对实现集装箱多式联运减排路径的选择。主要用于集装箱多式联运减排的路径选择。

Description

一种集装箱多式联运减排路径选择方法、系统及装置

技术领域

本发明是一种集装箱多式联运减排路径选择方法、系统及装置，属于交通运输技术领域。

背景技术

随着我国货运中多式联运方式所产生的交通碳排放日益增长，我国已展开碳税政策干预环境碳排放相关研究，但具体模式制定有待完善。

多式联运是由两种或以上交通方式相互衔接、转运共同完成的运输过程，是不同运输方式的综合组织，能够减少中间环节，降低运输成本。多式联运主要采用集装箱运输的方式进行，但目前通过结合多式联运路径选择来研究不同碳税率条件下的运输减排效果还有待进一步研究。

由于运输企业选择集装箱货物运输的路径不是一次性决策，而是随运输过程中的各种效用影响而不断调整的过程，同时运输企业具有自主学习的特性，常因受到其他运输企业的影响而改变自身最初的运输方案选择。目前的集装箱多式联运基本都是只考虑起运点和终点是否存在有效的转运点，如果存在即安排运输。所以目前的路径选择方法确定的联运方式不仅存在联运方式对应的运输效率低的问题，更加重要的是目前路径选择方法确定的联运方式将渐渐不能满足将来的运输条件及法规要求，也就是说目前的路径选择方法的适用性逐渐降低，甚至失去适用性。

发明内容

本发明是为了解决目前的多式联运减排路径选择方法中确定的联运方式存在确定运输策略的效率低的问题和策略对应的实际运输效率低的问题，以及路径选择方法适用性低的问题。

一种集装箱多式联运减排路径选择方法，包括以下步骤：

针对不同的碳税征收模式确定集装箱多式联运减排效用模型，不同的碳税征收模式包括两种碳税征收模式，分别为单一税率征收模式以及分段累进税率征收模式；

单一税率征收模式下的集装箱多式联运减排效用模型为：

约束条件如下：

其中，m、n为运输方式；

是决策变量，表示在i与j节点之间能否以运输方式m运输货物；

是决策变量，表示在i节点处能否由运输方式m转换为运输方式n；C表示集装箱多式联运减排总效用；

表示不同运输方式的基本运输效用；C_handle为货物的转运效用；C_safe为货物的安全效用；C_time为货物的时间效用；C^E为货物的碳排放效用；β为单一税率征收模式下的碳税效用函数；

为从节点i转运到节点j过程中m运输方式的碳排放量；

表示在i与j之间运输方式m的货运量；Q表示总货运量；

分段累进税率征收模式下的集装箱多式联运减排效用模型：基于单一税率征收模式将货物的碳排放效用C^E为替换为C^Z：

式中，E_k表示不同碳税征收区间内允许的最大碳排放量；β_k表示不同碳税区间的碳税率；k为碳税征收区间的个数；

然后以集装箱为智能体，以多式联运减排路径的总效用为目标任务，建立Q表；将多式联运减排路径的起、终点作为Q表的起、终点，利用基于强化学习算法实现对集装箱多式联运减排路径的选择。

进一步地，利用基于强化学习算法实现对集装箱多式联运减排路径的选择的过程包括以下步骤：

设定P为多式联运过程所有城市节点构成的集合；N为运输方式集合；将多式联运减排路径的起、终点作为Q表的起、终点；

智能体从Q表中的起点出发，根据ε-贪婪算法从Q表中选择动作A并执行动作A；

根据奖赏函数以及智能体动作产生的状态变化更新Q表；

然后，智能体继续从当前所处状态出发，根据ε-贪婪算法从Q表中选择动作A并执行，更新Q表；

判断是否达到多式联运路径的终点，若未达到，智能体继续从当前所处状态出发；若达到多式联运路径的终点，判断是否达到设定的迭代次数；若达到，则优化结束，此时得到的Q表即优化后的减排路径选择策略；若未达到，判断Q表是否收敛，若Q表收敛，则得到了多式联运减排路径选择的最优策略，若Q表未收敛，则重新从Q表中的起点出发进行多式联运减排路径的选择。

进一步地，奖赏函数R如下：

其中，R为奖赏函数，为当前状态S下执行动作A对智能体学习环境的反馈信息；C’为一个常数，对智能体状态变化后的奖惩情况进行量化估计。

进一步地，所述根据奖赏函数以及智能体动作产生的状态变化更新Q表的更新公式如下

Q(S，A)＝Q(S，A)+α(R+γmax_AQ(S′，A′)-Q(S，A))

其中：Q(S，A)为在S状态下采取A动作能够获得收益的期望，S为当前状态，A为当前状态的动作，S′为下一个状态，A′为下一个状态的动作；γ为折扣因子；α为学习速率。

一种集装箱多式联运减排路径选择系统，用于执行所述的一种集装箱多式联运减排路径选择方法。

一种集装箱多式联运减排路径选择装置，用于存储和/或运行一种集装箱多式联运减排路径选择系统。

有益效果：

本发明的多式联运减排效用模型，将集装箱运输中的多种货运参数考虑在内，货运参数包括：货物的基本运输效用、货物的转运效用、货物的时间效用、货物的安全效用以及货物的碳排放效用。而且本发明还考虑了单一税率征收模式以及分段累进税率征收模式进行路径的确定，所以本发明的适用性更强，能够适用于各种条件的下的最优路径选择，而且即使针对碳排放有严格要求的情况下，本发明也可以适用。

同时由于本发明是针对多种货运参数的路径选择方法，所以根据本发明确定的实际路径和转运方式具有非常强的针对性，能够提高实际的运输效率，而且能够有效降低成本。

附图说明

图1为具体实施方式一的流程示意图。

具体实施方式

具体实施方式一：结合图1说明本实施方式，

本实施方式所述的一种集装箱多式联运减排路径选择方法，是基于强化学习算法对多式联运减排路径和减排运输方式进行选择的，包括以下步骤：

步骤1：以集装箱为智能体，以多式联运减排路径的总效用为目标任务，建立Q表；多式联运减排路径的起、终点作为Q表的起、终点；

设定P为多式联运过程所有城市节点构成的集合；N为运输方式集合；m、n为运输方式，本实施方式中m、n＝1、2、3分别表示公路运输、铁路运输、水路运输；

是决策变量，取值1或0，表示在i与j节点之间能否以运输方式m运输货物；

是决策变量，取值1或0，表示在i节点处能否由运输方式m转换为运输方式n；C表示集装箱多式联运减排总效用，在一些实施例中，为了统一效用的基础，可以以总成本的形式展现(这样在强化学习中，可以以总成本的形式来设计奖惩函数)；当然在其他实施例中可以用其他效用和统一指标，也可以将各个效用转化为无量纲指标；

表示不同运输方式的基本运输效用，在一些实施例中实际是指运输的路径长度，为了获得全面的效用且使各个效用具有统一的合并基础，所以实施中并结合不同货物的运输量、不同货物单位路径长度的费用，将运输的路径长度转换为基本运费；C_handle为货物的转运效用，在一些实施例中，转运效用实际是在转运点的人力损耗情况，为了使各个效用具有统一的合并基础，所以实施例中结合不同货物的运输量转换为货物的装卸、堆存、管理费用；C_safe为货物的安全效用，在一些实施例中，安全效用指货损效用，实际是指货物在装卸及转运过程产生的货损率，与运输公司、运输方式有关；为了使各个效用具有统一的合并基础，所以实施例中并结合不同货物运输量、货物价值转换为货物的货损费用；C_time为货物的时间效用，在一些实施例中时间效用实际是指由运输时间造成的货物贬值率；为了使各效用具有统一的合并基础，所以实施中并结合不同货物运输量、货物价值以及运输时间转换为货物的贬值费用；C^E为货物的碳排放效用，实际是指多式联运在运输过程中产生的碳排放量，与能源转换、运输方式有关；为了使各个效用具有统一的合并基础，所以实施例中并结合碳税的征收转换为碳排放费用；β为单一税率征收模式下的碳税效用函数；

为从节点i转运到节点j过程中m运输方式的碳排放量；

表示在i与j之间运输方式m的货运量；Q表示总货运量；

在本实施方式中，运输长度及运输时间的获取过程如下：

登录高德开放平台高德地图API，申请“Web服务API”的密钥Key，通过Python中的requests模块发送get请求，在地理编码接口获取经纬度，返回JSON字符串，并利用json模块将城市节点的经纬度存储在字典中，借助于高德地图API中的路径规划功能进行两点间真实距离的计算，同时获取运输时间，并利用pandas模块将数据编制为表格，以直观化城市节点之间公路运输的距离以及相应的运输时间。铁路运输以及水路运输路径距离以及运输时间的爬取与公路运输相似，仅目标网站由高德地图转变为船讯网、列车时刻网，且无需进行真实距离的计算，只需爬取相应的距离、时间数据即可。

针对不同的碳税征收模式确定集装箱多式联运减排效用模型，不同的碳税征收模式包括两种碳税征收模式，分别为单一税率征收模式以及分段累进税率征收模式；

单一税率征收模式下的集装箱多式联运减排效用模型为：

约束条件如下：

其中，

指m运输方式货物运输量要小于运输总量；

是连续性约束，表明从节点i到节点k的运输过程中，在j处发生了运输方式的转运，从m转换到n，且从节点j到节点k以运输方式n进行运输，从而保证了运输过程的连续性。

分段累进税率征收模式下的集装箱多式联运减排效用模型与单一税率征收模式下相比，差异在货物的碳排放效用计算上，将货物的碳排放效用C^E为替换为C^Z：

式中E_k表示不同碳税征收区间内允许的最大碳排放量；β_k表示不同碳税区间的碳税率；k为碳税征收区间的个数。

上述过程中，所述的两种碳税征收模式包括单一税率征收模式以及分段累进税率征收模式，分段累进税率征收模式指的是针对不同碳排放量所在的梯度，对应不同的税率，呈现分级累进的碳排放效用。而且本发明的多式联运减排效用模型的基础条件为：各城市节点的场站均运作良好，不存在由于衔接不好在场站堆存环节上产生效用；货物交接方式为“场到场”，不考虑“门到门”情况下的接送空箱环节；运输的同类货物视为一票货物，不可拆分；不考虑不可抗力等因素产生的货物延迟和货损，货物都能在规定时间内送达；在港口城市进行转运换装的时候，转运换装行为只发生一次，不发生二次转运换装。

初始化状态空间、动作空间，状态空间为多式联运节点集合，动作空间为智能体在节点中可以采取的所有运输策略，运输策略包括运输节点的选择与运输方式的选择。

步骤2：设计奖赏函数。若智能体的动作有利于完成目标任务，给予智能体奖励；若智能体的动作不利于完成目标任务，给予智能体惩罚。

其中，R为奖赏函数，为当前状态S下执行动作A对智能体学习环境的反馈信息。C’为一个常数，对智能体状态变化后的奖惩情况进行量化估计。

步骤3：智能体从Q表中的起点出发，开始一次新的试验，根据ε-贪婪算法从Q表中选择动作A并执行。

ε为探索率，在强化学习的训练过程中，智能体选择最优动作的概率为ε，也有一定的概率1-ε不选择使奖励值最大(效用减少最大)的动作，而选择其他动作，以产生更多的可能性，达到全局最优。

步骤4：根据奖赏函数以及智能体动作产生的状态变化更新Q表。

Q(S，A)＝Q(S，A)+α(R+γmax_AQ(S′，A′)-Q(S，A))

其中：Q为在S状态下采取A动作能够获得收益的期望，S为当前状态，A为当前状态的动作，S′为下一个状态，A′为下一个状态的动作。

γ为折扣因子，在[0，1]取值，表明算法对未来可能得到的奖赏值的重视程度，如果为0，说明当前状态-动作只与智能体得到的即时奖赏值有关；如果不为0，说明不仅与即时奖赏值有关，还与下一状态-动作对的奖赏值有关，且越接近1，相关程度越大。

α为学习速率，在[0，1]取值，如果为0，表明Q值的更新只和Q表中已有的经验有关；如果不为0，表明不仅与Q表中已有的经验有关，和后期实验计算的Q值也有关，且越接近1，相关程度越大。

步骤5：智能体从当前所处状态出发，根据ε-贪婪算法从Q表中选择动作A并执行，更新Q表。

步骤6：判断是否达到多式联运路径的终点，若未达到，则回到步骤5；若达到多式联运路径的终点，执行步骤7。

步骤7：判断是否达到设定的迭代次数，若未达到，则进行步骤8；若达到，则优化结束，此时得到的Q表即优化后的减排路径选择策略。

步骤8：判断Q表是否收敛，若Q表未收敛，则回到步骤3；若Q表收敛，则得到了多式联运减排路径选择的最优策略。

本发明的多式联运减排效用模型，将集装箱运输中的多种货运参数考虑在内，货运参数包括：货物的基本运输效用、货物的转运效用、货物的时间效用、货物的安全效用以及货物的碳排放效用。而且本发明还考虑了单一税率征收模式以及分段累进税率征收模式进行路径的确定，所以本发明的适用性更强，能够适用于各种条件的下的最优路径选择，而且即使针对碳排放有严格要求的情况下，本发明也可以适用。

由于运输路径长度和运输时间具有一定联系，二者并不能等同，本发明的效用模型中包含了运输效用和时间效用，可以兼顾运输路径和时间，而且基于本发明还可以通过调整权重，所以基于本发明可以根据实际情况侧重时间或路径的选择，从而使得确定的策略更加有针对性，不仅本身选择的策略的效率更高(本发明模型确定方案本身的效率更高)，而且选择的路径中可以实现联运的精准对接，保证选择的转运点更加适合准运点的实际转运情况和能力，在整体上减少等待等其他时间的消耗，从而提高实际的运输效率(本发明模型确定方案对应的实际运输效率更高)；同时本发明使得选择的策略更加适用于运输服务的提供者，也适用于不同用户的需求，可以提供个性化服务，从而提高委托方、承运方以及实际运输方的沟通和配合效率，进而提升整体的效率。

具体实施方式二：

本实施方式为一种集装箱多式联运减排路径选择系统，帮助完成一种集装箱多式联运减排路径选择，所述系统用于执行一种集装箱多式联运减排路径选择方法。

具体实施方式三：

本实施方式为一种集装箱多式联运减排路径选择装置，所述装置用于存储和/或运行一种集装箱多式联运减排路径选择系统。本实施方式的装置可以是普通的计算机等设备，也可以是专门开发的用于存储和/或运行一种集装箱多式联运减排路径选择系统的设备。

本发明选用强化学习作为路径选择方法，其效果在于，强化学习的目的在于未来的最大奖励，即获得全局最优路径。集装箱多式联运过程通过公路、铁路、水运三种方式等运输方式的组合优化，构建以效用最低为优化目标的多式联运减排路径方案，能够充分利用各类运输方式现有的设施设备，实现运输过程中的资源整合，减少转运次数，有利于运输过程中的可持续发展以及达到降本增效的目的，提高物流行业竞争力。且集装箱多式联运转运次数较少、起终点固定、转运方式仅包含公路、铁路、水运三种方式，整个运输过程相对于城市道路运输而言简单直观，多式联运减排模型的空间复杂度与时间复杂度较小，完成一次集装箱多式联运减排路径选择的计算消耗少、时间短，能够有效完成企业的目标。

本发明建立的强化学习模型，其核心优势在于能够从环境中主动获取反馈，寻找理想的路径，且整个路径优化的过程是动态执行的，类似于人们理解的人工智能；在大数据驱动的时代，利用Python爬虫能够获取最新的运输条件、运输费用等，使选择得到的路径能够与时俱进。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (4)

1.一种集装箱多式联运减排路径选择方法，其特征在于，包括以下步骤：

针对不同的碳税征收模式确定集装箱多式联运减排效用模型，不同的碳税征收模式包括两种碳税征收模式，分别为单一税率征收模式以及分段累进税率征收模式；

单一税率征收模式下的集装箱多式联运减排效用模型为：

约束条件如下：

其中，m、n为运输方式；

是决策变量，表示在i与j节点之间能否以运输方式m运输货物；

是决策变量，表示在i节点处能否由运输方式m转换为运输方式n；C表示集装箱多式联运减排总效用；

表示不同运输方式的基本运输效用；C_handle为货物的转运效用；C_safe为货物的安全效用；C_time为货物的时间效用；C^E为货物的碳排放效用；β为单一税率征收模式下的碳税效用函数；

为从节点i转运到节点j过程中m运输方式的碳排放量；

表示在i与j之间运输方式m的货运量；Q表示总货运量；

分段累进税率征收模式下的集装箱多式联运减排效用模型：基于单一税率征收模式将货物的碳排放效用C^E为替换为C^Z：

式中，E_k表示不同碳税征收区间内允许的最大碳排放量；β_k表示不同碳税区间的碳税率；k为碳税征收区间的个数；

然后以集装箱为智能体，以多式联运减排路径的总效用为目标任务，建立Q表；将多式联运减排路径的起、终点作为Q表的起、终点，利用基于强化学习算法实现对集装箱多式联运减排路径的选择；

利用基于强化学习算法实现对集装箱多式联运减排路径的选择的过程包括以下步骤：

设定P为多式联运过程所有城市节点构成的集合；N为运输方式集合；将多式联运减排路径的起、终点作为Q表的起、终点；

智能体从Q表中的起点出发，根据ε-贪婪算法从Q表中选择动作A并执行动作A；

根据奖赏函数以及智能体动作产生的状态变化更新Q表；

然后，智能体继续从当前所处状态出发，根据ε-贪婪算法从Q表中选择动作A并执行，更新Q表；

判断是否达到多式联运路径的终点，若未达到，智能体继续从当前所处状态出发；若达到多式联运路径的终点，判断是否达到设定的迭代次数；若达到，则优化结束，此时得到的Q表即优化后的减排路径选择策略；若未达到，判断Q表是否收敛，若Q表收敛，则得到了多式联运减排路径选择的最优策略，若Q表未收敛，则重新从Q表中的起点出发进行多式联运减排路径的选择；

奖赏函数R如下：

其中，R为奖赏函数，为当前状态S下执行动作A对智能体学习环境的反馈信息；C’为一个常数，对智能体状态变化后的奖惩情况进行量化估计。

2.根据权利要求1所述的一种集装箱多式联运减排路径选择方法，其特征在于，所述根据奖赏函数以及智能体动作产生的状态变化更新Q表的更新公式如下

Q(S，A)＝Q(S，A)+α(R+γmax_AQ(S′，A′)-Q(S，A))

其中：Q(S，A)为在S状态下采取A动作能够获得收益的期望，S为当前状态，A为当前状态的动作，S′为下一个状态，A′为下一个状态的动作；γ为折扣因子；α为学习速率。

3.一种集装箱多式联运减排路径选择系统，其特征在于，所述系统用于执行权利要求1至2之一所述的一种集装箱多式联运减排路径选择方法。

4.一种集装箱多式联运减排路径选择装置，其特征在于，所述装置用于存储和/或运行权利要求3所述的一种集装箱多式联运减排路径选择系统。

Images