CN115809502A - 一种山区铁路大临工程配套道路的智能规划与设计方法 - Google Patents

一种山区铁路大临工程配套道路的智能规划与设计方法 Download PDF

Info

Publication number
CN115809502A
CN115809502A CN202310089524.1A CN202310089524A CN115809502A CN 115809502 A CN115809502 A CN 115809502A CN 202310089524 A CN202310089524 A CN 202310089524A CN 115809502 A CN115809502 A CN 115809502A
Authority
CN
China
Prior art keywords
road
matched
planning
state
matched road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310089524.1A
Other languages
English (en)
Other versions
CN115809502B (zh
Inventor
王浩
何庆
高岩
张天龙
徐双婷
高天赐
甘蜜
王平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN202310089524.1A priority Critical patent/CN115809502B/zh
Publication of CN115809502A publication Critical patent/CN115809502A/zh
Application granted granted Critical
Publication of CN115809502B publication Critical patent/CN115809502B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Road Paving Structures (AREA)

Abstract

本发明涉及山区铁路规划技术领域，涉及一种山区铁路大临工程配套道路的智能规划与设计方法，其包括以下步骤：S1:获取研究区域大临工程以及既有道路的空间信息，以及研究区域的相关地形信息；S2:问题阐述以及优化目标定义；S3:配套道路初始规划方案生成；采用最小生成树算法，生成配套道路的初始规划方案；S4:配套道路最终方案的智能化优化方法；本发明可大量节省人力物力，有效提升了山区铁路建设的效率和水平。

Description

一种山区铁路大临工程配套道路的智能规划与设计方法
技术领域
本发明涉及山区铁路规划技术领域，具体地说，涉及一种山区铁路大临工程配套道路的智能规划与设计方法。
背景技术
山区大型铁路临时工程（大临工程包括：制梁场、项目临时指挥部、钢筋加工厂、混凝土拌合站、铺轨、弃渣场等）配套道路规划与设计是目前国家落实“高铁走出去”战略的重大需求。然而，不同一般地区的铁路建设，山区具有自然条件极度恶劣、生态脆弱、既有交通条件薄弱等特点，因此，山区的大型铁路工程配套道路建设是一项极具挑战的工程，配套道路的规划与设计直接决定了山区铁路建设的施工难度，极有可能成为制约交通强国战略落实的关键因素。因此，破解山区多因素约束下的大型铁路临时工程配套道路规划与选线设计对于西部地区未来的铁路建设，比如渝西高铁、成渝中线、西（宁）成铁路等，具有十分重要的建设意义。
针对大型铁路临时工程配套道路建设的问题，长期采用人工决策和手工选线等传统方法，这种方法不但效率低下，而且选定的线路往往不是最优方案。同时，大临工程配套道路在规划与设计时不仅需要解决物资运输效率、配套道路造价的问题，还需要协同考虑与既有道路达成“永临结合”的空间布局。因此，依靠传统设计有限的时间与精力，难以实现山区铁路大临工程配套道路的综合最优，亟需提出一种智能化方法以提高其布局规划和设计效率。
发明内容
本发明的内容是提供一种山区铁路大临工程配套道路的智能规划与设计方法，其能够综合考虑山区铁路大临工程配套道路的建造成本和物资运输效率，并对既有道路进行充分利用。
根据本发明的一种山区铁路大临工程配套道路的智能规划与设计方法，其包括以下步骤：
S1:获取研究区域大临工程以及既有道路的空间信息，以及研究区域的相关地形信息；
S2: 定义优化目标；具体为：
a、需满足一个基本规划设计原则，即大临工程必须与既有道路产生直接和间接的连接；
b、将大临工程设施和既有道路视为节点，节点与节点之间连接时需应用连接代价，采用节点之间真实的建造成本作为连接代价；
c、需应用铁路建设物资的运输效率；
S3: 生成配套道路初始规划方案；
采用最小生成树算法，生成配套道路的初始规划方案，使山区铁路大临工程配套道路满足步骤S2中定义的基本规划设计原则，同时确保配套道路的初始规划方案的连接代价最低；
S4:使用配套道路最终方案的智能化优化方法，使连接代价和运输效率综合最优；具体为：
A、定义优化函数；
优化函数定义为：
Figure SMS_1
式中，
Figure SMS_3
表示第一个优化目标，即最小化整体连接代价；
Figure SMS_7
表示第二个优化目标，即最小化配套道路的货运周转量；
Figure SMS_9
表示第
Figure SMS_4
个连接的连接代价，
Figure SMS_6
表示第
Figure SMS_8
个连接的连接状态，
Figure SMS_10
代表可以连接，
Figure SMS_2
代表不可连接；
Figure SMS_5
为配套道路的总运输周转量；
B、确定优化的连接总数；
优化的连接总数为：
潜在可行的连接数量减去最小生成树算法产生的连接数量，即：
Figure SMS_11
式中，
Figure SMS_12
为节点总数，每个节点对应一个大临设施或者施工道路；
Figure SMS_13
为节点之间存在的潜在连接的总量；
Figure SMS_14
为最小生成树算法产生的总的连接数量；
C、根据优化函数和优化的连接总数，采用多目标深度强化学习的方法来搜索最优的配套道路规划方案，采用MODDPG算法来求解配套道路的最优规划方案。
作为优选，步骤S2中，计算建造成本之前需要确定节点之间的平纵断面线形，先生成平纵断面，然后进一步地计算出建造成本
Figure SMS_15
，其中，
Figure SMS_16
代表各类大临设施或者既有道路；
在计算配套道路的运输效率之前，首先提出假设，即每一个工点处所需的物资和产生的废弃资源由该工点最近的大临设施负责处理；基于该假设，山区铁路隧道建设的配套道路的物资运输效率用货运周转量来描述：
Figure SMS_17
式中，
Figure SMS_18
配套道路的货运周转量；
Figure SMS_23
为第
Figure SMS_25
个隧道斜井距离其最近的混凝土拌合站的运输距离；
Figure SMS_20
为第
Figure SMS_22
个隧道斜井距离其最近的弃渣场的运输距离；
Figure SMS_24
为第
Figure SMS_26
个隧道斜井所需的混凝土量；
Figure SMS_19
为第
Figure SMS_21
个隧道斜井产生的弃渣量。
作为优选，步骤S3中，基于最小生成树算法生成配套道路初始方案的如下：
定义
Figure SMS_27
为所有道路节点的集合，节点包括各个大临设施和既有道路；同时，定义
Figure SMS_28
为经过k个迭代步骤以后已连接节点的集合，
Figure SMS_29
为经过k个迭代步骤以后未连接节点的集合；最小生成树算法的具体迭代流程如下：
Step 0: 设置：
Figure SMS_30
；
Step 1:从
Figure SMS_31
中随机选取一个节点
Figure SMS_32
，将其放入
Figure SMS_33
中并将其从
Figure SMS_34
中移除，因此，
Figure SMS_35
；
Step k:从
Figure SMS_36
中选取一个节点
Figure SMS_37
，节点
Figure SMS_38
对于集合
Figure SMS_39
中的每一个节点具有最小的连接代价，将节点
Figure SMS_40
加入到集合
Figure SMS_41
中，并将其中
Figure SMS_42
中移除，即：
Figure SMS_43
判断
Figure SMS_44
是否为空集，如果
Figure SMS_45
为空集，那么迭代结束，获取初始的配套道路规划方案；如果不是空集则开始k+1次迭代步骤。
作为优选，步骤S4中，多目标深度强化学习的方法中，强化学习包含以下属性：
1）智能体：智能体理解为山区铁路大临工程配套道路的规划和设计人员；
2）环境：环境包含各个大临设施以及既有道路之间的连接代价，当前配套道路布局的物资运输效率的计算规则；
3）状态：状态理解为当前配套道路的布局情况；
4）动作：动作为对配套道路布局的调整；
在利用强化学习进行优化时，智能体首先从环境中观测当前的状态
Figure SMS_46
，并根据不断学习的策略函数选择最优的动作与环境进行交互，环境会因为智能体执行的动作
Figure SMS_47
而产生状态改变
Figure SMS_48
，同时会反馈给智能体相应的奖励值
Figure SMS_49
，最后智能体根据环境反馈的奖励值
Figure SMS_50
来判断在状态
Figure SMS_51
下执行动作
Figure SMS_52
是否合理，并从中汲取教训，更新策略函数；之后，智能体将进入下一轮与环境的交互，如此循环往复直到智能体能够满足所执行任务的进度或者达到最终的迭代次数。
作为优选，步骤S4中，山区铁路大临工程配套道路的优化在强化学习框架下的数学表达：
（1）状态
状态表示为现有配套道路初始方案的基础上，对配套道路的修改，其数学表达式为：
Figure SMS_53
（2）动作
动作表示为对现有配套道路的第m个连接方式进行修改，其数学表达式为：
Figure SMS_54
式中，
Figure SMS_55
，且
Figure SMS_56
为正整数；
执行动作后，现有配套道路的第m个连接方式修改为：
Figure SMS_57
；
此时，现有配套道路的状态改变为：
Figure SMS_58
（3）奖励
奖励的数学表达式为：
Figure SMS_59
式中，
Figure SMS_60
为针对配套道路连接代价的奖励函数，由于优化目标为降低配套道路的总连接代价，因此奖励值可取为总连接代价的负数，连接代价越小
Figure SMS_61
越大；
Figure SMS_62
为针对配套道路物资运输效率的奖励函数。
作为优选，步骤S4中，MODDPG包含了 Actor-Net和 Critic-Net，其中，Actor-Net负责根据当前的状态输出动作， Critic-Net负责评价智能体在当前状态下采用输出动作的好坏； Actor-Net将当前的状态和随机生成偏好作为输入，并且将该偏好下的动作作为输出；每一次执行动作时，不同目标之间的偏好或者权重需要重新随机生成一次；
在更新MODDPG网络参数时，通过创建一个Memory Buffer来存储从
Figure SMS_63
过渡到
Figure SMS_64
的transition step的各类属性，包括智能体当前的状态
Figure SMS_65
、在此状态下的动作
Figure SMS_66
、采取此动作后环境给予智能体的反馈以及采取此动作后智能体到达的下一步状态
Figure SMS_67
；在训练时，会从Memory Buffer中随机选择若干个transition step进行训练，首先将计算得到的policy gradient利用随机梯度下降法更新MODDPG中的Revised- Actor-Net，然后借助Target Net中的两个神经网络计算TD Error值用于更新MODDPG中的Revised-Critic-Net；Target Net中的结构参数不直接更新，每隔多个迭代步骤以后将Revised- Actor-Net和Revised-Critic-Net的神经网络参数复制到Target Net来实现更新；最终，将MODDPG用于配套道路布局的优化，直到搜索结果收敛。
作为优选，步骤S4中，每一次开始对配套道路方案进行优化时，将配套道路的初始状态
Figure SMS_68
设为在S3中获得的配套道路初始方案，此时
Figure SMS_69
即初始状态为不对步骤S3的方案做任何修改；此外，在训练时，每经过
Figure SMS_70
次优化后即结束本次回合，并开始下一个回合，即，将配套道路的状态重新设为初始状态
Figure SMS_71
。
本发明能够综合考虑山区铁路大临工程配套道路的建造成本和物资运输效率，并对既有道路进行充分利用，有利于实现“永临结合”的布局规划；通过本发明中提出的山区大临工程配套智能化生成方法可大量节省人力物力，有效提升了山区铁路建设的效率和水平。
附图说明
图1为实施例中一种山区铁路大临工程配套道路的智能规划与设计方法的流程图；
图2为实施例中山区铁路大临设施配套道路规划所需的相关资料图；
图3为实施例中配套道路基本规划设计原则示意图；
图4为实施例中“最小生成树”算法生成配套道路初始方案示意图；
图5（a）为实施例中配套道路初始规划方案示意图；
图5（b）为实施例中配套道路改进方案示意图；
图6为实施例中强化学习基本属性示意图。
具体实施方式
为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。应当理解的是，实施例仅仅是对本发明进行解释而并非限定。
实施例
如图1所示，本实施例提供了一种山区铁路大临工程配套道路的智能规划与设计方法，其包括以下步骤：
S1:获取研究区域大临工程以及既有道路（交通基础设施）的空间信息，以及研究区域的相关地形信息
如图2所示，本步骤中需要采集的信息包括研究区域的地形资料、大临工程的空间位置以及既有道路的空间信息等；需要说明的是，既有道路包含了一般的路基段、桥梁区段以及隧道区段，只有路基段可以与大临工程进行连接。
S2:问题阐述以及优化目标定义
在对山区铁路大临工程配套道路进行规划时，需要满足一个基本规划设计原则，即大临工程（如：混凝土拌合站、制梁场、钢筋加工厂等）必须与既有道路产生“直接”和“间接”的连接，这样能够保证相关建设物资能够运送到大临工程中以便铁路能够顺利投入建设。“直接”和“间接”连接的介绍如图3所示，大临设施-1和大临设施-3与既有道路之间的连接属于是“直接”连接，这是由于这两个设施与既有道路之间存在一条配套道路；大临设施-2与既有道路之间的连接方式为“间接”连接，这是因为大临设施-2未与既有道路之间存在相关的配套道路，但是大临设施-2与大临设施-1之间存在配套道路，在运送物资时，运输车辆可从大临设施-2出发，先到达大临设施-1，最后再到达既有道路；大临设施-4与既有道路之间不存在“直接”或者“间接”，这在配套道路规划时是不允许的。
可将大临工程设施和既有道路视为节点，节点与节点之间连接时需要考虑连接代价(link cost)，本方法采用节点之间真实的建造成本作为连接代价（连接成本）。计算建造成本之前需要确定节点之间的平纵断面线形，先生成平纵断面，然后进一步地计算出建造成本
Figure SMS_72
，其中，
Figure SMS_73
代表各类大临设施或者既有道路。
除了需要考虑建造成本以外，配套道路的规划与设计还需要考虑铁路建设物资的运输效率。在计算配套道路的运输效率之前，首先提出一个假设方便后续计算，即每一个工点处所需的物资和产生的废弃资源由该工点最近的大临设施负责处理，例如：在修建铁路隧道时，某个隧道斜井所需的混凝土由距离其最近的混凝土拌合站提供，而该斜井产生的弃渣则需要运送到距离其最近的弃渣场即可。基于该假设，以山区铁路隧道建设为例，其配套道路的物资运输效率可用货运周转量
Figure SMS_74
来描述：
Figure SMS_75
(1)
式中，
Figure SMS_76
配套道路的货运周转量，其单位为
Figure SMS_80
；
Figure SMS_83
为第
Figure SMS_77
个隧道斜井距离其最近的弃渣场的运输距离(km)；
Figure SMS_81
为第
Figure SMS_84
个隧道斜井距离其最近的弃渣场的运输距离(km)；
Figure SMS_85
为第
Figure SMS_78
个隧道斜井所需的混凝土量(t)；
Figure SMS_79
为第
Figure SMS_82
个隧道斜井产生的弃渣量（t）。
S3:配套道路初始规划方案生成
采用“最小生成树”算法，生成配套道路的初始规划方案，确保各个大临设施和既有道路存在“直接”和“间接”的连接方式，保证山区铁路大临工程配套道路满足S2中定义的基本规划设计原则，同时确保了配套道路的初始规划方案的总连接代价最低。基于“最小生成树”算法生成配套道路初始方案的介绍如下：
定义
Figure SMS_86
为所有道路节点的集合，节点包括各个大临设施和既有道路，需要说明的是，虽然既有道路是“条状”物，根据拓扑学原理，也可将其视为单个节点；同时，定义
Figure SMS_87
为经过k个迭代步骤以后已连接节点的集合，
Figure SMS_88
为经过k个迭代步骤以后未连接节点的集合；“最小生成树”算法的具体迭代流程如下（如图4所示）：
Step 0: 设置：
Figure SMS_89
；
Step 1:从
Figure SMS_90
中随机选取一个节点i，将其放入
Figure SMS_91
中并将其从
Figure SMS_92
中移除，因此，
Figure SMS_93
；
Step k:从
Figure SMS_94
中选取一个节点
Figure SMS_95
，节点
Figure SMS_96
对于集合
Figure SMS_97
中的每一个节点具有最小的连接代价（连接代价的计算见S2），将节点
Figure SMS_98
加入到集合
Figure SMS_99
中，并将其中
Figure SMS_100
中移除，即：
Figure SMS_101
(2)
判断
Figure SMS_102
是否为空集，如果
Figure SMS_103
为空集，那么迭代结束，获取初始的配套道路规划方案；如果不是空集则开始k+1次迭代步骤。
S4:配套道路最终方案的智能化优化方法
S3中生成配套道路初始方案可以确保配套道路能够满足S1中定义的基本规划设计原则，即各个大临设施与既有道路必须存在“直接”或者“间接”的连接方式，同时保证了配套道路的总体规划布局具有最小的连接代价。然而，S3中生成的配套道路规划方案不能保证配套道路具有最高的物资运输效率。
如图5(a)和图5(b)所示，假设需要从大临设施-B运送物资到大临设施-E，在基于S3生产的配套道路初始规划方案中（图5(a)），车辆的运输路线为：大临设施-B—大临设施-C—大临设施-A—大临设施-D—大临设施-F—大临设施-E，极大地增加了不必要的运输距离；如果在初始方案的基础之上加以修改，例如：直接在大临设施B和大临设施-E之间新建一条配套道路（图5(b)），虽然增加了配套道路的总体连接代价，但是对于物资运输的效率具有极大的提升。因此，S4的主要目的是对S3中生成的方案进行深化改进，提出能够使连接代价和运输效率综合最优的山区铁路大临工程配套道路规划布局方案。
因此，优化函数可定义为：
Figure SMS_104
式中，
Figure SMS_106
表示第一个优化目标，即最小化整体连接代价；
Figure SMS_110
表示第二个优化目标，即最小化配套道路的货运周转量；
Figure SMS_112
表示第
Figure SMS_107
个连接的连接代价，
Figure SMS_108
表示第
Figure SMS_111
个连接的连接状态，
Figure SMS_113
代表可以连接，
Figure SMS_105
代表不可连接；
Figure SMS_109
为配套道路的总运输周转量，其具体计算方式见 S2。
由于S4的配套道路的规划方案是在S3的基础时之上进行改进，不对S3中产生的既有连接进行修改，因此在S4中可以进行优化的连接总数为潜在可行的连接数量减去S3中产生的连接数量，即：
Figure SMS_114
(5)
式中，
Figure SMS_115
为节点总数（每个节点对应一个大临设施或者施工道路）；
Figure SMS_116
为节点之间存在的潜在连接的总量；
Figure SMS_117
为“最小生成树”算法产生的总的连接数量，即 S3中产生的连接个数。
上述问题共有
Figure SMS_118
种规划方案，数量极其庞大，因此本方法采用一种多目标深度强化学习的方法来搜索最优的配套道路规划方案，强化学习主要包含以下重要属性（见图6）：
1）智能体（Agent）：可以感知所处环境并采取动作的实体，可理解为执行动作或者策略的主体，可以是人也可以是计算机程序。在本方法中，智能体可以理解为山区铁路大临工程配套道路的规划和设计人员；
2）环境（Environment）：智能体所交互的区域或者规则即为环境。在本方法中，环境包含了各个大临设施以及既有道路之间的连接代价，当前配套道路布局的物资运输效率的计算规则等；
3）状态（State）：对智能体所处环境的描述即为状态。在本方法中，状态可以理解为当前配套道路的布局情况；
4）动作（Action）：智能体根据当前环境的状态所执行的决策。在本方法中，动作为对配套道路布局的调整；
在利用强化学习进行优化时，智能体首先从环境中观测当前的状态
Figure SMS_119
，并根据不断学习的策略函数选择最优的动作与环境进行交互，环境会因为智能体执行的动作
Figure SMS_120
而产生状态改变
Figure SMS_121
，同时会反馈给智能体相应的奖励值
Figure SMS_122
，最后智能体根据环境反馈的奖励值
Figure SMS_123
来判断在状态
Figure SMS_124
下执行动作
Figure SMS_125
是否合理，并从中汲取教训，更新策略函数；之后，智能体将进入下一轮与环境的交互，如此循环往复直到智能体能够满足所执行任务的进度或者达到最终的迭代次数。下面介绍山区铁路大临工程配套道路的优化在强化学习框架下的数学表达：
（1）状态(state)
状态可以表示为现有配套道路初始方案（初始方案的生成见S3）的基础上，对配套道路的修改，其数学表达式为：
Figure SMS_126
(6)
式中，
Figure SMS_127
的含义见（式3）；
（2）动作(action)
动作可以表示为对现有配套道路的第m个连接方式进行修改，其数学表达式为：
Figure SMS_128
(7)
式中，
Figure SMS_129
，且
Figure SMS_130
为正整数。
执行动作后，现有配套道路的第m个连接方式修改为：
Figure SMS_131
此时，现有配套道路的状态改变为：
Figure SMS_132
(8)
（3）奖励(reward)
执行动作后，配套道路的状态会从
Figure SMS_133
过度到
Figure SMS_134
，此时环境会给予智能体奖励或者反馈，以使智能体调整策略；奖励的数学表达式为：
Figure SMS_135
式中，
Figure SMS_136
为针对配套道路连接代价的奖励函数，由于优化目标为降低配套道路的总连接代价，因此奖励值可取为总连接代价的负数，连接代价越小
Figure SMS_137
越大；
Figure SMS_138
为针对配套道路物资运输效率的奖励函数，由于优化目标为增加配套道路的整体运输效率，因此奖励值可取为总运输周转量的负数，运输周转量越小
Figure SMS_139
越大。
进一步地，本方法提出一种多目标强化学习方法：Multi-Objective DeepDeterministic Policy Gradient (MODDPG)算法来求解配套道路的最优规划方案。
与传统的DDPG结构类似，MODDPG同样包含了 Actor-Net和 Critic-Net，其中，Actor-Net负责根据当前的状态(state)输出动作(action)，而 Critic-Net则负责评价智能体在当前状态下采用输出动作的好坏，输出的值（policy gradient）越大表示智能体所采用的动作越有利。由于配套道路连接代价与物资运输效率之间的重要程度或者设计人员对二者的偏好是未知的，因此，为了保证智能体在任何偏好下都能执行较为合理的动作，MODDPG中的Actor-Net（记为π(θ_1)）将当前的“状态”和随机生成偏好作为输入，并且将该偏好下的“动作”作为输出。并且，每一次执行“动作”时，不同目标之间的偏好或者权重都需要重新随机生成一次。
在更新MODDPG网络参数时，本方法通过创建一个Memory Buffer来存储从
Figure SMS_140
过渡到
Figure SMS_141
的transition step的各类属性，主要包括智能体当前的状态（State或
Figure SMS_142
）、在此状态下的动作（Action或
Figure SMS_143
）、采取此动作后环境给予智能体的反馈（Reward或
Figure SMS_144
）以及采取此动作后智能体到达的下一步状态（State’或
Figure SMS_145
）。在训练时，会从Memory Buffer中随机选择若干个transition step进行训练，首先将计算得到的policy gradient利用随机梯度下降法更新MODDPG中的Revised- Actor-Net，然后与DDOG结构类似，借助Target Net中的两个神经网络计算TD Error值用于更新MODDPG中的Revised-Critic-Net。Target Net中的结构参数不直接更新，每隔多个迭代步骤以后将Revised- Actor-Net和Revised-Critic-Net的神经网络参数复制到Target Net来实现更新。最终，将MODDPG用于配套道路布局的优化，直到搜索结果收敛。
需要注意的是，每一次开始对配套道路方案进行优化时，将配套道路的初始状态
Figure SMS_146
设为在S3中获得的配套道路初始方案，此时
Figure SMS_147
，即初始状态为不对S3的方案做任何修改。此外，理论上最多经过
Figure SMS_148
次方案修改后，即可找到最优方案，因此，在训练时，每经过
Figure SMS_149
次优化后即结束本次回合，并开始下一个回合，即，将配套道路的状态重新设为初始状态
Figure SMS_150
。
通过本发明中提出的山区大临工程配套智能化生成方法可大量节省人力物力，有效提升了山区铁路建设的效率和水平。
以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (7)

1.一种山区铁路大临工程配套道路的智能规划与设计方法，其特征在于：包括以下步骤：
S1:获取研究区域大临工程以及既有道路的空间信息，以及研究区域的相关地形信息；
S2: 定义优化目标；具体为：
a、需满足一个基本规划设计原则，即大临工程必须与既有道路产生直接和间接的连接；
b、将大临工程设施和既有道路视为节点，节点与节点之间连接时需应用连接代价，采用节点之间真实的建造成本作为连接代价；
c、需应用铁路建设物资的运输效率；
S3: 生成配套道路初始规划方案；
采用最小生成树算法，生成配套道路的初始规划方案，使山区铁路大临工程配套道路满足步骤S2中定义的基本规划设计原则，同时确保配套道路的初始规划方案的连接代价最低；
S4:使用配套道路最终方案的智能化优化方法，使连接代价和运输效率综合最优；具体为：
A、定义优化函数；
优化函数定义为：
Figure QLYQS_1
；
Figure QLYQS_2
；
式中，
Figure QLYQS_4
表示第一个优化目标，即最小化整体连接代价；
Figure QLYQS_6
表示第二个优化目标，即最小化配套道路的货运周转量；
Figure QLYQS_9
表示第
Figure QLYQS_3
个连接的连接代价，
Figure QLYQS_7
表示第
Figure QLYQS_10
个连接的连接状态，
Figure QLYQS_11
代表可以连接，
Figure QLYQS_5
代表不可连接；
Figure QLYQS_8
为配套道路的总运输周转量；
B、确定优化的连接总数；
优化的连接总数为：
潜在可行的连接数量减去最小生成树算法产生的连接数量，即：
Figure QLYQS_12
；
式中，
Figure QLYQS_13
为节点总数，每个节点对应一个大临设施或者施工道路；
Figure QLYQS_14
为节点之间存在的潜在连接的总量；
Figure QLYQS_15
为最小生成树算法产生的总的连接数量；
C、根据优化函数和优化的连接总数，采用多目标深度强化学习的方法来搜索最优的配套道路规划方案，采用MODDPG算法来求解配套道路的最优规划方案。
2.根据权利要求1所述的一种山区铁路大临工程配套道路的智能规划与设计方法，其特征在于：步骤S2中，计算建造成本之前需要确定节点之间的平纵断面线形，先生成平纵断面，然后进一步地计算出建造成本
Figure QLYQS_16
，其中，
Figure QLYQS_17
代表各类大临设施或者既有道路；
在计算配套道路的运输效率之前，首先提出假设，即每一个工点处所需的物资和产生的废弃资源由该工点最近的大临设施负责处理；基于该假设，山区铁路隧道建设的配套道路的物资运输效率用货运周转量来描述：
Figure QLYQS_18
；
式中，
Figure QLYQS_20
配套道路的货运周转量；
Figure QLYQS_23
为第
Figure QLYQS_26
个隧道斜井距离其最近的混凝土拌合站的运输距离；
Figure QLYQS_21
为第
Figure QLYQS_22
个隧道斜井距离其最近的弃渣场的运输距离；
Figure QLYQS_25
为第
Figure QLYQS_27
个隧道斜井所需的混凝土量；
Figure QLYQS_19
为第
Figure QLYQS_24
个隧道斜井产生的弃渣量。
3.根据权利要求2所述的一种山区铁路大临工程配套道路的智能规划与设计方法，其特征在于：步骤S3中，基于最小生成树算法生成配套道路初始方案的如下：
定义
Figure QLYQS_28
为所有道路节点的集合，节点包括各个大临设施和既有道路；同时，定义
Figure QLYQS_29
为经过k个迭代步骤以后已连接节点的集合，
Figure QLYQS_30
为经过k个迭代步骤以后未连接节点的集合；最小生成树算法的具体迭代流程如下：
Step 0: 设置：
Figure QLYQS_31
；
Step 1:从
Figure QLYQS_32
中随机选取一个节点i，将其放入
Figure QLYQS_33
中并将其从
Figure QLYQS_34
中移除，因此，
Figure QLYQS_35
；
Step k:
Figure QLYQS_36
中选取一个节点
Figure QLYQS_37
，节点
Figure QLYQS_38
对于集合
Figure QLYQS_39
中的每一个节点具有最小的连接代价，将节点
Figure QLYQS_40
加入到集合
Figure QLYQS_41
中，并将其中
Figure QLYQS_42
中移除，即：
Figure QLYQS_43
；
判断
Figure QLYQS_44
是否为空集，如果
Figure QLYQS_45
为空集，那么迭代结束，获取初始的配套道路规划方案；如果不是空集则开始k+1次迭代步骤。
4.根据权利要求3所述的一种山区铁路大临工程配套道路的智能规划与设计方法，其特征在于：步骤S4中，多目标深度强化学习的方法中，强化学习包含以下属性：
1）智能体：智能体理解为山区铁路大临工程配套道路的规划和设计人员；
2）环境：环境包含各个大临设施以及既有道路之间的连接代价，当前配套道路布局的物资运输效率的计算规则；
3）状态：状态理解为当前配套道路的布局情况；
4）动作：动作为对配套道路布局的调整；
在利用强化学习进行优化时，智能体首先从环境中观测当前的状态
Figure QLYQS_46
，并根据不断学习的策略函数选择最优的动作与环境进行交互，环境会因为智能体执行的动作
Figure QLYQS_47
而产生状态改变
Figure QLYQS_48
，同时会反馈给智能体相应的奖励值
Figure QLYQS_49
，最后智能体根据环境反馈的奖励值
Figure QLYQS_50
来判断在状态
Figure QLYQS_51
下执行动作
Figure QLYQS_52
是否合理，并从中汲取教训，更新策略函数；之后，智能体将进入下一轮与环境的交互，如此循环往复直到智能体能够满足所执行任务的进度或者达到最终的迭代次数。
5.根据权利要求4所述的一种山区铁路大临工程配套道路的智能规划与设计方法，其特征在于：步骤S4中，山区铁路大临工程配套道路的优化在强化学习框架下的数学表达：
（1）状态
状态表示为现有配套道路初始方案的基础上，对配套道路的修改，其数学表达式为：
Figure QLYQS_53
；
（2）动作
动作表示为对现有配套道路的第m个连接方式进行修改，其数学表达式为：
Figure QLYQS_54
；
式中，
Figure QLYQS_55
，且
Figure QLYQS_56
为正整数；
执行动作后，现有配套道路的第m个连接方式修改为：
Figure QLYQS_57
；
此时，现有配套道路的状态改变为：
Figure QLYQS_58
；
（3）奖励
奖励的数学表达式为：
Figure QLYQS_59
；
Figure QLYQS_60
；
式中，
Figure QLYQS_61
为针对配套道路连接代价的奖励函数，由于优化目标为降低配套道路的总连接代价，因此奖励值可取为总连接代价的负数，连接代价越小
Figure QLYQS_62
越大；
Figure QLYQS_63
为针对配套道路物资运输效率的奖励函数。
6.根据权利要求5所述的一种山区铁路大临工程配套道路的智能规划与设计方法，其特征在于：步骤S4中，MODDPG包含了 Actor-Net和 Critic-Net，其中，Actor-Net负责根据当前的状态输出动作， Critic-Net负责评价智能体在当前状态下采用输出动作的好坏；Actor-Net将当前的状态和随机生成偏好作为输入，并且将该偏好下的动作作为输出；每一次执行动作时，不同目标之间的偏好或者权重需要重新随机生成一次；
在更新MODDPG网络参数时，通过创建一个Memory Buffer来存储从
Figure QLYQS_64
过渡到
Figure QLYQS_65
的transition step的各类属性，包括智能体当前的状态
Figure QLYQS_66
、在此状态下的动作
Figure QLYQS_67
、采取此动作后环境给予智能体的反馈以及采取此动作后智能体到达的下一步状态
Figure QLYQS_68
；在训练时，从Memory Buffer中随机选择若干个transition step进行训练，首先将计算得到的policy gradient利用随机梯度下降法更新MODDPG中的Revised- Actor-Net，然后借助Target Net中的两个神经网络计算TD Error值用于更新MODDPG中的Revised-Critic-Net；Target Net中的结构参数不直接更新，每隔多个迭代步骤以后将Revised- Actor-Net和Revised-Critic-Net的神经网络参数复制到Target Net来实现更新；最终，将MODDPG用于配套道路布局的优化，直到搜索结果收敛。
7.根据权利要求6所述的一种山区铁路大临工程配套道路的智能规划与设计方法，其特征在于：步骤S4中，每一次开始对配套道路方案进行优化时，将配套道路的初始状态
Figure QLYQS_69
设为在S3中获得的配套道路初始方案，此时
Figure QLYQS_70
，即初始状态为不对步骤S3的方案做任何修改；此外，在训练时，每经过
Figure QLYQS_71
次优化后即结束本次回合，并开始下一个回合，即，将配套道路的状态重新设为初始状态
Figure QLYQS_72
。
CN202310089524.1A 2023-02-09 2023-02-09 一种山区铁路大临工程配套道路的智能规划与设计方法 Active CN115809502B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310089524.1A CN115809502B (zh) 2023-02-09 2023-02-09 一种山区铁路大临工程配套道路的智能规划与设计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310089524.1A CN115809502B (zh) 2023-02-09 2023-02-09 一种山区铁路大临工程配套道路的智能规划与设计方法

Publications (2)

Publication Number Publication Date
CN115809502A true CN115809502A (zh) 2023-03-17
CN115809502B CN115809502B (zh) 2023-04-25

Family

ID=85487838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310089524.1A Active CN115809502B (zh) 2023-02-09 2023-02-09 一种山区铁路大临工程配套道路的智能规划与设计方法

Country Status (1)

Country Link
CN (1) CN115809502B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116451972A (zh) * 2023-06-01 2023-07-18 中南大学 一种铁路线路与大临工程选址方案的协同度评价方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108092267A (zh) * 2018-01-09 2018-05-29 国网河南省电力公司经济技术研究院 一种基于智能体的配电网接入规划系统与方法
CN111982138A (zh) * 2020-07-09 2020-11-24 北京百度网讯科技有限公司 预测模型获取及路径规划方法、装置及存储介质
CN112231870A (zh) * 2020-09-23 2021-01-15 西南交通大学 一种复杂山区铁路线路智能化生成方法
CN113485380A (zh) * 2021-08-20 2021-10-08 广东工业大学 一种基于强化学习的agv路径规划方法及系统
CN113625733A (zh) * 2021-08-04 2021-11-09 北京工业大学 一种基于ddpg多目标三维无人机路径规划方法
CN114415663A (zh) * 2021-12-15 2022-04-29 北京工业大学 基于深度强化学习的路径规划方法及系统
US20220196414A1 (en) * 2019-12-31 2022-06-23 Goertek Inc. Global path planning method and device for an unmanned vehicle
CN115033000A (zh) * 2022-07-06 2022-09-09 重庆大学 基于深度强化学习的双目标路径规划方法
WO2022199388A1 (zh) * 2021-03-23 2022-09-29 腾讯科技（深圳）有限公司 出行路径规划方法和出行路径推荐方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108092267A (zh) * 2018-01-09 2018-05-29 国网河南省电力公司经济技术研究院 一种基于智能体的配电网接入规划系统与方法
US20220196414A1 (en) * 2019-12-31 2022-06-23 Goertek Inc. Global path planning method and device for an unmanned vehicle
CN111982138A (zh) * 2020-07-09 2020-11-24 北京百度网讯科技有限公司 预测模型获取及路径规划方法、装置及存储介质
CN112231870A (zh) * 2020-09-23 2021-01-15 西南交通大学 一种复杂山区铁路线路智能化生成方法
WO2022199388A1 (zh) * 2021-03-23 2022-09-29 腾讯科技（深圳）有限公司 出行路径规划方法和出行路径推荐方法
CN113625733A (zh) * 2021-08-04 2021-11-09 北京工业大学 一种基于ddpg多目标三维无人机路径规划方法
CN113485380A (zh) * 2021-08-20 2021-10-08 广东工业大学 一种基于强化学习的agv路径规划方法及系统
CN114415663A (zh) * 2021-12-15 2022-04-29 北京工业大学 基于深度强化学习的路径规划方法及系统
CN115033000A (zh) * 2022-07-06 2022-09-09 重庆大学 基于深度强化学习的双目标路径规划方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YU YU 等: "Multi-Objective Optimization for UAV-Assisted Wireless Powered IoT Networks Based on Extended DDPG Algorithm" *
余伶俐 等: "基于MCPDDPG的智能车辆路径规划方法及应用" *
刘晓欢: "面向智能车行驶的最佳路径选择机制与方法研究" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116451972A (zh) * 2023-06-01 2023-07-18 中南大学 一种铁路线路与大临工程选址方案的协同度评价方法
CN116451972B (zh) * 2023-06-01 2023-09-05 中南大学 一种铁路线路与大临工程选址方案的协同度评价方法

Also Published As

Publication number Publication date
CN115809502B (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
Eaton et al. Ant colony optimization for simulated dynamic multi-objective railway junction rescheduling
John et al. An improved multi-objective algorithm for the urban transit routing problem
CN109800904A (zh) 带时间窗的装配式建筑预制件配送路径优化方法及系统
CN112987757B (zh) 一种货物多式联运的路径规划方法
CN112231870B (zh) 一种复杂山区铁路线路智能化生成方法
CN107220731A (zh) 一种物流配送路径规划方法
CN115809502A (zh) 一种山区铁路大临工程配套道路的智能规划与设计方法
CN107808210B (zh) 面向复杂产品拆卸再生拆卸方案及再生方案集成决策方法
CN104616062A (zh) 一种基于多目标遗传规划的非线性系统辨识方法
CN105913213A (zh) 仓储集货模式下逆向物流回收车辆调度方法
CN109408939A (zh) 一种兼顾应力和位移约束的薄板结构加强筋分布优化的改进方法
Noilublao et al. Simultaneous topology, shape, and sizing optimisation of plane trusses with adaptive ground finite elements using MOEAs
Irawan et al. A continuous location and maintenance routing problem for offshore wind farms: Mathematical models and hybrid methods
Zhu et al. Optimal schedule for agricultural machinery using an improved Immune-Tabu Search Algorithm
Wei et al. Concurrent optimization of subway vertical alignments and station elevations with improved particle swarm optimization algorithm
Malgıt et al. A generative design-to-BIM workflow for minimum weight plane truss design
Bielli et al. Genetic algorithms and transportation analysis: review and perspectives for bus network optimization
Li et al. Research on global-local optimal information ratio particle swarm optimization for vehicle scheduling problem
Tong Rail Consignment Path Planning Based on Multimodal Transport: Considering the Time Uncertainty Condition.
Wendong et al. Design of public bicycle scheduling model based on data mining algorithm
Wang et al. Improved ant colony algorithm for traveling salesman problems
Jiang et al. An improved ant colony algorithm for urban transit network optimization
Liu et al. Scenario-based distributed model predictive control for freeway networks
Gao et al. Biobjective optimization for railway alignment fine‐grained designs with parallel existing railways
CN116305678B (zh) 基于低碳排放的高密城区铁路线路精细优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant