CN112614341B - 基于群智进化蚁群算法的交通规划系统 - Google Patents
基于群智进化蚁群算法的交通规划系统 Download PDFInfo
- Publication number
- CN112614341B CN112614341B CN202011447986.9A CN202011447986A CN112614341B CN 112614341 B CN112614341 B CN 112614341B CN 202011447986 A CN202011447986 A CN 202011447986A CN 112614341 B CN112614341 B CN 112614341B
- Authority
- CN
- China
- Prior art keywords
- global
- individual
- traffic
- neural network
- strategy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/07—Controlling traffic signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供了一种基于群智进化蚁群算法的交通规划系统,对交通中涉及的可控制的信号灯以及车辆的行驶路径进行优化得到最短全局交通通行平均时间,其特征在于,包括:动作选择部根据信息素以及策略神经网络计算蚂蚁的行动概率,并根据该行动概率确定蚂蚁选择的策略;全局更新部根据每只蚂蚁的个体最优策略更新全局信息素;全局最优部对全局信息素进行计算得到全局的最优策略作为全局最优策略;个体损失构建部根据全局最优策略构建个体损失。本发明的交通规划系统对信号灯、车辆等细微的交通构成要素先进行个体优化,再进行全局优化,最后根据全局优化结果更新策略神经网络从而使得整个交通中的各个交通构成要素的最短通行平均时间。
Description
技术领域
本发明属于路径搜索领域,具体涉及一种基于群智进化蚁群算法的交通规划系统。
背景技术
随着城市规模不断扩大,交通问题正不断阻碍着城市的发展,影响着人们的日常生活。道路拥堵以及突发交通事故在繁忙的城市交通网路上时常发生。对于飞速发展的城市,如果无法动态实时地优化城市交通,就极易触发城市的交通紊乱事件。而随着5G、互联网以及人工智能等相关理论和技术的发展,为城市交通的智能管理提供了新的渠道来实现动态实时优化城市交通。
面对具有高复杂度、动态实时性的交通优化问题,现有的智能交通优化算法虽然可以解决一定的问题,但是还无法给出一个令人满意的效果,尤其是依赖传统群体类搜索类算法的智能交通优化算法(如蚁群算法、蒙特卡洛树搜索算法、AlphaZero算法等),因为搜索到的解无法令整个城市交通网络达到最为优异的状态,分析其原因为搜索算法无法利用已有的数据学习从而进化模型。另外,由于交通元素中的个体数量较多,而传统的搜索算法无法利用更细粒度的交通信息来优化交通控制从而实现交通规划。
传统的蚁群算法是一种模拟蚂蚁觅食行为的模拟优化算法,由意大利学者Dorigo、Maniezzo等人于二十世纪九十年代首次提出。在研究蚂蚁觅食的过程中,他们发现蚁群总是能在不同的环境下寻找到达食物源最短的路径。经进一步研究,他们认为这是因为蚂蚁会在其经过的路径上释放一种可以称之为“信息素”的物质。蚂蚁对“信息素”具有感知能力,在沿着“信息素”浓度高的路径上行走的同时,它们也还会在经过的路上留下更多的“信息素”来帮助后续的蚂蚁寻找实物,从而形成正反馈的机制,使得蚁群具有整体的智能行为。受蚁群觅食的启发而演变来的算法,习惯上称为蚁群算法。这种算法具有分布使计算、信息正反馈和启发式搜索的特征,本质上是进化算法中的一种启发式全局优化算法。
然而,传统蚁群算法在实际城市交通规划问题中表现较差,其主要原因在于传统蚁群算法仅使用信息素的方式引导新一次的搜索,无法高效地利用搜索结果,使得搜索具有一定的盲目性,进而导致算法收敛速度慢,算法效率低。因此,将传统蚁群算法应用于实际问题时,搜索结果不佳,且随着建模的粒度变细,搜索速度变慢,慢到最后无法达到实用目的。另外,传统蚁群算法还存在一些缺陷,比如搜索时容易陷入局部最优解;收敛到全局最优的时间过长,且单只蚂蚁不具有学习过往数据进化自身的能力。而算法的搜索能力相对于树搜索算法(蒙特卡洛树搜索算法),在棋类上表现远远不如。
蒙特卡洛树搜索算法相比于蚁群算法而言具有更好的搜索效果,但常用在棋类游戏中,且在某些即使不是很复杂的棋类游戏中或是有限时间内无法找到最佳行动。因此无法应用在庞大的城市交通规划中。分析其表现较差的原因是搜索的空间过大,关键节点无法通过足够多的访问次数来给出合理估计。而只有足够多的迭代次数才能保证得到一个收敛的解。此外,它因为树状搜索的特点,无法具备蚁群算法的特点(如网络状的搜索能力),也无法像蚁群算法那样仅仅修改蚂蚁个数,不能快速实现并行化。
AlphaZero算法是著名的围棋算法,AlphaZero在三天内自学了三种不同的棋类游戏,包括国际象棋、围棋和日本将军棋,而且无需人工干预。通过AlphaZero算法,几个小时内就可训练成为世界上最好的棋类玩家。它的棋力表现已经远远超出人类的表现。AlphaZero算法的核心在于利用了自我对弈而产生棋类数据信息,再通过神经网络来加强原有的蒙特卡洛树搜索算法的能力。因此,在棋类游戏中,神经网络加树搜索算法是获得强大棋力的关键。然而,它常常只用于棋类游戏中,考察的对象少(下棋的智能体个数),无法直接应用于复杂交通网络的车辆规划与优化上,无法做到像蚁群算法那样直观地应用于交通问题上。
发明内容
为解决上述问题,提供了一种能够解决高复杂度、动态实时性的交通优化问题并能具有较优表现的基于群智进化框架的交通规划系统,本发明采用了如下技术方案:
本发明提供了一种基于群智进化蚁群算法的交通规划系统,用于对交通中涉及的可控制的信号灯以及车辆的行驶路径进行优化得到最短全局交通通行平均时间,其特征在于,包括:交通要素获取部、个体初始部、信息素初始部、动作选择部、个体最优部、全局更新部、个体循环终止判断部、全局最优部、交通评估部、个体损失构建部、个体神经网络训练部、全局循环终止判断部以及控制部,交通要素获取部用于获取信号灯、车辆以及车辆对应的行驶策略,个体初始部依次将信号灯以及车辆初始化为蚂蚁,并为蚂蚁构建策略神经网络,信息素初始部用于初始化车辆的行驶策略得到信息素,动作选择部根据信息素以及策略神经网络计算蚂蚁采取行动at的行动概率pt,并根据该行动概率确定蚂蚁选择的策略:
式中,t为时间,τ为信息素,st为时间t下蚂蚁的状态,ηnet(st,at)为策略神经网络在状态st下采取动作at的概率,β为调整概率的权重的参数,Jk(st)为第k只蚂蚁在状态st下所有行动的集,u为任意动作,个体最优部按照信息素以及策略神经网络进行搜索得到搜索结果,并在达到预定的个体循环次数后得到个体最优策略,全局更新部根据每只蚂蚁的个体最优策略更新全局信息素τ(st,at):
式中,Q为信息素的权重的超参数,Vk为第k只蚂蚁完成搜索后得到的搜索结果,ρ为信息素的挥发参数,m为蚂蚁的数量,个体循环终止判断部判断蚂蚁是否不能再搜索得到个体最优策略,全局最优部在个体循环终止判断部判断为是时,对全局信息素进行计算得到全局的最优策略作为全局最优策略π:
式中,N为蚂蚁在状态s下选择动作a的次数,l为序号,T为大于0的参数,π(al|sl)为在状态sl下采取动作al的概率,交通评估部利用预定的交通仿真系统对全局最优策略进行评估得到评估时间,个体损失构建部根据全局最优策略以及个体最优策略构建个体损失loss:
式中,n为动作a的个数,个体神经网络训练部根据个体损失更新策略神经网络,全局循环终止判断部判断全局平均通行时间是否不再改变,当个体循环终止判断部判断为否时,控制部控制动作选择部计算得到蚂蚁的行动概率,进一步控制个体最优部按照信息素以及策略神经网络进行搜索得到搜索结果,并在达到个体循环次数后得到个体最优策略,然后控制全局更新部更新全局信息素,最后控制个体循环终止判断部判断蚂蚁是否不能再搜索得到个体最优策略,当个体循环终止判断部判断为是时,控制部控制全局最优部对全局信息素计算全局的最优策略作为全局最优策略,然后控制交通评估部评估得到评估时间,进一步控制个体损失构建部构建个体损失,进而控制个体神经网络训练部更新策略神经网络,最后控制全局循环终止判断部判断全局平均通行时间是否不再改变,一旦全局循环终止判断部判断为否时,控制部就控制个体循环终止判断部判断全局更新是否要停止,一旦全局循环终止判断部判断为是时,控制部就将全局平均通行时间作为最短全局交通通行平均时间输出,从而根据该最短全局交通通行平均时间对应的全局最优策略控制信号灯以及为车辆提供最优行驶路径。
根据本发明提供的基于群智进化蚁群算法的交通规划系统,还可以具有这样的技术特征,其中,策略神经网络至少为卷积神经网络、循环神经网络或注意力神经网络其中的任意一种。
根据本发明提供的基于群智进化蚁群算法的交通规划系统,还可以具有这样的技术特征,其中,策略神经网络采用图神经网络的方式将个体作为图结构的节点并将交通中的道路作为图结构的边。
根据本发明提供的基于群智进化蚁群算法的交通规划系统,还可以具有这样的技术特征,其中,信息素初始部依次对每一个展开的节点进行初始化得到节点对应的信息素。
根据本发明提供的基于群智进化蚁群算法的交通规划系统,还可以具有这样的技术特征,其中,交通要素获取部通过预定的真实交通感知设备获取包含车辆行驶目的地、行驶距离、行驶时间以及行驶路径信息的行驶策略。
发明作用与效果
根据本发明的基于群智进化蚁群算法的交通规划系统,由于个体神经网络训练部根据当前个体所能探索到的最优数据更新个体的策略神经网络,群体根据每个个体最优策略以及信息素数据得到全局最优策略,因此将蚁群算法加入神经网络的优化中从而使得本系统既具有蚁群算法的优点,又具有进化能力,还能够利用收集到的数据进行训练,最后达到更加优异的规划与优化效果。由于交通评估部利用预定的交通仿真系统对信息素进行评估得到评估时间,因此使得蚁群算法能够在仿真模型上进行规划,从而帮助个体进行规划,并使得本系统更具有规划能力。
本发明的交通规划系统对信号灯、车辆等细微的交通构成要素先进行个体优化得到个体最优策略,然后综合所有个体的最优策略得到整个交通的全局最优策略,最后根据全局最优策略构建的全局损失更新个体神经网络从而使得整个交通中的各个交通构成要素的最短通行平均时间。
附图说明
图1为本发明实施例的基于群智进化蚁群算法的交通规划系统的结构框图;
图2为本发明实施例的基于群智进化蚁群算法的交通规划系统的结构示意图;
图3为本发明实施例的群智进化蚁群算法的示意图;以及
图4为本发明实施例的基于群智进化蚁群算法的交通规划系统工作过程的流程图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,以下结合实施例及附图对本发明的基于群智进化蚁群算法的交通规划系统作具体阐述。
<实施例>
本实施例中的基于群智进化蚁群算法的交通规划系统是在群智进化算法框架下进行的,并且结合了蚁群算法。
其中,群智进化算法框架是一种新提出来的算法框架,其核心理念是多种个体智能汇集成群体智能,而群体智能反馈进化个体,从而循环迭代达到一个更好的智能涌现行为。
然而在群智进化算法框架下结合蚁群算法相较于传统的蚁群算法效果更好,如:群智进化蚁群算法(即在群智进化算法框架下结合蚁群算法)只需要搜索超过400次即可超过传统蚁群算法搜索10000次的结果。
其中,本实施中的个体(即群智进化蚁群算法中的蚂蚁)是指道路上的可控制的信号灯以及车辆;群体是指由各个信号灯、车辆个体、车路网、行人等等可仿真的交通元素组成的交通群体。
本实施例中的基于群智进化蚁群算法的交通规划系统可以根据交通中的各个信号灯以及行驶车辆实时优化得到所有行驶车辆的最短交通通行平均时间(即最短全局交通通行平均时间)。
本实施例中的基于群智进化蚁群算法的交通规划系统应用的神经网络至少为卷积神经网络、循环神经网络以及注意力神经网络其中的一种。该神经网络采用图神经网络的方式将个体作为图结构的节点并将交通中的道路作为图结构的边。
图1为本发明实施例的基于群智进化蚁群算法的交通规划系统的结构框图。
如图1所示,基于群智进化蚁群算法的交通规划系统1包括交通要素获取部11、个体初始部12、信息素初始部13、动作选择部14、个体最优部15、全局更新部16、个体循环终止判断部17、全局最优部18、交通评估部19、个体损失构建部20、个体神经网络训练部21、全局循环终止判断部22以及控制部23。
交通要素获取部11可以获取获取信号灯、车辆以及车辆对应的行驶策略。
其中,交通要素获取部11通过预定的真实交通感知设备获取包含车辆行驶目的地、行驶距离、行驶时间以及行驶路径信息的行驶策略(即图2中的真实交通状况感知数据)。
真实交通感知设备为常用的真实交通感知。
本实施例中,行驶策略为互联网上OpenStreetMap网站提供的交通路网信息大数据,为由真实交通感知设备采集到的真实场景数据。
个体初始部12依次将信号灯以及车辆初始化为蚂蚁,并为每一只蚂蚁构建策略神经网络。
信息素初始部13用于初始化车辆的行驶策略得到信息素。
其中,信息素初始部13依次对每一个展开的节点进行初始化得到节点对应的信息素,即群智进化蚁群算法在搜索过程中会不断探索并展开节点,在新展开一个节点时,对该节点初始化得到对应的信息素。
动作选择部14根据信息素以及策略神经网络计算蚂蚁采取行动at的行动概率pt,并根据该行动概率确定蚂蚁选择的策略:
式中,t为时间,τ为信息素,st为时间t下蚂蚁的状态,ηnet(st,at)为策略神经网络在状态st下采取动作at的概率,β为调整概率的权重的参数,Jk(st)为第k只蚂蚁在状态st下所有行动的集,u为任意动作。
个体最优部15按照信息素以及策略神经网络进行搜索得到搜索结果,并在达到预定的个体循环次数后得到个体最优策略。
全局更新部16根据每只蚂蚁的个体最优策略更新全局信息素τ(st,at):
式中,Q为信息素的权重的超参数,Vk为第k只蚂蚁完成搜索后得到的搜索结果,ρ为信息素的挥发参数,m为蚂蚁的数量。
个体循环终止判断部17判断蚂蚁是否不能再搜索得到个体最优策略。
全局最优部18在个体循环终止判断部17判断为是时,对全局信息素计算全局的最优策略作为全局最优策略:
式中,N为蚂蚁在状态s下选择动作a的次数,l为序号,T为大于0的参数,π(al|sl)为在状态sl下采取动作al的概率。
交通评估部19利用预定的交通仿真系统对全局最优策略进行评估得到评估时间。
其中,交通仿真系统(即图2中的微观交通仿真)为微观交通仿真软件SUMO,该仿真软件能够搭建包含信号灯、机动车、非机动车、行人、车路网等可仿真的各种交通元素(即图2中的强化学习环境)。
交通仿真系统在全局最优策略情况下对所有个体的平均通行时间进行评估得到评估时间。
个体损失构建部20根据全局最优策略以及个体最优策略构建个体损失loss:
式中,n为动作a的个数。
个体神经网络训练部21根据个体损失更新策略神经网络(即图2中的群体进化个体神经网络权重)。
全局循环终止判断部22判断全局平均通行时间是否不再改变。
当个体循环终止判断部17判断为否时,控制部23控制动作选择部14计算得到蚂蚁的行动概率,进一步控制个体最优部15按照信息素以及策略神经网络进行搜索得到搜索结果,并在达到个体循环次数后得到个体最优策略,然后控制全局更新部16更新全局信息素,最后控制个体循环终止判断部17判断蚂蚁是否不能再搜索得到个体最优策略,
当个体循环终止判断部17判断为是时,控制部23控制交通评估部评估得到评估时间,进一步控制个体损失构建部20构建个体损失,进而控制个体神经网络训练部21更新策略神经网络,最后控制全局循环终止判断部22判断全局平均通行时间是否不再改变,
一旦全局循环终止判断部22判断为否时,控制部23就控制个体循环终止判断部17判断全局更新是否要停止,
一旦全局循环终止判断部22判断为是时,控制部23控制全局最优部对全局信息素计算全局的最优策略作为全局最优策略,控制部23就将全局平均通行时间作为最短全局交通通行平均时间(即图2中的行驶目标路径长度通信时间)输出,从而根据该最短全局交通通行平均时间对应的全局最优策略控制信号灯以及为车辆提供最优行驶路径(即图2中优化控制为个体的信号灯并导引推荐为个体的车辆,其中个体都由神经网络表示)。
通过选择部14、个体最优部15、全局更新部16、个体循环终止判断部17、全局最优部18、交通评估部19、个体损失构建部20、个体神经网络训练部21、全局循环终止判断部22以及控制部23可以实现图2中的群智进化蚁群算法中的学习真实交通数据、集成个体最优策略、在仿真环境下进行规划并能选择更优的全局策略。
图3为本发明实施例的群智进化蚁群算法的示意图。
如图3所示,每只蚂蚁都会选择一条路,并且在该条路上留下对应的信息素,个体损失构建部20根据蚂蚁选择同一条路的次数以及策略神经网络构建每个个体对应的个体损失,个体神经网络训练部21又根据个体损失训练策略神经网络。
图4为本发明实施例的基于群智进化蚁群算法的交通规划系统工作过程的流程图。
如图4所示,基于群智进化蚁群算法的交通规划系统1工作过程包括如下步骤:
步骤S1,交通要素获取部11获取信号灯、车辆以及车辆对应的行驶策略,然后进入步骤S2;
步骤S2,个体初始部12将信号灯以及车辆初始化为蚂蚁,并为蚂蚁构建策略神经网络,然后进入步骤S3;
步骤S3,信息素初始部13初始化行驶策略得到信息素,然后进入步骤S4;
步骤S4,控制部23控制动作选择部14根据信息素以及策略神经网络计算得到蚂蚁的行动概率,并根据该行动概率确定蚂蚁选择的策略,然后进入步骤S5;
步骤S5,控制部23控制个体最优部15按照信息素以及策略神经网络进行搜索得到搜索结果,并在达到预定的个体循环次数后得到个体最优策略,然后进入步骤S6;
步骤S6,控制部23控制全局更新部16根据每只蚂蚁的个体最优策略更新全局信息素,然后进入步骤S7;
步骤S7,控制部23控制个体循环终止判断部17判断蚂蚁是否不能再搜索得到个体最优策略,判断为否时重复步骤S4至步骤S7,判断为是时进入步骤S8;
步骤S8,控制部23控制全局最优部18根据全局信息素计算全局的最优策略作为全局最优策略,然后进入步骤S9;
步骤S9,控制部23控制交通评估部通过交通仿真系统对全局最优策略进行评估得到评估时间,然后进入步骤S10;
步骤S10,控制部23控制个体损失构建部20根据全局最优策略以及个体策略构建个体损失,然后进入步骤S11;
步骤S11,控制部23控制个体神经网络训练部21根据个体损失更新策略神经网络,然后进入步骤S12;
步骤S12,控制部23控制全局循环终止判断部22判断全局平均通行时间是否不再改变,判断为是时进入步骤S13,判断为否时重复步骤S7至步骤S12;
步骤S13,控制部23就将全局平均通行时间作为最短全局交通通行平均时间输出,然后进入结束状态。
实施例作用与效果
根据本实施例提供的基于群智进化蚁群算法的交通规划系统1,由于个体神经网络训练部21根据个体损失更新个体的策略神经网络,当所有个体都达到最优时,全局损失即为最小,因此将蚁群算法加入策略神经网络的优化中从而使得本系统既具有蚁群算法的优点,又具有进化能力,还能够利用收集到的数据进行训练,最后达到更加优异的规划与优化效果。由于交通评估部19利用预定的交通仿真系统对信息素进行评估得到评估时间,因此使得蚁群算法能够在仿真模型上进行规划,从而帮助个体进行规划,并使得本系统更具有规划能力。
另外,在实施例中,由于神经网络采用图神经网络的方式将个体作为图结构的节点并将交通中的道路作为为图结构的边,因此着眼于全局最小细粒进而改善区域交通状况,帮助城市建立更强大的智能交通规划系统1,从而缓解城市交通拥堵并提升城市道路交通的通行效率。
上述实施例仅用于举例说明本发明的具体实施方式,而本发明不限于上述实施例的描述范围。
在上述实施例中,群智进化框架下结合的是蚁群算法,在本发明的其他方案中,蚁群算法也可以是变体蚁群算法,如精英蚂蚁、最大—最小蚁群等。
在上述实施例中,神经网络至少为卷积神经网络、循环神经网络以及注意力神经网络其中的一种,在本发明的其他方案中,神经网络也可以是变体神经网络,如神经网络的层次结构变化、神经元个数变化等的变体神经网络。
在上述实施例中,交通仿真系统使用的是微观交通仿真软件SUMO,在本发明的其他方案中,交通仿真系统也可以使用别的微观交通仿真软件实现对信息素的评估从而得到评估时间,帮助个体进行规划。
Claims (5)
1.一种基于群智进化蚁群算法的交通规划系统,用于对交通中涉及的可控制的信号灯以及车辆的行驶路径进行优化得到最短全局交通通行平均时间,其特征在于,包括:
交通要素获取部、个体初始部、信息素初始部、动作选择部、个体最优部、全局更新部、个体循环终止判断部、全局最优部、交通评估部、个体损失构建部、个体神经网络训练部、全局循环终止判断部以及控制部,
所述交通要素获取部用于获取所述信号灯、所述车辆以及所述车辆对应的行驶策略,
所述个体初始部依次将所述信号灯以及所述车辆初始化为蚂蚁,并为所述蚂蚁构建策略神经网络,
所述信息素初始部用于初始化所述车辆的行驶策略得到信息素,
所述动作选择部根据所述信息素以及所述策略神经网络计算所述蚂蚁采取行动at的行动概率pt,并根据该行动概率确定所述蚂蚁选择的策略:
式中,t为时间,τ为所述信息素,st为所述时间t下所述蚂蚁的状态,ηnet(st,at)为所述策略神经网络在所述状态st下采取所述动作at的概率,β为调整所述概率的权重的参数,Jk(st)为第k只所述蚂蚁在所述状态st下所有行动的集,u为任意动作,
所述个体最优部按照所述信息素以及所述策略神经网络进行搜索得到搜索结果,并在达到预定的个体循环次数后得到个体最优策略,
所述全局更新部根据每只所述蚂蚁的所述个体最优策略更新全局信息素τ(st,at):
式中,Q为所述信息素的权重的超参数,Vk为第k只所述蚂蚁完成搜索后得到的搜索结果,ρ为所述信息素的挥发参数,m为所述蚂蚁的数量,
所述个体循环终止判断部判断所述蚂蚁是否不能再搜索得到所述个体最优策略,
所述全局最优部在所述个体循环终止判断部判断为是时,对所述全局信息素进行计算得到全局的最优策略作为全局最优策略π(al|sl):
式中,N为所述蚂蚁在所述状态s下选择所述动作a的次数,l为序号,T为大于0的参数,π(al|sl)为在所述状态sl下采取动作al的概率,
所述交通评估部利用预定的交通仿真系统对所述全局最优策略进行评估得到评估时间,
所述个体损失构建部根据所述全局最优策略以及所述个体最优策略构建个体损失loss(π,ηnet):
式中,n为所述动作a的个数,
所述个体神经网络训练部根据所述个体损失更新所述策略神经网络,
所述全局循环终止判断部判断全局平均通行时间是否不再改变,
当所述个体循环终止判断部判断为否时,所述控制部控制所述动作选择部计算得到所述蚂蚁的所述行动概率,进一步控制所述个体最优部按照所述信息素以及所述策略神经网络进行搜索得到所述搜索结果,并在达到所述个体循环次数后得到所述个体最优策略,然后控制所述全局更新部更新所述全局信息素,最后控制所述个体循环终止判断部判断所述蚂蚁是否不能再搜索得到所述个体最优策略,
当所述个体循环终止判断部判断为是时,所述控制部控制全局最优部对所述全局信息素计算全局的最优策略作为全局最优策略,然后控制所述交通评估部评估得到所述评估时间,进一步控制所述个体损失构建部构建所述个体损失,进而控制所述个体神经网络训练部更新所述策略神经网络,最后控制所述全局循环终止判断部判断所述全局平均通行时间是否不再改变,
一旦所述全局循环终止判断部判断为否时,所述控制部就控制所述个体循环终止判断部判断全局更新是否要停止,
一旦所述全局循环终止判断部判断为是时,所述控制部就将所述全局平均通行时间作为所述最短全局交通通行平均时间输出,从而根据该最短全局交通通行平均时间对应的全局最优策略控制所述信号灯以及为所述车辆提供最优行驶路径。
2.根据权利要求1所述的基于群智进化蚁群算法的交通规划系统,其特征在于:
其中,所述策略神经网络至少为卷积神经网络、循环神经网络或注意力神经网络其中的任意一种。
3.根据权利要求1所述的基于群智进化蚁群算法的交通规划系统,其特征在于:
其中,所述策略神经网络采用图神经网络的方式将所述个体作为图结构的节点并将交通中的道路作为图结构的边。
4.根据权利要求3所述的基于群智进化蚁群算法的交通规划系统,其特征在于:
其中,所述信息素初始部依次对每一个展开的所述节点进行初始化得到所述节点对应的所述信息素。
5.根据权利要求1所述的基于群智进化蚁群算法的交通规划系统,其特征在于:
其中,所述交通要素获取部通过预定的真实交通感知设备获取所述包含车辆行驶目的地、行驶距离、行驶时间以及行驶路径信息的所述行驶策略。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011447986.9A CN112614341B (zh) | 2020-12-09 | 2020-12-09 | 基于群智进化蚁群算法的交通规划系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011447986.9A CN112614341B (zh) | 2020-12-09 | 2020-12-09 | 基于群智进化蚁群算法的交通规划系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112614341A CN112614341A (zh) | 2021-04-06 |
CN112614341B true CN112614341B (zh) | 2022-02-22 |
Family
ID=75234355
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011447986.9A Active CN112614341B (zh) | 2020-12-09 | 2020-12-09 | 基于群智进化蚁群算法的交通规划系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112614341B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113240908B (zh) * | 2021-06-16 | 2021-12-03 | 北京航空航天大学 | 基于蚁群交哺策略的交通网络拥堵调控方法及系统 |
TWI813043B (zh) * | 2021-10-21 | 2023-08-21 | 曾明德 | 一種透過起訖樹調節交通擁塞方法 |
CN114973720B (zh) * | 2022-06-29 | 2024-05-31 | 西安艾派信息技术有限公司 | 一种智慧城市道路交通用信号指示灯 |
CN115457781B (zh) * | 2022-09-13 | 2023-07-11 | 内蒙古工业大学 | 一种基于多代理深度强化学习的智能交通信号灯控制方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109035811A (zh) * | 2018-08-28 | 2018-12-18 | 大连理工大学 | 一种基于数字信息素的智能交通信号灯实时调控方法 |
CN110954119A (zh) * | 2019-11-11 | 2020-04-03 | 广东振业优控科技股份有限公司 | 一种基于大数据的城市道路机动车最优线路诱导方法 |
-
2020
- 2020-12-09 CN CN202011447986.9A patent/CN112614341B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109035811A (zh) * | 2018-08-28 | 2018-12-18 | 大连理工大学 | 一种基于数字信息素的智能交通信号灯实时调控方法 |
CN110954119A (zh) * | 2019-11-11 | 2020-04-03 | 广东振业优控科技股份有限公司 | 一种基于大数据的城市道路机动车最优线路诱导方法 |
Non-Patent Citations (3)
Title |
---|
基于改进蚁群算法的交通分配研究;王勇等;《公路交通技术》;20070625(第03期);第159-161页 * |
基于群集智能算法的路径规划问题;李梅娟等;《清华大学学报(自然科学版)》;20071015;第1770-1773页 * |
改进蚁群算法在城市汽车导航中的应用;葛延峰等;《控制工程》;20160120(第01期);第133-137页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112614341A (zh) | 2021-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112614341B (zh) | 基于群智进化蚁群算法的交通规划系统 | |
CN108847037B (zh) | 一种面向非全局信息的城市路网路径规划方法 | |
Hlaing et al. | Solving traveling salesman problem by using improved ant colony optimization algorithm | |
CN109947098A (zh) | 一种基于机器学习策略的距离优先最佳路径选择方法 | |
CN111582469A (zh) | 多智能体协作信息处理方法、系统、存储介质、智能终端 | |
CN109215355A (zh) | 一种基于深度强化学习的单点交叉口信号配时优化方法 | |
CN111785045A (zh) | 基于演员-评论家算法的分布式交通信号灯联合控制方法 | |
CN109186619B (zh) | 一种基于实时路况的智能导航算法 | |
CN111611749B (zh) | 基于rnn的室内人群疏散自动引导仿真方法及系统 | |
Koh et al. | Reinforcement learning for vehicle route optimization in SUMO | |
CN112801399B (zh) | 一种路径生成方法、装置、终端设备及存储介质 | |
CN111414681B (zh) | 基于共享深度强化学习的建筑物内疏散仿真方法及系统 | |
Daeichian et al. | Fuzzy Q-learning-based multi-agent system for intelligent traffic control by a game theory approach | |
CN114038216B (zh) | 一种基于路网划分和边界流量控制的信号灯管控方法 | |
Rosyadi et al. | Intelligent traffic light control using collaborative Q-Learning algorithms | |
CN115355922A (zh) | 一种基于改进蚁群算法的出行路径规划方法及系统 | |
CN113392577B (zh) | 一种基于深度强化学习的区域边界主交叉口信号控制方法 | |
CN115019523A (zh) | 基于最小化压力差的深度强化学习交通信号协调优化控制方法 | |
CN114970058A (zh) | 一种基于信赖域贝叶斯的大规模网络信号控制优化方法 | |
Jaafra et al. | Context-aware autonomous driving using meta-reinforcement learning | |
Supraja et al. | An optimal routing protocol using a multiverse optimizer algorithm for wireless mesh network | |
CN113778090A (zh) | 基于蚁群优化和prm算法的移动机器人路径规划方法 | |
CN111797331B (zh) | 基于群智感知的多目标多约束路线推荐方法 | |
CN117420824A (zh) | 一种基于具有学习能力的智能蚁群算法的路径规划方法 | |
Kumar et al. | Hybrid ant colony optimization and Cuckoo search algorithm for travelling salesman problem |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |