CN113554875A - 一种基于边缘计算的高速公路异质交通流可变限速控制方法 - Google Patents
一种基于边缘计算的高速公路异质交通流可变限速控制方法 Download PDFInfo
- Publication number
- CN113554875A CN113554875A CN202110867989.6A CN202110867989A CN113554875A CN 113554875 A CN113554875 A CN 113554875A CN 202110867989 A CN202110867989 A CN 202110867989A CN 113554875 A CN113554875 A CN 113554875A
- Authority
- CN
- China
- Prior art keywords
- variable speed
- value
- speed limit
- traffic flow
- limit control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000004364 calculation method Methods 0.000 title claims abstract description 22
- 230000006870 function Effects 0.000 claims abstract description 34
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 18
- 230000009471 action Effects 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000005457 optimization Methods 0.000 claims abstract description 9
- 230000009467 reduction Effects 0.000 claims abstract description 8
- 230000000694 effects Effects 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 4
- 239000003795 chemical substances by application Substances 0.000 claims abstract description 3
- 238000012163 sequencing technique Methods 0.000 claims abstract description 3
- 238000011217 control strategy Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000007547 defect Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 238000011144 upstream manufacturing Methods 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 230000008859 change Effects 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000001419 dependent effect Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 230000001939 inductive effect Effects 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Human Resources & Organizations (AREA)
- Computing Systems (AREA)
- Strategic Management (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Molecular Biology (AREA)
- Economics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Quality & Reliability (AREA)
- Neurology (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Educational Administration (AREA)
- Primary Health Care (AREA)
- Traffic Control Systems (AREA)
Abstract
本专利涉及一种基于边缘计算的高速公路异质交通流可变限速控制方法,包括:基于多目标优化,利用阈值法对平均延误和平均排队长度指标进行标准化处理,并设置为可变限速控制方法的奖励函数;部署由RSU和可变限速控制代理集成边缘计算节点,提取高速公路异质交通流信息,作为EDQN算法的状态空间;使用卷积神经网络对异质交通流的状态空间进行特征降维;将CNN网络输出的结果导入到全连接层,执行动作并输出当前时间步的Q值;在Priorized replay Buffer存储样本,利用KL散度作为训练样本的优先级进行排序,从而最小化损失函数,有效提高可变限速控制效果;步骤六、判断贪婪算法是否收敛。本发明考虑了基于多目标优化的奖励函数,提高整体交通效率并减少瓶颈拥堵。
Description
技术领域
本发明属于智能交通控制技术领域,具体涉及基于边缘计算的高速公路异质交通流可变限速控制。
背景技术
随着人工智能技术的兴起,智能网联车辆(Connected and Autonomous Vehicle,CAV)应运而生,由人工车辆(Manual Vehicle,MV)和CAV组成的异质交通流将长期共存,由此引发了一系列高速公路交通拥堵问题。目前,采用可变限速控制技术来提高交通效率已成为智能交通领域研究的热点。通过在道路上游设置可变限速控制区域,统一控制异质交通流的速度,可以有效减少瓶颈处的交通拥堵。但现有的可变限速控制方法主要是将数据上传至云平台进行计算和存储,随着高速公路上CAV和基础设施的增加,大量的交通流信息加剧了数据中心的计算负荷和带宽消耗,这就减慢了可变限速控制的实时疏堵作用,使影响高速行驶安全的不确定因素大大增加。因此,需要一种基于边缘计算的高速公路异质交通流可变限速控制方法,有效缓解高速公路的瓶颈拥堵。
发明内容
本发明基于以上现有技术的不足,提出一种基于边缘计算的高速公路异质交通流可变限速控制方法。通在高速公路上部署由RSU和可变限速控制方法集成的边缘计算节点,针对异质交通流复杂性、时变性等特性,利用RSU实时接收异质交通流信息,接着调用EDQN算法,实时输出可变限速控制策略,指引高速公路车辆的通行,有效实现了异质交通流与高速道路之间的实时信息交互。
本发明针对DQN算法收敛性差的特点,有效结合四个DQN扩展形成EDQN算法以集成到可变限速控制方法中。通过对EDQN算法进行广泛离线训练,以适应交通流量的不确定性,因此在实际中可变限速方法不需要进行大量的在线计算,结合边缘计算的高可靠低延时的特性实现毫秒级的信息传输,以减轻高速公路瓶颈处的负面影响,提高高速公路异质交通流的流动性。
本发明的可变限速控制步骤,具体包括:
(1)基于多目标优化,利用阈值法对平均延误和平均排队长度指标进行标准化处理,并设置为可变限速控制方法的奖励函数。
(2)部署由RSU和可变限速控制代理集成边缘计算节点,提取高速公路异质交通流信息(辆数量和平均速度),作为EDQN算法的状态空间。
(3)使用卷积神经网络(CNN)对异质交通流的状态空间进行特征降维。
(4)将CNN网络输出的结果导入到全连接层,执行动作并输出当前时间步的Q值。
(5)在Priorized replay Buffer存储样本,利用KL散度作为训练样本的优先级进行排序,从而最小化损失函数,有效提高可变限速控制效果。
(6)判断贪婪算法ε是否收敛,若收敛,根据异质交通流状态选取最优速度控制策略并发布。
本发明技术方案具有如下优点:
A.本发明采用阈值法将高速公路的平均延误与瓶颈处的平均排队长度进行规范化处理,考虑了基于多目标优化的奖励函数,提高整体交通效率并减少瓶颈拥堵。
B.本发明提出一种RSU和可变限速控制方法集成的边缘计算节点,用于减少高速公路经常性瓶颈处产生的反向交通波,平滑异质交通流的速度,避免通行能力下降。
C.本发明在EDQN网络中结合近年来提出DQN的四个扩展(Duelling DQN,Multi-step,Distributional DQN,Priorized replay Buffer),从而防止Q网络过度预测Q值,使可变限速控制方法适用于不同场景下的高速公路混行场景。
附图说明
图1为本发明总流程图
图2为具有EDQN网络的可变限速控制方法结构
具体实施方式
下面结合附图对本专利的具体实施方式进行详细描述。
步骤1:基于多目标优化的可变限速方法奖励函数
在高速公路上游路段设置可变限速控制区域,在每个控制时段步长t,可变限速控制方法都会计算当前异质交通流状态的奖励rt∈R,并从状态St∈S选择动作at∈A,交通流接执行变换速度为at并将状态更改为新状态St+1,得到奖励rt+1。
基于多目标优化,本发明将平均延误d和平均排队长度qm作为EDQN的奖励函数,可以有效地提高交通效率并减少合并区域的拥堵。考虑到奖励函数指标量纲不同的特性,本发明采用阈值法进行数值的规范化处理,阈值法是用指标实际值和阈值相比得到指标值的无量纲化方法。令指标d,qm的最大值分别为ay,by,最小值为ay,by,则标准化后的可变限速控制方法平均延误D和平均排队长度Qm指标分别为:
奖励函数计算公式如下:
步骤2:基于边缘计算的异质交通流状态提取
本发明根据RSU的通信范围,在高速公路段上每隔一定的路段长度设置一个边缘计算节点。在边缘计算环境的每个控制周期中,当车辆进入观察区域时,借助于高可靠性和低延迟的V2V通信技术,RSU将自动与车辆建立无线通信连接,进行实时信息交互,获取车辆位置和速度信息,作为可变限速控制方法的状态空间。
状态空间定义为由观察区内的车辆数量和平均速度组成的矩阵,高速公路的整个观察区均等分为边长Δy的小方格。网格i在时间t的交通状态可以表示为statei(k)=[Ni(t),vi(t)],其中,其中,Ni(t)代表时刻t网格i中的车辆数量。如果大多数车辆在网格中,则认为它们在网格中。vj(t)代表时间t处每辆车j的速度,vi(t)代表网格中车辆的平均速度。
步骤3:卷积神经网络特征降维
本发明使用卷积神经网络(CNN)进行异质交通流状态的特征降维。CNN分别由具有32个8*8、64个4*4和64个3*3卷积核的卷积层组成。不同的滤波器具有不同的权重,以提取不同的特征作为输出到下一层。每层卷积层都具有滤波器和激活函数,使用Relu函数作为激活函数以激活神经网络单元。
步骤4:执行动作输出Q值
本发明使用Dueling DQN和Distributional DQN改进了原始DQN的神经网络结构,Dueling DQN使用具有两个流的完全连接层,分别输出当前价值流vη(fξ(st))和状态相关的动作优势流aψ(fξ(st),at)。EDQN使用贪婪算法选择可变速度控制策略,每隔3分钟基于全连接层输出的目标函数Q值,从而为每条车道动态设置可变限速控制方案。动作空间为40至80km/h,固定间隔为5km/h。即可变限速控制方法有ε的概率随机选择动作,有(1-ε)的概率选择使奖励函数最大的动作。然后,将两个流合并输出Qθ(st,at),从而改善原始DQN中直接输出每种动作Q值的弊端。
其中,ξ,η和ψ分别是卷积神经网络fξ,价值流vη和优势流aψ的参数,设卷积层的输出为φ,价值流的参数是η,优势流的参数是ψ,θ={ξ,η,ψ}是它们的串联。
基于分布视角Distributional DQN来建模深度强化学习模型,通过选择直方图来表示对于价值分布的估计,并将价值限定在[Vmin,Vmax]之间。在[Vmin,Vmax]选择N个等距的价值采样点原子,其中z是具有Natoms∈N+个原子的向量,在此基础上定义在时间t处的近似分布dt,则每个原子i上的概率密度为使得dt=(z,pθ(st,at))。训练的目标是更新θ,使该分布与实际分布紧密匹配。Q值分布如下:
其中,γ∈[0,1)折现因子用于权衡当前异质交通流所获得的奖励和未来奖励的重要性。
步骤5:存储样本并计算损失函数
异质交通流采用可变速度控制策略将状态更改为新状态St+1,得到奖励rt+1,在Prioritized replay buffer中存储<st,at,rt,st+1>。相比与原始DQN,Prioritized replaybuffer依据TD误差来对样本优先级进行排序,如果TD误差越大,样本优先级p就越高。结合Multi-step learning,可以防止Q网络过度预测该值并提高算法的收敛性和稳定性。
在训练期间,从Prioritized replay buffer中对训练样本进行采样,利用KL(Kullbeck-Leibler)散度作为样本的优先级,从而最小化交叉熵损失函数,使用Adam反向传播算法来更新目标网络中的参数以评估可变限速控制策略,有效提高训练效率。EDQN损失函数如下:
其中,Pt是采样概率,w是确定TD误差对采样概率的影响程度,学习速率α是控制Q值的变化速率,Φz是在z上的投影。
步骤6:发布最优可变限速控制策略
当贪婪算法ε∈(0,1]时,此时,可变限速控制方法返回步骤2,进行异质交通流状态提取,进行循环训练。通过对可变限速控制方法进行广泛的离线训练,使之可以适应复杂环境下高速公路异质交通流的时变特点,为每条车道动态设置可变限速控制方案。
当ε收敛到0时,EDQN训练结束。此时,在每个可变限速控制时段,可变限速方法选择异质交通流最大奖励函数所对应的动作值,设置为最优可变限速策略。利用RSU经由车车无线通信将速度控制策略发送至车载无线通信终端,或者将其发送至可变信息诱导屏以指示车辆的通行。因此,基于边缘计算的可变限速控制方法可以从根本上加强基于边缘计算的可变限速控制方法的靶向疏堵效果。
Claims (2)
1.一种基于边缘计算的高速公路异质交通流可变限速控制方法,其特征在于,所述方法包括:步骤一、基于多目标优化,利用阈值法对平均延误和平均排队长度指标进行标准化处理,并设置为可变限速控制方法的奖励函数;步骤二、部署由RSU和可变限速控制代理集成边缘计算节点,提取高速公路异质交通流信息(辆数量和平均速度),作为EDQN算法的状态空间;步骤三、使用卷积神经网络(CNN)对异质交通流的状态空间进行特征降维;步骤四、将CNN网络输出的结果导入到全连接层,执行动作并输出当前时间步的Q值;步骤五、在Priorized replay Buffer存储样本,利用KL散度作为训练样本的优先级进行排序,从而最小化损失函数,有效提高可变限速控制效果;步骤六、判断贪婪算法是否收敛,若收敛,根据异质交通流状态选取最优速度控制策略并发布。
2.根据权利要求1所述的一种基于边缘计算的高速公路异质交通流可变限速控制方法,其特征在于,步骤1:基于多目标优化的可变限速方法奖励函数在高速公路上游路段设置可变限速控制区域,在每个控制时段步长t,可变限速控制方法都会计算当前异质交通流状态的奖励rt∈R,并从状态St∈S选择动作at∈A,交通流接执行变换速度为at并将状态更改为新状态St+1,得到奖励rt+1。
基于多目标优化,本发明将平均延误d和平均排队长度qm作为EDQN的奖励函数,可以有效地提高交通效率并减少合并区域的拥堵。考虑到奖励函数指标量纲不同的特性,本发明采用阈值法进行数值的规范化处理,阈值法是用指标实际值和阈值相比得到指标值的无量纲化方法。令指标d,qm的最大值分别为ay,by,最小值为ay,by,则标准化后的可变限速控制方法平均延误D和平均排队长度Qm指标分别为:
奖励函数计算公式如下:
步骤2:基于边缘计算的异质交通流状态提取
本发明根据RSU的通信范围,在高速公路段上每隔一定的路段长度设置一个边缘计算节点。在边缘计算环境的每个控制周期中,当车辆进入观察区域时,借助于高可靠性和低延迟的V2V通信技术,RSU将自动与车辆建立无线通信连接,进行实时信息交互,获取车辆位置和速度信息,作为可变限速控制方法的状态空间。
状态空间定义为由观察区内的车辆数量和平均速度组成的矩阵,高速公路的整个观察区均等分为边长Δy的小方格。网格i在时间t的交通状态可以表示为statei(k)=[Ni(t),vi(t)],其中,其中,Ni(t)代表时刻t网格i中的车辆数量。如果大多数车辆在网格中,则认为它们在网格中。vj(t)代表时间t处每辆车j的速度,vi(t)代表网格中车辆的平均速度。
步骤3:卷积神经网络特征降维
本发明使用卷积神经网络(CNN)进行异质交通流状态的特征降维。CNN分别由具有32个8*8、64个4*4和64个3*3卷积核的卷积层组成。不同的滤波器具有不同的权重,以提取不同的特征作为输出到下一层。每层卷积层都具有滤波器和激活函数,使用Relu函数作为激活函数以激活神经网络单元。
步骤4:执行动作输出Q值
本发明使用Dueling DQN和Distributional DQN改进了原始DQN的神经网络结构,Dueling DQN使用具有两个流的完全连接层,分别输出当前价值流vη(fξ(st))和状态相关的动作优势流aψ(fξ(st),at)。EDQN使用贪婪算法选择可变速度控制策略,每隔3分钟基于全连接层输出的目标函数Q值,从而为每条车道动态设置可变限速控制方案。动作空间为40至80km/h,固定间隔为5km/h。即可变限速控制方法有ε的概率随机选择动作,有(1-ε)的概率选择使奖励函数最大的动作。然后,将两个流合并输出Qθ(st,at),从而改善原始DQN中直接输出每种动作Q值的弊端。
其中,ξ,η和ψ分别是卷积神经网络fξ,价值流vη和优势流aψ的参数,设卷积层的输出为φ,价值流的参数是η,优势流的参数是ψ,θ={ξ,η,ψ}是它们的串联。
基于分布视角Distributional DQN来建模深度强化学习模型,通过选择直方图来表示对于价值分布的估计,并将价值限定在[Vmin,Vmax]之间。在[Vmin,Vmax]选择N个等距的价值采样点原子,其中z是具有Natoms∈N+个原子的向量,在此基础上定义在时间t处的近似分布dt,则每个原子i上的概率密度为使得dt=(z,pθ(st,at))。训练的目标是更新θ,使该分布与实际分布紧密匹配。Q值分布如下:
其中,γ∈[0,1)折现因子用于权衡当前异质交通流所获得的奖励和未来奖励的重要性。
步骤5:存储样本并计算损失函数
异质交通流采用可变速度控制策略将状态更改为新状态St+1,得到奖励rt+1,在Prioritized replay buffer中存储<st,at,rt,st+1>。相比与原始DQN,Prioritized replaybuffer依据TD误差来对样本优先级进行排序,如果TD误差越大,样本优先级p就越高。结合Multi-step learning,可以防止Q网络过度预测该值并提高算法的收敛性和稳定性。
在训练期间,从Prioritized replay buffer中对训练样本进行采样,利用KL(Kullbeck-Leibler)散度作为样本的优先级,从而最小化交叉熵损失函数,使用Adam反向传播算法来更新目标网络中的参数以评估可变限速控制策略,有效提高训练效率。EDQN损失函数如下:
其中,Pt是采样概率,w是确定TD误差对采样概率的影响程度,学习速率α是控制Q值的变化速率,Φz是在z上的投影。
步骤6:发布最优可变限速控制策略
当贪婪算法ε∈(0,1]时,此时,可变限速控制方法返回步骤2,进行异质交通流状态提取,进行循环训练。通过对可变限速控制方法进行广泛的离线训练,使之可以适应复杂环境下高速公路异质交通流的时变特点,为每条车道动态设置可变限速控制方案。
当ε收敛到0时,EDQN训练结束。此时,在每个可变限速控制时段,可变限速方法选择异质交通流最大奖励函数所对应的动作值,设置为最优可变限速策略。利用RSU经由车车无线通信将速度控制策略发送至车载无线通信终端,或者将其发送至可变信息诱导屏以指示车辆的通行。因此,基于边缘计算的可变限速控制方法可以从根本上加强基于边缘计算的可变限速控制方法的靶向疏堵效果。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2021102673699 | 2021-03-12 | ||
CN202110267369 | 2021-03-12 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113554875A true CN113554875A (zh) | 2021-10-26 |
CN113554875B CN113554875B (zh) | 2023-01-13 |
Family
ID=78104956
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110867989.6A Active CN113554875B (zh) | 2021-03-12 | 2021-07-29 | 一种基于边缘计算的高速公路异质交通流可变限速控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113554875B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114220261A (zh) * | 2021-11-16 | 2022-03-22 | 中国联合网络通信集团有限公司 | 车速管控方法、装置、服务器及存储介质 |
CN115100850A (zh) * | 2022-04-21 | 2022-09-23 | 浙江省交通投资集团有限公司智慧交通研究分公司 | 基于深度强化学习的混合交通流控制方法、介质及设备 |
CN116189464A (zh) * | 2023-02-17 | 2023-05-30 | 东南大学 | 基于精细化回报机制的交叉熵强化学习可变限速控制方法 |
WO2023216793A1 (zh) * | 2022-05-12 | 2023-11-16 | 湖南纽狐科技有限公司 | 一种混合交通流环境高速公路瓶颈路段动态限速控制方法 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105206067A (zh) * | 2015-09-22 | 2015-12-30 | 东南大学 | 一种异质交通状态的交叉口信号优化控制方法 |
CN106021814A (zh) * | 2016-06-13 | 2016-10-12 | 东南大学 | 一种面向通行效率改善的可变限速优化控制方法 |
CN108021531A (zh) * | 2018-01-05 | 2018-05-11 | 贾宝银 | 基于fpga可重构架构的可变限速云端边缘数据处理平台系统 |
CN109976909A (zh) * | 2019-03-18 | 2019-07-05 | 中南大学 | 边缘计算网络中基于学习的低延时任务调度方法 |
US20190244521A1 (en) * | 2018-02-06 | 2019-08-08 | Cavh Llc | Intelligent road infrastructure system (iris): systems and methods |
CN110930704A (zh) * | 2019-11-27 | 2020-03-27 | 连云港杰瑞电子有限公司 | 一种基于边缘计算的交通流状态统计分析方法 |
CN111275249A (zh) * | 2020-01-15 | 2020-06-12 | 吉利汽车研究院(宁波)有限公司 | 基于dqn神经网络和高精度定位的驾驶行为优化方法 |
CN111461321A (zh) * | 2020-03-12 | 2020-07-28 | 南京理工大学 | 基于Double DQN的改进深度强化学习方法及系统 |
CN111583675A (zh) * | 2020-05-14 | 2020-08-25 | 吴钢 | 一种区域路网交通信号灯协调控制系统和方法 |
CN112017437A (zh) * | 2020-09-10 | 2020-12-01 | 北京雷信科技有限公司 | 路口交通信息感知控制系统和方法 |
CN112289044A (zh) * | 2020-11-02 | 2021-01-29 | 南京信息工程大学 | 基于深度强化学习的高速公路道路协同控制系统及方法 |
CN112466116A (zh) * | 2019-12-27 | 2021-03-09 | 北京航空航天大学 | 基于边缘计算的交叉口群分布式控制方法 |
-
2021
- 2021-07-29 CN CN202110867989.6A patent/CN113554875B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105206067A (zh) * | 2015-09-22 | 2015-12-30 | 东南大学 | 一种异质交通状态的交叉口信号优化控制方法 |
CN106021814A (zh) * | 2016-06-13 | 2016-10-12 | 东南大学 | 一种面向通行效率改善的可变限速优化控制方法 |
CN108021531A (zh) * | 2018-01-05 | 2018-05-11 | 贾宝银 | 基于fpga可重构架构的可变限速云端边缘数据处理平台系统 |
US20190244521A1 (en) * | 2018-02-06 | 2019-08-08 | Cavh Llc | Intelligent road infrastructure system (iris): systems and methods |
CN109976909A (zh) * | 2019-03-18 | 2019-07-05 | 中南大学 | 边缘计算网络中基于学习的低延时任务调度方法 |
CN110930704A (zh) * | 2019-11-27 | 2020-03-27 | 连云港杰瑞电子有限公司 | 一种基于边缘计算的交通流状态统计分析方法 |
CN112466116A (zh) * | 2019-12-27 | 2021-03-09 | 北京航空航天大学 | 基于边缘计算的交叉口群分布式控制方法 |
CN111275249A (zh) * | 2020-01-15 | 2020-06-12 | 吉利汽车研究院(宁波)有限公司 | 基于dqn神经网络和高精度定位的驾驶行为优化方法 |
CN111461321A (zh) * | 2020-03-12 | 2020-07-28 | 南京理工大学 | 基于Double DQN的改进深度强化学习方法及系统 |
CN111583675A (zh) * | 2020-05-14 | 2020-08-25 | 吴钢 | 一种区域路网交通信号灯协调控制系统和方法 |
CN112017437A (zh) * | 2020-09-10 | 2020-12-01 | 北京雷信科技有限公司 | 路口交通信息感知控制系统和方法 |
CN112289044A (zh) * | 2020-11-02 | 2021-01-29 | 南京信息工程大学 | 基于深度强化学习的高速公路道路协同控制系统及方法 |
Non-Patent Citations (3)
Title |
---|
李巧茹等: "基于仿真的作业区可变限速控制方案研究", 《中国科技论文》 * |
马明辉等: "基于元胞传输模型的高速公路可变限速控制", 《华中科技大学学报(自然科学版)》 * |
马明辉等: "高速公路主线可变限速控制方法", 《哈尔滨工业大学学报》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114220261A (zh) * | 2021-11-16 | 2022-03-22 | 中国联合网络通信集团有限公司 | 车速管控方法、装置、服务器及存储介质 |
CN115100850A (zh) * | 2022-04-21 | 2022-09-23 | 浙江省交通投资集团有限公司智慧交通研究分公司 | 基于深度强化学习的混合交通流控制方法、介质及设备 |
WO2023216793A1 (zh) * | 2022-05-12 | 2023-11-16 | 湖南纽狐科技有限公司 | 一种混合交通流环境高速公路瓶颈路段动态限速控制方法 |
CN116189464A (zh) * | 2023-02-17 | 2023-05-30 | 东南大学 | 基于精细化回报机制的交叉熵强化学习可变限速控制方法 |
CN116189464B (zh) * | 2023-02-17 | 2023-09-12 | 东南大学 | 基于精细化回报机制的交叉熵强化学习可变限速控制方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113554875B (zh) | 2023-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113554875B (zh) | 一种基于边缘计算的高速公路异质交通流可变限速控制方法 | |
CN109559530B (zh) | 一种基于q值迁移深度强化学习的多交叉口信号灯协同控制方法 | |
CN112437020B (zh) | 一种基于深度强化学习的数据中心网络负载均衡方法 | |
CN108510764B (zh) | 一种基于q学习的多路口自适应相位差协调控制系统及方法 | |
CN111160525B (zh) | 一种边缘计算环境下基于无人机群的任务卸载智能决策方法 | |
CN112419726B (zh) | 一种基于交通流预测的城市交通信号控制系统 | |
CN110570672B (zh) | 一种基于图神经网络的区域交通信号灯控制方法 | |
CN109785618B (zh) | 一种基于组合逻辑的短时交通流预测方法 | |
CN112037539B (zh) | 一种用于饱和城市交通网络的信控方案推荐方法及系统 | |
CN112991750B (zh) | 基于强化学习与生成式对抗网络的局部交通优化方法 | |
CN112907970B (zh) | 一种基于车辆排队长度变化率的可变车道转向控制方法 | |
CN110718077A (zh) | 一种行动-评价机制下信号灯优化配时方法 | |
CN109489679B (zh) | 一种导航路径中的到达时间计算方法 | |
WO2019208639A1 (ja) | 最適化装置、最適化方法、及びプログラム | |
CN114613169B (zh) | 一种基于双经验池dqn的交通信号灯控制方法 | |
Raeis et al. | A deep reinforcement learning approach for fair traffic signal control | |
Wu et al. | Deep reinforcement learning based traffic signal control: A comparative analysis | |
CN115171408A (zh) | 一种交通信号优化控制方法 | |
Luo et al. | Researches on intelligent traffic signal control based on deep reinforcement learning | |
CN116758768A (zh) | 一种全十字路口红绿灯动态调控方法 | |
CN116760718A (zh) | 一种基于机器学习分类预测的sdn流量调度方法 | |
CN117133138A (zh) | 一种多交叉口交通信号协同控制方法 | |
CN112836845A (zh) | 一种基于神经网络求解时变环境下多目标最短路径的方法 | |
Zhao et al. | Learning multi-agent communication with policy fingerprints for adaptive traffic signal control | |
CN113096396A (zh) | 一种基于引力场理论的路径选择方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |