CN114141028A - 智能红绿灯车流调控系统 - Google Patents

智能红绿灯车流调控系统 Download PDF

Info

Publication number
CN114141028A
CN114141028A CN202111400796.6A CN202111400796A CN114141028A CN 114141028 A CN114141028 A CN 114141028A CN 202111400796 A CN202111400796 A CN 202111400796A CN 114141028 A CN114141028 A CN 114141028A
Authority
CN
China
Prior art keywords
traffic
model
data
traffic light
strategy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111400796.6A
Other languages
English (en)
Other versions
CN114141028B (zh
Inventor
宋子鹏
林晨
曾国坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN202111400796.6A priority Critical patent/CN114141028B/zh
Publication of CN114141028A publication Critical patent/CN114141028A/zh
Application granted granted Critical
Publication of CN114141028B publication Critical patent/CN114141028B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • G08G1/08—Controlling traffic signals according to detected number or speed of vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了智能红绿灯车流调控系统，包括通过摄像头收集获得的车流量密度以及当前路况的数据而制定实时更新的红绿灯时长变化策略，还包括近端策略优化的强化学习算法，本发明能够结合路况的实际情况来对红绿灯的时长进行调控，进而帮助各个路口的车流量密度达到理论最大值，独特的加入了时间作为算法输入与调控的参数，针对性的做出了对交通系统的优化策略输出来达到应对每日交通流量的高峰期和低谷期，改善了因高峰期到来但系统调节滞后而造成的恶性循环的问题，使得系统的应用性与可靠性得到了大幅度的提升。并使得近端策略优化算法与curiosity模型相结合，达到更加好的策略决策效果，提高优化效率。

Description

智能红绿灯车流调控系统
技术领域
本发明涉及数据信息管理技术领域，具体为智能红绿灯车流调控系统。
背景技术
日常生活中会遇到有在交通路口等红绿灯时，有的方向来往车辆比较少，而有的方向会有更多的车辆，如果这时候能够根据实时的路况进行路况的调控就可以更加合理化的减少大家等红绿灯的时间，增加出行的效率。然而人工调控会过于浪费人力资源而本末倒置，因此需要结合深度学习与计算机视觉系统设计出一款动态交通管理系统，通过摄像头采集信息进行判断路况的车辆密度，从而实时地调控红路灯的时间。但是目前的问题在于路况实际上是一个数据量非常庞大的数据量难以处理，而且实时的路况调节需要在短暂的时间内处理完这些数据，而且对于交通的动态管理并不是简简单单一个点的管理，还要尝试着考虑一个面的影响，即一个红绿灯的时间变化对下一个红绿灯的影响，这就涉及了各个路口路况的信息共享与共同调节。
为此我们提出了一种智能红绿灯车流调控系统，旨在解决现在普遍出现的出行效率的问题，着手方向是红绿灯的时长控制。
发明内容
本发明的目的在于提供智能红绿灯车流调控系统，可对数据信息进行流程化管理，使得数据信息的管理更加准确和高效。
本发明是这样实现的：智能红绿灯车流调控系统，通过摄像头收集获得的车流量密度以及当前路况的数据而制定实时更新的红绿灯时长变化策略，包括近端策略优化(Proximal Policy Optimization)的强化学习算法：
近端策略优化算法，包括以下步骤：
S1、建立数据模型，通过渲染引擎实构建的交通网路实时产生不同方向的来往车辆进行仿真实验，收集每一帧进程中车辆的各项数据已经红绿灯的交通拥挤情况作为策略的输入，采集各个路口的车流量密度Ei，形成数据集E(E1,E2...En)以及车辆通行量Li和总车辆L0，形成数据集合θ(上一帧数据集合为θold)，当前模型时间日期Di，形成数据集D(D1,D2...Dn)；
S2、通行率与拥塞程度预估：对各个路口的车辆数量做处理，得到当前的通行率与拥塞程度预估函数；
S3、将各个路口的通行率与拥塞程度，车辆通行量Li和总车辆L0为近端策略优化重要性采样的观测变量，并输入到 curiosity模型中，得到“奖励”输出控制量；
S4、根据控制量来动态实时调整当前红绿灯的时长，并最终得到训练好的模型，在返回到仿真模型中实际应用模型，比较在相同时间内最终通过的总车辆L0的大小来判断模型的效果，并多此重复上诉步骤得到更多的模型数据；
S5、分析模型数据，选择最优的模型。
进一步的，步骤S1具体包括以下步骤：
S101、建立交通模型，交通模型采用的是以unity为核心的实时渲染应用场景，模拟了一个环形的微型城镇的交通系统，该系统参考了非线性交通模型的实际观测数据和分析，尽最大可能的仿真出了一个与实际情况相吻合的城镇交通系统。
S102、在该系统中，每隔一帧(大约25ms)会对全局进行一次θ采样，该采样会采集出如步骤S1所示的全部数据，并将数据记录输出。
进一步的，步骤S2中的公式为：
Figure BDA0003365048680000031
其中，Pt为通行率预测，PS为拥塞程度预测，
Figure BDA0003365048680000032
为历史时间预估分布参数。对于历史，我们可能会保存前几天的历史估测值，对不同时间段产生不同的线性对应参数。这样会使得系统对每一天当中的车流量高峰期与低谷期产生一个敏感信号，并及时做出相应的调整。
进一步的，步骤S3具体包括以下步骤：
S301、重要性采样：即近端策略优化强化学习过程中根据采样数据做出的参数更新调整公式。
Figure BDA0003365048680000033
其中t为当前需要学习的actor模型，t'为当前与环境进行互动的示范actor模型；At'((Pti,Psi),ati)这一项就是估测出来的。他要预估的是在状态(Pti,Psi)下采取动作ati是好还是不好。
S302、Curiosity模型：即估测At'((Pti,Psi),ati)的取值的方法，模型采取的策略非常的简单，即从ati和t预测出的t'相差越大给的奖励(reward)越大。这样就能够将是更多的方法来获得奖励。
进一步的，控制量输出的计算公式为
Figure BDA0003365048680000041
还包括城市仿真模型所提供的数据；结合城市仿真模型所提供的数据以实现对数据的处理并作出策略输出，达到实时调控红绿灯时长，优化交通路口车辆通行率的目的。
进一步的，还包括基于图像分类技术及强化学习算法的嵌入式路口红绿灯调控方法，以实现对区域内的交通路口各方向上的拥堵情况进行分类，且依据所述近端策略优化算法进行分析，调控红绿灯时间以进行交通控制，使得区域内的交通网络达到最优的通行效率。
与现有技术相比，发明的有益效果是：
1、本系统通过深度学习对城市交通进行监视与分析，得到相应的结果然后运用于红绿灯的调控。
2、本发明能够结合路况的实际情况来对红绿灯的时长进行调控，进而帮助各个路口的车流量密度达到理论最大值，独特的加入了时间作为算法输入与调控的参数，针对性的做出了对交通系统的优化策略输出来达到应对每日交通流量的高峰期和低谷期，改善了因高峰期到来但系统调节滞后而造成的恶性循环的问题，使得系统的应用性与可靠性得到了大幅度的提升。并使得近端策略优化算法与curiosity模型相结合，达到更加好的策略决策效果，提高优化效率。
附图说明
为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明中近端策略优化算法的流程图；
图2为仿真环境的系统构架UML图；
图3为强化学习算法流程；
图4为智能红绿灯车流调控系统的系统构架示意图；
图5为前端采集灯控盒内部系统连接示意图；
图6为路况图像分类模型使用卷积神经网络模型的模型架构图；
图7为基于图像分类技术及强化学习算法的嵌入式路口红绿灯调控方法的流程图；
图8为模型输出计算流程图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解所述术语在本发明中的具体含义。
实施例：为了解决实现通过摄像头收集获得的车流量密度以及当前路况的数据而制定实时更新的红绿灯时长变化策略的问题，本发明提供了一种近端策略优化(ProximalPolicy Optimization)的强化学习算法，并结合了城市仿真模型所提供的数据。以实现对数据的处理并作出策略输出，达到实时调控红绿灯时长，优化交通路口车辆通行率的目的。
请参阅图1、图2和图3，智能红绿灯车流调控系统，智能红绿灯车流调控系统，通过摄像头收集获得的车流量密度以及当前路况的数据而制定实时更新的红绿灯时长变化策略，包括近端策略优化(Proximal Policy Optimization)的强化学习算法：
近端策略优化算法，包括以下步骤：
S1、建立数据模型，通过渲染引擎实构建的交通网路实时产生不同方向的来往车辆进行仿真实验，收集每一帧进程中车辆的各项数据已经红绿灯的交通拥挤情况作为策略的输入，采集各个路口的车流量密度Ei，形成数据集E(E1,E2...En)以及车辆通行量Li和总车辆L0，形成数据集合θ(上一帧数据集合为θold)，当前模型时间日期Di，形成数据集D(D1,D2...Dn)；
S2、通行率与拥塞程度预估：对各个路口的车辆数量做处理，得到当前的通行率与拥塞程度预估函数；
S3、将各个路口的通行率与拥塞程度，车辆通行量Li和总车辆L0为近端策略优化重要性采样的观测变量，并输入到 curiosity模型中，得到“奖励”输出控制量；
S4、根据控制量来动态实时调整当前红绿灯的时长，并最终得到训练好的模型，在返回到仿真模型中实际应用模型，比较在相同时间内最终通过的总车辆L0的大小来判断模型的效果，并多此重复上诉步骤得到更多的模型数据；
S5、分析模型数据，选择最优的模型。
进一步的，步骤S1具体包括以下步骤：
S101、建立交通模型，交通模型采用的是以unity为核心的实时渲染应用场景，模拟了一个环形的微型城镇的交通系统，该系统参考了非线性交通模型的实际观测数据和分析，尽最大可能的仿真出了一个与实际情况相吻合的城镇交通系统。
S102、在该系统中，每隔一帧(大约25ms)会对全局进行一次θ采样，该采样会采集出如步骤S1所示的全部数据，并将数据记录输出。
进一步的，步骤S2中的公式为：
Figure BDA0003365048680000081
其中，Pt为通行率预测，PS为拥塞程度预测，
Figure BDA0003365048680000082
为历史时间预估分布参数。对于历史，我们可能会保存前几天的历史估测值，对不同时间段产生不同的线性对应参数。这样会使得系统对每一天当中的车流量高峰期与低谷期产生一个敏感信号，并及时做出相应的调整。
进一步的，步骤S3具体包括以下步骤：
S301、重要性采样：即近端策略优化强化学习过程中根据采样数据做出的参数更新调整公式。
Figure BDA0003365048680000083
其中t为当前需要学习的actor模型，t'为当前与环境进行互动的示范actor模型；At'((Pti,Psi),ati)这一项就是估测出来的。他要预估的是在状态(Pti,Psi)下采取动作ati是好还是不好。
S302、Curiosity模型：即估测At'((Pti,Psi),ati)的取值的方法，模型采取的策略非常的简单，即从ati和t预测出的t'相差越大给的奖励(reward)越大。这样就能够将是更多的方法来获得奖励。
进一步的，控制量输出的计算公式为
Figure BDA0003365048680000091
还包括城市仿真模型所提供的数据；结合城市仿真模型所提供的数据以实现对数据的处理并作出策略输出，达到实时调控红绿灯时长，优化交通路口车辆通行率的目的。
请参照图4和图5本发明在实施过程中还采用了前端采集灯控盒与后台仿真调控平台，
前端采集灯控盒主要为车流密度检测和调控采集红绿灯信号；
后端仿真调控平台内包含3D城市仿真训练平台和近端策略优化算法。
前端采集灯控盒内包括红绿灯、FPGA电路板和摄像装置，其中FPGA电路板控制红绿灯信号、进行网络连接后台、收集摄像装置采集的车流密度信号。
请参照图6、图7和图8本实施例还包括基于图像分类技术及强化学习算法的嵌入式路口红绿灯调控方法，以实现对区域内的交通路口各方向上的拥堵情况进行分类，且依据所述近端策略优化算法进行分析，调控红绿灯时间以进行交通控制，使得区域内的交通网络达到最优的通行效率。
基于图像分类技术及强化学习算法的嵌入式路口红绿灯调控方法，包括以下步骤：
D1、建模采集数据：在控制区域内的每个红绿灯上加装摄像头，采集该红绿灯所管控路段的路况图像，将同一时间采集的同一交通路口四个方向上的图像分为一组进行预处理，形成路口j的路况数据集；
D2、在嵌入式设备中建立预训练完成的深度学习路况分类模型；
D3、将同一个路口的数据集作为模型的输入变量，调用设备中的模型，输出该交通路口各方向上的拥堵程度。
所述步骤D1中，对每张图像进行图像增强预处理，以保证在夜间等光线较弱环境下也可正常工作；
所述步骤D2中，路况图像分类模型使用卷积神经网络模型，模型架构如附图6：
所述步骤D3具体包括以下步骤:
D301、对神经网络模型进行网络剪枝操作，减少模型的网络规模及资源占用，加快预测速度；
D302、对卷积、池化计算模块分别设计FPGA加速器IP核，直接通过硬件而非程序来实现卷积层和池化层的计算过程。与此同时，在加速器中实现循环展开模块，在每次执行卷积、池化循环运算时更多地执行循环体，以此来加速模型的预测速度；
D303、在数据进行卷积运算前，首先将预先训练好的卷积参数进行量化，将其从原本的float32格式转化为int8格式，即将原本的参数映射到整数[-128,127]范围内，公式为：
pnew＝int 8(pin*scale)
Figure BDA0003365048680000111
其中scale是计算得到的映射系数，计算公式为：
scale＝127/pi
其中pi是通过比较得到的相对熵最小的截断阈值，相对熵公式如下：
Figure BDA0003365048680000112
D304、进行int8格式的卷积运算后，将结果进行反量化，公式为：
rout＝float32(rin/scale)
D305、采用四级流水线结构，对数据集Pf中的四张图像数据进行流水化处理，实现同一时间的多画面并发处理，加快预测速度。
本方法利用控制区域内的摄像头进行路况图像的采集，并根据预先训练的深度学习路况分类模型对该路段的拥堵情况进行估计。将估计得到的拥堵程度作为反馈量，利用强化学习算法对各交通路口的路况信息进行分析，以实现对区域按照强化学习算法得出的最佳红绿灯时长进行交通控制，使区域内的交通网络达到最优的通行效率，最大限度地缓解城市交通由红绿灯时长不合理导致的拥塞问题，提高城市交通的利用效率。
以上仅为本发明的优选实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.智能红绿灯车流调控系统，包括通过摄像头收集获得的车流量密度以及当前路况的数据而制定实时更新的红绿灯时长变化策略，其特征在于，还包括近端策略优化的强化学习算法，
所述近端策略优化算法，包括以下步骤：
S1、建立数据模型，通过渲染引擎实构建的交通网路实时产生不同方向的来往车辆进行仿真实验，收集每一帧进程中车辆的各项数据已经红绿灯的交通拥挤情况作为策略的输入，采集各个路口的车流量密度Ei，形成数据集E(E1,E2...En)以及车辆通行量Li和总车辆L0，形成数据集合θ(上一帧数据集合为θold)，当前模型时间日期Di，形成数据集D(D1,D2...Dn)；
S2、通行率与拥塞程度预估：对各个路口的车辆数量做处理，得到当前的通行率与拥塞程度预估函数；
S3、将各个路口的通行率与拥塞程度，车辆通行量Li和总车辆L0为近端策略优化重要性采样的观测变量，并输入到curiosity模型中，得到“奖励”输出控制量；
S4、根据控制量来动态实时调整当前红绿灯的时长，并最终得到训练好的模型，在返回到仿真模型中实际应用模型，比较在相同时间内最终通过的总车辆L0的大小来判断模型的效果，并多此重复上诉步骤得到更多的模型数据；
S5、分析模型数据，选择最优的模型。
2.根据权利要求1所述的智能红绿灯车流调控系统，其特征在于，所述步骤S1具体包括以下步骤：
S101、建立交通模型，交通模型采用的是以unity为核心的实时渲染应用场景，模拟了一个环形的微型城镇的交通系统，
S102、在该系统中，每隔一帧(大约25ms)会对全局进行一次θ采样，该采样会采集出如步骤S1所示的全部数据，并将数据记录输出。
3.根据权利要求1所述的智能红绿灯车流调控系统，其特征在于，所述步骤S2中的公式为：
Figure FDA0003365048670000021
其中，Pt为通行率预测，PS为拥塞程度预测，
Figure FDA0003365048670000022
为历史时间预估分布参数。
4.根据权利要求1所述的智能红绿灯车流调控系统，其特征在于，所述步骤S3具体包括以下步骤：
S301、重要性采样：即近端策略优化强化学习过程中根据采样数据做出的参数更新调整公式。
Figure FDA0003365048670000023
其中t为当前需要学习的actor模型，t'为当前与环境进行互动的示范actor模型；
S302、Curiosity模型：即估测At'((Pti,Psi),ati)的取值的方法，从ati和t预测出的t'相差越大给的奖励(reward)越大。
5.根据权利要求1-4任意一项所述的智能红绿灯车流调控系统，其特征在于，控制量输出的计算公式为
Figure FDA0003365048670000024
6.根据权利要求5所述的智能红绿灯车流调控系统，其特征在于，还包括城市仿真模型所提供的数据。
7.根据权利要求1所述的智能红绿灯车流调控系统，其特征在于，还包括基于图像分类技术及强化学习算法的嵌入式路口红绿灯调控方法，且依据所述近端策略优化算法进行分析，调控红绿灯时间以进行交通控制，使得区域内的交通网络达到最优的通行效率。
CN202111400796.6A 2021-11-19 2021-11-19 智能红绿灯车流调控系统 Active CN114141028B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111400796.6A CN114141028B (zh) 2021-11-19 2021-11-19 智能红绿灯车流调控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111400796.6A CN114141028B (zh) 2021-11-19 2021-11-19 智能红绿灯车流调控系统

Publications (2)

Publication Number Publication Date
CN114141028A true CN114141028A (zh) 2022-03-04
CN114141028B CN114141028B (zh) 2023-05-12

Family

ID=80391421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111400796.6A Active CN114141028B (zh) 2021-11-19 2021-11-19 智能红绿灯车流调控系统

Country Status (1)

Country Link
CN (1) CN114141028B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115472023A (zh) * 2022-08-29 2022-12-13 南京邮电大学 一种基于深度强化学习的智能交通灯控制方法及装置
CN115578861A (zh) * 2022-10-14 2023-01-06 东南大学 一种基于嵌入式特征选择策略的高速公路交通流预测方法
CN115662152A (zh) * 2022-09-27 2023-01-31 哈尔滨理工大学 一种基于深度学习驱动的城市交通管理自适应系统
CN115762199A (zh) * 2022-09-20 2023-03-07 东南大学 一种基于深度强化学习和逆强化学习的交通灯控制方法

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109540150A (zh) * 2018-12-26 2019-03-29 北京化工大学 一种应用于危化品环境下多机器人路径规划方法
CN110209068A (zh) * 2019-06-11 2019-09-06 滁州学院 一种红绿灯配时优化与仿真模拟方法
US20200139973A1 (en) * 2018-11-01 2020-05-07 GM Global Technology Operations LLC Spatial and temporal attention-based deep reinforcement learning of hierarchical lane-change policies for controlling an autonomous vehicle
CN111243297A (zh) * 2020-01-17 2020-06-05 苏州科达科技股份有限公司 交通灯相位控制方法、系统、设备及介质
CN111696370A (zh) * 2020-06-16 2020-09-22 西安电子科技大学 基于启发式深度q网络的交通灯控制方法
CN112034888A (zh) * 2020-09-10 2020-12-04 南京大学 一种固定翼无人机自主控制协作策略训练方法
CN112216124A (zh) * 2020-09-17 2021-01-12 浙江工业大学 一种基于深度强化学习的交通信号控制方法
CN112216127A (zh) * 2020-09-27 2021-01-12 航天科工广信智能技术有限公司 一种基于近端策略优化的小型路网交通信号优化方法
WO2021042401A1 (en) * 2019-09-07 2021-03-11 Beijing Didi Infinity Technology And Development Co., Ltd. Method and device for traffic light control
CN112632858A (zh) * 2020-12-23 2021-04-09 浙江工业大学 基于Actor-Critic框架深度强化学习算法的交通灯信号控制方法
CN112700663A (zh) * 2020-12-23 2021-04-23 大连理工大学 基于深度强化学习策略的多智能体智能信号灯路网控制方法
CN112700664A (zh) * 2020-12-19 2021-04-23 北京工业大学 一种基于深度强化学习的交通信号配时优化方法
CN112863206A (zh) * 2021-01-07 2021-05-28 北京大学 一种基于强化学习的交通信号灯控制方法与系统
CN113010967A (zh) * 2021-04-22 2021-06-22 吉林大学 一种基于混合交通流模型的智能汽车在环仿真测试方法
CN113112016A (zh) * 2021-04-07 2021-07-13 北京地平线机器人技术研发有限公司 用于强化学习过程的动作输出方法、网络训练方法及装置
CN113128702A (zh) * 2021-04-15 2021-07-16 杭州电子科技大学 一种基于强化学习的神经网络自适应分布式并行训练方法
CN113299079A (zh) * 2021-03-29 2021-08-24 东南大学 一种基于ppo和图卷积神经网络区域交叉口信号控制方法
CN113421345A (zh) * 2021-06-21 2021-09-21 东北大学 基于深度强化学习技术的仿生机器鱼群集导航模拟方法

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200139973A1 (en) * 2018-11-01 2020-05-07 GM Global Technology Operations LLC Spatial and temporal attention-based deep reinforcement learning of hierarchical lane-change policies for controlling an autonomous vehicle
CN109540150A (zh) * 2018-12-26 2019-03-29 北京化工大学 一种应用于危化品环境下多机器人路径规划方法
CN110209068A (zh) * 2019-06-11 2019-09-06 滁州学院 一种红绿灯配时优化与仿真模拟方法
WO2021042401A1 (en) * 2019-09-07 2021-03-11 Beijing Didi Infinity Technology And Development Co., Ltd. Method and device for traffic light control
CN111243297A (zh) * 2020-01-17 2020-06-05 苏州科达科技股份有限公司 交通灯相位控制方法、系统、设备及介质
CN111696370A (zh) * 2020-06-16 2020-09-22 西安电子科技大学 基于启发式深度q网络的交通灯控制方法
CN112034888A (zh) * 2020-09-10 2020-12-04 南京大学 一种固定翼无人机自主控制协作策略训练方法
CN112216124A (zh) * 2020-09-17 2021-01-12 浙江工业大学 一种基于深度强化学习的交通信号控制方法
CN112216127A (zh) * 2020-09-27 2021-01-12 航天科工广信智能技术有限公司 一种基于近端策略优化的小型路网交通信号优化方法
CN112700664A (zh) * 2020-12-19 2021-04-23 北京工业大学 一种基于深度强化学习的交通信号配时优化方法
CN112632858A (zh) * 2020-12-23 2021-04-09 浙江工业大学 基于Actor-Critic框架深度强化学习算法的交通灯信号控制方法
CN112700663A (zh) * 2020-12-23 2021-04-23 大连理工大学 基于深度强化学习策略的多智能体智能信号灯路网控制方法
CN112863206A (zh) * 2021-01-07 2021-05-28 北京大学 一种基于强化学习的交通信号灯控制方法与系统
CN113299079A (zh) * 2021-03-29 2021-08-24 东南大学 一种基于ppo和图卷积神经网络区域交叉口信号控制方法
CN113112016A (zh) * 2021-04-07 2021-07-13 北京地平线机器人技术研发有限公司 用于强化学习过程的动作输出方法、网络训练方法及装置
CN113128702A (zh) * 2021-04-15 2021-07-16 杭州电子科技大学 一种基于强化学习的神经网络自适应分布式并行训练方法
CN113010967A (zh) * 2021-04-22 2021-06-22 吉林大学 一种基于混合交通流模型的智能汽车在环仿真测试方法
CN113421345A (zh) * 2021-06-21 2021-09-21 东北大学 基于深度强化学习技术的仿生机器鱼群集导航模拟方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GUAN YANG: "Centralized Cooperation for Connected and Automated Vehicles at Intersections Proximal Policy Optimization", 《IEEE TRANSACTIONS ON VEHICULAR TECHNOLOGY》 *
肖竹;谢宁;陈佳黎;刘保生;姜峰;杨郭镳;: "Fast-PPO:最优基线法的近端策略优化算法", 小型微型计算机系统 *
黄东晋: "基于深度强化学习的三维路径规划算法", 《计算机工程与应用》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115472023A (zh) * 2022-08-29 2022-12-13 南京邮电大学 一种基于深度强化学习的智能交通灯控制方法及装置
CN115472023B (zh) * 2022-08-29 2023-07-11 南京邮电大学 一种基于深度强化学习的智能交通灯控制方法及装置
CN115762199A (zh) * 2022-09-20 2023-03-07 东南大学 一种基于深度强化学习和逆强化学习的交通灯控制方法
CN115762199B (zh) * 2022-09-20 2023-09-29 东南大学 一种基于深度强化学习和逆强化学习的交通灯控制方法
CN115662152A (zh) * 2022-09-27 2023-01-31 哈尔滨理工大学 一种基于深度学习驱动的城市交通管理自适应系统
CN115578861A (zh) * 2022-10-14 2023-01-06 东南大学 一种基于嵌入式特征选择策略的高速公路交通流预测方法
CN115578861B (zh) * 2022-10-14 2023-10-10 东南大学 一种基于嵌入式特征选择策略的高速公路交通流预测方法

Also Published As

Publication number Publication date
CN114141028B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
CN114141028A (zh) 智能红绿灯车流调控系统
CN108205889B (zh) 基于卷积神经网络的高速公路交通流预测方法
CN113313947B (zh) 短期交通预测图卷积网络的路况评估方法
Arora et al. Real time traffic light control system using morphological edge detection and fuzzy logic
CN110246345B (zh) 一种基于HydraCNN的信号灯智能控制方法和系统
CN114360266B (zh) 一种网联车探测状态感知的交叉口强化学习信号控制方法
CN113947900A (zh) 一种智能网联快速路匝道协同控制系统
CN111833590B (zh) 交通信号灯的控制方法、装置及计算机可读存储介质
CN112863179B (zh) 一种基于神经网络模型预测控制的路口信号灯控制方法
WO2023123906A1 (zh) 交通信号灯控制方法及相关设备
CN111047884A (zh) 一种基于雾计算和强化学习的交通灯控制方法
CN109191841A (zh) 一种基于树莓派的城市交通智能管理系统
CN113538910A (zh) 一种自适应的全链条城市区域网络信号控制优化方法
CN114863699B (zh) 一种基于数字孪生的城市车路协同交通流预测方法
CN110175636A (zh) 一种物联网深度神经网络分布式判别推论系统及方法
CN112489072B (zh) 一种车载视频感知信息传输负载优化方法及装置
CN113053120A (zh) 基于迭代学习模型预测控制的交通信号灯调度方法与系统
CN116453343A (zh) 智能网联环境下基于流量预测的智能交通信号控制优化算法、软件与系统
CN109816978B (zh) 考虑驾驶员动态响应行为的区域群体交通诱导系统及方法
CN110021168B (zh) 一种车联网下实现实时智能交通管理的分级决策方法
CN108875555A (zh) 基于神经网络的视频兴趣区域和显著目标提取与定位系统
Arora et al. Intelligent traffic light control system using morphological edge detection and fuzzy logic
CN116486627A (zh) 一种高速公路交织区主线与匝道协同控制方法
CN115171390A (zh) 一种交通信号机自适应控制方法、交通信号机及控制系统
Portilla et al. Non-linear model predictive control based on game theory for traffic control on highways

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant