CN115019506B - 一种基于多进程强化学习的可变车道控制方法 - Google Patents

一种基于多进程强化学习的可变车道控制方法 Download PDF

Info

Publication number
CN115019506B
CN115019506B CN202210618862.5A CN202210618862A CN115019506B CN 115019506 B CN115019506 B CN 115019506B CN 202210618862 A CN202210618862 A CN 202210618862A CN 115019506 B CN115019506 B CN 115019506B
Authority
CN
China
Prior art keywords
road section
lane
road
steering
traffic flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210618862.5A
Other languages
English (en)
Other versions
CN115019506A (zh
Inventor
孙彤
姜蔚
文强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baichebao Technology Co ltd
Original Assignee
Beijing Baichebao Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baichebao Technology Co ltd filed Critical Beijing Baichebao Technology Co ltd
Priority to CN202210618862.5A priority Critical patent/CN115019506B/zh
Publication of CN115019506A publication Critical patent/CN115019506A/zh
Application granted granted Critical
Publication of CN115019506B publication Critical patent/CN115019506B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/065—Traffic control systems for road vehicles by counting the vehicles in a section of the road or in a parking area, i.e. comparing incoming count with outgoing count
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • G08G1/08—Controlling traffic signals according to detected number or speed of vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • G08G1/085—Controlling traffic signals using a free-running cyclic timer
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种基于多进程强化学习的可变车道控制方法，构建转向趋势预测神经网络，将串行运行的神经网络群组基于各个子集分解为独立并行的模块，进行多进程计算，预测不同周期不同路段的转向比例，得到转向趋势预测值；根据上游路段的车流量结合转向趋势预测值，预估监测路段的车流量，得到预测监测路段的车辆转向趋势；根据监测路段的转向趋势预测值和预测监测路段的车辆转向趋势，设立阈值控制可变车道信号灯。本发明解决了现有技术由于无法根据路口的交通需求变化灵活的调整控制策略，灵活度低，适应性差，导致部分可变车道华而不实，无法有效解决因车道属性与出行需求所产生的矛盾的问题。

Description

一种基于多进程强化学习的可变车道控制方法
技术领域
本发明涉及计算机技术领域，特别是涉及一种基于多进程强化学习的可变车道控制方法。
背景技术
随着我国城市化的进程加快，城市机动车保有量日益增加造成车辆出行需求与现有的道路资源不匹配而产生的矛盾日益增加，主要体现在早晚通勤高峰时车道属性无法满足车辆出行需求。
为了解决通勤高峰车辆出行需求，拥堵路口增设了可变车道和可变车道指示牌，现有的可变车道控制方法大多是通过人工经验在固定时间进行车道属性调整，系统无法根据路口的交通需求变化灵活的调整控制策略，灵活度低，适应性差，导致部分可变车道华而不实，无法有效解决因车道属性与出行需求所产生的矛盾，从而无法缓解交通拥堵问题。
鉴于此，需要提供一种基于多进程强化学习的可变车道控制方法，能够解决上述问题。
发明内容
本发明为了解决现有技术由于无法根据路口的交通需求变化灵活的调整控制策略，灵活度低，适应性差，导致部分可变车道华而不实，无法有效解决因车道属性与出行需求所产生的矛盾的问题，提供一种基于多进程强化学习的可变车道控制方法。
本发明所述一种基于多进程强化学习的可变车道控制方法包括：
S1.构建转向趋势预测神经网络，将串行运行的神经网络群组基于各个子集分解为独立并行的模块，进行多进程计算，预测不同周期不同路段的转向比例，得到转向趋势预测值；
S11.路段固有属性特征分为道路固有特征和历史特征，所述道路固有特征包括路段入口邻接路段数量、路段出口车道数量、红绿灯数量、车道转向设定、最大通行量和最大放行流量6维特征；所述历史特征由道路全天、上个周同一周期、上个月同一周期以及去年同一周期的车流量转向分布序列组成，该特征是一个24+3维特征，前24个维度描述了监测路段在一天内以每个小时为单位的车流量转向比例，第25个维度描述了监测路段在上个周该周期的车流量转向比例，第26个维度描述了监测路段在上个月该周期的车流量转向比例，第27个维度描述了监测路段在去年该周期的车流量转向比例；这些特征隐含着路段所在区域的相关环境因素；
将上述路段固有属性特征输入到转向趋势预测神经网络中，通过群组子集划分，将转向趋势预测问题化解为多个简单问题，当选取的特征组a由33个枚举特征组成，即a＝{a1，a2，...，a33}，其中任意特征aj可以有qj个不同取值，则a的可枚举类别数为因此可将样本在属性特征空间中精确划分为K个数据子集，每个样本根据自己的枚举取值进入不同的数据子集，再统一进行训练；
S12.设立数据总体特征中特征组a＝{a1，a2，...，a33}被选为第二特征，路段类别d作为第一特征；则Dd+a是在第一特征组d与第二特征组a所组成的全局特征空间Rn中的样本集，将全局特征空间划分为K个相互独立的子空间，即K个子进程；则转向趋势预测网络的子进程Ri隐含层激活函数为：
其中，α为用于控制均衡的超参数，表示子空间Ri的样本集；子进程Ri输出层的输出为：Yi＝ωiFi+bi，ωi和bi分别为子进程Ri隐含层到输出层的连接权值和偏差；
样本集Dd+a在全局空间中的正确分类概率为：
其中，Rn为全局特征空间，Ri∈Rn，为任意子空间，取值0-1，为样本被划分到子空间Ri的概率，K表示K个路段，即划分为K个子空间，Yi a表示第i个子进程的输出；
并行预测神经网络模型的准确率在于权值调整，在每个迭代周期内，计算各独立子进程在测试数据上的均方误差 为所有子进程隐含层输出的平均值；某一个模型的均方误差小于所有模型均方误差的均值，则将此子空间的权值增大；若均方误差大于所有模型均方误差的均值，则将权值减小，增大与减小的程度根据实际需求设定；迭代N次后，得到收敛的自适应权重组合；
S2.根据上游路段的车流量结合转向趋势预测值，预估监测路段的车流量，得到预测监测路段的车辆转向趋势；
S3.根据监测路段的转向趋势预测值和预测监测路段的车辆转向趋势，设立阈值控制可变车道信号灯；
S31.车辆进入监测路段后有4个可能的行驶方向：调头、左转、直行、右转，转向比例为pk，pk由历史数据进行计算获得，k表示任一行驶方向，
设立每个周期监测路段中各个车道的通行能力值为Gs；
设定时间阈值ε，若在该时间范围内，预估车流量未达到最大通行能力，则无需对可变车道信号灯进行调整；若在时间范围ε/3内，预估车流量已达到最大通行能力，则需立即启动可变车道信号灯控制系统；所述最大通行能力设为达到80％通行能力值；对于监测路段每一条入口道路，在信号灯控制下的通行能力值计算模型为：
其中，T为信号灯周期时间，tg为每个周期内该通行方向的绿灯时间，to为绿灯亮起第一辆车通过停止线的时间，ti为车辆通过停止线的平均时间，为折减系数；
S32.基于监测路段可变车道入口的各个转向预计流量，计算监测路段可变车道是否需要切换的预判结果；当预估车流量达到最大通行能力，需立即启动可变车道信号灯控制系统时，设定转向判断阈值σ，根据步骤S1的转向趋势预测神经网络计算直行与左转的车流量差值H，若在时间范围ε/2内，H＞σ，则控制可变车道信号灯切换为车流量较大的方向亮灯，从而完成基于多进程强化学习的可变车道信号灯控制。
进一步，所述步骤S2包括：
S21.根据上游路段的车流量预估监测路段的车流量，设立监测路段上的可变车道为车道2，其邻接车道分别为车道1、车道3、车道4，车道1-4共同拥有一个车道入口；进入该车道入口的车辆来自上游路段，所述上游路段包括路段1、路段2、路段3和对向路段4，每个上游路段包括4条车道，分别为左转和调头合用车道、左转车道、直行车道和右转车道，设定路口停车线左侧为虚线，调头车辆可随时进行调头，车辆调头和右转均不受信号灯限制；
所述车道入口的车辆包括来自路段1的右转车道车辆、路段2的直行车道车辆、路段3的左转车道车辆以及对向路段的调头车辆；统计历史数据计算得到转向比例，所述转向比例通过所述转向趋势预测神经网络实时更新，将该路段的历史数据输入所述转向趋势预测神经网络，得到当前周期该路段的转向比例；
S22.路段1中右转车道车辆在该路段所有车辆中的占比为右转车辆进入监测路段的概率为1；路段2直行车道车辆在该路段所有车道车辆中占比为/>直行车辆进入监测路段的概率为1；路段3左转和调头合用车道的车辆在该路段所有车道车辆中占比为/>左转和调头合用车道中的左转车辆占比为/>左转车道车辆在该路段所有车道车辆中占比为/>对向路段4中左转和调头合用车道的车辆在该路段所有车道车辆中的占比为/>左转和调头合用车道中的调头车辆占比为/>
所有路段的其他车道车辆进入监测路段的概率为0，则路段1车辆进入监测路段的概率为路段2车辆进入监测路段的概率为/>路段3车辆进入监测路段的概率为对向路段4车辆进入监测路段的概率为/>从而得到进入监测路段的车流量，主要分为路段2和路段3，则预估车流量为：
其中，C1是路段2路口直行绿灯时进入监测路段的预估车流量，包括当前绿灯时段路段1右转车流量、路段2直行车流量和路段4调头车流量；C2是路段3路口左转绿灯时进入监测路段的预估车流量，包括当前绿灯时段路段1右转车流量、路段3左转车流量和路段4调头车流量；μ1和μ2分别为路段1右转车流量不同时段的占比因子；θ1和θ2分别为路段4调头车流量不同时段的占比因子；C1、C2、C3、C4分别表示路段1、2、3、4当前周期的车流量，由道路监控设备采集得到。
本发明的有益效果是：
1、通过分析历史数据推算交通规律以及短时间内的交通变化，预估车流量，进行可变车道控制，从而实现可变车道的智能切换，有效提高车道的使用率，缓解交通压力。
2、本发明依据不同时段车辆流量流向的特点，对流量进行灵活调控，变换车道的行驶方向，缓解交通压力。
3、参数简单，易于实现，训练速度较快，将数据维度降低，减少问题规模，简化学习模型。将串行运行的神经网络群组算法流程基于各个子集分解为独立并行的模块，实现多进程计算样本子集生成、根据子集数据组成训练网络的隐含层输出矩阵以及输出层输出计算的并行加速任务。
4、通过对监测路段车流量的预估和转向趋势的预测提前获取准确的预判数据，在路口失衡之前就进行可变车道切换，极大的降低了路口发生交通失衡问题的可能性，有效的提升路口的总体通行效率。
附图说明
图1本发明所述的一种基于多进程强化学习的可变车道控制方法流程图；
图2本发明所述的转向趋势预测神经网络结构图；
图3本发明所述的路口划分模型图。
具体实施方式
以下将结合本实施例中的附图来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。
参照图1，本发明所述一种基于多进程强化学习的可变车道控制方法包括：
S1.构建转向趋势预测神经网络，将串行运行的神经网络群组基于各个子集分解为独立并行的模块，进行多进程计算，预测不同周期不同路段的转向比例。
构建基于并行计算的转向趋势预测神经网络，如图2所示，用于预测不同周期不同路段的转向比例，从而得到监测路段不同方向的车流量。所述转向趋势预测神经网络将串行运行的神经网络群组算法流程基于各个子集分解为独立并行的模块，实现多进程计算样本子集生成、根据子集数据组成训练网络的隐含层输出矩阵以及输出层输出计算的并行加速任务。
S11.路段固有属性特征分为道路固有特征和历史特征，所述道路固有特征包括路段入口邻接路段数量、路段出口车道数量、红绿灯数量、车道转向设定、最大通行量和最大放行流量等6维特征，这些特征相对固定，主要反映的是道路本身的因素；所述历史特征由道路全天、上个周同一周期、上个月同一周期以及去年同一周期的车流量转向分布序列组成，该特征是一个24+3维特征，前24个维度描述了监测路段在一天内以每个小时为单位的车流量转向比例，第25个维度描述了监测路段在上个周该周期的车流量转向比例，第26个维度描述了监测路段在上个月该周期的车流量转向比例，第27个维度描述了监测路段在去年该周期的车流量转向比例。这些特征隐含着路段所在区域的相关环境因素：路段所在城市区域、平时车流量大小、车流量转向比例、道路拥挤度等。
将上述路段固有属性特征输入到转向趋势预测神经网络中，通过群组子集划分，将转向趋势预测问题化解为多个简单问题，当选取的特征组a由33个枚举特征组成，即a＝{a1，a2，...，a33}，其中任意特征aj可以有qj个不同取值，则a的可枚举类别数为因此可将样本在属性特征空间中精确划分为K个数据子集，每个样本根据自己的枚举取值进入不同的数据子集，再统一进行训练。
S12.设立数据总体特征中特征组a＝{a1，a2，...，a33}被选为第二特征，路段类别d作为第一特征。则Dd+a是在第一特征组d与第二特征组a所组成的全局特征空间Rn中的样本集，将全局特征空间划分为K个相互独立的子空间，即K个子进程。则转向趋势预测网络的子进程Ri隐含层激活函数为：
其中，α为用于控制均衡的超参数，表示子空间Ri的样本集。子进程Ri输出层的输出为：Yi＝ωiFi+bi，ωi和bi分别为子进程Ri隐含层到输出层的连接权值和偏差。
样本集Dd+a在全局空间中的正确分类概率为：
其中，Rn为全局特征空间，Ri∈Rn，为任意子空间，取值0-1，为样本被划分到子空间Ri的概率，K表示K个路段，即划分为K个子空间，Yi a表示第i个子进程的输出。
并行预测神经网络模型的准确率在于权值调整，在每个迭代周期内，计算各独立子进程在测试数据上的均方误差 为所有子进程隐含层输出的平均值。某一个模型的均方误差小于所有模型均方误差的均值，则将此子空间的权值增大；若均方误差大于所有模型均方误差的均值，则将权值减小，增大与减小的程度根据实际需求设定。迭代N次后，得到收敛的自适应权重组合。
所述转向趋势预测神经网络的有益效果为：参数简单，易于实现，训练速度较快，将数据维度降低，减少问题规模，简化学习模型。将本质特性的差异融入到多个子空间模型的差异之中，效果更为精确而实现更为简单。
S2.根据上游路段的车流量结合步骤S1得到的转向趋势预测值，预估监测路段的车流量。
S21.根据上游路段的车流量预估监测路段的车流量，如图3所示，本实施例中设立监测路段上的可变车道为车道2，其邻接车道分别为车道1、车道3、车道4，车道1-4共同拥有一个车道入口。进入该车道入口的车辆来自上游路段，所述上游路段包括路段1、路段2、路段3和对向路段4，本实施例中每个上游路段包括4条车道，分别为左转和调头合用车道、左转车道、直行车道和右转车道，设定路口停车线左侧为虚线，调头车辆可随时进行调头，车辆调头和右转均不受信号灯限制。
所述车道入口的车辆包括来自路段1的右转车道车辆、路段2的直行车道车辆、路段3的左转车道车辆以及对向路段的调头车辆。统计历史数据计算得到转向比例，所述转向比例通过所述转向趋势预测神经网络实时更新，将该路段的历史数据输入所述转向趋势预测神经网络，得到当前周期该路段的转向比例。
S22.路段1中右转车道车辆在该路段所有车辆中的占比为右转车辆进入监测路段的概率为1；路段2直行车道车辆在该路段所有车道车辆中占比为/>直行车辆进入监测路段的概率为1；路段3左转和调头合用车道的车辆在该路段所有车道车辆中占比为/>左转和调头合用车道中的左转车辆占比为/>左转车道车辆在该路段所有车道车辆中占比为/>对向路段4中左转和调头合用车道的车辆在该路段所有车道车辆中的占比为/>左转和调头合用车道中的调头车辆占比为/>
所有路段的其他车道车辆进入监测路段的概率为0，则路段1车辆进入监测路段的概率为路段2车辆进入监测路段的概率为/>路段3车辆进入监测路段的概率为对向路段4车辆进入监测路段的概率为/>从而得到进入监测路段的车流量，主要分为路段2和路段3，则预估车流量为：
其中，C1是路段2路口直行绿灯时进入监测路段的预估车流量，包括当前绿灯时段路段1右转车流量、路段2直行车流量和路段4调头车流量；C2是路段3路口左转绿灯时进入监测路段的预估车流量，包括当前绿灯时段路段1右转车流量、路段3左转车流量和路段4调头车流量；μ1和μ2分别为路段1右转车流量不同时段的占比因子；θ1和θ2分别为路段4调头车流量不同时段的占比因子；C1、C2、C3、C4分别表示路段1、2、3、4当前周期的车流量，由道路监控设备采集得到。
所述步骤S2的有益效果是：通过转向趋势预测神经网络预测上游路段的转向比例，提前计算监测路段的车流量，为可变车道信号灯的切换提供较多的预留时间。
S3.根据步骤S1得到监测路段的转向趋势预测值和步骤S2得到的预估车流量预测监测路段的车辆转向趋势，设立阈值控制可变车道信号灯。
S31.车辆进入监测路段后有4个可能的行驶方向：调头、左转、直行、右转，转向比例为pk，pk由历史数据进行计算获得，k表示任一行驶方向，
本实施例中，右转和调头的车辆因为可以一直运行，所以正常状态下不会发生滞留问题，因此，只针对直行、左转。设立每个周期监测路段中各个车道的通行能力值为Gs。
设定时间阈值ε，若在该时间范围内，预估车流量未达到最大通行能力，则无需对可变车道信号灯进行调整；若在时间范围ε/3内，预估车流量已达到最大通行能力，则需立即启动可变车道信号灯控制系统。所述最大通行能力设为达到80％通行能力值。对于监测路段每一条入口道路，在信号灯控制下的通行能力值计算模型为：
其中，T为信号灯周期时间，tg为每个周期内该通行方向的绿灯时间，to为绿灯亮起第一辆车通过停止线的时间，ti为车辆通过停止线的平均时间，为折减系数。
S32.基于监测路段可变车道入口的各个转向预计流量，计算监测路段可变车道是否需要切换的预判结果。当预估车流量达到最大通行能力，需立即启动可变车道信号灯控制系统时，设定转向判断阈值σ，根据步骤S1的转向趋势预测神经网络计算直行与左转的车流量差值H，若在时间范围ε/2内，H＞σ，则控制可变车道信号灯切换为车流量较大的方向亮灯，从而完成基于多进程强化学习的可变车道信号灯控制。
所述监测路段可变车道切换预判方法的有益效果是：通过对监测路段车流量的预估和转向趋势的预测提前获取准确的预判数据，在路口失衡之前就进行可变车道切换，极大的降低了路口发生交通失衡问题的可能性，有效的提升路口的总体通行效率。
综上所述，便完成了本发明所述的一种基于多进程强化学习的可变车道控制方法。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (2)

1.一种基于多进程强化学习的可变车道控制方法，其特征在于，包括以下步骤：
S1.构建转向趋势预测神经网络，将串行运行的神经网络群组基于各个子集分解为独立并行的模块，进行多进程计算，预测不同周期不同路段的转向比例，得到转向趋势预测值；
S11.路段固有属性特征分为道路固有特征和历史特征，所述道路固有特征包括路段入口邻接路段数量、路段出口车道数量、红绿灯数量、车道转向设定、最大通行量和最大放行流量6维特征；所述历史特征由道路全天、上个周同一周期、上个月同一周期以及去年同一周期的车流量转向分布序列组成，该特征是一个24+3维特征，前24个维度描述了监测路段在一天内以每个小时为单位的车流量转向比例，第25个维度描述了监测路段在上个周该周期的车流量转向比例，第26个维度描述了监测路段在上个月该周期的车流量转向比例，第27个维度描述了监测路段在去年该周期的车流量转向比例；这些特征隐含着路段所在区域的相关环境因素；
将上述路段固有属性特征输入到转向趋势预测神经网络中，通过群组子集划分，将转向趋势预测问题化解为多个简单问题，当选取的特征组a由33个枚举特征组成，即a＝{a1，a2，...，a33}，其中任意特征aj可以有qj个不同取值，则a的可枚举类别数为因此可将样本在属性特征空间中精确划分为K个数据子集，每个样本根据自己的枚举取值进入不同的数据子集，再统一进行训练；
S12.设立数据总体特征中特征组a＝{a1，a2，...，a33}被选为第二特征，路段类别d作为第一特征；则Dd+a是在第一特征组d与第二特征组a所组成的全局特征空间Rn中的样本集，将全局特征空间划分为K个相互独立的子空间，即K个子进程；则转向趋势预测网络的子进程Ri隐含层激活函数为：
其中，α为用于控制均衡的超参数，表示子空间Ri的样本集；子进程Ri输出层的输出为：Yi＝ωiFi+bi，ωi和bi分别为子进程Ri隐含层到输出层的连接权值和偏差；
样本集Dd+a在全局空间中的正确分类概率为：
其中，Rn为全局特征空间，Ri∈Rn，为任意子空间，取值0-1，为样本被划分到子空间Ri的概率，K表示K个路段，即划分为K个子空间，Yi a表示第i个子进程的输出；
并行预测神经网络模型的准确率在于权值调整，在每个迭代周期内，计算各独立子进程在测试数据上的均方误差 为所有子进程隐含层输出的平均值；某一个模型的均方误差小于所有模型均方误差的均值，则将此子空间的权值增大；若均方误差大于所有模型均方误差的均值，则将权值减小，增大与减小的程度根据实际需求设定；迭代N次后，得到收敛的自适应权重组合；
S2.根据上游路段的车流量结合转向趋势预测值，预估监测路段的车流量，得到预测监测路段的车辆转向趋势；
S3.根据监测路段的转向趋势预测值和预测监测路段的车辆转向趋势，设立阈值控制可变车道信号灯；
S31.车辆进入监测路段后有4个可能的行驶方向：调头、左转、直行、右转，转向比例为pk，pk由历史数据进行计算获得，k表示任一行驶方向，
设立每个周期监测路段中各个车道的通行能力值为Gs；
设定时间阈值ε，若在该时间范围内，预估车流量未达到最大通行能力，则无需对可变车道信号灯进行调整；若在时间范围ε/3内，预估车流量已达到最大通行能力，则需立即启动可变车道信号灯控制系统；所述最大通行能力设为达到80％通行能力值；对于监测路段每一条入口道路，在信号灯控制下的通行能力值计算模型为：
其中，T为信号灯周期时间，tg为每个周期内该通行方向的绿灯时间，to为绿灯亮起第一辆车通过停止线的时间，ti为车辆通过停止线的平均时间，为折减系数；
S32.基于监测路段可变车道入口的各个转向预计流量，计算监测路段可变车道是否需要切换的预判结果；当预估车流量达到最大通行能力，需立即启动可变车道信号灯控制系统时，设定转向判断阈值σ，根据步骤S1的转向趋势预测神经网络计算直行与左转的车流量差值H，若在时间范围ε/2内，H＞σ，则控制可变车道信号灯切换为车流量较大的方向亮灯，从而完成基于多进程强化学习的可变车道信号灯控制。
2.根据权利要求1所述的一种基于多进程强化学习的可变车道控制方法，其特征在于，所述步骤S2包括：
S21.根据上游路段的车流量预估监测路段的车流量，设立监测路段上的可变车道为车道2，其邻接车道分别为车道1、车道3、车道4，车道1-4共同拥有一个车道入口；进入该车道入口的车辆来自上游路段，所述上游路段包括路段1、路段2、路段3和对向路段4，每个上游路段包括4条车道，分别为左转和调头合用车道、左转车道、直行车道和右转车道，设定路口停车线左侧为虚线，调头车辆可随时进行调头，车辆调头和右转均不受信号灯限制；
所述车道入口的车辆包括来自路段1的右转车道车辆、路段2的直行车道车辆、路段3的左转车道车辆以及对向路段的调头车辆；统计历史数据计算得到转向比例，所述转向比例通过所述转向趋势预测神经网络实时更新，将该路段的历史数据输入所述转向趋势预测神经网络，得到当前周期该路段的转向比例；
S22.路段1中右转车道车辆在该路段所有车辆中的占比为右转车辆进入监测路段的概率为1；路段2直行车道车辆在该路段所有车道车辆中占比为/>直行车辆进入监测路段的概率为1；路段3左转和调头合用车道的车辆在该路段所有车道车辆中占比为/>左转和调头合用车道中的左转车辆占比为/>左转车道车辆在该路段所有车道车辆中占比为/>对向路段4中左转和调头合用车道的车辆在该路段所有车道车辆中的占比为/>左转和调头合用车道中的调头车辆占比为/>
所有路段的其他车道车辆进入监测路段的概率为0，则路段1车辆进入监测路段的概率为路段2车辆进入监测路段的概率为/>路段3车辆进入监测路段的概率为/>对向路段4车辆进入监测路段的概率为/>从而得到进入监测路段的车流量，主要分为路段2和路段3，则预估车流量为：
其中，C1是路段2路口直行绿灯时进入监测路段的预估车流量，包括当前绿灯时段路段1右转车流量、路段2直行车流量和路段4调头车流量；C2是路段3路口左转绿灯时进入监测路段的预估车流量，包括当前绿灯时段路段1右转车流量、路段3左转车流量和路段4调头车流量；μ1和μ2分别为路段1右转车流量不同时段的占比因子；θ1和θ2分别为路段4调头车流量不同时段的占比因子；C1、C2、C3、C4分别表示路段1、2、3、4当前周期的车流量，由道路监控设备采集得到。
CN202210618862.5A 2022-06-01 2022-06-01 一种基于多进程强化学习的可变车道控制方法 Active CN115019506B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210618862.5A CN115019506B (zh) 2022-06-01 2022-06-01 一种基于多进程强化学习的可变车道控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210618862.5A CN115019506B (zh) 2022-06-01 2022-06-01 一种基于多进程强化学习的可变车道控制方法

Publications (2)

Publication Number Publication Date
CN115019506A CN115019506A (zh) 2022-09-06
CN115019506B true CN115019506B (zh) 2024-03-01

Family

ID=83073736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210618862.5A Active CN115019506B (zh) 2022-06-01 2022-06-01 一种基于多进程强化学习的可变车道控制方法

Country Status (1)

Country Link
CN (1) CN115019506B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392844B (zh) * 2023-10-27 2024-07-19 浪潮智慧科技有限公司 一种道路交通安全监测方法、设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000322682A (ja) * 1999-05-13 2000-11-24 Toshiba Corp 交通流予測システム、交通流予測装置及び交通流予測方法
WO2009022947A1 (en) * 2007-08-15 2009-02-19 Volvo Technology Corporation Operating method and system for supporting lane keeping of a vehicle
WO2011126215A2 (ko) * 2010-04-09 2011-10-13 고려대학교 산학협력단 양방향 통신 기능을 결합한 차량용 네비게이터 기반 실시간 교통망 구조 제어와 연계한 교통 흐름 제어 및 동적 경로 제공 시스템 및 그 방법
JP2012160126A (ja) * 2011-02-02 2012-08-23 Toyota Motor Corp 情報処理装置、運転支援装置および車両制御装置
CN105046956A (zh) * 2015-06-24 2015-11-11 银江股份有限公司 一种基于转向系数的交通流模拟及预测方法
CN111145564A (zh) * 2020-01-03 2020-05-12 山东大学 信控交叉口的自适应可变车道控制方法及系统
CN111260938A (zh) * 2019-12-30 2020-06-09 浙江浙大中控信息技术有限公司 基于交通需求的可变车道自适应控制方法
CN111968370A (zh) * 2020-08-18 2020-11-20 南京慧尔视智能科技有限公司 一种微波雷达智能可变车道感知系统及方法
CN112907970A (zh) * 2021-02-02 2021-06-04 杭州远眺科技有限公司 一种基于车辆排队长度变化率的可变车道转向控制方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11120686B2 (en) * 2019-06-21 2021-09-14 King Fahd University Of Petroleum And Minerals Quick process for optimizing space and signal timing at intersections

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000322682A (ja) * 1999-05-13 2000-11-24 Toshiba Corp 交通流予測システム、交通流予測装置及び交通流予測方法
WO2009022947A1 (en) * 2007-08-15 2009-02-19 Volvo Technology Corporation Operating method and system for supporting lane keeping of a vehicle
WO2011126215A2 (ko) * 2010-04-09 2011-10-13 고려대학교 산학협력단 양방향 통신 기능을 결합한 차량용 네비게이터 기반 실시간 교통망 구조 제어와 연계한 교통 흐름 제어 및 동적 경로 제공 시스템 및 그 방법
JP2012160126A (ja) * 2011-02-02 2012-08-23 Toyota Motor Corp 情報処理装置、運転支援装置および車両制御装置
CN105046956A (zh) * 2015-06-24 2015-11-11 银江股份有限公司 一种基于转向系数的交通流模拟及预测方法
CN111260938A (zh) * 2019-12-30 2020-06-09 浙江浙大中控信息技术有限公司 基于交通需求的可变车道自适应控制方法
CN111145564A (zh) * 2020-01-03 2020-05-12 山东大学 信控交叉口的自适应可变车道控制方法及系统
CN111968370A (zh) * 2020-08-18 2020-11-20 南京慧尔视智能科技有限公司 一种微波雷达智能可变车道感知系统及方法
CN112907970A (zh) * 2021-02-02 2021-06-04 杭州远眺科技有限公司 一种基于车辆排队长度变化率的可变车道转向控制方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
信号交叉口可变导向车道感应控制优化;林浩;张宁;;现代交通技术(第01期);全文 *
周鹏 ; 丁晨 ; .智能可变车道的导向判决算法的研究与实现.武汉理工大学学报.2012,(第08期),全文. *
基于多源数据的交叉口分流向交通需求预测;焦方通;孙锋;赵菲;李庆印;郭栋;;科学技术与工程(第16期);全文 *
智能可变车道的导向判决算法的研究与实现;周鹏;丁晨;;武汉理工大学学报(第08期);全文 *
焦方通 ; 孙锋 ; 赵菲 ; 李庆印 ; 郭栋 ; .基于多源数据的交叉口分流向交通需求预测.科学技术与工程.2018,(第16期),全文. *

Also Published As

Publication number Publication date
CN115019506A (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
CN112419726B (zh) 一种基于交通流预测的城市交通信号控制系统
CN103593535B (zh) 基于多尺度融合的城市交通复杂自适应网络平行仿真系统及方法
CN112614343A (zh) 基于随机策略梯度的交通信号控制方法、系统及电子设备
CN112017440B (zh) 一种面向自动驾驶环境下交叉口交通控制的迭代算法
Jin et al. Improving traffic operations using real-time optimal lane selection with connected vehicle technology
CN108417032B (zh) 一种城市中心区路边停车需求分析预测方法
CN106846818B (zh) 基于Simulink仿真的路网动态交通流预测方法
CN111710167A (zh) 一种基于在线交通仿真的单点优化控制方法及装置
CN111899534A (zh) 基于道路实时容量的交通灯智能控制方法
CN111951549A (zh) 在网联车辆环境下的自适应交通信号灯控制方法及系统
CN115019506B (zh) 一种基于多进程强化学习的可变车道控制方法
CN111680451B (zh) 一种微观城市交通在线仿真系统及方法
CN114463868A (zh) 面向交通流管控的收费站交通流组合预测方法及系统
CN111985619A (zh) 一种基于短时交通流预测的城市单交叉口控制方法
CN113674546A (zh) 基于sumo仿真的V2X环境下的高速公路管控方法
CN113449905A (zh) 一种基于门控循环单元神经网络的交通拥堵预警方法
CN111862636B (zh) 一种交通信号控制方法及系统
CN111341109B (zh) 一种基于时空相似性的城市级信号推荐系统
CN114333361A (zh) 一种信号灯配时方法及装置
CN115862322A (zh) 一种车辆可变限速控制优化方法、系统、介质及设备
CN115547075A (zh) 一种高速公路收费站区域交通状态管控方法及系统
CN113838296B (zh) 一种交通信号控制方法、装置、设备及存储介质
CN111383453A (zh) 交通信号控制在线仿真和实时跟踪反馈系统及运行方法
CN113515892A (zh) 一种多智能体交通仿真并行计算方法及装置
CN114037587B (zh) 基于异质因果推断的城市通勤主通道多匝道网联控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240201

Address after: 100000 1607, floor 16, courtyard-2, No. 18, Suzhou street, Haidian District, Beijing

Applicant after: BEIJING BAICHEBAO TECHNOLOGY CO.,LTD.

Country or region after: China

Address before: No. 3203, block C, Range Rover mansion, No. 588, Gangcheng East Street, Laishan District, Yantai City, Shandong Province, 264003

Applicant before: SHANDONG HENGHAO INFORMATION TECHNOLOGY Co.,Ltd.

Country or region before: China

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant