CN112216127B - 一种基于近端策略优化的小型路网交通信号优化方法 - Google Patents

Abstract

一种基于近端策略优化的小型路网交通信号控制方法，包括如下步骤：1)通过与SUMO的交互，实时获取路网中车辆的位置信息和信号灯的相位信息；2)数据预处理，获取整个路网在当前时刻的排队长度‑相位编号数据集；3)根据上一步整理的数据集，训练PPO网络直到达到最大迭代次数；4)损失函数达到精度要求后，即可得到该路网下基于近端策略优化的交通信号优化配时方案。与现有技术相比，本发明通过近端策略优化的方法，提高了小型路网的交通运行效率，更好地缓解了城市中小型连通区域的交通拥堵问题。

Description

一种基于近端策略优化的小型路网交通信号优化方法

技术领域

本发明涉及智能交通、人工智能应用领域，具体涉及近端策略优化(ProximalPolicy Optimization)算法和小型路网交通信号优化方法。

背景技术

随着大众生活水平的普遍提高，汽车已成为人们出行最常用的交通工具，但由于道路资源的有限，交通管理协调机制的不科学以及交通决策存在的失误性等因素，城市路网，特别是交叉口处会造成严重的交通拥堵问题。对于某一个具体的交叉口，宽敞的道路和智能交通设备的存在使得该路口不会产生严重的拥堵；而对于多个交叉口连接而成的小型路网，拥堵问题仍然存在，并且是影响区域通行效率的最大因素。

发明内容

为了优化小型路网的交通信号配时方案，改善区域路网的交通拥堵现象，基于实时获取的交通数据，本发明提出一种基于近端策略优化的小型路网交通信号控制方法，对于小型路网提出的基于近端策略优化的交通信号优化配时方案可以有效提高交通通行效率，而且可以增加区域内不同交叉口之间的协作，应对交通的动态性变化。

本发明解决其技术问题所采用的技术方案是：

一种基于近端策略优化的小型路网交通信号控制方法，包括以下步骤：

1)利用路网交叉口处的交通数据信号传感器，实时获取小型路网中(井字型四交叉口)的交通数据，为车辆的相对坐标信息和信号灯在对应时刻所处的相位信息，确定处于排队状态的车辆，保存在原始数据集中；

2)原始数据预处理，删去离谱的数据并用前一时刻的数据填补缺失的数据，获取具体交叉口处的排队长度-相位编号集合{Q_i,j,P_i}，其中，Q_i,j表示当前时刻第i交叉口第j车道处的车辆排队长度，P_i代表当前时刻第i交叉口处的信号灯灯态，在该发明中，i＝1,2,3,4，j＝1,2,...,7,8；按照路网中交叉口的排列顺序，将集合{Q_i,j,P_i}整合得到整个路网在当前时刻的排队长度-相位编号数据集S_t，t为当前的时刻；

3)利用路网的排队长度-相位编号集S_t，初始化神经网络权重，利用近端策略优化方法PPO更新网络参数，寻找当前交通环境下的最优信号灯配时方案；

4)保存最终收敛的神经网络训练参数，得到该路网下基于近端策略优化的交通信号优化配时方案，在不同交通状态s_t下，该路网需切换至的交通相位由以下状态-动作对所决定：

P_next＝argmax(Q(s_now,a_now,θ))

其中P_next表示路网需切换至的相位，s_now为当前路网交通状态，a_now为当前路网可执行的相位，θ表示神经网络的参数，Q(s_now,a_now,θ)表示由当前路网状态，当前路网可执行相位，神经网络参数决定的Q值函数，argmax(Q(s_now,a_now,θ))表示使得Q(s_now,a_now,θ)最大的受控参数a_now。

进一步，所述步骤3)的过程如下：

3.1)首先，定义训练超参数，折扣因子γ＝0.9，Actor网络学习率A_LR＝0.0001，Critic网络学习率C_LR＝0.0002，batch＝256，AC网络的更新步长Step＝10，裁剪因子ε＝0.2，当前时刻PPO方法的奖励定义如下：

3.2)根据排队长度-相位编号数据集S_t，缓冲区buffer中存储的小批量训练数据以及Critic网络的返回值adv更新Actor神经网络Q(s_t,a_t,θ_t)，其中θ_t为策略参数，更新当前时刻选取各个动作的概率，并按照预设的Step将更新参数传入old_policy网络，PPO中Policy的更新公式如下所示：

L^CLIP(θ)＝E_t[min(r_t(θ)A_t,clip(r_t(θ),1-ε,1+ε)A_t)]；

其中，r_t(θ)是t时刻New Policy和Old Policy的比例，以此限制New Policy的更新幅度；

3.3)根据排队长度-相位编号数据集S_t和平均奖励的偏导数dR_t更新Critic神经网络权重w，输出评价θ_t好坏的指标adv：

adv＝dR_t-V(S_t)

3.4)重复更新PPO网络参数直到达到最大迭代次数I＝200000或者损失函数达到收敛精度的要求。

本发明的技术构思为：首先实时获取路网内的车辆信息和信号灯相位信息，然后预处理，得到排队长度-相位编号数据集，再基于该数据集和近端策略优化训练策略参数和神经网络。达到最大迭代次数后，可以得到基于近端策略优化和当前路网车辆排队长度的最优信号灯相位切换方案，该发明最终得到的交通信号控制方案可以有效处理小区域路网的交通拥堵问题。

本发明的有益效果为：通过对实时交通数据的获取和处理，挖掘交通数据中隐藏的重要信息，通过训练PPO神经网络，最后将训练结果用于小型路网的交通信号控制，从而可以缓解区域交通的拥堵问题。

附图说明

图1显示了基于近端策略优化的小型路网交通信号控制方法流程图；

图2显示了基于SUMO仿真软件搭建的小型路网示意图，用于下文的实例分析；

图3显示了路网内交叉口的相位示意图，每个交叉口处的相位具有一致性。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图3，一种基于近端策略优化的小型路网交通信号控制方法，包括以下步骤：

1)参照图2，图3的路网信息，利用路网交叉口处的交通数据信号传感器，实时获取小型路网中(井字型四交叉口)的交通数据，主要为车辆的相对坐标信息和信号灯在对应时刻所处的相位信息，确定处于排队状态的车辆，保存在原始数据集中；

2)原始数据预处理，删去离谱的数据并用前一时刻的数据填补缺失的数据，获取具体交叉口处的排队长度-相位编号集合{Q_i,j,P_i}，其中，Q_i,j表示当前时刻第i交叉口第j车道处的车辆排队长度，P_i代表当前时刻第i交叉口处的信号灯灯态，在该发明中，i＝1,2,3,4，j＝1,2,...,7,8；按照路网中交叉口的排列顺序，将集合{Q_i,j,P_i}整合得到整个路网在当前时刻的排队长度-相位编号数据集S_t，t为当前的时刻；

3)根据图1，利用路网的排队长度-相位编号集S_t，初始化神经网络权重，利用近端策略优化方法(PPO)更新网络参数，寻找当前交通环境下的最优信号灯配时方案，过程如下：

3.1)首先，定义训练超参数，折扣因子γ＝0.9，Actor网络学习率A_LR＝0.0001，Critic网络学习率C_LR＝0.0002，batch＝256，AC网络的更新步长Step＝10，裁剪因子ε＝0.2，当前时刻PPO方法的奖励定义如下：

3.2)根据排队长度-相位编号数据集S_t，缓冲区buffer中存储的小批量训练数据以及Critic网络的返回值adv更新Actor神经网络Q(s_t,a_t,θ_t)，其中θ_t为策略参数，更新当前时刻选取各个动作的概率，并按照预设的Step将更新参数传入old_policy网络，PPO中Policy的更新公式如下所示：

L^CLIP(θ)＝E_t[min(r_t(θ)A_t,clip(r_t(θ),1-ε,1+ε)A_t)]；

其中，r_t(θ)是t时刻New Policy和Old Policy的比例，以此限制New Policy的更新幅度；

3.3)根据排队长度-相位编号数据集S_t和平均奖励的偏导数dR_t更新Critic神经网络权重w，输出评价θ_t好坏的指标adv：

adv＝dR_t-V(S_t)

3.4)重复更新PPO网络参数直到达到最大迭代次数I＝200000或者损失函数达到收敛精度的要求；

4)保存最终收敛的神经网络训练参数，得到该路网下基于近端策略优化的交通信号优化配时方案。在不同交通状态s_t下，该路网需切换至的交通相位由以下状态-动作对所决定：

P_next＝argmax(Q(s_now,a_now,θ))

其中P_next表示路网需切换至的相位，s_now为当前路网交通状态，a_now为当前路网可执行的相位，θ表示神经网络的参数，Q(s_now,a_now,θ)表示由当前路网状态，当前路网可执行相位，神经网络参数决定的Q值函数，argmax(Q(s_now,a_now,θ))表示使得Q(s_now,a_now,θ)最大的受控参数a_now。

本实施例以使用微观交通仿真软件SUMO搭建的四交叉口井字型路网的实时交通数据为实施例，一种基于近端策略优化的小型路网交通信号控制方法，包括以下步骤：

1)通过SUMO构建仿真路网，并利用python与SUMO的接口，实时获取小型路网中(井字型四交叉口)的交通数据，主要为车辆的相对坐标信息和信号灯在对应时刻所处的相位信息，确定处于排队状态的车辆，保存在原始数据集中；

2)原始数据预处理，删去离谱的数据并用前一时刻的数据填补缺失的数据，获取具体交叉口处的排队长度-相位编号集合{Q_i,j,P_i}，其中，Q_i,j表示当前时刻第i交叉口第j车道处的车辆排队长度，P_i代表当前时刻第i交叉口处的信号灯灯态，在该发明中，i＝1,2,3,4，j＝1,2,...,7,8；按照路网中交叉口的排列顺序，将集合{Q_i,j,P_i}整合得到整个路网在当前时刻的排队长度-相位编号数据集S_t，t为当前的时刻；

3)利用路网的排队长度-相位编号集S_t，初始化神经网络权重，利用近端策略优化方法(PPO)更新网络参数，寻找当前交通环境下的最优信号灯配时方案，过程如下：

3.1)首先，定义训练超参数，折扣因子γ＝0.9，Actor网络学习率A_LR＝0.0001，Critic网络学习率C_LR＝0.0002，batch＝256，AC网络的更新步长Step＝10，裁剪因子ε＝0.2，当前时刻PPO方法的奖励定义如下：

3.2)根据排队长度-相位编号数据集S_t，缓冲区buffer中存储的小批量训练数据以及Critic网络的返回值adv更新Actor神经网络Q(s_t,a_t,θ_t)，其中θ_t为策略参数，更新当前时刻选取各个动作的概率，并按照预设的Step将更新参数传入old_policy网络，PPO中Policy的更新公式如下所示：

L^CLIP(θ)＝E_t[min(r_t(θ)A_t,clip(r_t(θ),1-ε,1+ε)A_t)]；

其中，r_t(θ)是t时刻New Policy和Old Policy的比例，以此限制New Policy的更新幅度；

3.3)根据排队长度-相位编号数据集S_t和平均奖励的偏导数dR_t更新Critic神经网络权重w，输出评价θ_t好坏的指标adv：

adv＝dR_t-V(S_t)

3.4)重复更新PPO网络参数直到达到最大迭代次数I＝200000或者损失函数达到收敛精度的要求。

4)保存最终收敛的神经网络训练参数，得到该路网下基于近端策略优化的交通信号优化配时方案。在不同交通状态s_t下，该路网需切换至的交通相位由以下状态-动作对所决定：

P_next＝argmax(Q(s_now,a_now,θ))。

以微观交通仿真软件SUMO搭建的井字型四交叉口路网为实施例，运用以上方法得到基于近端策略优化的小型路网交通信号优化配时方案，结果显示，相比定时控制方式，该方法的车辆平均旅行时间减少了22.8％。

以上阐述的是本发明给出的一个实施例表现出来的优良效果，显然本发明不仅适合上述实施例，在不偏离本发明基本精神及不超出本发明实质内容所涉及内容的前提下可对其做种种变化加以实施。

Claims (1)

1.一种基于近端策略优化的小型路网交通信号控制方法，其特征在于，所述方法包括以下步骤：

1)利用路网交叉口处的交通数据信号传感器，实时获取小型路网中的交通数据，为车辆的相对坐标信息和信号灯在对应时刻所处的相位信息，确定处于排队状态的车辆，保存在原始数据集中；

2)原始数据预处理，删去离谱的数据并用前一时刻的数据填补缺失的数据，获取具体交叉口处的排队长度-相位编号集合{Q_i,j,P_i}，其中，Q_i,j表示当前时刻第i交叉口第j车道处的车辆排队长度，P_i代表当前时刻第i交叉口处的信号灯灯态，i＝1,2,3,4，j＝1,2,...,7,8；按照路网中交叉口的排列顺序，将集合{Q_i,j,P_i}整合得到整个路网在当前时刻的排队长度-相位编号数据集S_t，t为当前的时刻；

3)利用路网的排队长度-相位编号集S_t，初始化神经网络权重，利用近端策略优化方法PPO更新网络参数，寻找当前交通环境下的最优信号灯配时方案；

4)保存最终收敛的神经网络训练参数，得到该路网下基于近端策略优化的交通信号优化配时方案，在不同交通状态s_t下，该路网需切换至的交通相位由以下状态-动作对所决定：

P_next＝argmax(Q(s_now,a_now,θ))

其中P_next表示路网需切换至的相位，s_now为当前路网交通状态，a_now为当前路网可执行的相位，θ表示神经网络的参数，Q(s_now,a_now,θ)表示由当前路网状态，当前路网可执行相位，神经网络参数决定的Q值函数，argmax(Q(s_now,a_now,θ))表示使得Q(s_now,a_now,θ)最大的受控参数a_now；

所述步骤3)的过程如下：

3.1)首先，定义训练超参数，折扣因子γ＝0.9，Actor网络学习率A_LR＝0.0001，Critic网络学习率C_LR＝0.0002，batch＝256，AC网络的更新步长Step＝10，裁剪因子ε＝0.2，当前时刻PPO方法的奖励定义如下：

3.2)根据排队长度-相位编号数据集S_t，缓冲区buffer中存储的小批量训练数据以及Critic网络的返回值adv更新Actor神经网络Q(s_t,a_t,θ_t)，其中θ_t为策略参数，更新当前时刻选取各个动作的概率，并按照预设的Step将更新参数传入old_policy网络，PPO中Policy的更新公式如下所示：

L^CLIP(θ)＝E_t[min(r_t(θ)A_t,clip(r_t(θ),1-ε,1+ε)A_t)]；

其中，r_t(θ)是t时刻New Policy和Old Policy的比例，以此限制New Policy的更新幅度；

3.3)根据排队长度-相位编号数据集S_t和平均奖励的偏导数dR_t更新Critic神经网络权重w，输出评价θ_t好坏的指标adv：

adv＝dR_t-V(S_t)

3.4)重复更新PPO网络参数直到达到最大迭代次数I＝200000或者损失函数达到收敛精度的要求。

Images