CN103077615B - 一种优化信号交叉口排队长度的在线学习方法 - Google Patents

Abstract

本发明公开了一种优化信号交叉口排队长度的在线学习方法，包括以下步骤：(1)状态、行为、奖赏选取；(2)强化学习矩阵更新公式；(3)建立仿真优化平台；(4)在线运行。本发明所述方法能够计算全局最优解、且具有记忆性的信号配时优化技术。本发明与风险中立强化学习技术相比，本发明不需要事先离线学习，具有更好的实时性和适应性。

Description

一种优化信号交叉口排队长度的在线学习方法

技术领域

本发明属于交通技术领域，涉及一种优化信号交叉口排队长度的在线学习方法。

背景技术

人工智能是现代科学技术领域的一个重要方向，是实现系统智能化、提高系统性能的重要手段。人工智能方法是一个横断技术，可以应用于各个学科领域。在道路交通信号控制领域，现有技术采用的是20世纪60年代至80年代的科学技术，这些技术在处理庞大的状态空间和解空间问题上具有很大的局限性。城市道路交叉口信号配时涉及庞大的状态空间和解空间，现有技术对交叉口信号配时问题作了诸多简化。城市路网交通拥堵是近些年国内外大中城市面临的一个难题，经常出现车辆排队至上游路口造成路网死锁的严重拥堵情况。以排队长度为优化目标应对我国机动车保有量井喷式增长具有重要的理论价值和现实意义。目前城市交叉口信号配时技术的智能化程度较低，不能够从经验中改善系统性能，对系统经历过的状态无记忆性。风险敏感的强化学习技术为交通信号控制的智能化提供了一个途径，适合交通信号控制的无导师学习、动态学习、在线学习的特点。

交通信号控制的现有技术主要有三种：Transyt系统采用历史数据优化配时方案，SCOOT系统采用检测器数据优化配时方案，优化方法均为爬山法，SCOOT系统可称为Transyt系统的实时在线版本。SCATS系统采用“投票”法优化配时方案。其中Transyt系统和SCOOT系统以延误、排队长度、油耗的综合指标为优化目标，SCATS系统以绿灯时间等饱和度为优化目标。Transyt系统和SCOOT系统的技术方案是建立一个交通流运动的仿真模型，通过计算各比选配时方案的指标值，确定新的配时方案。采用小步距调整的方法寻求局部最优解，解空间很小，如当前方案、当前方案加4秒、当前方案减4秒。

SCATS系统没有使用仿真交通的数学模型，采用以实时交通数据为基础的算法，用于实时方案选择。根据车辆检测装置所提供的实时交通量数据和停车线断面在绿灯期间的实际通过量，算法选择子系统内各交叉口共用的信号周期长度、各交叉口的绿信比及绿灯起步时距。SCATS系统要求事先利用脱机计算的方式为每个交叉口拟定四个可供选用的绿信比方案、五个内部绿灯起步时距方案、五个外部绿灯起步时距方案。绿信比方案的选择与信号周期的调整交错进行，两者结合起来，对各相位的绿灯时间不断调整的结果，使各相位饱和度维持大致相等的水平，即“绿灯时间等饱和度”原则。

近几年来，国内外学者对采用强化学习方法建立信号配时优化技术进行了一定的尝试。采用基于环境检测的强化学习方法对噪音环境下的配时优化进行了研究，噪音环境主要指驾驶员行为和流量需求波动，该文通过检测环境的改变来学习动态的流量模式，自动对流量模式进行识别，执行对应的策略，跟踪环境转换的预估误差和奖励。研究了一种基于近似动态规划的自适应交通信号实时控制算法，具体地利用线性近似函数代替动态规划中的值函数，其中线性近似函数的参数由时间差分强化学习和扰动强化学习两种方法在线学习，结果表明极大地提高了模型的计算效率，而且模型优化的时间步长越小性能越优。研究了基于“车辆投票”的强化学习优化模型，通过估计每个车辆的等待时间决定配时方案，结果表明优于固定信号配时模型。建立了基于Q学习模型的配时优化模型，需要对状态集中所有连续状态进行描述，计算时间随着车道数量和交叉口数量指数增加，限制了该模型只能用于小型路网。随后，基于函数近似的强化学习算法对信号配时优化进行了研究，提出了基于特征的状态描述方法，将状态离散为低、中、高三个区间，解决了状态一行为对的维数灾难问题。使用神经网络调整模糊交通信号控制器的成员函数，使用强化学习评估神经网络采用的行为的效用，改进了模糊控制的效果。将Agent与经验知识和Q学习算法相结合，研究单个路口的动态配时问题。采用Q学习方法以减少延误为目标对单路口进行信号配时的优化，并应用模糊控制规则改善信号控制，研究结果表明该方法优于定时控制、感应式控制。将Q学习及BP神经元网络应用于切换式的信号控制优化，结果表明该模型能够感知交通流变化，并能够自适应控制，比定时控制相比具有明显的优势。

总体上说，现有技术中建立基于强化学习的交通控制模型的做法是不考虑周期的概念，在每个时间步判断各相位的放行权是否切换；没有和传统的交通控制优化目标进行结合，建立的优化目标的可行性没有被验证；而且这些方法都是基于风险中立的强化学习方法，优化的过程中没有考虑车辆到达的随机波动，只能先离线学习获得初始强化学习矩阵，然后再在线应用，在优化的实时性和动态性方面具有一定的局限。

总之，现有技术中城市交通信号控制系统存在以下缺陷：(1)采用小步距对配时方案进行优化，优化滞后于实际交通流状态；(2)在很小的空间中优化，解为局部最优解，性能差；(3)对经历的历史状态不具有记忆性，效率低。(4)路网几何尺寸布局一旦调整，就需要花费大量时间对系统的参数进行调试。

发明内容

本发明的目的是克服现有技术的缺陷，提供一种优化信号交叉口排队长度的在线学习方法，提出能够计算全局最优解、且具有记忆性的信号配时优化技术。解决现有技术只能在很小的空间中进行优化，难以保证解的最优化的问题。解决现有技术不能够积累经验、形成管理预案的缺点。相对于风险中立的强化学习优化技术，本发明解决了需要事先离线学习进行初始化的不足，保证了配时方案的连续性、小波动。风险中立的强化学习技术属于方案选择式原理，风险敏感的强化学习技术属于方案生成式原理。

本发明采用人工智能领域的风险敏感强化学习理论建立了配时优化技术，该技术能够对整个优化空间进行搜索，得到全局最优解；该技术具有学习能力，对经历的历史状态具有记忆能力；由于风险敏感强化学习技术解决了规避车辆随机到达带来的风险问题，因此可以直接在线学习。与风险中立强化学习技术相比，本发明不需要事先离线学习，具有更好的实时性和适应性。

其技术方案为：一种优化信号交叉口排队长度的在线学习方法，包括以下步骤：

(1)状态、行为、奖赏选取

11)以各相位关键车流的排队长度组成的向量作为状态，为了提高计算效率，状态空间采用离散形式，离散步长为平均排队长度差的整数倍数；

12)以各相位绿灯时间组成的向量作为行为，采用动态行为集技术：首先计算各相位关键车流的平均排队长度占交叉口总排队长度的比例，然后将这一比例乘以事先确定的周期长度，得到各相位的基准绿灯时间，以基准绿灯时间为原点，以周期的某一比例值作为半径，构成各相位绿灯时间的行为集；

13)以各相位关键车流的加权排队长度差的绝对值之和作为奖赏，优化目标是等排队长度，通过权重系数反映交通流向的重要程度；

(2)强化学习矩阵更新公式

强化学习矩阵更新公式为：其中β为权重因子，α为学习率，γ为折扣因子，r表示当前奖励，Q(s，a)表示状态s、行为a对应的强化学习值；

(3)建立仿真优化平台

31)以Excel VBA作为主控程序，将微观交通仿真软件Vissim和Matlab软件作为调用对象，分别采用COM接口和Excel Link接口；

32)利用Vissim软件建立交通仿真模型，利用Matlab开发优化排队长度的强化学习模型，基于实时数据利用该平台计算强化学习矩阵；

(4)在线运行

41)按照步骤(1)中提到的离散步长，通过视频检测器判断排队长度处于哪个区间；

42)在线运行指数平滑型的强化学习模型，优化信号配时；

43)利用数据采集手段对优化效果进行评估。

进一步优选，所述数据采集手段主要包括视频检测器、线圈检测器数据、出租车GPS数据、人工调查、视频录像。

本发明的有益效果：

本发明提出了基于仿真平台计算风险敏感强化学习矩阵的方法，比基于解析模型的方法更加准确；

本发明提出以优化排队长度作为目标，这对于解决高峰期出现的死锁现象有重要价值；

本发明提出了可直接在线应用的风险敏感强化学习，解决了风险中立强化学习方法需事先离线学习进行初始化的问题。

本发明提出了指数平滑型的风险敏感强化学习技术，规避车辆到达的随机波动对强化学习矩阵更新带来的风险；

本发明提出了动态行为集技术，提高了在线学习的计算效率。

附图说明

图1是仿真优化平台结构图；COM接口为Component Object Model的简称，微软定义的标准接口，Vissim为德国PTV公司的交通仿真商业软件，Excel VBA为Excel Visual BasicFor application，Excel Link接口为一种软件中间件，Matlab为Matrix Laboratory的简称。

图2是本发明离散步长和检测器位置示意图。

具体实施方式

下面结合附图具体实例来详细描述本发明的技术方案。

一种优化信号交叉口排队长度的在线学习方法，其特征在于，包括以下步骤：

(1)状态、行为、奖赏选取

11)以各相位关键车流的排队长度组成的向量作为状态，为了提高计算效率，状态空间采用离散形式，离散步长为平均排队长度差的整数倍数；

12)以各相位绿灯时间组成的向量作为行为，对于多相位交叉口，会出现行为对的维数灾难问题，学习速度是在线学习技术具有实用性的关键，为了提高学习速度，采用动态行为集技术：具体地，首先计算各相位关键车流的平均排队长度占交叉口总排队长度即交叉口各相位关键车流的排队长度之和的比例，然后将这一比例乘以事先确定的周期长度，得到各相位的基准绿灯时间。以基准绿灯时间为原点，以周期的某一比例值作为半径，构成各相位绿灯时间的行为集；

13)以各相位关键车流的加权排队长度差的绝对值之和作为奖赏，优化目标是等排队长度，通过权重系数反映交通流向的重要程度。例如，对于有三个关键相位的交叉口，奖励函数可写为r＝|γ₁q₁-γ₂q₂|+|γ₂q₂-γ₂q₃|+|γ₂q₂-γ₂q₃|，γ₁·γ₂·γ₃表示车流流向的权重，q₁和q₂和q₃表示红末排队长度，根据相位的重要程度设置权重值。

(2)强化学习矩阵更新公式

车辆到达具有随机性，这种随机性会导致收敛的强化学习矩阵瞬间变化，从而导致当前最优行为瞬间转换至其他行为，然后又逐渐地转回到当前最优行为。这种随机波动对于在线强化学习模型是一种风险，为了规避这种风险，本发明提出了一种指数平滑型的强化学习技术，解决了车辆随机到达造成的模型波动问题，降低了最优行为频繁变换的风险，提高了控制的鲁棒性。

强化学习矩阵更新公式为：其中β为权重因子，α为学习率，γ为折扣因子，r表示当前奖励，Q(s，a)表示状态s、行为a对应的强化学习值；

(3)建立仿真优化平台，仿真优化平台的结构图如图1所示。

31)以Excel VBA作为主控程序，将微观交通仿真软件Vissim和Matlab软件作为调用对象，分别采用COM接口和Excel Link接口；

32)利用Vissim软件建立交通仿真模型，利用Matlab开发优化排队长度的强化学习模型，基于实时数据利用该平台计算强化学习矩阵；

以两相位配时为例说明强化学习矩阵的含义，表1中q1，q2是各相位的排队长度值，数量是排队长度的排列组合值。g1，g2是指各相位的绿灯时间，数量是绿灯时间的排列组合值。其他的矩阵元素值是(状态-行为对)值。

表1

(4)在线运行

如图2所示，41)按照步骤(1)中提到的离散步长，通过视频检测器判断排队长度处于哪个区间；

42)在线运行指数平滑型的强化学习模型，优化信号配时；

43)利用数据采集手段对优化效果进行评估。

所述数据采集手段主要包括视频检测器数据、线圈检测器数据、出租车GPS数据、人工调查、视频录像。

以上所述，仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换均落入本发明的保护范围内。

Claims (2)

1.一种优化信号交叉口排队长度的在线学习方法，其特征在于，包括以下步骤：

(1)状态、行为、奖赏选取

11)以各相位关键车流的排队长度组成的向量作为状态，为了提高计算效率，状态空间采用离散形式，离散步长为平均排队长度差的整数倍数；

12)以各相位绿灯时间组成的向量作为行为，采用动态行为集技术：首先计算各相位关键车流的平均排队长度占交叉口总排队长度的比例，然后将这一比例乘以事先确定的周期长度，得到各相位的基准绿灯时间，以基准绿灯时间为原点，以周期的某一比例值作为半径，构成各相位绿灯时间的行为集；

13)以各相位关键车流的加权排队长度差的绝对值之和作为奖赏，优化目标是等排队长度，通过权重系数反映交通流向的重要程度；

(2)强化学习矩阵更新公式

强化学习矩阵更新公式为： $Q(s,a)=(1-\mathrm{\β})Q(s,a)+\mathrm{\β\α}[r+\mathrm{\γ}\underset{a^{\′}\∈A}{\max }Q(s^{\′},a^{\′})-Q(s,a)],$ 其中β为权重因子，α为学习率，γ为折扣因子，r表示当前奖励，Q(s，a)表示状态s、行为a对应的强化学习值，Q(s′，a′)表示在状态s′、选择行为a′的排队长度优化值，其中参数s′表示关键车流的排队长度，参数a′表示交叉口各相位的绿灯时间，参数A表示交叉口各相位绿灯时间的配时方案库；

(3)建立仿真优化平台

31)以Excel VBA作为主控程序，将微观交通仿真软件Vissim和Matlab软件作为调用对象，分别采用COM接口和Excel Link接口；

32)利用Vissim软件建立交通仿真模型，利用Matlab开发优化排队长度的强化学习模型，基于实时数据利用该平台计算强化学习矩阵；

(4)在线运行

41)按照步骤(1)中提到的离散步长，通过视频检测器判断排队长度处于哪个区间；

42)在线运行步骤32)中的指数平滑型的强化学习模型，优化信号配时；

43)利用数据采集手段对优化效果进行评估。

2.根据权利要求1所述的优化信号交叉口排队长度的在线学习方法，其特征在于，所述数据采集手段是通过视频检测器、线圈检测器、出租车GPS、人工调查共同获得的。