CN108806287A - 一种基于协同优化的交通信号配时方法 - Google Patents

Abstract

一种基于协同优化的交通信号配时方法，通过综合信号灯和交通流的实际分布确定交叉口间的关联性，确定通过SCAN聚类划分信号协同控制区域，将关联性较强的相连交叉口聚类在同一簇中，并利用Boltzmann选择策略，在区域学习智能体经过充分的经验累积后，进行自适应式的协同控制，直至信号控制结束，进而提高小区域范围内车辆的通行率，从而提高整体路网的通行效率。

Description

一种基于协同优化的交通信号配时方法

技术领域

本发明涉及城市交通信号控制技术领域，特别涉及一种基于协同优化的交通信号配时方法。

背景技术

由于城市车辆的日益增长，道路交通环境日益恶化，交通拥堵现象频繁发生，而交叉口成为交通拥堵的瓶颈路段，城市交通拥堵大大占用了人们的出行时间，降低了出行效率，同时随之产生的燃油消耗、交通污染等问题使得交通问题成为现代城市发展的一个亟待解决的问题。因此，对城市交叉口信号进行合理的控制已经成为交通部门研究的热点内容。

交通信号的自适应控制方式通过对交叉口车流的分析进行实时控制。随着对城市相邻交叉口间交通流规律的不断深入认识，关联性较强的相邻交叉口之间，一个交叉口交通信号的改变势必会影响到其相邻交叉口的交通环境，且两者之间互相影响。因此，在进行城市路网信号控制时，考虑相邻交叉口之间的关联性就显得尤为重要。交通区域信号协同控制根据城市交通流分布规律的分析，对路网中交通信号进行协同控制。

发明内容

为了解决现有技术存在的问题，本发明通过路网中交通流和交叉口信号的分布，对相关性较强的相邻交叉口信号进行协同控制，并基于SCAN聚类法使路网分解为若干个相对独立的子区域，各子区域根据自身交通环境进行相应的信号控制，并利用Boltzmann选择策略，进行自适应式的协同控制。

一种基于协同优化的交通信号配时方法，包括以下步骤：

步骤1、对路网中相邻的交叉口进行关联性评价；

步骤1.1、交通信息中心根据地理信息库中的路网信息采集各道路历史交通车流量和相邻交叉口间的路段距离，所述交通信息中心地理信息库包括车辆信息表、实时交通信息表以及各协同控制区域的Q值表；

步骤1.2、利用采集到的历史交通流量和交叉口间路段的距离，对相邻交叉口间的关联性进行评价，其公式如下：

W_ij＝αNor(f_ij)+β(1-Nor(l_ij))

式中，W_ij为i,j两交叉口间的关联性，f_ij为i,j两顶点间累计的历史交通车流量，i_ij为i,j两顶点的路段距离，Nor(x)表示对变量x进行归一化处理，其中x＝f_ij或l_ij，参数α、β分别为历史交通流和距离在关联性分析时的比例；

步骤2、利用SCAN聚类方法划分交通网络：

以相邻交叉口间的关联性W_ij作为相邻节点间的权重，利用SCAN聚类方法，将交络中的交叉口节点即信号灯划分为若干个相互独立的簇；

步骤3、初始化各簇的Q值表：

每个簇作为一个区域学习智能体，有对应的Q值表，对每个Q值表以及Q的学习参数进行初始化处理，所述Q值为历史动作奖惩值的累计；

步骤4、协同控制区域学习智能体，并根据当前区域的交通状态，对区域内的交通信号进行协同控制，具体步骤如下：

步骤4.1、交通相位是指在一个周期内，交叉口上某一个或几个方向的道路上交通流具有通行的权利以及绿灯时间，而另外一些方向上的交通流禁止通行，相位一表示东西方向交通流获得通行权，南北方向交通流处于等待、阻塞状态；相位二则与相位一相反，南北方向交通流获得车辆通行权，交通信号为绿灯，东西方向交通信号为红灯，区域学习智能体从交通信息中心获取当前区域内的交通状态，进行状态等级评价，评价公式如下所示：

式中，ρ₁(t)为区域内交叉口相位一车道上的车辆饱和度，ρ₂(t)为区域内交叉口相位二车道上的车辆饱和度，s_i(t)为在t时刻区域内交叉口j的交通状态，i∈{1,2,、...I}，I为区域j信号灯个数，S^j(t)为在t时刻区域交叉口j内的所有交通状态，j∈{1,2,、...J}，J为聚类后的区域个数，当交叉口相位一的饱和度大于等于相位二的饱和度时，交叉口交通状态为0，否则为1；

步骤4.2、区域学习智能体根据状态选择对应的各交叉口信号来进行区域信号控制，所述交叉口信号即为动作信号，所述相位信号及协同控制区域动作空间集合如下所示:

A^j＝{a^j ₁,a^j ₂...a^j _i∈{0,1}|i＝1,2,3...I；j＝1,2,3...J}

式中，phase(t)是指在t时刻对某相位设置的绿灯信号，表示允许该相位上交通流通行，A^j为协同区域j的动作空间，a_i为协同区域j内的交叉口i的动作，在动作空间中，0表示相位一为绿灯信号、相位二上为红灯信号，1表示相位一为红灯信号、相位二上为绿灯信号；

步骤4.3、利用累计奖惩值函数更新Q值表，区域Q值表的更新公式如下所示：

式中，Q_t-1(s,a)为t-1时刻的Q值,Q_t(s,a)为t时刻的Q值；α为学习率，γ为折扣因子；r_t(s,a)为在t时刻的环境状态s下选择动作ɑ的奖惩值,为t-1时刻环境状态S下对应动作α′的最大Q值；

步骤4.4、通过Boltzmann探索选择策略进行学习并更新Q值，具体公式如下：

式中，A为动作空间，τ是温控参数，p[a/s]为在状态s下选择动作a的概率；

步骤5：重复步骤4进行区域范围内的协同控制，直至信号控制结束。

所述交通信息中心数据库内Q值表的数据包括Action_id和Q_value，所述Action_id为交通区域信号的动作空间集合A中每个动作的编号，所述Q_value为每个动作对应的Q值。

所述交通信息中心数据库内车辆信息表中数据包括Vehicleid、Current_roadid、Time和Speed，所述Vehicleid为车辆的车牌号，Current_roadid为车辆当前时刻所在的道路编号，Time为当前时刻，Speed为当前时刻车辆的速度。

所述交通信息中心数据库内实时交通信息表中数据包括Vehicleid、Roadid、Length、Traveling_time、Areaid和areasize，其中，所述Vehicleid为车辆的车牌号，Roadid为路段的编号，Roadid_Length为路段的长度，Traveling time为车辆通过该路段的行驶时间，Areaid为信号协同控制区域的的编号，Areaid size是区域内交通信号个数。

有益效果：本发明通过路网中交通流和交叉口信号的分布，对相关性较强的相邻交叉口信号进行协同控制，协同控制交通流在时间上分布一致的相邻交叉口，并基于SCAN聚类法使路网分解为若干个相对独立的子区域，各子区域根据自身交通环境进行相应的信号控制，并利用Boltzmann选择策略，在区域学习智能体经过充分的经验累积后，进行自适应式的协同控制，进而提高小区域范围内车辆的通行率，从而提高整体路网的通行效率。

附图说明

图1是本发明提供的基于协同优化的交通信号配时方法的流程图；

图2是本发明提供的基于协同优化的交通信号配时方法的三交叉口相位模型图；

图3是本发明提供的基于协同优化的交通信号配时方法的四交叉口相位模型图。

具体实施方式

下面将结合发明实施例中的附图，对发明实施例中的技术方案进行清楚、完整地描述，

如图1，本发明提供了一种基于协同优化的交通信号配时方法，包括以下步骤：

步骤1、对路网中相邻的交叉口进行关联性评价；

步骤1.1、交通信息中心根据地理信息库中的路网信息采集各道路历史交通车流量和相邻交叉口间的路段距离，所述交通信息中心地理信息库包括车辆信息表、实时交通信息表以及各协同控制区域的Q值表，所述路网信息包括路网拓扑结构和道路长度；

所述交通信息中心数据库内Q值表的数据包括Action_id和Q_value，所述Action_id为交通区域信号的动作空间集合A中每个动作的编号，所述Q_value为每个动作对应的Q值，如表1所示；

表1 Q值表

所述交通信息中心数据库内车辆信息表中数据包括Vehicleid、Current_roadid、Time和Speed，所述Vehicleid为车辆的车牌号，Current_roadid为车辆当前时刻所在的道路编号，Time为当前时刻，Speed为当前时刻车辆的速度，如表2所示；

表2 车辆信息表

具体而言，所述交通信息中心数据库内实时交通信息表中数据包括Vehicleid、Roadid、Length、Traveling_time、Areaid和areasize，其中，所述Vehicleid为车辆的车牌号，Roadid为路段的编号，Roadid_Length为路段的长度，Traveling time为车辆通过该路段的行驶时间，Areaid为信号协同控制区域的的编号，Areaid size是区域内交通信号个数，如表3所示；

表3 实时交通信息表

属性	描述	数据类型
			Vehicleid	车辆标识(可用车牌号)	int
Roadid	路段编号	int
			Length	路段长度	int
Traveling_time	车辆通过该路段的行驶时间	Timestamp
			Areaid	区域的编号	int
Areasize	区域内交通信号个数	int

步骤1.2、利用采集到的历史交通流量和交叉口间路段的距离，对相邻交叉口间的关联性进行评价，其公式如下：

W_ij＝αNor(f_ij)+β(1-Nor(l_ij))

式中，W_ij为i,j两交叉口间的关联性，f_ij为i,j两顶点间累计的历史交通车流量，l_ij为i,j两顶点的路段距离，Nor(x)表示对变量x进行归一化处理，其中x＝f_ij或l_ij，由于历史交通车流量与两点直接实际的距离成对立关系，因此通过1-Nor(l_ij)进行调整，参数α、β分别为历史交通流和距离在关联性分析时的比例；

步骤2、利用SCAN聚类方法划分交通网络：

以相邻交叉口间的关联性W_ij作为相邻节点间的权重，利用SCAN聚类方法，将交络中的交叉口节点即信号灯划分为若干个相互独立的簇，所述SCAN聚类方法中一些概念如下所示：

节点相似性：用两个节点共同邻居的数目与两个节点邻居数目的集合平均数的比值来表示，Γ(x)表示节点x及其相邻节点所组成的集合，具体公式如下所示：

ε-邻居：节点的ε-邻居为与其相似度不小于ε的节点所组成的集合，具体公式如下所示：

N_ε(v)＝{w∈Γ(v)|σ(v，w)≥ε}

核节点：指ε-邻居的数目大于μ的节点，具体公式如所示：

直接可达性：节点w是核节点v的ε邻居，因此称从v直接可达w，具体公式如下所示：

桥节点：与至少两个簇相邻的孤立节点；

离群点：只与一个簇相邻或不与任何簇相邻的孤立节点；

所述基于SCAN聚类方法，具体步骤如下所示：

步骤2.1、初始化所有信号顶点集合V，并标记为未分类；

步骤2.2、对于未标记的顶点v∈V，如果为CORE_ε,μ(v)核节点，则生成新的簇，并将所有x∈N_ε(v)插入到队列Q中，当Q≠0时，y＝Q，R＝{x∈V/DirREACH_ε，,μ(y,x)}，若x未被分类或非簇顶点，则将x分配给当前簇，若x未被分类，则将x插入Q，并从Q中移除y，否则标记v为非簇顶点；

步骤2.3、进一步划分非簇顶点v∈V，如果任意x,y∈Γ(v)，x.clusterID≠y.clusterID，标记v为桥节点；否则标记v为离群点；

步骤3、初始化各簇的Q值表：

每个簇作为一个区域学习智能体，有对应的Q值表，对每个Q值表以及Q的学习参数进行初始化处理，所述Q值为历史动作奖惩值的累计；

步骤4、协同控制区域学习智能体，并根据当前区域的交通状态，对区域内的交通信号进行协同控制，具体步骤如下：

步骤4.1、交通相位是指在一个周期内，交叉口上某一个或几个方向的道路上交通流具有通行的权利以及绿灯时间，而另外一些方向上的交通流禁止通行，相位一表示东西方向交通流获得通行权，南北方向交通流处于等待、阻塞状态；相位二则与相位一相反，南北方向交通流获得车辆通行权，交通信号为绿灯，东西方向交通信号为红灯，区域学习智能体从交通信息中心获取当前区域内的交通状态，进行状态等级评价，评价公式如下所示：

式中，ρ₁(t)为区域内交叉口相位一车道上的车辆饱和度，ρ₂(t)为区域内交叉口相位二车道上的车辆饱和度，s_i(t)为在t时刻区域内交叉口j的交通状态，i∈{1,2,、...I}，I为区域j信号灯个数，S^j(t)为在t时刻区域交叉口j内的所有交通状态，j∈{1,2,、...J}，J为聚类后的区域个数，当交叉口相位一的饱和度大于等于相位二的饱和度时，交叉口交通状态为0，否则为1，如图2和图3分别为三岔口和四岔口的两个相位模型，图2(a)为三岔口相位一的交通状态，相位一中当东-西、西-东向交通流允许通行时，南向交通流禁止通行；图2(b)为三岔口相位二的交通状态，相位二中当东-西、西-东向交通流禁止通行时，南向交通流拥有通行权；图3(a)为四岔口相位一的交通状态，相位一中当东-西、西-东向交通流拥有通行权时，南-北、北-南向交通流禁止通行；图3(b)为四岔口相位二的交通状态，相位二当中东-西、西-东向交通流禁止通行时，南向交通流拥有通行权；

步骤4.2、区域学习智能体根据状态选择对应的各交叉口信号即动作来进行区域信号控制，相位信号及协同控制区域动作空间集合如下所示:

A^j＝{a^j ₁,a^j ₂...a^j _i∈{0,1}|i＝1,2,3...I；j＝1,2,3...J}

式中，phase(t)是指在t时刻对某相位设置的绿灯信号，表示允许该相位上交通流通行，A^j为协同区域j的动作空间，a_i为协同区域j内的交叉口i的动作，在动作空间中，0表示相位一为绿灯信号、相位二上为红灯信号，1表示相位一为红灯信号、相位二上为绿灯信号；

步骤4.3、利用累计奖惩值函数更新Q值表，区域Q值表的更新公式如下所示：

式中，Q_t-1(s,a)为t-1时刻的Q值,Q_t(s,a)为t时刻的Q值，α为学习率，α越大，Q值的收敛速度越快，γ为折扣因子，用来确定延迟奖赏值和立即奖赏值的相对比例，0≤γ≤1，r_t(s,a)为在t时刻的环境状态s下选择动作ɑ的奖惩值,为t-1时刻环境状态S下对应动作α′的最大Q值，N为区域内车辆数量,T_n表示车辆n在区域内的行驶时间，r_t-1为t-1时刻的立即奖惩值，r_t为从t-1时刻到t时刻区域学习智能体Agent执行动作后的评价值；

步骤4.4、通过Boltzmann探索选择策略进行学习并更新Q值，具体公式如下：

式中，A为动作空间，τ是温控参数，通过τ值的调整控制区域智能体的学习速度，τ值在一定时间后逐步增大，以便使Q值经过充分的知识经验累积后进行自适应学习，p[a/s]为在状态s下选择动作a的概率；

步骤5：重复步骤3进行区域范围内的协同控制，直至信号控制结束。

Claims (4)

1.一种基于协同优化的交通信号配时方法，其特征在于：包括以下步骤：

步骤1、对路网中相邻的交叉口进行关联性评价；

步骤1.1、交通信息中心根据地理信息库中的路网信息采集各道路历史交通车流量和相邻交叉口间的路段距离，所述交通信息中心地理信息库包括车辆信息表、实时交通信息表以及各协同控制区域的Q值表；

步骤1.2、利用采集到的历史交通流量和交叉口间路段的距离，对相邻交叉口间的关联性进行评价，其公式如下：

W_ij＝αNor(f_ij)+β(1-Nor(l_ij))

式中，W_ij为i,j两交叉口间的关联性，f_ij为i,j两顶点间累计的历史交通车流量，i_ij为i,j两顶点的路段距离，Nor(x)表示对变量x进行归一化处理，其中x＝f_ij或l_ij，参数α、β分别为历史交通流和距离在关联性分析时的比例；

步骤2、利用SCAN聚类方法划分交通网络：

以相邻交叉口间的关联性W_ij作为相邻节点间的权重，利用SCAN聚类方法，将交络中的交叉口节点即信号灯划分为若干个相互独立的簇；

步骤3、初始化各簇的Q值表：

每个簇作为一个区域学习智能体，有对应的Q值表，对每个Q值表以及Q的学习参数进行初始化处理，所述Q值为历史动作奖惩值的累计；

步骤4、协同控制区域学习智能体，并根据当前区域的交通状态，对区域内的交通信号进行协同控制，具体步骤如下：

步骤4.1、交通相位是指在一个周期内，交叉口上某一个或几个方向的道路上交通流具有通行的权利以及绿灯时间，而另外一些方向上的交通流禁止通行，相位一表示东西方向交通流获得通行权，南北方向交通流处于等待、阻塞状态；相位二则与相位一相反，南北方向交通流获得车辆通行权，交通信号为绿灯，东西方向交通信号为红灯，区域学习智能体从交通信息中心获取当前区域内的交通状态，进行状态等级评价，评价公式如下所示：

式中，ρ₁(t)为区域内交叉口相位一车道上的车辆饱和度，ρ₂(t)为区域内交叉口相位二车道上的车辆饱和度，s_i(t)为在t时刻区域内交叉口j的交通状态，i∈{1,2,、...I}，I为区域j信号灯个数，S^j(t)为在t时刻区域交叉口j内的所有交通状态，j∈{1,2,、...J}，J为聚类后的区域个数，当交叉口相位一的饱和度大于等于相位二的饱和度时，交叉口交通状态为0，否则为1；

步骤4.2、区域学习智能体根据状态选择对应的各交叉口信号来进行区域信号控制，所述交叉口信号即为动作信号，所述相位信号及协同控制区域动作空间集合如下所示:

A^j＝{a^j ₁,a^j ₂...a^j _i∈{0,1}i＝1,2,3...I；j＝1,2,3...J}

式中，phase(t)是指在t时刻对某相位设置的绿灯信号，表示允许该相位上交通流通行，A^j为协同区域j的动作空间，a_i为协同区域j内的交叉口i的动作，在动作空间中，0表示相位一为绿灯信号、相位二上为红灯信号，1表示相位一为红灯信号、相位二上为绿灯信号；

步骤4.3、利用累计奖惩值函数更新Q值表，区域Q值表的更新公式如下所示：

式中，Q_t-1(s,a)为t-1时刻的Q值,Q_t(s,a)为t时刻的Q值；α为学习率，γ为折扣因子；r_t(s,a)为在t时刻的环境状态s下选择动作ɑ的奖惩值,为t-1时刻环境状态S′下对应动作α′的最大Q值；

步骤4.4、通过Boltzmann探索选择策略进行学习并更新Q值，具体公式如下：

式中，A为动作空间，τ是温控参数，p[a/s]为在状态s下选择动作a的概率；

步骤5：重复步骤4进行区域范围内的协同控制，直至信号控制结束。

2.根据权利要求1所述的一种基于协同优化的交通信号配时方法，其特征在于，所述交通信息中心数据库内Q值表的数据包括Action_id和Q_value，所述Action_id为交通区域信号的动作空间集合A中每个动作的编号，所述Q_value为每个动作对应的Q值。

3.根据权利要求1所述的一种基于协同优化的交通信号配时方法，其特征在于，所述交通信息中心数据库内车辆信息表中数据包括Vehicleid、Current_roadid、Time和Speed，所述Vehicleid为车辆的车牌号，Current_roadid为车辆当前时刻所在的道路编号，Time为当前时刻，Speed为当前时刻车辆的速度。

4.根据权利要求1所述的一种基于协同优化的交通信号配时方法，其特征在于，所述交通信息中心数据库内实时交通信息表中数据包括Vehicleid、Roadid、Length、Traveling_time、Areaid和areasize，其中，所述Vehicleid为车辆的车牌号，Roadid为路段的编号，Roadid_Length为路段的长度，Traveling time为车辆通过该路段的行驶时间，Areaid为信号协同控制区域的的编号，Areaid size是区域内交通信号个数。