CN116030645A - 信号交叉口混合交通流环境车辆轨迹与信号协调控制方法 - Google Patents

Abstract

本发明提出了信号交叉口混合交通流环境车辆轨迹与信号协调控制方法，所述方法包括如下步骤：(1)通过路侧单元设施收集信号交叉口区域内的车辆信息和信号信息；(2)将信号交叉口区域划分为观测区和控制区，通过车辆信息对控制区内的车辆进行动力学建模；(3)通过控制智能网联车辆将混合交通流车辆划分为智能网联车引导的车辆编队，并保持编队稳定；(4)基于当前信号状态，以最小化交通延误和交通风险为目标设置目标函数，对编队的轨迹进行求解；(5)基于深度强化学习算法，计算出当前交叉口交通状态下的最优相位。本发明可以根据信号交叉口的实时交通状态，控制混合交通流组成编队，能够快速准确地实现信号自适应优化，减少其中的计算量，能够提高混合交通流环境下信号交叉口的交通效率和安全性能。

Description

信号交叉口混合交通流环境车辆轨迹与信号协调控制方法

技术领域

本发明涉及交通安全和交通控制领域，尤其涉及信号交叉口混合交通流环境车辆轨迹与信号协调控制方法。

背景技术

交叉口是道路交通网络中的关键组成节点，来自不同方向的冲突车流需在交叉口共享有限的时间和空间资源，因此交叉口也通常是交通网络中的主要瓶颈节点，易发生交通堵塞和事故。传统的信号优化方法仅仅针对交通信号进行优化，无法提前对车流进行控制以达到平滑交通流的目的，仍会造成较大的交通振荡。随着智能网联车辆的出现，对进口道车辆的轨迹进行控制成为了可能。未来很长一段时间内，我国都将处于智能网联车辆和人工驾驶车辆混行的状态，因此通过智能网联车辆对人工驾驶汽车进行控制，根据实时信号状态以智能网联车辆引导的编队形式对车辆轨迹进行规划，基于车辆信息利用深度强化学习算法对信号进行优化，将会大幅减少信号交叉口的交通延误和交通冲突。现有的针对智能网联环境下的交叉口信号优化研究较少，鲜有的个别研究仅仅考虑了所有车辆均为智能网联车辆场景下的优化，且主要的优化目标为降低交叉口的延误，并未考虑因信号设置产生的潜在交通风险。因此现有方法不能得到科学合理精确可靠的信号优化结果，也不能指导工程实践中交通信号智慧控制和优化。

发明内容

本发明的目的在于：提供信号交叉口混合交通流环境车辆轨迹与信号协调控制方法，解决现有技术中交通优化只考虑智能网联车辆，优化结果不够合理精确的问题。

为实现上述目的，本发明提供如下技术方案：信号交叉口混合交通流环境车辆轨迹与信号协调控制方法，包括如下步骤：

S1、收集信号交叉口各走向车道的车辆信息、交通信号信息；基于路测单元设施收集信号交叉口的信号信息、以及该交叉口区域的车辆信息，统计交叉口各走向车道上车辆数量、车辆的位置、速度、以及各走向车道的信号配时；

S2、将信号交叉口区域按预设距离划分为观测区和控制区，所述控制区在车道停止线之前，基于实际交叉口交通信号信息对控制区内的智能网联车辆和人工驾驶车辆分别进行动力学建模，构建交通流模型；

S3、通过控制智能网联车辆将信号交叉口区域的车辆划分为智能网联车辆引导的车辆编队，并根据实时交通信号和交通状态对各车辆进行编队，同时根据编队中车辆的车间距计算相邻车辆的位置误差保持编队稳定；

S4、基于当前交通信号状态、以及步骤S3的车辆编队，以最小化交通延误和最低交通风险为目标构建目标函数并求解，获得编队轨迹；

S5、采用DDPG深度强化学习算法，在连续动作空间中计算信号定时计划，优化当前交叉口交通状态下的最优相位。

进一步地，前述的步骤S2中，采用最优速度模型对人工驾驶车辆进行建模，如下式：

其中，

表示第i辆车在t时刻的速度求导，即加速度；V[ε_i(t)]表示车辆的期望速度函数，ε_i(t)＝x_i-1-x_i为第i辆车和第i-1辆车之间的间隔，α_h和β_h表示驾驶人的反应参数。

进一步地，前述的步骤S2中，对智能网联车辆进行建模如下式：

其中，x_i(t)，v_i(t)，a_i(t)，u_i(t)分别代表第i辆车在t时刻的位置，速度，加速度和期望加速度，τ代表一阶惯性环节车辆控制器的惯性时间常数。

进一步地，前述的步骤S3中，根据实时交通信号和交通状态对各车辆进行编队，具体包括如下步骤S301至S305：

S301、判断进入控制区的目标智能网联车辆前方是否存在车辆，是则执行步骤S302；否则执行步骤S303；

S302、判断该目标智能网联车辆与前方距离最近车辆的车距是否超出预设检测范围，是则执行步骤S305；否则执行步骤S303；

S303、将该目标智能网联车辆与前方距离最近智能网联车辆进行通信，并判断前方车辆数目是否符合预设编队车辆数目，是则执行步骤S305；否则执行步骤S304；

S304、令该目标网联车辆追赶前车并加入前车的编队；

S305、将该目标网联车辆作为新编队的领头车辆，并于前方编队车辆保持预设编队距离。

进一步地，前述的步骤S3中，根据编队中车辆的车间距计算相邻车辆的位置误差保持编队稳定包括如下步骤：

S311、针对各个编队，根据车辆车间距计算车间距与期望车间距的误差如下式：

e_i(t)＝ε_i-x_d＝ε_i-(hv_i+l)

e_i,1(t)＝ε_i,1(t)-(i-1)x_d＝(x₁-x_i)-(i-1)x_d

其中，ε_i(t)＝x_i-1-x_i为第i辆车和第i-1辆车之间的间隔，ε_i,1(t)＝x₁-x_i为第i辆车和第1辆车之间的间隔，x_d为两车之间的期望间隔；

S312、计算第i辆车的位置误差如下式：

δ_i(t)＝λ₁e_i(t)+λ₂e_i,1(t)

其中，λ₁和λ₂是权重系数，满足λ₁+λ₂＝1，0＜λ₁＜1，0＜λ₂＜1；

S313、采用PID控制算法保证车辆编队系统的稳定性，PID控制器的输出信号为：

u_i(t)＝K₁δ_i'(t)+K₂∫δ_i(t)dt+K₃δ_i”(t)

U_i＝λ₁[K₁(v_i-1-v_i)+K₂(ε_i-x_d)+K₃(a_i-1-a_i)]

+λ₂[K₁(v₁-v_i)+K₂(ε_i,1-(i-1)x_d)+K₃(a₁-a_i)]

其中，δ_i'(t)是δ_i(t)的一阶导数，δ_i”(t)是δ_i'(t)的一阶导数，ε_i是第i辆车和第i-1辆车之间的间隔，K1是比例单元常数，K2是积分单元常数，K3是微分单元常数；

S314、根据拉普拉斯变换，导出频域范围内相邻车辆距离误差传递函数为：

其中，h为常数；τ代表一阶惯性环节车辆控制器的惯性时间常数，s指复频率，e_i(s)指拉普拉斯变换后得到的象函数；

S315、保持编队稳定，车辆编队满足如下公式：

其中，jω为复数的虚部。

进一步地，前述的步骤S4包括如下子步骤：

S401、将控制区到停止线之间进行位置标号为[0,S]，标记第i辆车进入控制区的时间为

初始速度为

第i辆车的轨迹为X_i；

S402、按如下公式计算信号交叉口的总延误为：

其中，

为第i车辆通过停止线S的时间，N为交叉路口全部车辆；v_max是指该道路的自由流速度。

S403、按如下公式计算信号交叉口的安全指数：

其中，E(Y)为每周期的预测追尾冲突数，V为每条车道的交通量，Z_j为其他的相关变量：车流冲击波面积A，排比率P，车流冲击波速度S，最大队列长度Q；a₁,a₂,b_j为模型参数；

S404、以最小化交通延误和最低交通风险为目标构建目标函数如下式：

minH,H＝k_dTD(X)+k_qQ+k_tE(Y)，

其中，TD(X)指总延误，Q指排队车辆数，E(Y)指单周期交通冲突数量，k_d，k_q和k_t指权重系数。

进一步地，前述的步骤S5包括如下子步骤：

S501、基于路侧控制器每隔Δt秒对信号交叉口的采集的交通状态，以该交通状态为Actor神经网络的输入，对应通过Critic神经网络输出关于信号灯相位及相序的Q值，并确定Q值最大的信号灯相位及相序；

S502、根据最大的信号灯相位及相序、以及车辆编队，对车辆编队的轨迹进行求解，并计算得出获得奖励R，并对原始Actor神经网络、Critic神经网络网络进行更新；

S503、计算出每个相位的最佳时间，限制每个相位的最小绿灯时间和最长等待时间，输入信号交叉口的交通状态，输出下一周期的相位和相序。

S504、判断输出的相位于实际交叉口的相位是否一致，是则在当前相位继续运行Δt，至下一次对相位和相序进行更新，否则使信号灯变换为绿灯g秒，并在g+Δt秒后重新对交通状态进行采集，确定下一时间步长的相位和相序。

相较于现有技术本发明具有以下有益效果：本发明所述的信号交叉口混合交通流环境车辆轨迹与信号协调控制方法，通过采集实际信号交叉口的交通信息，构建混合交通流模型，根据实时交通信号构建最小化问题对车辆编队的轨迹进行控制，利用DDPG深度强化学习算法对信号进行优化。本发明可以有效提高信号交叉口的通行效率，并且能够保障信号交叉口的安全性，提升了信号优化方法的准确性和可靠性，具有实际的工程运用价值。

附图说明

图1是本发明的方法流程图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

在本发明中参照附图来描述本发明的各方面，附图中示出了许多说明性实施例。本发明的实施例不局限于附图所述。应当理解，本发明通过上面介绍的多种构思和实施例，以及下面详细描述的构思和实施方式中的任意一种来实现，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。

如图1所示，本发明的流程图，包括如下步骤：

S1、基于路测单元设施收集信号交叉口的信号信息、以及该交叉口区域的车辆信息，统计交叉口各走向车道上车辆数量、车辆的位置、速度、以及各走向车道的信号配时；

S2、在信号交叉口区域按预设距离划分为观测区和控制区，所述控制区在车道停止线之前，基于实际交叉口交通信息对控制区内的智能网联车辆和人工驾驶车辆分别进行动力学建模，构建交通流模型，如下：

采用最优速度模型对人工驾驶车辆进行建模，如下式：

其中，

表示第i辆车在t时刻的速度求导，即加速度；V[ε_i(t)]表示车辆的期望速度函数，ε_i(t)＝x_i-1-x_i，表示车辆与前车之间的距离，α_h和β_h表示驾驶人的反应参数。

对智能网联车辆进行建模如下式：

其中，x_i(t)，v_i(t)，a_i(t)，u_i(t)分别代表第i辆车在t时刻的位置，速度，加速度和期望加速度。

S3、通过控制智能网联车辆将信号交叉口区域的车辆划分为智能网联车辆引导的车辆编队，并按照预设方法A根据实时交通信号和交通状态对各车辆进行编队，同时根据编队中车辆的车间距计算相邻车辆的位置误差保持编队稳定。方法A的具体步骤包括步骤S301至S305：

S301、判断进入控制区的目标智能网联车辆前方是否存在车辆，是则执行步骤S302；否则执行步骤S303；

S302、判断该目标智能网联车辆与前方距离最近车辆的车距是否超出预设检测范围，是则执行步骤S305；否则执行步骤S303；

S303、将该目标智能网联车辆与前方距离最近智能网联车辆进行通信，并判断前方车辆数目是否符合预设编队车辆数目，是则执行步骤S305；否则执行步骤S304；

S304、令该目标网联车辆追赶前车并加入前车的编队；

S305、将该目标网联车辆作为新编队的领头车辆，并于前方编队车辆保持预设编队距离。

步骤S3中，根据编队中车辆的车间距计算相邻车辆的位置误差保持编队稳定包括如下步骤：

S311、针对各个编队，根据车辆车间距计算车间距与期望车间距的误差如下式：

e_i(t)＝ε_i-x_d＝ε_i-(hv_i+l)

e_i,1(t)＝ε_i,1(t)-(i-1)x_d＝(x₁-x_i)-(i-1)x_d

其中，ε_i(t)＝x_i-1-x_i为第i辆车和第i-1辆车之间的间隔，ε_i,1(t)＝x₁-x_i为第i辆车和第1辆车之间的间隔；

S312、计算第i辆车的位置误差如下式：

δ_i(t)＝λ₁e_i(t)+λ₂e_i,1(t)

其中，λ₁和λ₂是权重系数，满足λ₁+λ₂＝1，0＜λ₁＜1，0＜λ₂＜1；

S313、采用PID控制算法保证车辆编队系统的稳定性，PID控制器是主要适用于基本上线性，且动态特性不随时间变化的系统，在本专利中是将车辆编队视为目标系统，用PID控制器的思想去控制编队的稳定性，PID指的是Proportion IntegrationDifferentiation，比例-积分-微分控制器，PID控制器的输出信号为：

u_i(t)＝K₁δ_i'(t)+K₂∫δ_i(t)dt+K₃δ_i”(t)

U_i＝λ₁[K₁(v_i-1-v_i)+K₂(ε_i-x_d)+K₃(a_i-1-a_i)]

+λ₂[K₁(v₁-v_i)+K₂(ε_i,1-(i-1)x_d)+K₃(a₁-a_i)]

其中，δ_i'(t)是δ_i(t)的一阶导数，δ_i”(t)是δ_i'(t)的一阶导数，ε_i是第i辆车和第i-1辆车之间的间隔，K1是比例单元常数，K2是积分单元常数，K3是微分单元常数；

S314、根据拉普拉斯变换，导出相邻车辆距离误差传递函数为：

其中，h为常数；τ代表一阶惯性环节车辆控制器的惯性时间常数，s指复频率，e_i(s)指拉普拉斯变换后得到的象函数；

S315、保持编队稳定，车辆编队满足如下公式：

其中，jw为复数的虚部。

S4、基于当前交通信号状态、以及步骤S3的车辆编队，以最小化交通延误和最低交通风险为目标构建目标函数并求解，获得编队轨迹。包括如下子步骤S401至步骤S404：

S401、将控制区到停止线之间进行位置标号为[0,S]，标记第i辆车进入控制区的时间为

初始速度为

第i辆车的轨迹为X_i；

S402、按如下公式计算信号交叉口的总延误为：

其中，

为第i车辆通过停止线S的时间，N为交叉路口全部车辆；v_max是指该道路的自由流速度；

S403、按如下公式计算信号交叉口的安全指数：

其中，E(Y)为每周期的预测追尾冲突数，V为每条车道的交通量，Z_j为其他的相关变量：车流冲击波面积A，排比率P，车流冲击波速度S，最大队列长度Q；a₁,a₂,b_j为模型参数；

S404、以最小化交通延误和最低交通风险为目标构建目标函数如下式：

minH,H＝k_dTD(X)+k_qQ+k_tE(Y)，

其中，TD(X)指总延误，Q指排队车辆数，E(Y)指单周期交通冲突数量，k_d，k_q和k_t指权重系数。

S5、采用DDPG深度强化学习算法，在连续动作空间中计算信号定时计划，优化当前交叉口交通状态下的最优相位。具体包括如下子步骤S501至步骤S504：

S501、基于路侧控制器每隔Δt秒对信号交叉口的采集的交通状态，以该交通状态为Actor神经网络的输入，对应通过Critic神经网络输出关于信号灯相位及相序的Q值，并确定Q值最大的信号灯相位及相序；

S502、根据最大的信号灯相位及相序、以及车辆编队，对车辆编队的轨迹进行求解，并计算得出获得奖励R，并对原始Actor神经网络、Critic神经网络网络进行更新；

S503、计算出每个相位的最佳时间，限制每个相位的最小绿灯时间和最长等待时间，输入信号交叉口的交通状态，输出下一周期的相位和相序。

S504、判断输出的相位于实际交叉口的相位是否一致，是则在当前相位继续运行Δt，至下一次对相位和相序进行更新，否则使信号灯变换为绿灯g秒，并在g+Δt秒后重新对交通状态进行采集，确定下一时间步长的相位和相序。

虽然本发明已以较佳实施例阐述如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (7)

1.信号交叉口混合交通流环境车辆轨迹与信号协调控制方法，其特征在于，包括如下步骤：

S1、收集信号交叉口各走向车道的车辆信息、交通信号信息；基于路测单元设施收集信号交叉口的信号信息、以及该交叉口区域的车辆信息，统计交叉口各走向车道上车辆数量、车辆的位置、速度、以及各走向车道的信号配时；

S2、将信号交叉口区域按预设距离划分为观测区和控制区，所述控制区在车道停止线之前，基于实际交叉口交通信号信息对控制区内的智能网联车辆和人工驾驶车辆分别进行动力学建模，构建交通流模型；

S3、通过控制智能网联车辆将信号交叉口区域的车辆划分为智能网联车辆引导的车辆编队，并根据实时交通信号和交通状态对各车辆进行编队，同时根据编队中车辆的车间距计算相邻车辆的位置误差保持编队稳定；

S4、基于当前交通信号状态、以及步骤S3的车辆编队，以最小化交通延误和最低交通风险为目标构建目标函数并求解，获得编队轨迹；

S5、采用DDPG深度强化学习算法，在连续动作空间中计算信号定时计划，优化当前交叉口交通状态下的最优相位。

2.根据权利要求1所述的信号交叉口混合交通流环境车辆轨迹与信号协调控制方法，其特征在于，步骤S2中，采用最优速度模型对人工驾驶车辆进行建模，如下式：

其中，

表示第i辆车在t时刻的速度求导，即加速度；V[ε_i(t)]表示车辆的期望速度函数，ε_i(t)＝x_i-1-x_i为第i辆车和第i-1辆车之间的间隔，α_h和β_h表示驾驶人的反应参数。

3.根据权利要求1所述的信号交叉口混合交通流环境车辆轨迹与信号协调控制方法，其特征在于，步骤S2中，对智能网联车辆进行建模如下式：

其中，x_i(t)，v_i(t)，a_i(t)，u_i(t)分别代表第i辆车在t时刻的位置，速度，加速度和期望加速度，τ代表一阶惯性环节车辆控制器的惯性时间常数。

4.根据权利要求3所述的信号交叉口混合交通流环境车辆轨迹与信号协调控制方法，其特征在于，步骤S3中，根据实时交通信号和交通状态对各车辆进行编队，具体包括如下步骤S301至S305：

S301、判断进入控制区的目标智能网联车辆前方是否存在车辆，是则执行步骤S302；否则执行步骤S303；

S302、判断该目标智能网联车辆与前方距离最近车辆的车距是否超出预设检测范围，是则执行步骤S305；否则执行步骤S303；

S303、将该目标智能网联车辆与前方距离最近智能网联车辆进行通信，并判断前方车辆数目是否符合预设编队车辆数目，是则执行步骤S305；否则执行步骤S304；

S304、令该目标网联车辆追赶前车并加入前车的编队；

S305、将该目标网联车辆作为新编队的领头车辆，并于前方编队车辆保持预设编队距离。

5.根据权利要求4所述的信号交叉口混合交通流环境车辆轨迹与信号协调控制方法，其特征在于，步骤S3中，根据编队中车辆的车间距计算相邻车辆的位置误差保持编队稳定包括如下步骤：

S311、针对各个编队，根据车辆车间距计算车间距与期望车间距的误差如下式：

e_i(t)＝ε_i-x_d＝ε_i-(hv_i+l)

e_i,1(t)＝ε_i,1(t)-(i-1)x_d＝(x₁-x_i)-(i-1)x_d

其中，ε_i(t)＝x_i-1-x_i为第i辆车和第i-1辆车之间的间隔，ε_i,1(t)＝x₁-x_i为第i辆车和第1辆车之间的间隔，x_d为两车之间的期望间隔；

S312、计算第i辆车的位置误差如下式：

δ_i(t)＝λ₁e_i(t)+λ₂e_i,1(t)

其中，λ₁和λ₂是权重系数，满足λ₁+λ₂＝1，0＜λ₁＜1，0＜λ₂＜1；

S313、采用PID控制算法保证车辆编队系统的稳定性，PID控制器的输出信号为：

u_i(t)＝K₁δ_i'(t)+K₂∫δ_i(t)dt+K₃δ_i”(t)

U_i＝λ₁[K₁(v_i-1-v_i)+K₂(ε_i-x_d)+K₃(a_i-1-a_i)]+λ₂[K₁(v₁-v_i)+K₂(ε_i,1-(i-1)x_d)+K₃(a₁-a_i)]

其中，δ_i'(t)是δ_i(t)的一阶导数，δ_i”(t)是δ_i'(t)的一阶导数，ε_i是第i辆车和第i-1辆车之间的间隔，K1是比例单元常数，K2是积分单元常数，K3是微分单元常数；

S314、根据拉普拉斯变换，导出频域范围内相邻车辆距离误差传递函数为：

其中，h为常数；τ代表一阶惯性环节车辆控制器的惯性时间常数，s指复频率，e_i(s)指拉普拉斯变换后得到的象函数；

S315、保持编队稳定，车辆编队满足如下公式：

其中，jω为复数的虚部。

6.根据权利要求5所述的信号交叉口混合交通流环境车辆轨迹与信号协调控制方法，其特征在于，步骤S4包括如下子步骤：

S401、将控制区到停止线之间进行位置标号为[0,S]，标记第i辆车进入控制区的时间为

初始速度为

第i辆车的轨迹为X_i；

S402、按如下公式计算信号交叉口的总延误为：

其中，

为第i车辆通过停止线S的时间，N为交叉路口全部车辆；v_max是指该道路的自由流速度。

S403、按如下公式计算信号交叉口的安全指数：

其中，E(Y)为每周期的预测追尾冲突数，V为每条车道的交通量，Z_j为其他的相关变量：车流冲击波面积A，排比率P，车流冲击波速度S，最大队列长度Q；a₁,a₂,b_j为模型参数；

S404、以最小化交通延误和最低交通风险为目标构建目标函数如下式：

minH,H＝k_dTD(X)+k_qQ+k_tE(Y)，

其中，TD(X)指总延误，Q指排队车辆数，E(Y)指单周期交通冲突数量，k_d，k_q和k_t指权重系数。

7.根据权利要求1所述的信号交叉口混合交通流环境车辆轨迹与信号协调控制方法，其特征在于，步骤S5包括如下子步骤：

S501、基于路侧控制器每隔Δt秒对信号交叉口的采集的交通状态，以该交通状态为Actor神经网络的输入，对应通过Critic神经网络输出关于信号灯相位及相序的Q值，并确定Q值最大的信号灯相位及相序；

S502、根据最大的信号灯相位及相序、以及车辆编队，对车辆编队的轨迹进行求解，并计算得出获得奖励R，并对原始Actor神经网络、Critic神经网络网络进行更新；

S503、计算出每个相位的最佳时间，限制每个相位的最小绿灯时间和最长等待时间，输入信号交叉口的交通状态，输出下一周期的相位和相序。

S504、判断输出的相位于实际交叉口的相位是否一致，是则在当前相位继续运行Δt，至下一次对相位和相序进行更新，否则使信号灯变换为绿灯g秒，并在g+Δt秒后重新对交通状态进行采集，确定下一时间步长的相位和相序。

Images