CN106373410A - 一种城市交通信号优化控制方法 - Google Patents

一种城市交通信号优化控制方法 Download PDF

Info

Publication number
CN106373410A
CN106373410A CN201610836045.1A CN201610836045A CN106373410A CN 106373410 A CN106373410 A CN 106373410A CN 201610836045 A CN201610836045 A CN 201610836045A CN 106373410 A CN106373410 A CN 106373410A
Authority
CN
China
Prior art keywords
traffic
camera
discrete
crossing
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610836045.1A
Other languages
English (en)
Other versions
CN106373410B (zh
Inventor
宋婷婷
张震
薛斌强
何文雪
张彩虹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University
Original Assignee
Qingdao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University filed Critical Qingdao University
Priority to CN201610836045.1A priority Critical patent/CN106373410B/zh
Publication of CN106373410A publication Critical patent/CN106373410A/zh
Application granted granted Critical
Publication of CN106373410B publication Critical patent/CN106373410B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/07Controlling traffic signals
    • G08G1/08Controlling traffic signals according to detected number or speed of vehicles

Abstract

一种城市交通信号优化控制方法,属于自动控制领域,包括:步骤1,选择控制方案,定义交通状态、瞬时路口收益和控制动作;步骤2,采样阶段采用感应控制,在每个采样时刻把交通摄像头拍摄的图像和相位并发送至服务器;步骤3,服务器从图像中提取交通状态并计算瞬时路口收益;步骤4,服务器计算每个离散交通状态出现的概率和路口收益,通过最大化路口平均收益得到最优控制策略并将其发送至路口机;步骤5,路口机设置交通信号控制器的控制策略为步骤4获得的策略,设置决策周期等于采样周期;步骤6,交通信号控制器从路口机获取离散交通状态,查询控制策略,把控制动作发送至路口机执行;能够提高较长时间段内路口交通的平均性能指标。

Description

一种城市交通信号优化控制方法
技术领域
[0001] 本发明涉及自动控制技术领域。
背景技术
[0002] 目前,我国采用的城市交通信号控制方法为定时控制和感应控制,但是定时控制 无法做到根据实时交通状况切换控制动作,而感应控制策略又不够灵活,因此交通信号控 制策略尚有很大的改进余地。
[0003] 马尔可夫链可用于交通信号控制问题的建模和优化。如果设定一个较短的单位时 间步长,路口当前时刻的交通状态可以认为只和前一时刻的交通状态和采取的控制动作有 关,因此交通状态的迀移可以看成一个马尔可夫链。每个时刻路口都会处于一个交通状态, 每个交通状态下获得的收益为路口拥堵程度的倒数,如果交通状态空间中的任意两个状态 都是可达的,那么可以计算路口处于每个交通状态的概率,然后计算路口的平均收益。使路 口平均收益最大的控制策略就是最优策略。该方法无需在实际控制过程中进行试错,避免 了在线学习可能引发的交通安全问题。
发明内容
[0004] 本发明的目的在于提高较长时间段内路口交通的平均性能指标,而不是某一个或 几个交通信号周期内的性能指标,最终目的是通过优化交通信号控制器的控制策略提高城 市路口车辆的通过率,并且降低平均延误。
[0005] 本发明先使用感应控制方法对路口交通信号进行控制,每隔一段较短的单位时 间,第一交通摄像头(1)、第二交通摄像头(2)、第三交通摄像头(3)、第四交通摄像头(4)、第 五交通摄像头(5)、第六交通摄像头(6)、第七交通摄像头(7)、第八交通摄像头(8)、和第九 交通摄像头(9)、第十交通摄像头(10)、第十一交通摄像头(11)、第十二交通摄像头(12)拍 摄图像并发送给路口机,路口机保存图像并从图像中提取车辆排队长度信息,将车辆排队 长度表示的交通状态发送给交通信号控制器进行感应控制。同时,路口机也记录交通信号 控制器的当前相位。每个采样时刻的图像和相位共同构成学习所需的样本。每当获取一个 样本之后,路口机将样本发送至服务器。服务器每接收到一个样本之后,就从样本图像中提 取车辆排队长度信息。当服务器接收到预定数目的样本并提取出每个样本图像的车辆排队 长度后,就开始对车辆排队长度进行离散化,得到离散交通状态,然后通过最大化路口的平 均收益求解最优控制策略,并将优化好的控制策略发送至路口机,路口机再把优化好的控 制策略保存到交通信号控制器,并且设置交通信号控制器的控制策略为服务器优化好的控 制策略,并且把决策周期设置为等同于采样周期,每个决策时刻,路口机接收第一交通摄像 头(1)、第二交通摄像头(2)、第三交通摄像头(3)、第四交通摄像头(4)、第五交通摄像头 (5)、第六交通摄像头(6)、第七交通摄像头(7)、第八交通摄像头(8)、和第九交通摄像头 (9)、第十交通摄像头(10)、第十一交通摄像头(11)、第十二交通摄像头(12)拍摄的图像并 从中提取交通状态,把交通状态离散化之后发送至交通信号控制器,交通信号控制器接收 离散交通状态并查询策略选择合适的控制动作供路口机执行。
[0006] 本发明提出一种城市交通信号优化控制方法,包括以下步骤:
[0007] 步骤1,选择待优化的信号控制方案为固定相序控制,定义交通状态为当前相位的 车辆排队长度和下一相位的车辆排队长度,定义瞬时路口收益为处于红灯相位的车辆排队 长度的均值的倒数,定义控制动作为保持当前相位或切换到下一相位,定义控制策略为每 个离散交通状态应该执行的控制动作;
[0008] 步骤2,在采样阶段,路口机设置交通信号控制器的控制策略为感应控制,并且设 置交通信号控制器的最小绿灯时间、最大绿灯时间为采样周期的正整数倍,单位绿灯延长 时间与采样周期相同,每个采样时刻所处的相位、第一交通摄像头(1)、第二交通摄像头 (2)、第三交通摄像头(3)、第四交通摄像头⑷、第五交通摄像头(5)、第六交通摄像头(6)、 第七交通摄像头(7)、第八交通摄像头(8)、和第九交通摄像头(9)、第十交通摄像头(10)、第 十一交通摄像头(11)、第十二交通摄像头(12)拍摄的图像和控制动作构成一个样本,在每 个采样时刻,第一交通摄像头(1)、第二交通摄像头(2)、第三交通摄像头(3)、第四交通摄像 头(4)、第五交通摄像头(5)、第六交通摄像头(6)、第七交通摄像头(7)、第八交通摄像头
[8] 、和第九交通摄像头(9)、第十交通摄像头(10)、第十一交通摄像头(11)、第十二交通摄 像头(12)和交通信号控制器选择的控制动作发送至路口机,路口机从图像中提取交通状态 发送给交通信号控制器用于感应控制,然后把样本发送给服务器;
[0009] 步骤3,服务器每接收到一个样本后,根据样本中的当前相位,从相关图像中提取 交通状态,然后对交通状态进行离散化,得到离散交通状态,计算并保存离散交通状态对应 的瞬时路口收益;
[0010] 步骤4,当服务器接收到预定数目的样本后,根据每个离散交通状态下的瞬时路口 收益计算每个离散交通状态下的路口收益,计算离散交通状态转移概率,根据离散交通状 态转移概率计算路口处于每个离散交通状态的概率,路口平均收益为每个离散交通状态下 的路口收益乘以每个离散交通状态出现的概率的加和,最大化路口平均收益得到最优控制 策略;
[0011] 步骤5,服务器把步骤4获得的最优控制策略发送至路口机,路口机再把最优控制 策略保存到交通信号控制器,设置交通信号控制器的控制策略为最优控制策略,把决策周 期设置为等同于采样周期;
[0012] 步骤6,在每个决策时刻,路口机接收第一交通摄像头(1)、第二交通摄像头(2)、第 三交通摄像头(3)、第四交通摄像头⑷、第五交通摄像头(5)、第六交通摄像头(6)、第七交 通摄像头(7)、第八交通摄像头(8)、和第九交通摄像头(9)、第十交通摄像头(10)、第十一交 通摄像头(11)、第十二交通摄像头(12)拍摄的图像并从中提取交通状态,然后使用步骤3中 服务器所使用的离散化方法把交通状态进行离散化,把离散交通状态发送至交通信号控制 器,交通信号控制器接收离散交通状态并查询策略选择合适的控制动作供路口机执行。
[0013] 本发明较现有技术所具有的优点:
[0014] 离散交通状态转移的过程可以近似看成是一个马尔科夫链。并且,离散交通状态 转移矩阵中不存在吸收态,从任何一个离散交通状态开始,都有可能到达另外一个离散交 通状态,因此任何两个离散交通状态是可达的,利用这一特性,可以根据离散交通状态转移 矩阵计算每一个离散交通状态出现的概率,再利用每个离散交通状态的路口收益求出路口 平均收益。而离散交通状态转移矩阵与控制策略是有关的,因此可以建立起控制策略与平 稳分布的关系,进而建立起控制策略与路口平均收益的关系。与其他方法相比,本发明提出 的方法针对离散交通状态转移的可达性对控制策略进行优化,在一段较长时间内看,所得 控制策略能更好地提高路口车辆通行率,降低平均延误。
附图说明
[0015] 图1为城市路口交通信号控制原理图。
[0016] 图2为一种城市交通信号优化控制方法流程图。
[0017] 1、第一交通摄像头;2、第二交通摄像头;3、第三交通摄像头;4、第四交通摄像头; 5、第五交通摄像头;6、第六交通摄像头;7、第七交通摄像头;8、第八交通摄像头;9、第九交 通摄像头;10、第十交通摄像头;11、第i 交通摄像头;12、第十二交通摄像头;13、第一悬 梁;14、第二悬梁;15、第三悬梁;16、第四悬梁;17、车道一;18、车道二;19、车道三;20、车道 四;21、车道五;22、车道六;23、车道七;24、车道八;25、车道九;26、车道十;27、车道^^一 ; 28、车道十二。
具体实施方式
[0018] 为使本发明的目的、技术方案和优点更加清楚,下面参照附图,对本发明作进一步 详细说明。
[0019] 图1中,第一交通摄像头1、第二交通摄像头2和第三交通摄像头3安置于第一悬梁 13,第四交通摄像头4、第五交通摄像头5和第六交通摄像头6安置于第二悬梁14,第七交通 摄像头7、第八交通摄像头8和第九交通摄像头9安置于第三悬梁15,第十交通摄像头10、第 十一交通摄像头11和第十二交通摄像头12安置于第四悬梁16。
[0020] 第一交通摄像头1负责检测车道一 17的车辆排队长度,第二交通摄像头2负责检测 车道二18的车辆排队长度,第三交通摄像头3负责检测车道三19的车辆排队长度,第四交通 摄像头4负责检测车道四20的车辆排队长度,第五交通摄像头5负责检测车道五21的车辆排 队长度,第六交通摄像头6负责检测车道六22的车辆排队长度,第七交通摄像头7负责检测 车道七23的车辆排队长度,第八交通摄像头8负责检测车道八24的车辆排队长度,第九交通 摄像头9负责检测车道九25的车辆排队长度,第十交通摄像头10负责检测车道十26的车辆 排队长度,第十一交通摄像头11负责检测车道十一 27的车辆排队长度,第十二交通摄像头 12负责检测车道十二28的车辆排队长度。
[0021] 图2所示的一种城市交通信号优化控制方法流程图包括如下步骤:
[0022] 步骤1,选择待优化的信号控制方案为固定相序控制,定义交通状态、瞬时路口收 益、控制动作和控制策略。
[0023]下面以四对称相位的情况为例介绍固定相序控制,但本发明不限于使用四相位、 也不限于使用对称相位。相位1:允许车道一 17和车道四20上的车辆直行和右转,允许车道 二18和车道五21上的车辆直行;相位2:允许车道三19和车道六上22的车辆左转;相位3:允 许车道七23和车道十26上的车辆直行和右转,允许车道八24和车道十一 27上的车辆直行; 相位4:允许车道九25和车道十二28上的车辆左转。交通信号在每个时刻只能处于四个相位 中的一个,并且按照顺序依次执行。尽管相位顺序是固定的,每个相位的绿灯时长却不必固 定。定义控制动作为保持当前相位或切换到下一相位,如果当前相位为相位1,则经过10秒 后,交通信号控制器需要决策控制动作:保持相位1,或者切换到相位2,如果选择相位2,经 过10秒又要做出一次控制动作:保持相位2,或者切换到相位3,如果选择相位3,经过10秒又 要做出一次控制动作:保持相位3,或者切换到相位4,如果选择相位4,经过10秒又要做出一 次控制动作:保持相位4,或者切换到相位1 如此循环往复。定义所有相位的最小绿灯时 间为10秒,最大绿灯时间为60秒。
[0024] 定义每个相位的车辆排队长度为该相位所有车道的车辆排队长度的最大值,相位 1的车辆排队长度等于车道一 17、车道二18、车道四20和车道五21的车辆排队长度中的最大 值;相位2的车辆排队长度等于车道三19和车道六22的车辆排队长度中的最大值;相位3的 车辆排队长度等于车道七23、车道八24、车道十26和车道十一 27的车辆排队长度中的最大 值;相位4的车辆排队长度等于车道九25和车道十二28的车辆排队长度中的最大值。
[0025] 定义交通状态为当前相位和下一相位的车辆排队长度,车辆排队长度的检测范围 是0到90米。例如,如果当前相位为相位1,则当前交通状态由相位1和相位2的车辆排队长度 这两个变量组成的向量数据表示。
[0026] 定义瞬时路口收益r为采样时刻处于红灯相位的车辆排队长度的均值的倒数,按 如下公式计算:
Figure CN106373410AD00081
[0028] Ω表示所有处于红灯相位的车道编号的集合,1^表示车道i的车辆排队长度,m表 示当前等待红灯的车道数。
[0029] 步骤2,对控制动作和所有车道的车辆排队长度进行采样,并把样本发送至服务 器。
[0030] 在指定的典型时段进行采样,采样周期设置为10秒,每个采样时刻所处的相位、第 一交通摄像头1、第二交通摄像头2、第三交通摄像头3、第四交通摄像头4、第五交通摄像头 5、第六交通摄像头6、第七交通摄像头7、第八交通摄像头8、和第九交通摄像头9、第十交通 摄像头10、第十一交通摄像头11、第十二交通摄像头12和交通信号控制器选择的控制动作 构成一个样本,预设需要采集的样本数为9000。在采样阶段,路口机设置交通信号控制器的 控制策略为感应控制,并且设置交通信号控制器的决策周期、最小绿灯时间、最大绿灯时间 和单位绿灯延长时间为10秒。交通信号控制器每隔10秒按照下面的方法决策相位:当前相 位绿灯时间小于10秒时,保持当前相位;当前相位绿灯时间大于等于60秒时,切换到下一个 相位;当前相位绿灯时间大于等于10秒并且小于60秒时,如果当前相位有来车就延长绿灯 时间10秒,如果没有来车就直接切换到下一相位。交通信号控制器把控制动作发送至路口 机执行。在每个采样时刻,把第一交通摄像头1、第二交通摄像头2、第三交通摄像头3、第四 交通摄像头4、第五交通摄像头5、第六交通摄像头6、第七交通摄像头7、第八交通摄像头8、 和第九交通摄像头9、第十交通摄像头10、第十一交通摄像头11、第十二交通摄像头12拍摄 的图像和交通信号机选择的控制动作发送至路口机,路口机从图像中提取出交通状态,并 且把交通状态发送给交通信号控制器,供交通信号控制器判断当前相位有无来车,以进行 感应控制,然后路口机把样本发送至服务器。
[0031] 步骤3,对样本进行处理。
[0032] 服务器每接收到一个路口机发送过来的样本后,从第一交通摄像头1、第二交通摄 像头2、第三交通摄像头3、第四交通摄像头4、第五交通摄像头5、第六交通摄像头6、第七交 通摄像头7、第八交通摄像头8、和第九交通摄像头9、第十交通摄像头10、第十一交通摄像头 11、第十二交通摄像头12拍摄的图像中分别提取车道一 17至车道十二28的车辆排队长度。 如果样本中的当前相位是相位1,那么相位1和相位2的车辆排队长度组成的数据向量构成 交通状态。按照步骤1中的公式,此时的瞬时路口收益为r = SALs+U+LT+Ls+U+Lio+Ln+Lu)。 如果样本中的当前相位是相位2,那么相位2和相位3的车辆排队长度组成的数据向量构成 交通状态。按照步骤1中的公式,此时的路口收益为r = 10/ (L1+L2+L4+L5+L7+L8+L9+L1Q+L11+ L12)。如果样本中的当前相位是相位3,那么相位3和相位4的车辆排队长度组成的数据向量 构成交通状态。按照步骤1中的公式,此时的路口收益为r = SALi+U+Ls+I^+U+U+Lg+Lu)。 如果样本中的当前相位是相位4,那么相位4和相位1的车辆排队长度组成的数据向量构成 交通状态,按照步骤1中的公式,此时的路口收益为r = 10/ (L1+L2+L3+L4+L5+L6+L7+L8+L10+ L11) 〇
[0033] 提取出交通状态并计算交通状态对应的瞬时路口收益后,把样本整理成如下形式 的数据向量:(l,a,l',r),其中1表示某个采样时刻的连续的交通状态,a表示交通状态为1 时执行的控制动作,1'表示下一个采样时刻的连续的交通状态,r表示交通状态为Γ时的瞬 时路口收益。当前相位和下一相位的车辆排队长度的可检测范围都是0到90米,对交通状态 空间以30米为单位进行离散化,把交通状态空间均匀地划分为3 X 3 = 9个离散状态,把数据 向量(l,a,l',r)转化为(s,a,s',r),s是1对应的离散交通状态,s'是1'对应的离散交通状 ίέτ 〇
[0034] 步骤4,服务器接收到预定数目的样本后,使用样本优化控制策略。
[0035]当服务器接收到9000个样本后,开始优化控制策略。在单路口交通信号控制优化 问题中,共有9个离散状态,每个状态下有2个控制动作--ai表示保持当前相位,a2表示切 换到下一相位。服务器按照下列步骤得到最优控制策略:
[0036] 步骤a,计算每个离散交通状态对应的路口收益。路口收益矩阵R定义为R= [r(S1) r(S2)…r(S9)],其中si表不9个离散交通状态中的第i个离散交通状态,r(si)表不离散交 通状态为^时的路口收益,计算公式如下:
Figure CN106373410AD00091
[0038] 其中,等号右边的分子表示所有s'等于Si的样本(s,a,s',r)中的瞬时路口收益r 的和,化表示所有s'等于Sl的样本(s,a,s',r)的集合,|吣|表示集合N冲的元素个数。
[0039] 步骤b,计算离散交通状态的条件转移概率,矩阵Pi表示控制动作为&1时的离散交 通状态转移矩阵,矩阵P2表示控制动作为&2时的离散交通状态转移矩阵,定义如下:
Figure CN106373410AD00092
Figure CN106373410AD00101
[0042] 其中,矩阵元素 p (Sj I Sl,ak)是条件概率,表示处于离散交通状态Sl,执行控制动作 ak之后转移到状态~的概率。根据样本(s,a,s',r)计算丹和内。设置路口平均收益的最大值 Vmax等于0。
[0043] 步骤c,当前控制策略由矩阵Π :和矩阵Π 2表示,定义如下:
Figure CN106373410AD00102
[0045] 其中,Ji(Sl,ak)表示在离散状态81下执行动作祉的概率,取值只能为0和1,并且π (Si,ai) +31 (si,a2)的值必须等于1。如果是第一次执行步骤c,初始化Π 4ΡΠ 2,并且令Π \ = Π i,令Π ' 2 = Π 2,Π '挪Π ' 2保存的是最优控制策略,否则,Π 挪Π 2的取值必须与之前任 何一次执行步骤c时的Π#Ρ Π 2不同。
[0046] 步骤d,计算路口平均收益。
[0047] 先计算离散交通状态转移矩阵P,定义如下:
Figure CN106373410AD00103
[0049] 其中,p (& | Sl)是条件概率,表示处于离散交通状态Sl,10秒之后转移到状态以的 概率,计算公式如下:
[0050] Ρ = Ϋ,η,Ρί i=i
[0051] 然后计算每个离散交通状态出现的概率,设为X= [x(Sl)x(S2)…x(S9)],其中x (Sl)表示离散交通状态Sl出现的概率,只能取〇到1之间的实数,X根据以下方程求解:
Figure CN106373410AD00104
[0053] 路口平均收益V按照下列公式计算:
[0054] V = RXT
[0055] 其中,乂7表示矩阵X的转置。如果V大于Vmax,则令Vmax = V,并且令Π '1= Γ^,Π '2 =π 2否贝1J,Vmax,Π ' 4口 Π ' 2都保持不变。
[0056] 步骤e,如果Π :和Π 2的取值没有遍历结束,则返回步骤c,否则优化结束,此时得到 最优控制策略Π '#ΡΠ '2。
[0057] 步骤5,服务器把步骤4获得的最优控制策略Π '2发送至路口机,路口机再把 最优控制策略保存到交通信号控制器,并且设置交通信号控制器的控制策略为最优控制策 略,并且把决策周期设置为等同于采样周期10秒;
[0058] 步骤6,在每个决策时刻,路口机按照步骤3中的方法获取交通状态,然后使用步骤 3中离散化方法对交通状态进行离散化,把离散交通状态 81发送至交通信号控制器,交通信 号控制器接收离散交通状态后查询策略,然后根据下列公式选择控制动作a'
Figure CN106373410AD00111
如果= 1或者当前相位持续时间小于等于最小绿灯时间 如果;,〇2) = 1或者当前相位持续时间大于等于最大绿灯时间 [0060] 交通信号控制器把控制动作f发送至路口机执行,如果f等于ai,路口机使交通信 号保持当前相位,如果f等于a 2,路口机把交通信号切换到下一相位。

Claims (2)

1. 一种城市交通信号优化控制方法,其特征在于,包括以下步骤: 步骤1,选择待优化的信号控制方案为固定相序控制,定义交通状态为当前相位的车辆 排队长度和下一相位的车辆排队长度,定义瞬时路口收益为处于红灯相位的车辆排队长度 的均值的倒数,定义控制动作为保持当前相位或切换到下一相位,定义控制策略为每个离 散交通状态应该执行的控制动作; 步骤2,在采样阶段,路口机设置交通信号控制器的控制策略为感应控制,并且设置交 通信号控制器的最小绿灯时间、最大绿灯时间为采样周期的正整数倍,单位绿灯延长时间 与采样周期相同,每个采样时刻所处的相位、第一交通摄像头(1)、第二交通摄像头(2)、第 三交通摄像头(3)、第四交通摄像头⑷、第五交通摄像头(5)、第六交通摄像头(6)、第七交 通摄像头(7)、第八交通摄像头(8)、和第九交通摄像头(9)、第十交通摄像头(10)、第十一交 通摄像头(11)、第十二交通摄像头(12)拍摄的图像和控制动作构成一个样本,在每个采样 时刻,第一交通摄像头(1)、第二交通摄像头(2)、第三交通摄像头(3)、第四交通摄像头(4)、 第五交通摄像头(5)、第六交通摄像头(6)、第七交通摄像头(7)、第八交通摄像头(8)、和第 九交通摄像头(9)、第十交通摄像头(10)、第十一交通摄像头(11)、第十二交通摄像头(12) 和交通信号控制器选择的控制动作发送至路口机,路口机从图像中提取交通状态发送给交 通信号控制器用于感应控制,然后把样本发送给服务器; 步骤3,服务器每接收到一个样本后,根据样本中的当前相位,从相关图像中提取交通 状态,然后对交通状态进行离散化,得到离散交通状态,计算并保存离散交通状态对应的瞬 时路口收益; 步骤4,当服务器接收到预定数目的样本后,根据每个离散交通状态下的瞬时路口收益 计算每个离散交通状态下的路口收益,计算离散交通状态转移概率,根据离散交通状态转 移概率计算路口处于每个离散交通状态的概率,路口平均收益为每个离散交通状态下的路 口收益乘以每个离散交通状态出现的概率的加和,最大化路口平均收益得到最优控制策 略; 步骤5,服务器把步骤4获得的最优控制策略发送至路口机,路口机再把最优控制策略 保存到交通信号控制器,设置交通信号控制器的控制策略为最优控制策略,把决策周期设 置为等同于采样周期; 步骤6,在每个决策时刻,路口机接收第一交通摄像头(1)、第二交通摄像头(2)、第三交 通摄像头(3)、第四交通摄像头(4)、第五交通摄像头(5)、第六交通摄像头(6)、第七交通摄 像头(7)、第八交通摄像头⑶、和第九交通摄像头(9)、第十交通摄像头(10)、第十一交通摄 像头(11)、第十二交通摄像头(12)拍摄的图像并从中提取交通状态,然后使用步骤3中服务 器所使用的离散化方法把交通状态进行离散化,把离散交通状态发送至交通信号控制器, 交通信号控制器接收离散交通状态并查询策略选择合适的控制动作供路口机执行。
2. 如权利要求1所述的一种城市交通信号优化控制方法,其特征在于,步骤4所描述的 优化控制策略的方法如下: 步骤a,定义瞬时路口收益r为采样时刻处于红灯相位的车辆排队长度的均值的倒数, 按如下公式计算:
Figure CN106373410AC00031
其中,Ω表示所有处于红灯相位的车道编号的集合,Ll表示车道i的车辆排队长度,m表 示当前等待红灯的车道数; 定义样本为如下形式的数据向量:(s,a,s',r),其中s表示某个采样时刻的连续的交通 状态,a表示交通状态为s时执行的控制动作,s'表示下一个采样时刻的连续的交通状态,r 表示交通状态为s'时的瞬时路口收益; 计算每个离散交通状态对应的路口收益,一共有9个离散交通状态,路口收益矩阵R定 义为R=[r(S1) r(s2) •••rkg)],其中Si表示9个离散交通状态中第i个离散交通状态,r (Sl)表示离散交通状态为Sl时的路口收益,计算公式如下:
Figure CN106373410AC00032
其中,等号右边的分子表示所有s'等于si的样本(s,a, s',r)中的瞬时路口收益r的和, 吣表示所有s'等于Sl的样本(s,a,s',r)的集合,|吣|表示集合吣中的元素个数; 步骤b,计算离散交通状态的条件转移概率,矩阵?:表示控制动作为&1时的离散交通状 态转移矩阵,矩阵P2表示控制动作为&2时的离散交通状态转移矩阵,定义如下:
Figure CN106373410AC00033
其中,矩阵元素 P I Sl,ak)是条件概率,表示处于离散交通状态Sl,执行控制动作a k之 后转移到状态s」的概率,根据样本(s,a,s',r)计算丹和内,设置路口平均收益的最大值Vmax 等于〇; 步骤C,当前控制策略由矩阵π i和矩阵Π 2表示,定义如下:
Figure CN106373410AC00034
其中,3T(Sl,ak)表示在离散状态81下执行动作ak的概率,取值只能为0和1,并且3T( Sl,ai) +31 (Si,a2)的值必须等于1,如果是第一次执行步骤c,初始化Π :和Π 2,并且令Π ' : = Π :,令 Π ' 2= Π2,Π '雨Π ' 2保存的是最优控制策略,否则,Π 挪Π 2的取值必须与之前任何一次 执行步骤c时的Π :和Π 2不同; 步骤d,计算路口平均收益,先计算离散交通状态转移矩阵P,定义如下:
Figure CN106373410AC00041
其中,P (Sj I Sl)是条件概率,表示处于离散交通状态Sl,10秒之后转移到状态~的概率, 计算公式如下:
Figure CN106373410AC00042
然后计算每个离散交通状态出现的概率,设为X=[x(S1) x(S2)…x(S9)],其中x(Sl) 表示离散交通状态Sl出现的概率,只能取0到1之间的实数,X根据以下方程求解:
Figure CN106373410AC00043
路口平均收益V按照下列公式计算: V = RXT 其中,乂7表示矩阵X的转置。如果V大于Vmax,则令Vmax = V,并且令Π ' : = Π:,Π ' 2 = Π 2 否则,Vmax,Π ' :和Π ' 2都保持不变; 步骤e,如果Π :和Π 2的取值没有遍历结束,则返回步骤c,否则优化结束,此时得到最优 控制策略Π '#ΡΠ '2。
CN201610836045.1A 2016-09-21 2016-09-21 一种城市交通信号优化控制方法 Expired - Fee Related CN106373410B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610836045.1A CN106373410B (zh) 2016-09-21 2016-09-21 一种城市交通信号优化控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610836045.1A CN106373410B (zh) 2016-09-21 2016-09-21 一种城市交通信号优化控制方法

Publications (2)

Publication Number Publication Date
CN106373410A true CN106373410A (zh) 2017-02-01
CN106373410B CN106373410B (zh) 2018-12-21

Family

ID=57897818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610836045.1A Expired - Fee Related CN106373410B (zh) 2016-09-21 2016-09-21 一种城市交通信号优化控制方法

Country Status (1)

Country Link
CN (1) CN106373410B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111627241A (zh) * 2020-05-27 2020-09-04 北京百度网讯科技有限公司 用于生成车辆排队信息的方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542818A (zh) * 2012-01-13 2012-07-04 吉林大学 一种基于有机计算的区域边界交通信号协调控制方法
US20130197790A1 (en) * 2012-01-31 2013-08-01 Taif University Method and system for traffic performance analysis, network reconfiguration, and real-time traffic monitoring
CN103413443A (zh) * 2013-07-03 2013-11-27 太原理工大学 基于隐马尔科夫模型的短时交通流状态预测方法
CN103985261A (zh) * 2014-04-21 2014-08-13 东南大学 基于车辆排队长度测算的交通信号灯控制方法及系统
CN104900070A (zh) * 2015-05-18 2015-09-09 东莞理工学院 一种交叉路口车流建模及自适应控制方法及系统
CN105118308A (zh) * 2015-10-12 2015-12-02 青岛大学 基于聚类强化学习的城市道路交叉口交通信号优化方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542818A (zh) * 2012-01-13 2012-07-04 吉林大学 一种基于有机计算的区域边界交通信号协调控制方法
US20130197790A1 (en) * 2012-01-31 2013-08-01 Taif University Method and system for traffic performance analysis, network reconfiguration, and real-time traffic monitoring
CN103413443A (zh) * 2013-07-03 2013-11-27 太原理工大学 基于隐马尔科夫模型的短时交通流状态预测方法
CN103985261A (zh) * 2014-04-21 2014-08-13 东南大学 基于车辆排队长度测算的交通信号灯控制方法及系统
CN104900070A (zh) * 2015-05-18 2015-09-09 东莞理工学院 一种交叉路口车流建模及自适应控制方法及系统
CN105118308A (zh) * 2015-10-12 2015-12-02 青岛大学 基于聚类强化学习的城市道路交叉口交通信号优化方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111627241A (zh) * 2020-05-27 2020-09-04 北京百度网讯科技有限公司 用于生成车辆排队信息的方法和装置

Also Published As

Publication number Publication date
CN106373410B (zh) 2018-12-21

Similar Documents

Publication Publication Date Title
CN106652458B (zh) 基于虚拟车辆轨迹重构的在线城市道路路径行程时间估计方法
CN104077613B (zh) 一种基于级联多级卷积神经网络的人群密度估计方法
CN104464310B (zh) 城市区域多交叉口信号协同优化控制方法及系统
Tao et al. An object detection system based on YOLO in traffic scene
CN104809895B (zh) 相邻交叉口的干道协调控制模型及其优化方法
CN108470461B (zh) 一种交通信号控制器控制效果在线评价方法及系统
CN111243271A (zh) 一种基于深度循环q学习的单点交叉口信号控制方法
CN107609502A (zh) 用于控制无人驾驶车辆的方法和装置
CN111583675B (zh) 一种区域路网交通信号灯协调控制系统和方法
CN110570672B (zh) 一种基于图神经网络的区域交通信号灯控制方法
CN110837778A (zh) 一种基于骨架关节点序列的交警指挥手势识别方法
WO2021051870A1 (zh) 基于强化学习模型的信息控制方法、装置和计算机设备
CN108257416A (zh) 路径规划的方法、装置和系统
WO2021073526A1 (zh) 一种基于轨迹数据的信号控制时段划分方法
CN111881557A (zh) 基于道路平均速度的车流仿真方法
CN112669629A (zh) 一种基于深度强化学习的实时交通信号控制方法及装置
CN106373410A (zh) 一种城市交通信号优化控制方法
CN106846808B (zh) 一种基于车牌数据的车辆停车次数计算方法
CN102682155A (zh) 城市道路交通网络分析微观仿真系统
CN110992676A (zh) 一种道路通行能力与网联自动驾驶车当量系数估计方法
CN110209068A (zh) 一种红绿灯配时优化与仿真模拟方法
Huang et al. Traffic congestion level prediction based on recurrent neural networks
CN112233141A (zh) 电力场景下基于无人机视觉的运动目标追踪方法及系统
CN111625989A (zh) 一种基于a3c-sru的智能车汇入车流方法及系统
Sun et al. An improved vehicle detection algorithm based on YOLOV3

Legal Events

Date Code Title Description
PB01 Publication
C06 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Zhang Zhen

Inventor after: Song Tingting

Inventor after: Xue Binqiang

Inventor after: He Wenxue

Inventor after: Zhang Caihong

Inventor before: Song Tingting

Inventor before: Zhang Zhen

Inventor before: Xue Binqiang

Inventor before: He Wenxue

Inventor before: Zhang Caihong

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181221

Termination date: 20200921

CF01 Termination of patent right due to non-payment of annual fee