CN106373410A

CN106373410A - 一种城市交通信号优化控制方法

Info

Publication number: CN106373410A
Application number: CN201610836045.1A
Authority: CN
Inventors: 宋婷婷; 张震; 薛斌强; 何文雪; 张彩虹
Original assignee: Qingdao University
Current assignee: Qingdao University
Priority date: 2016-09-21
Filing date: 2016-09-21
Publication date: 2017-02-01
Anticipated expiration: 2036-09-21
Also published as: CN106373410B

Abstract

一种城市交通信号优化控制方法，属于自动控制领域，包括：步骤1，选择控制方案，定义交通状态、瞬时路口收益和控制动作；步骤2，采样阶段采用感应控制，在每个采样时刻把交通摄像头拍摄的图像和相位并发送至服务器；步骤3，服务器从图像中提取交通状态并计算瞬时路口收益；步骤4，服务器计算每个离散交通状态出现的概率和路口收益，通过最大化路口平均收益得到最优控制策略并将其发送至路口机；步骤5，路口机设置交通信号控制器的控制策略为步骤4获得的策略，设置决策周期等于采样周期；步骤6，交通信号控制器从路口机获取离散交通状态，查询控制策略，把控制动作发送至路口机执行；能够提高较长时间段内路口交通的平均性能指标。

Description

一种城市交通信号优化控制方法

技术领域

[0001] 本发明涉及自动控制技术领域。

背景技术

[0002] 目前，我国采用的城市交通信号控制方法为定时控制和感应控制，但是定时控制无法做到根据实时交通状况切换控制动作，而感应控制策略又不够灵活，因此交通信号控制策略尚有很大的改进余地。

[0003] 马尔可夫链可用于交通信号控制问题的建模和优化。如果设定一个较短的单位时间步长，路口当前时刻的交通状态可以认为只和前一时刻的交通状态和采取的控制动作有关，因此交通状态的迀移可以看成一个马尔可夫链。每个时刻路口都会处于一个交通状态，每个交通状态下获得的收益为路口拥堵程度的倒数，如果交通状态空间中的任意两个状态都是可达的，那么可以计算路口处于每个交通状态的概率，然后计算路口的平均收益。使路口平均收益最大的控制策略就是最优策略。该方法无需在实际控制过程中进行试错，避免了在线学习可能引发的交通安全问题。

发明内容

[0004] 本发明的目的在于提高较长时间段内路口交通的平均性能指标，而不是某一个或几个交通信号周期内的性能指标，最终目的是通过优化交通信号控制器的控制策略提高城市路口车辆的通过率，并且降低平均延误。

[0005] 本发明先使用感应控制方法对路口交通信号进行控制，每隔一段较短的单位时间，第一交通摄像头（1)、第二交通摄像头(2)、第三交通摄像头(3)、第四交通摄像头(4)、第五交通摄像头(5)、第六交通摄像头(6)、第七交通摄像头(7)、第八交通摄像头(8)、和第九交通摄像头(9)、第十交通摄像头（10)、第十一交通摄像头（11)、第十二交通摄像头（12)拍摄图像并发送给路口机，路口机保存图像并从图像中提取车辆排队长度信息，将车辆排队长度表示的交通状态发送给交通信号控制器进行感应控制。同时，路口机也记录交通信号控制器的当前相位。每个采样时刻的图像和相位共同构成学习所需的样本。每当获取一个样本之后，路口机将样本发送至服务器。服务器每接收到一个样本之后，就从样本图像中提取车辆排队长度信息。当服务器接收到预定数目的样本并提取出每个样本图像的车辆排队长度后，就开始对车辆排队长度进行离散化，得到离散交通状态，然后通过最大化路口的平均收益求解最优控制策略，并将优化好的控制策略发送至路口机，路口机再把优化好的控制策略保存到交通信号控制器，并且设置交通信号控制器的控制策略为服务器优化好的控制策略，并且把决策周期设置为等同于采样周期，每个决策时刻，路口机接收第一交通摄像头（1)、第二交通摄像头（2)、第三交通摄像头（3)、第四交通摄像头（4)、第五交通摄像头 (5)、第六交通摄像头（6)、第七交通摄像头（7)、第八交通摄像头（8)、和第九交通摄像头 (9)、第十交通摄像头（10)、第十一交通摄像头（11)、第十二交通摄像头（12)拍摄的图像并从中提取交通状态，把交通状态离散化之后发送至交通信号控制器，交通信号控制器接收离散交通状态并查询策略选择合适的控制动作供路口机执行。

[0006] 本发明提出一种城市交通信号优化控制方法，包括以下步骤：

[0007] 步骤1，选择待优化的信号控制方案为固定相序控制，定义交通状态为当前相位的车辆排队长度和下一相位的车辆排队长度，定义瞬时路口收益为处于红灯相位的车辆排队长度的均值的倒数，定义控制动作为保持当前相位或切换到下一相位，定义控制策略为每个离散交通状态应该执行的控制动作；

[0008] 步骤2,在采样阶段，路口机设置交通信号控制器的控制策略为感应控制，并且设置交通信号控制器的最小绿灯时间、最大绿灯时间为采样周期的正整数倍，单位绿灯延长时间与采样周期相同，每个采样时刻所处的相位、第一交通摄像头（1)、第二交通摄像头 (2)、第三交通摄像头(3)、第四交通摄像头⑷、第五交通摄像头(5)、第六交通摄像头(6)、第七交通摄像头(7)、第八交通摄像头(8)、和第九交通摄像头(9)、第十交通摄像头（10)、第十一交通摄像头（11)、第十二交通摄像头（12)拍摄的图像和控制动作构成一个样本，在每个采样时刻，第一交通摄像头（1)、第二交通摄像头(2)、第三交通摄像头(3)、第四交通摄像头（4)、第五交通摄像头（5)、第六交通摄像头（6)、第七交通摄像头（7)、第八交通摄像头

[8] 、和第九交通摄像头(9)、第十交通摄像头（10)、第十一交通摄像头（11)、第十二交通摄像头（12)和交通信号控制器选择的控制动作发送至路口机，路口机从图像中提取交通状态发送给交通信号控制器用于感应控制，然后把样本发送给服务器；

[0009] 步骤3,服务器每接收到一个样本后，根据样本中的当前相位，从相关图像中提取交通状态，然后对交通状态进行离散化，得到离散交通状态，计算并保存离散交通状态对应的瞬时路口收益；

[0010] 步骤4,当服务器接收到预定数目的样本后，根据每个离散交通状态下的瞬时路口收益计算每个离散交通状态下的路口收益，计算离散交通状态转移概率，根据离散交通状态转移概率计算路口处于每个离散交通状态的概率，路口平均收益为每个离散交通状态下的路口收益乘以每个离散交通状态出现的概率的加和，最大化路口平均收益得到最优控制策略；

[0011] 步骤5，服务器把步骤4获得的最优控制策略发送至路口机，路口机再把最优控制策略保存到交通信号控制器，设置交通信号控制器的控制策略为最优控制策略，把决策周期设置为等同于采样周期；

[0012] 步骤6,在每个决策时刻，路口机接收第一交通摄像头（1)、第二交通摄像头(2)、第三交通摄像头(3)、第四交通摄像头⑷、第五交通摄像头(5)、第六交通摄像头(6)、第七交通摄像头(7)、第八交通摄像头(8)、和第九交通摄像头(9)、第十交通摄像头（10)、第十一交通摄像头（11)、第十二交通摄像头（12)拍摄的图像并从中提取交通状态，然后使用步骤3中服务器所使用的离散化方法把交通状态进行离散化，把离散交通状态发送至交通信号控制器，交通信号控制器接收离散交通状态并查询策略选择合适的控制动作供路口机执行。

[0013] 本发明较现有技术所具有的优点：

[0014] 离散交通状态转移的过程可以近似看成是一个马尔科夫链。并且，离散交通状态转移矩阵中不存在吸收态，从任何一个离散交通状态开始，都有可能到达另外一个离散交通状态，因此任何两个离散交通状态是可达的，利用这一特性，可以根据离散交通状态转移矩阵计算每一个离散交通状态出现的概率，再利用每个离散交通状态的路口收益求出路口平均收益。而离散交通状态转移矩阵与控制策略是有关的，因此可以建立起控制策略与平稳分布的关系，进而建立起控制策略与路口平均收益的关系。与其他方法相比，本发明提出的方法针对离散交通状态转移的可达性对控制策略进行优化，在一段较长时间内看，所得控制策略能更好地提高路口车辆通行率，降低平均延误。

附图说明

[0015] 图1为城市路口交通信号控制原理图。

[0016] 图2为一种城市交通信号优化控制方法流程图。

[0017] 1、第一交通摄像头;2、第二交通摄像头;3、第三交通摄像头;4、第四交通摄像头； 5、第五交通摄像头;6、第六交通摄像头;7、第七交通摄像头;8、第八交通摄像头;9、第九交通摄像头；10、第十交通摄像头；11、第i 交通摄像头；12、第十二交通摄像头；13、第一悬梁；14、第二悬梁；15、第三悬梁；16、第四悬梁；17、车道一；18、车道二；19、车道三;20、车道四；21、车道五;22、车道六;23、车道七;24、车道八;25、车道九；26、车道十;27、车道^^一； 28、车道十二。

具体实施方式

[0018] 为使本发明的目的、技术方案和优点更加清楚，下面参照附图，对本发明作进一步详细说明。

[0019] 图1中，第一交通摄像头1、第二交通摄像头2和第三交通摄像头3安置于第一悬梁 13,第四交通摄像头4、第五交通摄像头5和第六交通摄像头6安置于第二悬梁14,第七交通摄像头7、第八交通摄像头8和第九交通摄像头9安置于第三悬梁15,第十交通摄像头10、第十一交通摄像头11和第十二交通摄像头12安置于第四悬梁16。

[0020] 第一交通摄像头1负责检测车道一 17的车辆排队长度，第二交通摄像头2负责检测车道二18的车辆排队长度，第三交通摄像头3负责检测车道三19的车辆排队长度，第四交通摄像头4负责检测车道四20的车辆排队长度，第五交通摄像头5负责检测车道五21的车辆排队长度，第六交通摄像头6负责检测车道六22的车辆排队长度，第七交通摄像头7负责检测车道七23的车辆排队长度，第八交通摄像头8负责检测车道八24的车辆排队长度，第九交通摄像头9负责检测车道九25的车辆排队长度，第十交通摄像头10负责检测车道十26的车辆排队长度，第十一交通摄像头11负责检测车道十一 27的车辆排队长度，第十二交通摄像头 12负责检测车道十二28的车辆排队长度。

[0021] 图2所示的一种城市交通信号优化控制方法流程图包括如下步骤：

[0022] 步骤1，选择待优化的信号控制方案为固定相序控制，定义交通状态、瞬时路口收益、控制动作和控制策略。

[0023]下面以四对称相位的情况为例介绍固定相序控制，但本发明不限于使用四相位、也不限于使用对称相位。相位1:允许车道一 17和车道四20上的车辆直行和右转，允许车道二18和车道五21上的车辆直行；相位2:允许车道三19和车道六上22的车辆左转;相位3:允许车道七23和车道十26上的车辆直行和右转，允许车道八24和车道十一 27上的车辆直行；相位4:允许车道九25和车道十二28上的车辆左转。交通信号在每个时刻只能处于四个相位中的一个，并且按照顺序依次执行。尽管相位顺序是固定的，每个相位的绿灯时长却不必固定。定义控制动作为保持当前相位或切换到下一相位，如果当前相位为相位1，则经过10秒后，交通信号控制器需要决策控制动作:保持相位1，或者切换到相位2,如果选择相位2,经过10秒又要做出一次控制动作:保持相位2，或者切换到相位3，如果选择相位3，经过10秒又要做出一次控制动作:保持相位3,或者切换到相位4,如果选择相位4,经过10秒又要做出一次控制动作:保持相位4，或者切换到相位1 如此循环往复。定义所有相位的最小绿灯时间为10秒，最大绿灯时间为60秒。

[0024] 定义每个相位的车辆排队长度为该相位所有车道的车辆排队长度的最大值，相位 1的车辆排队长度等于车道一 17、车道二18、车道四20和车道五21的车辆排队长度中的最大值;相位2的车辆排队长度等于车道三19和车道六22的车辆排队长度中的最大值;相位3的车辆排队长度等于车道七23、车道八24、车道十26和车道十一 27的车辆排队长度中的最大值;相位4的车辆排队长度等于车道九25和车道十二28的车辆排队长度中的最大值。

[0025] 定义交通状态为当前相位和下一相位的车辆排队长度，车辆排队长度的检测范围是0到90米。例如，如果当前相位为相位1，则当前交通状态由相位1和相位2的车辆排队长度这两个变量组成的向量数据表示。

[0026] 定义瞬时路口收益r为采样时刻处于红灯相位的车辆排队长度的均值的倒数，按如下公式计算：

[0028] Ω表示所有处于红灯相位的车道编号的集合，1^表示车道i的车辆排队长度，m表示当前等待红灯的车道数。

[0029] 步骤2,对控制动作和所有车道的车辆排队长度进行采样，并把样本发送至服务器。

[0030] 在指定的典型时段进行采样，采样周期设置为10秒，每个采样时刻所处的相位、第一交通摄像头1、第二交通摄像头2、第三交通摄像头3、第四交通摄像头4、第五交通摄像头 5、第六交通摄像头6、第七交通摄像头7、第八交通摄像头8、和第九交通摄像头9、第十交通摄像头10、第十一交通摄像头11、第十二交通摄像头12和交通信号控制器选择的控制动作构成一个样本，预设需要采集的样本数为9000。在采样阶段，路口机设置交通信号控制器的控制策略为感应控制，并且设置交通信号控制器的决策周期、最小绿灯时间、最大绿灯时间和单位绿灯延长时间为10秒。交通信号控制器每隔10秒按照下面的方法决策相位：当前相位绿灯时间小于10秒时，保持当前相位;当前相位绿灯时间大于等于60秒时，切换到下一个相位；当前相位绿灯时间大于等于10秒并且小于60秒时，如果当前相位有来车就延长绿灯时间10秒，如果没有来车就直接切换到下一相位。交通信号控制器把控制动作发送至路口机执行。在每个采样时刻，把第一交通摄像头1、第二交通摄像头2、第三交通摄像头3、第四交通摄像头4、第五交通摄像头5、第六交通摄像头6、第七交通摄像头7、第八交通摄像头8、和第九交通摄像头9、第十交通摄像头10、第十一交通摄像头11、第十二交通摄像头12拍摄的图像和交通信号机选择的控制动作发送至路口机，路口机从图像中提取出交通状态，并且把交通状态发送给交通信号控制器，供交通信号控制器判断当前相位有无来车，以进行感应控制，然后路口机把样本发送至服务器。

[0031] 步骤3,对样本进行处理。

[0032] 服务器每接收到一个路口机发送过来的样本后，从第一交通摄像头1、第二交通摄像头2、第三交通摄像头3、第四交通摄像头4、第五交通摄像头5、第六交通摄像头6、第七交通摄像头7、第八交通摄像头8、和第九交通摄像头9、第十交通摄像头10、第十一交通摄像头 11、第十二交通摄像头12拍摄的图像中分别提取车道一 17至车道十二28的车辆排队长度。如果样本中的当前相位是相位1，那么相位1和相位2的车辆排队长度组成的数据向量构成交通状态。按照步骤1中的公式，此时的瞬时路口收益为r = SALs+U+LT+Ls+U+Lio+Ln+Lu)。如果样本中的当前相位是相位2,那么相位2和相位3的车辆排队长度组成的数据向量构成交通状态。按照步骤1中的公式，此时的路口收益为r = 10/ (L1+L2+L4+L5+L7+L8+L9+L1Q+L11+ L12)。如果样本中的当前相位是相位3,那么相位3和相位4的车辆排队长度组成的数据向量构成交通状态。按照步骤1中的公式，此时的路口收益为r = SALi+U+Ls+I^+U+U+Lg+Lu)。如果样本中的当前相位是相位4,那么相位4和相位1的车辆排队长度组成的数据向量构成交通状态，按照步骤1中的公式，此时的路口收益为r = 10/ (L1+L2+L3+L4+L5+L6+L7+L8+L10+ L11) 〇

[0033] 提取出交通状态并计算交通状态对应的瞬时路口收益后，把样本整理成如下形式的数据向量：（l，a，l'，r)，其中1表示某个采样时刻的连续的交通状态，a表示交通状态为1 时执行的控制动作，1'表示下一个采样时刻的连续的交通状态，r表示交通状态为Γ时的瞬时路口收益。当前相位和下一相位的车辆排队长度的可检测范围都是0到90米，对交通状态空间以30米为单位进行离散化，把交通状态空间均匀地划分为3 X 3 = 9个离散状态，把数据向量（l，a，l'，r)转化为(s，a，s'，r)，s是1对应的离散交通状态，s'是1'对应的离散交通状 ίέτ 〇

[0034] 步骤4，服务器接收到预定数目的样本后，使用样本优化控制策略。

[0035]当服务器接收到9000个样本后，开始优化控制策略。在单路口交通信号控制优化问题中，共有9个离散状态，每个状态下有2个控制动作--ai表示保持当前相位，a2表示切换到下一相位。服务器按照下列步骤得到最优控制策略：

[0036] 步骤a，计算每个离散交通状态对应的路口收益。路口收益矩阵R定义为R= [r(S1) r(S2)…r(S9)]，其中si表不9个离散交通状态中的第i个离散交通状态，r(si)表不离散交通状态为^时的路口收益，计算公式如下：

[0038] 其中，等号右边的分子表示所有s'等于Si的样本(s，a,s'，r)中的瞬时路口收益r 的和，化表示所有s'等于Sl的样本(s，a，s'，r)的集合，|吣|表示集合N冲的元素个数。

[0039] 步骤b，计算离散交通状态的条件转移概率，矩阵Pi表示控制动作为&1时的离散交通状态转移矩阵，矩阵P2表示控制动作为&2时的离散交通状态转移矩阵，定义如下：

[0042] 其中，矩阵元素 p (Sj I Sl，ak)是条件概率，表示处于离散交通状态Sl，执行控制动作 ak之后转移到状态~的概率。根据样本(s，a，s'，r)计算丹和内。设置路口平均收益的最大值 Vmax等于0。

[0043] 步骤c，当前控制策略由矩阵Π :和矩阵Π 2表示，定义如下：

[0045] 其中，Ji(Sl，ak)表示在离散状态81下执行动作祉的概率，取值只能为0和1，并且π (Si，ai) +31 (si，a2)的值必须等于1。如果是第一次执行步骤c，初始化Π 4ΡΠ 2,并且令Π \ = Π i，令Π ' 2 = Π 2，Π '挪Π ' 2保存的是最优控制策略，否则，Π 挪Π 2的取值必须与之前任何一次执行步骤c时的Π#Ρ Π 2不同。

[0046] 步骤d，计算路口平均收益。

[0047] 先计算离散交通状态转移矩阵P，定义如下：

[0049] 其中，p (& | Sl)是条件概率，表示处于离散交通状态Sl，10秒之后转移到状态以的概率，计算公式如下：

[0050] Ρ = Ϋ,η,Ρί i=i

[0051] 然后计算每个离散交通状态出现的概率，设为X= [x(Sl)x(S2)…x(S9)]，其中x (Sl)表示离散交通状态Sl出现的概率，只能取〇到1之间的实数，X根据以下方程求解：

[0053] 路口平均收益V按照下列公式计算：

[0054] V = RXT

[0055] 其中，乂7表示矩阵X的转置。如果V大于Vmax，则令Vmax = V，并且令Π '1= Γ^，Π '2 =π 2否贝1J，Vmax，Π ' 4口 Π ' 2都保持不变。

[0056] 步骤e，如果Π :和Π 2的取值没有遍历结束，则返回步骤c，否则优化结束，此时得到最优控制策略Π '#ΡΠ '2。

[0057] 步骤5,服务器把步骤4获得的最优控制策略Π '2发送至路口机，路口机再把最优控制策略保存到交通信号控制器，并且设置交通信号控制器的控制策略为最优控制策略，并且把决策周期设置为等同于采样周期10秒；

[0058] 步骤6，在每个决策时刻，路口机按照步骤3中的方法获取交通状态，然后使用步骤 3中离散化方法对交通状态进行离散化，把离散交通状态 81发送至交通信号控制器，交通信号控制器接收离散交通状态后查询策略，然后根据下列公式选择控制动作a'

如果= 1或者当前相位持续时间小于等于最小绿灯时间如果;，〇2) = 1或者当前相位持续时间大于等于最大绿灯时间 [0060] 交通信号控制器把控制动作f发送至路口机执行，如果f等于ai，路口机使交通信号保持当前相位，如果f等于a 2，路口机把交通信号切换到下一相位。

Claims

1. 一种城市交通信号优化控制方法，其特征在于，包括以下步骤：步骤1，选择待优化的信号控制方案为固定相序控制，定义交通状态为当前相位的车辆排队长度和下一相位的车辆排队长度，定义瞬时路口收益为处于红灯相位的车辆排队长度的均值的倒数，定义控制动作为保持当前相位或切换到下一相位，定义控制策略为每个离散交通状态应该执行的控制动作；步骤2,在采样阶段，路口机设置交通信号控制器的控制策略为感应控制，并且设置交通信号控制器的最小绿灯时间、最大绿灯时间为采样周期的正整数倍，单位绿灯延长时间与采样周期相同，每个采样时刻所处的相位、第一交通摄像头（1)、第二交通摄像头(2)、第三交通摄像头(3)、第四交通摄像头⑷、第五交通摄像头(5)、第六交通摄像头(6)、第七交通摄像头(7)、第八交通摄像头(8)、和第九交通摄像头(9)、第十交通摄像头（10)、第十一交通摄像头（11)、第十二交通摄像头（12)拍摄的图像和控制动作构成一个样本，在每个采样时刻，第一交通摄像头（1)、第二交通摄像头(2)、第三交通摄像头(3)、第四交通摄像头(4)、第五交通摄像头(5)、第六交通摄像头(6)、第七交通摄像头(7)、第八交通摄像头(8)、和第九交通摄像头(9)、第十交通摄像头（10)、第十一交通摄像头（11)、第十二交通摄像头（12) 和交通信号控制器选择的控制动作发送至路口机，路口机从图像中提取交通状态发送给交通信号控制器用于感应控制，然后把样本发送给服务器；步骤3,服务器每接收到一个样本后，根据样本中的当前相位，从相关图像中提取交通状态，然后对交通状态进行离散化，得到离散交通状态，计算并保存离散交通状态对应的瞬时路口收益；步骤4,当服务器接收到预定数目的样本后，根据每个离散交通状态下的瞬时路口收益计算每个离散交通状态下的路口收益，计算离散交通状态转移概率，根据离散交通状态转移概率计算路口处于每个离散交通状态的概率，路口平均收益为每个离散交通状态下的路口收益乘以每个离散交通状态出现的概率的加和，最大化路口平均收益得到最优控制策略；步骤5，服务器把步骤4获得的最优控制策略发送至路口机，路口机再把最优控制策略保存到交通信号控制器，设置交通信号控制器的控制策略为最优控制策略，把决策周期设置为等同于采样周期；步骤6，在每个决策时刻，路口机接收第一交通摄像头（1)、第二交通摄像头(2)、第三交通摄像头(3)、第四交通摄像头(4)、第五交通摄像头(5)、第六交通摄像头(6)、第七交通摄像头(7)、第八交通摄像头⑶、和第九交通摄像头(9)、第十交通摄像头（10)、第十一交通摄像头（11)、第十二交通摄像头（12)拍摄的图像并从中提取交通状态，然后使用步骤3中服务器所使用的离散化方法把交通状态进行离散化，把离散交通状态发送至交通信号控制器，交通信号控制器接收离散交通状态并查询策略选择合适的控制动作供路口机执行。

2. 如权利要求1所述的一种城市交通信号优化控制方法，其特征在于，步骤4所描述的优化控制策略的方法如下：步骤a，定义瞬时路口收益r为采样时刻处于红灯相位的车辆排队长度的均值的倒数，按如下公式计算：

其中，Ω表示所有处于红灯相位的车道编号的集合，Ll表示车道i的车辆排队长度，m表示当前等待红灯的车道数；定义样本为如下形式的数据向量：（s，a,s'，r)，其中s表示某个采样时刻的连续的交通状态，a表示交通状态为s时执行的控制动作，s'表示下一个采样时刻的连续的交通状态，r 表示交通状态为s'时的瞬时路口收益；计算每个离散交通状态对应的路口收益，一共有9个离散交通状态，路口收益矩阵R定义为R=[r(S1) r(s2) •••rkg)]，其中Si表示9个离散交通状态中第i个离散交通状态，r (Sl)表示离散交通状态为Sl时的路口收益，计算公式如下：

其中，等号右边的分子表示所有s'等于si的样本(s，a, s'，r)中的瞬时路口收益r的和，吣表示所有s'等于Sl的样本(s，a，s'，r)的集合，|吣|表示集合吣中的元素个数；步骤b，计算离散交通状态的条件转移概率，矩阵?:表示控制动作为&1时的离散交通状态转移矩阵，矩阵P2表示控制动作为&2时的离散交通状态转移矩阵，定义如下：

其中，矩阵元素 P I Sl，ak)是条件概率，表示处于离散交通状态Sl，执行控制动作a k之后转移到状态s」的概率，根据样本(s，a，s'，r)计算丹和内，设置路口平均收益的最大值Vmax 等于〇; 步骤C，当前控制策略由矩阵π i和矩阵Π 2表示，定义如下：

其中，3T(Sl，ak)表示在离散状态81下执行动作ak的概率，取值只能为0和1，并且3T( Sl，ai) +31 (Si，a2)的值必须等于1，如果是第一次执行步骤c，初始化Π :和Π 2，并且令Π ' ： = Π :，令 Π ' 2= Π2，Π '雨Π ' 2保存的是最优控制策略，否则，Π 挪Π 2的取值必须与之前任何一次执行步骤c时的Π :和Π 2不同；步骤d，计算路口平均收益，先计算离散交通状态转移矩阵P，定义如下：

其中，P (Sj I Sl)是条件概率，表示处于离散交通状态Sl，10秒之后转移到状态~的概率，计算公式如下：

然后计算每个离散交通状态出现的概率，设为X=[x(S1) x(S2)…x(S9)]，其中x(Sl) 表示离散交通状态Sl出现的概率，只能取0到1之间的实数，X根据以下方程求解：

路口平均收益V按照下列公式计算： V = RXT 其中，乂7表示矩阵X的转置。如果V大于Vmax，则令Vmax = V，并且令Π ' ： = Π:，Π ' 2 = Π 2 否则，Vmax，Π ' :和Π ' 2都保持不变；步骤e，如果Π :和Π 2的取值没有遍历结束，则返回步骤c，否则优化结束，此时得到最优控制策略Π '#ΡΠ '2。