CN108597239B - 一种基于马尔科夫决策的交通灯控制系统及方法 - Google Patents

一种基于马尔科夫决策的交通灯控制系统及方法 Download PDF

Info

Publication number
CN108597239B
CN108597239B CN201810403042.8A CN201810403042A CN108597239B CN 108597239 B CN108597239 B CN 108597239B CN 201810403042 A CN201810403042 A CN 201810403042A CN 108597239 B CN108597239 B CN 108597239B
Authority
CN
China
Prior art keywords
traffic
decision
state
traffic light
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810403042.8A
Other languages
English (en)
Other versions
CN108597239A (zh
Inventor
郭茂耘
武艺
安翼尧
梁皓星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN201810403042.8A priority Critical patent/CN108597239B/zh
Publication of CN108597239A publication Critical patent/CN108597239A/zh
Application granted granted Critical
Publication of CN108597239B publication Critical patent/CN108597239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • G08G1/08—Controlling traffic signals according to detected number or speed of vehicles

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种基于马尔科夫决策的交通灯控制系统及方法，属于智能交通领域。该系统包括数据采集模块、决策模块、控制执行模块。本发明主要提供如下内容：采集交通灯对应路口的交通状况信息，利用马尔科夫决策过程生成交通灯控制策略，并将该策略实时用于交通灯的控制，以达到缓解高峰期交通拥堵状况的目的，从而降低交通拥堵的成本。

Description

一种基于马尔科夫决策的交通灯控制系统及方法
技术领域
本发明属于智能交通领域，涉及一种基于马尔科夫决策的交通灯控制系统及方法。
背景技术
交通信号控制系统承载着维护城市道路交通秩序，缓解交通拥堵的重任，在传统的红绿灯配时方案不能解决城市交通拥堵的形势下，智能化的交通控制为解决交通拥堵提供更多的科学的解决方案。
传统的交通控制方式采用的是固定配时系统，即根据各个交通路口的车流状况，在每个十字路口的信号控制系统中设置一个固定时间，作为两方向上的通行周期，固定配时方案容易造成在不同车道上的车辆数量相差悬殊，尤其在交通拥堵时不能及时缓解道路拥堵状况。
发明内容
有鉴于此，本发明的目的在于提供一种基于马尔科夫决策的交通灯控制系统及方法，从而达到在有限时间内有效缓解交通拥堵的目的。
为达到上述目的，本发明提供如下技术方案：
一种基于马尔科夫决策的交通灯控制系统，包括数据采集模块、决策模块和控制执行模块；所述数据采集模块用于实时获取交通灯对应路口的交通状况，包括交通拥堵指数、车流量、等待车辆数和车辆通过时间；所述决策模块根据数据采集模块采集的信息利用马尔科夫决策过程计算下一次交通灯变化之后的绿灯持续时间，即产生控制策略；所述控制执行模块用于执行决策模块的决策；
在每一控制周期，决策模块根据数据采集模块采集的当前道路交通状况，尤其是道路拥堵指数进行最优策略的选择，并将控制策略传输至控制执行模块赋予执行，并且在不同的控制周期内，反复此过程。
进一步，所述交通拥堵指数是综合反映道路网畅通或拥堵的概念性数值，又称交通运行指数(TrafficPerformanceIndex,TPI)，简称交通指数；交通指数取值范围为0至10，每2个数为一等级，分别对应"畅通"、"基本畅通"、"轻度拥堵"、"中度拥堵"、"严重拥堵"五个级别，数值越高，表明交通拥堵状况越严重。
一种基于马尔科夫决策的交通灯控制方法，包括以下步骤：
S1：确定交通灯控制系统的马尔科夫模型M＝＜S,A,P,R,V＞,s∈S,a∈A；
其中，S为系统的马尔科夫模型的状态空间：将交通灯对应路口的交通拥堵指数按照一定准则划分为“畅通”、“基本畅通”、“轻度拥堵”、“中度拥堵”、“严重拥堵”五种状态，并分别记为s1、s2、s3、s4、s5；
A为系统的行为集合：在系统的各个状态下，确定多组合理的交通灯控制方案，即多组不同的可行的绿灯持续时间，组成行为集合；
P为状态转移概率矩阵：计算在任意决策时刻处于某一状态s下，执行行为a∈A，则系统在下一决策时刻处于状态s'的概率即状态转移概率p(s'|s,a)，对于系统的每个状态以及对应状态下的每个行为都进行状态转移概率的计算，得到状态转移概率矩阵；其中
Figure BDA0001646184680000021
对于以上所述交通灯控制系统，由于s,s'∈S,a∈A,有
Figure BDA0001646184680000022
R为报酬函数：确定系统在处于某一状态s时，执行某一行为a∈A，系统所获的报酬R(s,a)；
V为准则函数，又称目标函数、评价函数：确定准则函数，用来评价执行一系列连续行为后获得的总的立即报酬之和的优劣；
S2：确定搜索最优策略的方法：定义状态行为值函数
Figure BDA0001646184680000023
其中γ∈(0，1)为折扣因子，Rt表示决策时刻t时所获得的报酬；选择函数迭代法搜索最优策略，即直接对最优状态行为值函数Q*(s,a)进行搜索；
S3：确定控制策略：设在决策时刻t，系统的状态为s，则状态行为值函数依照以下公式进行迭代，
Figure BDA0001646184680000024
对两个连续决策时刻的状态行为值函数的最大值进行比较，若有|Qt+1(s,a)-Qt(s,a)|＜ε，其中ε为人为设定的精度，则迭代结束，选择状态行为值函数较大的策略作为决策所得控制策略；
S4：利用马尔科夫理论这一理论基础，依赖于具有编程功能的相关软件及硬件设备，并根S1-S3的内容和采集模块所获得的信息，实现马尔科夫决策算法，产生控制策略。
进一步，所述状态转移概率矩阵P中的各个状态间的状态转移概率根据相关状态下获得的车流量、等待车辆数和车辆通过时间信息确定。
进一步，系统的马尔科夫模型的行为集合A通过设置多组不同的红绿灯持续时间的来进行确定。
本发明的有益效果在于：结合数理统计与人工智能，基于马尔科夫决策的交通灯控制，缓解了交通拥堵，有效地将随机性应用于交通控制中，从而实现在有限时间内有效缓解交通拥堵。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1为基于马尔科夫决策的交通灯控制系统的结构图；
图2为基于马尔科夫决策的交通灯控制方法流程图。
具体实施方式
下面将结合附图，对本发明的优选实施例进行详细的描述。
图1为基于马尔科夫决策的交通灯控制系统的结构图；该系统包括数据采集模块、决策模块和控制执行模块；所述数据采集模块用于实时获取交通灯对应路口的交通状况，包括交通拥堵指数、车流量、等待车辆数和车辆通过时间；所述决策模块根据数据采集模块采集的信息利用马尔科夫决策过程计算下一次交通灯变化之后的绿灯持续时间，即产生控制策略；所述控制执行模块用于执行决策模块的决策。所述交通拥堵指数是综合反映道路网畅通或拥堵的概念性数值，又称交通运行指数(Traffic Performance Index,TPI)，简称交通指数；交通指数取值范围为0至10，每2个数为一等级，分别对应"畅通"、"基本畅通"、"轻度拥堵"、"中度拥堵"、"严重拥堵"五个级别，数值越高，表明交通拥堵状况越严重；交通拥堵指数的分级列表如下：
交通指数 对应路况 出行耗时
0-2 基本没有道路拥堵 可以按道路限速标准行驶
2-4 有少量道路拥堵 比通行时多耗时0.2-0.5倍
4-6 部分环路、主干路拥堵 比通行时多耗时0.5-0.8倍
6-8 大量环路、主干路拥堵 比通行时多耗时0.8-1.1倍
8-10 大部分道路拥堵 比通行时多耗时1.1倍以上
在每一控制周期，决策模块根据数据采集模块采集的当前道路交通状况尤其是道路拥堵指数进行最优策略的选择，并将控制策略传输至控制执行模块赋予执行。并且在不同的控制周期内，反复此过程。
图2为基于马尔科夫决策的交通灯控制方法流程图。设定合适的报酬函数与评价函数，从而客观、合理、全面地对控制策略进行评价。每次决策所得到的交通灯控制方案为该阶段最优策略。依据缓解交通拥堵的目的以及评价函数的选择，合理选择搜索最优策略的方法，以迭代产生最优控制策略。
通过数据采集模块采集道路交通状况信息，在此基础上利用马尔科夫决策过程，依赖于具有编程功能的相关软件及硬件设备得到控制方案即在下一次交通灯变化之后的绿灯持续时间，然后控制执行模块执行此决策信息，将其转换为对应交通灯的控制信号。决策方案的产生过程完全依赖于马尔科夫决策过程的相关基本知识以及搜索最优策略的方法。
最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (5)

1.一种基于马尔科夫决策的交通灯控制方法，其特征在于：该方法包括以下步骤：
S1：确定交通灯控制系统的马尔科夫模型M＝＜S,A,P,R,V＞,s∈S,a∈A；
其中，S为系统的马尔科夫模型的状态空间：将交通灯对应路口的交通拥堵指数划分为“畅通”、“基本畅通”、“轻度拥堵”、“中度拥堵”、“严重拥堵”五种状态，并分别记为s1、s2、s3、s4、s5；
A为系统的行为集合：在系统的各个状态下，确定多组合理的交通灯控制方案，即多组不同的可行的绿灯持续时间，组成行为集合；
P为状态转移概率矩阵：计算在任意决策时刻处于某一状态s下，执行行为a∈A，则系统在下一决策时刻处于状态s'的概率即状态转移概率p(s'|s,a)，对于系统的每个状态以及对应状态下的每个行为都进行状态转移概率的计算，得到状态转移概率矩阵；其中
Figure FDA0002669336300000011
对于以上所述交通灯控制系统，由于s,s'∈S,a∈A,有
Figure FDA0002669336300000012
R为报酬函数：确定系统在处于某一状态s时，执行某一行为a∈A，系统所获的报酬R(s,a)；
V为准则函数，又称目标函数、评价函数：确定准则函数，用来评价执行一系列连续行为后获得的总的立即报酬之和的优劣；
S2：确定搜索最优策略的方法：定义状态行为值函数
Figure FDA0002669336300000013
其中γ∈(0，1)为折扣因子，Rt表示决策时刻t时所获得的报酬；选择函数迭代法搜索最优策略，即直接对最优状态行为值函数Q*(s,a)进行搜索；
S3：确定控制策略：设在决策时刻t，系统的状态为s，则状态行为值函数依照以下公式进行迭代，
Figure FDA0002669336300000014
对两个连续决策时刻的状态行为值函数的最大值进行比较，若有|Qt+1(s,a)-Qt(s,a)|＜ε，其中ε为人为设定的精度，则迭代结束，选择状态行为值函数较大的策略作为决策所得控制策略；
S4：利用马尔科夫理论这一理论基础，依赖于具有编程功能的相关软件及硬件设备，并根S1-S3的内容和数据采集模块所获得的信息，实现马尔科夫决策算法，产生控制策略。
2.根据权利要求1所述的一种基于马尔科夫决策的交通灯控制方法，其特征在于：所述状态转移概率矩阵P中的各个状态间的状态转移概率根据相关状态下获得的车流量、等待车辆数和车辆通过时间信息确定。
3.根据权利要求1所述的一种基于马尔科夫决策的交通灯控制方法，其特征在于：系统的马尔科夫模型的行为集合A通过设置多组不同的红绿灯持续时间的来进行确定。
4.基于权利要求1～3中任一项所述方法的基于马尔科夫决策的交通灯控制系统，其特征在于：包括数据采集模块、决策模块和控制执行模块；所述数据采集模块用于实时获取交通灯对应路口的交通状况，包括交通拥堵指数、车流量、等待车辆数和车辆通过时间；所述决策模块根据数据采集模块采集的信息利用马尔科夫决策过程计算下一次交通灯变化之后的绿灯持续时间，即产生控制策略；所述控制执行模块用于执行决策模块的决策；
在每一控制周期，决策模块根据数据采集模块采集的当前道路交通状况，包括道路拥堵指数进行最优策略的选择，并将控制策略传输至控制执行模块赋予执行，并且在不同的控制周期内，反复此过程。
5.根据权利要求4所述的一种基于马尔科夫决策的交通灯控制系统，其特征在于：所述交通拥堵指数是综合反映道路网畅通或拥堵的概念性数值，又称交通运行指数TPI，简称交通指数；交通指数取值范围为0至10，每2个数为一等级，分别对应"畅通"、"基本畅通"、"轻度拥堵"、"中度拥堵"、"严重拥堵"五个级别，数值越高，表明交通拥堵状况越严重。
CN201810403042.8A 2018-04-28 2018-04-28 一种基于马尔科夫决策的交通灯控制系统及方法 Active CN108597239B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810403042.8A CN108597239B (zh) 2018-04-28 2018-04-28 一种基于马尔科夫决策的交通灯控制系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810403042.8A CN108597239B (zh) 2018-04-28 2018-04-28 一种基于马尔科夫决策的交通灯控制系统及方法

Publications (2)

Publication Number Publication Date
CN108597239A CN108597239A (zh) 2018-09-28
CN108597239B true CN108597239B (zh) 2021-02-09

Family

ID=63619313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810403042.8A Active CN108597239B (zh) 2018-04-28 2018-04-28 一种基于马尔科夫决策的交通灯控制系统及方法

Country Status (1)

Country Link
CN (1) CN108597239B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112652164B (zh) * 2020-12-02 2022-12-30 北京北大千方科技有限公司 一种交通时段划分方法、装置及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101599219A (zh) * 2008-06-04 2009-12-09 新南威尔士州道路交通管理局 交通信号控制系统
CN103021191A (zh) * 2012-11-22 2013-04-03 浙江理工大学 智能交通控制装置及控制方法
CN106846804A (zh) * 2017-03-03 2017-06-13 浙江大学 基于隐马尔科夫链的交叉口实时饱和流率估计方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7403664B2 (en) * 2004-02-26 2008-07-22 Mitsubishi Electric Research Laboratories, Inc. Traffic event detection in compressed videos

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101599219A (zh) * 2008-06-04 2009-12-09 新南威尔士州道路交通管理局 交通信号控制系统
CN103021191A (zh) * 2012-11-22 2013-04-03 浙江理工大学 智能交通控制装置及控制方法
CN106846804A (zh) * 2017-03-03 2017-06-13 浙江大学 基于隐马尔科夫链的交叉口实时饱和流率估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于马尔可夫模型的交叉口两难区自适应控制;刘诗福 等;《同济大学学报（自然科学版）》;20160930;第44卷(第9期);全文 *

Also Published As

Publication number Publication date
CN108597239A (zh) 2018-09-28

Similar Documents

Publication Publication Date Title
CN112216124B (zh) 一种基于深度强化学习的交通信号控制方法
CN108648457B (zh) 一种速度预测的方法、装置和计算机可读存储介质
CN100444210C (zh) 单点信号控制交叉口的混合控制方法
Poczęta et al. Learning fuzzy cognitive maps using structure optimization genetic algorithm
CN113538910B (zh) 一种自适应的全链条城市区域网络信号控制优化方法
CN111160650B (zh) 一种基于Adaboost算法的交通流特性分析与预测方法
CN112037539B (zh) 一种用于饱和城市交通网络的信控方案推荐方法及系统
CN110570672A (zh) 一种基于图神经网络的区域交通信号灯控制方法
CN111126687B (zh) 一种交通信号的单点离线优化系统及方法
CN108665093A (zh) 基于深度学习的高速公路交通事故严重度预测方法
CN112863182A (zh) 基于迁移学习的跨模态数据预测方法
CN114021689A (zh) 一种自适应神经网络交通流预测的混沌搜索优化方法
CN114360266A (zh) 一种网联车探测状态感知的交叉口强化学习信号控制方法
CN114694382B (zh) 一种基于车联网环境的动态单向交通控制系统
CN115691138B (zh) 一种路网子区划分及子区边界流量控制方法
CN111341109B (zh) 一种基于时空相似性的城市级信号推荐系统
CN108597239B (zh) 一种基于马尔科夫决策的交通灯控制系统及方法
CN116758767A (zh) 基于多策略强化学习的交通信号灯控制方法
CN115472023B (zh) 一种基于深度强化学习的智能交通灯控制方法及装置
Behura et al. Road accident prediction and feature analysis by using deep learning
CN115083149B (zh) 一种实时监测的强化学习可变时长信号灯控制方法
CN115578861B (zh) 一种基于嵌入式特征选择策略的高速公路交通流预测方法
Cao et al. Research On Regional Traffic Flow Prediction Based On MGCN-WOALSTM
CN111062485A (zh) 一种新型automl框架
CN115063975B (zh) 短时交通流数据预测方法、系统、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant