CN111681433A - 一种交叉口交通信号灯配时优化方法和装置 - Google Patents

Abstract

本发明实施例提供一种交叉口交通信号灯配时优化方法和装置，方法包括：获取目标交叉口的多源交通数据，建立交通运行状态模型；基于所述交通运行状态模型和预设的初始信号灯配时方案，采用强化学习方法，优化所述初始信号灯配时方案。本发明实施例提供的交叉口交通信号灯配时优化方法和装置，采集交叉口的多源交通数据以建立交通运行状态模型，将交叉口交通通行的车流分为常规情况下的稳定车流态和受到天气或交通事故影响导致的动态车流态，基于交通运行状态模型，使用强化学习方法对单个交叉路口的交通信号灯控制进行优化，能够有效解决城市交通拥堵问题，提高交叉口机动车通行效率。

Description

一种交叉口交通信号灯配时优化方法和装置

技术领域

本发明实施例涉及智能交通技术领域，尤其涉及一种交叉口交通信号灯配时优化方法和装置。

背景技术

人民生活水平的日益提高、城市的快速发展，城市交通系统也随着城市现代化的进步面临着越来越严峻的考验，车辆保有量逐年增长，车辆拥堵愈演愈烈，交通事故频发，社会资源浪费，环境污染加剧，严重影响人们的出行效率、生活质量和身心健康，因而缓解城市内交通拥堵有重大的经济意义和生态意义。

目前我国大多数城市，交通路口信号控制建立时间前后相差较远，交叉路口信号控制机类型并不统一。信号控制系统普遍采用多时段定时信号机、感应式信号机和集中协调式信号机。信号控制方案多采用固定配时法和自适应配时法。然而，当路口规模扩大时，集中式的控制系统不能满足大量交通数据流的通信传输和交通控制策略的实时优化，且系统需要建立复杂的交通模型，维护难度大，面对过于复杂的数据，传统的交通信号灯控制方案和交通数据处理方法已经无法匹配当今交通控制优化的需求。

发明内容

本发明实施例提供一种交叉口交通信号灯配时优化方法和装置，用以解决传统的交通信号灯配时系统不能满足大量交通数据流的通信传输和交通控制策略的实时优化，且需要建立复杂的交通模型，维护难度大的缺陷。

第一方面，本发明实施例提供一种交叉口交通信号灯配时优化方法，包括：

S1，获取目标交叉口的多源交通数据，建立交通运行状态模型；其中，所述多源交通数据包括地磁线圈数据、道路视频监控数据、雷达微波数据和浮动车轨迹数据。

具体地，目标交叉口为本实施例选取的单个交叉口。本实施例通过地磁线圈设备、视频监控设备和雷达微波设备来采集目标交叉口的地磁线圈数据、道路视频监控数据、雷达微波数据。

其中，雷达微波数据至少包括路段、时间戳、平均速度、车道编号和车辆编号，所述地磁线圈数据至少包括检测器编号、检测器位置和占有时间，所述道路视频监控数据至少包括方向、车道数、平均速度和平均占有率，所述浮动车轨迹数据至少包括车辆编号、经纬度、车行方向和车辆状态。

S2，基于所述交通运行状态模型和预设的初始信号灯配时方案，采用强化学习方法，优化所述初始信号灯配时方案。

进一步，步骤S1中，所述获取目标交叉口的多源交通数据，建立交通运行状态模型，具体包括：

边缘节点获取多源交通数据采集设备采集的多源交通数据；

分别提取地磁线圈数据、雷达微波数据和道路视频监控数据中的交通流特征；其中，所述交通流特征为包含时间序列位置信息及移动特征的大规模车辆轨迹数据；

采用多模态数据融合技术，整合提取三类交通数据源的交通流特征，获得目标交叉口的道路交通状态；对浮动车轨迹数据进行处理，获得机动车轨迹信息的时序特征和状态特征，从而获得目标交叉口的车辆通行状态。

进一步，步骤S2中，基于所述交通运行状态模型和预设的初始信号灯配时方案，采用强化学习方法，优化所述初始信号灯配时方案，具体包括：

S21，判断目标交叉口的车流通行状况为常规车流态或动态车流态；

S22，若目标交叉口的车流通行状况为常规车流态，则基于强化学习算法，将S1获得的交通运行状态模型作为智能体的状态空间，将初始信号灯配时方案作为智能体的动作空间；通过评估交通运行状态作为奖励机制，构建以所述边缘节点为智能体的强化学习模型。

进一步，步骤S22中，所述强化学习模型为：

式中，s表示智能体的状态空间；a为预设交通信号灯配时方案，Q为函数模型更新公式，γ是折扣因子，α是学习率，R是奖励计算方法，π是模型策略；

表示在t时刻、模型策略π、状态空间s和动作空间a下的Q函数值；

表示在t+1时刻、模型策略π、状态空间s和动作空间a下的Q函数值；f为交通车辆跟车模式。强化学习模型包含下一时间t+1下的动作奖励和最大化可能未来奖励，此处，f(Q)为常规态车流下的车辆跟车模型。

进一步，在步骤S22之后，所述方法还包括：

S23，若目标交叉口的车流通行状况为动态车流态，则在所述强化学习模型的基础上，修改Q函数中的车辆跟车模式g(Q)，获得动态车流态下的Q函数值，以获得动态车流态下的强化学习模型。

第二方面，本发明实施例提供一种交叉口交通信号灯配时优化装置，包括：

多源交通数据获取模块，用于获取目标交叉口的多源交通数据，建立交通运行状态模型；其中，所述多源交通数据包括地磁线圈数据、道路视频监控数据、雷达微波数据和浮动车轨迹数据；

信号灯配时优化模块，用于基于所述交通运行状态模型和预设的初始信号灯配时方案，采用强化学习方法，优化所述初始信号灯配时方案。

进一步，所述多源交通数据获取模块具体包括：

获取单元，用于获取多源交通数据采集设备采集的多源交通数据；

提取单元，用于分别提取地磁线圈数据、雷达微波数据和道路视频监控数据中的交通流特征；其中，所述交通流特征为包含时间序列位置信息及移动特征的大规模车辆轨迹数据；

数据融合单元，用于采用多模态数据融合技术，整合提取三类交通数据源的交通流特征，获得目标交叉口的道路交通状态；

浮动车轨迹处理单元，用于对浮动车轨迹数据进行处理，获得机动车轨迹信息的时序特征和状态特征，从而获得目标交叉口的车辆通行状态。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明第一方面实施例所述交叉口交通信号灯配时优化方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面实施例所述交叉口交通信号灯配时优化方法的步骤。

本发明实施例提供的交叉口交通信号灯配时优化方法和装置，采集交叉口的多源交通数据以建立交通运行状态模型，将交叉口交通通行的车流分为常规情况下的稳定车流态和受到天气或交通事故影响导致的动态车流态，基于交通运行状态模型，使用强化学习方法对单个交叉路口的交通信号灯控制进行优化，能够有效解决城市交通拥堵问题，提高交叉口机动车通行效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的交叉口交通信号灯配时优化方法流程示意图；

图2为本发明实施例提供的交通运行状态模型示意图；

图3为本发明实施例提供的边缘节点的数据处理示意图；

图4为本发明实施例提供的交叉口交通信号灯配时优化装置的结构示意图；

图5为本发明实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均为相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

图1为本发明实施例提供的一种交叉口交通信号灯配时优化方法，参照图1，该方法包括：

S1，获取目标交叉口的多源交通数据，建立交通运行状态模型；其中，所述多源交通数据包括地磁线圈数据、道路视频监控数据、雷达微波数据和浮动车轨迹数据。

具体地，目标交叉口为本实施例选取的单个交叉口。本实施例通过地磁线圈设备、视频监控设备和雷达微波设备来采集目标交叉口的地磁线圈数据、道路视频监控数据、雷达微波数据。本实施例中，雷达微波数据至少包括路段、时间戳、平均速度、车道编号和车辆编号，所述地磁线圈数据至少包括检测器编号、检测器位置和占有时间，所述道路视频监控数据至少包括方向、车道数、平均速度和平均占有率，所述浮动车轨迹数据至少包括车辆编号、经纬度、车行方向和车辆状态。

图2为本发明实施例提供的交通运行状态模型示意图。参照图2，本实施例基于多源交通数据，建立图2所示的交通运行状态模型。此处，交通运行状态包括道路交通状态和车辆通行状态。

本实施例分别提取目标交叉口的地磁线圈数据、雷达微波数据和道路视频监控数据中的交通流特征，采用多模态数据融合技术，整合提取三类交通数据源的交通流特征，得到多模态融合数据特征，进而获得目标交叉口的道路交通状态，道路交通状态从道路层面上描述了交叉口各个方向的交通运行状态。此处，交通流特征为包含时间序列位置信息及移动特征的大规模车辆轨迹数据。时间序列位置信息为所经路口位置序列或卡口位置序列，移动特征包括速度、方向等。

进一步地，本实施例对浮动车轨迹数据进行处理，获得机动车轨迹信息的时序特征和状态特征，从而获得目标交叉口的车辆通行状态。车辆通行状态在车辆层面上描述机动车的驾驶行为和在交叉口中的通行状态。本发明从车辆和道路两个层次，充分利用采集的多源交通数据，完成城市道路交通状态评估和车辆驾驶行为分析建模。

图3为本发明实施例提供的边缘节点的数据处理示意图，参照图3，本发明实施例在区域内的每一交叉口均设置边缘节点和多源交通数据采集设备。其中，多源交通数据采集设备包括地磁线圈设备、视频监控设备和雷达微波设备。

具体的，浮动车轨迹数据来自于城市区域交通路网统计的历史交通流数据，包括城市路网内的小型汽车和中型汽车GPS位置信息和时间戳信息等。借助于现代车辆携带的GPS或者北斗定位设备，此类信息可以轻易获得。

具体的。道路视频监控设备对一个交叉路口四个方向的多车道多车流分别监控分析，每个车道下方都埋有地磁线圈感应设备，雷达微波设备则对交叉口车流进口处车道设置对应扇区采集车流信息。

本发明实施例采用边缘计算节点协助交通信号灯控制，边缘节点独立完成交通流信息采集、交通流信息处理、交通信号灯优化等操作，边缘节点在处理本节点信息的同时还可以与周节点进行信息传递。在边缘计算的场景下，每个交叉口都是一个独立的边缘节点，具有独立的数据感知和计算控制能力，边缘计算将更多的控制功能下降到边缘侧，每个边缘节点都是一个可以进行交通控制的基本单元。这样的交通控制方案降低了通信网络的带宽压力和云端的工作量，提高了控制的实时性。

需要说明的是，边缘节点包括具有一定计算能力的微型计算机平台，微型计算机平台包括但不限于装有Linux系统的微型主板以及含有一定算力的GPU设备，在微型计算机平台上可对采集到的多源交通数据进行处理，通过多模态数据融合技术实现对多源交通数据的有效分析，进而建立单个交叉口在边缘节点下的交通运行状态模型。

参照图3，边缘节点一端连接多源交通数据采集设备，获取多源交通数据，另一端连接云端中心，将多源交通数据的处理结果发送至云端中心。单个交叉口的多源交通数据在对应的边缘节点被处理。具体地，边缘节点提取当前交叉口的地磁线圈数据、雷达微波数据和道路视频监控数据中的交通流特征，采用多模态数据融合技术，整合提取三类交通数据源的交通流特征，获得当前交叉口的道路交通状态。并且，本实施例对浮动车轨迹数据进行处理，获得机动车轨迹信息的时序特征和状态特征，从而获得目标交叉口的车辆通行状态。

S2，基于所述交通运行状态模型和预设的初始信号灯配时方案，采用强化学习方法，优化所述初始信号灯配时方案。

具体地，S2可以包括以下步骤：

S21，判断目标交叉口的车流通行状况为常规车流态或动态车流态。

首先，我们将目标交叉口的车流通行状况分为常规车流态和受到天气或交通事故影响导致的动态车流态。需要指出的是，常规车流态是指交叉路口一天的正常车流变化，这其中包括以天为周期下的高峰和非高峰时间段、以周为周期下的工作日车流变化和非工作日车流变化；动态车流态是指交叉路口因受雨雪等天气、上下游交通事故影响导致的交叉路口车流动态激增。

具体的，常规态车流是定义在天气状况优秀或良好，路网内无交通事故发生或者较少交通事故发生，对路网内车辆行驶状态影响不大的情况，此举可通过分析天气情况和交通管理部门内部事故研判情况获得。动态车流是指天气状况不好或恶劣，路网内存在有明显影响的交通事故，对路网内车辆的行驶造成了明显的影响的情况，同样也可以通过简单的天气分析和交通管理部门所拥有的交通事故实时研判获得。

S22，若目标交叉口的车流通行状况为常规车流态，则基于强化学习算法，将S1获得的交通运行状态模型作为智能体的状态空间，将初始信号灯配时方案作为智能体的动作空间；通过评估交通运行状态作为奖励机制，构建以所述边缘节点为智能体的强化学习模型。

步骤S1所得的交通运行状态模型从车辆和道路两个层次描述了交叉口的交通状态，其中，车辆作为交通行为的主体，其行为模式受边缘计算智能体的影响，因此可以作为奖励机制中的评价指标之一，同样的，交叉口自身周围的交通状态也是需要考虑的因素。

本实施例中，在常规态车流下，使用强化学习方法对单个交叉路口的交通信号灯控制进行优化，将边缘节点作为智能体，从S1得到的交通运行状态模型中获得智能体的状态空间，包括每个交叉口车道i的排队长度L_i、车道内车辆的数量V_i、等待时间W_i，此外从步骤S1的交通运行状态模型中还可以提取出交叉口车辆位置等待信息图形矩阵，状态空间还有当前交通信号相位Pc和下一交通信号相位Pn。此处，交通信号相位的定义为：在一个信号周期内，一股或几股车流在任何时刻都获得完全相同的信号灯色显示，那么就把它们获得不同灯色(绿灯、黄灯、全红)的连续时序称作一个信号相位。

设置初始交通信号灯配时方案，在此基础上将初始交通信号灯配时方案作为智能体的动作空间。步骤S1中获得的交通通行状态模型作为智能体的状态空间，其中包括交叉口所有车道的全部处于等待中的车辆数l、交叉口中所有车道的总的延误时间D，每个车道的延误时间D_i的计算方法如下公式：

式中，ls表示车辆在车道上的平均速度；sm表示车道的最大限制速度。

定义全部车道的总等待时间为W_j，具体的，等待时间在每次车辆移动后都会被重新设置为零，计算方式如下公式：

式中，W_j表示全部车道的总等待时间；t表示当前时间步长；vs表示当前时间步下车辆速度。

奖励机制的计算方法如下公式：

式中，Reward表示奖励机制；L_i表示交叉口车道i的排队长度；D_i表示每个车道的延误时间；W_i表示车道i的等待时间；C是交通信号灯控制方案切换指示，N是在时间间隔内通过交叉口的全部车辆的总和，T是时间间隔内通过交叉口的全部车辆的旅程时间，l表示交叉口所有车道的全部处于等待中的车辆数；w₁～w₄为强化学习模型需要学习的参数。

进一步的，前述步骤S1能够获得目标交叉口当前的交通运行状态，智能体的目标就是在初始信号灯配时方案的基础上找到一个可以最大化奖励机制的交通信号灯配时方案。奖励机制作为智能体选择交通信号灯配时方案后的结果表示，对交叉口的交通信号灯配时方案起着激励或惩罚的作用。

采用强化学习方法，构建以边缘计算节点为智能体的状态空间s和交通信号灯控制方案a为输入的强化学习模型，其输出为时间t下动作函数值。

得到强化学习模型为：

式中，s表示智能体的状态空间；a为预设交通信号灯配时方案，Q为函数模型更新公式，γ是折扣因子，α是学习率，R是奖励计算方法，π是模型策略；

表示在t时刻、模型策略π、状态空间s和动作空间a下的Q函数值；

表示在t+1时刻、模型策略π、状态空间s和动作空间a下的Q函数值；f为交通车辆跟车模式。强化学习模型包含下一时间t+1下的动作奖励和最大化可能未来奖励，此处，f(Q)为常规态车流下的车辆跟车模型。

边缘节点获取多源交通数据，建立交通运行状态模型。采用强化学习方法，从交通运行状态模型中获得智能体的状态空间，以初始信号灯配时方案作为智能体的动作空间，通过评估目标交叉口的交通运行状态作为奖励机制，根据前述算法对初始信号灯配时方案进行优化，给出目标交叉口的交通信号灯配时优化结果。进一步地，将交通信号灯配时优化结果返回设置给交通信号灯控制器，以此实现交叉口交通信号灯控制的动态调整。

本发明实施例设置的边缘节点能够处理上述步骤S1～S3处理运算，边缘节点包括具有一定计算能力的微型计算机平台，具有独立的数据处理和计算控制能力。进一步的，参照图3，在区域内每一交叉口设置边缘节点，能够完成区域内每一交叉口的交通信号灯配时优化处理。相比较于传统的集中式协调信号灯控制技术，边缘计算使得一些不必要的计算和控制要求下放到各自的边缘计算节点，每个边缘计算节点都是可以进行独立计算控制、相互信息交流、协调云端控制的基本单元。

本发明实施例提供的交叉口交通信号灯配时优化方法，采集交叉口的多源交通数据以建立交通运行状态模型，将交叉口交通通行的车流分为常规情况下的稳定车流态和受到天气或交通事故影响导致的动态车流态，基于交通运行状态模型，使用强化学习方法对单个交叉路口的交通信号灯控制进行优化，能够有效解决城市交通拥堵问题，提高交叉口机动车通行效率。

在上述实施例的基础上，在步骤S22之后，所述方法还包括：

S23，若目标交叉口的车流通行状况为动态车流态，则在所述强化学习模型的基础上，修改Q函数中的车辆跟车模式g(Q)，获得动态车流态下的Q函数值，以获得动态车流态下的强化学习模型。此处，动态车流态下的强化学习模型为：

图4为本发明实施例提供的交叉口交通信号灯配时优化装置的结构示意图，本发明实施例提供一种交叉口交通信号灯配时优化装置，包括：

采集模块401，用于获取目标交叉口的多源交通数据；所述多源交通数据包括地磁线圈数据、道路视频监控数据、雷达微波数据和浮动车轨迹数据；

交叉口交通信号灯配时优化模块402，用于基于所述多源交通数据，建立交通运行状态模型，以获得目标交叉口的道路交通状态和车辆通行状态。

具体地，本发明实施例提供的交叉口交通信号灯配时方案优化装置，具体用于执行上述方法实施例中的交叉口交通信号灯配时方案优化方法的步骤，由于上述实施例中已对交叉口交通信号灯配时方案优化进行详细介绍，此处不对交叉口交通信号灯配时方案优化装置的功能模块进行赘述。

本发明实施例提供的交叉口交通信号灯配时优化装置，采集交叉口的多源交通数据以建立交通运行状态模型，将交叉口交通通行的车流分为常规情况下的稳定车流态和受到天气或交通事故影响导致的动态车流态，基于交通运行状态模型，使用强化学习方法对单个交叉路口的交通信号灯控制进行优化，能够有效解决城市交通拥堵问题，提高交叉口机动车通行效率。

在上述实施例的基础上，所述交叉口交通信号灯配时优化模块401，具体包括：

提取单元，用于分别提取目标交叉口的地磁线圈数据、雷达微波数据和道路视频监控数据中的交通流特征；其中，所述交通流特征为包含时间序列位置信息及移动特征的大规模车辆轨迹数据；

道路交通状态预测单元，用于采用多模态数据融合技术，整合提取三类交通数据源的交通流特征，获得目标交叉口的道路交通状态；

车辆通行状态预测单元，用于浮动车轨迹数据进行处理，获得机动车轨迹信息的时序特征和状态特征，从而获得目标交叉口的车辆通行状态。

本发明实施例提供了本发明实施例提供了一种电子设备，如图5所示，该电子设备可以包括：处理器(processor)501、通信接口(Communications Interface)502、存储器(memory)503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。处理器501可以调用存储器503中的逻辑指令，以执行上述各实施例提供的交叉口交通信号灯配时优化方法，例如包括：S1，获取目标交叉口的多源交通数据，建立交通运行状态模型；其中，所述多源交通数据包括地磁线圈数据、道路视频监控数据、雷达微波数据和浮动车轨迹数据。S2，基于所述交通运行状态模型和预设的初始信号灯配时方案，采用强化学习方法，优化所述初始信号灯配时方案。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的交叉口交通信号灯配时优化方法，例如包括：S1，获取目标交叉口的多源交通数据，建立交通运行状态模型；其中，所述多源交通数据包括地磁线圈数据、道路视频监控数据、雷达微波数据和浮动车轨迹数据。S2，基于所述交通运行状态模型和预设的初始信号灯配时方案，采用强化学习方法，优化所述初始信号灯配时方案。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种交叉口交通信号灯配时优化方法，其特征在于，包括：

S1，获取目标交叉口的多源交通数据，建立交通运行状态模型；其中，所述多源交通数据包括地磁线圈数据、道路视频监控数据、雷达微波数据和浮动车轨迹数据；

S2，基于所述交通运行状态模型和预设的初始信号灯配时方案，采用强化学习方法，优化所述初始信号灯配时方案。

2.根据权利要求1所述的交叉口交通信号灯配时优化方法，其特征在于，步骤S1中，所述获取目标交叉口的多源交通数据，建立交通运行状态模型，具体包括：

边缘节点获取多源交通数据采集设备采集的多源交通数据；

分别提取地磁线圈数据、雷达微波数据和道路视频监控数据中的交通流特征；其中，所述交通流特征为包含时间序列位置信息及移动特征的大规模车辆轨迹数据；

采用多模态数据融合技术，整合提取三类交通数据源的交通流特征，获得目标交叉口的道路交通状态；对浮动车轨迹数据进行处理，获得机动车轨迹信息的时序特征和状态特征，从而获得目标交叉口的车辆通行状态。

3.根据权利要求2所述的交叉口交通信号灯配时优化方法，其特征在于，步骤S2中，基于所述交通运行状态模型和预设的初始信号灯配时方案，采用强化学习方法，优化所述初始信号灯配时方案，具体包括：

S21，判断目标交叉口的车流通行状况为常规车流态或动态车流态；

S22，若目标交叉口的车流通行状况为常规车流态，则基于强化学习算法，将S1获得的交通运行状态模型作为智能体的状态空间，将初始信号灯配时方案作为智能体的动作空间；通过评估交通运行状态作为奖励机制，构建以所述边缘节点为智能体的强化学习模型。

4.根据权利要求3所述的交叉口交通信号灯配时优化方法，其特征在于，S22中，所述强化学习模型为：

式中，s表示智能体的状态空间；a为预设交通信号灯配时方案，Q为函数模型更新公式，γ是折扣因子，α是学习率，R是奖励计算方法，π是模型策略；

表示在t时刻、模型策略π、状态空间s和动作空间a下的Q函数值；

表示在t+1时刻、模型策略π、状态空间s和动作空间a下的Q函数值；f为交通车辆跟车模式。强化学习模型包含下一时间t+1下的动作奖励和最大化可能未来奖励，此处，f(Q)为常规态车流下的车辆跟车模型。

5.根据权利要求4所述的交叉口交通信号灯配时优化方法，其特征在于，在步骤S22之后，所述方法还包括：

S23，若目标交叉口的车流通行状况为动态车流态，则在所述强化学习模型的基础上，修改Q函数中的车辆跟车模式g(Q)，获得动态车流态下的Q函数值，以获得动态车流态下的强化学习模型。

6.一种交叉口交通信号灯配时优化装置，其特征在于，包括：

多源交通数据获取模块，用于获取目标交叉口的多源交通数据，建立交通运行状态模型；其中，所述多源交通数据包括地磁线圈数据、道路视频监控数据、雷达微波数据和浮动车轨迹数据；

信号灯配时优化模块，用于基于所述交通运行状态模型和预设的初始信号灯配时方案，采用强化学习方法，优化所述初始信号灯配时方案。

7.根据权利要求6所述的交叉口交通信号灯配时优化装置，其特征在于，所述多源交通数据获取模块具体包括：

获取单元，用于获取多源交通数据采集设备采集的多源交通数据；

提取单元，用于分别提取地磁线圈数据、雷达微波数据和道路视频监控数据中的交通流特征；其中，所述交通流特征为包含时间序列位置信息及移动特征的大规模车辆轨迹数据；

数据融合单元，用于采用多模态数据融合技术，整合提取三类交通数据源的交通流特征，获得目标交叉口的道路交通状态；

浮动车轨迹处理单元，用于对浮动车轨迹数据进行处理，获得机动车轨迹信息的时序特征和状态特征，从而获得目标交叉口的车辆通行状态。

8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述交叉口交通信号灯配时优化方法的步骤。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至5任一项所述交叉口交通信号灯配时优化方法的步骤。

Images