CN114973704A - 信号控制策略的生成方法及装置、设备、存储介质 - Google Patents
信号控制策略的生成方法及装置、设备、存储介质 Download PDFInfo
- Publication number
- CN114973704A CN114973704A CN202210563153.1A CN202210563153A CN114973704A CN 114973704 A CN114973704 A CN 114973704A CN 202210563153 A CN202210563153 A CN 202210563153A CN 114973704 A CN114973704 A CN 114973704A
- Authority
- CN
- China
- Prior art keywords
- traffic
- coordinated
- signal control
- road section
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 119
- 238000011217 control strategy Methods 0.000 title claims abstract description 73
- 238000005457 optimization Methods 0.000 claims abstract description 79
- 238000012549 training Methods 0.000 claims abstract description 54
- 230000000694 effects Effects 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 17
- 238000011156 evaluation Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 11
- 230000000875 corresponding effect Effects 0.000 description 70
- 230000006870 function Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 18
- 230000003044 adaptive effect Effects 0.000 description 16
- 230000002787 reinforcement Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000009471 action Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 4
- 238000000819 phase cycle Methods 0.000 description 4
- 238000007619 statistical method Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005465 channeling Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/07—Controlling traffic signals
- G08G1/08—Controlling traffic signals according to detected number or speed of vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/02—Reliability analysis or reliability optimisation; Failure analysis, e.g. worst case scenario performance, failure mode and effects analysis [FMEA]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Analytical Chemistry (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请实施例公开了一种信号控制策略的生成方法及装置、设备、存储介质，其中，所述方法包括：获取待协调路段的当前交通信息；根据所述当前交通信息，确定所述待协调路段的当前交通状态；从多个已训练的信号控制模型中，确定与所述当前交通状态匹配的目标信号控制模型；其中，不同的所述信号控制模型对应不同的交通状态，并通过对应交通状态下的历史交通信息以及优化目标训练得到；基于所述当前交通信息、所述当前交通状态对应的所述目标信号控制模型以及优化目标，确定所述待协调路段的信号控制策略。
Description
技术领域
本申请实施例涉及人工智能技术，涉及但不限于一种信号控制策略的生成方法及装置、设备、存储介质。
背景技术
目前，随着检测技术的发展，越来越多的研究和应用逐渐关注于自适应控制方法，期望通过对交通需求的实时检测和交通供给的实时调整，保证交通系统处于供需平衡状态。
但是，目前主流的干线协调控制系统存在各种各样的缺陷，例如对交通流变化的适应能力不足等。
发明内容
有鉴于此，本申请实施例提供一种信号控制策略的生成方法及装置、设备、存储介质。
本申请实施例的技术方案是这样实现的：
第一方面，本申请实施例提供一种信号控制策略的生成方法，所述方法包括：获取待协调路段的当前交通信息；根据所述当前交通信息，确定所述待协调路段的当前交通状态；从多个已训练的信号控制模型中，确定与所述当前交通状态匹配的目标信号控制模型；其中，不同的所述信号控制模型对应不同的交通状态，并通过对应交通状态下的历史交通信息以及优化目标训练得到；基于所述当前交通信息、所述当前交通状态对应的所述目标信号控制模型以及优化目标，确定所述待协调路段的信号控制策略。
通过上述方式，能够分场景使用对应的信号控制模型来确定待协调路段的信号控制策略，从而在特定的宏观交通状态下，达到适应协调干线道路复杂多变的交通流特性，快速响应交通需求变化的效果。
在一些实施例中，所述信号控制模型通过以下步骤进行训练：确定不同交通状态中每一所述交通状态关联的交通指标；通过所述交通指标，构建对应交通状态下的待训练的信号控制模型的优化目标；确定待协调路段在每一所述交通状态下的历史交通信息；基于每一所述交通状态下的历史交通信息，对对应交通状态下的待训练的信号控制模型进行训练，直至训练后的所述信号控制模型的优化目标满足预设条件。
通过上述方式，能够区分宏观交通状态，设定不同的目标函数和交通指标，从而提高信号控制模型在应用中的灵活性，在干线道路上局部检测器数据质量低或缺失等实际工程条件下，系统应用效果的均衡性更强，更贴合业务需求。
在一些实施例中，所述确定待协调路段在每一所述交通状态下的历史交通信息，包括：获取待协调路段在第一时间段内的历史交通信息；将所述第一时间段划分为多个第二时间段；确定第二时间段内所述待协调路段的饱和度；通过所述饱和度，确定所述待协调路段在所述第二时间段内的交通状态；根据所述待协调路段在多个第二时间段内的交通状态和历史交通信息，确定所述待协调路段在每一交通状态下的历史交通信息。
通过上述方式，能够根据待协调路段的饱和度构建不同交通状态下的数据集。
在一些实施例中，所述通过所述饱和度，确定所述待协调路段在所述第二时间段内的交通状态，包括：在所述饱和度小于第一预设阈值的情况下，确定所述待协调路段在所述第二时间段内处于第一交通状态；和/或在所述饱和度大于等于所述第一预设阈值、且小于等于第二预设阈值的情况下，确定所述待协调路段在所述第二时间段内处于第二交通状态；和/或在所述饱和度大于所述第二预设阈值的情况下，确定所述待协调路段在所述第二时间段内处于第三交通状态。
通过上述方式，能够根据待协调路段的饱和度区分待协调路段的不同宏观交通状态。
在一些实施例中，在所述不同交通状态包括第一交通状态、第二交通状态和第三交通状态中的至少之一的情况下，所述确定不同交通状态中每一所述交通状态关联的交通指标，包括：确定所述第一交通状态关联的交通指标为交通工具通过所述待协调路段的平均延误时间；和/或，确定所述第二交通状态关联的交通指标为单位时间内通过所述待协调路段的交通工具数量；和/或，确定所述第三交通状态关联的交通指标为单位时间内所述待协调路段上交通工具的排队长度。
通过上述方式，能够考虑不同宏观交通状态下交通指标的差异，进而区分不同宏观交通状态下优化目标的差异，从而快速、准确的响应交通需求的变化。
在一些实施例中，所述基于每一所述交通状态下的历史交通信息，对对应交通状态下的待训练的信号控制模型进行训练之前，所述方法还包括：确定所述不同交通状态下的待训练的信号控制模型的输出参数；其中，所述输出参数包括以下至少一种：相位差、公共周期、绿信比、不同交通路口之间的信号时序关系；所述基于所述当前交通信息、所述当前交通状态对应的所述目标信号控制模型以及优化目标，确定所述待协调路段的信号控制策略，包括：基于所述当前交通信息、所述当前交通状态对应的所述目标信号控制模型以及优化目标，确定所述目标信号控制模型的输出参数的调整值。
通过上述方式，能够实现干线道路的灵活协调控制，可调整公共周期、相位差、绿信比与交叉口协调关系等参数。
在一些实施例中，所述历史交通信息包括历史交通流量信息和历史交通拥堵信息；所述基于每一所述交通状态下的历史交通信息，对对应交通状态下的待训练的信号控制模型进行训练，直至训练后的所述信号控制模型的优化目标满足预设条件，包括：将每一所述交通状态下的历史交通流量信息作为观测值、历史交通拥堵信息作为回报值，对对应交通状态下的待训练的信号控制模型进行训练，直至训练后的所述信号控制模型的优化目标满足预设条件。
通过上述方式，能够在分类干线道路宏观交通状态的情况下，通过应用强化学习训练对应交通状态下的自适应干线协调控制模型。
在一些实施例中，在所述交通信息包括交通流量信息的情况下，通过以下步骤确定所述交通流量信息：基于待协调路段的拓扑关系和路口渠化特征，对经过所述待协调路段的交通工具进行跟踪检测，得到所述交通工具的行驶轨迹；根据所述行驶轨迹和预设的车道检测线，确定待协调路段的车流量；其中，所述车流量包括以下至少一种：不同车道的车流量、不同行驶方向的车流量；利用所述车流量，确定待协调路段的交通流量信息。
通过上述方式，能够综合应用路网拓扑、路口渠化和周边环境采集交通流量数据。
在一些实施例中，在所述交通信息包括交通拥堵信息的情况下，通过以下步骤确定所述交通拥堵信息：基于待协调路段的拓扑关系和路口渠化特征，对经过所述待协调路段的交通工具进行跟踪检测，得到所述交通工具通过相邻交通路口的第一时长；确定所述交通工具以标准速度通过所述相邻交通路口的第二时长；根据所述第一时长和所述第二时长，确定所述待协调路段的交通拥堵信息。
通过上述方式，能够综合应用路网拓扑、路口渠化和周边环境采集交通工具的延误信息，从而确定交通拥堵数据。
在一些实施例中，在所述交通信息包括交通拥堵信息的情况下，通过以下步骤确定所述交通拥堵信息：基于待协调路段的拓扑关系、路口渠化特征和历史信号控制策略，对经过所述待协调路段的交通工具进行跟踪检测，得到第三时间段内交通路口交通工具的排队长度；其中，所述第三时间段包括相邻信号周期下同种颜色交通信号灯开启时刻之间的时长；根据所述排队长度，确定所述待协调路段的交通拥堵信息。
通过上述方式，能够综合应用路网拓扑、路口渠化和周边环境采集交通工具的排队信息，从而确定交通拥堵数据。
在一些实施例中，在所述交通信息包括交通流量信息的情况下，所述方法还包括：确定所述待协调路段的场所信息、所述待协调路段的拓扑关系、所述待协调路段的路口渠化特征和历史信号控制策略；所述基于所述当前交通信息、所述当前交通状态对应的所述目标信号控制模型以及优化目标，确定所述待协调路段的信号控制策略，包括：基于所述交通流量信息、所述场所信息、所述拓扑关系、所述路口渠化特征、所述历史信号控制策略、所述当前交通状态对应的所述目标信号控制模型以及优化目标，确定所述待协调路段的信号控制策略。
通过上述方式，能够将多角度采集的信息输入至目标信号控制模型，从而得到更为准确的、与当前待协调路段更为匹配的信号控制策略。
在一些实施例中，所述方法还包括：利用确定出的所述信号控制策略，调整所述待协调路段上交通路口的控制信号；在调整完成的情况下，获取当前待协调路段上的交通参数；基于所述交通参数和预设的评价指标，确定所述控制信号的调整效果；其中，所述预设的评价指标与所述目标信号控制模型的优化目标具有对应关系。
通过上述方式，能够在特定宏观交通状态下基于不同的评价指标，跟踪干线道路自适应协调控制效果。
第二方面，本申请实施例提供一种信号控制策略的生成装置，所述装置包括：交通信息获取单元，用于获取待协调路段的当前交通信息；交通状态确定单元，用于根据所述当前交通信息，确定所述待协调路段的当前交通状态；目标模型确定单元，用于从多个已训练的信号控制模型中，确定与所述当前交通状态匹配的目标信号控制模型；其中，不同的所述信号控制模型对应不同的交通状态，并通过对应交通状态下的历史交通信息以及优化目标训练得到；控制策略确定单元，用于基于所述当前交通信息、所述当前交通状态对应的所述目标信号控制模型以及优化目标，确定所述待协调路段的信号控制策略。
第三方面，本申请实施例提供一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述信号控制策略的生成方法中的步骤。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述信号控制策略的生成方法中的步骤。
本申请实施例提供一种信号控制策略的生成方法及装置、设备、存储介质，通过获取待协调路段的当前交通信息；根据所述当前交通信息，确定所述待协调路段的当前交通状态；从多个已训练的信号控制模型中，确定与所述当前交通状态匹配的目标信号控制模型；其中，不同的所述信号控制模型对应不同的交通状态，并通过对应交通状态下的历史交通信息以及优化目标训练得到；基于所述当前交通信息、所述当前交通状态对应的所述目标信号控制模型以及优化目标，确定所述待协调路段的信号控制策略，如此，能够分场景使用对应的信号控制模型来确定待协调路段的信号控制策略，从而在特定的宏观交通状态下，达到适应协调干线道路复杂多变的交通流特性，快速响应交通需求变化的效果。
附图说明
图1为本申请实施例信号控制策略的生成方法的实现流程示意图一；
图2为本申请实施例信号控制策略的生成方法的实现流程示意图二；
图3为本申请实施例信号控制策略的生成方法的实现流程示意图三；
图4A为本申请实施例视频图像采集装置的示意图；
图4B为本申请实施例交叉口拓扑关系示意图；
图4C为本申请实施例交叉口渠化特征的示意图；
图4D为本申请实施例交叉口信号配时方案的示意图；
图4E为本申请实施例流量数据获取方法的实现流程示意图；
图4F为本申请实施例交通状态与核心交通指标的关系的示意图；
图4G为本申请实施例强化学习系统的决策过程示意图；
图5为本申请实施例信号控制策略的生成装置的组成结构示意图；
图6为本申请实施例电子设备的一种硬件实体示意图。
具体实施方式
下面结合附图和实施例对本申请的技术方案进一步详细阐述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本申请的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
需要指出，本申请实施例所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
交叉口是城市道路交通系统中对不同交通流时空资源分配的重要节点，合理的交通信号控制方案能够有效降低交通流运行过程所需的行程时间，减少各个方向的排队长度，并对降低交通排放和能耗具有重要意义。在众多交通信号控制方式中，干线协调控制是较经济并且得到广泛应用的信号控制方法之一。干线协调控制通过合理地协调干线交叉口的信号控制参数，使得干线车流以不停车或者较少停车的方式通过各个交叉口，从而大大提高干线的通行效率，减少车辆延误和能耗。随着检测技术的发展，越来越多的研究和应用逐渐关注于自适应控制方法，期望通过对交通需求的实时检测和交通供给的实时调整，保证交通系统处于供需平衡状态。
目前主流的干线协调控制系统，通过建立信号控制方案和交通运行效果之间的数学模型，利用最优化方法得到最佳的控制方案。但是，基于确定的交叉口、固定时段且协调控制参数不能调整的设定，导致系统在进行干线道路协调控制时，控制方案对交通流变化的适应能力不足、协调干线道路不能动态分段、控制参数调整灵活性很低。同时，过于依赖检测数据的准确性与完整性，当局部检测器数据质量降低或出错时，算法推荐所能达到的系统控制效果不稳定。此外，传统强化学习模型往往过于封闭，与交通控制系统业务脱节，难以满足在实际工作环境下，多变的干线协调自适应控制需求。
基于此，本申请实施例提供一种信号控制策略的生成方法，所述方法应用于电子设备，该方法所实现的功能可以通过所述电子设备中的处理器调用程序代码来实现，当然程序代码可以保存在所述电子设备的存储介质中。图1为本申请实施例信号控制策略的生成方法的实现流程示意图一，如图1所示，所述方法包括：
步骤S101、获取待协调路段的当前交通信息；
这里，所述电子设备可以为各种类型的具有信息处理能力的设备，例如导航仪、智能手机、平板电脑、可穿戴设备、膝上型便携计算机、一体机和台式计算机、服务器集群等。
本申请实施例中，所述待协调路段可以为干线道路上的某一段路，所述待协调路段可以包括多个交通路口，例如图4B中待协调路段可以是包括交通路口1、交通路口2、交通路口3和交通路口4的干线路段。
其中，所述待协调路段的当前交通信息包括待协调路段上各交通路口的交通工具流量数据以及交通拥堵数据。例如，路口的一个或多个车道的车流量、路口驶向不同行驶方向的车流量，路口在两个绿灯开启时刻之间的车辆排队长度等。
步骤S102、根据所述当前交通信息，确定所述待协调路段的当前交通状态；
举例来说，可以对当前交通信息进行统计分析，将待协调路段区分为低饱和、中饱和、高饱和三种宏观交通状态，以图4B中的路网为例，交通路口1、交通路口2、交通路口3和交通路口4为干线上协调路口，东西方向为协调方向。进而，将包含交通路口1至4的待协调路段作为一个整体，计算路段的通行能力，以及单位时间内通过待协调路段的交通流流量，从而利用通信能力和交通流流量确定饱和度。最后，根据饱和度的值，将待协调路段分为低饱和、中饱和、高饱和三种宏观交通状态。
步骤S103、从多个已训练的信号控制模型中，确定与所述当前交通状态匹配的目标信号控制模型；其中，不同的所述信号控制模型对应不同的交通状态，并通过对应交通状态下的历史交通信息以及优化目标训练得到；
这里，不同交通状态对应不同的已训练的信号控制模型，因此接入实时交通数据后，需要利用对应交通状态下的已训练的信号控制模型，实现干线道路自适应分段、交叉口控制参数的自适应调整。
本申请实施例中，不同的已训练的信号控制模型是通过不同交通状态下的历史交通信息训练得到，不同的已训练的信号控制模型对应不同的优化目标。例如，低饱和的交通状态下的信号控制模型是通过低饱和的历史交通数据、配合对应的优化目标训练得到；高饱和的交通状态下的信号控制模型对应高饱和的历史交通数据以及对应交通状态下的优化目标。
步骤S104、基于所述当前交通信息、所述当前交通状态对应的所述目标信号控制模型以及优化目标，确定所述待协调路段的信号控制策略。
这里，将当前交通信息输入至目标信号控制模型后，可以基于所述当前交通信息、所述当前交通状态对应的所述目标信号控制模型以及优化目标，确定所述待协调路段的信号控制策略。
本申请实施例中，在确定出待协调路段的信号控制策略后，可以将该控制策略输出至待协调路段上的信号机，使得该信号机可以根据接收到的信号控制策略进行交通信号控制。
在一些实施例中，所述信号控制模型通过以下步骤进行训练：
步骤S11a、确定不同交通状态中每一所述交通状态关联的交通指标；
步骤S12a、通过所述交通指标，构建对应交通状态下的待训练的信号控制模型的优化目标；
步骤S13a、确定待协调路段在每一所述交通状态下的历史交通信息；
步骤S14a、基于每一所述交通状态下的历史交通信息，对对应交通状态下的待训练的信号控制模型进行训练，直至训练后的所述信号控制模型的优化目标满足预设条件。
在一些实施例中，在所述交通信息包括交通流量信息的情况下，所述方法还包括：确定所述待协调路段的场所信息、所述待协调路段的拓扑关系、所述待协调路段的路口渠化特征和历史信号控制策略；
这里，除了确定交通信息外，还可以确定环境信息，进而将交通信息和环境信息均输入信号控制模型，得到精准的信号控制策略。
其中，所述待协调路段的场所信息可以为待协调路段周边的重要交通发生场所信息，包括场所与待协调路段上交叉口、路段的关系，例如关联交叉口、场所出入口所在路段等，还包括场所的交通流特性，例如场所为学校时，学校的上课与下课时间、上下课交通流量情况等。
所述步骤S104、基于所述当前交通信息、所述当前交通状态对应的所述目标信号控制模型以及优化目标，确定所述待协调路段的信号控制策略，包括：基于所述交通流量信息、所述场所信息、所述拓扑关系、所述路口渠化特征、所述历史信号控制策略、所述当前交通状态对应的所述目标信号控制模型以及优化目标，确定所述待协调路段的信号控制策略。
在一些实施例中，所述方法还包括：
步骤S11b、利用确定出的所述信号控制策略，调整所述待协调路段上交通路口的控制信号；
这里，可以将确定出的所述信号控制策略，发送给待协调路段对应的信号机，信号机根据所述信号控制策略调整并输出下一周期的显示信号。
步骤S12b、在调整完成的情况下，获取当前待协调路段上的交通参数；
这里，在信号机输出信号控制策略后，可以获取当前环境下的交通参数。由于待协调路段交通路口的控制信号相比之前做了调整，因此待协调路段上的交通参数也会发生相应的改变。
步骤S13b、基于所述交通参数和预设的评价指标，确定所述控制信号的调整效果；其中，所述预设的评价指标与所述目标信号控制模型的优化目标具有对应关系；
举例来说，在构建优化目标的交通指标为交通工具通过待协调路段的平均延误时间的情况下，所述评价指标为延误时间；在构建优化目标的交通指标为单位时间内通过所述待协调路段的交通工具数量的情况下，所述评价指标为交通流量；在构建优化目标的交通指标为单位时间内所述待协调路段上交通工具的排队长度的情况下，所述评价指标为排队长度。
这里，在特定宏观交通状态下，基于不同的评价指标，跟踪干线道路自适应协调控制效果。
基于前述的实施例，本申请实施例再提供一种信号控制策略的生成方法，所述方法应用于电子设备，图2为本申请实施例信号控制策略的生成方法的实现流程示意图二，如图2所示，所述方法包括：
步骤S201、确定不同交通状态中每一所述交通状态关联的交通指标；
举例来说，可以对当前交通信息进行统计分析，将待协调路段区分为低饱和、中饱和、高饱和三种宏观交通状态。在低饱和的交通状态下，对应的交通指标为交通工具通过交通路口的平均延误；在中饱和的交通状态下，对应的交通指标为单位时间内通过交通路口的交通工具数量；在高饱和的交通状态下，对应的交通指标为单位时间内交通工具在交通路口的平均排队长度。
步骤S202、通过所述交通指标，构建对应交通状态下的待训练的信号控制模型的优化目标；
举例来说，在低饱和的交通状态下，优化目标可以是交通工具通过交通路口的平均延误时间小于某一预设阈值。在中饱和的交通状态下，优化目标可以是单位时间内通过交通路口的交通工具的数量(即交通流量)大于某一预设阈值。在高饱和的交通状态下，优化目标可以是单位时间内交通工具在交通路口的平均排队长度短于某一预设阈值。
步骤S203、确定待协调路段在每一所述交通状态下的历史交通信息；
步骤S204、基于每一所述交通状态下的历史交通信息，对对应交通状态下的待训练的信号控制模型进行训练，直至训练后的所述信号控制模型的优化目标满足预设条件；
例如，基于低饱和交通状态下的历史交通信息，对低饱和状态对应的信号控制模型进行训练，如果使用模型输出的控制策略对交通信号进行调整后，路段上交通工具通过交通路口的平均延误小于目标阈值，则认为训练完成。又如，基于中饱和交通状态下的历史交通信息，对中饱和状态对应的信号控制模型进行训练，如果使用模型输出的控制策略对交通信号进行调整后，路段上单位时间内通过交通路口的交通工具的数量大于目标阈值，则认为训练完成。又如，基于高饱和交通状态下的历史交通信息，对高饱和状态对应的信号控制模型进行训练，如果使用模型输出的控制策略对交通信号进行调整后，路段上单位时间内交通工具在交通路口的平均排队长度短于目标阈值，则认为训练完成。
步骤S205、获取待协调路段的当前交通信息；
这里，当前交通信息即实时交通信息。
步骤S206、根据所述当前交通信息，确定所述待协调路段的当前交通状态；
步骤S207、从多个已训练的信号控制模型中，确定与所述当前交通状态匹配的目标信号控制模型；其中，不同的所述信号控制模型对应不同的交通状态，并通过对应交通状态下的历史交通信息以及优化目标训练得到；
步骤S208、基于所述当前交通信息、所述当前交通状态对应的所述目标信号控制模型以及优化目标，确定所述待协调路段的信号控制策略。
基于前述的实施例，本申请实施例再提供一种信号控制策略的生成方法，所述方法应用于电子设备，所述方法包括：
步骤S211、确定不同交通状态中每一所述交通状态关联的交通指标；
步骤S212、通过所述交通指标，构建对应交通状态下的待训练的信号控制模型的优化目标；
步骤S213、获取待协调路段在第一时间段内的历史交通信息；
这里，本领域技术人员可以根据实际情况确定第一时间段，例如，第一时间段可以是1月至3月，也可以是10月至12月。
步骤S214、将所述第一时间段划分为多个第二时间段；
例如，第一时间段包括90天，则可以将每一天的时间都划分为N个时间段，则第一时间段可以划分为90*N个第二时间段。
这里，为了采集到更多的数据量，可以获取较长时间段内的历史交通信息，然后将该较长时间段进行分段，每一段内的交通数据都是不同状态下的交通数据，从而达到丰富训练样本，提高模型准确率的效果。
步骤S215、确定第二时间段内所述待协调路段的饱和度；
步骤S216、通过所述饱和度，确定所述待协调路段在所述第二时间段内的交通状态；
例如，第二时间段包括7点到9点，这一时段内路段的饱和度大于90％，则这一时段的交通状态为高饱和状态。第二时间段包括9点到12点，这一时段内路段的饱和度小于50％，则这一时段的交通状态为低饱和状态。第二时间段包括12点到2点，这一时段内路段的饱和度大于50％小于90％，则这一时段的交通状态为中饱和状态。
步骤S217、根据所述待协调路段在多个第二时间段内的交通状态和历史交通信息，确定所述待协调路段在每一交通状态下的历史交通信息；
这里，时段内的交通状态为特定交通状态，则该时段内的历史交通信息即特定交通状态下的历史交通信息。例如，时段为低饱和，则时段内的历史交通信息为低饱和交通状态下的历史交通信息。
步骤S218、基于每一所述交通状态下的历史交通信息，对对应交通状态下的待训练的信号控制模型进行训练，直至训练后的所述信号控制模型的优化目标满足预设条件。
步骤S219、获取待协调路段的当前交通信息；
步骤S220、根据所述当前交通信息，确定所述待协调路段的当前交通状态；
步骤S221、从多个已训练的信号控制模型中，确定与所述当前交通状态匹配的目标信号控制模型；其中，不同的所述信号控制模型对应不同的交通状态，并通过对应交通状态下的历史交通信息以及优化目标训练得到；
步骤S222、基于所述当前交通信息、所述当前交通状态对应的所述目标信号控制模型以及优化目标，确定所述待协调路段的信号控制策略。
在一些实施例中，所述步骤S216、通过所述饱和度，确定所述待协调路段在所述第二时间段内的交通状态，可以通过以下方式实现：
步骤S2161、在所述饱和度小于第一预设阈值的情况下，确定所述待协调路段在所述第二时间段内处于第一交通状态；
步骤S2162、在所述饱和度大于等于所述第一预设阈值、且小于等于第二预设阈值的情况下，确定所述待协调路段在所述第二时间段内处于第二交通状态；
步骤S2163、在所述饱和度大于所述第二预设阈值的情况下，确定所述待协调路段在所述第二时间段内处于第三交通状态。
在一些实施例中，所述步骤S211、确定不同交通状态中每一所述交通状态关联的交通指标确定不同交通状态中每一所述交通状态关联的交通指标，通过以下方式实现：
步骤S2111、确定所述第一交通状态关联的交通指标为交通工具通过所述待协调路段的平均延误时间；
这里，可以通过视频识别通过相邻交叉口的车辆车牌，记录通过时间，计算出每辆车的行程时间，车辆延误等于行程时间减去车辆以自由流速度通过路段所花费时间。
步骤S2112、确定所述第二交通状态关联的交通指标为单位时间内通过所述待协调路段的交通工具数量；
例如，可以确定1小时内通过待协调路段的交通工具数量。
步骤S2113、确定所述第三交通状态关联的交通指标为单位时间内所述待协调路段上交通工具的排队长度。
例如，可以通过视频识别记录待协调路段上交通路口在每次绿灯亮起之间的车道排队长度。
在一些实施例中，在所述交通信息包括交通流量信息的情况下，可以通过以下步骤确定所述交通流量信息：
步骤S21a、基于待协调路段的拓扑关系和路口渠化特征，对经过所述待协调路段的交通工具进行跟踪检测，得到所述交通工具的行驶轨迹；
这里，可以利用现有的一些地图软件，获取当前多个交通路口的拓扑关系和路口渠化特征。在一些实施例中，所述交通路口的渠化特征包括以下至少一种：交通路口的形状、交通路口路段中心线的夹角、交通路口是否存在人行横道、交通路口进口道的车道数、交通路口出口道的车道数、所述进口道中每一车道对应的功能。这里，交通路口的形状可以是T形、Y形、十字形、X形、错位、环形等形式的道路交叉口。所述交通路口路段中心线的夹角可以是路段黄线的夹角。所述车道对应的功能可以是左转功能、直行功能、右转功能、左转加直行功能、右转加直行功能。
本申请实施例中，拓扑关系和渠化特征是用来计算交通数据，以及训练信号控制模型、计算最优方案的。例如，路口渠化特征中每个进出口道与属于其的车道的关系，车道的编号这些可以用来支撑交通数据的统计。
步骤S22a、根据所述行驶轨迹和预设的车道检测线，确定待协调路段的车流量；其中，所述车流量包括以下至少一种：不同车道的车流量、不同行驶方向的车流量；
这里，预设的车道检测线可以为与进口道停车线平行的一条横线。
本申请实施例中，不同车道的车流量即车道级流量，是按空间去定义的。不同行驶方向的车流量即流向级流量，是按车道功能(即左转、右转、直行)去定义的。例如，如果有一个直行加右转的车道，则需要拆分成直行的流量和右转的流量。
步骤S23a、利用所述车流量，确定待协调路段的交通流量信息。
在一些实施例中，在所述交通信息包括交通拥堵信息、且所述拥堵信息为延误时长的情况下，可以通过以下步骤确定所述交通拥堵信息：
步骤S21b、基于待协调路段的拓扑关系和路口渠化特征，对经过所述待协调路段的交通工具进行跟踪检测，得到所述交通工具通过相邻交通路口的第一时长；
步骤S22b、确定所述交通工具以标准速度通过所述相邻交通路口的第二时长；
本申请实施例中，第二时长可以是交通工具以自由流速度通过相邻交通路口的时长，也可以是交通工具在一定条件下通过相邻交通路口的时长，本申请实施例对此并不做限制。
步骤S23b、根据所述第一时长和所述第二时长，确定所述待协调路段的交通拥堵信息。
在一些实施例中，在所述交通信息包括交通拥堵信息、且所述拥堵信息为排队长度的情况下，通过以下步骤确定所述交通拥堵信息：
步骤S21c、基于待协调路段的拓扑关系、路口渠化特征和历史信号控制策略，对经过所述待协调路段的交通工具进行跟踪检测，得到第三时间段内交通路口交通工具的排队长度；其中，所述第三时间段包括相邻信号周期下同种颜色交通信号灯开启时刻之间的时长；
举例来说，可以通过视频识别各交通路口在每次绿灯亮起之间的车道排队长度，每次绿灯亮起之间的时间段即第三时间段。
这里，所述历史信号控制策略是已执行过的任一信号控制周期下的历史信号控制策略。
步骤S22c、根据所述排队长度，确定所述待协调路段的交通拥堵信息。
基于前述的实施例，本申请实施例再提供一种信号控制策略的生成方法，所述方法应用于电子设备，所述方法包括：
步骤S231、在不同交通状态包括第一交通状态、第二交通状态和第三交通状态的情况下，确定所述第一交通状态关联的交通指标为交通工具通过所述待协调路段的平均延误时间；
步骤S232、确定所述第二交通状态关联的交通指标为单位时间内通过所述待协调路段的交通工具数量；
步骤S233、确定所述第三交通状态关联的交通指标为单位时间内所述待协调路段上交通工具的排队长度；
步骤S234、通过所述交通指标，构建对应交通状态下的待训练的信号控制模型的优化目标；
步骤S235、确定待协调路段在每一所述交通状态下的历史交通信息；
步骤S236、基于每一所述交通状态下的历史交通信息，对对应交通状态下的待训练的信号控制模型进行训练，直至训练后的所述信号控制模型的优化目标满足预设条件。
步骤S237、获取待协调路段的当前交通信息；
步骤S238、根据所述当前交通信息，确定所述待协调路段的当前交通状态；
步骤S239、从多个已训练的信号控制模型中，确定与所述当前交通状态匹配的目标信号控制模型；其中，不同的所述信号控制模型对应不同的交通状态，并通过对应交通状态下的历史交通信息以及优化目标训练得到；
步骤S240、基于所述当前交通信息、所述当前交通状态对应的所述目标信号控制模型以及优化目标，确定所述待协调路段的信号控制策略。
基于前述的实施例，本申请实施例再提供一种信号控制策略的生成方法，所述方法应用于电子设备，图3为本申请实施例信号控制策略的生成方法的实现流程示意图三，如图3所示，所述方法包括：
步骤S301、确定不同交通状态中每一所述交通状态关联的交通指标；
步骤S302、通过所述交通指标，构建对应交通状态下的待训练的信号控制模型的优化目标；
步骤S303、确定待协调路段在每一所述交通状态下的历史交通信息；
步骤S304、确定所述不同交通状态下的待训练的信号控制模型的输出参数；其中，所述输出参数包括以下至少一种：相位差、公共周期、绿信比、不同交通路口之间的信号时序关系；
本申请实施例中，输出参数可以包括待协调路段上多个交通路口的路口分组方式，以及每一分组中不同交通路口之间的交通信号时序关系。例如，将待协调路段上的历史交通信息输入至信号控制模型，得到待协调路段上多个交通路口在下一信号控制周期的信号控制方案为：路口1、路口2和路口3为一组，路口4和路口5为一组，且路口1南北方向直行绿灯开启时间比路口2晚1秒，路口2南北方向直行绿灯开启时间比路口3晚4秒。
步骤S305、基于每一所述交通状态下的历史交通信息，对对应交通状态下的待训练的信号控制模型进行训练，直至训练后的所述信号控制模型的优化目标满足预设条件；
步骤S306、获取待协调路段的当前交通信息；
步骤S307、根据所述当前交通信息，确定所述待协调路段的当前交通状态；
步骤S308、从多个已训练的信号控制模型中，确定与所述当前交通状态匹配的目标信号控制模型；其中，不同的所述信号控制模型对应不同的交通状态，并通过对应交通状态下的历史交通信息以及优化目标训练得到；
步骤S309、基于所述当前交通信息、所述当前交通状态对应的所述目标信号控制模型以及优化目标，确定所述目标信号控制模型的输出参数的调整值。
这里，相比于传统干线协调控制系统多数采用绿灯持续时长作为调整参数，本申请实施例的方案能够调整公共周期、相位差等参数，干线协调自适应灵活性更高。
在一些实施例中，所述历史交通信息包括历史交通流量信息和历史交通拥堵信息；
对应地，所述步骤S305、基于每一所述交通状态下的历史交通信息，对对应交通状态下的待训练的信号控制模型进行训练，直至训练后的所述信号控制模型的优化目标满足预设条件，包括：将每一所述交通状态下的历史交通流量信息作为观测值、历史交通拥堵信息作为回报值，对对应交通状态下的待训练的信号控制模型进行训练，直至训练后的所述信号控制模型的优化目标满足预设条件。
这里，信号控制模型的输入为每个时间步(即每个信号控制周期)的状态观测值及回报值，输出为对应的信号控制方案。本申请实施例中，可以将交通流量作为观测值，将平均延误、平均排队长度作为回报值，对对应交通状态下的待训练的信号控制模型进行训练，直至训练后的所述信号控制模型的优化目标满足预设条件。其中，所述观测值和回报值不是同一控制周期内的，即第N个周期的观测值输入到第(N+1)个周期的迭代中，得到该第(N+1)个周期的回报值，其中N为大于等于1的自然数。
其中，在训练智能体的过程中，可以采用经典的强化学习训练过程，即智能体观察环境的状态不断做出动作，环境受到智能体动作影响之后，更新状态并将回报值返回给智能体，所返回的回报值将帮助智能体不断寻找更好的策略，提高获得更高的回报期望的能力。
本申请实施例可以采用任一强化学习训练算法，选取的动作空间可以是各相位绿灯时间和各个交通路口的相位差。由于交通流量的变化具有随机性，为了防止智能体的动作过于敏感，可以选择将绿灯时间和相位差的微调量作为动作。对于每个绿灯时间或相位差有三个动作值：-1，+1和0，分别对应减少，增加和不变三个动作。每次调节的时间步长预先给定，通过每个周期下发信号控制方案逐步适应交通流量的变化。当然，本申请实施例中的模型也可以为其他的神经网络模型。
由于传统的干线协调控制系统存在诸多不足，例如：1)交通流特性的时间复杂度导致传统协调控制系统的难以考虑交叉口的几何布置差异、信号相位相序差异以及周边重要交通场所等多种因素，只能将交通流统一假设成简化的一种普通场景。2)自适应控制算法过于依赖检测数据的准确性和完整性，未考虑数据局部缺失或错误的情况。3)自适应控制算法的应用场景、目标函数与交通指标等不可配置，难以适应多变的控制业务需求。4)由于传统自适应控制算法过于关注局限，多数采用绿灯持续时长、相位差作为调整参数，而忽略了公共周期和交叉口协调关系的影响。5)未区分干线道路不同交通状态下的业务需求与控制目标，导致控制效果均衡性差。
基于此，本申请实施例再提供一种信号控制策略的生成方法，该方法主要利用机器学习技术中的强化学习技术，对城市干线道路连续几个交叉口的交通流特性进行学习，进而适应干线道路不同的交通流特性，实现干线道路上各个交叉口之间的自适应协调控制，以解决相关技术中干线道路协调控制方案不灵活、控制效果不均衡的问题。本申请实施例中信号控制策略的生成方法的主要实现过程如下：
(1)、在干线道路上各个交叉口各进口道上安装交通流参数采集设备。
(2)、采集与录入干线道路上各个交叉口之间的拓扑关系、路口渠化特征、交叉口信号配时方案以及干线周边重要交通发生场所信息。
(3)、通过视频监控分析，得到协调干线道路及周边交叉口的交通流参数，包括车道级流量、流向级流量、平均延误与平均排队长度。
(4)、根据采集的交通流数据统计分析，将干线区分为低饱和、中饱和和饱和三种宏观交通状态。
(5)、在三种不同的宏观交通状态，基于不同的目标函数，分别利用特定交通状态下的干线道路连续几个交叉口的历史交通流数据，训练干线道路自适应协调控制模型。
(6)、实时获取干线道路各交叉口的交通流数据，判断干线道路宏观交通状态判断，选择输入训练好的模型进行计算，得出干线道路分段方式与各个协调交叉口的控制参数。
(7)、根据算法输出，系统可同步调整干线道路上各交叉口的信控参数并下发至信号机。
(8)、基于采集的干线道路各交叉口的交通流数据，计算干线道路自适应协调控制的有效性与效果均衡性评价指标。
如此，上述信号控制策略的生成方法能够：1)、解决传统干线协调控制系统无法适应复杂多变的交通流状态的问题。2)、解决传统干线协调控制系统在控制参数调整上的局限性的问题。3)、解决传统干线协调控制系统在局部检测器数据质量下降或缺失的情况下，控制效果骤降的问题。4)、解决传统干线协调控制系统在交通流特性变化的情况下，控制效性不稳定的问题。
下面，对上述信号控制策略的生成方法的具体实现过程进行详细的说明：
第一步、在交叉口进口道的灯杆上架设视频图像采集装置(例如、视频摄像头)，该视频图像采集装置距离停车线大约30m(米)至50m，能够清晰拍摄到交叉口进口道的车道。
图4A为本申请实施例视频图像采集装置的示意图，如图4A所示，图4A中的(a)图为视频图像采集装置的位置示意图，在视频图像采集装置为摄像头的情况下，该摄像头可以放置在交叉口41各方向进口道42上，并且摄像头距离每一进口道42的停车线一定距离。图4A中的(b)图为视频图像采集装置的拍摄视角示意图，视频图像采集装置可以拍摄到进口道停车线前每一车道的车辆，并且可以利用检测框43对任一车辆进行跟踪检测。
第二步、采集与录入干线道路上各个交叉口之间的拓扑关系、路口渠化特征与交叉口信号配时方案。
图4B为本申请实施例交叉口拓扑关系示意图，如图4B所示，交叉口拓扑关系包括两种，一种是交叉口之间的上下游关系，例如图4B中由东向西，交叉口3的上游是交叉口4，交叉口3的下游是交叉口2。另一种是交叉口之间连接路段的长度，例如交叉口3与交叉口4之间的长度。其中，交叉口1、交叉口2、交叉口3和交叉口4所在的路段可以为协调干线道路，编号连续的交叉口5至交叉口14可以为该协调干线道路的周边交叉口。
图4C为本申请实施例交叉口渠化特征的示意图，如图4C所示，交叉口的渠化特征包括：交叉口的形状；交叉口路段中心线的夹角；人行横道；进口道车道数、车道转向功能；出口道车道数。
本申请实施例中交叉口信号配时方案主要包括：1)相位，为分配一股或多股交通流的一种由红黄绿变化或红绿变化组成的信号序列。2)信号阶段，为信号周期内，一个或多个向同时获得路权的状态。3)周期，为信号灯色按设定的信号相位顺序变化一周所需的时间。4)控制方案，为交叉口关于相位设置、相位序列设置、信号配时等的有序集合。这里，相位设置即相位包含的内容，相位序列设置指的是不同相位之间的顺序。
图4D为本申请实施例交叉口信号配时方案的示意图，如图4D所示，该交叉口的信号配时方案包括4个相位，相位1是南北直行、相位2是南北左转、相位3是东西直行、相位4是东西左转。该交叉口的信号配置方案包括4个信号阶段，周期时长为100s(秒)。信号阶段1的绿灯时长为20s、信号阶段2的绿灯时长为30s、信号阶段3的绿灯时长为20s、信号阶段4的绿灯时长为30s。
第三步、采集与录入协调干线周边重要交通发生场所信息：
(1)场所与协调干线上的交叉口的关系，以及与路段的关系，例如关联交叉口、场所出入口所在路段等。
(2)场所的交通流特性，例如场所为学校时，学校的上课与下课时间、上下课交通流量情况等。
本申请实施例中，第二步和第三步采集的信息为基础信息，后续第四步确定交通流量，以及第五步确定延误和排队长度均需要使用到所述基础信息。也就是说，可以将第二步采集的拓扑关系、路口渠化特征、交叉口信号配时方案，以及第三步采集的场所信息输入至信号控制模型，模型基于这些信息以及优化目标得到信号控制方案。当然，除了利用交通信息判断交通状态外，还可以辅助通过场所信息判断交通状态，例如通过上下课时段的交通流量辅助判断待协调路段在某一时段可能处于高饱和状态。
第四步、通过视频监控分析，利用多目标检测跟踪的交通流自动监视算法，得到干线道路上各个交叉口的流量数据，该流量数据包括车道级流量与流向级流量。
图4E为本申请实施例流量数据获取方法的实现流程示意图，如图4E所示，图4E中的(a)图为车道级流量获取方法的实现流程示意图，所述方法包括：步骤S401、获取车辆轨迹数据和检测线坐标；步骤S402、确定所述轨迹与所述检测线的交点；步骤S403、对所述交点进行DBSCAN聚类，得到车道级流量。图4E中的(b)图为流向级流量获取方法的实现流程示意图，所述方法包括：步骤S411、获取车辆轨迹数据和检测线坐标；步骤S412、基于所述轨迹数据和检测线坐标，确定车辆退出点；步骤S413、基于所述车辆退出点进行方向流量计数预处理；步骤S414、在方向流量计数预处理完成的情况下，进行方向流量计数计算，得到流向级流量。这里，车辆退出点可以为车辆尾部越过检测线的点。
第五步、通过视频监控分析，计算通过协调干线道路及周边交叉口的平均延误与平均排队长度。
1)平均延误：通过视频识别通过相邻交叉口的车辆车牌，记录通过的时间，计算出每辆车的行程时间，车辆延误等于行程时间减去车辆以自由流速度通过该相邻交叉口所花费的时间。
2)平均排队长度：通过视频识别协调干线道路及周边交叉口在每次绿灯亮起之间的车道排队长度。
第六步、根据采集的交通流数据统计分析，将干线区分为低饱和、中饱和、高饱和三种宏观交通状态，以图4B中的路网为例，交叉口1、交叉口2、交叉口3和交叉口4为协调干线上的协调路口，东西方向为协调方向。进而，将包括交叉口1、交叉口2、交叉口3和交叉口4的协调干线路段作为一个整体，计算该协调干线路段的通行能力C，以及单位时间内通该协调干线路段的交通流流量V，则该协调路段的饱和度＝V/C。根据饱和度值，将协调干线路段分为低饱和、中饱和、高饱和三种宏观交通状态。
这里，路段的通行能力指的是在一定的道路和交通条件下，协调干线路段单位时间内通过某一断面的最大车辆数。其中，通行能力C可以根据道路通行能力手册定义的公式计算获得。路段的交通流量指的是某一时段内通过道路某一地点、某一断面或某一车道的交通实体数。其中，交通流量V可以通过前述实施例中检测出的数据计算获得。当然，除了本申请实施例中公开的方法，还可以通过其他的方法确定饱和度，本申请实施例对此并不做限制。
第七步、在三种不同的宏观交通状态下，基于不同的目标函数，分别利用特定的交通状态下的干线道路上连续几个交叉口的历史交通流数据，训练干线道路自适应协调控制模型，训练过程主要通过以下步骤实现：
步骤S421、基于上述定义的三种宏观交通状态，将N个月历史交通数据切分为特定宏观交通状态下的数据集；
步骤S422、在三种宏观交通状态下，可灵活设定模型目标函数的核心交通指标；
图4F为本申请实施例交通状态与核心交通指标的关系的示意图，如图4F所示，在低饱和的宏观交通状态下，目标函数的核心交通指标为单位时间内所有交通工具通过干线交叉口的平均延误；在中饱和的宏观交通状态下，目标函数的核心交通指标为单位时间内通过干线交叉口的总交通工具数量；在低饱和的宏观交通状态下，目标函数的核心交通指标为单位时间内干线各交叉口的平均排队长度。
步骤S423、将协调干线路段上各交叉口的协调关系、公共周期、绿信比和相位差设定为模型的输出参数；
步骤S424、以协调干线路段上各个交叉口之间的拓扑关系、路口渠化特征、交叉口信号配时方案和协调干线周边重要交通发生场所信息为基础，将特定宏观交通状态下的数据集(即视频分析获得的各个交叉口的车道级流量、流向级流量、车辆延误、绿灯亮起时车道排队长度)，带入强化学习模型进行训练；
步骤S425、对每个时间步的状态观测及回报值进行计算；
步骤S426、基于大量历史交通流数据，训练得到三种宏观交通状态下的具有适应不同交通流特性的自适应协调控制模型。
第八步、接入协调干线路段及周边的交叉口实时交通流数据，利用第七步训练得到的自适应协调控制模型计算最近周期的控制方案，并下发至信号机。
详细的应用过程主要通过以下步骤实现：
步骤S431、接入协调控制干线路段及周边交叉口实时的交通流参数；
步骤S432、判断干线路段宏观交通状态，选择对应状态下的自适应控制模型；
步骤S433、利用自适应协调控制模型计算协调干线路段上各交叉口的下一个信号周期的信号控制方案；
步骤S434、在下一个信号周期，将输出的信号控制方案下发到交叉口信号机。
上述第七步和第八步中的方法步骤可由一个强化学习系统实现，图4G为本申请实施例强化学习系统的决策过程示意图，其中，在基于强化学习的训练过程中，边界(Boundary)、特性(Characteristics)和对象(Object)作为输入，输入至整个强化学习系统。智能体(Agent)观察(Observation)环境状态，并不断的做出相应动作(Action)。之后，环境(Environments)受到动作影响之后，需要更新当前环境状态，并将回报数据(Reward)反馈至智能体，一个时间步(Timeline control)进行一次上述操作，该智能体采用的训练方法可以为DQN(Deep Q-learning)。在该强化学习系统为干线道路自适应协调控制系统的情况下，边界指的是协调干线道路上各交叉口及周边各交叉口，特性指的是车道级流量、流向级流量、车辆延误和车道排队长度，对象指的是边界中的一个具体交叉口。其中，每一时间步(可以为一信号周期)的状态观测值(例如车道级流量和流向级流量)和回报值(例如车辆延误和车道排队长度)作为输入，输出信号控制方案。
需要说明的是，本申请实施例中的自适应协调控制模型可以为强化学习模型，也可以为其他的神经网络模型，本申请实施例对此并不做限制。
第九步、协调干线路段自适应控制效果评价与模型训练。
(1)在特定宏观交通状态下，基于不同的评价指标，跟踪协调干线路段自适应协调控制效果。
(2)将各个交叉口每天特定宏观交通状态下的历史数据作为观测值与回报值，再次用于协调干线路段自适应协调控制模型的训练。
相关技术中，一种是基于简易的路网拓扑和路口渠化，通过传统的Webster方法计算干线道路上的交叉口协调控制方案，这种方法只能在规定的既定时段内执行，不能调整公共周期与交叉口的协调关系。另一种是传统的强化学习模型来计算干线道路上的交叉口的协调控制方案，这种方法通常过于封闭，与交通控制系统业务脱节，难以满足在实际工作环境下多变的干线协调自适应控制需求。
相比于相关技术，本申请实施例中的信号控制策略的生成方法能够：1)在特定的宏观交通状态下，能够适应协调干线道路复杂多变的交通流特性，快速响应交通需求变化。2)能够自定义设定模型目标函数与交通指标，提高强化机器学习算法在应用中的灵活性。3)能够实现干线道路的灵活协调控制，可调整公共周期、相位差、绿信比与交叉口协调关系等参数。4)在干线道路上局部检测器数据质量低或缺失等实际工程条件下，系统应用效果的均衡性更强，更贴合业务需求。
进而，本申请实施例的信号控制策略的生成方法可以适用于以下场景：在一条受信号控制的城市干线道路上，干线道路上车流量随着时段的不同而存在较大的差异，则本申请实施例考虑不同交通状态下优化目标的差异，进而基于不同的交通状态使用对应状态下的自适应控制模型，如此系统能够在道路交叉口车辆流量不断变化的情况下，实现既能灵活的调整干线道路上各个交叉口的协调控制方案，又能保障干线道路上行驶的车辆以尽量少停车的情况通过。
基于前述的实施例，本申请实施例提供一种信号控制策略的生成装置，该装置包括所包括的各单元、以及各单元所包括的各子单元和各模块、以及各模块所包括的各子模块和各部件，可以通过电子设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为CPU(Central Processing Unit，中央处理器)、MPU(Microprocessor Unit，微处理器)、DSP(Digital Signal Processing，数字信号处理器)或FPGA(Field Programmable Gate Array，现场可编程门阵列)等。
图5为本申请实施例信号控制策略的生成装置的组成结构示意图，如图5所示，所述生成装置500包括：
交通信息获取单元501，用于获取待协调路段的当前交通信息；
交通状态确定单元502，用于根据所述当前交通信息，确定所述待协调路段的当前交通状态；
目标模型确定单元503，用于从多个已训练的信号控制模型中，确定与所述当前交通状态匹配的目标信号控制模型；其中，不同的所述信号控制模型对应不同的交通状态，并通过对应交通状态下的历史交通信息以及优化目标训练得到；
控制策略确定单元504，用于基于所述当前交通信息、所述当前交通状态对应的所述目标信号控制模型以及优化目标，确定所述待协调路段的信号控制策略。
在一些实施例中，所述装置还包括训练单元，所述训练单元用于对所述信号控制模型进行训练。
在一些实施例中，所述训练单元包括：
指标确定模块，用于确定不同交通状态中每一所述交通状态关联的交通指标；
优化目标构建模块，用于通过所述交通指标，构建对应交通状态下的待训练的信号控制模型的优化目标；
历史信息确定模块，用于确定待协调路段在每一所述交通状态下的历史交通信息；
训练模块，用于基于每一所述交通状态下的历史交通信息，对对应交通状态下的待训练的信号控制模型进行训练，直至训练后的所述信号控制模型的优化目标满足预设条件。
在一些实施例中，所述历史信息确定模块，包括：
信息获取部件，用于获取待协调路段在第一时间段内的历史交通信息；
时间段划分部件，用于将所述第一时间段划分为多个第二时间段；
饱和度确定部件，用于确定第二时间段内所述待协调路段的饱和度；
交通状态确定部件，用于通过所述饱和度，确定所述待协调路段在所述第二时间段内的交通状态；
信息确定部件，用于根据所述待协调路段在多个第二时间段内的交通状态和历史交通信息，确定所述待协调路段在每一交通状态下的历史交通信息。
在一些实施例中，所述交通状态确定部件，包括：
第一状态确定子部件，用于在所述饱和度小于第一预设阈值的情况下，确定所述待协调路段在所述第二时间段内处于第一交通状态；
第二状态确定子部件，用于在所述饱和度大于等于所述第一预设阈值、且小于等于第二预设阈值的情况下，确定所述待协调路段在所述第二时间段内处于第二交通状态；
第三状态确定子部件，用于在所述饱和度大于所述第二预设阈值的情况下，确定所述待协调路段在所述第二时间段内处于第三交通状态。
在一些实施例中，在所述不同交通状态包括第一交通状态、第二交通状态和第三交通状态中的至少之一的情况下，所述指标确定模块，包括：
第一指标确定部件，用于确定所述第一交通状态关联的交通指标为交通工具通过所述待协调路段的平均延误时间；
第二指标确定部件，用于确定所述第二交通状态关联的交通指标为单位时间内通过所述待协调路段的交通工具数量；
第三指标确定部件，用于确定所述第三交通状态关联的交通指标为单位时间内所述待协调路段上交通工具的排队长度。
在一些实施例中，所述装置还包括：
参数获取单元，用于确定所述不同交通状态下的待训练的信号控制模型的输出参数；其中，所述输出参数包括以下至少一种：相位差、公共周期、绿信比、不同交通路口之间的信号时序关系；
所述控制策略确定单元504，包括：
参数调整值确定模块，用于基于所述当前交通信息、所述当前交通状态对应的所述目标信号控制模型以及优化目标，确定所述目标信号控制模型的输出参数的调整值。
在一些实施例中，所述历史交通信息包括历史交通流量信息和历史交通拥堵信息；
所述训练模块，包括：
训练子模块，用于将每一所述交通状态下的历史交通流量信息作为观测值、历史交通拥堵信息作为回报值，对对应交通状态下的待训练的信号控制模型进行训练，直至训练后的所述信号控制模型的优化目标满足预设条件。
在一些实施例中，在所述交通信息包括交通流量信息的情况下，所述交通信息获取单元501或所述信息获取部件，包括：
流量信息获取部件，用于基于待协调路段的拓扑关系和路口渠化特征，对经过所述待协调路段的交通工具进行跟踪检测，得到所述交通工具的行驶轨迹；
所述流量信息获取部件，还用于根据所述行驶轨迹和预设的车道检测线，确定待协调路段的车流量；其中，所述车流量包括以下至少一种：不同车道的车流量、不同行驶方向的车流量；
所述流量信息获取部件，还用于利用所述车流量，确定待协调路段的交通流量信息。
在一些实施例中，在所述交通信息包括交通拥堵信息的情况下，所述信息获取单元501或所述信息获取部件，包括：
第一拥堵信息获取部件，用于基于待协调路段的拓扑关系和路口渠化特征，对经过所述待协调路段的交通工具进行跟踪检测，得到所述交通工具通过相邻交通路口的第一时长；
所述第一拥堵信息获取部件，还用于确定所述交通工具以标准速度通过所述相邻交通路口的第二时长；
所述第一拥堵信息获取部件，还用于根据所述第一时长和所述第二时长，确定所述待协调路段的交通拥堵信息。
在一些实施例中，在所述交通信息包括交通拥堵信息的情况下，所述信息获取单元501或所述信息获取部件，包括：
第二拥堵信息获取部件，用于基于待协调路段的拓扑关系、路口渠化特征和历史信号控制策略，对经过所述待协调路段的交通工具进行跟踪检测，得到第三时间段内交通路口交通工具的排队长度；其中，所述第三时间段包括相邻信号周期下同种颜色交通信号灯开启时刻之间的时长；
所述第二拥堵信息获取部件，还用于根据所述排队长度，确定所述待协调路段的交通拥堵信息。
在一些实施例中，在所述交通信息包括交通流量信息的情况下，所述装置还包括：
环境信息确定单元，用于确定所述待协调路段的场所信息、所述待协调路段的拓扑关系、所述待协调路段的路口渠化特征和历史信号控制策略；
所述控制策略确定单元504，包括：
控制策略确定子单元，用于基于所述交通流量信息、所述场所信息、所述拓扑关系、所述路口渠化特征、所述历史信号控制策略、所述当前交通状态对应的所述目标信号控制模型以及优化目标，确定所述待协调路段的信号控制策略。
在一些实施例中，所述装置还包括：
调整单元，用于利用确定出的所述信号控制策略，调整所述待协调路段上交通路口的控制信号；
获取单元，用于在调整完成的情况下，获取当前待协调路段上的交通参数；
评价单元，用于基于所述交通参数和预设的评价指标，确定所述控制信号的调整效果；其中，所述预设的评价指标与所述目标信号控制模型的优化目标具有对应关系。
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的信号控制策略的生成方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机、服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、ROM(Read Only Memory，只读存储器)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
对应地，本申请实施例提供一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述实施例中提供的信号控制策略的生成方法中的步骤。
对应地，本申请实施例提供一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述信号控制策略的生成方法中的步骤。
对应地，本申请实施例提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行本申请实施例上述的信号控制策略的生成方法。
这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
需要说明的是，图6为本申请实施例电子设备的一种硬件实体示意图，如图6所示，该电子设备600的硬件实体包括：处理器601、通信接口602和存储器603，其中
处理器601通常控制电子设备600的总体操作。
通信接口602可以使电子设备600通过网络与其他电子设备或服务器或平台通信。
存储器603配置为存储由处理器601可执行的指令和应用，还可以缓存待处理器601以及电子设备600中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过FLASH(闪存)或RAM(Random Access Memory，随机访问存储器)实现；
其中，电子设备600中的各个硬件实体通过总线604耦合在一起。可理解，总线604用于实现这些硬件实体之间的连接通信。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (15)
1.一种信号控制策略的生成方法，其特征在于，所述方法包括：
获取待协调路段的当前交通信息；
根据所述当前交通信息，确定所述待协调路段的当前交通状态；
从多个已训练的信号控制模型中，确定与所述当前交通状态匹配的目标信号控制模型；其中，不同的所述信号控制模型对应不同的交通状态，并通过对应交通状态下的历史交通信息以及优化目标训练得到；
基于所述当前交通信息、所述当前交通状态对应的所述目标信号控制模型以及优化目标，确定所述待协调路段的信号控制策略。
2.根据权利要求1所述的方法，其特征在于，所述信号控制模型通过以下步骤进行训练：
确定不同交通状态中每一所述交通状态关联的交通指标；
通过所述交通指标，构建对应交通状态下的待训练的信号控制模型的优化目标；
确定待协调路段在每一所述交通状态下的历史交通信息；
基于每一所述交通状态下的历史交通信息，对对应交通状态下的待训练的信号控制模型进行训练，直至训练后的所述信号控制模型的优化目标满足预设条件。
3.根据权利要求2所述的方法，其特征在于，所述确定待协调路段在每一所述交通状态下的历史交通信息，包括：
获取待协调路段在第一时间段内的历史交通信息；
将所述第一时间段划分为多个第二时间段；
确定第二时间段内所述待协调路段的饱和度；
通过所述饱和度，确定所述待协调路段在所述第二时间段内的交通状态；
根据所述待协调路段在多个第二时间段内的交通状态和历史交通信息，确定所述待协调路段在每一交通状态下的历史交通信息。
4.根据权利要求3所述的方法，其特征在于，所述通过所述饱和度，确定所述待协调路段在所述第二时间段内的交通状态，包括：
在所述饱和度小于第一预设阈值的情况下，确定所述待协调路段在所述第二时间段内处于第一交通状态；和/或，
在所述饱和度大于等于所述第一预设阈值、且小于等于第二预设阈值的情况下，确定所述待协调路段在所述第二时间段内处于第二交通状态；和/或，
在所述饱和度大于所述第二预设阈值的情况下，确定所述待协调路段在所述第二时间段内处于第三交通状态。
5.根据权利要求2至4任一项所述的方法，其特征在于，在所述不同交通状态包括第一交通状态、第二交通状态和第三交通状态中的至少之一的情况下，所述确定不同交通状态中每一所述交通状态关联的交通指标，包括：
确定所述第一交通状态关联的交通指标为交通工具通过所述待协调路段的平均延误时间；和/或，
确定所述第二交通状态关联的交通指标为单位时间内通过所述待协调路段的交通工具数量；和/或，
确定所述第三交通状态关联的交通指标为单位时间内所述待协调路段上交通工具的排队长度。
6.根据权利要求2至5任一项所述的方法，其特征在于，所述基于每一所述交通状态下的历史交通信息，对对应交通状态下的待训练的信号控制模型进行训练之前，所述方法还包括：
确定所述不同交通状态下的待训练的信号控制模型的输出参数；其中，所述输出参数包括以下至少一种：相位差、公共周期、绿信比、不同交通路口之间的信号时序关系；
所述基于所述当前交通信息、所述当前交通状态对应的所述目标信号控制模型以及优化目标，确定所述待协调路段的信号控制策略，包括：
基于所述当前交通信息、所述当前交通状态对应的所述目标信号控制模型以及优化目标，确定所述目标信号控制模型的输出参数的调整值。
7.根据权利要求2至6任一项所述的方法，其特征在于，所述历史交通信息包括历史交通流量信息和历史交通拥堵信息；
所述基于每一所述交通状态下的历史交通信息，对对应交通状态下的待训练的信号控制模型进行训练，直至训练后的所述信号控制模型的优化目标满足预设条件，包括：
将每一所述交通状态下的历史交通流量信息作为观测值、历史交通拥堵信息作为回报值，对对应交通状态下的待训练的信号控制模型进行训练，直至训练后的所述信号控制模型的优化目标满足预设条件。
8.根据权利要求1至7任一项所述的方法，其特征在于，在所述交通信息包括交通流量信息的情况下，通过以下步骤确定所述交通流量信息：
基于待协调路段的拓扑关系和路口渠化特征，对经过所述待协调路段的交通工具进行跟踪检测，得到所述交通工具的行驶轨迹；
根据所述行驶轨迹和预设的车道检测线，确定待协调路段的车流量；其中，所述车流量包括以下至少一种：不同车道的车流量、不同行驶方向的车流量；
利用所述车流量，确定待协调路段的交通流量信息。
9.根据权利要求1至7任一项所述的方法，其特征在于，在所述交通信息包括交通拥堵信息的情况下，通过以下步骤确定所述交通拥堵信息：
基于待协调路段的拓扑关系和路口渠化特征，对经过所述待协调路段的交通工具进行跟踪检测，得到所述交通工具通过相邻交通路口的第一时长；
确定所述交通工具以标准速度通过所述相邻交通路口的第二时长；
根据所述第一时长和所述第二时长，确定所述待协调路段的交通拥堵信息。
10.根据权利要求1至7任一项所述的方法，其特征在于，在所述交通信息包括交通拥堵信息的情况下，通过以下步骤确定所述交通拥堵信息：
基于待协调路段的拓扑关系、路口渠化特征和历史信号控制策略，对经过所述待协调路段的交通工具进行跟踪检测，得到第三时间段内交通路口交通工具的排队长度；其中，所述第三时间段包括相邻信号周期下同种颜色交通信号灯开启时刻之间的时长；
根据所述排队长度，确定所述待协调路段的交通拥堵信息。
11.根据权利要求1至10任一项所述的方法，其特征在于，在所述交通信息包括交通流量信息的情况下，所述方法还包括：
确定所述待协调路段的场所信息、所述待协调路段的拓扑关系、所述待协调路段的路口渠化特征和历史信号控制策略；
所述基于所述当前交通信息、所述当前交通状态对应的所述目标信号控制模型以及优化目标，确定所述待协调路段的信号控制策略，包括：
基于所述交通流量信息、所述场所信息、所述拓扑关系、所述路口渠化特征、所述历史信号控制策略、所述当前交通状态对应的所述目标信号控制模型以及优化目标，确定所述待协调路段的信号控制策略。
12.根据权利要求1至11任一项所述的方法，其特征在于，所述方法还包括：
利用确定出的所述信号控制策略，调整所述待协调路段上交通路口的控制信号；
在调整完成的情况下，获取当前待协调路段上的交通参数；
基于所述交通参数和预设的评价指标，确定所述控制信号的调整效果；其中，所述预设的评价指标与所述目标信号控制模型的优化目标具有对应关系。
13.一种信号控制策略的生成装置，其特征在于，所述装置包括：
交通信息获取单元，用于获取待协调路段的当前交通信息；
交通状态确定单元，用于根据所述当前交通信息，确定所述待协调路段的当前交通状态；
目标模型确定单元，用于从多个已训练的信号控制模型中，确定与所述当前交通状态匹配的目标信号控制模型；其中，不同的所述信号控制模型对应不同的交通状态，并通过对应交通状态下的历史交通信息以及优化目标训练得到；
控制策略确定单元，用于基于所述当前交通信息、所述当前交通状态对应的所述目标信号控制模型以及优化目标，确定所述待协调路段的信号控制策略。
14.一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至12任一项所述方法中的步骤。
15.一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现权利要求1至12任一项所述方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210563153.1A CN114973704A (zh) | 2022-05-19 | 2022-05-19 | 信号控制策略的生成方法及装置、设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210563153.1A CN114973704A (zh) | 2022-05-19 | 2022-05-19 | 信号控制策略的生成方法及装置、设备、存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114973704A true CN114973704A (zh) | 2022-08-30 |
Family
ID=82985482
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210563153.1A Pending CN114973704A (zh) | 2022-05-19 | 2022-05-19 | 信号控制策略的生成方法及装置、设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114973704A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116543562A (zh) * | 2023-07-06 | 2023-08-04 | 银江技术股份有限公司 | 干线协调优化模型的构建方法和装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106875699A (zh) * | 2017-03-21 | 2017-06-20 | 陆化普 | 一种交通控制优化方法及装置 |
| CN108428348A (zh) * | 2017-02-15 | 2018-08-21 | 阿里巴巴集团控股有限公司 | 一种道路交通优化方法、装置以及电子设备 |
| CN110114806A (zh) * | 2018-02-28 | 2019-08-09 | 华为技术有限公司 | 信号灯控制方法、相关设备及系统 |
| US20200211374A1 (en) * | 2017-09-11 | 2020-07-02 | Alibaba Group Holding Limited | System, method, and apparatus for analyzing a traffic road condition |
| CN112289044A (zh) * | 2020-11-02 | 2021-01-29 | 南京信息工程大学 | 基于深度强化学习的高速公路道路协同控制系统及方法 |
| US20210201669A1 (en) * | 2019-12-31 | 2021-07-01 | Wipro Limited | Method and system for reducing road congestion |
| CN114464000A (zh) * | 2022-02-21 | 2022-05-10 | 上海商汤科技开发有限公司 | 路口交通灯控制方法、装置、设备和存储介质 |
-
2022
- 2022-05-19 CN CN202210563153.1A patent/CN114973704A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108428348A (zh) * | 2017-02-15 | 2018-08-21 | 阿里巴巴集团控股有限公司 | 一种道路交通优化方法、装置以及电子设备 |
| CN106875699A (zh) * | 2017-03-21 | 2017-06-20 | 陆化普 | 一种交通控制优化方法及装置 |
| US20200211374A1 (en) * | 2017-09-11 | 2020-07-02 | Alibaba Group Holding Limited | System, method, and apparatus for analyzing a traffic road condition |
| CN110114806A (zh) * | 2018-02-28 | 2019-08-09 | 华为技术有限公司 | 信号灯控制方法、相关设备及系统 |
| US20210201669A1 (en) * | 2019-12-31 | 2021-07-01 | Wipro Limited | Method and system for reducing road congestion |
| CN112289044A (zh) * | 2020-11-02 | 2021-01-29 | 南京信息工程大学 | 基于深度强化学习的高速公路道路协同控制系统及方法 |
| CN114464000A (zh) * | 2022-02-21 | 2022-05-10 | 上海商汤科技开发有限公司 | 路口交通灯控制方法、装置、设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 沈国江;许卫明;: "交通干线动态双向绿波带控制技术研究", 浙江大学学报(工学版), no. 09 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116543562A (zh) * | 2023-07-06 | 2023-08-04 | 银江技术股份有限公司 | 干线协调优化模型的构建方法和装置 |
| CN116543562B (zh) * | 2023-07-06 | 2023-11-14 | 银江技术股份有限公司 | 干线协调优化模型的构建方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113643528B (zh) | 信号灯控制方法、模型训练方法、系统、装置及存储介质 | |
| WO2019165616A1 (zh) | 信号灯控制方法、相关设备及系统 | |
| CN111696348B (zh) | 一种多功能的智能信号控制系统和方法 | |
| CN111680377B (zh) | 一种交通态势仿真方法、系统和电子设备 | |
| CN111681433A (zh) | 一种交叉口交通信号灯配时优化方法和装置 | |
| Park et al. | Optimization of time-of-day breakpoints for better traffic signal control | |
| CN112489426A (zh) | 一种基于图卷积神经网络的城市交通流量时空预测方案 | |
| CN111915885B (zh) | 一种城市道路交通仿真实验方法及系统 | |
| WO2021237768A1 (zh) | 一种基于数据驱动的实现预测模型自动化迭代的系统 | |
| CN113033712A (zh) | 一种基于联邦学习的多用户协同训练人流统计方法及系统 | |
| CN111564053A (zh) | 车辆调度方法、装置、车辆调度设备和存储介质 | |
| CN115775085B (zh) | 一种基于数字孪生的智慧城市管理方法及系统 | |
| CN110956807A (zh) | 基于多源数据与滑动窗口组合的高速公路流量预测方法 | |
| CN113223293B (zh) | 路网仿真模型的构建方法、装置及电子设备 | |
| Li et al. | Bus arrival time prediction based on mixed model | |
| CN110400459A (zh) | 针对交通状况的报警规则配置方法、报警方法及装置 | |
| CN116386336B (zh) | 基于卡口车牌数据的路网交通流量鲁棒计算方法及系统 | |
| CN110021161B (zh) | 一种交通流向的预测方法及系统 | |
| CN115688952A (zh) | 一种基于大数据的校园拥堵区域预测方法 | |
| CN112785162A (zh) | 基于智能车语义的高精地图众包数据质量评估方法与系统 | |
| CN118172941B (zh) | 一种基于无线通讯的红绿灯控制方法及装置 | |
| CN114973704A (zh) | 信号控制策略的生成方法及装置、设备、存储介质 | |
| CN117198071B (zh) | 一种交通信号相位自适应调整方法、系统、设备 | |
| US20230153742A1 (en) | Methods for shared bicycle delivery and operation area planning in smart cities and internet of things (iot) systems thereof | |
| Zeng et al. | Real-time traffic signal control with dynamic evolutionary computation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20220830 |