CN108831168A - 一种基于关联路口视觉识别的交通信号灯控制方法与系统 - Google Patents

一种基于关联路口视觉识别的交通信号灯控制方法与系统 Download PDF

Info

Publication number
CN108831168A
CN108831168A CN201810557892.3A CN201810557892A CN108831168A CN 108831168 A CN108831168 A CN 108831168A CN 201810557892 A CN201810557892 A CN 201810557892A CN 108831168 A CN108831168 A CN 108831168A
Authority
CN
China
Prior art keywords
crossing
vehicle
association
target
decision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810557892.3A
Other languages
English (en)
Other versions
CN108831168B (zh
Inventor
郑龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Titan Intelligent Technology Co ltd
Original Assignee
Jiangsu's Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu's Mdt Infotech Ltd filed Critical Jiangsu's Mdt Infotech Ltd
Priority to CN201810557892.3A priority Critical patent/CN108831168B/zh
Publication of CN108831168A publication Critical patent/CN108831168A/zh
Application granted granted Critical
Publication of CN108831168B publication Critical patent/CN108831168B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • G08G1/081—Plural intersections under common control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于关联路口视觉识别的交通信号灯控制方法及系统。所述方法包括：(1)目标路口获取；(2)获取所述目标路口及其关联路口的摄像头视频流，并处理为与时间轴关联的图像序列；(3)目标路口视觉识别；(4)关联路口视觉识别；(5)非视觉区域模拟；(6)决策数据获取；(7)决策控制信号。所述系统包括：目标路口摄像头、关联路口摄像头、图像数据处理模块、模拟模块、决策模块、以及信号同步模块。本发明提供的方法与系统整体上提高路口通行效率，降低车辆等待时间，适应性好，同时具有可扩展性。

Description

一种基于关联路口视觉识别的交通信号灯控制方法与系统
技术领域
本发明属于智能交通领域，更具体地，涉及一种基于关联路口视觉识别的交通信号灯控制方法与系统。
背景技术
随着城市化进程的快速，城市汽车保有量在逐渐增加，给城市交通带来了极大的压力。传统的基于统计方法的静态配时方案由于不能够根据实时交通状况进行自适应调整，容易造成绿灯空放、拥堵等问题，通行效率低下。为通过实时动态信号灯调控，提升路口通行效率，已有多种公开发明或者文献通过各种技术途径解决这一问题。
目前，被广泛应用的是基于地磁感应线圈的自适应信号灯调整方式。然而，基于地磁感应线圈的自适应信号灯调整方式存在着：1)造价昂贵，需要专门在道路上埋设感应线圈，并将感应线圈连接至自适应信号机。不仅部署成本高，而且需要定期的维护，运营成本也较高。2)调控准确度低，由于地磁感应线圈仅仅能够感应是否有车通过，通过该单维信息的信号灯调控存在多种盲区，如不能区分货车与普通轿车，不能达到精准的时长设置。3)调控维度低，同样由于地磁感应线圈不能区分车辆种类，不能实现对某些特种车辆的针对性调控，如不能实现公交先行、救护车先行、救火车先行等调控方式。
基于以上问题，目前已经出现基于视觉的交通路口自适应调整方法，利用城市中已经架设的大量的用于各种途径的摄像头，如违章抓拍摄像头等，获得的视觉图像，通过图像分析的方法来获得，交通路口的车流量信息，从而控制信号灯变化。然而，由于摄像头的架设目的并非专门获取交通路口车流数据，因此覆盖范围有限或者不准确，有些路口甚至没有摄像头覆盖，视觉信息不全面，交通路口控制不准确。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于关联路口视觉的交通信号灯控制方法与系统，其目的在于通过关联路口数据信息，相互印证和补充，完整目标路口的交通信息数据，从而更准确、更人性化的进行目标交通路口的信号灯自适应调整，由此解决现有的基于视觉的交通信号等控制方法视觉信息不完整导致的控制不准确或控制效果不佳的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于关联路口视觉识别的交通信号灯控制方法，包括以下步骤：
(1)目标路口获取：获取目标路口所在的地图信息，确定目标路口各方向的所有车道信息及其控制信号，并获取所述目标路口的关联路口；
(2)获取所述目标路口及其关联路口的摄像头视频流，并处理为与时间轴关联的图像序列；
(3)目标路口视觉识别：识别步骤(2)中获取的所述目标路口与时间轴关联的图像序列中的车辆，根据车辆的外观特征进行标识并汇总，获得目标路口摄像头覆盖区域的目标路口车辆结构信息；
(4)关联路口视觉识别：识别步骤(3)中获取的所述关联路口与时间轴关联的图像序列中的车辆，根据车辆的外观特征进行标识并汇总，获得关联路口摄像头覆盖区域的关联路口车辆结构信息；
(5)非视觉区域模拟：将步骤(3)获得的目标路口车辆结构信息、步骤(4)获得的关联路口的车辆结构信息、以及所述道路的先验通行速度进行跟踪模拟获得所述路段目标路口与关联路口摄像头视频流覆盖区域以外非视觉区域的车辆结构信息；
(6)决策数据获取，将决策时刻的目标路口车辆结构信息、关联路口的车辆结构信息、以及非视觉区域的车辆结构信息叠加，获得决策时刻目标路口与其所有关联路口之间全路段车辆结构数据，作为决策数据；
(7)决策控制信号：对于目标路口的每一控制信号，根据步骤(6)获得的决策数据和当前相位，采用人工智能学习算法，进行相位变化决策，并根据决策结果调整信号灯。
优选地，所述基于关联路口视觉识别的交通信号灯控制方法，其步骤(1)所述车道信息包括道路长度、道路宽度、车道宽度、车道属性、停止线位置、路口宽度、以及路口长度信息；所述车道属性包括直行、左转、直行左转、和/或掉头。
优选地，所述基于关联路口视觉识别的交通信号灯控制方法，其步骤(2)所述与时间轴关联的图像序列帧率在6fps至24fps，按照所述路段平均通行速度越快、车流量越大帧率约高的原则恰当选择。
优选地，所述基于关联路口视觉识别的交通信号灯控制方法，其所述车辆结构信息包括：车辆标识、所在车道、车辆位置、车辆类别。
优选地，所述基于关联路口视觉识别的交通信号灯控制方法，其步骤(3)与步骤(4)中的车辆识别可采用k-means算法以及词袋模型进行识别、Fine-GrainedClassification算法、深度学习算法。
优选地，所述基于关联路口视觉识别的交通信号灯控制方法，其步骤(7)所述人工智能学习算法，采用遗传算法、蚁群算法、深度神经网络，例如卷积神经网络，更优选采用深度强化学习算法。
优选地，所述基于关联路口视觉识别的交通信号灯控制方法，其步骤(7)所述根据决策结果调整信号灯，具体为根据决策结果的相位与当前相位相比较，判断需要切换的信号灯，并将调整信号，同步到信号灯控制设备，最终实现信号切换。
按照本发明的另一个方面，提供了一种基于关联路口视觉识别的交通信号灯控制系统，包括目标路口摄像头、关联路口摄像头、图像数据处理模块、模拟模块、决策模块、以及信号同步模块；
所述目标路口摄像头，用于获取所述目标路口的视频流并传递给图像处理模块；
所述关联路口摄像头，用于获取所述关联路口的视频流并传递给图像处理模块；
所述图像处理模块，用于将所述目标路口摄像头获取和所述关联路口摄像头获取的视频图像处理为与时间轴关联的图像序列，并识别根据车辆的外观特征进行标识，将识别结果传递给模拟模块；
所述模拟模块，存储有目标路口所在的地图信息，确定目标路口各方向的所有车道信息及其控制信号，并获取所述目标路口的关联路口；所述关联路口即与目标路口有车道直接连接的路口；用于根据所述图像处理模块的识别结果，获取目标路口摄像头覆盖的目标路口车辆结构信息、关联路口摄像头覆盖的关联路口车辆结构信息，并根据所述道路的先验通行速度进行跟踪模拟获得所述路段目标路口与关联路口摄像头视频流覆盖区域以外非视觉区域的车辆结构信息；并将所述目标路口车辆结构信息、关联路口车辆结构信息、非视觉区域的车辆结构信息叠加汇总为所述道路的实时全路段车辆结构数据；
所述决策模块，用于按照决策时刻读取所述模拟模块的实时全路段车辆结构数据，并根据实时全路段车辆结构数据，输入人工智能模型，决策路口相位是否需要变化相位，并将决策结果传递给信号同步模块；
所述信号同步模块，根据所述决策模块的决策结果调整信号灯。具体为：根据决策结果的相位与当前相位相比较，判断需要切换的信号灯，并将调整信号，同步到信号灯控制设备，最终实现信号切换。
优选地，所述基于关联路口视觉识别的交通信号灯控制系统，其所述图像处理模块采用k-means算法以及词袋模型、Fine-Grained Classification算法、深度学习算法等方法进行识别车辆。
优选地，所述基于关联路口视觉识别的交通信号灯控制系统，其所述决策模块的人工智能模型，为遗传算法模型、蚁群算法模型、深度神经网络模型、增强深度学习模型。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
本发明提供的基于关联路口视觉识别的交通信号灯控制方法及系统，由于考虑到目标路口、其关联路口以及目标路口至关联路口之间全路段的车辆状况，基于全路段数据的整体决策，因此能做出更加合理的信号灯调整决定，整体上提高路口通行效率，降低车辆等待时间。
尤其是，本发明通过全路段车辆结构数据，可根据车辆类型及具体状况予以恰当考虑，方便包括大货车、救护车、消防车在内的特种车辆通行。
本发明提供的基于关联路口视觉识别的交通信号灯控制方法及系统可兼容现有的路口摄像头，并随着摄像头的增加和学习的时间加长而获得更加准确合理的决策结果，适应性好，同时具有可扩展性。
附图说明
图1是本发明提供的基于关联路口视觉识别的交通信号灯控制方法流程示意图；
图2是本发明实施例应用的目标路口地图信息；
图3是本发明实施例关联路口的视屏流截图，其中A、B、C分别为三个关联路口的视屏流截图；
图4是本发明实施例决策数据的图像示意。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提供的基于关联路口视觉识别的交通信号灯控制方法，如图1所示，包括以下步骤：
(1)目标路口获取：获取目标路口所在的地图信息，确定目标路口各方向的所有车道信息及其控制信号，并获取所述目标路口的关联路口；所述关联路口即与目标路口有车道直接连接的路口。
所述车道信息包括道路长度、道路宽度、车道宽度、车道属性、停止线位置、路口宽度、以及路口长度信息；所述车道属性包括直行、左转、直行左转、和/或掉头。
(2)获取所述目标路口及其关联路口的摄像头视频流，并处理为与时间轴关联的图像序列；所述与时间轴关联的图像序列帧率在6fps至24fps，按照所述路段平均通行速度越快、车流量越大帧率约高的原则恰当选择。
一般情况下，系统尽量利用路口已经架设的摄像头。通过摄像头所获取的视频应覆盖某一方向的所有车道。当一个摄像头的覆盖范围不能满足要求时，则需启用或者架设多个摄像头，以保证路口的各个来车方向车道均被完全覆盖，以获得全面的路口交通实况信息。
(3)目标路口视觉识别：识别步骤(2)中获取的所述目标路口与时间轴关联的图像序列中的车辆，根据车辆的外观特征进行标识；对于所述图像序列中，各图像中出现的所有车辆进行标识汇总，获得目标路口摄像头覆盖区域的目标路口车辆结构信息；所述车辆结构信息包括：车辆标识、所在车道、车辆位置、车辆类别。
(4)关联路口视觉识别：识别步骤(3)中获取的所述关联路口与时间轴关联的图像序列中的车辆，根据车辆的外观特征进行标识，对于所述图像序列中，将处于与目标路口关联车道上的车辆进行表示汇总，获得关联路口摄像头覆盖区域的关联路口车辆结构信息；所述车辆结构信息包括车辆标识、所在车道、车辆位置、车辆类别。
步骤(3)与步骤(4)中的车辆识别，可采用k-means算法以及词袋模型进行识别，Fine-Grained Classification算法、深度学习算法等方法。
(5)非视觉区域模拟：将步骤(3)获得的目标路口车辆结构信息、步骤(4)获得的关联路口的车辆结构信息、以及所述道路的先验通行速度进行跟踪模拟获得所述路段目标路口与关联路口摄像头视频流覆盖区域以外非视觉区域的车辆结构信息；所述车辆结构信息包括车辆标识、所在车道、车辆位置、车辆类别。
(6)决策数据获取，将决策时刻的目标路口车辆结构信息、关联路口的车辆结构信息、以及非视觉区域的车辆结构信息叠加，获得决策时刻目标路口与其所有关联路口之间全路段车辆结构数据，作为决策数据。
(7)决策控制信号：对于目标路口的每一控制信号，根据步骤(6)获得的决策数据和当前相位，采用人工智能学习算法，进行相位变化决策，并根据决策结果调整信号灯。
所述人工智能学习算法，优选采用遗传算法、蚁群算法、深度神经网络，例如卷积神经网络，更优选采用深度强化学习算法。所述人工智能学习算法的输出结果为目标路口的相位；所述目标路口的相位是指目标路口同时存在的车流状态，例如东南方向直形的双向车流；东向的左转、右转直形三向车流；无车流人行状态。目标路口相位空间根据目标路口的地图信息预先设置。
所述根据决策结果调整信号灯，具体为根据决策结果的相位与当前相位相比较，判断需要切换的信号灯，并将调整信号，同步到信号灯控制设备，最终实现信号切换。
本发明控制信号的决策是根据目标路口与关联路口全路段车辆结构数据做出的。现有的技术一般按照目标路口周围的车辆状况决策控制信号的相位变化，而采用视觉信息的信号等控制方法，依赖获取视觉信息的摄像头所覆盖的范围，而目前道路摄像头覆盖是有限的，而全路段摄像头覆盖受到成本限制，因此基于视觉信息的信号控制方法，由于不能获得全路段车辆结构信息，导致无法做出准确决策。本发明考虑到全路段车辆结构数据，首先将全路段划分为目标路口摄像头覆盖区域、关联路口摄像头覆盖区域、以及他们之间无摄像头覆盖的非视距区域。目标路口摄像头覆盖区域和关联路口摄像头覆盖区域的车辆结构信息可通过视觉信息处理实时获取，而非摄像头覆盖区域的车辆结构，通过图像序列和先验通行速度进行模拟获得。对于目标路口的控制信号决策，考虑到的全路段的车辆信息，能够更加准确有效的控制目标路口的信号灯，提高通行效率。
本发明提供的基于关联路口视觉识别的交通信号灯控制系统，包括目标路口摄像头、关联路口摄像头、图像数据处理模块、模拟模块、决策模块、以及信号同步模块；
所述目标路口摄像头，用于获取所述目标路口的视频流并传递给图像处理模块；
所述关联路口摄像头，用于获取所述关联路口的视频流并传递给图像处理模块；
所述图像处理模块，用于将所述目标路口摄像头获取和所述关联路口摄像头获取的视频图像处理为与时间轴关联的图像序列，并识别根据车辆的外观特征进行标识，将识别结果传递给模拟模块；优选，采用k-means算法以及词袋模型、Fine-GrainedClassification算法、深度学习算法等方法进行识别。
所述模拟模块，存储有目标路口所在的地图信息，确定目标路口各方向的所有车道信息及其控制信号，并获取所述目标路口的关联路口；所述关联路口即与目标路口有车道直接连接的路口；用于根据所述图像处理模块的识别结果，获取目标路口摄像头覆盖的目标路口车辆结构信息、关联路口摄像头覆盖的关联路口车辆结构信息，并根据所述道路的先验通行速度进行跟踪模拟获得所述路段目标路口与关联路口摄像头视频流覆盖区域以外非视觉区域的车辆结构信息；并将所述目标路口车辆结构信息、关联路口车辆结构信息、非视觉区域的车辆结构信息叠加汇总为所述道路的实时全路段车辆结构数据；
所述决策模块，用于按照决策时刻读取所述模拟模块的实时全路段车辆结构数据，并根据实时全路段车辆结构数据，输入人工智能模型，决策路口相位是否需要变化相位，并将决策结果传递给信号同步模块；
所述人工智能模型，优选为遗传算法模型、蚁群算法模型、深度神经网络模型、增强深度学习模型。
所述信号同步模块，根据所述决策模块的决策结果调整信号灯。具体为：根据决策结果的相位与当前相位相比较，判断需要切换的信号灯，并将调整信号，同步到信号灯控制设备，最终实现信号切换。
以下为实施例：
实施例1
一种基于关联路口视觉识别的交通信号灯控制方法，如图1所示，包括以下步骤：
(1)目标路口获取：获取目标路口所在的地图信息，确定目标路口各方向的所有车道信息及其控制信号，并获取所述目标路口的关联路口；所述关联路口即与目标路口有车道直接连接的路口。所述目标路口，如图2所示，为某市闹市区的交叉口，与其连接的三个关联路口。
所述车道信息包括道路长度、道路宽度、车道宽度、车道属性、停止线位置、路口宽度、以及路口长度信息；所述车道属性包括直行、左转、直行左转、和掉头。
(2)获取所述目标路口及其关联路口的摄像头视频流，并处理为与时间轴关联的图像序列；所述与时间轴关联的图像序列帧率在12fps。所述目标路口图像，视频源截图如图3所示，其共有3个关联路口，视频源截图如图3A、B、C所示。
摄像头所捕捉的视频一般通过rtsp流进行传输，所以需获取所有摄像头的rtsp流地址，以便获取摄像头的视频流。可利用因特网或者专网，尽可能低延迟地传输至处理模块，以保证处理模块的实时响应。
针对每一路视频流，视频处理模块首先对其进行解帧。原始摄像头可能存在不同的帧率，如24fps(帧每秒)、12fps等。为降低系统负载，提升处理效率，可不逐帧获取车辆信息，而按照系统配置所设定的较低帧率(本实施例为12fps)获取。
(3)目标路口视觉识别：识别步骤(2)中获取的所述目标路口与时间轴关联的图像序列中的车辆，根据车辆的外观特征进行标识；对于所述图像序列中，各图像中出现的所有车辆进行标识汇总，获得目标路口摄像头覆盖区域的目标路口车辆结构信息；所述车辆结构信息包括：车辆标识、所在车道、车辆位置、车辆类别。
对于每一幅图像，采用百度公司提供的基于深度学习及大规模图像训练的车型识别服务，获得的每一辆车辆首先赋予用于唯一识别的ID作为车辆标识，根据地图信息标记其所在车道、距离目标路口位置作为车辆位置信息，根据识别结果确定车辆类别。
汇总的具体步骤如下：
对于后一帧图像的识别结果，相对于现有的目标路口车辆结构信息进行更新：当被识别的车辆出现在前一帧图像中时，则车辆标识不变，所在车道、车辆位置信息进行更新，车辆类别信息不变；
当识别的车辆未出现在前一帧图像中时，赋予新的唯一识别ID作为该车辆的标识，根据地图信息标记其所在车道、距离目标路口位置作为车辆位置信息，根据识别结果确定车辆类别；
当原目标路口车辆结构信息中的车辆未出现在后一帧图像的识别结果中时，从目标路口车辆结构信息中删除该车辆，并将该车辆的信息用于步骤(5)非视觉区域的模拟。
(4)关联路口视觉识别：识别步骤(3)中获取的所述关联路口与时间轴关联的图像序列中的车辆，根据车辆的外观特征进行标识，对于所述图像序列中，将处于与目标路口关联车道上的车辆进行表示汇总，获得关联路口视觉摄像头覆盖区域的关联路口车辆结构信息；所述车辆结构信息包括车辆标识、所在车道、车辆位置、车辆类别。
与步骤(3)类似，对于每一幅图像，采用百度公司提供的基于深度学习及大规模图像训练的车型识别服务，获得的每一辆车辆首先赋予用于唯一识别的ID作为车辆标识，根据地图信息标记其所在车道、距离目标路口位置作为车辆位置信息，根据识别结果确定车辆类别。
汇总的具体步骤如下：
对于后一帧图像的识别结果，相对于现有的目标路口车辆结构信息进行更新：当被识别的车辆出现在前一帧图像中时，则车辆标识不变，所在车道、车辆位置信息进行更新，车辆类别信息不变；
当识别的车辆未出现在前一帧图像中时，赋予新的唯一识别ID作为该车辆的标识，根据地图信息标记其所在车道、距离目标路口位置作为车辆位置信息，根据识别结果确定车辆类别；
当原目标路口车辆结构信息中的车辆未出现在后一帧图像的识别结果中时，从目标路口车辆结构信息中删除该车辆，如果其原所处车道方向为目标路口方向，则将该车辆的信息用于步骤(5)非视觉区域的模拟。
(5)非视觉区域模拟：根据将步骤(3)获得的目标路口车辆结构信息、步骤(4)获得的关联路口的车辆结构信息、以及所述道路的先验通行速度进行跟踪模拟获得所述路段目标路口与关联路口摄像头视频流覆盖区域以外非视觉区域的车辆结构信息；所述车辆结构信息包括车辆标识、所在车道、车辆位置、车辆类别。
对于步骤(4)和步骤(5)中汇总时删除的车辆信息，根据该车辆所在道路的先验通行速度进行跟踪模拟，获取模拟的该车在所述道路上的实时位置信息，作为非视觉区域的车辆结构信息。
所述道路的先验通信速度，根据所述目标路口车辆结构数据和所述道路连通的关联路口车辆结构数据中，该道路的平均车行速度确定。优选，可采用近一段时间的平均车行速度确定，本实施例选择近10分钟的平均车行速度确定，尤其是对于早晚高峰，道路的通行速度对于模拟的准确性十分重要。
(6)决策数据获取，将决策时刻的目标路口车辆结构信息、关联路口的车辆结构信息、以及非视觉区域的车辆结构信息叠加，获得决策时刻目标路口与其所有关联路口之间全路段车辆结构数据，作为决策数据。
所述全路段车辆结构数据，包括目标路口与其所有关联路口之间，所有道路上的车辆机构信息，用图像呈现，如图4所示。
(7)决策控制信号：对于目标路口的每一控制信号，根据步骤(6)获得的决策数据和当前相位，采用人工智能学习算法，进行相位变化决策，并根据决策结果调整信号灯。
所述根据决策结果调整信号灯，具体为根据决策结果的相位与当前相位相比较，判断需要切换的信号灯，并将调整信号，同步到信号灯控制设备，最终实现信号切换。
本实施例以深度增强学习算法为例，具体过程如下：
决策数据包括目标路口与各关联路口之间各车道上的车辆位置、车辆数目、车辆种类等信息；对于信号灯当前状态等信息为状态(state)，按照预设的奖励函数(reward)，推理出能够最大化reward的动作(action)。动作定义为所需变换的相位。
决策生成模块根据实时道路状态表示，采取深度强化学习算法，进行自适应道路信号灯调控，包括以下步骤：
(7-1)定义道路交通调控Agent、状态空间S、动作空间A和回报函数r，具体包括以下子步骤：
(7-1-1)道路交通调控Agent基于深度强化学习技术进行构建与训练，包括但不限于DQN等深度强化学习方法。下以基于DQN构建道路交通调控Agent为例解释。DQN中的深度神经网络将主要用于映射动作与回报期望值，表示为
η:X→Y
其中X表示状态空间，Y表示动作的长期回报期望。
深度神经网络以卷积神经网络为基础构建，根据实际路况转换出的状态可通过3层或者5层卷积神经网络提取状态特征并获得长期回报期望。
(7-1-2)定义交通状态s，交通状态s包括由步骤(5)所构建的道路车辆占有矩阵以及当前信号灯状态，其中信号灯状态按照预设相位顺序的顺序数表示。
(7-1-3)定义动作空间A为调控目标路口所有相位的集合。若决策动作与当前相位一致，则保持当前相位，否则按照决策结果切换至下一相位。
(7-1-4)定义回报函数r，回报函数的定义可根据道路信号调控目的执行。例如，若以提升车辆通行速度为目标，则定义回报函数为所有车辆的通行速度和：
其中N为路口关联道路上的车辆数目，vi为车辆i的通行速度；若以降低车辆等待时间为目标，则可定义回报函数为所有车辆等待时间之和的负值，即：
其中N为路口关联道路上的车辆数目，wi为车辆i的等待时间；也可根据需要制定为车辆通行速度和等待时间的加权和，如αV+βW，其中α与β均为加权系数，按调控目标偏向赋值。
(7-2)基于真实交通车流训练步骤(7-1)所制定的深度神经网络，按照DQN算法训练深度申请网络以获得超参数，具体包括：
(7-2-1)获取真实的交通车流历史数据，包括调控目标路口的过车数据以及所有关联路口的过车视频。按照步骤(5)的方法，生成路口数据以及路口间的增量数据。
(7-2-2)使用步骤(7-1)的真实车流信息训练路口交通调控Agent以获取深度神经网络超参数。通过标准DQN训练方法，如ε-greedy方法，进行长期迭代训练，直至收敛。
(7-3)接入步骤(7-2)训练好的DQN模型，以步骤(5)获取的实时车辆状态以及交通灯状态为输入，输出道路信号灯调控决策。
信号灯调控决策模块将所生成的决策按照指定的协议格式发送至信号机，实现信号灯的实时调控。信号机一般通过RJ45接口(即网口)接受来自因特网的信号灯调控指令，该指令按照预设的协议格式，基于信号灯调控决策模块给出的决策生成。信号机接收并解析该指令，然后相应地设置路口各信号灯灯色。
按照以上方法对目标路口进行控制，实验结果如下：
测试地点：某市闹市区的交叉口，与其连接的三个关联路口；测试时间：四天；测试时间段：早高峰：8:00-9:00，平峰：14:00-15:00，晚高峰：18:00-19:00
测试结果如下：
平均车速 平均停车等待时间
3层神经网络 +19.6％ -59.9％
5层神经网络 +22.8％ -65.7％
按照本发明实施例的方法，平均车速得到有效提高，平均等待时间明显减少。
实施例2
一种实现实施例基于关联路口视觉识别的交通信号灯控制方法的系统，包括目标路口摄像头、关联路口摄像头、图像数据处理模块、模拟模块、决策模块、以及信号同步模块；
所述目标路口摄像头，用于获取所述目标路口的视频流并传递给图像处理模块；
所述关联路口摄像头，用于获取所述关联路口的视频流并传递给图像处理模块；
所述图像处理模块，用于将所述目标路口摄像头获取和所述关联路口摄像头获取的视频图像处理为与时间轴关联的图像序列，并识别根据车辆的外观特征进行标识，将识别结果传递给模拟模块；
所述图像处理模块搭载百度公司提供的基于深度学习及大规模图像训练的车型识别服务，获得的每一辆车辆首先赋予用于唯一识别的ID作为车辆标识，根据地图信息标记其所在车道、距离目标路口位置作为车辆位置信息，根据识别结果确定车辆类别。
所述模拟模块，存储有目标路口所在的地图信息，确定目标路口各方向的所有车道信息及其控制信号，并获取所述目标路口的关联路口；所述关联路口即与目标路口有车道直接连接的路口；用于根据所述图像处理模块的识别结果，获取目标路口摄像头覆盖的目标路口车辆结构信息、关联路口摄像头覆盖的关联路口车辆结构信息，并根据所述道路的先验通行速度进行跟踪模拟获得所述路段目标路口与关联路口摄像头视频流覆盖区域以外非视觉区域的车辆结构信息；并将所述目标路口车辆结构信息、关联路口车辆结构信息、非视觉区域的车辆结构信息叠加汇总为所述道路的实时全路段车辆结构数据；
具体地所述模拟模块对于后一帧图像的识别结果，相对于现有的目标路口车辆结构信息进行更新：当被识别的车辆出现在前一帧图像中时，则车辆标识不变，所在车道、车辆位置信息进行更新，车辆类别信息不变；
当识别的车辆未出现在前一帧图像中时，赋予新的唯一识别ID作为该车辆的标识，根据地图信息标记其所在车道、距离目标路口位置作为车辆位置信息，根据识别结果确定车辆类别；
当原目标路口车辆结构信息中的车辆未出现在后一帧图像的识别结果中时，从目标路口车辆结构信息中删除该车辆，如果其原所处车道方向为目标路口方向，则将该车辆的信息用于步骤(5)非视觉区域的模拟。
所述决策模块，用于按照决策时刻读取所述模拟模块的实时全路段车辆结构数据，并根据实时全路段车辆结构数据，输入人工智能模型，决策路口相位是否需要变化相位，并将决策结果传递给信号同步模块；
所述人工智能模型为增强深度学习模型按照实施例1步骤(7)的逻辑进行学习决策。
所述信号同步模块，根据所述决策模块的决策结果调整信号灯。具体为：根据决策结果的相位与当前相位相比较，判断需要切换的信号灯，并将调整信号，同步到信号灯控制设备，最终实现信号切换。
领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于关联路口视觉识别的交通信号灯控制方法，其特征在于，包括以下步骤：
(1)目标路口获取：获取目标路口所在的地图信息，确定目标路口各方向的所有车道信息及其控制信号，并获取所述目标路口的关联路口；
(2)获取所述目标路口及其关联路口的摄像头视频流，并处理为与时间轴关联的图像序列；
(3)目标路口视觉识别：识别步骤(2)中获取的所述目标路口与时间轴关联的图像序列中的车辆，根据车辆的外观特征进行标识并汇总，获得目标路口摄像头覆盖区域的目标路口车辆结构信息；
(4)关联路口视觉识别：识别步骤(3)中获取的所述关联路口与时间轴关联的图像序列中的车辆，根据车辆的外观特征进行标识并汇总，获得关联路口摄像头覆盖区域的关联路口车辆结构信息；
(5)非视觉区域模拟：将步骤(3)获得的目标路口车辆结构信息、步骤(4)获得的关联路口的车辆结构信息、以及所述道路的先验通行速度进行跟踪模拟获得所述路段目标路口与关联路口摄像头视频流覆盖区域以外非视觉区域的车辆结构信息；
(6)决策数据获取：将决策时刻的目标路口车辆结构信息、关联路口的车辆结构信息、以及非视觉区域的车辆结构信息叠加，获得决策时刻目标路口与其所有关联路口之间全路段车辆结构数据，作为决策数据；
(7)决策控制信号：对于目标路口的每一控制信号，根据步骤(6)获得的决策数据和当前相位，采用人工智能学习算法，进行相位变化决策，并根据决策结果调整信号灯。
2.如权利要求1所述的基于关联路口视觉识别的交通信号灯控制方法，其特征在于，步骤(1)所述车道信息包括道路长度、道路宽度、车道宽度、车道属性、停止线位置、路口宽度、以及路口长度信息；所述车道属性包括直行、左转、直行左转、和/或掉头。
3.如权利要求1所述的基于关联路口视觉识别的交通信号灯控制方法，其特征在于，步骤(2)所述与时间轴关联的图像序列帧率在6fps至24fps，按照所述路段平均通行速度越快、车流量越大帧率约高的原则恰当选择。
4.如权利要求1所述的基于关联路口视觉识别的交通信号灯控制方法，其特征在于，所述车辆结构信息包括：车辆标识、所在车道、车辆位置、车辆类别。
5.如权利要求1所述的基于关联路口视觉识别的交通信号灯控制方法，其特征在于，步骤(3)与步骤(4)中的车辆识别可采用k-means算法以及词袋模型进行识别、Fine-GrainedClassification算法、深度学习算法。
6.如权利要求1所述的基于关联路口视觉识别的交通信号灯控制方法，其特征在于，步骤(7)所述人工智能学习算法，采用遗传算法、蚁群算法、深度神经网络，例如卷积神经网络，更优选采用深度强化学习算法。
7.如权利要求1所述的基于关联路口视觉识别的交通信号灯控制方法，其特征在于，步骤(7)所述根据决策结果调整信号灯，具体为根据决策结果的相位与当前相位相比较，判断需要切换的信号灯，并将调整信号，同步到信号灯控制设备，最终实现信号切换。
8.一种基于关联路口视觉识别的交通信号灯控制系统，其特征在于，包括目标路口摄像头、关联路口摄像头、图像数据处理模块、模拟模块、决策模块、以及信号同步模块；
所述目标路口摄像头，用于获取所述目标路口的视频流并传递给图像处理模块；
所述关联路口摄像头，用于获取所述关联路口的视频流并传递给图像处理模块；
所述图像处理模块，用于将所述目标路口摄像头获取和所述关联路口摄像头获取的视频图像处理为与时间轴关联的图像序列，并识别根据车辆的外观特征进行标识，将识别结果传递给模拟模块；
所述模拟模块，存储有目标路口所在的地图信息，确定目标路口各方向的所有车道信息及其控制信号，并获取所述目标路口的关联路口；所述关联路口即与目标路口有车道直接连接的路口；用于根据所述图像处理模块的识别结果，获取目标路口摄像头覆盖的目标路口车辆结构信息、关联路口摄像头覆盖的关联路口车辆结构信息，并根据所述道路的先验通行速度进行跟踪模拟获得所述路段目标路口与关联路口摄像头视频流覆盖区域以外非视觉区域的车辆结构信息；并将所述目标路口车辆结构信息、关联路口车辆结构信息、非视觉区域的车辆结构信息叠加汇总为所述道路的实时全路段车辆结构数据；
所述决策模块，用于按照决策时刻读取所述模拟模块的实时全路段车辆结构数据，并根据实时全路段车辆结构数据，输入人工智能模型，决策路口相位是否需要变化相位，并将决策结果传递给信号同步模块；
所述信号同步模块，根据所述决策模块的决策结果调整信号灯。具体为：根据决策结果的相位与当前相位相比较，判断需要切换的信号灯，并将调整信号，同步到信号灯控制设备，最终实现信号切换。
9.如权利要求8所述的基于关联路口视觉识别的交通信号灯控制系统，其特征在于，所述图像处理模块采用k-means算法以及词袋模型、Fine-Grained Classification算法、深度学习算法等方法进行识别车辆。
10.如权利要求8所述的基于关联路口视觉识别的交通信号灯控制系统，其特征在于，所述决策模块的人工智能模型，为遗传算法模型、蚁群算法模型、深度神经网络模型、增强深度学习模型。
CN201810557892.3A 2018-06-01 2018-06-01 一种基于关联路口视觉识别的交通信号灯控制方法与系统 Active CN108831168B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810557892.3A CN108831168B (zh) 2018-06-01 2018-06-01 一种基于关联路口视觉识别的交通信号灯控制方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810557892.3A CN108831168B (zh) 2018-06-01 2018-06-01 一种基于关联路口视觉识别的交通信号灯控制方法与系统

Publications (2)

Publication Number Publication Date
CN108831168A true CN108831168A (zh) 2018-11-16
CN108831168B CN108831168B (zh) 2020-10-02

Family

ID=64145916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810557892.3A Active CN108831168B (zh) 2018-06-01 2018-06-01 一种基于关联路口视觉识别的交通信号灯控制方法与系统

Country Status (1)

Country Link
CN (1) CN108831168B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472984A (zh) * 2018-12-27 2019-03-15 苏州科技大学 基于深度强化学习的信号灯控制方法、系统和存储介质
CN109637164A (zh) * 2018-12-26 2019-04-16 视联动力信息技术股份有限公司 一种交通灯控制方法和装置
CN110021168A (zh) * 2019-04-18 2019-07-16 上海科技大学 一种车联网下实现实时智能交通管理的分级决策方法
CN110795977A (zh) * 2019-04-29 2020-02-14 当家移动绿色互联网技术集团有限公司 交通信号识别方法、装置、存储介质及电子设备
CN111292531A (zh) * 2020-02-06 2020-06-16 北京百度网讯科技有限公司 交通信号灯的跟踪方法、装置、设备及存储介质
CN111613050A (zh) * 2019-02-26 2020-09-01 阿里巴巴集团控股有限公司 道路数据处理方法、装置、设备及存储介质
CN113362618A (zh) * 2021-06-03 2021-09-07 东南大学 基于策略梯度的多模式交通自适应信号控制方法及装置
CN113465624A (zh) * 2020-07-13 2021-10-01 北京京东乾石科技有限公司 用于自动驾驶车辆识别路口的系统和方法
CN113781784A (zh) * 2021-11-09 2021-12-10 深圳市奥新科技有限公司 一种智能交通灯及其控制方法
CN115482659A (zh) * 2022-08-18 2022-12-16 浙江工商大学 一种基于深度强化学习的智能体自主决策方法
CN115547042A (zh) * 2022-09-20 2022-12-30 中科南京智能技术研究院 一种大规模城市道路交通灯智能控制系统及方法
CN117558135A (zh) * 2024-01-12 2024-02-13 广州卓勤信息技术有限公司 一种基于交通信息模拟的园区交通控制方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101101703A (zh) * 2007-07-24 2008-01-09 深圳市融合视讯科技有限公司 一种交通阻塞程度的自动判断及查询方法
CN101719315A (zh) * 2009-12-23 2010-06-02 山东大学 一种基于中间件的动态交通信息采集方法
CN102819954A (zh) * 2012-08-28 2012-12-12 南京大学 交通区域动态地图监控预测系统
CN104537851A (zh) * 2014-12-26 2015-04-22 清华大学 实时反馈动态交通信号控制系统
CN105118308A (zh) * 2015-10-12 2015-12-02 青岛大学 基于聚类强化学习的城市道路交叉口交通信号优化方法
CN107134156A (zh) * 2017-06-16 2017-09-05 上海集成电路研发中心有限公司 一种基于深度学习的智能交通灯系统及其控制交通灯的方法
US20170372602A1 (en) * 2016-06-24 2017-12-28 Continental Advanced Lidar Solutions Us, Llc Ladar enabled traffic control
CN108091155A (zh) * 2017-11-13 2018-05-29 华为技术有限公司 车联网中的交通流控制方法及其装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101101703A (zh) * 2007-07-24 2008-01-09 深圳市融合视讯科技有限公司 一种交通阻塞程度的自动判断及查询方法
CN101719315A (zh) * 2009-12-23 2010-06-02 山东大学 一种基于中间件的动态交通信息采集方法
CN102819954A (zh) * 2012-08-28 2012-12-12 南京大学 交通区域动态地图监控预测系统
CN104537851A (zh) * 2014-12-26 2015-04-22 清华大学 实时反馈动态交通信号控制系统
CN105118308A (zh) * 2015-10-12 2015-12-02 青岛大学 基于聚类强化学习的城市道路交叉口交通信号优化方法
US20170372602A1 (en) * 2016-06-24 2017-12-28 Continental Advanced Lidar Solutions Us, Llc Ladar enabled traffic control
CN107134156A (zh) * 2017-06-16 2017-09-05 上海集成电路研发中心有限公司 一种基于深度学习的智能交通灯系统及其控制交通灯的方法
CN108091155A (zh) * 2017-11-13 2018-05-29 华为技术有限公司 车联网中的交通流控制方法及其装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
夏新海: "多Agent 强化学习下的城市路网自适应", 《交通运输研究》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109637164A (zh) * 2018-12-26 2019-04-16 视联动力信息技术股份有限公司 一种交通灯控制方法和装置
CN109472984A (zh) * 2018-12-27 2019-03-15 苏州科技大学 基于深度强化学习的信号灯控制方法、系统和存储介质
CN111613050A (zh) * 2019-02-26 2020-09-01 阿里巴巴集团控股有限公司 道路数据处理方法、装置、设备及存储介质
CN110021168A (zh) * 2019-04-18 2019-07-16 上海科技大学 一种车联网下实现实时智能交通管理的分级决策方法
CN110021168B (zh) * 2019-04-18 2021-08-27 上海科技大学 一种车联网下实现实时智能交通管理的分级决策方法
CN110795977A (zh) * 2019-04-29 2020-02-14 当家移动绿色互联网技术集团有限公司 交通信号识别方法、装置、存储介质及电子设备
CN111292531A (zh) * 2020-02-06 2020-06-16 北京百度网讯科技有限公司 交通信号灯的跟踪方法、装置、设备及存储介质
CN113465624A (zh) * 2020-07-13 2021-10-01 北京京东乾石科技有限公司 用于自动驾驶车辆识别路口的系统和方法
US11748999B2 (en) 2020-07-13 2023-09-05 Beijing Jingdong Qianshi Technology Co., Ltd. System and method for recognizing intersection by autonomous vehicles
CN113465624B (zh) * 2020-07-13 2024-04-16 北京京东乾石科技有限公司 用于自动驾驶车辆识别路口的系统和方法
CN113362618A (zh) * 2021-06-03 2021-09-07 东南大学 基于策略梯度的多模式交通自适应信号控制方法及装置
CN113362618B (zh) * 2021-06-03 2022-08-09 东南大学 基于策略梯度的多模式交通自适应信号控制方法及装置
CN113781784A (zh) * 2021-11-09 2021-12-10 深圳市奥新科技有限公司 一种智能交通灯及其控制方法
CN115482659A (zh) * 2022-08-18 2022-12-16 浙江工商大学 一种基于深度强化学习的智能体自主决策方法
CN115482659B (zh) * 2022-08-18 2023-09-19 浙江工商大学 一种基于深度强化学习的智能体自主决策方法
CN115547042A (zh) * 2022-09-20 2022-12-30 中科南京智能技术研究院 一种大规模城市道路交通灯智能控制系统及方法
CN117558135A (zh) * 2024-01-12 2024-02-13 广州卓勤信息技术有限公司 一种基于交通信息模拟的园区交通控制方法及系统
CN117558135B (zh) * 2024-01-12 2024-04-09 广州卓勤信息技术有限公司 一种基于交通信息模拟的园区交通控制方法及系统

Also Published As

Publication number Publication date
CN108831168B (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN108831168A (zh) 一种基于关联路口视觉识别的交通信号灯控制方法与系统
CN107730975B (zh) 超市停车引导反向寻车和出场引导的系统和方法
CN104933876B (zh) 一种自适应智慧城市智能交通信号的控制方法
US20190332875A1 (en) Traffic Signal State Classification for Autonomous Vehicles
CN108583578A (zh) 用于自动驾驶车辆的基于多目标决策矩阵的车道决策方法
CN111785045A (zh) 基于演员-评论家算法的分布式交通信号灯联合控制方法
CN107577981A (zh) 一种道路交通标识识别方法及装置
CN112672483B (zh) 一种智慧路灯控制方法
CN109000676A (zh) 一种vanet环境下结合预测信息的路径规划方法
WO2020093702A1 (zh) 一种基于深度q网络学习的交通灯动态配时算法
CN110197589A (zh) 一种基于深度学习的闯红灯违法检测方法
CN105894831A (zh) 智能交通控制装置
CN109035808A (zh) 一种基于深度学习的红绿灯切换方法及系统
CN109544913A (zh) 一种基于深度q网络学习的交通灯动态配时算法
CN108898839A (zh) 一种实时动态交通信息数据系统及其更新方法
CN110728840A (zh) 交通控制方法和智能导航系统
CN109410608B (zh) 基于卷积神经网络的图片自学习交通信号控制方法
Mittal et al. Development of intelligent transportation system for improving average moving and waiting time with artificial intelligence
CN108109400A (zh) 一种可根据斑马线流量自主切换的智能交通信号灯控制装置
CN114550471B (zh) 一种智能交通的信号灯控制方法及控制系统
CN113066295B (zh) 交通信号灯控制方法及装置
CN108978382B (zh) 一种单通多向协同交通方法
CN108898840A (zh) 一种基于视频监控的智能交通信号灯控制方法
CN116597672B (zh) 基于多智能体近端策略优化算法的区域信号灯控制方法
Jain et al. Real-Time Smart Traffic Control and Simulation: An Approach for Urban Congestion Management

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200831

Address after: No. 999, Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan, Hubei

Applicant after: Wuhan Titan Intelligent Technology Co., Ltd

Address before: 212004 Jiangsu Zhenjiang Danyang Yunyang Street South three ring road Danyang high tech Innovation Park

Applicant before: JIANGSU SHUHAN INFORMATION TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Room 1601-55, No. 8, second financial street, Wuxi Economic Development Zone, Jiangsu 214100

Patentee after: Jiangsu Titan Intelligent Technology Co.,Ltd.

Address before: No. 999, Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan, Hubei 430073

Patentee before: Wuhan Titan Intelligent Technology Co.,Ltd.

CP03 Change of name, title or address