CN113012432B - 云计算与雾计算协同强化学习的交通红绿灯控制系统 - Google Patents

云计算与雾计算协同强化学习的交通红绿灯控制系统 Download PDF

Info

Publication number
CN113012432B
CN113012432B CN202110274798.9A CN202110274798A CN113012432B CN 113012432 B CN113012432 B CN 113012432B CN 202110274798 A CN202110274798 A CN 202110274798A CN 113012432 B CN113012432 B CN 113012432B
Authority
CN
China
Prior art keywords
traffic light
light control
cloud computing
reinforcement learning
traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110274798.9A
Other languages
English (en)
Other versions
CN113012432A (zh
Inventor
武强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202110274798.9A priority Critical patent/CN113012432B/zh
Publication of CN113012432A publication Critical patent/CN113012432A/zh
Application granted granted Critical
Publication of CN113012432B publication Critical patent/CN113012432B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/095—Traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)

Abstract

提供了云计算与雾计算协同强化学习的交通红绿灯控制系统。所提供的交通红绿灯控制系统，包括多个交通红绿灯控制设备与云计算平台，所述多个交通红绿灯控制设备耦合到所述云计算平台；交通红绿灯控制设备包括：毫米波雷达、激光雷达、融合感知单元与AIoT设备；所述毫米波雷达与激光雷达分别耦合所述融合感知单元,所述毫米波雷达与激光雷达各自捕获的图像或信号被提供给所述融合感知单元；融合感知单元同其所属的交通红绿灯控制设备的AIoT设备耦合，融合感知单元输出的交通状况信息提供给所述AIoT设备；AIoT设备将其所属交通红绿灯控制设备的融合感知单元输出的交通状况信息的部分或全部提供给所述云计算平台，并从所述云计算平台获取控制信息；AIoT设备根据其所属交通红绿灯控制设备的融合感知单元提供的交通状况信息与所述云计算平台提供的控制信息控制同交通红绿灯控制设备对应的交通红绿灯。

Description

云计算与雾计算协同强化学习的交通红绿灯控制系统
技术领域
本申请涉及信息处理设备与信息处理系统，具体地，涉及云计算与雾计算协同强化学习的交通红绿灯控制系统。
背景技术
城市交通拥堵已经对全球经济、环境造成了严重的影响。提升城市交通信号控制效率，是缓解城市交通拥堵相对“高效、低成本”方法之一。因为城市交通环境具有复杂性、不确定性，其内部运行的机理无法精确地进行分析建模，所以城市交通信号控制比较适合采用人工智能的方法进行控制。但是，目前大多数红绿灯控制方式是采用各颜色信号灯具有固定时长的策略，这导致经常存在“车辆拥堵路段红灯不能行；道路畅通路段开绿灯没车过”的情况。
机器学习技术已经得到越来越多的应用。中国专利申请CN107134156A提供了基于深度学习的智能交通灯系统及其控制交通灯的方法，中国专利申请CN109544913A提供了基于深度Q网络学习的交通灯动态配时算法。
毫米波雷达被用于检测路口车流量。诸如中国专利申请CN111583671A中提供了毫米波雷达路口车流量监测方法及其系统。
发明内容
为了利用机器学习技术对交通红绿灯实施控制，需要准确获知路口的路况信息，包括车辆/行人信息、排队长度、路口通过时间等。进一步地，由于城市交通的复杂性和不可预测性，单个路口的交通红绿灯控制不能达到缓解交通拥堵的目的。除了当前路口的路况信息，与当前路口的道路网络相关的邻近路口的路况信息和/或交通红绿灯控制信息也影响当前路口的车辆/行人流量。因而各路口的交通红绿灯控制设备需要彼此协同。然而交通路口的状态信息，来源于摄像头、雷达、车辆等诸多设备，这些设备具有数量多、数据量大、地域上广泛分布等特征，这使得城市交通红绿灯的控制不适合采用将全部数据传输到云计算平台统一处理的方式，而是希望采用分布在路口附近的边缘计算设备与统一的云计算平台协同的方式控制交通红绿灯，以获得本地、局部以及全局的优化。并且，交通红绿灯控制设备需要部署在路口现场，并在全天候条件下工作，因而还需要具有低成本、易部署以及适用于多种天气条件、环境条件的工作场景。
为了解决上述一个或多个技术问题并获得上述一个或多个技术效果，提供了根据本申请的多种实施例。
根据本申请的第一方面，提供了根据本申请第一方面的第一交通红绿灯控制设备，包括毫米波雷达、激光雷达、融合感知单元与AIoT设备；所述毫米波雷达与激光雷达分别耦合所述融合感知单元,所述毫米波雷达与激光雷达各自捕获的图像或信号被提供给所述融合感知单元；所述融合感知单元同所述AIoT设备耦合，所述融合感知单元输出的交通状况信息提供给所述AIoT设备；所述AIoT设备根据所述融合感知单元提供的交通状况信息控制同交通红绿灯控制设备对应的交通红绿灯。
根据本申请第一方面的第一交通红绿灯控制设备，提供了根据本申请第一方面的第二交通红绿灯控制设备，其中所述AIoT设备包括交通红绿灯控制单元与交通红绿灯驱动电路；所述交通红绿灯驱动电路耦合所述交通红绿灯，并驱动所述交通红绿灯的各颜色信号灯的点亮与熄灭；所述交通红绿灯控制单元同所述交通红绿灯驱动电路耦合，并调节所述交通红绿灯驱动电路驱动所述交通红绿灯的各颜色信号灯的点亮与熄灭的时间。
根据本申请第一方面的第二交通红绿灯控制设备，提供了根据本申请第一方面的第三交通红绿灯控制设备，其中所述AIoT设备还包括通信单元；所述通信单元将所述AIoT设备耦合到网络、边缘计算设备和/或同所述交通红绿灯控制设备所处路口相关的车辆；所述通信单元还耦合所述交通红绿灯控制单元，以向所述交通红绿灯控制单元提供同所述交通红绿灯控制设备所处路口不同的其他路口的交通状况信息。
根据本申请第一方面的第三交通红绿灯控制设备，提供了根据本申请第一方面的第四交通红绿灯控制设备，其中所述通信单元是5G无线通信单元、LoRa通信单元和/或NB-IoT通信单元。
根据本申请第一方面的第四交通红绿灯控制设备，提供了根据本申请第一方面的第五交通红绿灯控制设备，还包括摄像头；所述摄像头采集所述交通红绿灯控制设备所处路口的视频，并提供给所述融合感知单元。
根据本申请第一方面的第五交通红绿灯控制设备，提供了根据本申请第一方面的第六交通红绿灯控制设备，其中所述融合感知单元是已训练好的AI推断单元，根据所述毫米波雷达和/或所述激光雷达提供的所述交通红绿灯控制设备所处路口的图像或信号，输出的所述交通红绿灯控制设备所处路口的交通状况信息包括车辆排队长度和/或车辆通过时间。
根据本申请第一方面的第六交通红绿灯控制设备，提供了根据本申请第一方面的第七交通红绿灯控制设备，其中所述交通红绿灯控制单元是强化学习单元；所述强化学习单元将所述融合感知单元提供的车辆排队长度作为强化学习的状态，根据状态产生调节所述交通红绿灯驱动电路驱动所述交通红绿灯的各颜色信号灯的点亮与熄灭的时间的动作；以及将所述融合感知单元提供的车辆通过时间作为强化学习的奖励。
根据本申请第一方面的第七交通红绿灯控制设备，提供了根据本申请第一方面的第八交通红绿灯控制设备，其中所述强化学习单元将所述融合感知单元提供的车辆排队长度与所述通信单元提供的所述其他路口的交通状况信息作为强化学习的状态；以及将所述融合感知单元提供的车辆通过时间与所述通信单元提供的所述其他路口的车辆排队时间作为强化学习的奖励。
根据本申请第一方面的第八交通红绿灯控制设备，提供了根据本申请第一方面的第九交通红绿灯控制设备，其中所述AIoT设备存储或通过所述通信单元向网络提供所述毫米波雷达、所述激光雷达和/或所述摄像头捕获的图像、视频和/或信号。
根据本申请的第二方面，提供了根据本申请第二方面的第一交通红绿灯控制系统，包括多个边缘计算设备、多个交通红绿灯控制设备与云计算平台；其中第一多个交通红绿灯控制设备耦合到第一边缘计算设备；第二多个交通红绿灯控制设备耦合到第二边缘计算设备；所述第一边缘计算设备与所述第二边缘计算设备通过网络耦合到所述云计算平台；以及其中交通红绿灯控制设备是根据本申请第一方面的交通红绿灯控制设备。
根据本申请的第三方面，提供了根据本申请第三方面的第一交通红绿灯控制系统，包括多个交通红绿灯控制设备与云计算平台，所述多个交通红绿灯控制设备耦合到所述云计算平台；交通红绿灯控制设备包括：毫米波雷达、激光雷达、融合感知单元与AIoT设备；所述毫米波雷达与激光雷达分别耦合所述融合感知单元,所述毫米波雷达与激光雷达各自捕获的图像或信号被提供给所述融合感知单元；融合感知单元同其所属的交通红绿灯控制设备的AIoT设备耦合，融合感知单元输出的交通状况信息提供给所述AIoT设备；AIoT设备将其所属交通红绿灯控制设备的融合感知单元输出的交通状况信息的部分或全部提供给所述云计算平台，并从所述云计算平台获取控制信息；AIoT设备根据其所属交通红绿灯控制设备的融合感知单元提供的交通状况信息与所述云计算平台提供的控制信息控制同交通红绿灯控制设备对应的交通红绿灯。
根据本申请第三方面的第一交通红绿灯控制系统，提供了根据本申请第三方面的第二交通红绿灯控制系统，其中AIoT设备包括交通红绿灯控制单元与交通红绿灯驱动电路；所述交通红绿灯驱动电路耦合所述交通红绿灯，并驱动所述交通红绿灯的各颜色信号灯的点亮与熄灭；所述交通红绿灯控制单元同所述交通红绿灯驱动电路耦合，并通过执行雾计算强化学习算法控制所述交通红绿灯驱动电路驱动所述交通红绿灯的各颜色信号灯的点亮与熄灭的时间；所述云计算平台执行云计算强化学习算法生成提供给交通红绿灯控制设备的控制信息。
根据本申请第三方面的第二交通红绿灯控制系统，提供了根据本申请第三方面的第三交通红绿灯控制系统，根据权利要求2所述的交通红绿灯控制系统，其中所述云计算平台从所述多个交通红绿灯控制设备获取多个交通状况信息，根据所述多个交通状况信息作为云计算强化学习算法的状态信息，并根据云计算强化学习算法的状态信息生成多份控制信息并提供给对应的交通红绿灯控制设备之一。
根据本申请第三方面的第一至第三交通红绿灯控制系统之一，提供了根据本申请第三方面的第四交通红绿灯控制系统，其中AIoT设备响应于根据其所属交通红绿灯控制设备的融合感知单元提供的交通状况信息与所述云计算平台提供的控制信息生成雾计算强化学习算法的状态信息，根据雾计算强化学习算法的状态信息生成对应的动作来控制同交通红绿灯控制设备对应的交通红绿灯，还从其所属交通红绿灯控制设备的融合感知单元输出的交通状况信息中获取奖励信息，以更新雾计算强化学习算法的一个或多个参数；并将获取的奖励信息提供给所述云计算平台。
根据本申请第三方面的第四交通红绿灯控制系统，提供了根据本申请第三方面的第五交通红绿灯控制系统，其中AIoT设备根据获取的奖励信息更新其交通红绿灯控制单元的雾计算强化学习算法的参数；所述云计算平台根据从所述多个交通红绿灯控制设备的AIoT设备获取的奖励信息组合得到云计算强化学习算法的奖励信息，并更新云计算强化学习算法的一个或多个参数。
根据本申请第三方面的第五交通红绿灯控制系统，提供了根据本申请第三方面的第六交通红绿灯控制系统，其中交通红绿灯控制设备的融合感知单元输出的交通状况信息包括：交通红绿灯控制设备所处路口的排队长度、车辆通过路口的停车次数和/或车辆通过路口所需时间；交通红绿灯控制设备的AIoT设备根据其所属交通红绿灯控制设备的融合感知单元提供的排队长度与车辆通过路口的停车次数与所述云计算平台提供的控制信息作为雾计算强化学习算法的参数；交通红绿灯控制设备的AIoT设备根据其所属交通红绿灯控制设备的融合感知单元提供的车辆通过路口所需时间作为雾计算强化学习算法的奖励信息。
根据本申请第三方面的第六交通红绿灯控制系统，提供了根据本申请第三方面的第七交通红绿灯控制系统，其中所述云计算平台还获取紧急状况信息，以及将紧急状况信息与从多个交通红绿灯控制设备获取的多个交通状况信息作为云计算强化学习算法的状态信息；所述云计算平台还将所述紧急状况信息提供给多个交通红绿灯控制设备；AIoT设备根据雾计算强化学习算法的状态信息，还将从所述云计算平台接收的紧急状况信息的部分或全部提供同其耦合的一个或多个车辆。
根据本申请第三方面的第七交通红绿灯控制系统，提供了根据本申请第三方面的第八交通红绿灯控制系统，其中在交通红绿灯的t时刻的控制周期内，第i个交通红绿灯控制设备的融合感知单元获取其所在路口的排队长度
Figure BDA0002976166140000041
与车辆通过路口的停车次数
Figure BDA0002976166140000042
提供给所述云计算平台；所述云计算平台生成t时刻用于云计算强化学习算法的状态信息St，其中
Figure BDA0002976166140000043
其中
Figure BDA0002976166140000044
N为所述交通红绿灯控制系统的交通红绿灯控制设备的数量，i为正整数；所述云计算平台执行云计算强化学习算法根据状态信息St，根据动作决策函数p(At|θ,st)生成t时刻的动作At，其中
Figure BDA0002976166140000045
动作
Figure BDA0002976166140000046
对应云计算平台提供给第i个交通红绿灯控制设备的控制信息
Figure BDA0002976166140000047
其中θ代表云计算强化学习算法的参数集合,p(At|θ,st)表示在参数集合θ与状态St的情况下，以概率p(At|θ,st)做出动作At。
根据本申请第三方面的第八交通红绿灯控制系统，提供了根据本申请第三方面的第九交通红绿灯控制系统，其中在交通红绿灯的t时刻的控制周期内，第i个交通红绿灯控制设备的AIoT设备获取云计算平台提供的控制信息
Figure BDA0002976166140000048
生成用于雾计算强化学习算法的状态信息
Figure BDA0002976166140000049
其中
Figure BDA00029761661400000410
还根据状态信息
Figure BDA00029761661400000411
根据动作决策函数
Figure BDA00029761661400000412
生成动作
Figure BDA00029761661400000413
动作
Figure BDA00029761661400000414
用于控制第i个交通红绿灯控制设备的交通红绿灯驱动电路，其中θfog_i代表雾计算强化学习算法的参数集合,
Figure BDA00029761661400000415
表示在参数集合θfog_i与状态
Figure BDA00029761661400000416
的情况下，以概率
Figure BDA00029761661400000417
做出动作
Figure BDA00029761661400000418
根据本申请第三方面的第九交通红绿灯控制系统，提供了根据本申请第三方面的第十交通红绿灯控制系统，其中第i个交通红绿灯控制设备的AIoT设备还获取动作
Figure BDA00029761661400000419
所产生的奖励
Figure BDA00029761661400000420
并将奖励
Figure BDA00029761661400000421
提供给云计算平台，其中
Figure BDA00029761661400000422
其中是β是超参数；所述云计算平台根据各个交通红绿灯控制设备提供的奖励
Figure BDA00029761661400000423
生成用于云计算强化学习算法的奖励Rt+1，其中
Figure BDA00029761661400000424
所述云计算平台用奖励Rt+1更新其参数集合θ；第i个交通红绿灯控制设备的AIoT设备还根据奖励
Figure BDA00029761661400000425
更新其雾计算强化学习算法的参数集合θfog_i。
根据本申请第三方面的第八到第十交通红绿灯控制系统之一，提供了根据本申请第三方面的第十一交通红绿灯控制系统，其中所述云计算平台将紧急状况信息
Figure BDA00029761661400000426
提供给第i个交通红绿灯控制设备；第i个交通红绿灯控制设备生成的用于雾计算强化学习算法的状态信息
Figure BDA00029761661400000427
其中
Figure BDA00029761661400000428
第i个交通红绿灯控制设备的AIoT设备获取动作
Figure BDA00029761661400000429
所产生的奖励
Figure BDA00029761661400000430
Figure BDA00029761661400000431
其中是α与β是超参数。
根据本申请第三方面的第十一交通红绿灯控制系统，提供了根据本申请第三方面的第十二交通红绿灯控制系统，其中所述云计算强化学习算法与各交通红绿灯控制设备的雾计算强化学习算法有各自的控制周期，所述云计算强化学习算法与各交通红绿灯控制设备的雾计算强化学习算法各自的控制周期相同或不同。
根据本申请第三方面的第十一交通红绿灯控制系统，提供了根据本申请第三方面的第十二交通红绿灯控制系统，其中所述云计算强化学习算法的每个控制周期开始前，等待所有的交通红绿灯控制设备各自都提供了状态信息Sfog_i，而各交通红绿灯控制设备的雾计算强化学习算法有各自的控制周期。
根据本申请的第四方面，提供了根据本申请第四方面的第一交通红绿灯控制设备，所述交通红绿灯控制设备耦合到云计算平台；所述交通红绿灯控制设备包括：毫米波雷达、激光雷达、融合感知单元与AIoT设备；所述毫米波雷达与激光雷达分别耦合所述融合感知单元,所述毫米波雷达与激光雷达各自捕获的图像或信号被提供给所述融合感知单元；融合感知单元同其所属的交通红绿灯控制设备的AIoT设备耦合，融合感知单元输出的交通状况信息提供给所述AIoT设备；AIoT设备将其所属交通红绿灯控制设备的融合感知单元输出的交通状况信息的部分或全部提供给所述云计算平台，并从所述云计算平台获取控制信息；AIoT设备根据其所属交通红绿灯控制设备的融合感知单元提供的交通状况信息与所述云计算平台提供的控制信息控制同交通红绿灯控制设备对应的交通红绿灯。
附图说明
当连同附图阅读时，通过参考后面对示出性的实施例的详细描述，将最佳地理解本申请以及优选的使用模式和其进一步的目的和优点，其中附图包括：
图1展示了根据本申请实施例的交通红绿灯控制设备的框图；以及
图2展示了利用根据本申请实施例的交通红绿灯控制设备组成的交通红绿灯控制系统的示意图；
图3展示了利用根据本申请又一实施例的交通红绿灯控制设备及其交通红绿灯控制系统的示意图；
图4展示了根据本申请例的云计算平台与其耦合的多个交通红绿灯控制设备协同实施基于强化学习的控制过程的架构图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
图1展示了根据本申请实施例的交通红绿灯控制设备的框图。
根据本申请实施例的交通红绿灯控制设备包括毫米波雷达、激光雷达、融合感知单元与AI oT(人工智能物联网)设备。
根据本申请实施例的交通红绿灯控制设备同时包括毫米波雷达与激光雷达二者。毫米波雷达与激光雷达存在各自缺点，将二者在交通红绿灯控制设备，有利于弥补各自的不足。
激光雷达的缺点主要是工作时受天气和大气影响大，在大雨、浓烟、浓雾等坏天气里，衰减急剧加大，传播距离大受影响。其次，由于激光雷达的波束极窄,在空间搜索目标非常困难，只能在较小的范围内搜索、捕获目标。而毫米波雷达，即使在大雨、浓雾等恶劣天气中也能有效工作，并且能在较大空间范围内捕获目标。
毫米波雷达的不足在于精度低、探测范围短。而作为对比，激光雷达的探测精度更高、探测范围更大。
毫米波雷达无法检测行人，只能检测车辆，而激光雷达则对行人与车辆都能较好识别。
通过在交通红绿灯控制设备中同时设置毫米波雷达与激光雷达二者，使得根据本申请实施例的交通红绿灯控制设备在多种天气或环境下，都能探测到当前路口的车辆与行人二者，并且探测距离远，能覆盖邻近(驶进或驶出)当前路口的多个车辆。从而有助于识别当前路口一个、多个或各个方向的车辆/行人排队长度。
继续参看图1，毫米波雷达与激光雷达分别同融合感知单元耦合，各自向融合根治单元提供其所捕获的信息。可选地，交通红绿灯控制设备还包括摄像头。摄像头捕获的视频流也提供给例如融合感知单元。依然可选地，融合感知单元还获取通过例如无线网或车联网获取的同交通红绿灯控制设备所在的路口(称为当前路口)相关的车辆信息。
毫米波雷达与激光雷达各自向融合感知单元提供的信息是例如当前路口的图像或捕获的雷达回波信号。融合感知单元从图像和/或雷达回波以及可选的视频流中识别的目标物体(例如车辆、行人)的存在、位置、速度和/或运动方向等信息。融合感知单元是例如训练好的AI推断单元。依然可选地，训练AI推断单元，使其融合毫米波雷达、激光雷达提供的图像或信号，并输出当前路口的一个或多个方向的车辆排队长度与车辆通过当前路口的时间(或平均时间)。
可选地，根据本申请实施例的交通灯控制设备还包括摄像头，以采集当前路口的视频，并提供给融合感知单元。融合感知单元从摄像头提供的视频流与毫米波雷达与激光雷达各自提供的信号中获取有关车辆/行人的信息。
可以理解地，毫米波雷达、激光雷达、可选的摄像头与AI推断单元，各自都可以是例如本领域技术人员可获得的现有技术。
融合感知单元同AIoT设备耦合。AIoT设备获取融合感知单元提供的当前路口的有关车辆/行人的信息，并控制当前路口的交通红绿灯。根据本申请实施例的AIoT设备包括交通红绿灯控制单元与交通红绿灯驱动电路。可选地，AIoT设备还包括通信单元与处理器。
交通红绿灯控制单元是例如基于强化学习的计算单元(简称为强化学习单元)。交通红绿灯控制单元在线下已被训练好用于根据融合感知单元提供的信息控制交通红绿灯。可选地，在当前路口的现场，基于采集的车辆/行人信息还持续训练交通红绿灯控制单元以更新其例如Q矩阵。
在可选的实施方式中，将融合感知单元提供的当前路口的车辆排队长度，作为强化学习单元的状态数据。根据状态数据，强化学习单元控制交通红绿灯。强化学习单元的输出动作是例如对交通红绿灯的一种或多种灯光信号的保持时间的增加或减少。以及强化学习单元还将当前路口的车辆的排队时间作为奖励信息，并且可选地更新Q矩阵。
交通红绿灯控制单元的输出耦合到交通红绿灯驱动电路。交通红绿灯驱动电路用于驱动对应的交通红绿灯。交通红绿灯驱动电路控制交通红绿灯的每种颜色灯的点亮时间。交通红绿灯控制单元提供给信号灯驱动电路的是例如每种颜色灯的点亮时间的变化量(增加或减少，以及增加或减少的时间值)。
可选地，AIoT设备的通信单元是诸如5G无线通信单元、LoRa(长距离无线电，LongRange Radio)通信单元和/或NB-IoT(窄带物联网，Narrow Band Internet of Things)通信单元，从而AIoT得以接入因特网或私有/公有的物联网。可选地，AIoT设备的通信单元同与当前路口相关的车辆通信。
可选地，AIoT设备的通信单元从网络获取同当前路口相关的其他路口、道路和/或车辆的信息，并通过处理器提供给交通红绿灯控制单元。从而交通红绿灯控制单元根据同当前路口相关的其他路口、道路和/或车辆的信息进一步优化对当前路口的交通红绿灯的各颜色信号灯的点亮时间。
依然可选地，AIoT设备将融合感知单元向AIoT设备提供的当前路口的有关车辆/行人的信息，通过通信单元提供给网络或其他设备。依然可选地，AIoT设备将毫米波雷达、激光雷达和/或摄像头提供的图像或信号存储在本地存储设备种，以及可选地提供给网络或其他设备。
依然可选地，AIoT设备通过其通信单元还耦合到边缘计算设备。边缘计算设备耦合例如同其地理位置上邻近的多个根据本申请实施例的AIoT设备。边缘计算设备还例如通过网络耦合云计算平台。
图2展示了利用根据本申请实施例的交通红绿灯控制设备组成的交通红绿灯控制系统的示意图。
图2展示的交通红绿灯控制系统中的多个交通红绿灯控制设备(200、202、204与206)的每个例如都是图1展示的交通红绿灯控制设备，并且每个交通红绿灯控制设备各自部署在路口之一。这些交通红绿灯控制设备所部署的路口彼此邻近，从而这些路口的交通状况对其他路口的交通状况产生影响。
图2展示的多个交通红绿灯控制设备(200、202、204与206)各自耦合到边缘计算设备210，从而通过边缘计算设备210这些多个交通控制设备彼此交换路口的交通状况信息。作为举例，交通红绿灯控制设备200的AIoT设备从同其耦合的融合感知单元获取所在路口车辆的排队长度与排队时间，而通过交通红绿灯控制设备200的AIoT设备还从其他交通红绿灯控制设备(202、204与206)获得各自所在路口车辆的排队长度与排队时间。交通红绿灯控制设备200的交通红绿灯控制单元根据所接收的多个路口的排队长度与排队时间推断对于其所在路口最优的每种颜色信号灯的点亮时间。
图2展示的交通红绿灯控制系统中，包括多个边缘计算设备(210、212与214)。边缘计算设备(212与214)各自也耦合多个彼此邻近的多个交通红绿灯控制设备(图2中未示出)。多个边缘计算设备(210、212与214)还各自通过网络耦合到云计算平台。通过边缘计算设备与云平台，根据本申请实施例的交通红绿灯控制系统得以在更大范围内协同控制多个交通红绿灯，以优化较大区域或整个城市的交通管理。
图3展示了利用根据本申请又一实施例的交通红绿灯控制设备及其交通红绿灯控制系统的示意图。
图3展示的交通红绿灯控制系统包括多个交通红绿灯控制设备(310、320、330与340)。每个交通红绿灯控制设备各自部署在路口之一。每个路口包括部署在多个方向(例如对应于十字路口的4个方向)的每个的交通红绿灯。交通红绿灯控制设备(例如，300)控制其所在路口的例如4个交通红绿灯(分别用于指示路口A方向、路口B方向、路口C方向与路口D方向)。
交通红绿灯控制设备300包括毫米波雷达、激光雷达、融合感知单元、AIoT(人工智能物联网)设备与可选的摄像头。
根据本申请实施例的交通红绿灯控制设备同时包括毫米波雷达与激光雷达二者。毫米波雷达与激光雷达存在各自缺点，将二者在交通红绿灯控制设备，有利于弥补各自的不足。
作为举例，交通红绿灯控制设备300的融合感知单元获取所在路口车辆的排队长度、车辆通过该路口的停车次数和/或车辆通过该路口所需的红绿灯周期等该路口的交通状况信息。
交通红绿灯控制设备300的AIoT设备包括交通红绿灯控制单元、交通红绿灯驱动电路、通信单元以及可选的处理器。
交通红绿灯控制单元根据融合感知单元提供的路口的交通状态信息(L)作为路口的当前状态，根据路口的当前状态做出控制动作提供给交通红绿灯驱动电路，进而驱动该路口的各个交通红绿灯。
AIoT设备通过通信单元耦合到云计算平台，通信单元从云计算平台接收平台控制信息(C1/C2/C3/C4)。可选地，云计算平台还接收来自车辆的信息(CD)，并转发给AIoT设备的通信单元。依然可选地，AIoT设备还通过通信单元直接获取来自车辆的信息。从而AIoT设备云计算平台和/或车辆本身获取的来自车辆的信息。
通信单元将平台控制信息和/或来自车辆的信息，也提供给交通红绿灯控制单元。交通红绿灯控制单元将从融合感知单元获取的路口的当前状态、平台控制信息和/或来自车辆的信息提供给交通红绿灯控制单元。作为举例，交通红绿灯控制单元是强化学习单元，并且将路口的当前状态、平台控制信息和/或来自车辆的信息，作为强化学习的状态数据。
交通红绿灯控制单元根据当前的状态数据做出动作(A)，动作包括控制信息以控制交通红绿灯驱动电路。可选地，交通红绿灯控制单元做出的动作还包括通过通信单元提供给云计算平台和/或车辆的控制信息。
可选地，交通红绿灯控制设备300获取的所在路口的交通状况信息也通过通信单元提供给云计算平台。例如，融合感知单元获取的交通状况信息还提供给通信单元，并由通信单元转发给云计算平台。
可选地，交通红绿灯控制设备300做出动作(A)后，还从路口的交通状况获取对应的奖励(R1/R2/R3/R4)，并提供给云计算平台。
依然可选地，AIoT设备获取的来自车辆的信息包括例如紧急状况信息，诸如车辆是执行任务的消防车。AIoT设备将从云计算平台的获取的来自车辆的信息，例如转发给同其直接通信的其他车辆。可选地，AIoT设备将其直接获取的来自车辆的信息，例如转发给云计算平台。
云计算平台同交通红绿灯控制设备(310、320、330与340)的每个通信。云计算平台获取多个交通红绿灯控制设备(310、320、330与340)的交通状况信息，将其组合作为自身的强化学习单元的状态信息。云计算平台的强化学习单元根据状态信息做出动作，动作代表了发送给各交通红绿灯控制设备的平台控制信息。根据本申请的实施例，各交通红绿灯控制设备的交通红绿灯控制单元，将从云计算平台获取的平台控制信息，作为自身用于强化学习的状态信息，而非直接根据平台控制信息来控制交通红绿灯驱动电路。
根据本申请的实施例，云计算平台与其耦合的多个交通红绿灯控制设备协同实施基于强化学习的控制过程来协作完成对各交通红绿灯控制设备所耦合的交通红绿等的控制，以优化诸如城市范围的交通管理过程。在本申请中，将云计算平台与其耦合的多个交通红绿灯控制设备协同实施基于强化学习的控制过程中，由云计算平台实施的部分称为云计算强化学习算法，由各交通红绿灯控制设备的交通红绿灯控制单元实施的部分称为雾计算强化学习算法。
图4展示了根据本申请例的云计算平台与其耦合的多个交通红绿灯控制设备协同实施基于强化学习的控制过程的架构图。
强化学习需要根据环境的当前状态产生相应的动作，并根据环境对于所产生动作的奖励改进或调整根据环境状态产生动作的策略。
参看图4，云计算强化学习算法获取与其耦合的多个交通红绿灯控制设备各自的状态，将各交通红绿灯控制设备的状态(记为Si，其中i代表交通红绿灯控制设备的标识)组合得到用于云计算强化学习算法的状态(记为S)。状态Si是例如交通红绿灯控制设备i所在路口的排队长度、车辆通过该路口的停车次数和/或车辆通过该路口所需的红绿灯周期。云计算强化学习算法根据t时刻的状态St产生相应的动作(记为At)，动作At包括要施加于各交通红绿灯控制设备的动作(记为
Figure BDA0002976166140000081
其中i代表交通红绿灯控制设备的标识)。作为举例，动作
Figure BDA0002976166140000082
是云计算平台提供给交通红绿灯控制设备i的控制信息
Figure BDA0002976166140000083
作为又一个例子，云计算平台根据动作
Figure BDA0002976166140000084
生成提供给交通红绿灯控制设备i的控制信息
Figure BDA0002976166140000085
控制信息
Figure BDA0002976166140000086
包括例如期待交通红绿灯控制设备i的A方向绿灯时长35秒，或延长A方向的绿灯时长。
云计算平台还收集各交通红绿灯控制设备的奖励(记为Ri)，将各交通红绿灯控制设备的奖励(Ri)的组合作为用于云计算强化学习算法的奖励(记为R)，Rt代表t时刻所获得的奖励。
各交通红绿灯控制设备的雾计算强化学习算法获取其所在路口的交通状态与云计算平台向其提供的控制信息
Figure BDA0002976166140000087
将其组合作为用于雾计算强化学习算法的状态(记为
Figure BDA0002976166140000088
)，其中t代表时刻t。交通红绿灯控制设备i所在路口的交通状态包括由融合感知单元从毫米波雷达、激光雷达和/或摄像头获取的信息中提取的例如车辆排队长度(记为Li)，车辆通过路口所需的停车次数(记为SNi)，从而作为举例，
Figure BDA0002976166140000089
雾计算强化学习算法根据t时刻的状态
Figure BDA00029761661400000810
产生相应的动作(记为
Figure BDA00029761661400000811
)，动作
Figure BDA00029761661400000812
包括要施加于交通红绿灯控制设备i所耦合的一个或多个交通红绿灯的动作。作为举例，动作
Figure BDA00029761661400000813
是交通红绿灯控制设备i提供给同其耦合的交通红绿灯驱动电路的的控制信息
Figure BDA00029761661400000814
作为举例，虽然，云计算平台提供给交通红绿灯控制设备i的控制信息
Figure BDA00029761661400000815
建议其A方向绿灯时长35秒，根据本申请的实施例，交通红绿灯控制设备i并不根据该控制信息
Figure BDA00029761661400000816
直接控制交通红绿灯，而是将该控制信息
Figure BDA00029761661400000817
作为用于雾计算强化学习算法的输入的状态
Figure BDA00029761661400000818
的部分。雾计算强化学习算法的输入的状态
Figure BDA00029761661400000819
中还包括诸如路口的排队长度等其他交通状况。雾计算强化学习算法根据表达了多种因素的状态
Figure BDA00029761661400000820
来决策交通红绿灯的控制动作。
交通红绿灯控制设备还获取例如车辆通过所在路口的等待时间或平均等待时间作为奖励(记为Ri)。奖励用以更新强化学习算法的一个或多个参数。
交通红绿灯控制设备还将其状态
Figure BDA0002976166140000091
与奖励Ri提供给云计算平台。从而云计算强化学习算法所做出的决策中，考虑了来自多个交通红绿灯控制设备的状态信息
Figure BDA0002976166140000092
与奖励(Ri)。云计算强化学习算法以使得多个或所有交通红绿灯控制设备的奖励(Ri)之和最大化为其动作选择策略的优化目标。雾计算强化学习算法所做出的决策中，考虑了来自云计算平台的控制信息
Figure BDA00029761661400000918
并结合自身所在路口的交通状况做出决策。雾计算强化学习算法以使得自身所在路口的奖励(Ri)最大化为其动作选择策略的优化目标。
可选地，云计算平台还获取来自车辆的信息，并将来自车辆的信息提供给一个或多个交通红绿灯控制设备。交通红绿灯控制设备将所接收的来自车辆的信息，也作为状态
Figure BDA0002976166140000093
的组成部分，并由雾计算强化学习算法处理。从而雾计算强化学习算法所决策的动作考虑了来自车辆的信息，以最大化自身所在路口的奖励(Ri)。可选地，雾计算强化学习算法所决策的动作还包括将一种或多种来自车辆的信息转发给位于所在路口的车辆。例如，来自车辆的信息包括邻近路口有救护车驶来，将这样的信息转发给救护车行驶方向上的其他车辆，有助于这些其他车辆主动避让该救护车。
根据本申请实施例，云计算强化学习算法在t时刻根据获取的状态St依据其动作决策函数选择相应的动作At，其中
Figure BDA0002976166140000094
以及其中
Figure BDA0002976166140000095
是t时刻从交通红绿灯控制设备i获取的状态，而
Figure BDA0002976166140000096
是所决策的t时刻用于交通红绿灯控制设备i的动作，用于生成提供给交通红绿灯控制设备i的控制信息
Figure BDA0002976166140000097
作为举例，
Figure BDA0002976166140000098
p(At|θ,st)代表云计算强化学习算法根据状态St生成动作At的概率，作为动作决策函数。θ代表训练得到的云计算强化学习算法的参数集合，p(At|θ，st)表示在参数集合θ与状态St的情况下，以概率p(At|θ，st)做出动作At。
根据动作At，得到提供给各交通红绿灯控制设备i的控制信息
Figure BDA0002976166140000099
可选地，控制信息
Figure BDA00029761661400000910
还包括来自车辆的信息(记为CD)。
根据本申请的实施例，还对云计算强化学习算法进行训练，以更新其参数集合θ的一个或多个参数。
用训练样本对云计算强化学习算法进行训练。将用于一个训练回合(Episode)的训练样本记为((S1,A1,R2),(S2,A2，R3),…，(St，At，Rt+1)，…，(ST-1，ActionT-1，RT))，其中包括T-1个训练周期，每个训练周期的训练数据记为(St,At,Rt+1)，其中St代表t时刻获取的状态，At代表t时刻所决策的动作，而Rt+1代表在t+1时刻(t时刻的下一周期)所获得的奖励，T为正整数。每个训练的周期对应例如交通信号灯的一个绿灯周期或由一个红灯周期与一个绿灯周期组成的周期。
在一个训练回合(Episode)中，根据多个或每个训练周期的训练数据(St,At,Rt+1)，更新参数集合θ的一个或多个参数。例如，根据
Figure BDA00029761661400000911
来更新参数集合θ的一个或多个参数，其中
Figure BDA00029761661400000912
代表θ的微分。
以及使用多个训练样本，在多个训练回合(Episode)中进行训练。可选地，从训练样本集合中，随机选择多个训练样本进行训练。
云计算强化学习算法中，根据例如
Figure BDA00029761661400000913
计算t时刻的奖励，其中
Figure BDA00029761661400000914
是t时刻从各交通红绿灯控制设备i获得的奖励。可选地，云计算强化学习算法中还根据来自车辆的信息(CD)计算奖励，例如
Figure BDA00029761661400000915
其中β是反应一种或多个来自车辆的信息(CD)的重要程度的超参数。
可选地，云计算平台在工作过程中，进行在线的学习。例如，每当响应于根据状态St生成了动作At，并且动作At带来了奖励Rt+1，则也根据公式(1)更新参数集合θ。
根据本申请的实施例，云计算平台的云计算强化学习算法在t时刻生成了动作At，并根据动作At向同其耦合的各个交通红绿灯控制设备提供控制信息
Figure BDA00029761661400000916
而各交通红绿灯控制设备通过运行雾计算强化学习算法则根据云计算平台提供的控制信息
Figure BDA00029761661400000917
以及通过各交通红绿灯控制设备自身获得的其所在路口的交通状况，获得用于雾计算强化学习算法的t时刻状态
Figure BDA0002976166140000101
其中i代表第i个交通红绿灯控制设备。
作为举例，
Figure BDA0002976166140000102
其中
Figure BDA0002976166140000103
是t时刻云计算平台向其(第i个交通红绿灯控制设备)提供的控制信息，
Figure BDA0002976166140000104
是t时刻车辆通过第i个交通红绿灯控制设备所在路口所需的停车次数(可以理解地，t时刻也代表了t时刻之前的一次红绿灯周期)，
Figure BDA0002976166140000105
是第i个交通红绿灯控制设备所在路口的车辆排队长度。可选地，
Figure BDA0002976166140000106
还包括t时刻第i个交通红绿灯控制设备所在路口正在等待通过的车辆个数。
Figure BDA0002976166140000107
由例如第i个交通红绿灯控制设备的融合感知单元提供。
可选地，
Figure BDA0002976166140000108
其中
Figure BDA0002976166140000109
是t时刻云计算平台向第i个交通红绿灯控制设备提供的来自车辆的信息。
根据本申请实施例，雾计算强化学习算法在t时刻根据获取的状态
Figure BDA00029761661400001010
依据其动作决策函数选择相应的动作
Figure BDA00029761661400001011
动作
Figure BDA00029761661400001012
用于控制第i个交通红绿灯控制设备的交通红绿灯驱动电路。
Figure BDA00029761661400001013
代表第i个交通红绿灯控制设备运行的雾计算强化学习算法根据状态
Figure BDA00029761661400001014
生成动作
Figure BDA00029761661400001015
的概率，作为动作决策函数。θfog_i代表训练得到的雾计算强化学习算法的参数集合,
Figure BDA00029761661400001016
表示在参数集合θfog_i与状态
Figure BDA00029761661400001017
的情况下，以概率
Figure BDA00029761661400001018
做出动作
Figure BDA00029761661400001019
可以理解的，根据本申请的实施例，各个交通红绿灯控制设备各自的雾计算强化学习算法可以相同或不同，从而各交通红绿灯控制设备的状态
Figure BDA00029761661400001020
θfog_i和/或动作
Figure BDA00029761661400001021
可以相同或不同。例如，一个交通红绿灯控制设备运行的雾计算强化学习算法，其状态
Figure BDA00029761661400001022
而另一个交通红绿灯控制设备运行的雾计算强化学习算法的状态
Figure BDA00029761661400001023
从而便于不同版本的交通红绿灯控制设备接入根据本申请实施例的交通红绿灯控制系统。
可选地，第i个交通红绿灯控制设备运行的雾计算强化学习算法，根据t时刻做出的动作
Figure BDA00029761661400001024
还生成提供提供给邻近该第i个交通红绿灯控制设备的车辆的信息
Figure BDA00029761661400001025
作为举例，
Figure BDA00029761661400001026
各交通红绿灯控制设备运行的雾计算强化学习算法，还从其所在路口获得动作
Figure BDA00029761661400001027
所产生的奖励
Figure BDA00029761661400001028
作为举例，
Figure BDA00029761661400001029
其中是α与β是超参数。各交通红绿灯控制得到的奖励
Figure BDA00029761661400001030
还提供给云计算平台。
根据本申请的实施例，还对雾计算强化学习算法进行训练，以更新其参数集合θfog_i的一个或多个参数。
用训练样本对雾计算强化学习算法进行训练。将用于雾计算强化学习算法的一个训练回合(Episode)的训练样本记为
Figure BDA00029761661400001031
Figure BDA00029761661400001032
其中包括T-1个训练周期，每个训练周期的训练数据记为
Figure BDA00029761661400001033
其中
Figure BDA00029761661400001034
代表t周期第i个交通红绿灯控制设备获取的状态，
Figure BDA00029761661400001035
代表t周期第i个交通红绿灯控制设备选择所采取动作的策略，基于该策略在t周期基于状态
Figure BDA00029761661400001036
所选择的动作是
Figure BDA00029761661400001037
而
Figure BDA00029761661400001038
代表在t+1周期(t周期的下一周期)第i个交通红绿灯控制设备所获得的奖励，T为正整数。
在一个训练回合(Episode)中，根据多个或每个训练周期的训练数据
Figure BDA00029761661400001039
Figure BDA00029761661400001040
更新第i个交通红绿灯控制设备的参数集合θfog_i的一个或多个参数。例如，根据
Figure BDA00029761661400001041
来更新参数集合θ的一个或多个参数，其中
Figure BDA00029761661400001042
代表θfog_i的微分。
以及使用多个训练样本，在多个训练回合(Episode)中进行训练。可选地，从训练样本集合中，随机选择多个训练样本进行训练。
根据本申请的可选实施例，对交通红绿灯控制系统的云计算强化学习算法与各交通灯控制设备的雾计算强化学习算法独立地训练。
根据本申请的依然可选实施例，对交通红绿灯控制系统的云计算强化学习算法与各交通灯控制设备的雾计算强化学习算法联合地训练。每个训练回合(Episode)的训练样本包括用于各交通灯控制设备的雾计算强化学习算法的样本
Figure BDA0002976166140000111
Figure BDA0002976166140000112
其中N为交通灯控制设备的数量，以及训练样本还包括用于云计算强化学习算法的样本((S1,A1,R2),(S2，A2，R3)，…，(St，At，Rt+1)，…，(ST-1,ActionT-1,RT))。在训练中，将样本施加给云计算平台与各交通红绿灯控制设备，以及还用云计算强化学习算法的输出更新用于各交通红绿灯控制设备的雾计算强化学习算法的样本，以及用各交通红绿灯控制设备的雾计算强化学习算法的输出更新用于云计算强化学习算法的样本。
根据本申请的一种实施例，在交通红绿灯的一个控制周期(也由时刻t表达)，为了根据云计算强化学习算法与雾计算强化学习算法进行协同的控制，首先，一个或多个交通红绿灯控制设备通过其融合感知单元获取其所在路口的交通状况，包括例如
Figure BDA0002976166140000113
和/或
Figure BDA0002976166140000114
并将这些信息发送给云计算平台。云计算平台将t时刻从各节点接收的交通状况(
Figure BDA0002976166140000115
和/或
Figure BDA0002976166140000116
)组合为状态St，并根据云计算强化学习算法生成提供给各交通红绿灯控制设备的控制信息。各交通红绿灯控制设备运行雾计算强化学习算法，将其所在路口的交通状况(
Figure BDA0002976166140000117
和/或
Figure BDA0002976166140000118
)与云计算平台为其提供的控制信息
Figure BDA0002976166140000119
组合为雾计算强化学习所使用的状态
Figure BDA00029761661400001110
根据状态
Figure BDA00029761661400001111
生成动作
Figure BDA00029761661400001112
来控制其所在路口的交通红绿灯。至此，完成了时刻t的云计算强化学习算法与雾计算强化学习算法协同的对交通红绿灯的一个控制周期。以及可以开始交通红绿灯的下一个控制周期。
可选地，各交通红绿灯控制设备还获得动作
Figure BDA00029761661400001113
所产生的奖励
Figure BDA00029761661400001114
并将奖励提供给云计算平台。各交通红绿灯控制设备根据奖励
Figure BDA00029761661400001115
更新其参数集合θfog_i，而云计算平台根据各个交通红绿灯控制设备提供的奖励
Figure BDA00029761661400001116
更新其参数集合θ。
可选地，协同的云计算强化学习算法与雾计算强化学习算法无需同步，从而各算法执行的时刻t不必是相同的时刻t，而是各算法有各自的控制周期。例如，雾计算强化学习算法以其所控制的交通红绿灯的一次信号周期(例如包括一次红灯与一次绿灯)为控制周期，而云计算强化学习算法以例如1分钟的指定时间长度为控制周期。在云计算强化学习算法的控制周期内，获取各交通红绿灯控制设备已经向其提供的最近的状态Sfog_i；而在雾计算强化学习算法的控制周期内，获取云计算平台已经向其提供的最近的控制信息Ci。
依然可选地，协同的云计算强化学习算法与雾计算强化学习算法同步。云计算强化学习算法的每个控制周期开始前，会等待所有的交通红绿灯控制设备向其提供最新的状态Sfog_i，而各交通红绿灯控制设备的控制周期可以不同，例如，以其所控制的交通红绿灯的一次信号周期为控制周期。
虽然当前申请参考的示例被描述，其只是为了解释的目的而不是对本申请的限制，对实施方式的改变，增加和/或删除可以被做出而不脱离本申请的范围。
这些实施方式所涉及的、从上面描述和相关联的附图中呈现的教导获益的领域中的技术人员将认识到这里记载的本申请的很多修改和其他实施方式。因此，应该理解，本申请不限于公开的具体实施方式，旨在将修改和其他实施方式包括在所附权利要求书的范围内。尽管在这里采用了特定的术语，但是仅在一般意义和描述意义上使用它们并且不是为了限制的目的而使用。

Claims (6)

1.一种交通红绿灯控制系统，包括多个交通红绿灯控制设备与云计算平台，所述多个交通红绿灯控制设备耦合到所述云计算平台；
交通红绿灯控制设备包括：毫米波雷达、激光雷达、融合感知单元与AIoT设备；所述毫米波雷达与激光雷达分别耦合所述融合感知单元,所述毫米波雷达与激光雷达各自捕获的图像或信号被提供给所述融合感知单元；
融合感知单元同其所属的交通红绿灯控制设备的AIoT设备耦合，融合感知单元输出的交通状况信息提供给所述AIoT设备；
AIoT设备将其所属交通红绿灯控制设备的融合感知单元输出的交通状况信息的部分或全部提供给所述云计算平台，并从所述云计算平台获取控制信息；
AIoT设备根据其所属交通红绿灯控制设备的融合感知单元提供的交通状况信息与所述云计算平台提供的控制信息控制同交通红绿灯控制设备对应的交通红绿灯；
所述云计算平台从所述多个交通红绿灯控制设备获取多个交通状况信息，根据所述多个交通状况信息作为云计算强化学习算法的状态信息，并根据云计算强化学习算法的状态信息生成多份控制信息并提供给对应的交通红绿灯控制设备之一；
AIoT设备根据其所属交通红绿灯控制设备的融合感知单元提供的交通状况信息与所述云计算平台提供的控制信息生成雾计算强化学习算法的状态信息，根据雾计算强化学习算法的状态信息生成对应的动作来控制同交通红绿灯控制设备对应的交通红绿灯，还从其所属交通红绿灯控制设备的融合感知单元输出的交通状况信息中获取奖励信息，以更新雾计算强化学习算法的一个或多个参数；
并将获取的奖励信息提供给所述云计算平台；
所述云计算平台还获取紧急状况信息，以及将紧急状况信息与从多个交通红绿灯控制设备获取的多个交通状况信息作为云计算强化学习算法的状态信息；所述云计算平台还将所述紧急状况信息提供给多个交通红绿灯控制设备；
AIoT设备根据雾计算强化学习算法的状态信息，还将从所述云计算平台接收的紧急状况信息的部分或全部提供同其耦合的一个或多个车辆；
所述云计算强化学习算法与各交通红绿灯控制设备的雾计算强化学习算法有各自的控制周期，所述云计算强化学习算法与各交通红绿灯控制设备的雾计算强化学习算法各自的控制周期相同或不同；在所述云计算强化学习算法的控制周期内，获取各交通红绿灯控制设备已经向其提供的最近的状态；而在所述雾计算强化学习算法的控制周期内，获取云计算平台已经向其提供的最近的控制信息。
2.根据权利要求1所述的交通红绿灯控制系统，其中
AIoT设备包括交通红绿灯控制单元与交通红绿灯驱动电路；
所述交通红绿灯驱动电路耦合所述交通红绿灯，并驱动所述交通红绿灯的各颜色信号灯的点亮与熄灭；
所述交通红绿灯控制单元同所述交通红绿灯驱动电路耦合，并通过执行雾计算强化学习算法控制所述交通红绿灯驱动电路驱动所述交通红绿灯的各颜色信号灯的点亮与熄灭的时间；
所述云计算平台执行云计算强化学习算法生成提供给交通红绿灯控制设备的控制信息。
3.根据权利要求2所述的交通红绿灯控制系统，其中
交通红绿灯控制设备的融合感知单元输出的交通状况信息包括：交通红绿灯控制设备所处路口的排队长度、车辆通过路口的停车次数和/或车辆通过路口所需时间；
交通红绿灯控制设备的AIoT设备根据其所属交通红绿灯控制设备的融合感知单元提供的排队长度与车辆通过路口的停车次数与所述云计算平台提供的控制信息作为雾计算强化学习算法的参数；
交通红绿灯控制设备的AIoT设备根据其所属交通红绿灯控制设备的融合感知单元提供的车辆通过路口所需时间作为雾计算强化学习算法的奖励信息。
4.根据权利要求3所述的交通红绿灯控制系统，其中
在交通红绿灯的t时刻的控制周期内，第i个交通红绿灯控制设备的融合感知单元获取其所在路口的排队长度
Figure FDA0003609265290000021
与车辆通过路口的停车次数
Figure FDA0003609265290000022
提供给所述云计算平台；所述云计算平台生成t时刻用于云计算强化学习算法的状态信息St，其中
Figure FDA0003609265290000023
其中
Figure FDA0003609265290000024
N为所述交通红绿灯控制系统的交通红绿灯控制设备的数量，i为正整数；所述云计算平台执行云计算强化学习算法根据状态信息St，根据动作决策函数p(At|θ,st)生成t时刻的动作At，其中
Figure FDA0003609265290000025
动作
Figure FDA0003609265290000026
对应云计算平台提供给第i个交通红绿灯控制设备的控制信息
Figure FDA0003609265290000027
其中θ代表云计算强化学习算法的参数集合,p(At|θ,st)表示在参数集合θ与状态St的情况下，以概率p(At|θ,st)做出动作At。
5.根据权利要求4所述的交通红绿灯控制系统，其中
在交通红绿灯的t时刻的控制周期内，
第i个交通红绿灯控制设备的AIoT设备获取云计算平台提供的控制信息
Figure FDA0003609265290000031
生成用于雾计算强化学习算法的状态信息
Figure FDA0003609265290000032
其中
Figure FDA0003609265290000033
还根据状态信息
Figure FDA0003609265290000034
根据动作决策函数
Figure FDA0003609265290000035
生成动作
Figure FDA0003609265290000036
动作
Figure FDA0003609265290000037
用于控制第i个交通红绿灯控制设备的交通红绿灯驱动电路，其中θfog_i代表雾计算强化学习算法的参数集合,
Figure FDA0003609265290000038
表示在参数集合θfog_i与状态
Figure FDA0003609265290000039
的情况下，以概率
Figure FDA00036092652900000310
做出动作
Figure FDA00036092652900000311
6.根据权利要求5所述的交通红绿灯控制系统，其中
第i个交通红绿灯控制设备的AIoT设备还获取动作
Figure FDA00036092652900000312
所产生的奖励
Figure FDA00036092652900000313
并将奖励
Figure FDA00036092652900000314
提供给云计算平台，其中
Figure FDA00036092652900000315
其中是β是超参数；
所述云计算平台根据各个交通红绿灯控制设备提供的奖励
Figure FDA00036092652900000316
生成用于云计算强化学习算法的奖励Rt+1，其中
Figure FDA00036092652900000317
所述云计算平台用奖励Rt+1更新其参数集合θ；
第i个交通红绿灯控制设备的AIoT设备还根据奖励
Figure FDA00036092652900000318
更新其雾计算强化学习算法的参数集合θfog_i。
CN202110274798.9A 2021-03-15 2021-03-15 云计算与雾计算协同强化学习的交通红绿灯控制系统 Active CN113012432B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110274798.9A CN113012432B (zh) 2021-03-15 2021-03-15 云计算与雾计算协同强化学习的交通红绿灯控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110274798.9A CN113012432B (zh) 2021-03-15 2021-03-15 云计算与雾计算协同强化学习的交通红绿灯控制系统

Publications (2)

Publication Number Publication Date
CN113012432A CN113012432A (zh) 2021-06-22
CN113012432B true CN113012432B (zh) 2022-07-08

Family

ID=76406959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110274798.9A Active CN113012432B (zh) 2021-03-15 2021-03-15 云计算与雾计算协同强化学习的交通红绿灯控制系统

Country Status (1)

Country Link
CN (1) CN113012432B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114038214B (zh) * 2021-10-21 2022-05-27 哈尔滨师范大学 一种城市交通信号控制系统
CN114627648B (zh) * 2022-03-16 2023-07-18 中山大学·深圳 一种基于联邦学习的城市交通流诱导方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993968A (zh) * 2019-02-26 2019-07-09 北京工业大学 基于车联网的交通控制系统
EP3609206A1 (en) * 2018-08-09 2020-02-12 Audi Ag Method and backend structure for providing network based computational power to a moving vehicle and a vehicle designed to use the backend structure
WO2020095313A1 (en) * 2018-11-09 2020-05-14 Telefonaktiebolaget Lm Ericsson (Publ) Managing computation load in a fog network
CN111583675A (zh) * 2020-05-14 2020-08-25 吴钢 一种区域路网交通信号灯协调控制系统和方法
CN112071063A (zh) * 2020-09-15 2020-12-11 苏州映赛智能科技有限公司 一种路侧感知系统
CN112258850A (zh) * 2020-10-16 2021-01-22 南京莱斯网信技术研究院有限公司 一种车路协同系统边缘侧多传感器数据融合系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6514166B2 (ja) * 2016-09-16 2019-05-15 ファナック株式会社 ロボットの動作プログラムを学習する機械学習装置，ロボットシステムおよび機械学習方法
JP2020502718A (ja) * 2016-12-19 2020-01-23 スルグリーン・エルエルシー デジタル優先度付与をもつ接続された適応型車両交通管理システム
US11153721B2 (en) * 2018-12-27 2021-10-19 Intel Corporation Sensor network enhancement mechanisms
US11902092B2 (en) * 2019-02-15 2024-02-13 Samsung Electronics Co., Ltd. Systems and methods for latency-aware edge computing
CN112261078B (zh) * 2020-09-11 2022-09-13 山东师范大学 雾计算环境下基于区块链的道路救援隐私保护系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3609206A1 (en) * 2018-08-09 2020-02-12 Audi Ag Method and backend structure for providing network based computational power to a moving vehicle and a vehicle designed to use the backend structure
WO2020095313A1 (en) * 2018-11-09 2020-05-14 Telefonaktiebolaget Lm Ericsson (Publ) Managing computation load in a fog network
CN109993968A (zh) * 2019-02-26 2019-07-09 北京工业大学 基于车联网的交通控制系统
CN111583675A (zh) * 2020-05-14 2020-08-25 吴钢 一种区域路网交通信号灯协调控制系统和方法
CN112071063A (zh) * 2020-09-15 2020-12-11 苏州映赛智能科技有限公司 一种路侧感知系统
CN112258850A (zh) * 2020-10-16 2021-01-22 南京莱斯网信技术研究院有限公司 一种车路协同系统边缘侧多传感器数据融合系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Smart fog based workflow for traffic control networks;Qiang Wu，Jun Shen，Binbin Yong，Jianqing Wu，Fucun Li;《Future Generation Computer Systems》;20190831;第97卷;第825~835页 *

Also Published As

Publication number Publication date
CN113012432A (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN113012432B (zh) 云计算与雾计算协同强化学习的交通红绿灯控制系统
JP7351487B2 (ja) トポロジーマップに基づくインテリジェントナビゲーションの方法及びシステム
KR102328732B1 (ko) 다양한 소스로부터 획득되는 정보의 퓨전을 통해 주변 객체의 모션을 예측함으로써, 사고 위험을 회피하여 안전한 자율 주행을 지원하는 학습 방법, 그리고 이를 이용한 학습 장치, 테스트 방법, 및 테스트 장치
US10229590B2 (en) System and method for improved obstable awareness in using a V2X communications system
CN108983219A (zh) 一种交通场景的图像信息和雷达信息的融合方法及系统
CN109383423A (zh) 使用v2x通信系统提高障碍意识的系统和方法
CN108761474A (zh) 用于具有高处理增益的脉冲重复序列的方法和装置
CN109387857A (zh) 激光雷达系统中的跨网段检测方法和设备
CN110441790A (zh) 激光雷达系统中的方法和装置串扰和多径降噪
CN109144050A (zh) 使用反射延迟传播进行物体表面估计的方法和装置
CN109307869A (zh) 用于增加激光雷达探测器的视场的设备和照明装置
Hossain et al. A UAV-based traffic monitoring system for smart cities
CN109541620A (zh) 激光雷达阵列中帧速率提升的方法和装置
CN109387856A (zh) 用于lidar阵列中的并行采集的方法和设备
Guo et al. Intelligence-sharing vehicular networks with mobile edge computing and spatiotemporal knowledge transfer
DE102022100413A1 (de) Objekterkennung unter verwendung von radar-und-lidar-zusammenführung
Hinz et al. Designing a far-reaching view for highway traffic scenarios with 5G-based intelligent infrastructure
CN116580567A (zh) 基于智能交通灯的道路拥堵原因获取方法、系统及设备
DE102022106463A1 (de) Schätzer für die durch den fahrgast bevorzugte route und alternative zielorte
DE102022105579A1 (de) Graphenerkundung zur regelbuchtrajektorieerzeugung
Kheder et al. Real-time traffic monitoring system using IoT-aided robotics and deep learning techniques
Cui et al. Optimizing Internet of Things-based intelligent transportation system’s information acquisition using deep learning
CN116524745B (zh) 一种云边协同区域交通信号动态配时系统及方法
CN111882864A (zh) 一种城市智慧交通的道路数字标牌控制系统
Lin et al. Construction of Traffic Moving Object Detection System Based on Improved YOLOv5 Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant