CN115083175A - 基于车路协同的信号管控方法、相关装置及程序产品 - Google Patents

基于车路协同的信号管控方法、相关装置及程序产品 Download PDF

Info

Publication number
CN115083175A
CN115083175A CN202210725812.7A CN202210725812A CN115083175A CN 115083175 A CN115083175 A CN 115083175A CN 202210725812 A CN202210725812 A CN 202210725812A CN 115083175 A CN115083175 A CN 115083175A
Authority
CN
China
Prior art keywords
agent
action
executed
intelligent
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210725812.7A
Other languages
English (en)
Other versions
CN115083175B (zh
Inventor
黄际洲
孙一博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210725812.7A priority Critical patent/CN115083175B/zh
Publication of CN115083175A publication Critical patent/CN115083175A/zh
Priority to PCT/CN2022/143075 priority patent/WO2023246066A1/zh
Application granted granted Critical
Publication of CN115083175B publication Critical patent/CN115083175B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • G08G1/08—Controlling traffic signals according to detected number or speed of vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • G08G1/081—Plural intersections under common control
    • G08G1/083—Controlling the allocation of time between phases of a cycle

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供了一种基于车路协同的信号管控方法、相关装置及程序产品，涉及车路协同、智能体、信号管控等技术领域，可应用于智慧交通场景。该方法包括：将管控网络内的交通信号灯、智能车和处于导航模式下的地图应用，分别作为第一智能体、第二智能体和第三智能体，各类型的智能体均预设有与其所属类型对应的应执行动作；获取管控网络内当前的通行状态参数集；基于随机博弈思想和预设的以管控网络内的全部人、全部车辆的总通行时长最少的奖励函数，在各智能体对应的各应执行动作中确定与通行状态参数集对应的目标应执行动作；将各智能体的目标应执行动作下发给相应的各智能体。应用该方案可以使管控网络内各对象的总通行时长最短。

Description

基于车路协同的信号管控方法、相关装置及程序产品
技术领域
本公开涉及数据处理技术领域，具体涉及车路协同、智能体、信号管控等技术领域，可应用于智慧交通场景，尤其涉及一种基于车路协同的信号管控方法、装置、电子设备、计算机可读存储介质及计算机程序产品。
背景技术
交通拥堵是一个日益严重的问题，它继续困扰着城市地区，给出行的公众和整个社会带来负面影响。
随着越来越多的人涌向城市地区，这些负面影响只会随着时间的推移而增加。缓解拥堵将带来巨大的经济、环境和社会效益。交叉路口的信号灯控制效果差是导致城市交通拥堵最常见的问题之一，因此交通信号控制在城市交通管理中起着至关重要的作用。
发明内容
本公开实施例提出了一种基于车路协同的信号管控方法、装置、电子设备、计算机可读存储介质及计算机程序产品。
第一方面，本公开实施例提出了一种基于车路协同的信号管控方法，包括：将管控网络内的交通信号灯、智能车和处于导航模式下的地图应用，分别作为第一智能体、第二智能体和第三智能体，各类型的智能体均预设有与其所属类型对应的应执行动作，各类型的应执行动作均用于降低总通行时长；获取管控网络内当前的通行状态参数集；基于随机博弈思想和预设的奖励函数，在各智能体对应的各应执行动作中确定与通行状态参数集对应的目标应执行动作，奖励函数为：管控网络内的全部人、全部车辆的总通行时长最少；将各智能体的目标应执行动作下发给相应的各智能体，以使各智能体执行接收到的目标应执行动作。
第二方面，本公开实施例提出了一种基于车路协同的信号管控装置，包括：智能体封装单元，被配置成将管控网络内的交通信号灯、智能车和处于导航模式下的地图应用，分别作为第一智能体、第二智能体和第三智能体，各类型的智能体均预设有与其所属类型对应的应执行动作，各类型的应执行动作均用于降低总通行时长；通行状态参数集获取单元，被配置成获取管控网络内当前的通行状态参数集；目标应执行动作确定单元，被配置成基于随机博弈思想和预设的奖励函数，在各智能体对应的各应执行动作中确定与通行状态参数集对应的目标应执行动作，奖励函数为：管控网络内的全部人、全部车辆的总通行时长最少；目标应执行动作下发单元，被配置成将各智能体的目标应执行动作下发给相应的各智能体，以使各智能体执行接收到的目标应执行动作。
第三方面，本公开实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现如第一方面中任一实现方式描述的基于车路协同的信号管控方法。
第四方面，本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行时能够实现如第一方面中任一实现方式描述的基于车路协同的信号管控方法。
第五方面，本公开实施例提供了一种包括计算机程序的计算机程序产品，该计算机程序在被处理器执行时能够实现如第一方面中任一实现方式描述的基于车路协同的信号管控方法。
本公开提供的基于车路协同的信号管控的方案，在当前已经能够通过高速通信网络获取车、路各方足够信息的前提下，旨在利用随机博弈思想，通过在将智能车、路口信号灯、处于导航模式下的地图应用作为不同智能体，并以设计的科学合理的奖励函数来指导确定每个智能体在当前通行状态下最优的应执行动作，进而使每个智能体通过执行目标应执行动作来共同使得总通行时间最短。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：
图1是本公开可以应用于其中的示例性系统架构；
图2为本公开实施例提供的一种基于车路协同的信号管控方法的流程图；
图3为本公开实施例提供的另一种基于车路协同的信号管控方法的流程图；
图4为本公开实施例提供的一种确定目标应执行动作的方法的流程图；
图5为本公开实施例提供的一种基于车路协同的信号管控装置的结构框图；
图6为本公开实施例提供的一种适用于执行基于车路协同的信号管控方法的电子设备的结构示意图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
图1示出了可以应用本公开的基于车路协同的信号管控方法、装置、电子设备及计算机可读存储介质的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括交通信号灯101、智能车102、安装有可以提供导航功能的地图应用的导航设备103，网络104和服务器105。网络104用以在交通信号灯101、智能车102、导航设备103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用交通信号灯101、智能车102、导航设备103通过网络104与服务器105交互，以接收或发送消息等。交通信号灯101、智能车102、导航设备103和服务器105上可以安装有各种用于实现两者之间进行信息通讯的应用，例如状态信息传输类应用、交通管控类应用、即时通讯类应用等。
导航设备103可以表现为软件，也可以表现为硬件。当导航设备103为硬件时，可以是具有导航功能的各种电子设备，包括但不限于智能手机、平板电脑、车载终端、膝上型便携计算机和台式计算机等等；当导航设备103为软件时，可以安装在上述所列举的电子设备中，其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。
服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器；服务器为软件时，可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。
服务器105通过内置的各种应用可以提供各种服务，以可以提供交通管控类服务的交通管控类应用为例，服务器105在运行该交通管控类应用时可实现如下效果：首先，将管控网络内的交通信号灯101、智能车102和处于导航模式下的地图应用103，分别作为第一智能体、第二智能体和第三智能体，各类型的智能体均预设有与其所属类型对应的应执行动作，各类型的应执行动作均用于降低总通行时长；然后，获取该管控网络内当前的通行状态参数集；接下来，基于随机博弈思想和预设的奖励函数，在各智能体对应的各应执行动作中确定与通行状态参数集对应的目标应执行动作，该奖励函数为：管控网络内的全部人、全部车辆的总通行时长最少；最后，将各智能体的目标应执行动作下发给相应的各智能体，以使各智能体执行接收到的目标应执行动作。
由于确定各智能体的目标应执行动作需要占用较多的运算资源和较强的运算能力，因此本公开后续各实施例所提供的基于车路协同的信号管控方法一般由拥有较强运算能力、较多运算资源的服务器105来执行，相应地，基于车路协同的信号管控装置一般也设置于服务器105中。
应该理解，图1中的交通信号灯、智能车、导航设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的交通信号灯、智能车、导航设备。
请参考图2，图2为本公开实施例提供的一种基于车路协同的信号管控方法的流程图，其中流程200包括以下步骤：
步骤201：将管控网络内的交通信号灯、智能车和处于导航模式下的地图应用，分别作为第一智能体、第二智能体和第三智能体；
本步骤旨在由基于车路协同的信号管控方法的执行主体(例如图1所示的服务器105)将管控网络内的所有交通信号灯都视作第一智能体、所有智能车都视作第二智能体、所有处于导航模式下的地图应用都视作第三智能体。管控网络的网络范围可以自行设定，此处不做具体限定。
其中，被视作第三智能体也可以是承载该地图应用的各式终端，例如用于对个人或群体用户进行步行、骑行导航、乘公共交通工具出行导航的智能手机、智能手环、智能眼镜、平板电脑等，也可以是用于对用户进行驾车出行导航的车载智能终端等。
在将上述三类对象视作不同的智能体的同时，还预先为各类型的智能体均设置有与其所属类型对应的应执行动作，且各类型的应执行动作均用于降低管控网络内各对象的总通行时长。以由交通信号灯充当的第一智能体为例，其应执行动作可以是变更交通信号灯的颜色、方向、保持时长等，即通过变更颜色、方向、保持时长来尽量避免交通堵塞、降低通行时长；同理，由智能车充当的第二智能体，其应执行动作可以为：加速、减速、走更合适的路线等；由地图应用充当的第三智能体，其应执行动作可以为：变更路线、变更出行方式、变更出行时间等。
步骤202：获取管控网络内当前的通行状态参数集；
本步骤旨在由上述执行主体获取管控网络内当前的通行状态参数集，该通行状态参数集包括多种不同的通行状态参数，以期通过综合所包含的多种通行状态参数，来更全面、更准确的表征当前的通行状态。
其中，该通行状态参数集包括以下至少一项通行状态参数：
队列长度、等待时长，车流量、车辆延误时间、车辆速度和车辆位置、信号灯当前状态、信号灯当前状态的持续时间。
下述将分别解释上述各项通行状态参数的具体含义：
a)队列长度：车道排队长度是车道上等待的车辆总数，车辆的“等待”状态即可以是速度小于一定值的车辆也可以是位置不移动的车辆；
b)等待时长：车辆的等待时长即为车辆处于“等待”状态的时长，等待时长的开始时间即可以从车辆移动的最后一个时间戳开始算起，也可以从车辆进入道路网的时间开始算起；
c)车流量：车道交通量定义为车道上的车辆数量，等于车道上排队车辆和移动车辆的总和；
d)车辆延误时间：车辆延误时间为车辆在环境中行驶的时间减去预期行驶时间；
e)车辆速度和车辆位置；
f)信号灯当前状态以及该状态持续时间。
可以看出，上述各项通行状态参数都能够从不同角度、不同维度表征管控网络内的通行状态，当然，除上述列举出的这几项，还存在更多可以表征通行状态的其它参数，可根据实际情况自行选择，此处不做具体限定。
对应的，上述通行状态参数集中的各项通行参数可通过下述信息源收集得到：
a)固定检测器(Fixed Sensors)：路口摄像头、车流量探测器等；
b)V2X(Vehicle To Everything，车对外界的信息交换)：无人/智能车上的各类传感器，普通机动车上的地图应用或授权的行车记录仪；
c)历史交通信息：保存在数据库的历史以观测到的各类交通信息；
d)预测交通信息：根据历史交通信息和实时交通信息，用模型预测出的未来某时刻交通信息；
e)路网数据：记录全部道路信息，包含每条道路的基本属性(如车道数等)，和不同道路的连接信息；
f)官方的交通管制、事故信息，以及用户自行上报的信息。
通过上述信息源，可以收集到的状态参数所涉及的目标及其具体属性可以包括：
a)机动车辆：轨迹，实时位置，速度，加速度，排量，动力；
b)行人&非机动车：轨迹，实时位置，速度，加速度；
c)道路交叉口：排队长度，某车、人未来到达时间；
d)道路：车流量，交通管制&事故信息。
步骤203：基于随机博弈思想和预设的奖励函数，在各智能体对应的各应执行动作中确定与通行状态参数集对应的目标应执行动作；
在步骤201和步骤202的基础上，本步骤旨在由上述执行主体基于随机博弈思想和预设的奖励函数，在各智能体对应的各应执行动作中确定与通行状态参数集对应的目标应执行动作，该奖励函数为：管控网络内的全部人、全部车辆的总通行时长最少。
换句话说，本步骤就是由上述执行主体在随机博弈思想和预设的奖励函数的指导下，确定在通行状态参数集表征的通行状态下，各智能体执行哪些应执行动作才能够使网络内的所有对象的总通行时长最少，从而将这些应执行动作确定为目标应执行动作。即每个智能体的目标应执行动作为该智能体在当前的通行状态下能够使网络内所有对象的总通行时长最少的优选应执行动作。
在博弈论中，随机博弈是一种包含一个或多个参与者进行的具有状态概率转移的动态博弈过程。随机博弈由多个博弈阶段组成。在每一个阶段的开始，博弈处在某个特定状态下。参与者选择自身的策略并获得相应的由当前状态和策略决定的报酬。然后博弈按照概率的分布和参与者策略随机转移到下一个阶段。在新的状态阶段，重复上一次的策略选择过程，然后博弈继续进行。参与者在随机博弈中获得的全部报酬一般用各个阶段报酬的贴现值来计算，或者用各个阶段报酬平均值的下限来计算。
智能体，顾名思义，就是具有智能的实体，英文名是Agent。以云为基础，以AI为核心，构建一个立体感知、全域协同、精准判断、持续进化、开放的智能系统。传统的计算系统是封闭的，要满足一致性的要求，然而社会机制是开放的，不能满足一致性条件，这种机制下的部分个体在矛盾的情况下，需要通过某种协商机制达成一个可接受的解。Minsky将计算社会中的这种个体称为智能体。这些个体的有机组合则构成计算社会—多智能体系统。由以上定义可知，智能体具有下列基本特性：
(1)自治性(Autonomy):智能体能根据外界环境的变化，而自动地对自己的行为和状态进行调整，而不是仅仅被动地接受外界的刺激，具有自我管理自我调节的能力；(2)反应性(Reactive):能对外界的刺激作出反应的能力；(3)主动性(Proactive):对于外界环境的改变，智能体能主动采取活动的能力；(4)社会性(Social):智能体具有与其它智能体或人进行合作的能力，不同的智能体可根据各自的意图与其它智能体进行交互，以达到解决问题的目的；(5)进化性:智能体能积累或学习经验和知识，并修改自己的行为以适应新环境。
本公开正是借助上述随机博弈思想和智能体思想，在车路协同领域下的交通信号管控方面，将多个不同的交通管控对象看作不同的智能体，然后再利用随机博弈思想确定在多个智能体存在相互行为的交互系统下，以合理的奖励函数确定与通行状态对应的智能体动作。
步骤204：将各智能体的目标应执行动作下发给相应的各智能体，以使各智能体执行接收到的目标应执行动作。
在步骤203的基础上，本步骤旨在由上述执行主体将各智能体的目标应执行动作下发给相应的各智能体，以使得各智能体按接收到的目标应执行动作执行相应的动作，进而使管控内所有对象的总通行时长尽可能的最短。
其中，由交通信号灯充当的第一智能体和由智能车充当的第二智能体，通常可以完全执行接收到的目标应执行动作，而由地图应用充当的第三智能体，往往只能够给所持相应导航终端的用户给出建议，并无法强制要求其按照目标应执行动作来执行，为提升按指示执行的比例，还可以增加相应的说明。
本公开实施例提供的基于车路协同的信号管控方法，在当前已经能够通过高速通信网络获取车、路各方足够信息的前提下，旨在利用随机博弈思想，通过在将智能车、路口信号灯、处于导航模式下的地图应用作为不同智能体，并以设计的科学合理的奖励函数来指导确定每个智能体在当前通行状态下最优的应执行动作，进而使每个智能体通过执行目标应执行动作来共同使得总通行时间最短。
请参考图3，图3为本公开实施例提供的另一种基于车路协同的信号管控方法的流程图，其中流程300包括以下步骤：
步骤301：将管控网络内的交通信号灯、智能车和处于导航模式下的地图应用，分别作为第一智能体、第二智能体和第三智能体；
步骤302：将在第一预设时刻变换信号灯的状态，设置为由交通信号灯充当的第一智能体的应执行动作；
其中，信号灯的状态包括：信号灯的颜色和/或指示方向，即在信号灯拥有固定的指示方向的情况下，信号灯只能通过变更每个指示方向的颜色(通常情况下，红色代表禁止通行、绿色代表允许通行、黄色代表慢速通行)来变更自身的状态；而在信号灯未拥有固定的指示方向的情况下，信号灯可以通过直接变更指示方向的来变更自身的状态，也可以同时变更颜色和指示方向来变更自身的状态。
一个具体的例子可以为：在12:00将设置在路口A的交通信号灯X的指示前方通行的红灯调整为绿灯。
步骤303：将在第二预设时刻的行驶参数，设置为由智能车充当的第二智能体的应执行动作；
其中，智能车的行驶参数包括：行驶速度和行驶方向。行驶速度的变更可以通过与当前速度的比较确定需要加速还是减速，而行驶方向则代表是否需要调整原有行驶路线以及对路线进行车道级的微调。
一个具体的例子可以为：在12:02将行驶速度调整为40km/h、行驶方向保持不变，假定在原有行驶速度为95km/h的情况下，可以看出该调整指示实际上是减速指令。
步骤304：将在第三预设时刻变更原定导航线路至新导航线路，设置为由地图应用充当的第三智能体的应执行动作；
其中，新导航新路为在当前的通行状态参数集所表征的通行状态下能够使总通行时长更短的导航线路，例如变更至备选的另一条堵塞程度较轻的导航线路、变更至备选的另一种出行方式的导航线路，各候选导航线路可以通过遍历当前位置和终点之间的各线路的堵塞程度来确定。
一个具体的例子可以为：在12:03将原定由路段Y1→Y3→Y7→Y5构成的旧导航线路调整为由路段Y1→Y3→Y4→Y5构成的新导航线路，以通过使用堵塞程度较轻的Y4替换掉当前堵塞程度较重的Y7来缩短通行时长。
步骤305：获取管控网络内当前的通行状态参数集；
步骤306：基于随机博弈思想和预设的奖励函数，在各智能体对应的各应执行动作中确定与通行状态参数集对应的目标应执行动作；
步骤307：将各智能体的目标应执行动作下发给相应的各智能体，以使各智能体执行接收到的目标应执行动作。
以上步骤301与图2所示的步骤201一致、步骤305-步骤307与图2所示的步骤202-步骤204一致，相同部分内容请参见上一实施例的相应部分，此处不再进行赘述。
在图2所示实施例的基础上，本实施例通过步骤302-步骤304分别为每种智能体均给出了一种具体的应执行动作的设定，以通过具体的应执行动作来更好的解释如何实现降低总通行时长的目的。需要说明的是，步骤302-步骤304分别对三种智能体给出的应执行动作之间，并不因果和依赖关系，并不会因为为一种智能体设定的一种具体的应执行动作而影响到为其它智能体设定的应执行动作的范围，本实施例仅作为一个同时为三种智能体均提供了一种应执行动作的优选实施例存在，完全可以将其拆分为三个实施例。
请参考图4，图4为本公开实施例提供的一种确定目标应执行动作的方法的流程图，即针对图2所示的流程200中的步骤203提供了一种具体的实现方式，流程200中的其它步骤并不做调整，即可以将本实施例所提供的具体实现方式以替换步骤203的方式得到一个新的完整实施例。其中流程400包括以下步骤：
步骤401：根据通行状态参数集中包含的各项通行状态参数，确定通行状态；
本步骤旨在由上述执行主体根据通行状态参数集中包含的各项通行状态参数，以综合各项通行状态所各自表征的通行状态，来确定出一个比较综合的、具有代表性的准确的通行状态。
例如可以在将各种通行状态参数转换为统一量化指标的情况下，通过为不同的通行状态参数按实际情况分配相应的权重参数，以通过加权计算法来计算出综合的通行状态指标。
步骤402：基于随机博弈思想和奖励函数，通过无模型的方式确定与通行状态对应的各智能体的各候选应执行动作的奖励程度；
在步骤401的基础上，本步骤旨在基于随机博弈思想和奖励函数，通过无模型的方式确定与通行状态对应的各智能体的各候选应执行动作的奖励程度。根据所设定的奖励函数可知，能使得管控网络内各管控对象的通行时长变的越短的应执行动作，其奖励程度越高，即通过越高的奖励程度促使确定出能够时通行时长尽可能短的应执行动作。
其中，本公开将多智能体优化看做是一个随机博弈(stochastic game)的过程。随机博弈可以被定义为一个元组Γ＝<S,P,A,R,O,N,γ>，其中：
·N(智能体数量):用i∈I＝{1,...N}区分的N个智能体；
·S(状态),O(观测):在每个时刻t，智能体i根据观测函数S×I→O从真实的环境状态st∈S得到观测
Figure BDA0003710902790000111
·P(状态转移函数),A:智能体i的动作集合Ai被一个阶段的集合所定义。在t时刻，每个智能体会选择一个动作选择动作
Figure BDA0003710902790000112
从而形成一个动作组合at＝a1,…,aN。该动作组合进而会根据状态转移函数将环境状态进行转移。状态转移函数的定义如下：P(st+1|st,at):S×A1×…×AN→Ω(S)，其中Ω(S)代表状态分布的空间；
·R(奖励reward):在随机博弈环境中，一个智能体获得的奖励也会受到其他智能体行为的影响。因此，在时刻t，每个智能i使用如下奖励函数获得奖励
Figure BDA0003710902790000113
Figure BDA0003710902790000114
·γ(折现系数):每个智能体i遵循特定策略πi选择一个动作，目标是最大化其总回报
Figure BDA0003710902790000115
其中折现系数γ∈[0,1]控制即时奖励相对于未来奖励的重要程度。
其中，无模型(model-free)的方式是区别于有模型(model-based)的方式，两者是强化学习下的一对相对的概念，model-based和model-free的区别在于对于环境有无已知模型。基于模型的方法效率更高，因为智能体可以利用环境中的模型信息，动态规划进行求解。但很多情况下，比如游戏或者机器人任务中，并不知道环境是怎样的，只能使用无模型的方法，或者已知模型过于复杂，样本数量太大，使用动态规划无法求解，只能通过对智能体与环境的交互片段进行采样来获取经验进而求解。
步骤403：将使管控网络内的各智能体的奖励程度之和最小的候选应执行动作，确定为与相应智能体的目标应执行动作。
在步骤402的基础上，本步骤旨在由上述执行主体将使管控网络内的各智能体的奖励程度之和最小的候选应执行动作，确定为与相应智能体的目标应执行动作。这是因为管控网络内通常存在大量智能体，单一智能体的通行时长并不是管控目的，而是看管控网络内的多智能体系统的通行时长总和。
本实施例通过步骤401-步骤403，为流程200中的步骤204提供了一种更加具体的实现方式，不仅明确了如何使用通行状态参数集，还明确了采用无模型的方式来训练智能体，最后还明确了将使管控网络内的各智能体的奖励程度之和最小的候选应执行动作确定为与相应智能体的目标应执行动作，使得方案更加明确、有益效果更加明显。
在上述任意实施例的基础上，考虑到本公开所针对的是车路系统下的交通管控场景，各智能体之间存在信息交互，因此需要通过通信学习的方式进行第一智能体、第二智能体和第三智能体之间的强化学习。
进一步参考图5，作为对上述各图所示方法的实现，本公开提供了一种基于车路协同的信号管控装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的基于车路协同的信号管控装置500可以包括：智能体封装单元501、通行状态参数集获取单元502、目标应执行动作确定单元503、目标应执行动作下发单元504。其中，智能体封装单元501，被配置成将管控网络内的交通信号灯、智能车和处于导航模式下的地图应用，分别作为第一智能体、第二智能体和第三智能体，各类型的智能体均预设有与其所属类型对应的应执行动作，各类型的应执行动作均用于降低总通行时长；通行状态参数集获取单元502，被配置成获取管控网络内当前的通行状态参数集；目标应执行动作确定单元503，被配置成基于随机博弈思想和预设的奖励函数，在各智能体对应的各应执行动作中确定与通行状态参数集对应的目标应执行动作，奖励函数为：管控网络内的全部人、全部车辆的总通行时长最少；目标应执行动作下发单元504，被配置成将各智能体的目标应执行动作下发给相应的各智能体，以使各智能体执行接收到的目标应执行动作。
在本实施例中，基于车路协同的信号管控装置500中：智能体封装单元501、通行状态参数集获取单元502、目标应执行动作确定单元503、目标应执行动作下发单元504的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-204的相关说明，在此不再赘述。
在本实施例的一些可选的实现方式中，基于车路协同的信号管控装置500中还可以包括：
第一应执行动作设置单元，被配置成将在第一预设时刻变换信号灯的状态，设置为由交通信号灯充当的第一智能体的应执行动作，状态包括：信号灯的颜色和/或指示方向。
在本实施例的一些可选的实现方式中，基于车路协同的信号管控装置500中还可以包括：
第二应执行动作设置单元，被配置成将在第二预设时刻的行驶参数，设置为由智能车充当的第二智能体的应执行动作，行驶参数包括：行驶速度和行驶方向。
在本实施例的一些可选的实现方式中，基于车路协同的信号管控装置500中还可以包括：
第三应执行动作设置单元，被配置成将在第三预设时刻变更原定导航线路至新导航线路，设置为由地图应用充当的第三智能体的应执行动作，新导航新路为在当前的通行状态参数集所表征的通行状态下能够使总通行时长更短的导航线路。
在本实施例的一些可选的实现方式中，通行状态参数集包括以下至少一项：
队列长度、等待时长，车流量、车辆延误时间、车辆速度和车辆位置、信号灯当前状态、信号灯当前状态的持续时间。
在本实施例的一些可选的实现方式中，第一智能体、第二智能体和第三智能体之间，预先通过通信学习的方式进行多智能体的强化学习。
在本实施例的一些可选的实现方式中，目标应执行动作确定单元503可以被进一步配置成：
根据通行状态参数集中包含的各项通行状态参数，确定通行状态；
基于随机博弈思想和奖励函数，通过无模型的方式确定与通行状态对应的各智能体的各候选应执行动作的奖励程度；
将使管控网络内的各智能体的奖励程度之和最小的候选应执行动作，确定为与相应智能体的目标应执行动作。
本实施例作为对应于上述方法实施例的装置实施例存在，本实施例提供的基于车路协同的信号管控装置，在当前已经能够通过高速通信网络获取车、路各方足够信息的前提下，旨在利用随机博弈思想，通过在将智能车、路口信号灯、处于导航模式下的地图应用作为不同智能体，并以设计的科学合理的奖励函数来指导确定每个智能体在当前通行状态下最优的应执行动作，进而使每个智能体通过执行目标应执行动作来共同使得总通行时间最短。
根据本公开的实施例，本公开还提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现上述任意实施例所描述的基于车路协同的信号管控方法。
根据本公开的实施例，本公开还提供了一种可读存储介质，该可读存储介质存储有计算机指令，该计算机指令用于使计算机执行时能够实现上述任意实施例所描述的基于车路协同的信号管控方法。
根据本公开的实施例，本公开还提供了一种计算机程序产品，该计算机程序在被处理器执行时能够实现上述任意实施例所描述的基于车路协同的信号管控方法的步骤。
图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如基于车路协同的信号管控方法。例如，在一些实施例中，基于车路协同的信号管控方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的基于车路协同的信号管控方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行基于车路协同的信号管控方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(VPS，Virtual Private Server)服务中存在的管理难度大，业务扩展性弱的缺陷。
根据本公开实施例的技术方案，在当前已经能够通过高速通信网络获取车、路各方足够信息的前提下，旨在利用随机博弈思想，通过在将智能车、路口信号灯、处于导航模式下的地图应用作为不同智能体，并以设计的科学合理的奖励函数来指导确定每个智能体在当前通行状态下最优的应执行动作，进而使每个智能体通过执行目标应执行动作来共同使得总通行时间最短。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (17)

1.一种基于车路协同的信号管控方法，包括：
将管控网络内的交通信号灯、智能车和处于导航模式下的地图应用，分别作为第一智能体、第二智能体和第三智能体，各类型的智能体均预设有与其所属类型对应的应执行动作，各类型的应执行动作均用于降低总通行时长；
获取所述管控网络内当前的通行状态参数集；
基于随机博弈思想和预设的奖励函数，在各所述智能体对应的各应执行动作中确定与所述通行状态参数集对应的目标应执行动作，所述奖励函数为：所述管控网络内的全部人、全部车辆的总通行时长最少；
将各所述智能体的目标应执行动作下发给相应的各智能体，以使各所述智能体执行接收到的目标应执行动作。
2.根据权利要求1所述的方法，还包括：
将在第一预设时刻变换信号灯的状态，设置为由所述交通信号灯充当的第一智能体的应执行动作，所述状态包括：信号灯的颜色和/或指示方向。
3.根据权利要求1所述的方法，还包括：
将在第二预设时刻的行驶参数，设置为由所述智能车充当的第二智能体的应执行动作，所述行驶参数包括：行驶速度和行驶方向。
4.根据权利要求1所述的方法，还包括：
将在第三预设时刻变更原定导航线路至新导航线路，设置为由所述地图应用充当的第三智能体的应执行动作，所述新导航新路为在当前的通行状态参数集所表征的通行状态下能够使总通行时长更短的导航线路。
5.根据权利要求1所述的方法，其中，所述通行状态参数集包括以下至少一项：
队列长度、等待时长，车流量、车辆延误时间、车辆速度和车辆位置、信号灯当前状态、所述信号灯当前状态的持续时间。
6.根据权利要求1所述的方法，其中，所述第一智能体、所述第二智能体和所述第三智能体之间，预先通过通信学习的方式进行多智能体的强化学习。
7.根据权利要求1-6任一项所述的方法，其中，所述基于随机博弈思想和预设的奖励函数，在各所述智能体对应的各应执行动作中确定与所述通行状态参数集对应的目标应执行动作，包括：
根据所述通行状态参数集中包含的各项通行状态参数，确定通行状态；
基于所述随机博弈思想和所述奖励函数，通过无模型的方式确定与所述通行状态对应的各所述智能体的各候选应执行动作的奖励程度；
将使所述管控网络内的各所述智能体的奖励程度之和最小的候选应执行动作，确定为与相应智能体的目标应执行动作。
8.一种基于车路协同的信号管控装置，包括：
智能体封装单元，被配置成将管控网络内的交通信号灯、智能车和处于导航模式下的地图应用，分别作为第一智能体、第二智能体和第三智能体，各类型的智能体均预设有与其所属类型对应的应执行动作，各类型的应执行动作均用于降低总通行时长；
通行状态参数集获取单元，被配置成获取所述管控网络内当前的通行状态参数集；
目标应执行动作确定单元，被配置成基于随机博弈思想和预设的奖励函数，在各所述智能体对应的各应执行动作中确定与所述通行状态参数集对应的目标应执行动作，所述奖励函数为：所述管控网络内的全部人、全部车辆的总通行时长最少；
目标应执行动作下发单元，被配置成将各所述智能体的目标应执行动作下发给相应的各智能体，以使各所述智能体执行接收到的目标应执行动作。
9.根据权利要求8所述的装置，还包括：
第一应执行动作设置单元，被配置成将在第一预设时刻变换信号灯的状态，设置为由所述交通信号灯充当的第一智能体的应执行动作，所述状态包括：信号灯的颜色和/或指示方向。
10.根据权利要求8所述的装置，还包括：
第二应执行动作设置单元，被配置成将在第二预设时刻的行驶参数，设置为由所述智能车充当的第二智能体的应执行动作，所述行驶参数包括：行驶速度和行驶方向。
11.根据权利要求8所述的装置，还包括：
第三应执行动作设置单元，被配置成将在第三预设时刻变更原定导航线路至新导航线路，设置为由所述地图应用充当的第三智能体的应执行动作，所述新导航新路为在当前的通行状态参数集所表征的通行状态下能够使总通行时长更短的导航线路。
12.根据权利要求8所述的装置，其中，所述通行状态参数集包括以下至少一项：
队列长度、等待时长，车流量、车辆延误时间、车辆速度和车辆位置、信号灯当前状态、所述信号灯当前状态的持续时间。
13.根据权利要求8所述的装置，其中，所述第一智能体、所述第二智能体和所述第三智能体之间，预先通过通信学习的方式进行多智能体的强化学习。
14.根据权利要求8-13任一项所述的装置，其中，所述目标应执行动作确定单元被进一步配置成：
根据所述通行状态参数集中包含的各项通行状态参数，确定通行状态；
基于所述随机博弈思想和所述奖励函数，通过无模型的方式确定与所述通行状态对应的各所述智能体的各候选应执行动作的奖励程度；
将使所述管控网络内的各所述智能体的奖励程度之和最小的候选应执行动作，确定为与相应智能体的目标应执行动作。
15.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的基于车路协同的信号管控方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的基于车路协同的信号管控方法。
17.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1-7中任一项所述基于车路协同的信号管控方法的步骤。
CN202210725812.7A 2022-06-23 2022-06-23 基于车路协同的信号管控方法、相关装置及程序产品 Active CN115083175B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210725812.7A CN115083175B (zh) 2022-06-23 2022-06-23 基于车路协同的信号管控方法、相关装置及程序产品
PCT/CN2022/143075 WO2023246066A1 (zh) 2022-06-23 2022-12-29 基于车路协同的信号管控方法、相关装置及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210725812.7A CN115083175B (zh) 2022-06-23 2022-06-23 基于车路协同的信号管控方法、相关装置及程序产品

Publications (2)

Publication Number Publication Date
CN115083175A true CN115083175A (zh) 2022-09-20
CN115083175B CN115083175B (zh) 2023-11-03

Family

ID=83255967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210725812.7A Active CN115083175B (zh) 2022-06-23 2022-06-23 基于车路协同的信号管控方法、相关装置及程序产品

Country Status (2)

Country Link
CN (1) CN115083175B (zh)
WO (1) WO2023246066A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023246066A1 (zh) * 2022-06-23 2023-12-28 北京百度网讯科技有限公司 基于车路协同的信号管控方法、相关装置及程序产品

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110619752A (zh) * 2019-06-12 2019-12-27 东南大学 一种基于lte-v2x通信技术的车辆与信号灯协同控制方法及控制系统
US20200033868A1 (en) * 2018-07-27 2020-01-30 GM Global Technology Operations LLC Systems, methods and controllers for an autonomous vehicle that implement autonomous driver agents and driving policy learners for generating and improving policies based on collective driving experiences of the autonomous driver agents
CN112216129A (zh) * 2020-10-13 2021-01-12 大连海事大学 一种基于多智能体强化学习的自适应交通信号控制方法
CN113011323A (zh) * 2021-03-18 2021-06-22 北京百度网讯科技有限公司 通行状态的获取方法、相关装置、路侧设备及云控平台
CN113347254A (zh) * 2021-06-02 2021-09-03 安徽工程大学 基于v2x的智能交通控制车联网系统及其控制方法
CN113380056A (zh) * 2021-06-10 2021-09-10 湖南力唯中天科技发展有限公司 一种智能区域交通协调控制方法
US20220108607A1 (en) * 2020-12-21 2022-04-07 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Method of controlling traffic, electronic device, roadside device, cloud control platform, and storage medium
CN114626836A (zh) * 2022-05-17 2022-06-14 浙江大学 基于多智能体强化学习的急救后送决策系统及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX344434B (es) * 2011-12-16 2016-12-15 Pragmatek Transp Innovations Inc Aprendizaje por refuerzo de agentes multiples para control de señales de transito adaptable, integrado y conectado en red.
EP3751465A1 (en) * 2019-06-14 2020-12-16 Bayerische Motoren Werke Aktiengesellschaft Methods, apparatuses and computer programs for generating a reinforcement learning-based machine-learning model and for generating a control signal for operating a vehicle
CN112700642B (zh) * 2020-12-19 2022-09-23 北京工业大学 一种利用智能网联车辆提高交通通行效率的方法
CN113780624B (zh) * 2021-08-09 2023-08-29 同济大学 一种基于博弈均衡理论的城市路网信号协调控制方法
CN114360266B (zh) * 2021-12-20 2022-12-13 东南大学 一种网联车探测状态感知的交叉口强化学习信号控制方法
CN114120664B (zh) * 2022-01-05 2022-09-20 北京航空航天大学合肥创新研究院(北京航空航天大学合肥研究生院) 一种基于博弈论的混行交通交叉口信号与车辆轨迹协同控制方法
CN115083175B (zh) * 2022-06-23 2023-11-03 北京百度网讯科技有限公司 基于车路协同的信号管控方法、相关装置及程序产品

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200033868A1 (en) * 2018-07-27 2020-01-30 GM Global Technology Operations LLC Systems, methods and controllers for an autonomous vehicle that implement autonomous driver agents and driving policy learners for generating and improving policies based on collective driving experiences of the autonomous driver agents
CN110619752A (zh) * 2019-06-12 2019-12-27 东南大学 一种基于lte-v2x通信技术的车辆与信号灯协同控制方法及控制系统
CN112216129A (zh) * 2020-10-13 2021-01-12 大连海事大学 一种基于多智能体强化学习的自适应交通信号控制方法
US20220108607A1 (en) * 2020-12-21 2022-04-07 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Method of controlling traffic, electronic device, roadside device, cloud control platform, and storage medium
CN113011323A (zh) * 2021-03-18 2021-06-22 北京百度网讯科技有限公司 通行状态的获取方法、相关装置、路侧设备及云控平台
CN113347254A (zh) * 2021-06-02 2021-09-03 安徽工程大学 基于v2x的智能交通控制车联网系统及其控制方法
CN113380056A (zh) * 2021-06-10 2021-09-10 湖南力唯中天科技发展有限公司 一种智能区域交通协调控制方法
CN114626836A (zh) * 2022-05-17 2022-06-14 浙江大学 基于多智能体强化学习的急救后送决策系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023246066A1 (zh) * 2022-06-23 2023-12-28 北京百度网讯科技有限公司 基于车路协同的信号管控方法、相关装置及程序产品

Also Published As

Publication number Publication date
CN115083175B (zh) 2023-11-03
WO2023246066A1 (zh) 2023-12-28

Similar Documents

Publication Publication Date Title
WO2021238303A1 (zh) 运动规划的方法与装置
CN108873905A (zh) 自动驾驶车辆控制方法、自动驾驶车辆及可读存储介质
CN111859291B (zh) 交通事故识别方法、装置、设备和计算机存储介质
JP2022104639A (ja) 車両の車線変更制御方法、機器、記憶媒体及びプログラム
CN113682318B (zh) 车辆行驶控制方法及装置
Kita et al. A game theoretic analysis of merging-giveway interaction: a joint estimation model
US20230136659A1 (en) Method of determining traveling trajectory of vehicle, vehicle, electronic device and storage medium
CN115083175B (zh) 基于车路协同的信号管控方法、相关装置及程序产品
CN114543829A (zh) 模型训练方法、导航轨迹的推荐方法、装置及车辆
CN114355793A (zh) 用于车辆仿真评测的自动驾驶规划模型的训练方法及装置
CN111489568A (zh) 交通信号灯的调控方法、装置及计算机可读存储介质
CN115973179A (zh) 模型训练方法、车辆控制方法、装置、电子设备及车辆
CN115447617A (zh) 一种车辆控制方法、装置、设备及介质
CN115973190A (zh) 自动驾驶车辆的决策方法、装置和电子设备
CN115062202A (zh) 驾驶行为意图及轨迹的预测方法、装置、设备及存储介质
CN114582125A (zh) 道路通行方向的识别的方法、装置、设备及存储介质
CN113344278A (zh) 电量预测方法、装置、设备、存储介质和程序产品
CN114898576B (zh) 交通控制信号的生成方法、目标网络模型的训练方法
CN114970949B (zh) 行驶速度预测方法、装置、电子设备及存储介质
CN112525213B (zh) Eta的预测方法、模型训练方法、装置及存储介质
Liu et al. A simulation study on the traffic delay and fuel consumption of connected and autonomous vehicles in superstreet with platooning, signal optimization, and trajectory planning
EP4102481A1 (en) Method and apparatus for controlling vehicle, device, medium, and program product
CN116263853A (zh) Eta预测、训练、展示方法及装置
CN116189417A (zh) 交通灯场景的路况识别方法、装置、电子设备及存储介质
CN116740962A (zh) 交通灯控制方法、无人车导航方法、模型训练方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant