CN110766955B - 基于动作预测模型的信号调节方法、装置和计算机设备 - Google Patents
基于动作预测模型的信号调节方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN110766955B CN110766955B CN201910882721.2A CN201910882721A CN110766955B CN 110766955 B CN110766955 B CN 110766955B CN 201910882721 A CN201910882721 A CN 201910882721A CN 110766955 B CN110766955 B CN 110766955B
- Authority
- CN
- China
- Prior art keywords
- network
- intersection
- decision
- prediction model
- signal lamp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/07—Controlling traffic signals
- G08G1/08—Controlling traffic signals according to detected number or speed of vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Abstract
本申请揭示了一种基于动作预测模型的信号调节方法、装置、计算机设备和存储介质，所述方法包括：通过预先部署在指定路口的传感器获取指定路口的状态特征；将所述状态特征输入预设的第一决策网络中进行处理，得到所述第一决策网络输出的预测动作；其中所述第一决策网络是预设的基于强化学习模型的已训练好的信号灯动作预测模型中的一部分，所述信号灯动作预测模型包括顺序连接的所述第一决策网络、多头自注意力网络和评估网络；根据所述预测动作控制所述信号灯。从而不需要考虑路口状态的变迁即可实现多信号灯的关联控制，减少了计算量，提高了效率。
Description
技术领域
本申请涉及到计算机领域，特别是涉及到一种基于动作预测模型的信号调节方法、装置、计算机设备和存储介质。
背景技术
日益增多的车辆带来的一系列问题，尤其是交通拥塞。不仅增加了通行时间，还造成了环境与经济问题。自适应红绿灯控制通过合理的调节红绿灯，能够有效的减少拥堵。现有的多路口信号调节，一般采用的是集中式控制，限制了系统的稳健性和可扩展性。且在处理多个路口时，系统的复杂性会随着路口数量的增加成指数增长，造成维度灾难。同时，这些多路口信号灯自适应控制算法，是基于数学模型来描述路口状态的随机性和动态性。这种依赖于路口状态的变迁而进行信号调节的方法，求解复杂，当路口状态过于复杂时很可能无法及时计算出结果，造成信号调节失败，引起交通混乱。
发明内容
本申请的主要目的为提供一种基于动作预测模型的信号调节方法、装置、计算机设备和存储介质，旨在不需要考虑路口状态的变迁即可实现多信号灯的关联控制，减少了计算量，提高了效率。
为了实现上述发明目的，本申请提出一种基于动作预测模型的信号调节方法，应用于第一智能体，所述信号灯位于指定路口，包括：
通过预先部署在指定路口的传感器获取指定路口的状态特征；
将所述状态特征输入预设的第一决策网络中进行处理，得到所述第一决策网络输出的预测动作；其中所述第一决策网络是预设的基于强化学习模型的已训练好的信号灯动作预测模型中的一部分，所述信号灯动作预测模型包括顺序连接的所述第一决策网络、多头自注意力网络和评估网络；
根据所述预测动作控制所述信号灯。
进一步地，所述传感器为压力传感器，所述压力传感器存在多个，分布于所述指定路口的各个车道的地下或者地面，当所述压力传感器正上方存在车辆时所述压力传感器能够被激活，所述通过预先部署在指定路口的传感器获取指定路口的状态特征的步骤,包括：
获取被激活的压力传感器的位置；
在预设的与所述指定路口相应的地形图中标注所述被激活的压力传感器的位置，从而得到车辆分布图；
从所述车辆分布图中提取所述指定路口的各个车道的车辆分布密度，并将所述车辆分布密度作为所述指定路口的状态特征。
进一步地，所述将所述状态特征输入预设的第一决策网络中进行处理，得到所述第一决策网络输出的预测动作；其中所述第一决策网络是预设的基于强化学习模型的已训练好的信号灯动作预测模型中的一部分，所述信号灯动作预测模型包括顺序连接的所述第一决策网络、多头自注意力网络和评估网络的步骤之前，包括：
构建第一决策网络，所述第一决策网络由并行的具有相同网络结构但网络参数不同的第一预测网络和第一目标网络构成,所述第一目标网络用于输出根据所述第一目标网络的网络参数生成的预测动作；
构建多头自注意力网络，所述多头自注意力网络设置有n个输入层和n个输出层，所述n个输入层用于分别接收第一决策网络的输出、第二决策网络的输出、…、第n决策网络的输出；其中所述第二决策网络、…、第n决策网络是分别应用于第二智能体、…、第n智能体的用于分别预测对应信号灯的动作的网络，其中所述信号灯动作预测模型包括n个智能体；所述n个输出层依次与n个智能体关联，其中第i个输出层用于输出除第i个智能体之外的其他智能体的预测动作对第i个智能体的权重贡献，i为大于等于1且小于等于n的整数；
构建评估网络，所述评估网络由与所述n个智能体依次对应的n个评估子网络构成，每个评估子网络均包括并行的具有相同网络结构但网络参数不同的第二预测网络和第二目标网络，所述评估网络用于输出对交通状况进行评估的期望值；
将所述第一决策网络、所述多头自注意力网络和所述评估网络顺序连接，从而获得所述信号灯动作预测模型。
进一步地，所述将所述第一决策网络、所述多头自注意力网络和所述评估网络顺序连接，从而获得所述信号灯动作预测模型的步骤之后，包括：
获取第一个智能体、第二个智能体、…、第n个智能体在同一历史时间下的历史动作和历史状态；
将所述历史动作和历史状态输入所述多头自注意力网络中进行处理，从而得到由所述多头自注意力网络中的第i个输出层输出的指定权重贡献，所述指定权重贡献指除第i个智能体之外的其他智能体的预测动作对第i个智能体的权重贡献；
将所述指定权重贡献与所述第i个智能体的历史状态共同输入所述评估网络中的第i个评估子网络中，从而得到所述第i个评估子网络输出的期望值；
根据公式：
对n个评估子网络输出的期望值进行均值处理，得到平均期望值，其中Q1、Q2、…、Qn分别为第1个评估子网络、第2个评估子网络、…、第n个评估子网络输出的期望值；
根据预设的网络参数更新规则，利用所述平均期望值，更新所述信号灯动作预测模型的网络参数。
进一步地，所述根据预设的网络参数更新规则，利用所述平均期望值，更新所述信号灯动作预测模型的网络参数的步骤,包括：
以最小化预设的损失函数的形式，并采用反向传递法，更新所述信号灯动作预测模型中的网络参数，其中所述损失函数的公式为：
进一步地，所述通过预先部署在指定路口的传感器获取指定路口的状态特征的步骤之前，包括：
获取当前时间与所述指定路口的图像；
判断所述当前时间是否属于预设的信号灯动作测模型的使用时段；
若所述当前时间属于预设的信号灯动作测模型的使用时段，则分析所述指定路口的图像，从而判断所述指定路口的各车道中是否存在行驶轮悬空的车辆；
若所述指定路口的各车道中不存在行驶轮悬空的车辆，则生成采集状态特征的指令，所述采集状态特征的指令用于指示通过预先部署在指定路口的传感器获取指定路口的状态特征。
进一步地，所述信号灯动作预测模型通过具有指定数据结构的样本数据训练得到的，所述指定数据结构由多个数据块构成，其中，具有同一信号灯相位和同一预测动作的样本数据被存在同一个所述数据块中，所述根据所述预测动作控制所述信号灯的步骤之后，包括：
获取执行所述预测动作之前所述信号灯的指定相位、所述指定路口的第一状态特征；
获取下一次采用所述信号灯动作预测模型进行预测时，所述指定路口的第二状态特征和所述指定路口的各车道排队长度的平方和的负数；
将所述指定相位、所述第一状态特征、所述预测动作、所述第二状态特征和所述指定路口的各车道排队长度的平方和的负数一起存入指定数据块中，其中所述指定数据块为存储具有所述指定相位和所述预测动作的数据块。
本申请提供一种基于动作预测模型的信号调节装置，应用于第一智能体，所述信号灯位于指定路口，包括：
状态特征获取单元，用于通过预先部署在指定路口的传感器获取指定路口的状态特征；
预测动作获取单元，用于将所述状态特征输入预设的第一决策网络中进行处理，得到所述第一决策网络输出的预测动作；其中所述第一决策网络是预设的基于强化学习模型的已训练好的信号灯动作预测模型中的一部分，所述信号灯动作预测模型包括顺序连接的所述第一决策网络、多头自注意力网络和评估网络；
信号调节单元，用于根据所述预测动作控制所述信号灯。
本申请提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请的基于动作预测模型的信号调节方法、装置、计算机设备和存储介质，通过预先部署在指定路口的传感器获取指定路口的状态特征；将所述状态特征输入预设的第一决策网络中进行处理，得到所述第一决策网络输出的预测动作；其中所述第一决策网络是预设的基于强化学习模型的已训练好的信号灯动作预测模型中的一部分，所述信号灯动作预测模型包括顺序连接的所述第一决策网络、多头自注意力网络和评估网络；根据所述预测动作控制所述信号灯。从而不需要考虑路口状态的变迁即可实现多信号灯的关联控制，减少了计算量，提高了效率。
附图说明
图1为本申请一实施例的基于动作预测模型的信号调节方法的流程示意图；
图2为本申请一实施例的基于动作预测模型的信号调节装置的结构示意框图；
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请实施例提供一种基于动作预测模型的信号调节方法，应用于第一智能体，所述信号灯位于指定路口，包括：
S1、通过预先部署在指定路口的传感器获取指定路口的状态特征；
S2、将所述状态特征输入预设的第一决策网络中进行处理，得到所述第一决策网络输出的预测动作；其中所述第一决策网络是预设的基于强化学习模型的已训练好的信号灯动作预测模型中的一部分，所述信号灯动作预测模型包括顺序连接的所述第一决策网络、多头自注意力网络和评估网络；
S3、根据所述预测动作控制所述信号灯。
本申请采用的基于动作预测模型的信号调节方法，仅考虑当前时间下其他路口的信号灯动作、其他路口的状态对指定路口的影响(利用多头自注意力网络引入其他路口信号灯动作对指定路口的权重贡献，从而在训练模型时，能够综合考虑多个路口的交通状态以更新模型的网络参数)，而不需要考虑路口状态的迁移，从而在满足信号调节的基础上，减少了计算量，提高了效率。
如上述步骤S1所述，通过预先部署在指定路口的传感器获取指定路口的状态特征。所述传感器可为任意传感器，例如红外传感器，压力传感器，激光传感器，计时器等等，用于感测指定路口的状态特征。所述状态特征例如为车道车辆数目、车道占用率、车辆位置、车辆速度、排队长度和车辆延时等。进一步地，作为替换，还可以采用采集所述指定路口的图像，并对所述图像进行分析，从而得到所述状态特征的方式获取状态特征。
如上述步骤S2所述，将所述状态特征输入预设的第一决策网络中进行处理，得到所述第一决策网络输出的预测动作；其中所述第一决策网络是预设的基于强化学习模型的已训练好的信号灯动作预测模型中的一部分，所述信号灯动作预测模型包括顺序连接的所述第一决策网络、多头自注意力网络和评估网络。其中本申请的基于强化学习模型的已训练好的信号灯动作预测模型，由顺序连接的所述第一决策网络、多头自注意力网络和评估网络构成。其中所述第一决策网络用于预测指定路口的信号灯的动作。所述动作例如为：是否切换信号灯当前相位，如何切换信号灯相位，若不切换则保持当前相位多少时间等。强化学习模型本质上是一种试错模型，其中所述多头自注意力网络和评估网络即是为了更新模型的网络参数而设置的。其中所述多头自注意力网络用于计算出其他智能体的决策对所述指定路口的权重贡献，从而使多个智能体执行能使多个路口的交通总状况得到改善的行为。进一步地，所述信号灯动作预测模型还包括多个决策网络，所述多个决策网络与预设的多个智能体相对应，用于预测与所述多个智能体所处路口的信号灯的动作。
如上述步骤S3所述，根据所述预测动作控制所述信号灯。由于所述第一决策网络是已训练好的信号灯动作预测模型中的一部分，并且所述信号灯动作预测模型在训练时已经考虑过由多头自注意力网络引进的其他智能体的决策的影响，因此所述预测动作是符合改善多个路口的交通总状况的动作，据此根据所述预测动作控制所述信号灯。
在一个实施方式中，所述传感器为压力传感器，所述压力传感器存在多个，分布于所述指定路口的各个车道的地下或者地面，当所述压力传感器正上方存在车辆时所述压力传感器能够被激活，所述通过预先部署在指定路口的传感器获取指定路口的状态特征的步骤S1,包括：
S101、获取被激活的压力传感器的位置；
S102、在预设的与所述指定路口相应的地形图中标注所述被激活的压力传感器的位置，从而得到车辆分布图；
S103、从所述车辆分布图中提取所述指定路口的各个车道的车辆分布密度，并将所述车辆分布密度作为所述指定路口的状态特征。
如上所述，实现了通过预先部署在指定路口的传感器获取指定路口的状态特征。压力传感器是一种当受到一定的机械力时能够响应(激活)的传感器，本申请通过在指定路口(如各个车道)设置传感器，并设置只有受到与车辆相当的压力时再会被激活的方式(即当正上方存在较小的压力，例如仅存在人体的压力时，传感器不会被激活，只有当正上方存在大于预定阈值的压力时，才判定正上方存在车辆，从而激活传感器)，以感测到车辆的分布，即激活的传感器上存在车辆。从而结合与所述指定路口相应的地形图，可以得到车辆分布图。再从车辆分布图中提取出车辆分布密度，作为状态特征，相较于普通的状态特征，更加准确。
在一个实施方式中，所述将所述状态特征输入预设的第一决策网络中进行处理，得到所述第一决策网络输出的预测动作；其中所述第一决策网络是预设的基于强化学习模型的已训练好的信号灯动作预测模型中的一部分，所述信号灯动作预测模型包括顺序连接的所述第一决策网络、多头自注意力网络和评估网络的步骤S2之前，包括：
S11、构建第一决策网络，所述第一决策网络由并行的具有相同网络结构但网络参数不同的第一预测网络和第一目标网络构成,所述第一目标网络用于输出根据所述第一目标网络的网络参数生成的预测动作；
S12、构建多头自注意力网络，所述多头自注意力网络设置有n个输入层和n个输出层，所述n个输入层用于分别接收第一决策网络的输出、第二决策网络的输出、…、第n决策网络的输出；其中所述第二决策网络、…、第n决策网络是分别应用于第二智能体、…、第n智能体的用于分别预测对应信号灯的动作的网络，其中所述信号灯动作预测模型包括n个智能体；所述n个输出层依次与n个智能体关联，其中第i个输出层用于输出除第i个智能体之外的其他智能体的预测动作对第i个智能体的权重贡献，i为大于等于1且小于等于n的整数；
S13、构建评估网络，所述评估网络由与所述n个智能体依次对应的n个评估子网络构成，每个评估子网络均包括并行的具有相同网络结构但网络参数不同的第二预测网络和第二目标网络，所述评估网络用于输出对交通状况进行评估的期望值；
S14、将所述第一决策网络、所述多头自注意力网络和所述评估网络顺序连接，从而获得所述信号灯动作预测模型。
如上所述，实现了构建所述信号灯动作预测模型。本申请的信号灯动作预测模型共包括了n个智能体、n个决策网络、多头自注意力网络和n个评估子网络，其中n个智能体、n个决策网络和n个评估子网络一一对应。所述多头自注意力网络用于计算除第i个智能体之外的其他智能体的预测动作对第i个智能体的权重贡献，从而使多个智能体互相关联，以使包括多个路口在内的信号灯的关联控制得以实现。
在一个实施方式中，所述将所述第一决策网络、所述多头自注意力网络和所述评估网络顺序连接，从而获得所述信号灯动作预测模型的步骤S14之后，包括：
S141、获取第一个智能体、第二个智能体、…、第n个智能体在同一历史时间下的历史动作和历史状态；
S142、将所述历史动作和历史状态输入所述多头自注意力网络中进行处理，从而得到由所述多头自注意力网络中的第i个输出层输出的指定权重贡献，所述指定权重贡献指除第i个智能体之外的其他智能体的预测动作对第i个智能体的权重贡献；
S143、将所述指定权重贡献与所述第i个智能体的历史状态共同输入所述评估网络中的第i个评估子网络中，从而得到所述第i个评估子网络输出的期望值；
S144、根据公式：
对n个评估子网络输出的期望值进行均值处理，得到平均期望值，其中Q1、Q2、…、Qn分别为第1个评估子网络、第2个评估子网络、…、第n个评估子网络输出的期望值；
S145、根据预设的网络参数更新规则，利用所述平均期望值，更新所述信号灯动作预测模型的网络参数。
如上所述，实现了更新所述信号灯动作预测模型的网络参数。更新所述信号灯动作预测模型的网络参数实际上也是训练所述信号灯动作预测模型的过程。本申请采用第一个智能体、第二个智能体、…、第n个智能体在同一历史时间下的历史动作和历史状态作为训练的样本数据，并采用多头自注意力网络计算出其他智能体对第i个智能体的权重贡献，使得训练时不同智能体的网络参数相互关联，在训练完成后能够得到整体更新且适应于整体交通状态改善的多个智能体的网络。
在一个实施方式中，所述根据预设的网络参数更新规则，利用所述平均期望值，更新所述信号灯动作预测模型的网络参数的步骤S145,包括：
S1451、以最小化预设的损失函数的形式，并采用反向传递法，更新所述信号灯动作预测模型中的网络参数，其中所述损失函数的公式为：
如上所述，实现了以最小化预设的损失函数的形式，并采用反向传递法，更新所述信号灯动作预测模型中的网络参数。其中损失函数中使用的奖励Rt+1为第t+1个决策时刻所有智能体对应的路口的各车道排队长度的平方和的负数，是反应了包括所有智能体对应的路口的交通状况的反馈；所述期望值，是所有智能体对应的评估子网络的平均期望值；但是却考虑了第t个决策时刻所述第i个智能体对应的路口的状态特征，即不需担心路口状态的迁移对所述信号灯动作预测模型的影响，仅通过第t个决策时刻所述第i个智能体对应的路口的状态特征即可实现多信号调节的联动，从而减少了计算量，提高了效率。
在一个实施方式中，所述通过预先部署在指定路口的传感器获取指定路口的状态特征的步骤S1之前，包括：
S01、获取当前时间与所述指定路口的图像；
S02、判断所述当前时间是否属于预设的信号灯动作测模型的使用时段；
S03、若所述当前时间属于预设的信号灯动作测模型的使用时段，则分析所述指定路口的图像，从而判断所述指定路口的各车道中是否存在行驶轮悬空的车辆；
S04、若所述指定路口的各车道中不存在行驶轮悬空的车辆，则生成采集状态特征的指令，所述采集状态特征的指令用于指示通过预先部署在指定路口的传感器获取指定路口的状态特征。
如上所述，实现了生成采集状态特征的指令。其中，本申请的目的在于判断是否为交通繁忙的时段、是否存在车祸现象，来决定是否使用基于强化学习模型的信号调节模型。若当前时间为午夜，则无需使用信号灯动作测模型，若存在车祸导致交通无法疏导，那么同样无需使用信号灯动作测模型。据此通过判断所述当前时间是否属于预设的信号灯动作测模型的使用时段，以及判断所述指定路口的各车道中是否存在行驶轮悬空的车辆以确定是否生成采集状态特征的指令，进而是否使用所述信号调节模型。更进一步地，还可以包括：分析所述信号灯所处路口的图像，从而判断所述路口的各车道中是否存在面积大于预设面积的红颜色区域；若所述路口的各车道存在面积大于预设面积的红颜色区域，则判断所述红颜色区域的形状是否呈不规则形状；若所述红颜色区域的形状呈不规则形状，则认为出现了车祸，判定不符合预设的信号灯动作测模型的使用条件。其中红颜色区域代表了血液区域，由于一般车祸较少出现大面积的血液区域，因此当存在大面积的血液区域时，判定为重大交通事故，从而进一步确定不符合预设的信号灯动作测模型的使用条件。
在一个实施方式中，所述信号灯动作预测模型通过具有指定数据结构的样本数据训练得到的，所述指定数据结构由多个数据块构成，其中，具有同一信号灯相位和同一预测动作的样本数据被存在同一个所述数据块中，所述根据所述预测动作控制所述信号灯的步骤S3之后，包括：
S31、获取执行所述预测动作之前所述信号灯的指定相位、所述指定路口的第一状态特征；
S32、获取下一次采用所述信号灯动作预测模型进行预测时，所述指定路口的第二状态特征和所述指定路口的各车道排队长度的平方和的负数；
S33、将所述指定相位、所述第一状态特征、所述预测动作、所述第二状态特征和所述指定路口的各车道排队长度的平方和的负数一起存入指定数据块中，其中所述指定数据块为存储具有所述指定相位和所述预测动作的数据块。
如上所述，实现了将指定相位、所述第一状态特征、所述预测动作、所述第二状态特征和所述指定路口的各车道排队长度的平方和的负数一起存入指定数据块中。其中所述指定路口的各车道排队长度的平方和的负数即为强化学习模型中的状态对预测动作的奖励。为了防止低频次的相位-决策(即历史动作)被忽视，本申请构建了多个数据块，其中，具有同一信号灯相位和同一预测动作的样本数据被存在同一个所述数据块中。从而在训练时，从不同的数据块中均抽取相同数量的样本数据进行训练，即可使训练得到的信号灯动作预测模型适用于低频次的相位-决策对应的交通状况，从而使所述信号灯动作预测模型更具鲁棒性。
本申请的基于动作预测模型的信号调节方法，通过预先部署在指定路口的传感器获取指定路口的状态特征；将所述状态特征输入预设的第一决策网络中进行处理，得到所述第一决策网络输出的预测动作；其中所述第一决策网络是预设的基于强化学习模型的已训练好的信号灯动作预测模型中的一部分，所述信号灯动作预测模型包括顺序连接的所述第一决策网络、多头自注意力网络和评估网络；根据所述预测动作控制所述信号灯。从而不需要考虑路口状态的变迁即可实现多信号灯的关联控制，减少了计算量，提高了效率。
参照图2，本申请实施例提供一种基于动作预测模型的信号调节装置，包括：
状态特征获取单元10，用于通过预先部署在指定路口的传感器获取指定路口的状态特征；
预测动作获取单元20，用于将所述状态特征输入预设的第一决策网络中进行处理，得到所述第一决策网络输出的预测动作；其中所述第一决策网络是预设的基于强化学习模型的已训练好的信号灯动作预测模型中的一部分，所述信号灯动作预测模型包括顺序连接的所述第一决策网络、多头自注意力网络和评估网络；
信号调节单元30，用于根据所述预测动作控制所述信号灯。
其中上述单元分别用于执行的操作与前述实施方式的基于动作预测模型的信号调节方法的步骤一一对应,在此不再赘述。
在一个实施方式中，所述传感器为压力传感器，所述压力传感器存在多个，分布于所述指定路口的各个车道的地下或者地面，当所述压力传感器正上方存在车辆时所述压力传感器能够被激活，所述状态特征获取单元10,包括：
位置获取子单元，用于获取被激活的压力传感器的位置；
位置标注子单元，用于在预设的与所述指定路口相应的地形图中标注所述被激活的压力传感器的位置，从而得到车辆分布图；
状态特征获取子单元，用于从所述车辆分布图中提取所述指定路口的各个车道的车辆分布密度，并将所述车辆分布密度作为所述指定路口的状态特征。
其中上述子单元分别用于执行的操作与前述实施方式的基于动作预测模型的信号调节方法的步骤一一对应,在此不再赘述。
在一个实施方式中，所述装置，包括：
第一决策网络构建单元，用于构建第一决策网络，所述第一决策网络由并行的具有相同网络结构但网络参数不同的第一预测网络和第一目标网络构成,所述第一目标网络用于输出根据所述第一目标网络的网络参数生成的预测动作；
多头自注意力网络构建单元，用于构建多头自注意力网络，所述多头自注意力网络设置有n个输入层和n个输出层，所述n个输入层用于分别接收第一决策网络的输出、第二决策网络的输出、…、第n决策网络的输出；其中所述第二决策网络、…、第n决策网络是分别应用于第二智能体、…、第n智能体的用于分别预测对应信号灯的动作的网络，其中所述信号灯动作预测模型包括n个智能体；所述n个输出层依次与n个智能体关联，其中第i个输出层用于输出除第i个智能体之外的其他智能体的预测动作对第i个智能体的权重贡献，i为大于等于1且小于等于n的整数；
评估网络构建单元，用于构建评估网络，所述评估网络由与所述n个智能体依次对应的n个评估子网络构成，每个评估子网络均包括并行的具有相同网络结构但网络参数不同的第二预测网络和第二目标网络，所述评估网络用于输出对交通状况进行评估的期望值；
动作预测模型获取单元，用于将所述第一决策网络、所述多头自注意力网络和所述评估网络顺序连接，从而获得所述信号灯动作预测模型。
其中上述单元分别用于执行的操作与前述实施方式的基于动作预测模型的信号调节方法的步骤一一对应,在此不再赘述。
在一个实施方式中，所述装置，包括：
历史动作和历史状态获取单元，用于获取第一个智能体、第二个智能体、…、第n个智能体在同一历史时间下的历史动作和历史状态；
指定权重贡献获取单元，用于将所述历史动作和历史状态输入所述多头自注意力网络中进行处理，从而得到由所述多头自注意力网络中的第i个输出层输出的指定权重贡献，所述指定权重贡献指除第i个智能体之外的其他智能体的预测动作对第i个智能体的权重贡献；
期望值获取单元，用于将所述指定权重贡献与所述第i个智能体的历史状态共同输入所述评估网络中的第i个评估子网络中，从而得到所述第i个评估子网络输出的期望值；
平均期望值获取单元，用于根据公式：
对n个评估子网络输出的期望值进行均值处理，得到平均期望值，其中Q1、Q2、…、Qn分别为第1个评估子网络、第2个评估子网络、…、第n个评估子网络输出的期望值；
网络参数更新单元，用于根据预设的网络参数更新规则，利用所述平均期望值，更新所述信号灯动作预测模型的网络参数。
其中上述单元分别用于执行的操作与前述实施方式的基于动作预测模型的信号调节方法的步骤一一对应,在此不再赘述。
在一个实施方式中，所述网络参数更新单元,包括：
网络参数更新子单元，用于以最小化预设的损失函数的形式，并采用反向传递法，更新所述信号灯动作预测模型中的网络参数，其中所述损失函数的公式为：
其中上述子单元分别用于执行的操作与前述实施方式的基于动作预测模型的信号调节方法的步骤一一对应,在此不再赘述。
在一个实施方式中，所述装置，包括：
时间与图像获取单元，用于获取当前时间与所述指定路口的图像；
使用时段判断单元，用于判断所述当前时间是否属于预设的信号灯动作测模型的使用时段；
车辆判断单元，用于若所述当前时间属于预设的信号灯动作测模型的使用时段，则分析所述指定路口的图像，从而判断所述指定路口的各车道中是否存在行驶轮悬空的车辆；
指令生成单元，用于若所述指定路口的各车道中不存在行驶轮悬空的车辆，则生成采集状态特征的指令，所述采集状态特征的指令用于指示通过预先部署在指定路口的传感器获取指定路口的状态特征。
其中上述单元分别用于执行的操作与前述实施方式的基于动作预测模型的信号调节方法的步骤一一对应,在此不再赘述。
在一个实施方式中，所述信号灯动作预测模型通过具有指定数据结构的样本数据训练得到的，所述指定数据结构由多个数据块构成，其中，具有同一信号灯相位和同一预测动作的样本数据被存在同一个所述数据块中，所述装置，包括：
第一状态特征获取单元，用于获取执行所述预测动作之前所述信号灯的指定相位、所述指定路口的第一状态特征；
第二状态特征获取单元，用于获取下一次采用所述信号灯动作预测模型进行预测时，所述指定路口的第二状态特征和所述指定路口的各车道排队长度的平方和的负数；
指定数据块存储单元，用于将所述指定相位、所述第一状态特征、所述预测动作、所述第二状态特征和所述指定路口的各车道排队长度的平方和的负数一起存入指定数据块中，其中所述指定数据块为存储具有所述指定相位和所述预测动作的数据块。
其中上述单元分别用于执行的操作与前述实施方式的基于动作预测模型的信号调节方法的步骤一一对应,在此不再赘述。
本申请的基于动作预测模型的信号调节装置，通过预先部署在指定路口的传感器获取指定路口的状态特征；将所述状态特征输入预设的第一决策网络中进行处理，得到所述第一决策网络输出的预测动作；其中所述第一决策网络是预设的基于强化学习模型的已训练好的信号灯动作预测模型中的一部分，所述信号灯动作预测模型包括顺序连接的所述第一决策网络、多头自注意力网络和评估网络；根据所述预测动作控制所述信号灯。从而不需要考虑路口状态的变迁即可实现多信号灯的关联控制，减少了计算量，提高了效率。
参照图3，本发明实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于动作预测模型的信号调节方法所用数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于动作预测模型的信号调节方法。
上述处理器执行上述基于动作预测模型的信号调节方法，其中所述方法包括的步骤分别与执行前述实施方式的基于动作预测模型的信号调节方法的步骤一一对应,在此不再赘述。
本领域技术人员可以理解，图中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请的计算机设备，通过预先部署在指定路口的传感器获取指定路口的状态特征；将所述状态特征输入预设的第一决策网络中进行处理，得到所述第一决策网络输出的预测动作；其中所述第一决策网络是预设的基于强化学习模型的已训练好的信号灯动作预测模型中的一部分，所述信号灯动作预测模型包括顺序连接的所述第一决策网络、多头自注意力网络和评估网络；根据所述预测动作控制所述信号灯。从而不需要考虑路口状态的变迁即可实现多信号灯的关联控制，减少了计算量，提高了效率。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现基于动作预测模型的信号调节方法，其中所述方法包括的步骤分别与执行前述实施方式的基于动作预测模型的信号调节方法的步骤一一对应,在此不再赘述。
本申请的计算机可读存储介质，通过预先部署在指定路口的传感器获取指定路口的状态特征；将所述状态特征输入预设的第一决策网络中进行处理，得到所述第一决策网络输出的预测动作；其中所述第一决策网络是预设的基于强化学习模型的已训练好的信号灯动作预测模型中的一部分，所述信号灯动作预测模型包括顺序连接的所述第一决策网络、多头自注意力网络和评估网络；根据所述预测动作控制所述信号灯。从而不需要考虑路口状态的变迁即可实现多信号灯的关联控制，减少了计算量，提高了效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (9)
1.一种基于动作预测模型的信号调节方法，其特征在于，应用于第一智能体，所述信号灯位于指定路口，包括：
获取当前时间与所述指定路口的图像；
判断所述当前时间是否属于预设的信号灯动作测模型的使用时段；
若所述当前时间属于预设的信号灯动作测模型的使用时段，则分析所述指定路口的图像，从而判断所述指定路口的各车道中是否存在行驶轮悬空的车辆；
若所述指定路口的各车道中不存在行驶轮悬空的车辆，则生成采集状态特征的指令，所述采集状态特征的指令用于指示通过预先部署在指定路口的传感器获取指定路口的状态特征；
通过预先部署在指定路口的传感器获取指定路口的状态特征；
将所述状态特征输入预设的第一决策网络中进行处理，得到所述第一决策网络输出的预测动作；其中所述第一决策网络是预设的基于强化学习模型的已训练好的信号灯动作预测模型中的一部分，所述信号灯动作预测模型包括顺序连接的所述第一决策网络、多头自注意力网络和评估网络；
根据所述预测动作控制所述信号灯。
2.根据权利要求1所述的基于动作预测模型的信号调节方法，其特征在于，所述传感器为压力传感器，所述压力传感器存在多个，分布于所述指定路口的各个车道的地下或者地面，当所述压力传感器正上方存在车辆时所述压力传感器能够被激活，所述通过预先部署在指定路口的传感器获取指定路口的状态特征的步骤,包括：
获取被激活的压力传感器的位置；
在预设的与所述指定路口相应的地形图中标注所述被激活的压力传感器的位置，从而得到车辆分布图；
从所述车辆分布图中提取所述指定路口的各个车道的车辆分布密度，并将所述车辆分布密度作为所述指定路口的状态特征。
3.根据权利要求1所述的基于动作预测模型的信号调节方法，其特征在于，所述将所述状态特征输入预设的第一决策网络中进行处理，得到所述第一决策网络输出的预测动作；其中所述第一决策网络是预设的基于强化学习模型的已训练好的信号灯动作预测模型中的一部分，所述信号灯动作预测模型包括顺序连接的所述第一决策网络、多头自注意力网络和评估网络的步骤之前，包括：
构建第一决策网络，所述第一决策网络由并行的具有相同网络结构但网络参数不同的第一预测网络和第一目标网络构成,所述第一目标网络用于输出根据所述第一目标网络的网络参数生成的预测动作；
构建多头自注意力网络，所述多头自注意力网络设置有n个输入层和n个输出层，所述n个输入层用于分别接收第一决策网络的输出、第二决策网络的输出、…、第n决策网络的输出；其中所述第二决策网络、…、第n决策网络是分别应用于第二智能体、…、第n智能体的用于分别预测对应信号灯的动作的网络，其中所述信号灯动作预测模型包括n个智能体；所述n个输出层依次与n个智能体关联，其中第i个输出层用于输出除第i个智能体之外的其他智能体的预测动作对第i个智能体的权重贡献，i为大于等于1且小于等于n的整数；
构建评估网络，所述评估网络由与所述n个智能体依次对应的n个评估子网络构成，每个评估子网络均包括并行的具有相同网络结构但网络参数不同的第二预测网络和第二目标网络，所述评估网络用于输出对交通状况进行评估的期望值；
将所述第一决策网络、所述多头自注意力网络和所述评估网络顺序连接，从而获得所述信号灯动作预测模型。
4.根据权利要求3所述的基于动作预测模型的信号调节方法，其特征在于，所述将所述第一决策网络、所述多头自注意力网络和所述评估网络顺序连接，从而获得所述信号灯动作预测模型的步骤之后，包括：
获取第一个智能体、第二个智能体、…、第n个智能体在同一历史时间下的历史动作和历史状态；
将所述历史动作和历史状态输入所述多头自注意力网络中进行处理，从而得到由所述多头自注意力网络中的第i个输出层输出的指定权重贡献，所述指定权重贡献指除第i个智能体之外的其他智能体的预测动作对第i个智能体的权重贡献；
将所述指定权重贡献与所述第i个智能体的历史状态共同输入所述评估网络中的第i个评估子网络中，从而得到所述第i个评估子网络输出的期望值；
根据公式：
对n个评估子网络输出的期望值进行均值处理，得到平均期望值，其中Q1、Q2、…、Qn分别为第1个评估子网络、第2个评估子网络、…、第n个评估子网络输出的期望值；
根据预设的网络参数更新规则，利用所述平均期望值，更新所述信号灯动作预测模型的网络参数。
5.根据权利要求4所述的基于动作预测模型的信号调节方法，其特征在于，所述根据预设的网络参数更新规则，利用所述平均期望值，更新所述信号灯动作预测模型的网络参数的步骤,包括：
以最小化预设的损失函数的形式，并采用反向传递法，更新所述信号灯动作预测模型中的网络参数，其中所述损失函数的公式为：
6.根据权利要求1所述的基于动作预测模型的信号调节方法，其特征在于，所述信号灯动作预测模型通过具有指定数据结构的样本数据训练得到的，所述指定数据结构由多个数据块构成，其中，具有同一信号灯相位和同一预测动作的样本数据被存在同一个所述数据块中，所述根据所述预测动作控制所述信号灯的步骤之后，包括：
获取执行所述预测动作之前所述信号灯的指定相位、所述指定路口的第一状态特征；
获取下一次采用所述信号灯动作预测模型进行预测时，所述指定路口的第二状态特征和所述指定路口的各车道排队长度的平方和的负数；
将所述指定相位、所述第一状态特征、所述预测动作、所述第二状态特征和所述指定路口的各车道排队长度的平方和的负数一起存入指定数据块中，其中所述指定数据块为存储具有所述指定相位和所述预测动作的数据块。
7.一种基于动作预测模型的信号调节装置，其特征在于，应用于第一智能体，所述信号灯位于指定路口，包括：
时间与图像获取单元，用于获取当前时间与所述指定路口的图像；
使用时段判断单元，用于判断所述当前时间是否属于预设的信号灯动作测模型的使用时段；
车辆判断单元，用于若所述当前时间属于预设的信号灯动作测模型的使用时段，则分析所述指定路口的图像，从而判断所述指定路口的各车道中是否存在行驶轮悬空的车辆；
指令生成单元，用于若所述指定路口的各车道中不存在行驶轮悬空的车辆，则生成采集状态特征的指令，所述采集状态特征的指令用于指示通过预先部署在指定路口的传感器获取指定路口的状态特征；
状态特征获取单元，用于通过预先部署在指定路口的传感器获取指定路口的状态特征；
预测动作获取单元，用于将所述状态特征输入预设的第一决策网络中进行处理，得到所述第一决策网络输出的预测动作；其中所述第一决策网络是预设的基于强化学习模型的已训练好的信号灯动作预测模型中的一部分，所述信号灯动作预测模型包括顺序连接的所述第一决策网络、多头自注意力网络和评估网络；
信号调节单元，用于根据所述预测动作控制所述信号灯。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910882721.2A CN110766955B (zh) | 2019-09-18 | 2019-09-18 | 基于动作预测模型的信号调节方法、装置和计算机设备 |
| PCT/CN2020/098797 WO2021051930A1 (zh) | 2019-09-18 | 2020-06-29 | 基于动作预测模型的信号调节方法、装置和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910882721.2A CN110766955B (zh) | 2019-09-18 | 2019-09-18 | 基于动作预测模型的信号调节方法、装置和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110766955A CN110766955A (zh) | 2020-02-07 |
| CN110766955B true CN110766955B (zh) | 2022-08-26 |
Family
ID=69330058
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910882721.2A Active CN110766955B (zh) | 2019-09-18 | 2019-09-18 | 基于动作预测模型的信号调节方法、装置和计算机设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110766955B (zh) |
| WO (1) | WO2021051930A1 (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110766955B (zh) * | 2019-09-18 | 2022-08-26 | 平安科技（深圳）有限公司 | 基于动作预测模型的信号调节方法、装置和计算机设备 |
| CN111260937B (zh) * | 2020-02-24 | 2021-09-14 | 武汉大学深圳研究院 | 一种基于强化学习的十字路口交通信号灯控制方法 |
| CN112216129B (zh) * | 2020-10-13 | 2021-07-27 | 大连海事大学 | 一种基于多智能体强化学习的自适应交通信号控制方法 |
| CN113299078B (zh) * | 2021-03-29 | 2022-04-08 | 东南大学 | 一种基于多智能体协作的多模式交通干线信号协调控制方法及装置 |
| CN113505444B (zh) * | 2021-09-09 | 2021-12-07 | 中国电子科技集团公司第二十八研究所 | 基于自注意力的多维度轨迹预测方法、装置 |
| CN114495506B (zh) * | 2022-02-23 | 2023-07-28 | 复旦大学 | 基于车流预测和强化学习的多路口信号灯控制系统及方法 |
| CN115514614B (zh) * | 2022-11-15 | 2023-02-24 | 阿里云计算有限公司 | 基于强化学习的云网络异常检测模型训练方法及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109948165A (zh) * | 2019-04-24 | 2019-06-28 | 吉林大学 | 基于混合注意力网络的细粒度情感极性预测方法 |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102005046045A1 (de) * | 2005-09-27 | 2007-03-29 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Steuerung mindestens eines Objektdetektionssensors |
| DE102008022349A1 (de) * | 2008-05-02 | 2009-11-12 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Verfahren und Vorrichtung zur Ermittlung von Rückstaulängen an Lichtsignalanlagen |
| CN103413428A (zh) * | 2013-06-27 | 2013-11-27 | 北京交通大学 | 基于传感器网络的道路交通信息可信度空间特性表示方法 |
| CN103500508B (zh) * | 2013-10-12 | 2016-05-11 | 大连联达科技有限公司 | 一种智能交通系统 |
| CN104464310B (zh) * | 2014-12-02 | 2016-10-19 | 上海交通大学 | 城市区域多交叉口信号协同优化控制方法及系统 |
| KR20160087713A (ko) * | 2015-01-14 | 2016-07-22 | 유영근 | 통행차량 검지를 위한 검지영역 설정 방법과 이를 이용한 교통 신호 제어방법. |
| CN105225500B (zh) * | 2015-08-20 | 2018-04-03 | 青岛海信网络科技股份有限公司 | 一种交通控制辅助决策方法及装置 |
| CN105225502A (zh) * | 2015-11-02 | 2016-01-06 | 招商局重庆交通科研设计院有限公司 | 一种基于多智能体的交叉口信号控制方法 |
| CN105774591B (zh) * | 2016-04-07 | 2018-05-08 | 浙江瀚广新能源科技有限公司 | 一种电动车控制方法、装置、系统及电动车 |
| CN106056934B (zh) * | 2016-08-04 | 2018-10-16 | 杭州普乐科技有限公司 | 一种智慧型主动式交通信号控制器的控制方法 |
| CN106971563B (zh) * | 2017-04-01 | 2020-05-19 | 中国科学院深圳先进技术研究院 | 智能交通信号灯控制方法及系统 |
| CN107441709B (zh) * | 2017-06-02 | 2020-11-24 | 华南理工大学 | 基于模糊行为树的游戏智能体动作序列生成方法 |
| CN107134156A (zh) * | 2017-06-16 | 2017-09-05 | 上海集成电路研发中心有限公司 | 一种基于深度学习的智能交通灯系统及其控制交通灯的方法 |
| US10839259B2 (en) * | 2017-10-27 | 2020-11-17 | Google Llc | Attention-based image generation neural networks |
| US11238843B2 (en) * | 2018-02-09 | 2022-02-01 | Baidu Usa Llc | Systems and methods for neural voice cloning with a few samples |
| US10776581B2 (en) * | 2018-02-09 | 2020-09-15 | Salesforce.Com, Inc. | Multitask learning as question answering |
| WO2019165616A1 (zh) * | 2018-02-28 | 2019-09-06 | 华为技术有限公司 | 信号灯控制方法、相关设备及系统 |
| CN108805348B (zh) * | 2018-06-05 | 2020-06-23 | 京东数字科技控股有限公司 | 一种交叉口信号配时控制优化的方法和装置 |
| CN109389828A (zh) * | 2018-10-19 | 2019-02-26 | 深圳市朋辉科技术有限公司 | 一种道路车辆行驶信息的监控系统 |
| CN109493617A (zh) * | 2018-10-29 | 2019-03-19 | 沈阳天久信息技术工程有限公司 | 一种交通信号优化控制方法及装置 |
| CN109919205A (zh) * | 2019-02-25 | 2019-06-21 | 华南理工大学 | 基于多头自注意力机制的卷积回声状态网络时序分类方法 |
| CN110060475B (zh) * | 2019-04-17 | 2021-01-05 | 清华大学 | 一种基于深度强化学习的多交叉口信号灯协同控制方法 |
| CN110032739B (zh) * | 2019-04-18 | 2021-07-13 | 清华大学 | 中文电子病历命名实体抽取方法及系统 |
| CN110246345B (zh) * | 2019-05-31 | 2020-09-29 | 闽南师范大学 | 一种基于HydraCNN的信号灯智能控制方法和系统 |
| CN110222188B (zh) * | 2019-06-18 | 2023-04-18 | 深圳司南数据服务有限公司 | 一种多任务学习的公司公告处理方法及服务端 |
| CN110766955B (zh) * | 2019-09-18 | 2022-08-26 | 平安科技（深圳）有限公司 | 基于动作预测模型的信号调节方法、装置和计算机设备 |
-
2019
- 2019-09-18 CN CN201910882721.2A patent/CN110766955B/zh active Active
-
2020
- 2020-06-29 WO PCT/CN2020/098797 patent/WO2021051930A1/zh active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109948165A (zh) * | 2019-04-24 | 2019-06-28 | 吉林大学 | 基于混合注意力网络的细粒度情感极性预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110766955A (zh) | 2020-02-07 |
| WO2021051930A1 (zh) | 2021-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110766955B (zh) | 基于动作预测模型的信号调节方法、装置和计算机设备 | |
| CN110738860B (zh) | 基于强化学习模型的信息控制方法、装置和计算机设备 | |
| Abdulhai et al. | Reinforcement learning for true adaptive traffic signal control | |
| KR102461831B1 (ko) | 자율주행 차량 군집 운행을 위한 비신호 교차로에서의 강화학습기반 통행 개선을 위한 장치 및 방법 | |
| CN111462507B (zh) | 信号数据处理方法、系统、计算机设备和存储介质 | |
| US11783702B2 (en) | Method and system for adaptive cycle-level traffic signal control | |
| Sahu et al. | Traffic light cycle control using deep reinforcement technique | |
| CN111291984B (zh) | 多无人机分布式边缘任务选择和轨迹设计方法及装置 | |
| US20210150388A1 (en) | Model estimation system, model estimation method, and model estimation program | |
| CN113168570A (zh) | 用于训练用于机动车的控制设备的至少一个算法的方法、计算机程序产品以及机动车 | |
| CN112464577B (zh) | 车辆动力学模型的构建及车辆状态信息预测方法、装置 | |
| WO2020158058A1 (ja) | 演算装置 | |
| CN111915878B (zh) | 道路交通状态的预测方法及装置、计算机设备和存储介质 | |
| WO2010095357A1 (en) | Vehicle motion estimating device,vehicle motion estimating method, and vehicle motion estimating program | |
| Kušić et al. | A comparison of different state representations for reinforcement learning based variable speed limit control | |
| WO2022258943A1 (en) | Traffic control system | |
| CN113534669B (zh) | 基于数据驱动的无人车控制方法、装置和计算机设备 | |
| Grunitzki et al. | Comparing two multiagent reinforcement learning approaches for the traffic assignment problem | |
| US20190382006A1 (en) | Situation-dependent decision-making for vehicles | |
| Jin et al. | A decentralized traffic light control system based on adaptive learning | |
| CN114174935A (zh) | 用于近似计算测试结果的子集的计算机实现的方法和测试单元 | |
| RU2019145038A (ru) | Способы и процессоры для управления рулением беспилотным автомобилем | |
| CN112733452B (zh) | 轨迹预测方法、装置、电子设备和可读存储介质 | |
| WO2021213616A1 (en) | Tactical decision-making through reinforcement learning with uncertainty estimation | |
| DE112021001592T5 (de) | Fahrzeuginterne steuervorrichtung, server und verifikationssystem |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |