CN110299008A - 一种基于强化学习的交通流多步预测方法 - Google Patents
一种基于强化学习的交通流多步预测方法 Download PDFInfo
- Publication number
- CN110299008A CN110299008A CN201910653135.0A CN201910653135A CN110299008A CN 110299008 A CN110299008 A CN 110299008A CN 201910653135 A CN201910653135 A CN 201910653135A CN 110299008 A CN110299008 A CN 110299008A
- Authority
- CN
- China
- Prior art keywords
- data
- traffic flow
- model
- intensified learning
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013277 forecasting method Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 6
- 230000003993 interaction Effects 0.000 claims abstract description 5
- 238000010606 normalization Methods 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims abstract description 5
- 230000000694 effects Effects 0.000 claims abstract description 4
- 238000005498 polishing Methods 0.000 claims abstract description 4
- 210000002569 neuron Anatomy 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 239000000203 mixture Substances 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 241001269238 Data Species 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 3
- 238000005303 weighing Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims 1
- 238000002474 experimental method Methods 0.000 abstract 1
- 239000010410 layer Substances 0.000 description 17
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
- G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Marketing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Primary Health Care (AREA)
- Educational Administration (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及一种基于强化学习的交通流多步预测方法，包括以下步骤：首先对原始交通数据进行筛选和统计，得到特定路段的速度数据以及该路段两端交叉口的流量数据。紧接着对这些数据进行预处理，包括补齐缺失数据、处理错误数据和数据归一化；然后建立基于DDPG结构的交通流多步预测模型，确定模型中强化学习三要素在交通流多步预测任务下的对应内容，确定交通流多步预测任务中智能体与环境的交互内容。最后，使用预处理好的数据训练所建立的交通流多步预测模型，并调整模型中的参数以获得最优的交通流多步预测效果。实验结果验证了模型在交通流多步预测任务上的有效性，并为使用强化学习解决多步预测任务提供新的思路和方法。
Description
技术领域
本发明涉及智慧交通领域，尤其涉及一种基于强化学习的交通流多步预测方法。
背景技术
在社会稳定、经济发展良好的社会环境下，居民平均收入水平逐年提高，车辆保有量也不断增长。这造成了机动车数量相对于现有道路交通承载能力已经达到饱和，由此产生了各类交通问题。通过对城市道路扩建的这一解决方案也面临着土地有限、经济制约等实际问题。针对上述现象，研究者开始研究对现有交通系统进行管理和控制的方法，从而促进了智能交通系统理论和应用的发展。
对交通流的准确预测是实现智能交通系统的关键技术之一，其可以为主动型交通控制策略的制定，路径规划等上层功能提供相应服务。而对交通流进行多步预测可以提供更超前的、包含交通流变化趋势的预测服务，可为上述功能的实施提供更多选择。多步预测任务的难点在于当前步的预测结果会参与到后续步的预测过程中，因此对于当前步产生的预测结果不仅需要考虑其在当前步产生的误差，还需要考虑其对后续步预测结果的影响。针对多步预测任务中存在的这个问题，我们使用强化学习中以累计回报为目标函数的思想将多步预测任务中每一步的误差之和作为目标函数从而刻画多步预测结果之间的关联性，以达到对交通流多步预测结果的整体优化。
交通流多步预测在近几年来作为交通流预测的一个重要分支受到研究者们的关注。多数研究结果依赖于对已有的交通流预测模型或者算法进行改进，使模型或算法具有对多步预测结果间关联性的分析能力，从而优化整体的预测结果。Luis等人基于自适应卡尔曼滤波理论提出了一种交通流多步预测方法，该方法在完成交通流多步预测任务的前提下，兼顾了计算精度与计算负荷的要求。Li L.等人使用深度信念网络建立预测模型，应用多目标粒子群优化算法来优化深度信念网络中的参数，使修改后的模型具有多步预测的能力，并且获得了较为准确的预测结果。Guo J.等提出了基于自相关性分析GRU神经网络模型，完成了短期交通流的多步预测，该方法解决了此前多步预测低精度的问题。这些研究为我们解决交通流多步预测任务提供了很好的见解和思路。
发明内容
本发明为克服上述的不足之处，目的在于提供一种基于强化学习的交通流多步预测方法，本发明以多步预测任务中每一步的误差之和作为强化学习模型中的累计回报，使得智能体在执行当前步的预测动作时不仅考虑该预测动作所产生的误差，还考虑做出当前预测动作从而进入下一个状态后，智能体在未来步中的预测动作所产生的误差。通过该设计刻画了多步预测任务中预测结果之间的关联性，解决了多步预测问题的难点；本发明还对真实交通数据进行处理并使用处理后的数据对模型进行训练和优化。
本发明是通过以下技术方案达到上述目的：一种基于强化学习的交通流多步预测方法，包括如下步骤：
(1)对原始交通数据的筛选与统计，得到特定路段的速度数据以及该路段两端交叉口的流量数据；并对数据进行预处理，包括补齐缺失数据、处理错误数据和数据归一化；
(2)利用强化学习中的DDPG结构建立基于强化学习的交通流多步预测模型，将强化学习中三要素映射到交通流多步预测任务中，并确定该模型中智能体与环境在交通流多步预测任务中的交互内容；其中三要素为状态、动作、回报；
(3)基于预处理好的数据训练所建立得到的交通流多步预测模型，调整模型中的参数以获得最优的交通流多步预测效果。
作为优选，在所述步骤(1)中，对原始交通数据进行筛选与统计，得到指定路段的以5分钟为周期的平均速度数据，并筛选得到该路段两端交叉口以5分钟为周期的流量数据。
作为优选，在所述步骤(1)中，利用交通流的时间相关性，对缺失数据进行处理，采用平均值法修补缺失数据，修补公式如下式所示：
其中，x(t)是需要补全的缺失数据，k是相邻数据总数。
作为优选，在所述步骤(1)中，利用深度学习中用于防止模型过拟合的正则化方法来处理错误数据，通过在训练的目标函数中加入L1惩罚项来降低神经网络模型的复杂程度，从而自动地降低其对噪声数据的关心程度。
作为优选，在所述步骤(1)中，对数据进行归一化处理的公式如下式所示：
其中，min(x)是历史数据中的最小值，max(x)是历史数据中的最大值；通过线性归一化后可以使数据较为均匀地分布在[0,1]之间。
作为优选，所述建立的基于强化学习的交通流多步预测模型中，定义交通流的时序数据x1,x2,...,xn为智能体所观察的状态s，其中n是观察状态的窗口大小，n越大，智能体一次性观察的数据越多；定义智能体对下一时刻交通流的预测为智能体输出的动作a；定义交通流的预测值与其真实值y误差平方的相反数为智能体从环境中得到的回报r，回报r表明预测误差越大，智能体所获得的回报越小：
多步预测任务中所对应的累计回报的计算式如下：
其中，γ∈[0,1]是未来回报的折扣率，用于权衡当前回报和长远回报的关系，取值越大，越注重长远回报，反之则越注重当前回报；当所得累计回报期望最大时，就是多步预测整体误差期望的最小值。
作为优选，所述在所述步骤(3)中，对交通流多步预测模型中的诸多可调参数进行调优以获得最优的预测模型，其中参数包括网络结构参数和学习算法参数，通过学习获得的最终优化参数为：actor学习速率为1e-5；critic学习速率为1e-4；target网络更新速率为1e-3；每批学习数据数目为100；智能体记忆大小为10000；贝尔曼公式参数为0.85；智能体中的神经网络模型采用卷积神经网络模型，网络共有五层‘第一层是8个1×3的卷积核，第二层是8个3×3，第三层是64个神经元组成的全连接层，第四层是32个神经元组成的全连接层，第五层是网络的输出层，包含三个神经元。
本发明的有益效果在于：本发明通过该设计刻画了多步预测任务中预测结果之间的关联性，解决了多步预测问题的难点；本发明还对真实交通数据进行处理并使用处理后的数据对模型进行训练和优化。
附图说明
图1是本发明的方法流程示意图；
图2是本发明的智能体与环境交互结构图；
图3是本发明的智能体训练流程图。
具体实施方式
下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：
实施例：如图1所示，一种基于强化学习的交通流多步预测方法包括如下步骤：
(1)对原始交通数据进行筛选和统计，得到特定路段的速度数据以及该路段两端交叉口的流量数据。并对这些数据进行预处理，包括补齐缺失数据、处理错误数据和数据归一化。
在本实施例中，对原始交通数据进行筛选和统计，得到指定路段的以5分钟为周期的平均速度数据，并筛选得到该路段两端交叉口以5分钟为周期的流量数据。为了提高数据的利用率，我们利用交通流的时间相关性，对缺失数据进行处理，采用平均值法修补缺失数据，修补公式如下所示：
其中，x(t)是需要补全的缺失数据，k是相邻数据总数。
为了提高数据正确率，提高最终预测精度，我们利用深度学习中用于防止模型过拟合的正则化方法来处理错误数据，通过在训练的目标函数中加入L1惩罚项来降低神经网络模型的复杂程度，从而自动地降低其对噪声数据的关心程度。
为了避免数据与神经网络参数之间产生数值差太大异，从而导致不同层间学习速率差异明显，我们对数据进行归一化处理，归一化公式如下所示：
其中min(x)是历史数据中的最小值，max(x)是历史数据中的最大值。通过线性归一化后可以使数据较为均匀地分布在[0,1]之间。
(2)利用强化学习中的DDPG结构来建立基于强化学习的交通流多步预测模型，将强化学习中三要素：状态(state)，动作(action)，回报(reward)映射到交通流多步预测任务中，并确定该模型中智能体与环境在交通流多步预测任务中的交互内容。
本发明建立的基于强化学习的交通流多步预测模型中，定义交通流的时序数据x1,x2,...,xn为智能体所观察的状态s，其中n是观察状态的窗口大小，n越大，智能体一次性观察的数据越多。定义智能体对下一时刻交通流的预测为智能体输出的动作a。定义交通流的预测值与其真实值y误差平方的相反数为智能体从环境中得到的回报r：
式子表明预测误差越大，智能体所获得的回报越小。
多步预测任务中所对应的累计回报的计算式如下：
式中γ∈[0,1]是未来回报的折扣率，用于权衡当前回报和长远回报的关系，取值越大，越注重长远回报，反之则越注重当前回报。智能体最终学习的目标就是学到一个最优策略，使得其采取的动作所能够得到的累计回报的期望最大，也就是多步预测的整体误差期望最小。
交通流多步预测模型中，智能体与环境的交互过程如图2所示，这里的预测模型采用强化学习中的DDPG结构。智能体中的表演者为z，它实现对环境状态的观察，即一个窗口的交通流时序数据x1,x2,...,xn，并将其作为自身神经网络的输入，随后由神经网络学习得到结果作为表演者的动作输出这个输出就是其对下一个时刻交通流的预测值，这样表演者就完成了预测的第一步。而后，由于是进行多步预测，表演者在第二步中无法观察到环境的真实状态，所以将第一步的预测结果加入到第一步所观察到的环境状态x1,x2,...,xn中，构成第二步所观察到的环境状态同样将其作为自身神经网络的输入，计算得到一个预测结果接下来的每一步预测，表演者所观察的状态都像第一步和第二步那样轮番迭代，直到完成多步预测。
对于智能体中的评论家而言，它的任务是记录表演者与环境的每一次互动到记忆池中，包括观察到的环境状态，如x1,x2,...,xn；表演者的动作，如环境反馈的回报信号，如：r1；环境受动作影响进入的下一个环境状态，如：随后对记忆池进行采样，获得一批数据，并通过这些数据按照下式对神经网络的参数进行更新。
在评论家完成更新后，表演者按照下式进行更新神经网络参数，从而调整自身策略，使其输出的预测动作在评论家网络中得到的累计误差最小。
在多次预测和更新之后，表演者与评论家将网络中的参数复制到副本网络中。
(3)本发明使用处理好的数据训练所建立的交通流多步预测模型，调整模型中的参数以获得最优的交通流多步预测效果。
本实施例中，对浙江省杭州市萧山区2017年7月1日至2017年7月31日的真实路面数据进行处理，将其分为训练集和测试集，按照图3的流程对模型进行训练。本发明对模型中的诸多可调参数进行调优以获得最优的预测模型，这些参数可分为网络结构参数和学习算法参数两大类。最终确定的学习算法参数如下表1所示：
表1
智能体中的神经网络模型采用卷积神经网络模型，网络共有五层。第一层是8个1×3的卷积核，第二层是8个3×3，第三层是64个神经元组成的全连接层，第四层是32个神经元组成的全连接层，第五层是网络的输出层，包含三个神经元。由于交通数据没有图像数据所拥有的缩放特性，所以没有使用卷积神经网络模型中的池化层。
通过以上步骤，最终建立了一个交通流多步预测模型，并利用该模型对交通流进行多步预测，通过参数调优，优化整体预测。
以上的所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。
Claims (7)
1.一种基于强化学习的交通流多步预测方法，其特征在于，包括如下步骤：
(1)对原始交通数据的筛选与统计，得到特定路段的速度数据以及该路段两端交叉口的流量数据；并对数据进行预处理，包括补齐缺失数据、处理错误数据和数据归一化；
(2)利用强化学习中的DDPG结构建立基于强化学习的交通流多步预测模型，将强化学习中三要素映射到交通流多步预测任务中，并确定该模型中智能体与环境在交通流多步预测任务中的交互内容；其中三要素为状态、动作、回报；
(3)基于预处理好的数据训练所建立得到的交通流多步预测模型，调整模型中的参数以获得最优的交通流多步预测效果。
2.根据权利要求1所述的一种基于强化学习的交通流多步预测方法，其特征在于：在所述步骤(1)中，对原始交通数据进行筛选与统计，得到指定路段的以5分钟为周期的平均速度数据，并筛选得到该路段两端交叉口以5分钟为周期的流量数据。
3.根据权利要求1所述的一种基于强化学习的交通流多步预测方法，其特征在于：在所述步骤(1)中，利用交通流的时间相关性，对缺失数据进行处理，采用平均值法修补缺失数据，修补公式如下式所示：
其中，x(t)是需要补全的缺失数据，k是相邻数据总数。
4.根据权利要求1所述的一种基于强化学习的交通流多步预测方法，其特征在于：在所述步骤(1)中，利用深度学习中用于防止模型过拟合的正则化方法来处理错误数据，通过在训练的目标函数中加入L1惩罚项来降低神经网络模型的复杂程度，从而自动地降低其对噪声数据的关心程度。
5.根据权利要求1所述的一种基于强化学习的交通流多步预测方法，其特征在于：在所述步骤(1)中，对数据进行归一化处理的公式如下式所示：
其中，min(x)是历史数据中的最小值，max(x)是历史数据中的最大值；通过线性归一化后可以使数据较为均匀地分布在[0,1]之间。
6.根据权利要求1所述的一种基于强化学习的交通流多步预测方法，其特征在于：所述建立的基于强化学习的交通流多步预测模型中，定义交通流的时序数据x1,x2,...,xn为智能体所观察的状态s，其中n是观察状态的窗口大小，n越大，智能体一次性观察的数据越多；定义智能体对下一时刻交通流的预测为智能体输出的动作a；定义交通流的预测值与其真实值y误差平方的相反数为智能体从环境中得到的回报r，回报r表明预测误差越大，智能体所获得的回报越小：
多步预测任务中所对应的累计回报的计算式如下：
其中，γ∈[0,1]是未来回报的折扣率，用于权衡当前回报和长远回报的关系，取值越大，越注重长远回报，反之则越注重当前回报；当所得累计回报期望最大时，就是多步预测整体误差期望的最小值。
7.根据权利要求1所述的一种基于强化学习的交通流多步预测方法，其特征在于：所述在所述步骤(3)中，对交通流多步预测模型中的诸多可调参数进行调优以获得最优的预测模型，其中参数包括网络结构参数和学习算法参数，通过学习获得的最终优化参数为：actor学习速率为1e-5；critic学习速率为1e-4；target网络更新速率为1e-3；每批学习数据数目为100；智能体记忆大小为10000；贝尔曼公式参数为0.85；智能体中的神经网络模型采用卷积神经网络模型，网络共有五层‘第一层是8个1×3的卷积核，第二层是8个3×3，第三层是64个神经元组成的全连接层，第四层是32个神经元组成的全连接层，第五层是网络的输出层，包含三个神经元。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910653135.0A CN110299008B (zh) | 2019-07-19 | 2019-07-19 | 一种基于强化学习的交通流多步预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910653135.0A CN110299008B (zh) | 2019-07-19 | 2019-07-19 | 一种基于强化学习的交通流多步预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110299008A true CN110299008A (zh) | 2019-10-01 |
| CN110299008B CN110299008B (zh) | 2020-11-13 |
Family
ID=68031418
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910653135.0A Active CN110299008B (zh) | 2019-07-19 | 2019-07-19 | 一种基于强化学习的交通流多步预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110299008B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110989577A (zh) * | 2019-11-15 | 2020-04-10 | 深圳先进技术研究院 | 自动驾驶决策方法及车辆的自动驾驶装置 |
| CN111445695A (zh) * | 2019-10-16 | 2020-07-24 | 北京航空航天大学 | 一种智能车路系统的运行状况监测方法 |
| CN112216124A (zh) * | 2020-09-17 | 2021-01-12 | 浙江工业大学 | 一种基于深度强化学习的交通信号控制方法 |
| CN112489420A (zh) * | 2020-11-17 | 2021-03-12 | 中国科学院深圳先进技术研究院 | 一种公路交通状态预测方法、系统、终端以及存储介质 |
| CN112562339A (zh) * | 2020-12-09 | 2021-03-26 | 福州大学 | 基于多任务图卷积网络的鲁棒性交通流预测方法 |
| CN114783178A (zh) * | 2022-03-30 | 2022-07-22 | 同济大学 | 一种自适应停车场出口道闸控制方法、装置和存储介质 |
| CN115457782A (zh) * | 2022-09-19 | 2022-12-09 | 吉林大学 | 基于深度强化学习的自动驾驶车辆交叉口无冲突合作方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103646008A (zh) * | 2013-12-13 | 2014-03-19 | 东南大学 | 一种Web服务组合方法 |
| US9293038B2 (en) * | 2013-09-09 | 2016-03-22 | International Business Machines Corporation | Traffic control agency deployment and signal optimization for event planning |
| CN108510741A (zh) * | 2018-05-24 | 2018-09-07 | 浙江工业大学 | 一种基于Conv1D-LSTM神经网络结构的交通流预测方法 |
| CN108805348A (zh) * | 2018-06-05 | 2018-11-13 | 北京京东金融科技控股有限公司 | 一种交叉口信号配时控制优化的方法和装置 |
| CN108921343A (zh) * | 2018-06-26 | 2018-11-30 | 浙江工业大学 | 基于堆栈自编码器-支持向量回归的交通流量预测方法 |
| CN108960496A (zh) * | 2018-06-26 | 2018-12-07 | 浙江工业大学 | 一种基于改进学习率的深度学习交通流预测方法 |
| CN109063903A (zh) * | 2018-07-19 | 2018-12-21 | 山东建筑大学 | 一种基于深度强化学习的建筑能耗预测方法及系统 |
| CN109191852A (zh) * | 2018-10-25 | 2019-01-11 | 西北工业大学 | 车-路-云协同的交通流态势预测方法 |
| CN109448402A (zh) * | 2018-12-24 | 2019-03-08 | 成都四方伟业软件股份有限公司 | 匝道控制方法及装置 |
| CN109472984A (zh) * | 2018-12-27 | 2019-03-15 | 苏州科技大学 | 基于深度强化学习的信号灯控制方法、系统和存储介质 |
| CN109733415A (zh) * | 2019-01-08 | 2019-05-10 | 同济大学 | 一种基于深度强化学习的拟人化自动驾驶跟驰模型 |
| CN109768940A (zh) * | 2018-12-12 | 2019-05-17 | 北京邮电大学 | 多业务sdn网络的流量分配方法及装置 |
-
2019
- 2019-07-19 CN CN201910653135.0A patent/CN110299008B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9293038B2 (en) * | 2013-09-09 | 2016-03-22 | International Business Machines Corporation | Traffic control agency deployment and signal optimization for event planning |
| CN103646008A (zh) * | 2013-12-13 | 2014-03-19 | 东南大学 | 一种Web服务组合方法 |
| CN108510741A (zh) * | 2018-05-24 | 2018-09-07 | 浙江工业大学 | 一种基于Conv1D-LSTM神经网络结构的交通流预测方法 |
| CN108805348A (zh) * | 2018-06-05 | 2018-11-13 | 北京京东金融科技控股有限公司 | 一种交叉口信号配时控制优化的方法和装置 |
| CN108921343A (zh) * | 2018-06-26 | 2018-11-30 | 浙江工业大学 | 基于堆栈自编码器-支持向量回归的交通流量预测方法 |
| CN108960496A (zh) * | 2018-06-26 | 2018-12-07 | 浙江工业大学 | 一种基于改进学习率的深度学习交通流预测方法 |
| CN109063903A (zh) * | 2018-07-19 | 2018-12-21 | 山东建筑大学 | 一种基于深度强化学习的建筑能耗预测方法及系统 |
| CN109191852A (zh) * | 2018-10-25 | 2019-01-11 | 西北工业大学 | 车-路-云协同的交通流态势预测方法 |
| CN109768940A (zh) * | 2018-12-12 | 2019-05-17 | 北京邮电大学 | 多业务sdn网络的流量分配方法及装置 |
| CN109448402A (zh) * | 2018-12-24 | 2019-03-08 | 成都四方伟业软件股份有限公司 | 匝道控制方法及装置 |
| CN109472984A (zh) * | 2018-12-27 | 2019-03-15 | 苏州科技大学 | 基于深度强化学习的信号灯控制方法、系统和存储介质 |
| CN109733415A (zh) * | 2019-01-08 | 2019-05-10 | 同济大学 | 一种基于深度强化学习的拟人化自动驾驶跟驰模型 |
Non-Patent Citations (1)
| Title |
|---|
| 任沙浦: "短时交通流智能混合预测技术", 《浙江大学学报（工学版）》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111445695A (zh) * | 2019-10-16 | 2020-07-24 | 北京航空航天大学 | 一种智能车路系统的运行状况监测方法 |
| CN111445695B (zh) * | 2019-10-16 | 2021-09-24 | 北京航空航天大学 | 一种智能车路系统的运行状况监测方法 |
| CN110989577A (zh) * | 2019-11-15 | 2020-04-10 | 深圳先进技术研究院 | 自动驾驶决策方法及车辆的自动驾驶装置 |
| CN112216124A (zh) * | 2020-09-17 | 2021-01-12 | 浙江工业大学 | 一种基于深度强化学习的交通信号控制方法 |
| CN112216124B (zh) * | 2020-09-17 | 2021-07-27 | 浙江工业大学 | 一种基于深度强化学习的交通信号控制方法 |
| CN112489420A (zh) * | 2020-11-17 | 2021-03-12 | 中国科学院深圳先进技术研究院 | 一种公路交通状态预测方法、系统、终端以及存储介质 |
| CN112562339A (zh) * | 2020-12-09 | 2021-03-26 | 福州大学 | 基于多任务图卷积网络的鲁棒性交通流预测方法 |
| CN112562339B (zh) * | 2020-12-09 | 2022-01-04 | 福州大学 | 基于多任务图卷积网络的鲁棒性交通流预测方法 |
| CN114783178A (zh) * | 2022-03-30 | 2022-07-22 | 同济大学 | 一种自适应停车场出口道闸控制方法、装置和存储介质 |
| CN114783178B (zh) * | 2022-03-30 | 2023-08-08 | 同济大学 | 一种自适应停车场出口道闸控制方法、装置和存储介质 |
| CN115457782A (zh) * | 2022-09-19 | 2022-12-09 | 吉林大学 | 基于深度强化学习的自动驾驶车辆交叉口无冲突合作方法 |
| CN115457782B (zh) * | 2022-09-19 | 2023-11-03 | 吉林大学 | 基于深度强化学习的自动驾驶车辆交叉口无冲突合作方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110299008B (zh) | 2020-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110299008A (zh) | 一种基于强化学习的交通流多步预测方法 | |
| CN109492814B (zh) | 一种城市交通流量预测方法、系统及电子设备 | |
| Lu et al. | Review of meta-heuristic algorithms for wind power prediction: Methodologies, applications and challenges | |
| Nikoo et al. | Flood-routing modeling with neural network optimized by social-based algorithm | |
| Ju et al. | Division-based rainfall-runoff simulations with BP neural networks and Xinanjiang model | |
| Hakimi-Asiabar et al. | Deriving operating policies for multi-objective reservoir systems: application of self-learning genetic algorithm | |
| Jothiprakash et al. | Multi-time-step ahead daily and hourly intermittent reservoir inflow prediction by artificial intelligent techniques using lumped and distributed data | |
| Shokri et al. | Algorithm for increasing the speed of evolutionary optimization and its accuracy in multi-objective problems | |
| He et al. | Research on a novel combination system on the basis of deep learning and swarm intelligence optimization algorithm for wind speed forecasting | |
| Bozorg-Haddad et al. | A self-tuning ANN model for simulation and forecasting of surface flows | |
| CN106529818A (zh) | 基于模糊小波神经网络的水质评价预测方法 | |
| CN110009030A (zh) | 基于stacking元学习策略的污水处理故障诊断方法 | |
| CN110458337A (zh) | 一种基于c-gru的网约车供需预测方法 | |
| CN109255469A (zh) | 融合栈式自编码器和支持向量回归的洪水预测方法 | |
| Li et al. | A method of rainfall runoff forecasting based on deep convolution neural networks | |
| Tripura et al. | Simultaneous streamflow forecasting based on hybridized neuro-fuzzy method for a river system | |
| Zhang et al. | A novel hybrid ensemble model for hourly PM2. 5 concentration forecasting | |
| Hoang et al. | A novel time series prediction approach based on a hybridization of least squares support vector regression and swarm intelligence | |
| CN109408896A (zh) | 一种污水厌氧处理产气量多元智能实时监控方法 | |
| Chen et al. | Improved LSTM based on attention mechanism for short-term traffic flow prediction | |
| Wang et al. | An approach of improved dynamic deep belief nets modeling for algae bloom prediction | |
| Ghosh | Comparative study of financial time series prediction by artificial neural network with gradient descent learning | |
| CN115206444A (zh) | 基于fcm-anfis模型的最佳投药量预测方法 | |
| Chang et al. | Developing a prototype satellite-based cyber-physical system for smart wastewater treatment | |
| Tilak et al. | Decentralized and partially decentralized reinforcement learning for designing a distributed wetland system in watersheds |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |