CN116363878B - 基于连续动态常微分方程的交通流量预测系统及方法 - Google Patents
基于连续动态常微分方程的交通流量预测系统及方法 Download PDFInfo
- Publication number
- CN116363878B CN116363878B CN202310606090.8A CN202310606090A CN116363878B CN 116363878 B CN116363878 B CN 116363878B CN 202310606090 A CN202310606090 A CN 202310606090A CN 116363878 B CN116363878 B CN 116363878B
- Authority
- CN
- China
- Prior art keywords
- time
- matrix
- sequence
- traffic flow
- event
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000036962 time dependent Effects 0.000 claims abstract description 32
- 238000013528 artificial neural network Methods 0.000 claims abstract description 30
- 230000008569 process Effects 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 230000001419 dependent effect Effects 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 81
- 230000006870 function Effects 0.000 claims description 22
- 238000010586 diagram Methods 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000003313 weakening effect Effects 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 5
- 230000005284 excitation Effects 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000000844 transformation Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims 2
- 230000005764 inhibitory process Effects 0.000 claims 2
- 230000001537 neural effect Effects 0.000 abstract description 3
- 230000008901 benefit Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 238000012300 Sequence Analysis Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
- G06F17/13—Differential equations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/065—Traffic control systems for road vehicles by counting the vehicles in a section of the road or in a parking area, i.e. comparing incoming count with outgoing count
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Operations Research (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于连续动态常微分方程的交通流量预测系统及方法,所述系统具有:数据输入模块;时间依赖提取模块;时空依赖捕获模块;动态节点嵌入模块;交通流量预测模块。本发明将交通网络的动态性抽象为由随机交通事件导致交通网络拓扑结构的连续变化,并使用基于Transformer的神经Hawkes过程对路网的连续动态性进行建模。同时将图神经网络抽象为一个常微分方程给出了时空依赖关于图神经网络层数的解析解,解决了由于图卷积层堆叠导致的过平滑问题,从而进行交通流量预测。
Description
技术领域
本发明涉及交通流量预测技术领域,尤其涉及到一种基于连续动态常微分方程的交通流量预测系统及方法。
背景技术
交通流量预测旨在使用历史交通观测数据来预测未来的交通流量。交通流量是智能交通控制、城市规划、路径规划等的基础,因此该研究已经成为当前的热点。然而交通数据中的非线性、不稳定性导致交通流量预测成为一个具有挑战性研究课题。
经典的统计模型受到机器学习方法对交通流量预测任务的强烈挑战,相较于统计分析模型这些模型可以实现更高的预测精度和更复杂的数据建模。深度学习凭借其强大的特征工程能力和函数拟合能力,在自然语言处理、计算机视觉等领域取得了巨大的成功。受以上研究成果的启迪,各国学者基于LSTM、GRU、CNN、Seq2Seq等深度学习算法构建了交通流量预测。然而交通数据天然具有非欧几里得性,难以使用卷积等操作捕获数据中蕴含的空间依赖。为了解决该问题,现有模型基于经纬度等将交通网络切割成为大小相等的若干网格,并基于此实现卷积操作在交通数据上的应用。网格化操作有可能将具有一个社区划分为两个网格,破坏了交通数据间的空间依赖。
近年来,基于图神经网络的交通流量预测引起了产业界和学界的广泛关注。相较于基于深度学习的预测模型,图模型将交通网络抽象为图,规避了网格化操作对网络结构一致性的破坏,能更好地利用交通网络的拓扑结构抽取交通数据中蕴含的时空特征。然而现有研究大多将交通路网视为一个静态结构,忽略了交通路网天然具有的动态属性。同时由于图卷积层堆叠将产生过平滑问题,限制了图神经网络捕获节点间的长程时空依赖的能力。针对以上问题,CSTODE将交通事件对邻接矩阵的影响抽象为基于Transformer的Hawkes过程。同时将图神经网络抽象为一个常微分方程,给出了时空依赖关于图神经网络层数的解析解,从而进行交通流量预测。
现有图模型大多视交通网络为一个静态结构,忽略了交通网的动态属性。交通网络的动态性可以分为两个部分:网络动态性和节点动态性。网络动态性体现为节点间依赖随时间的变化,而节点动态性体现为节点特征随时间的变化。交通路网的动态性天然具有两个重要属性:(1)连续性,即交通网络的动态性随着时间的推移而呈现出连贯甚至连续变化的趋势;(2)长程依赖,即较早时间步的交通流量或相距较远的节点对目标节点交通流量间存在的依赖关系。针对交通网络的连续动态性现有模型定义固定的时间间隔,利用静态图神经网络分析方法建模每一个时间片上各节点的特征,将各个时间片上的节点特征作为时间序列分析算法,例如RNN、LSTM等的输入,实现对节点间的连续动态性进行建模。针对长程依赖问题,图神经网络通过堆叠方式以期达到扩大网络感受野,实现节点间长程依赖的建模。但会导致以下问题:
(1)两时间间隔间发生的交通事件对交通流量产生的影响无法捕获,导致模型对交通流量变化的敏感性较弱;
(2)图神经网络堆叠将导致过平滑问题,导致预测性能较低。因此已有模型的堆叠层数大多小于2,导致难以建模交通数据中节点间的长程依赖;
(3)现有模型大多是“transductive”的,即假设交通网络拓扑结构不发生变化(网络的拓扑结构以及节点间的关联强度都不发生变化)。该假设与实际情况具有较大差异。
发明内容
本发明的主要目的在于提供一种基于连续动态常微分方程的交通流量预测系统及方法,旨在将交通网络的动态性抽象为由随机交通事件导致交通网络拓扑结构的连续变化,并使用基于Transformer的神经Hawkes过程对路网的连续动态性进行建模。同时将图神经网络抽象为一个常微分方程(ODE)给出了时空依赖关于图神经网络层数的解析解,解决了由于图卷积层堆叠导致的过平滑问题,从而进行交通流量预测。
为实现上述目的,本发明提供一种基于连续动态常微分方程的交通流量预测系统,所述系统,具有:
数据输入模块;
时间依赖提取模块;
时空依赖捕获模块;
动态节点嵌入模块;
交通流量预测模块;
其中,所述数据输入模块用于对输入的历史交通时间数据序列进行预处理,拆分为L个子序列;
其中,时间依赖提取模块用于提取L个子序列中的时间相关性,生成交通流的时间依赖序列;
其中,所述时空依赖捕获模块用于为时间依赖序列生成对应的邻接矩阵序列,依据所述邻接矩阵序列,将交通事件进行分类,得到事件的初始矩阵,将其输入到自注意力机制的模块中,将注意力输出输入到前反馈神经网络,生成事件序列的隐藏表示,得到每一个事件类型的条件强度函数,以此预测下一时刻的邻接矩阵;
其中,所述动态节点嵌入模块用于将预测出的邻接矩阵与动态时空图结合,获取时空数据张量,并采用基于张量的常微分方程框架对路网交通流的时空动态进行建模与求解,获得隐含层的解析解;
其中,所述交通流量预测模块用于进行最大池化操作,并采用多层感知器生成交通流量预测结果。
可选的,所述数据输入模块,具体采用滑动窗口对输入的历史交通时间数据序列进行预处理。
可选的,所述时间依赖提取模块,具体采用一维深度卷积神经网络提取L个子序列中的时间相关性,生成交通流的时间依赖序列。
可选的,所述时间依赖序列的表达式,具体为:
;
其中,为时间依赖序列,/>为子序列,/>为卷积核。
可选的,所述时空依赖捕获模块,用于根据时间依赖序列,生成若干个动态连通性集合,并将每个时间依赖张量与一个动态连通性集合相对应,以此获得在时间步上的邻接矩阵,生成邻接矩阵序列。
可选的,所述时空依赖捕获模块,用于将交通事件分为关联增强、关联减弱和关联强度不变。
可选的,所述时空依赖捕获模块,用于采用自注意力机制生成事件序列的隐藏表示,得到每个交通事件的条件强度函数。
可选的,所述时空依赖捕获模块,用于在预测下一时刻的邻接矩阵后,使用均方误差来衡量预测值与真实值之间的差值。
可选的,所述交通流量预测模块,用于在生成交通流量预测结果后,使用平滑平均绝对误差来衡量预测结果和真实值之间的差距。
此外,为了实现上述目的,本发明还提供了一种基于连续动态常微分方程的交通流量预测方法,所述方法包括:
S1:利用数据输入模块对输入的历史交通时间数据序列进行预处理,拆分为L个子序列;
S2:利用时间依赖提取模块提取L个子序列中的时间相关性,生成交通流的时间依赖序列;
S3:利用时空依赖捕获模块为时间依赖序列生成对应的邻接矩阵序列,依据所述邻接矩阵序列,将交通事件进行分类,得到时间的初始矩阵,将注意力输入前反馈神经网络,生成事件序列的隐藏表示,得到每一个事件类型的条件强度函数,以此预测下一时刻的邻接矩阵;
S4:利用动态节点嵌入模块将预测出的邻接矩阵与动态时空图结合,获取时空数据张量,并采用基于张量的常微分方程框架对路网交通流的时空动态进行建模与求解,获得隐含层的解析解;
S5:利用交通流量预测模块进行最大池化操作,并采用多层感知器生成交通流量预测结果。
本发明实施例提出的一种基于连续动态常微分方程的交通流量预测系统及方法,所述系统具有:数据输入模块;时间依赖提取模块;时空依赖捕获模块;动态节点嵌入模块;交通流量预测模块。本发明将交通网络的动态性抽象为由随机交通事件导致交通网络拓扑结构的连续变化,并使用基于Transformer的神经Hawkes过程对路网的连续动态性进行建模。同时将图神经网络抽象为一个常微分方程(ODE)给出了时空依赖关于图神经网络层数的解析解,解决了由于图卷积层堆叠导致的过平滑问题。
附图说明
图1为本发明基于连续动态常微分方程的交通流量预测系统的结构示意图;
图2为本发明动态ODE层的结构示意图;
图3为本发明基于连续动态常微分方程的交通流量预测方法的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
附图标记说明:
10-数据输入模块;20-时间依赖提取模块;30-时空依赖捕获模块;40-动态节点嵌入模块;50-交通流量预测模块。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例提供了一种基于连续动态常微分方程的交通流量预测系统,参照图1,图1为本发明基于连续动态常微分方程的交通流量预测系统的实施例的示意图。
具体而言,基于连续动态常微分方程的交通流量预测系统,包括数据输入模块10;时间依赖提取模块20;时空依赖捕获模块30;动态节点嵌入模块40;交通流量预测模块50。
其中,所述数据输入模块用于对输入的历史交通时间数据序列进行预处理,拆分为L个子序列;时间依赖提取模块用于提取L个子序列中的时间相关性,生成交通流的时间依赖序列;所述时空依赖捕获模块用于为时间依赖序列生成对应的邻接矩阵序列,依据所述邻接矩阵序列,将交通事件进行分类,得到事件的初始矩阵,将注意力输出输入到前反馈神经网络,生成事件序列的隐藏表示,得到每一个事件类型的条件强度函数,以此预测下一时刻的邻接矩阵;所述动态节点嵌入模块用于将预测出的邻接矩阵与动态时空图结合,获取时空数据张量,并采用基于张量的常微分方程框架对路网交通流的时空动态进行建模与求解,获得隐含层的解析解;所述交通流量预测模块用于进行最大池化操作,并采用多层感知器生成交通流量预测结果。
本实施例中,将交通路网抽象为图,其中,V是交通网络中顶点的集合,,/>是交通网络中的顶点位置。E是交通网络中的边集/>,/>表示交通网络中顶点/>之间的连接。/>,表示路网图/>的邻接矩阵,包含路网的交通信息。/>时刻交通路网的交通信息用/>,其中F为交通路网特征的数量。此时将交通流量预测问题转换为输入一个历史交通时间数据序列/>和一个交通路网图G到模型/>中,输出一个t时间的交通流,这个过程形式化如下:
;
式中,为图神经网络,/>为/>时刻的交通流量。
CSTODE包括四个部分:数据输入、时间依赖建模、网络空间依赖和动态节点嵌入模型。
需要说明的是,该CSTODE通过执行如下步骤,以实现基于连续动态常微分方程的交通流量预测。
一、数据预处理
将对交通数据预处理过程进行详细描述。输入一个历史交通时间数据序列,为了减少交通数据维度,对输入的历史序列数据进行预处理,利用滑动窗口将输入数据X拆分为L个子序列/>,其中窗口大小为W,步长为超参数d,/>。
二、时间依赖提取
使用1-DCNN提取输入数据中的时间相关性,并生成交通流时间依赖序列,/>;
;
其中为卷积核。
三、时空依赖捕获
给定,顶点i和j的交通流序列分别定义为/>,/>,定义时间步长为t时的(i,j)顶点对之间的依赖关系用动态连接DC评估,表示如下:
;
表示顶点对之间的历史交通流相似性,可以反映节点之间的空间依赖性。使用KL散度来评估交通流的相似性,即刻画了节点之间的语义相似性。/>刻画了节点之间的空间相似性。/>为节点i和节点j之间的距离,/>为控制矩阵稀疏度的阈值。给定/>,具体交通流序列的动态相关定义如下:
;
;
其中,可以用来评估方向性对交通流相似度的影响。因此,每个时间依赖张量/>对应一个动态连通性集合/>。则在时间步上对应的邻接矩阵定义如下:
;
其中为归一化函数。
将网络拓扑结构的变化抽象为连续交通事件对邻接矩阵施加的调整,该过程使用Hawkes过程进行拟合。给定时间依赖序列可生成邻接矩阵序列。针对邻接矩阵,认为交通事件可以分为三类:关联增强、关联减弱和关联强度不变。相关定义如下:
;
其中1表示关联增强,-1表示关联减弱,0表示关联强度不变。在t时刻之前发生在A(i,j)上的事件流可定义为:
;
根据霍克斯过程,t时刻类型k事件在的条件强度函数可以定为:
;
其中≥0为k型事件的基强度,/>≥0为j型事件初始激发k型事件的程度,/>> 0为该激发的衰减率。t表示为当前时刻,/>表示历史时间发生的时间。传统的Hawkes认为历史事件对未来事件仅具有激励作用,/>和/>只能取正实数,且认为历史事件对未来事件的影响通过衰减函数线性拟合。该假设显然与复杂的交通事件不相符,因此本申请对其公式进行了调整,使用transformer模拟历史事件对未来事件的影响,同时允许/>和/>取值为实数,承认历史事件对未来事件可能存在激励作用、抑制作用以及延迟作用。具体来说,当一个事件随机发生在任意区间/>时,强度被重新定义为:
;
其中是transformer结果,/>是可学习参数。H(t)与transformer结构的隐含状态类似,通过self-attention模块传递X并计算注意力输出S
;
;
其中Q、K、V是通过X进行不同变换得到的查询矩阵、键矩阵和值矩阵。事件序列的注意力输出为,/>为聚合矩阵。之后,将注意力输出S通过前反馈神经网络,生成事件序列的隐藏表示为:
;
;
其中,,为神经网络的参数。
基于此,将未来邻接矩阵定义为:
;
其中,是可学习参数。将上述公式转化为对应的向量表达:
;
其中,是强度矩阵/>的可学习矩阵,/>为哈德曼积。
在得到预测出的下一时刻邻接矩阵之后,使用均方误差来衡量预测值与真实值之间的差值。定义如下:
;
其中,为真实值,/>为预测值。
此外,为了有效提高计算效率,将邻接矩阵稀疏化处理。
;
其中为激活函数,/>为超参数。如果/>,则/>。
四、节点动态性
将预测出的邻接矩阵与动态时空图ODE相结合,实现连续时间下的动态图ODE网络,将时空数据表示为张量,采用基于张量的时空ODE(常微分方程)框架对路网交通流的时空动态进行建模。模型选用ODE求解器作为欧拉求解器,获得关于隐含层的解析解。
在动态ODE层中,使用两个TCN块和一个动态ODE求解器组成,如图2所示,进一步扩展模型发现复杂相关性的能力,采用的全卷积其具有快速训练和并行化的优势。在模型的构建中,将不同时刻的混合时空邻接矩阵依次部署到STODE块中,极大提高了表示能力。并将多个块并行部署,用以捕获更复杂和多层次的关联。
五、损失函数
在动态ODE层之后,进行max-pooling操作,有选择的聚合来自不同块的信息。最后,用一个两层MLP作为输出层,将最大池化层的输出转变为预测结果。选用Huber损失函数(平滑平均绝对误差)来衡量预测结果和真实值之间的差距:
;
其中,和/>分别为真实值和预测值,/>为超参数。
本领域人员可以知道:
(1)两时间间隔间发生的交通事件对交通流量产生的影响无法捕获,导致模型对交通流量变化的敏感性较弱。为了提高模型的敏感性,本发明将两个时间间隔之间的事件也考虑在内,预测任意连续时间内的交通流量情况。
(2)如果将图神经网络堆叠起来,就会导致所谓的“过平滑”问题,这可能会导致预测性能较低。因此,现有的图神经网络模型中,堆叠的层数通常比较少,大多数模型的堆叠层数小于2。为了提高模型的预测性能,需要堆叠多层图神经网络,但同时需要解决过平滑问题,以充分利用交通数据中的长程相关性。
(3)现有模型大多是“transductive”的,即假设交通网络拓扑结构不发生变化(网络的拓扑结构以及节点间的关联强度都不发生变化)。该假设与实际情况具有较大差异,需要使用一些“inductive”的模型。
本实施例通过将交通网络拓扑结构的动态性抽象为由随机交通事件导致交通网络拓扑结构的连续变化,并使用基于Transformer的神经Hawkes过程对路网的连续动态性进行建模。将节点的动态性抽象为节点嵌入关于堆叠层数的偏微分方程,并基于欧拉解析器给出了该偏微分方程的解析解。提高了计算效率,为支持大规模路网的交通流量预测问题奠定了基础。CSTODE模型在增加堆叠层数的同时依然具有较好的准确率,解决了传统方法捕获长程时空依赖以及节点过平滑之间的矛盾。
参照图3,图3为本发明基于连续动态常微分方程的交通流量预测方法实施例的流程示意图。
如图3所示,本发明实施例提出的基于连续动态常微分方程的交通流量预测方法,用于前述实施例记载的基于连续动态常微分方程的交通流量预测系统,该方法包括:
S1:利用数据输入模块对输入的历史交通时间数据序列进行预处理,拆分为L个子序列;
S2:利用时间依赖提取模块提取L个子序列中的时间相关性,生成交通流的时间依赖序列;
S3:利用时空依赖捕获模块为时间依赖序列生成对应的邻接矩阵序列,依据所述邻接矩阵序列,将交通事件进行分类,得到事件的初始矩阵,将其输入到自注意力机制的模块中,将注意力输出输入到前反馈神经网络,生成事件序列的隐藏表示,得到每一个事件类型的条件强度函数,以此预测下一时刻的邻接矩阵;
S4:利用动态节点嵌入模块将预测出的邻接矩阵与动态时空图结合,获取时空数据张量,并采用基于张量的常微分方程框架对路网交通流的时空动态进行建模与求解,获得隐含层的解析解;
S5:利用交通流量预测模块进行最大池化操作,并采用多层感知器生成交通流量预测结果。
本发明基于连续动态常微分方程的交通流量预测方法的其他实施例或具体实现方式可参照上述各系统实施例,此处不再赘述。
可以理解的是,在本说明书的描述中,参考术语“一实施例”、“另一实施例”、“其他实施例”、或“第一实施例~第N实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (4)
1.基于连续动态常微分方程的交通流量预测系统,其特征在于,所述系统,具有:
数据输入模块;
时间依赖提取模块;
时空依赖捕获模块;
动态节点嵌入模块;
交通流量预测模块;
其中,所述数据输入模块用于对输入的历史交通时间数据序列进行预处理,拆分为L个子序列;
其中,时间依赖提取模块用于提取L个子序列中的时间相关性,生成交通流的时间依赖序列;所述时间依赖提取模块,具体采用一维深度卷积神经网络提取L个子序列中的时间相关性,生成交通流的时间依赖序列;所述时间依赖序列的表达式,具体为:
其中,Tt∈RN×F×W为时间依赖序列,It∈RN×F×W为子序列,Φt:{0,...,K}→R为卷积核;
其中,所述时空依赖捕获模块用于为时间依赖序列生成对应的邻接矩阵序列,依据所述邻接矩阵序列,将交通事件进行分类,得到事件的初始矩阵,将其输入到自注意力机制的模块中,将注意力输出输入到前反馈神经网络,生成事件序列的隐藏表示,得到每一个事件类型的条件强度函数,以此预测下一时刻的邻接矩阵;
所述时空依赖捕获模块,用于根据时间依赖序列,生成若干个动态连通性集合,并将每个时间依赖张量与一个动态连通性集合相对应,以此获得在时间步上的邻接矩阵,生成邻接矩阵序列;
所述时空依赖捕获模块,用于将交通事件分为关联增强、关联减弱和关联强度不变;
所述时空依赖捕获模块,用于采用自注意力机制,通过前反馈神经网络生成事件序列的隐藏表示,得到每个事件类型的条件强度函数;
所述时空依赖捕获模块,用于在预测下一时刻的邻接矩阵后,使用均方误差来衡量预测值与真实值之间的差值;
其中,所述时空依赖捕获模块,具有如下执行过程:
给定Tt,顶点i和j的交通流序列分别定义为定义时间步长为t时的(i,j)顶点对之间的依赖关系用动态连接DC评估,表示如下:
表示顶点对之间的历史交通流相似性,可以反映节点之间的空间依赖性;使用KL散度来评估交通流的相似性,刻画节点之间的语义相似性;/>刻画节点之间的空间相似性;dij为节点i和节点j之间的距离,σ2为控制矩阵稀疏度的阈值;给定/>具体交通流序列的动态相关定义如下:
其中用来评估方向性对交通流相似度的影响;每个时间依赖张量Tt对应一个动态连通性集合DCt={DCt(i,j)|i,j<N};在时间步上对应的邻接矩阵定义如下:
At=NOR(DCt);
其中NOR(·)为归一化函数;
将网络拓扑结构的变化抽象为连续交通事件对邻接矩阵施加的调整,该过程使用Hawkes过程进行拟合;给定时间依赖序列T=(T1,T2,...,TL)可生成邻接矩阵序列{A1,A2,...,AL};针对邻接矩阵,认为交通事件可以分为三类:关联增强、关联减弱和关联强度不变;相关定义如下:
其中1表示关联增强,-1表示关联减弱,0表示关联强度不变;在t时刻之前发生在A(i,j)上的事件流可定义为:
根据霍克斯过程,t时刻类型k事件在的条件强度函数定为:
其中μk≥0为k型事件的基强度,αl,k≥0为j型事件初始激发k型事件的程度,δl>0为该激发的衰减率;t表示为当前时刻,th表示历史时间发生的时间;对其公式进行调整,使用transformer模拟历史事件对未来事件的影响,同时允许μ和α取值为实数,承认历史事件对未来事件可能存在激励作用、抑制作用以及延迟作用;当一个事件随机发生在任意区间t∈(ti,ti+1]时,强度被重新定义为:
其中fk()是transformer结果,Wk是可学习参数;H(t)与transformer结构的隐含状态类似,通过self-attention模块传递X并计算注意力输出S;
Q=XWQ,K=XWK,V=XWV;
其中Q、K、V是通过X进行不同变换得到的查询矩阵、键矩阵和值矩阵;事件序列的注意力输出为S=[S1,S2,...,SH]WO,WO为聚合矩阵;之后,将注意力输出S通过前反馈神经网络,生成事件序列的隐藏表示为:
H=Relu(SW1+b1)W2+b2;
h(tj)=H(j,:);
其中,H∈RL×M,W1,W2,b1,b2,为神经网络的参数;
基于此,将未来邻接矩阵定义为:
其中,是可学习参数;将上述公式转化为对应的向量表达:
At=At-1+θt⊙Λt;
其中,θt是强度矩阵Λt的可学习矩阵,⊙为哈德曼积;
在得到预测出的下一时刻邻接矩阵之后,使用均方误差来衡量预测值与真实值之间的差值;定义如下:
其中,y为真实值,为预测值;
将邻接矩阵稀疏化处理;
其中σ(·)为激活函数,γ为超参数;如果则/>
其中,所述动态节点嵌入模块用于将预测出的邻接矩阵与动态时空图结合,获取时空数据张量,并采用基于张量的常微分方程框架对路网交通流的时空动态进行建模与求解,获得隐含层的解析解;
其中,所述交通流量预测模块用于进行最大池化操作,并采用多层感知器生成交通流量预测结果。
2.如权利要求1所述的基于连续动态常微分方程的交通流量预测系统,其特征在于,所述数据输入模块,具体采用滑动窗口对输入的历史交通时间数据序列进行预处理。
3.如权利要求2所述的基于连续动态常微分方程的交通流量预测系统,其特征在于,所述交通流量预测模块,用于在生成交通流量预测结果后,使用平滑平均绝对误差来衡量预测结果和真实值之间的差距。
4.一种基于连续动态常微分方程的交通流量预测方法,其特征在于,所述方法包括:
S1:利用数据输入模块对输入的历史交通时间数据序列进行预处理,拆分为L个子序列;
S2:利用时间依赖提取模块提取L个子序列中的时间相关性,生成交通流的时间依赖序列;所述时间依赖提取模块,具体采用一维深度卷积神经网络提取L个子序列中的时间相关性,生成交通流的时间依赖序列;所述时间依赖序列的表达式,具体为:
其中,Tt∈RN×F×W为时间依赖序列,It∈RN×F×W为子序列,Φt:{0,...,K}→R为卷积核;
S3:利用时空依赖捕获模块为时间依赖序列生成对应的邻接矩阵序列,依据所述邻接矩阵序列,将交通事件进行分类,得到事件的初始矩阵,将其输入到自注意力机制的模块中,将注意力输出输入到前反馈神经网络,生成事件序列的隐藏表示,得到每一个事件类型的条件强度函数,以此预测下一时刻的邻接矩阵;
所述时空依赖捕获模块,用于根据时间依赖序列,生成若干个动态连通性集合,并将每个时间依赖张量与一个动态连通性集合相对应,以此获得在时间步上的邻接矩阵,生成邻接矩阵序列;
所述时空依赖捕获模块,用于将交通事件分为关联增强、关联减弱和关联强度不变;
所述时空依赖捕获模块,用于采用自注意力机制,通过前反馈神经网络生成事件序列的隐藏表示,得到每个事件类型的条件强度函数;
所述时空依赖捕获模块,用于在预测下一时刻的邻接矩阵后,使用均方误差来衡量预测值与真实值之间的差值;
其中,所述时空依赖捕获模块,具有如下执行过程:
给定Tt,顶点i和j的交通流序列分别定义为定义时间步长为t时的(i,j)顶点对之间的依赖关系用动态连接DC评估,表示如下:
表示顶点对之间的历史交通流相似性,可以反映节点之间的空间依赖性;使用KL散度来评估交通流的相似性,刻画节点之间的语义相似性;/>刻画节点之间的空间相似性;dij为节点i和节点j之间的距离,σ2为控制矩阵稀疏度的阈值;给定/>具体交通流序列的动态相关定义如下:
其中用来评估方向性对交通流相似度的影响;每个时间依赖张量Tt对应一个动态连通性集合DCt={DCt(i,j)|i,j<N};在时间步上对应的邻接矩阵定义如下:
At=NOR(DCt);
其中NOR(·)为归一化函数;
将网络拓扑结构的变化抽象为连续交通事件对邻接矩阵施加的调整,该过程使用Hawkes过程进行拟合;给定时间依赖序列T=(T1,T2,...,TL)可生成邻接矩阵序列{A1,A2,...,AL};针对邻接矩阵,认为交通事件可以分为三类:关联增强、关联减弱和关联强度不变;相关定义如下:
其中1表示关联增强,-1表示关联减弱,0表示关联强度不变;在t时刻之前发生在A(i,j)上的事件流可定义为:
根据霍克斯过程,t时刻类型k事件在的条件强度函数定为:
其中μk≥0为k型事件的基强度,αl,k≥0为j型事件初始激发k型事件的程度,δl>0为该激发的衰减率;t表示为当前时刻,th表示历史时间发生的时间;对其公式进行调整,使用transformer模拟历史事件对未来事件的影响,同时允许μ和α取值为实数,承认历史事件对未来事件可能存在激励作用、抑制作用以及延迟作用;当一个事件随机发生在任意区间t∈(ti,ti+1]时,强度被重新定义为:
其中fk()是transformer结果,Wk是可学习参数;H(t)与transformer结构的隐含状态类似,通过self-attention模块传递X并计算注意力输出S;
Q=XWQ,K=XWK,V=XWV;
其中Q、K、V是通过X进行不同变换得到的查询矩阵、键矩阵和值矩阵;事件序列的注意力输出为S=[S1,S2,...,SH]WO,WO为聚合矩阵;之后,将注意力输出S通过前反馈神经网络,生成事件序列的隐藏表示为:
H=Relu(SW1+b1)W2+b2;
h(tj)=H(j,:);
其中,H∈RL×M,W1,W2,b1,b2,为神经网络的参数;
基于此,将未来邻接矩阵定义为:
其中,是可学习参数;将上述公式转化为对应的向量表达:
At=At-1+θt⊙Λt;
其中,θt是强度矩阵∧t的可学习矩阵,⊙为哈德曼积;
在得到预测出的下一时刻邻接矩阵之后,使用均方误差来衡量预测值与真实值之间的差值;定义如下:
其中,y为真实值,为预测值;
将邻接矩阵稀疏化处理;
其中σ(·)为激活函数,γ为超参数;如果则/>
S4:利用动态节点嵌入模块将预测出的邻接矩阵与动态时空图结合,获取时空数据张量,并采用基于张量的常微分方程框架对路网交通流的时空动态进行建模与求解,获得隐含层的解析解;
S5:利用交通流量预测模块进行最大池化操作,并采用多层感知器生成交通流量预测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310606090.8A CN116363878B (zh) | 2023-05-26 | 2023-05-26 | 基于连续动态常微分方程的交通流量预测系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310606090.8A CN116363878B (zh) | 2023-05-26 | 2023-05-26 | 基于连续动态常微分方程的交通流量预测系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116363878A CN116363878A (zh) | 2023-06-30 |
CN116363878B true CN116363878B (zh) | 2023-08-11 |
Family
ID=86910661
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310606090.8A Active CN116363878B (zh) | 2023-05-26 | 2023-05-26 | 基于连续动态常微分方程的交通流量预测系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116363878B (zh) |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105160866A (zh) * | 2015-08-07 | 2015-12-16 | 浙江高速信息工程技术有限公司 | 一种基于深度学习神经网络结构的交通流预测方法 |
CN109299401A (zh) * | 2018-07-12 | 2019-02-01 | 中国海洋大学 | 基于深度学习模型LSTM-ResNet的城域时空流预测技术 |
CN109934295A (zh) * | 2019-03-18 | 2019-06-25 | 重庆邮电大学 | 一种基于超限隐特征学习模型的图像分类与重建方法 |
CN110310479A (zh) * | 2019-06-20 | 2019-10-08 | 云南大学 | 一种城市交通流量预测系统及方法 |
CN112801404A (zh) * | 2021-02-14 | 2021-05-14 | 北京工业大学 | 一种基于自适应空间自注意力图卷积的交通预测方法 |
CN113012013A (zh) * | 2021-02-09 | 2021-06-22 | 北京工业大学 | 一种在车联网中基于深度强化学习的协同边缘缓存方法 |
CN113627075A (zh) * | 2021-07-19 | 2021-11-09 | 南京理工大学 | 基于自适应粒子群优化极限学习的弹丸气动系数辨识方法 |
CN114220271A (zh) * | 2021-12-21 | 2022-03-22 | 南京理工大学 | 基于动态时空图卷积循环网络的交通流预测方法、设备及存储介质 |
CN114492992A (zh) * | 2022-01-25 | 2022-05-13 | 重庆邮电大学 | 一种基于Transformer的自适应时空图神经网络交通流预测方法及系统 |
CN115240425A (zh) * | 2022-07-26 | 2022-10-25 | 西北师范大学 | 一种基于多尺度时空融合图网络的交通预测方法 |
CN115311860A (zh) * | 2022-08-09 | 2022-11-08 | 中国科学院计算技术研究所 | 一种交通流量预测模型的在线联邦学习方法 |
CN115358485A (zh) * | 2022-09-14 | 2022-11-18 | 浙江师范大学 | 一种基于图自注意力机制与霍克斯过程的交通流预测方法 |
CN115687860A (zh) * | 2022-11-01 | 2023-02-03 | 武汉大学 | 融合神经微分方程的对抗自编码器不完备数据预测方法 |
CN115830875A (zh) * | 2023-02-14 | 2023-03-21 | 清华大学 | 交通流量预测方法、装置及电子设备 |
CN115862319A (zh) * | 2022-11-08 | 2023-03-28 | 贵州民族大学 | 一种面向时空图自编码器的交通流量预测方法 |
CN116052427A (zh) * | 2023-02-03 | 2023-05-02 | 湖南大学深圳研究院 | 基于私家车出行轨迹数据的城市间跨区域移动性预测方法及装置 |
CN116153089A (zh) * | 2023-04-24 | 2023-05-23 | 云南大学 | 基于时空卷积与动态图的交通流量预测系统及方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8103435B2 (en) * | 2007-07-27 | 2012-01-24 | George Mason Intellectual Properties, Inc. | Near real-time traffic routing |
US20210118288A1 (en) * | 2019-10-22 | 2021-04-22 | Mitsubishi Electric Research Laboratories, Inc. | Attention-Based Control of Vehicular Traffic |
-
2023
- 2023-05-26 CN CN202310606090.8A patent/CN116363878B/zh active Active
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105160866A (zh) * | 2015-08-07 | 2015-12-16 | 浙江高速信息工程技术有限公司 | 一种基于深度学习神经网络结构的交通流预测方法 |
CN109299401A (zh) * | 2018-07-12 | 2019-02-01 | 中国海洋大学 | 基于深度学习模型LSTM-ResNet的城域时空流预测技术 |
CN109934295A (zh) * | 2019-03-18 | 2019-06-25 | 重庆邮电大学 | 一种基于超限隐特征学习模型的图像分类与重建方法 |
CN110310479A (zh) * | 2019-06-20 | 2019-10-08 | 云南大学 | 一种城市交通流量预测系统及方法 |
CN113012013A (zh) * | 2021-02-09 | 2021-06-22 | 北京工业大学 | 一种在车联网中基于深度强化学习的协同边缘缓存方法 |
CN112801404A (zh) * | 2021-02-14 | 2021-05-14 | 北京工业大学 | 一种基于自适应空间自注意力图卷积的交通预测方法 |
CN113627075A (zh) * | 2021-07-19 | 2021-11-09 | 南京理工大学 | 基于自适应粒子群优化极限学习的弹丸气动系数辨识方法 |
CN114220271A (zh) * | 2021-12-21 | 2022-03-22 | 南京理工大学 | 基于动态时空图卷积循环网络的交通流预测方法、设备及存储介质 |
CN114492992A (zh) * | 2022-01-25 | 2022-05-13 | 重庆邮电大学 | 一种基于Transformer的自适应时空图神经网络交通流预测方法及系统 |
CN115240425A (zh) * | 2022-07-26 | 2022-10-25 | 西北师范大学 | 一种基于多尺度时空融合图网络的交通预测方法 |
CN115311860A (zh) * | 2022-08-09 | 2022-11-08 | 中国科学院计算技术研究所 | 一种交通流量预测模型的在线联邦学习方法 |
CN115358485A (zh) * | 2022-09-14 | 2022-11-18 | 浙江师范大学 | 一种基于图自注意力机制与霍克斯过程的交通流预测方法 |
CN115687860A (zh) * | 2022-11-01 | 2023-02-03 | 武汉大学 | 融合神经微分方程的对抗自编码器不完备数据预测方法 |
CN115862319A (zh) * | 2022-11-08 | 2023-03-28 | 贵州民族大学 | 一种面向时空图自编码器的交通流量预测方法 |
CN116052427A (zh) * | 2023-02-03 | 2023-05-02 | 湖南大学深圳研究院 | 基于私家车出行轨迹数据的城市间跨区域移动性预测方法及装置 |
CN115830875A (zh) * | 2023-02-14 | 2023-03-21 | 清华大学 | 交通流量预测方法、装置及电子设备 |
CN116110226A (zh) * | 2023-02-14 | 2023-05-12 | 清华大学 | 交通流量预测方法、装置及电子设备 |
CN116153089A (zh) * | 2023-04-24 | 2023-05-23 | 云南大学 | 基于时空卷积与动态图的交通流量预测系统及方法 |
Non-Patent Citations (1)
Title |
---|
基于动态图卷积神经网络的路网流量及其变更影响预测;杨福康;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》(第1期);C034-1351 * |
Also Published As
Publication number | Publication date |
---|---|
CN116363878A (zh) | 2023-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhang et al. | Deep long short-term memory networks for nonlinear structural seismic response prediction | |
Divakaran et al. | Temporal link prediction: A survey | |
CN109120462B (zh) | 机会网络链路的预测方法、装置及可读存储介质 | |
Wang et al. | Neural machine-based forecasting of chaotic dynamics | |
Jin et al. | Adaptive dual-view wavenet for urban spatial–temporal event prediction | |
CN116153089B (zh) | 基于时空卷积与动态图的交通流量预测系统及方法 | |
CN114611798A (zh) | 一种基于动态超图卷积神经网络的od客流预测方法 | |
CN113505924A (zh) | 一种基于级联时空特征的信息传播预测方法及系统 | |
Hur et al. | Entropy-based pruning method for convolutional neural networks | |
Dang et al. | Semi-supervised vibration-based structural health monitoring via deep graph learning and contrastive learning | |
Kunjir et al. | A comparative study of predictive machine learning algorithms for COVID-19 trends and analysis | |
Wang et al. | Modeling and monitoring of a multivariate spatio-temporal network system | |
Assaleh et al. | Modeling nonlinear behavior of Buckling-Restrained Braces via different artificial intelligence methods | |
Parida et al. | SVD enabled data augmentation for machine learning based surrogate modeling of non-linear structures | |
Jat et al. | Applications of statistical techniques and artificial neural networks: A review | |
WO2022154829A1 (en) | Neural architecture scaling for hardware accelerators | |
CN116363878B (zh) | 基于连续动态常微分方程的交通流量预测系统及方法 | |
CN116578858A (zh) | 基于图神经网络的空压机故障预测与健康度评价方法及系统 | |
CN116386312A (zh) | 一种交通量预测模型的构建方法和系统 | |
Shu et al. | A general kpi anomaly detection using attention models | |
Chen et al. | Traffic-condition-awareness ensemble learning for traffic flow prediction | |
Bai et al. | A multiway model for predicting earthquake ground motion | |
Yavuz et al. | Generating and exploiting bayesian networks for fault diagnosis in airplane engines. | |
MadhanMohan et al. | Classification of image using deep neural networks and SoftMax classifier with CIFAR datasets | |
Wang et al. | Probabilistic performance-pattern decomposition (pppd): analysis framework and applications to stochastic mechanical systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |