CN115985098B - 基于自注意力机制和循环图卷积网络的交通流预测方法 - Google Patents
基于自注意力机制和循环图卷积网络的交通流预测方法 Download PDFInfo
- Publication number
- CN115985098B CN115985098B CN202211706583.0A CN202211706583A CN115985098B CN 115985098 B CN115985098 B CN 115985098B CN 202211706583 A CN202211706583 A CN 202211706583A CN 115985098 B CN115985098 B CN 115985098B
- Authority
- CN
- China
- Prior art keywords
- traffic flow
- value
- time period
- predicted
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了基于自注意力机制和循环图卷积网络的交通流预测方法,涉及深度学习和时空数据挖掘的技术领域,利用了带有图卷积的GRU计算结构及自注意力机制构建计算单元ADD‑GCGRU,并将该计算单元ADD‑GCGRU融入长序列循环结构形成堆叠式编码‑解码结构,以此达到空间特征和时间特征的提取目的,并通过引入不确定度余量进行分解增量式输出,实现数值和方向的双重数据挖掘,削弱预测结果中的偏移程度,最后构建一种新的评价指标对预测结构的偏移程度进行评价。本发明在保证预测高精度的同时,缓解了交通流等时序预测中的偏移问题,并对偏移程度进行了评价。
Description
技术领域
本发明涉及深度学习和时空数据挖掘的技术领域,尤其是基于自注意力机制和循环图卷积网络的交通流预测方法。
背景技术
交通流预测作为智慧交通领域的主要应用之一,可以为许多上游问题如帮助城市居民乃至交通运输作业规划正确的行驶路线,帮助相关部门实行交通管制和交通诱导,提高路网利用率,为实现交通流的动态分配等提供优质的解决方案。
不同于该领域中其它问题,交通流具有长短时和时空依赖的特性,其变化容易受到大量难以预计的宏观或微观因素的影响,这使得交通流预测,尤其是对城市复杂路网的交通流预测成为了一项极具挑战性的任务。现有的深度学习模型只关注于时空间特征的高精度提取,无一例外的忽略了时序预测问题中出现的迟滞现象,即交通流预测曲线存在基于真实结果的时间偏移,倘若预测模型拟合效果较差,加之数据非线性变化较多,该偏移将会一直存在,预测的结果将以预测窗口大小的历史观测值的近似复制形式出现;相反,如若模型与预测问题的复杂度相适应,并且有足量优质的数据用于训练,这种时滞出现的频率将有所降低,然而还是容易会在数据点的变化处,尤其是长时相同趋势变化的突变点处出现。这种现象是时序预测中非常常见的问题,模型预测的及时性也因此很难得到保证。
发明内容
为了克服上述现有技术中的缺陷,本发明提供基于自注意力机制和循环图卷积网络的交通流预测方法,在保证预测高精度的同时,大大缓解了交通流等时序预测中的偏移问题。
为实现上述目的,本发明采用以下技术方案,包括:
基于自注意力机制和循环图卷积网络的交通流预测方法,包括如下步骤:
S1,预处理交通流数据:根据时间戳及车牌号对交通流数据进行合并去重;
S2,按经纬度划分并选择待预测子区域:确定采集区域的经纬度范围,对采集区域进行网格划分,获得N个待预测子区域;
S3,根据待预测子区域的交通流数据构建时空图,具体如下所示:
S31,针对各个待预测子区域的交通流数据进行数据划分,将交通流数据按照Δt的时间片大小进行划分,划分为T个时间段;
S32,分别对各个待预测子区域在各个时间段内的交通流数据进行特征提取,特征包括:时间戳、单位时间车流量即交通流量、定位数目、零速度数目、标志位;
S33,根据各个待预测子区域在各个时间段内的交通流数据特征,得到时空图数据D∈RN×T×F,其中,N为结点数目即待预测子区域总个数,T为时间段总个数,F为特征总个数;
S4,构建交通流预测模型,所述交通流预测模型采用编码-解码堆叠的循环神经网络,具体如下所示:
S41,按下式构建双头自注意力机制,用于获取两个增量子值
X(i)∈RN×F,i=1,2,...T
其中,MultiHeadAtt(·)为双头自注意力机制函数;为第t个时间段的第一增量子值,/>为第t个时间段的第二增量子值,上标(t)表示第t个时间段;X(i)为第i个时间段的输入值,即第i个时间段的各个待预测子区域的交通流数据特征,i=1,2,...T;
S42,定义p为保持原方向的概率,为逆转概率即与原方向相反方向的概率,方向是指交通流量的增长或下降;按下式利用第t个时间段的第二增量子值/>计算第t个时间段的逆转概率/>及逆转方向direction:
其中,σ(·)表示sigmoid函数;p(t)表示第t个时间段的交通流量保持原方向的概率,即保持增长或保持下降的概率;表示第t个时间段的交通流量的逆转概率;Δ(i)表示第i个时间段的交通流量的增量;α∈(0,1)、β∈(0,1)均为系数;direction表示逆转方向,direction取值为正值即为保持原方向,direction取值为负值即为与原方向相反方向;
S43,按下式由第t个时间段的第二增量子值计算第t个时间段的增量大小δ(t):
其中,RELU表示relu非线性激活函数,W、b均为前馈神经网络投影矩阵参数,W为系数矩阵,b为偏置向量;
并将第t个时间段的第一增量子值作为第t个时间段的输出预测基值h(t),即
S44,根据步骤S42和S43的计算结果,按下式计算第t个时间段的完整增量Δ(t)即不确定度余量:
Δ(t)=λ(2p(t)-1)δ(t)
其中,λ为缩放系数;
S45,按照下式构建计算单元ADD-GCGRU:
Δ(t)=λ(2p(t)-1)δ(t)
r(t)=σ(Θr*G[h(t);H(t-1)])
u(t)=σ(Θu*G[h(t);H(t-1)])H(t)=u(t)⊙H(t-1)+(1-u(t))⊙C(t)
O(t)=W2([H(t);h(t)]+Δ(t))
其中,*G表示一阶切比雪夫图卷积,[·;·]代表连接操作,⊙为Hadamard乘积,H(t)表示第t个时间段的隐藏状态值,Θr、Θc、Θu均为图卷积核,Tanh为非线性激活函数,r(t)、C(t)、u(t)均为中间变量,O(t)为计算单元ADD-GCGRU的输出值,W2为参数矩阵;
S46,以所述ADD-GCGRU计算单元为核心利用循环结构构建编码端;
S47,使用所述ADD-GCGRU计算单元的结构构建解码端,通过交叉注意力机制连接所述编码端和解码端,得到编码-解码堆叠的循环神经网络;
S5,利用步骤S3所得的时空图数据,训练交通流预测模型;
S6,利用训练后的交通流预测模型,预测下一时刻的交通流量。
优选的,在步骤S6之后,还包括如下步骤:
S7,设计评价指标对预测值的偏移程度进行评价,具体如下所示:
S71,将步骤S6所得预测值以及对应的真实值分别按时间顺序展平,分别得到预测序列和真实序列;从预测序列中取待评估序列切片P=[pre_len:];从真实序列中分别取两个真实值序列切片,分别为L1=[pre_len:]、L2=[:pre_len],其中,pre_len表示单次预测长度,即单次预测所对应的一个时间段的长度;
S72,分别将待评估序列切片P,以及两个真实值序列切片L1、L2中每个元素,均按下式进行概率归一化,得到概率归一化的待评估序列切片以及两个概率归一化的真实值序列切片/>
其中,K为序列长度即序列切片中的元素总个数即时间段总个数,exp(·)表示以自然常数e为底的指数函数,zj表示原始序列切片中的第j个元素,z~j表示概率归一化后的序列切片中的第j个元素;
S73,设计如下式所示的评价指标e即偏移散度差分值SDD,对预测值进行时滞评估:
其中,KL(·)表示相对熵或Kullback-Leibler散度,ak、bk分别为一维概率分布序列A、B中的元素,pc(·)为概率值;评价指标e的值越小表示偏移的似真度越小,即偏移出现的可能性越小。
优选的,步骤S5的具体方式如下所示:
S51,取步骤S3所得的时空图数据的70%作为训练数据,20%作为验证数据,10%作为测试数据,使用z-score方法对训练数据和验证数据进行标准化;
S52,将标准化后的训练数据输入步骤S4所得的交通流预测模型中进行模型训练,使用Adam梯度下降优化算法迭代更新模型参数,直到损失函数MAE收敛或达到最大迭代次数为止,得到训练后的交通流预测模型;
步骤S6的具体方式如下所示:
S61,根据步骤S51,使用z-score方法对测试数据进行标准化;
S62,将标准化后的测试数据输入步骤S52得到的训练后的交通流预测模型中,得到输出值,使用z-score逆运算对输出值进行去标准化得到预测值。
优选的,步骤S46中,以所述ADD-GCGRU计算单元为核心利用循环结构构建编码端,具体为:设置编码端堆叠层数为2,将第t个时间段的计算单元输出的隐藏状态值H(t)和不确定度余量Δ(t)输入到下一个时间段即第t+1个时间段的计算单元作为输入,将第t个时间段的计算单元的输出值O(t)输入到下一层中计算新的增量子值,以此实现横向循环和纵向堆叠。
本发明的优点在于:
(1)本发明利用了带有图卷积的GRU计算结构及自注意力机制构建了新型计算单元ADD-GCGRU,并将该计算单元融入长序列循环结构形成堆叠式编码-解码结构,以此达到空间特征和时间特征的提取目的;通过自注意力机制与计算单元相结合,引入不确定度余量对预测输出进行拆解,同时实现对数值和方向的预测,以达到削弱预测结果中偏移程度的目的。本发明在保证预测高精度的同时,缓解了交通流等时序预测中的偏移问题。
(2)本发明还设计评价指标对偏移程度进行了评价,分别求概率归一化的待评估序列切片与概率归一化的真实值序列切片/>的KL散度,以及概率归一化的待评估序列切片/>与概率归一化的真实值序列切片/>的KL散度,并将两个KL散度的差值作为评价指标即偏移散度差分值SDD,评价指标的值越小即表示偏移的似真度越小。
附图说明
图1为本发明的基于自注意力机制和循环图卷积网络的交通流预测方法流程图。
图2为本发明数据采集区域及密度图。
图3为本发明的预测效果图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
一种利用自注意力机制和循环图卷积神经网络的交通流预测方法,主要思路为:利用了带有图卷积的GRU计算结构及自注意力机制构建了新型计算单元ADD-GCGRU,并将该计算单元融入长序列循环结构形成堆叠式编码-解码结构,以此达到空间特征和时间特征的提取目的;通过自注意力机制与计算单元相结合,引入不确定度余量即Δ(t)对预测输出进行拆解,同时实现对数值和方向的预测,以达到削弱预测结果中偏移程度的目的。由图1所示,其具体步骤为:
S1,预处理城市交通流数据:
使用Pandas提取解析csv数据文件,根据时间戳及车牌号对交通流数据进行合并去重,保留成由时间戳、瞬时车速、经纬度构成的DataFrame数据结构。
分别对冗余数据,异常车辆,缺失数据进行处理修复:
对于冗余数据:存在某些车辆在同一秒内有多个速度值甚至发生陡变的异常情况,找出并使用其中的中位数代表该车辆在该时间戳的瞬时速度;
对于异常车辆,某些车辆存在大量速度为零的记录,我们找出每辆车的零速记录比率,结合数据时空长度,考虑设定阈值0.6,将零速度比率大于等于0.6的车辆视为异常车辆,直接删除;
对于缺失数据,线性插值补充。
S2,按经纬度划分并选择待预测子区域;
如图2所示,选取时间范围为2020年一月一日0:00至2020年一月二十五日0:00,采集区域的经度范围为[117.21056,117.36094],纬度范围为[31.81205,31.90128],共1048576条北斗定位数据。按照地理坐标对采集区域进行10×10的网格划分,获得100个待预测子区域。
S3,根据待预测子区域的交通流数据构建时空图:
S31,分别取上述100个待预测子区域的中心位置点作为代表位置点,对各个代表位置点的交通流数据进行数据划分,将交通流数据按照5min的时间片大小进行划分,划分为T个时间段。
S32,分别对各个待预测子区域在各个时间段内的交通流数据进行特征提取,提取各个待预测子区域在各个时间段内的末尾时间戳、单位时间车流量即交通流量、GPS定位数目、零速度数目共四个特征,并且考虑到交通数据的周期性,再按照周一到周日共七天的周期性给每条数据加入了0~6的标志位特征;即特征包括:时间戳、单位时间车流量、定位数目、零速度数目、标志位。
S33,整理并Reshape所提取特征数据,得到时空图数据其中,N为结点数目即待预测子区域总个数,其值为100;T为时间段总个数,F为特征总个数,其值为5。
S4,构建交通流预测模型,所述交通流预测模型采用编码-解码堆叠的循环神经网络:
S41,按下式构建双头自注意力机制,用于获取两个增量子值
X(i)∈RN×F,i=1,2,...T
其中,MultiHeadAtt(·)为双头自注意力机制函数;为第t个时间段的第一增量子值,/>为第t个时间段的第二增量子值,上标(t)表示第t个时间段;X(i)为第i个时间段的输入值,即第i个时间段的各个待预测子区域的交通流数据特征,i=1,2,...T。
多头自注意力机制的计算原理如下:
MultiHeadAtt_socre=concat(head_socreg)Wo,g=1,2,...G
其中,Q、K、V分别为输入值形成的Query、Key、Value向量,分别由输入值进行不同的线性变换得到,dk为数据特征长度,G为总头数,本发明中G=2,Wo为参数矩阵。但是,本发明模型为了保持两个子值的维度与输入维度相同,首先需将自注意力中的Q、K、V进行了多头维度扩展,此外不进行最后的concat操作即多头连接操作,直接输出多头注意力分数作为增量子值。
S42,定义p为保持原方向的概率,为逆转概率即与原方向相反方向的概率,方向是指交通流量的增长或下降;
根据交通流变化的规律性合理假设其预测变化值概率服从指数族分布,一般形式为:
其中,ψ(Δ(t))分别为该数据分布的自然参数及充分统计量(基函数),因此根据统计学习的基本概念容易得到预测概率分布p为sigmoidal函数的形式;
按下式利用第t个时间段的第二增量子值计算第t个时间段的逆转概率/>及逆转方向direction:
其中,σ(·)表示sigmoid函数;p(t)表示第t个时间段的交通流量保持原方向的概率,即保持增长或保持下降的概率;表示第t个时间段的交通流量的逆转概率;Δ(i)表示第i个时间段的交通流量的增量;α∈(0,1)、β∈(0,1)均为系数,按经验设置其分别为0.5;direction表示逆转方向,direction取值为正值即为保持原方向,direction取值为负值即为与原方向相反方向;
S43,按下式由第t个时间段的第二增量子值计算第t个时间段的增量大小δ(t):
其中,RELU表示relu非线性激活函数,W、b均为前馈神经网络投影矩阵参数,W为系数矩阵,b为偏置向量;
并将第t个时间段的第一增量子值作为第t个时间段的输出预测基值h(t),即
S44,根据步骤S42和S43的计算结果,按下式计算第t个时间段的完整增量Δ(t)即不确定度余量:
Δ(t)=λ(2p(t)-1)δ(t)
其中,λ为缩放系数;
S45,按照下式构建计算单元ADD-GCGRU:
Δ(t)=λ(2p(t)-1)δ(t)
r(t)=σ(Θr*G[h(t);H(t-1)])
u(t)=σ(Θu*G[h(t);H(t-1)])H(t)=u(t)⊙H(t-1)+(1-u(t))⊙C(t)
O(t)=W2([H(t);h(t)]+Δ(t))
其中,*G表示一阶切比雪夫图卷积,[·;·]代表连接操作,⊙为Hadamard乘积,H(t)表示第t个时间段的隐藏状态值,Θr、Θc、Θu均为图卷积核,Tanh为非线性激活函数,r(t)、C(t)、u(t)均为中间变量,O(t)为计算单元ADD-GCGRU的最终输出值,其是隐藏状态值与预测基值连接后再与不确定度余量Δ(t)求和的线性映射值,W2为参数矩阵。
其中,一阶切比雪夫图卷积公式如下:
其中,X为时空图数据,gθ表示图卷积算子,θ为待学习卷积矩阵,W为图邻接矩阵,I为单位矩阵,为如下对角阵:
其中,diag(·)表示对角矩阵,dii表示对角矩阵元素,表示矩阵/>第i行第j列的元素。
S46,以所述ADD-GCGRU计算单元为核心利用循环结构构建编码端,即将时间段t的计算单元输出的隐藏状态值H(t)和不确定度余量Δ(t)输入到下一个时间段t+1的计算单元作为输入,而输出值O(t)则输入到下一层即自注意力机制层中计算新的增量子值,以此实现横向循环和纵向堆叠。
S47,使用所述ADD-GCGRU计算单元结构构建解码端,通过交叉注意力机制连接所述编码端和解码端,得到编码-解码堆叠的循环神经网络,并设置网络所有隐藏状态神经元数目为64,输入全连接层神经元设置为64,输出全连接层神经元个数设置为1。
交叉注意力机制和解码端的计算步骤如下所示:
获取预测长度Ty,编码端输出的隐藏状态值H(0);
计算
得出
从i=1开始,到i=Ty-1结束,
依次计算
计算得到
其中,为第t个时间段的解码端输出的预测值,由计算单元ADD-GCGRU得到,对应于计算单元的输出值O(t);/>为事先随机设定的初始值,先设定一个初始值/>然后写进MultiHeadAtt里当做输入;/>表示第t个时间段的解码端的预测基值;/>表示第t个时间段的解码端的完整增量。
S5,利用步骤S3所得的时空图数据,训练交通流预测模型;
S51,取步骤S3所得的时空图数据的70%作为训练数据,20%作为验证数据,10%作为测试数据,使用z-score方法对时空数据进行标准化;
其中,z-score方法的标准化公式如下:
其中,x′为标准化后数据,x为原数据,μ为样本均值,σ为样本标准差。
S52,将标准化后的训练数据输入步骤S4所得的交通流预测模型中进行模型训练,设置编码端堆叠层数为2即两层自注意力机制层和两层循环网络,解码端层数为1即一层循环网络,通过交叉注意力机制把编码端转换到解码端;其中,编码端每一层都使用残差连接来提高模型收敛速度,训练使用Adam梯度下降优化算法迭代更新模型参数,直到损失函数MAE收敛或达到最大迭代次数为止,得到训练后的交通流预测模型;本实施例中,使用初始学习率0.001,并从第20轮迭代训练后开始以0.6的下降率进行学习率衰减,损失函数MAE为如下表达式:
其中,B为梯度下降算法的批次大小,N为时空图的结点数目,T为预测序列长度即时间段总个数,yijk为第i个批次的第j个待预测子区域在第k个时间段的交通流真实值,为第i个批次的第j个待预测子区域在第k个时间段的交通流预测值。
S6,利用训练后的交通流预测模型,依次预测下一时刻的交通流量。
S61,根据步骤S51,使用z-score方法对测试数据进行标准化;
S62,将标准化后的测试数据输入步骤S52得到的训练后的交通流预测模型中,得到输出值,使用z-score逆运算对输出值进行去标准化得到预测值。
S7,设计评价指标对偏移程度进行评价:
使用如下两种指标对预测误差进行评估:
S71,将步骤S6所得预测值以及对应的真实值分别按时间顺序展平,分别得到预测序列和真实序列;从预测序列中取待评估序列切片P=[pre_len:];从真实序列中分别取两个真实值序列切片,分别为L1=[pre_len:]、L2=[:pre_len],其中,pre_len表示单次预测长度,即单次预测的一个时间段的长度;
S72,分别将所得的待评估序列切片P,以及两个真实值序列切片L1、L2中每个元素,均按下式进行概率归一化,得到概率归一化的待评估序列切片以及两个概率归一化的真实值序列切片/>
其中,K为序列长度即序列中的元素总个数,exp(·)表示以自然常数e为底的指数函数,zj表示原始序列切片中的第j个元素,表示概率归一化后的序列切片中的第j个元素;
序列切片是所有预测值展平后得到的,每次预测模型输出得到的是单次预测长度的预测值,比如预测一个5min时间段的交通流,做模型测试的时候是把后面所有的预测值都预测出来,包括很多个5min的时间段的预测值(即K个)连在一起整体和真实值作比较。
S73,设计如下式所示的评价指标e即偏移散度差分值SDD,对预测值进行时滞评估:
其中,KL(·)表示相对熵或Kullback-Leibler散度,ak、bk分别为一维概率分布序列A、B中的元素,pc(·)为概率值,即概率分布;即分别求概率归一化的待评估序列切片与概率归一化的真实值序列切片/>的KL散度,以及概率归一化的待评估序列切片/>与概率归一化的真实值序列切片/>的KL散度,并将两个KL散度的差值作为评价指标e,评价指标e的值越小即表示偏移的似真度越小,即偏移出现的可能性越小。
本实施例中,结合实验仿真结果对本发明效果进行说明。
仿真环境及参数设置具体如下所示:
仿真环境的CPU为AMD Ryzen 55600G with Radeon Graphics 3.90GHz,GPU为NVIDIA GeForce GTX 1660SUPER。设置固定随机种子数为99,网络模型的训练批次大小为128,迭代次数为100次,循环网络的隐藏神经元数目为64,输入数据的特征纬度为5,输出特征纬度为1,编码端2层,解码端1层。
仿真结果对比下表1所示:
标1各模型指标对比
由表1可见,本发明模型一种针对时间序列预测偏移问题的利用自注意力机制和循环图卷积神经网络,在提升了交通流预测精度的同时,实现了对时序预测中偏移程度的削弱。另外,如图3的仿真结果所示,本发明可以利用充满高频噪声的交通流数据预测出相对平滑的交通流,精确捕捉到了交通流的周期性以及变化趋势。
以上仅为本发明创造的较佳实施例而已,并不用以限制本发明创造,凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明创造的保护范围之内。
Claims (4)
1.基于自注意力机制和循环图卷积网络的交通流预测方法,其特征在于,包括如下步骤:
S1,预处理交通流数据:根据时间戳及车牌号对交通流数据进行合并去重;
S2,按经纬度划分并选择待预测子区域:确定采集区域的经纬度范围,对采集区域进行网格划分,获得N个待预测子区域;
S3,根据待预测子区域的交通流数据构建时空图,具体如下所示:
S31,针对各个待预测子区域的交通流数据进行数据划分,将交通流数据按照Δt的时间片大小进行划分,划分为T个时间段;
S32,分别对各个待预测子区域在各个时间段内的交通流数据进行特征提取,特征包括:时间戳、单位时间车流量即交通流量、定位数目、零速度数目、标志位;
S33,根据各个待预测子区域在各个时间段内的交通流数据特征,得到时空图数据D∈RN ×T×F,其中,N为结点数目即待预测子区域总个数,T为时间段总个数,F为特征总个数;
S4,构建交通流预测模型,所述交通流预测模型采用编码-解码堆叠的循环神经网络,具体如下所示:
S41,按下式构建双头自注意力机制,用于获取两个增量子值
X(i)∈RN×F,i=1,2,...T
其中,MultiHeadAtt(·)为双头自注意力机制函数;为第t个时间段的第一增量子值,/>为第t个时间段的第二增量子值,上标(t)表示第t个时间段;X(i)为第i个时间段的输入值,即第i个时间段的各个待预测子区域的交通流数据特征,i=1,2,...T;
S42,定义p为保持原方向的概率,为逆转概率即与原方向相反方向的概率,方向是指交通流量的增长或下降;按下式利用第t个时间段的第二增量子值/>计算第t个时间段的逆转概率/>及逆转方向direction:
其中,σ(·)表示sigmoid函数;p(t)表示第t个时间段的交通流量保持原方向的概率,即保持增长或保持下降的概率;表示第t个时间段的交通流量的逆转概率;Δ(i)表示第i个时间段的交通流量的增量;α∈(0,1)、β∈(0,1)均为系数;direction表示逆转方向,direction取值为正值即为保持原方向,direction取值为负值即为与原方向相反方向;
S43,按下式由第t个时间段的第二增量子值计算第t个时间段的增量大小δ(t):
其中,RELU表示relu非线性激活函数,W、b均为前馈神经网络投影矩阵参数,W为系数矩阵,b为偏置向量;
并将第t个时间段的第一增量子值作为第t个时间段的输出预测基值h(t),即
S44,根据步骤S42和S43的计算结果,按下式计算第t个时间段的完整增量Δ(t)即不确定度余量:
Δ(t)=λ(2p(t)-1)δ(t)
其中,λ为缩放系数;
S45,按照下式构建计算单元ADD-GCGRU:
Δ(t)=λ(2p(t)-1)δ(t)
r(t)=σ(Θr*G[h(t);H(t-1)])C(t)=Tanh(Θc*G[h(t);(r(t)⊙H(t-1))])
u(t)=σ(Θu*G[h(t);H(t-1)])H(t)=u(t)⊙H(t-1)+(1-u(t))⊙C(t)
O(t)=W2([H(t);h(t)]+Δ(t))
其中,*G表示一阶切比雪夫图卷积,[·;·]代表连接操作,⊙为Hadamard乘积,H(t)表示第t个时间段的隐藏状态值,Θr、Θc、Θu均为图卷积核,Tanh为非线性激活函数,r(t)、C(t)、u(t)均为中间变量,O(t)为计算单元ADD-GCGRU的输出值,W2为参数矩阵;
S46,以所述计算单元ADD-GCGRU为核心利用循环结构构建编码端;
S47,使用所述计算单元ADD-GCGRU的结构构建解码端,通过交叉注意力机制连接所述编码端和解码端,得到编码-解码堆叠的循环神经网络;
S5,利用步骤S3所得的时空图数据,训练交通流预测模型;
S6,利用训练后的交通流预测模型,预测下一时刻的交通流量。
2.根据权利要求1所述的基于自注意力机制和循环图卷积网络的交通流预测方法,其特征在于,在步骤S6之后,还包括如下步骤:
S7,设计评价指标对预测值的偏移程度进行评价,具体如下所示:
S71,将步骤S6所得预测值以及对应的真实值分别按时间顺序展平,分别得到预测序列G和真实序列R;从预测序列G中取待评估序列切片P=G[pre_len:];从真实序列R中分别取两个真实值序列切片,分别为L1=R[pre_len:]、L2=R[:pre_len],其中,pre_len表示单次预测长度,即单次预测所对应的一个时间段的长度;
S72,分别将待评估序列切片P,以及两个真实值序列切片L1、L2中每个元素,均按下式进行概率归一化,得到概率归一化的待评估序列切片以及两个概率归一化的真实值序列切片/>
其中,K为序列长度即序列切片中的元素总个数即时间段总个数,exp(·)表示以自然常数e为底的指数函数,zj表示原始序列切片中的第j个元素,表示概率归一化后的序列切片中的第j个元素;
S73,设计如下式所示的评价指标e即偏移散度差分值SDD,对预测值进行时滞评估:
其中,KL(·)表示相对熵或Kullback-Leibler散度,ak、bk分别为一维概率分布序列A、B中的元素,pc(·)为概率值;评价指标e的值越小表示偏移的似真度越小,即偏移出现的可能性越小。
3.根据权利要求1所述的基于自注意力机制和循环图卷积网络的交通流预测方法,其特征在于,步骤S5的具体方式如下所示:
S51,取步骤S3所得的时空图数据的70%作为训练数据,20%作为验证数据,10%作为测试数据,使用z-score方法对训练数据和验证数据进行标准化;
S52,将标准化后的训练数据输入步骤S4所得的交通流预测模型中进行模型训练,使用Adam梯度下降优化算法迭代更新模型参数,直到损失函数MAE收敛或达到最大迭代次数为止,得到训练后的交通流预测模型;
步骤S6的具体方式如下所示:
S61,根据步骤S51,使用z-score方法对测试数据进行标准化;
S62,将标准化后的测试数据输入步骤S52得到的训练后的交通流预测模型中,得到输出值,使用z-score逆运算对输出值进行去标准化得到预测值。
4.根据权利要求1所述的基于自注意力机制和循环图卷积网络的交通流预测方法,其特征在于,步骤S46中,以所述计算单元ADD-GCGRU为核心利用循环结构构建编码端,具体为:设置编码端堆叠层数为2,将第t个时间段的计算单元输出的隐藏状态值H(t)和不确定度余量Δ(t)输入到下一个时间段即第t+1个时间段的计算单元作为输入,将第t个时间段的计算单元的输出值O(t)输入到下一层中计算新的增量子值,以此实现横向循环和纵向堆叠。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211706583.0A CN115985098B (zh) | 2022-12-29 | 2022-12-29 | 基于自注意力机制和循环图卷积网络的交通流预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211706583.0A CN115985098B (zh) | 2022-12-29 | 2022-12-29 | 基于自注意力机制和循环图卷积网络的交通流预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115985098A CN115985098A (zh) | 2023-04-18 |
CN115985098B true CN115985098B (zh) | 2023-08-29 |
Family
ID=85971893
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211706583.0A Active CN115985098B (zh) | 2022-12-29 | 2022-12-29 | 基于自注意力机制和循环图卷积网络的交通流预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115985098B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3819809A1 (en) * | 2019-11-08 | 2021-05-12 | PolyAI Limited | A dialogue system, a method of obtaining a response from a dialogue system, and a method of training a dialogue system |
CN113947182A (zh) * | 2021-09-24 | 2022-01-18 | 西安理工大学 | 基于双阶段堆叠图卷积网络的交通流预测模型构建方法 |
CN114330671A (zh) * | 2022-01-06 | 2022-04-12 | 重庆大学 | 一种基于Transformer时空图卷积网络的交通流预测方法 |
CN114913689A (zh) * | 2022-06-01 | 2022-08-16 | 南通大学 | 一种基于先验知识时变图卷积网络的交通流预测方法 |
CN115392252A (zh) * | 2022-09-01 | 2022-11-25 | 广东工业大学 | 一种融合自注意力与层级残差记忆网络的实体识别方法 |
CN115423105A (zh) * | 2022-09-06 | 2022-12-02 | 中国人民解放军军事科学院系统工程研究院 | 一种预训练语言模型构建方法、系统及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11287894B2 (en) * | 2018-03-09 | 2022-03-29 | Adobe Inc. | Utilizing a touchpoint attribution attention neural network to identify significant touchpoints and measure touchpoint contribution in multichannel, multi-touch digital content campaigns |
CN112215223B (zh) * | 2020-10-16 | 2024-03-19 | 清华大学 | 基于多元注意力机制的多方向场景文字识别方法及系统 |
-
2022
- 2022-12-29 CN CN202211706583.0A patent/CN115985098B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3819809A1 (en) * | 2019-11-08 | 2021-05-12 | PolyAI Limited | A dialogue system, a method of obtaining a response from a dialogue system, and a method of training a dialogue system |
CN113947182A (zh) * | 2021-09-24 | 2022-01-18 | 西安理工大学 | 基于双阶段堆叠图卷积网络的交通流预测模型构建方法 |
CN114330671A (zh) * | 2022-01-06 | 2022-04-12 | 重庆大学 | 一种基于Transformer时空图卷积网络的交通流预测方法 |
CN114913689A (zh) * | 2022-06-01 | 2022-08-16 | 南通大学 | 一种基于先验知识时变图卷积网络的交通流预测方法 |
CN115392252A (zh) * | 2022-09-01 | 2022-11-25 | 广东工业大学 | 一种融合自注意力与层级残差记忆网络的实体识别方法 |
CN115423105A (zh) * | 2022-09-06 | 2022-12-02 | 中国人民解放军军事科学院系统工程研究院 | 一种预训练语言模型构建方法、系统及装置 |
Non-Patent Citations (1)
Title |
---|
基于全注意力机制的多步网络流量预测;郭佳;余永斌;杨晨阳;;信号处理(05);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN115985098A (zh) | 2023-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bi et al. | Tourism demand forecasting with time series imaging: A deep learning model | |
CN113053115B (zh) | 一种基于多尺度图卷积网络模型的交通预测方法 | |
CN108108854B (zh) | 城市路网链路预测方法、系统及存储介质 | |
Lahr et al. | Biproportional techniques in input-output analysis: table updating and structural analysis | |
Li et al. | Graph CNNs for urban traffic passenger flows prediction | |
CN110619419B (zh) | 城市轨道交通的客流预测方法 | |
CN111862592B (zh) | 一种基于rgcn的交通流预测方法 | |
CN113190688A (zh) | 基于逻辑推理和图卷积的复杂网络链接预测方法及系统 | |
CN111738477A (zh) | 基于深层特征组合的电网新能源消纳能力预测方法 | |
CN110135634A (zh) | 中长期电力负荷预测装置 | |
CN116227562A (zh) | 基于图神经网络与Transformer的时序点过程预测方法及系统 | |
CN113822499A (zh) | 一种基于模型融合的列车备件损耗预测方法 | |
CN116311921A (zh) | 一种基于多空间尺度时空Transformer的交通速度预测方法 | |
DE102023205594A1 (de) | Verfahren und Systeme zum Trainieren eines Maschinenlernmodells mit während eines Herstellungsprozesses erfassten Messdaten | |
CN116797274A (zh) | 一种基于Attention-LSTM-LightGBM的共享单车需求量预测方法 | |
Saliminezhad et al. | Validity of unbalanced growth theory and sectoral investment priorities in Indonesia: Application of feature ranking methods | |
CN115985098B (zh) | 基于自注意力机制和循环图卷积网络的交通流预测方法 | |
Dasgupta et al. | REIN: Reliability Estimation via Importance sampling with Normalizing flows | |
CN117764227A (zh) | 一种用于加油站的客户流失预测装置 | |
CN115809725A (zh) | 一种多因素短期电量预测方法及装置 | |
Nguyen et al. | Strategies of multi-step-ahead forecasting for chaotic time series using autoencoder and LSTM neural networks: a comparative study | |
CN114819053A (zh) | 基于时空卷积lstm的平均波向预报偏差订正方法 | |
Chen et al. | Multitime Resolution Hierarchical Attention‐Based Recurrent Highway Networks for Taxi Demand Prediction | |
Hila et al. | A Hybrid Neural Network Model to Forecast Arrival Guest in Malaysia | |
CN112613909A (zh) | 一种基于改进lstm模型的农产品短期价格预测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |