CN113487066A - 基于多属性增强图卷积-Informer模型的长时序货运量预测方法 - Google Patents
基于多属性增强图卷积-Informer模型的长时序货运量预测方法 Download PDFInfo
- Publication number
- CN113487066A CN113487066A CN202110678937.4A CN202110678937A CN113487066A CN 113487066 A CN113487066 A CN 113487066A CN 202110678937 A CN202110678937 A CN 202110678937A CN 113487066 A CN113487066 A CN 113487066A
- Authority
- CN
- China
- Prior art keywords
- time
- time sequence
- sequence
- long
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/067—Enterprise or organisation modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/083—Shipping
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Quality & Reliability (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Tourism & Hospitality (AREA)
- Game Theory and Decision Science (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Educational Administration (AREA)
- Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明基于多属性增强图卷积‑Informer模型的长时序货运量预测方法,属于长时序货运量预测方法技术领域;所要解决的技术问题为:提供基于多属性增强图卷积‑Informer模型的长时序货运量预测方法的改进;解决上述技术问题采用的技术方案为:建立交通流量时序信息数据集;建立货运车辆载货重量时序信息数据集;建立客观动态、静态外部影响因素数据集;构建时序属性增强特征矩阵;构建站点网络结构拓扑图,将计算得到的邻接矩阵的对称归一化拉普拉斯矩阵与时序属性增强特征矩阵同时作为图卷积神经网络模型的输入;将图神经网络模型输出的已编码长时序属性增强特征作为Informer框架的输入,进行训练并学习,最终实现对未来长时序货运量的预测;本发明应用于货运流量预测。
Description
技术领域
本发明基于多属性增强图卷积-Informer模型的长时序货运量预测方法,属于长时序货运 量预测方法技术领域。
背景技术
随着我国国民经济高速发展,人民消费水平增长,数字电商等领域的兴起都大大促进了 物流运输行业的高速发展。公路货运作为最主要的货物流通方式,物流运输行业中的重要组 成部分,其发展规模持续扩大。在此发展过程中,公路建设现状也暴露出公路货运数字化水 平较低,数据挖掘与数据分析能力欠缺等问题,导致公路货运统筹安排及管理能力的不足。
近年来智慧交通系统(Intelligent Traffic System,简称ITS)越来越引起交通行业相关部 门重视,该系统运用多种先进尖端技术,如人工智能,大数据,云计算,5G通信与物联网 等,实现用数据驱动业务,深度挖掘数据价值,以应对路网规模扩张带来的各种挑战与机 遇,提升相关部门对交通行业宏观决策能力,同时提升公路货运统筹安排管理能力。
当前在交通情况调查系统的研究与应用上,单一属性的交通流量预测技术占据主要地 位,路网建设评价分析,行程时间预估等智慧交通新系统子系统的众多数据分析管理工作都 离不开对交通流量的实时监控与准确预测。例如经典的统计类模型,差分整合移动平均自回 归(ARIMA)模型方法以及支持向量回归(SVR)模型方法;对大规模高维非线性数据特 征分析能力更强的深度学习相关模型,深度置信网络以及堆栈自动编码神经网络;处理空间 信息的图卷积神经网络与处理时序信息的循环神经网络相结合的时空特征分析模型,上述模 型从不同角度切入,均从一定程度上实现了交通流量预测功能。但公路货运作为公路道路运 输的主要组成部分之一,主流方法中鲜有对这一指标的预测研究,且无法直接将现有主流方 法应用于该领域的一个重要原因在于单一属性的交通流量预测方法未考虑将货运量相关特征 与交通流量特征相关联。
另一方面,现存少数对货运量进行预测分析的解决方法也存在着对客观现实条件中动 态,静态特征考虑不全面的问题,例如未考虑天气因素对公路货运的影响,具体来说,天气 情况对道路运输状态能够产生较大影响,例如晴天道路运输效率较高,雨天,雾天等道路能 见路较低的天气,由于车速降低,拥堵等事件发生概率提升,道路运输效率通常下降明显, 该影响也将直接在货运量与交通流量中体现,因此采集天气数据作为货运量外部影响因素特 征之一的重要性不言而喻。再如对城市交通流量进行预测的场景中,多数方法曾提出采用兴 趣点信息作为静态信息对路段进行分类,兴趣点(POI)是地理信息系统中一个术语,着重 抽象与人们生活密切相关的地理实体,例如学校,银行,医院,餐馆等。兴趣点对城市交通 流量预测可提供足够特征信息,例如若该路段餐厅较多,则根据兴趣点信息分类为用餐路 段,在用餐高峰时间段该路段交通流量明显变化。但由于货运公路路段并没有足够参考的地 理对象,兴趣点信息也就无法对公路路段进行分类,亦无法对于公路货运提供足量有效特征 信息。
除此之外,现存方法亦存在着对长时序货运量的预测能力弱,预测效率低等缺点,具体 来说,货运量预测需要以较大时间跨度进行公路货运的统筹安排,这需要货运量预测方法能 够达到预测未来一周,甚至几周的货运量变化趋势。如此长的时间周期必然包含了数量众多 的时间节点,但现有方法中采用的LSTMs(Long short-term memory network)因循环神经网 络结构造成固有的长序列依赖以及梯度消失问题使其无法对长时序问题进行精准预测。以两 小时为计算时间间隔,该类方法仅能利用前一天至两天(12至24个时间节点)的时序信息 对未来几小时(1至6个时间节点)的货运量信息进行准确预测,若强行拉长预测时间范 围,则预测精度会大大下降,模型计算效率也会大大降低,综上该类方法显然并不能完全满 足当前货运量预测的业务需求。
发明内容
本发明为了克服现有技术中存在的不足,所要解决的技术问题为:提供一种基于多属性 增强图卷积-Informer模型的长时序货运量预测方法的改进。
为了解决上述技术问题,本发明采用的技术方案为:基于多属性增强图卷积-Informer模 型的长时序货运量预测方法,包括如下步骤:
步骤一:在间隔时间内,根据车型分类采集高速公路各站点的所有通过货运车辆的流量 信息并在数据预处理后建立交通流量时序信息数据集X;
步骤二:根据各站点收集的货运车辆特征信息,结合交通流量时序信息数据集X,计算 单位时间内平均空车载重与平均总载重,得到货运车辆载货重量时序信息数据集Y;
步骤三:建立客观动态、静态外部影响因素数据集,分别是客观动态天气数据集D与 客观静态地理信息统计特征数据集S;
步骤四:对货运车辆载货重量时序信息数据集Y、客观动态天气数据集D中的时序特 征按时序切分,并将非时序特征分段通过属性增强模块进行拼接整合,得到时序属性增强特 征矩阵E;
步骤六:将站点邻接矩阵的对称归一化拉普拉斯矩阵与时序属性增强特征矩阵E同时 作为图卷积神经网络模型的输入,对路网拓扑结构的空间结构信息与货运量相关时序属性增 强特征矩阵时序信息进行编码并学习数据的空间依赖特征信息;
步骤七:将图神经网络模型输出的已编码长时序属性增强特征作为Informer框架的输 入,将上述编码信息输入Informer层进行训练并学习数据长时序依赖特征信息,最终实现对 未来长时序货运量的预测。
所述步骤一中采集的货运车辆的流量信息具体通过设置在高速公路上的微波测速雷达与 激光传感器获取货车的行驶速度信息,通过应变式窄条称重传感器与车检器获取货车的流量 信息与货运量信息。
所述步骤二具体为:
对单位时间内,在各站点分别对七类货车计算车流量X∈RN*P*C,计算每类货车单位时 间间隔内的总载重Zfull∈RN*P*C,并根据实际载重信息标定每类货车空车平均载重Zempty∈ RN*P*C,其中N为交调站点编号维度,P为时间序列节点编号维度,C为货车分类;
对上述信息进行数据预处理,主要采用数据清洗的方法,设定离群值,无效值的检查阈 值进行检测筛选,并对包含缺失值数据利用同类数据平均值进行替代操作;
最终计算货运车辆载货重量时序信息数据集Y∈RN*P,其中N为交调站点编号维度,P 为时间序列节点编号维度,计算公式如下:
所述步骤三中的客观动态天气数据集D的构建具体为:
采集各个站点单位时段内的天气数据,具体来说,将天气情况分为B类,同样以单位 时间为间隔,对每一段时间长度的天气信息进行归纳分类,得到客观动态天气数据集D∈ RN*P*B,其中N为交调站点编号维度,P为时间序列节点编号维度,B为天气分类。
所述步骤三中的客观静态地理信息统计特征数据集S的构建具体为:
采集各个站点的客观静态地理信息,具体来说,对每个站点计算其联通道路的加权平均 限速指标,其中不同限速路段长度占其总联通道路长度比例为权重,路段最高限速与最低限 速取均值作为计算数值,即可计算站点联通道路的加权平均限速值并总结为加权平均限速指 标S∈RN,其中N为交调站点编号维度。
所述步骤四中的时序属性增强特征矩阵E的计算公式为:Et=[Yt,Dt,S];
上式中:t为当前时刻,为当前时刻的历史货运重量数据序列,lseq为当前时 间序列长度;为当前时刻的历史天气数据序列与预测天气数据序列,lseq+lpre为时间序列长度,其中lpre为预测时间序列长度;S∈RN*1为静态限速指标;
所述步骤五具体为:
根据交通站点联通情况与路网结构建立基于无向无权图结构的邻接矩阵A∈RN*N,其中 N为交调站点编号维度;
邻接矩阵A的计算公式为:
对邻接矩阵A进行预处理,计算其对称归一化拉普拉斯矩阵,具体计算过程如下:
其中为IN单位矩阵。
所述步骤六中的图卷积神经网络模型采用两层结构设计,所述神经网络模型结构如下:
其中W0、W1分别为图卷积神经网络模型第一层与第二层的权重参数矩阵;σ为每一层 的激活函数。
所述步骤七中的Informer框架具体包括:
首先采用概率稀疏自注意力机制,概率稀疏自注意力的计算公式如下:
其次采用自注意力蒸馏操作减少特征图谱中的沉余特征,自注意力蒸馏方法公式如下:
最后采用生成型解码器实现一次前向过程即可对整个长时序输出序列进行解码预测,生 成型解码器的计算公式为:
本发明相对于现有技术具备的有益效果为:本发明针对公路货运量预测场景提出一种新 的客观地理信息统计特征,道路加权限速特征,为该场景提供有效的道路路况特征信息。首 先整合多种道路货运相关属性特征,具体包括客观动态天气特征,道路加权平均限速指标, 货运车辆载货重量以及货运车辆交通流量四种特征,根据上述四种特征信息建立时序属性增 强特征矩阵。将该特征矩阵与包含网络拓扑结构的道路节点邻接矩阵共同输入图卷积- Informer模型结构中,由图卷积神经网络学习货运公路路网的空间特征,同时Informer结构 学习属性增强特征矩阵中的长时序高维非线性货运量复合特征,从而实现满足决策支撑要求 的货运量预测功能。本发明充分考虑客观外部影响因素对货运交通流量的影响,考虑货运量 预测在实际应用,交通情况调查管理中的长时序预测需求,最终实现解决上述现有方法相对 应缺陷与问题,且模型算法计算效率与精确度大大提升。
附图说明
下面结合附图对本发明做进一步说明:
图1为本发明的属性增强图卷积-Informer模型的框架示意图;
图2为本发明的时序属性增强特征矩阵的结构示意图;
图3为本发明Informer结构示意图。
具体实施方式
如图1至图3所示,本发明提供的多属性增强图卷积-Informer的货运量预测模型方法, 以山西省公路作为具体的实施例,包括如下步骤。
(1)根据山西省普通国省干线公路237个交调站点,48个高速公路站点,3个典型通道轴载调查站点,对单位时间内,例如两小时为时间间隔,根据车型分类收集所有通过货运车辆的流量信息并在数据预处理后建立交通流量时序信息数据集X。
(2)根据各站点收集的货运车辆特征信息,包括货车轴重、轴数、车型等结合交通流 量时序信息X,计算单位时间内平均空车载重与平均总载重,从而得到货运车辆载货重量时 序信息数据集Y。
(3)分别建立客观动静态外部影响因素数据集,分别是客观动态天气数据集D与道路 加权平均限速指标(客观静态地理信息统计特征)数据集S。
(4)对上述时序特征按时序切分,并整合非时序特征分段通过属性增强模块(Attribute Augmentation Block)进行拼接整合得到时序属性增强特征矩阵E。
(6)将站点邻接矩阵的对称归一化拉普拉斯矩阵与时序属性增强特征矩阵E同时作 为图卷积神经网络模型输入,设计两层图卷积神经网络模型结构,对路网拓扑结构的空间结 构信息与货运量相关时序属性增强特征矩阵时序信息进行编码并学习数据的空间依赖特征信 息。
(7)将图神经网络模型输出的已编码长时序属性增强特征作为Informer框架的输入, 设计Informer层,将上述编码信息输入Informer层进行训练并学习数据长时序依赖特征信 息,最终实现对未来长时序货运量的预测。
下面结合附图对发明的技术方案进行详细说明。
本发明针对现有短时序货运量量预测模型的缺点与不足,提出一种基于多属性增强图卷 积-Informer模型的时序货运量预测方法,模型整体结构参见附图1,具体实施方案如下。
在山西省普通国省干线公路237个交调站点,48个高速公路站点,3个典型通道轴载 调查站点,架设微波测速雷达与激光传感器,依据实际情况分别架设1750mm应变式窄条称 重传感器,2000mm应变式窄条称重传感器与车检器,并利用上述设备采集所需流量信息与 货运量信息。
进一步,首先根据交通运输部发布《收费公路车辆通行费货车车型分类》,分类依据车 辆总轴数2至6轴及六轴以上,参考最大允许总质量,将货车分为7类(超过六轴货车为第 七类)。对单位时间内,例如两小时为时间间隔,在各站点分别对七类货车计算车流量X∈ RN*P*C,计算每类货车单位时间间隔内的总载重Zfull∈RN*P*C,并根据实际载重信息标定每类 货车空车平均载重Zempty∈RN*P*C,其中N为交调站点编号维度,P为时间序列节点编号维度,C为货车分类。对上述信息进行数据预处理,主要采用数据清洗的相关方法,设定离群值,无效值的检查阈值进行检测筛选,并对包含缺失值数据利用同类数据平均值进行替代操 作。
最终计算货运车辆载货重量时序信息数据集Y∈RN*P,其中N为交调站点编号维度,P 为时间序列节点编号维度。具体而言,首先计算每类货车单位时间车流量与每类货车空车平 均载重乘积得到每类货车单位时间总空车载重,再用单位时间间隔内的货车总载重减去总空 车载重得到每类货车单位时间间隔内的总载货量,最后计算所有类别货车总载货量总和得到 单位时间内货运车辆载货重量时序信息数据集,计算公式如下:
采集各个站点单位时段内的天气数据,具体来说,将天气情况分为B类,同样以单位 时间为间隔,对每一段时间长度的天气信息进行归纳分类,由于天气数据随时间动态变化, 该数据集即为客观动态天气数据集D∈RN*P*B,其中N为交调站点编号维度,P为时间序列节点编号维度,B为天气分类。
采集各个站点的客观静态地理信息,具体来说,对每个站点计算其联通道路的加权平均 限速指标,其中不同限速路段长度占其总联通道路长度比例为权重,路段最高限速与最低限 速取均值作为计算数值,即可计算站点联通道路的加权平均限速值并总结为加权平均限速指 标S∈RN,其中N为交调站点编号维度,由于该特征信息为静态特征,不随时序动态变 化,故对每一时序都可使用相同加权平均限速指标向量。根据交通运输部发布的《公路限速 标志设计规范》,我国公路限速设计决定了公路的容量水平,具体设计依据包括技术标准, 例如平纵线形,视距,桥梁隧道;路侧干扰,主要包括土地利用类型,路测开发程度;沿线 环境,主要包括地形地貌,地域特征等。综上,公路路段的客观环境,技术指标能够很大程 度上在限速指标中有所体现,道路加权平均限速指标因此能够作为客观静态地理信息作为公 路货运量预测的重要特征之一。
对载货重量时序特征信息Y与动态天气数据D进行时序分割,并对每一时刻的多种属 性进行拼接最终得到时序属性增强特征矩阵E,具体特征矩阵结构参见附图2,其中Et=[Yt,Dt,S],其中t为当前时刻,为当前时刻的历史货运重量数据序列,时间序 列长度为lseq;为当前时刻的历史天气数据序列与预测天气数据序列,时间序列长度为lseq+lpre,其中lpre为预测时间序列长度,且应为历史时序的后续时间段,利用历史天气序列与预测天气序列结合共同对货运量预测时序提供天气特征信息;S∈RN*1为静态限速指标,该特征信息与时序无关;综上易得
根据全省交通站点联通情况与路网结构建立基于无向无权图结构的邻接矩阵A∈RN*N,其中N为交调站点编号维度,该邻接矩阵行列均为交通站点,大小为288*288,A(i,j)表示站点i与站点j的联通情况,A(i,j)=0则两站点不连通,A(i,j)=1则两站点联通。无向图 的邻接矩阵在进行傅里叶变换后可输入图卷积网络中进行卷积操作从而提取该邻接矩阵的空 间特征信息。因此需要对邻接矩阵A进行预处理,计算其对称归一化拉普拉斯矩阵,具体 计算过程如下:首先计算邻接矩阵与单位矩阵的加和,使得邻接矩阵与增强属 性特征矩阵进行后续特征提取时保证每个站点对自己站点所属的特征信息进行提取工作,随 后计算邻接矩阵的度矩阵最后计算对称归一化拉普拉斯矩阵归 一化步骤能够保证在邻接矩阵与增强属性特征矩阵进行后续特征提取时空间特征分布不发生 改变。
将站点邻接矩阵的对称归一化拉普拉斯矩阵与时序属性增强特征矩阵E同时作为图卷 积神经网络模型输入,其中图卷积神经网络模型采用两层结构设计,该过程基于图数据结构 对路网拓扑结构与相关特征信息进行编码学习,通过卷积操作实现对上述信息的空间依赖特 征进行扑捉提取,该神经网络模型结构如下:
其中W0、W1分别为图卷积神经网络模型第一层与第二层的权重参数矩阵,在模型训练 过程中学习得到;σ为每一层的激活函数,为模型提供非线性拟合能力。
采用Informer代替传统循环神经网络类模型,如RNN,LSTM,GRU等,Informer结 构参见附图3,对图神经网络模型输出的已编码长时序属性增强特征进行训练学习,最终实现对较长期货运量的预测功能。Informer结构是对基于Attention结构的Transformer结构性 能提升,通过采用概率稀疏自注意力机制,自注意力蒸馏机制,最大值池化下采样方法以及 生成型解码器实现对时间序列特征的长程依赖关系进行特征提取,从而实现对长时序的货运 量指标进行预测。
具体而言,Informer采用概率稀疏自注意力(ProbSparse Self-attention)机制,基于自注 意力(Self-attention)分布稀疏性,选取少数对注意力计算结果做出绝大部份贡献的权重, 忽略其他对注意力计算结果贡献较小的权重,从而使该过程的计算复杂度下降,大大提升了 针对长时序特征向量自注意力计算效率,其中L为输入时间序列向量维度。ProbSparse Self- attention计算公式如下:
其中Attention机制实现对长时序特征中单位序列之间关联关系的特征提取过程,Q, K,V分别为:query,key,value,注意力机制计算过程的三类输入;为Q的稀疏矩阵;d 为比例因子。稀疏矩阵仅包含稀疏评估后的前u个queries,即挑选出对注意力计算贡献排名 前u个queries,与K进行点积操作计算权重,随后利用SoftMax方法对权重进行归一化并 乘以V得到最终的注意力计算结果。
其次,Informer框架采用自注意力蒸馏操作减少特征图谱中的沉余特征,提炼出更重要 的主导性特征从而提升注意力机制计算效率。自注意力蒸馏方法公式如下:
其中为上一层多头概率稀疏自注意力层(Multi-head ProbSparse self-attention)计 算结果,多头注意力通过对注意力机制三类输入进行多个不同线性变换投影,计算每个投影 的注意力结果并拼接实现从不同关注点多角度多方向提取单位时间序列之间的关联特征; conv1d为时间维度上的一维卷积,ELU为相对应激活函数,MaxPool为最大值池化操作, 该过程用于对输入下采样使输入长度减半,从而减少注意力计算量。
最后,Informer结构采用生成型解码器(Generative Style Decoder)用来改善传统编码- 解码器(Encoder-Decoder)框架缺陷。具体而言,传统解码器在训练和预测过程中采用不同 解码方式,训练过程中解码器利用输入的标签值进行解码,而预测过程因缺少标签值只能按 时间序列顺序动态解码,该过程需要利用必要历史时间序列隐状态计算当前隐状态并预测当 前时刻输出,该动态解码过程导致在长时间序列预测时性能下降明显。
生成型解码器则能够避免动态解码过程,实现一次前向过程即可对整个长时序输出序列 进行解码预测。该过程改变了解码输入结构,具体为:
其中Ltoken为输入时间序列长度,Ly为输出预测序列长度,dmodel为模型维度,为输出 预测序列占位符,为t时刻解码器输入,为输入起始符号(StartToken),传统 解码器中起始符号采用特殊标记的设计用来为模型标记序列起始位置,而Informer中起始符 号为编码器输入中截取的片段序列用于前向计算过程。
综上,本发明采用Informer结构对图卷积神经网络后的长时序属性增强特征进行学习, 提升模型对长时序数据间的依赖联系的理解能力,提高了对长时序货运量的预测效率与预测 性能。
本发明采用均方根误差(RMSE),平均绝对误差(MAE),与准确率(Accuracy)三 种评估指标对模型预测能力进行评估,其中均方根误差与平均绝对值误差值越小,预测误差越小则说明模型性能越强;精确度值越大则说明模型预测精度越高,预测越准确。评估标准公式如下,其中Yt为t时刻真实值,为t时刻模型输出预测值:
均方根误差:
平均绝对误差:
准确率:
本发明提出一种多属性增强图卷积-Informer的长时序交通流量预测模型方法,针对公路 货运量预测场景提出一种新的客观地理信息统计特征,道路加权限速特征,为该场景提供有 效的道路路况特征信息。首先整合多种道路货运相关属性特征,具体包括客观动态天气特 征,道路加权平均限速指标(客观地理信息统计特征),货运车辆载货重量以及货运车辆交 通流量四种特征,根据上述四种特征信息建立时序属性增强特征矩阵。将该特征矩阵与包含 网络拓扑结构的道路节点邻接矩阵共同输入图卷积-Informer模型结构中,由图卷积神经网络 学习货运公路路网的空间特征,同时Informer结构学习属性增强特征矩阵中的长时序高维非 线性货运量复合特征,从而实现满足决策支撑要求的货运量预测功能。具体来讲,以两小时 时间间隔为例,该方法可以实现利用历史一周至一个月(90至360个时间节点)的时序信 息对未来一天至一周(12至90个时间节点)的货运量进行预测分析。该方法充分考虑客观 外部影响因素对货运交通流量的影响,考虑货运量预测在实际应用,交通情况调查管理中的 长时序预测需求,最终实现解决上述现有方法相对应缺陷与问题,且模型算法计算效率与精 确度大大提升。
关于本发明具体结构需要说明的是,本发明采用的各部件模块相互之间的连接关系是确 定的、可实现的,除实施例中特殊说明的以外,其特定的连接关系可以带来相应的技术效 果,并基于不依赖相应软件程序执行的前提下,解决本发明提出的技术问题,本发明中出现 的部件、模块、具体元器件的型号、连接方式除具体说明的以外,均属于本领域技术人员在 申请日前可以获取到的已公开专利、已公开的期刊论文、或公知常识等现有技术,无需赘 述,使得本案提供的技术方案是清楚、完整、可实现的,并能根据该技术手段重现或获得相 应的实体产品。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参 照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以 对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替 换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范 围。
Claims (9)
1.基于多属性增强图卷积-Informer模型的长时序货运量预测方法,其特征在于:包括如下步骤:
步骤一:在间隔时间内,根据车型分类采集高速公路各站点的所有通过货运车辆的流量信息并在数据预处理后建立交通流量时序信息数据集X;
步骤二:根据各站点收集的货运车辆特征信息,结合交通流量时序信息数据集X,计算单位时间内平均空车载重与平均总载重,得到货运车辆载货重量时序信息数据集Y;
步骤三:建立客观动态、静态外部影响因素数据集,分别是客观动态天气数据集D与客观静态地理信息统计特征数据集S;
步骤四:对货运车辆载货重量时序信息数据集Y、客观动态天气数据集D中的时序特征按时序切分,并将非时序特征分段通过属性增强模块进行拼接整合,得到时序属性增强特征矩阵E;
步骤六:将站点邻接矩阵的对称归一化拉普拉斯矩阵与时序属性增强特征矩阵E同时作为图卷积神经网络模型的输入,对路网拓扑结构的空间结构信息与货运量相关时序属性增强特征矩阵时序信息进行编码并学习数据的空间依赖特征信息;
步骤七:将图神经网络模型输出的已编码长时序属性增强特征作为Informer框架的输入,将上述编码信息输入Informer层进行训练并学习数据长时序依赖特征信息,最终实现对未来长时序货运量的预测。
2.根据权利要求1所述的基于多属性增强图卷积-Informer模型的长时序货运量预测方法,其特征在于:
所述步骤一中采集的货运车辆的流量信息具体通过设置在高速公路上的微波测速雷达与激光传感器获取货车的行驶速度信息,通过应变式窄条称重传感器与车检器获取货车的流量信息与货运量信息。
3.根据权利要求1所述的基于多属性增强图卷积-Informer模型的长时序货运量预测方法,其特征在于:所述步骤二具体为:
对单位时间内,在各站点分别对七类货车计算车流量X∈RN*P*C,计算每类货车单位时间间隔内的总载重Zfull∈RN*P*C,并根据实际载重信息标定每类货车空车平均载重Zempty∈RN *P*C,其中N为交调站点编号维度,P为时间序列节点编号维度,C为货车分类;
对上述信息进行数据预处理,主要采用数据清洗的方法,设定离群值,无效值的检查阈值进行检测筛选,并对包含缺失值数据利用同类数据平均值进行替代操作;
最终计算货运车辆载货重量时序信息数据集Y∈RN*P,其中N为交调站点编号维度,P为时间序列节点编号维度,计算公式如下:
4.根据权利要求1所述的基于多属性增强图卷积-Informer模型的长时序货运量预测方法,其特征在于:
所述步骤三中的客观动态天气数据集D的构建具体为:
采集各个站点单位时段内的天气数据,具体来说,将天气情况分为B类,同样以单位时间为间隔,对每一段时间长度的天气信息进行归纳分类,得到客观动态天气数据集D∈RN *P*B,其中N为交调站点编号维度,P为时间序列节点编号维度,B为天气分类。
5.根据权利要求1所述的基于多属性增强图卷积-Informer模型的长时序货运量预测方法,其特征在于:
所述步骤三中的客观静态地理信息统计特征数据集S的构建具体为:
采集各个站点的客观静态地理信息,具体来说,对每个站点计算其联通道路的加权平均限速指标,其中不同限速路段长度占其总联通道路长度比例为权重,路段最高限速与最低限速取均值作为计算数值,即可计算站点联通道路的加权平均限速值并总结为加权平均限速指标S∈RN,其中N为交调站点编号维度。
9.根据权利要求1所述的基于多属性增强图卷积-Informer模型的长时序货运量预测方法,其特征在于:所述步骤七中的Informer框架具体包括:
首先采用概率稀疏自注意力机制,概率稀疏自注意力的计算公式如下:
其次采用自注意力蒸馏操作减少特征图谱中的沉余特征,自注意力蒸馏方法公式如下:
最后采用生成型解码器实现一次前向过程即可对整个长时序输出序列进行解码预测,生成型解码器的计算公式为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110678937.4A CN113487066B (zh) | 2021-06-18 | 2021-06-18 | 基于多属性增强图卷积-Informer模型的长时序货运量预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110678937.4A CN113487066B (zh) | 2021-06-18 | 2021-06-18 | 基于多属性增强图卷积-Informer模型的长时序货运量预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113487066A true CN113487066A (zh) | 2021-10-08 |
CN113487066B CN113487066B (zh) | 2022-12-27 |
Family
ID=77935670
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110678937.4A Active CN113487066B (zh) | 2021-06-18 | 2021-06-18 | 基于多属性增强图卷积-Informer模型的长时序货运量预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113487066B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114036830A (zh) * | 2021-11-03 | 2022-02-11 | 厦门大学 | 基于多视图集成学习的公交车载重预测方法及装置 |
CN114330868A (zh) * | 2021-12-27 | 2022-04-12 | 西北工业大学 | 基于自注意力的个性化增强图卷积网络的客流预测方法 |
CN114422381A (zh) * | 2021-12-14 | 2022-04-29 | 西安电子科技大学 | 通信网络流量预测方法、系统、存储介质及计算机设备 |
CN114492992A (zh) * | 2022-01-25 | 2022-05-13 | 重庆邮电大学 | 一种基于Transformer的自适应时空图神经网络交通流预测方法及系统 |
CN114580617A (zh) * | 2022-03-11 | 2022-06-03 | 北京航空航天大学 | 基于时空图卷积网络的全国公路运输能力分布预测方法 |
CN114640695A (zh) * | 2022-04-24 | 2022-06-17 | 上海交通大学 | 一种智能工厂基于长序列双预测和informer的高频时序数据有效传输方法 |
CN115659003A (zh) * | 2022-09-06 | 2023-01-31 | 淮阴工学院 | 基于动态多任务图卷积的冷链多温混配推荐方法及装置 |
CN116146309A (zh) * | 2023-04-23 | 2023-05-23 | 浙江浙能迈领环境科技有限公司 | 船舶尾气处理系统及其方法 |
CN116306254A (zh) * | 2023-02-18 | 2023-06-23 | 交通运输部规划研究院 | 货车载重估计方法及其模型训练方法、装置 |
CN116629464A (zh) * | 2023-07-25 | 2023-08-22 | 阿里健康科技(中国)有限公司 | 货品的流向图数据的生成方法、装置、设备和介质 |
CN117217445A (zh) * | 2023-08-23 | 2023-12-12 | 北京交通大学 | 一种铁路多站货运需求预测方法和装置 |
CN117236843A (zh) * | 2023-08-30 | 2023-12-15 | 佳源科技股份有限公司 | 备品备件仓的备货预测方法、系统、计算机设备及介质 |
CN117290706A (zh) * | 2023-10-31 | 2023-12-26 | 兰州理工大学 | 一种时空卷积融合概率稀疏注意力机制的交通流预测方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170154347A1 (en) * | 2013-09-18 | 2017-06-01 | Simpler Postage, Inc. | Method and system for generating delivery estimates |
US20190057324A1 (en) * | 2017-08-18 | 2019-02-21 | International Business Machines Corporation | Predicting un-capacitated freight demand on a multi-hop shipping route |
CN109887282A (zh) * | 2019-03-05 | 2019-06-14 | 中南大学 | 一种基于层级时序图卷积网络的路网交通流预测方法 |
CN111563706A (zh) * | 2020-03-05 | 2020-08-21 | 河海大学 | 一种基于lstm网络的多变量物流货运量预测方法 |
CN112183862A (zh) * | 2020-09-29 | 2021-01-05 | 长春理工大学 | 一种城市路网的交通流量预测方法及系统 |
CN112216108A (zh) * | 2020-10-12 | 2021-01-12 | 中南大学 | 一种基于属性增强的时空图卷积模型的交通预测方法 |
CN112466444A (zh) * | 2020-11-11 | 2021-03-09 | 湖南德雅曼达科技有限公司 | 一种防护用品综合管理系统 |
CN112819213A (zh) * | 2021-01-22 | 2021-05-18 | 华南理工大学 | 基于深度学习网络的高速公路货运量预测方法及系统 |
-
2021
- 2021-06-18 CN CN202110678937.4A patent/CN113487066B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170154347A1 (en) * | 2013-09-18 | 2017-06-01 | Simpler Postage, Inc. | Method and system for generating delivery estimates |
US20190057324A1 (en) * | 2017-08-18 | 2019-02-21 | International Business Machines Corporation | Predicting un-capacitated freight demand on a multi-hop shipping route |
CN109887282A (zh) * | 2019-03-05 | 2019-06-14 | 中南大学 | 一种基于层级时序图卷积网络的路网交通流预测方法 |
CN111563706A (zh) * | 2020-03-05 | 2020-08-21 | 河海大学 | 一种基于lstm网络的多变量物流货运量预测方法 |
CN112183862A (zh) * | 2020-09-29 | 2021-01-05 | 长春理工大学 | 一种城市路网的交通流量预测方法及系统 |
CN112216108A (zh) * | 2020-10-12 | 2021-01-12 | 中南大学 | 一种基于属性增强的时空图卷积模型的交通预测方法 |
CN112466444A (zh) * | 2020-11-11 | 2021-03-09 | 湖南德雅曼达科技有限公司 | 一种防护用品综合管理系统 |
CN112819213A (zh) * | 2021-01-22 | 2021-05-18 | 华南理工大学 | 基于深度学习网络的高速公路货运量预测方法及系统 |
Non-Patent Citations (1)
Title |
---|
HAOYI ZHOU 等: ""Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting"", 《2021 AAAI BEST PAPER》 * |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114036830A (zh) * | 2021-11-03 | 2022-02-11 | 厦门大学 | 基于多视图集成学习的公交车载重预测方法及装置 |
CN114036830B (zh) * | 2021-11-03 | 2024-06-11 | 厦门大学 | 基于多视图集成学习的公交车载重预测方法及装置 |
CN114422381A (zh) * | 2021-12-14 | 2022-04-29 | 西安电子科技大学 | 通信网络流量预测方法、系统、存储介质及计算机设备 |
CN114330868A (zh) * | 2021-12-27 | 2022-04-12 | 西北工业大学 | 基于自注意力的个性化增强图卷积网络的客流预测方法 |
CN114492992A (zh) * | 2022-01-25 | 2022-05-13 | 重庆邮电大学 | 一种基于Transformer的自适应时空图神经网络交通流预测方法及系统 |
CN114580617A (zh) * | 2022-03-11 | 2022-06-03 | 北京航空航天大学 | 基于时空图卷积网络的全国公路运输能力分布预测方法 |
CN114640695A (zh) * | 2022-04-24 | 2022-06-17 | 上海交通大学 | 一种智能工厂基于长序列双预测和informer的高频时序数据有效传输方法 |
CN115659003A (zh) * | 2022-09-06 | 2023-01-31 | 淮阴工学院 | 基于动态多任务图卷积的冷链多温混配推荐方法及装置 |
CN116306254A (zh) * | 2023-02-18 | 2023-06-23 | 交通运输部规划研究院 | 货车载重估计方法及其模型训练方法、装置 |
CN116306254B (zh) * | 2023-02-18 | 2023-11-10 | 交通运输部规划研究院 | 货车载重估计方法及其模型训练方法、装置 |
CN116146309A (zh) * | 2023-04-23 | 2023-05-23 | 浙江浙能迈领环境科技有限公司 | 船舶尾气处理系统及其方法 |
CN116629464A (zh) * | 2023-07-25 | 2023-08-22 | 阿里健康科技(中国)有限公司 | 货品的流向图数据的生成方法、装置、设备和介质 |
CN116629464B (zh) * | 2023-07-25 | 2023-09-29 | 阿里健康科技(中国)有限公司 | 货品的流向图数据的生成方法、装置、设备和介质 |
CN117217445A (zh) * | 2023-08-23 | 2023-12-12 | 北京交通大学 | 一种铁路多站货运需求预测方法和装置 |
CN117236843A (zh) * | 2023-08-30 | 2023-12-15 | 佳源科技股份有限公司 | 备品备件仓的备货预测方法、系统、计算机设备及介质 |
CN117290706A (zh) * | 2023-10-31 | 2023-12-26 | 兰州理工大学 | 一种时空卷积融合概率稀疏注意力机制的交通流预测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113487066B (zh) | 2022-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113487066B (zh) | 基于多属性增强图卷积-Informer模型的长时序货运量预测方法 | |
CN113487061A (zh) | 一种基于图卷积-Informer模型的长时序交通流量预测方法 | |
Fang et al. | FTPG: A fine-grained traffic prediction method with graph attention network using big trace data | |
US20160125307A1 (en) | Air quality inference using multiple data sources | |
CN111242292B (zh) | 基于深度时空网络的od数据预测方法及系统 | |
CN109086926B (zh) | 一种基于组合神经网络结构的短时轨道交通客流预测方法 | |
CN106228808A (zh) | 基于浮动车时空网格数据的城市快速路旅行时间预测方法 | |
CN112419131B (zh) | 交通起讫点需求估算方法 | |
CN117494034A (zh) | 基于交通拥堵指数和多源数据融合的空气质量预测方法 | |
Deng et al. | The pulse of urban transport: Exploring the co-evolving pattern for spatio-temporal forecasting | |
CN115063972B (zh) | 基于图卷积和门控循环单元的交通速度预测方法和系统 | |
CN113051811A (zh) | 一种基于gru网络的多模式短期交通拥堵预测方法 | |
CN113345236A (zh) | 一种基于Transformer网络的时空交通状态预测方法 | |
CN115204477A (zh) | 一种上下文感知图递归网络的自行车流量预测方法 | |
Agga et al. | Short-term load forecasting: based on hybrid CNN-LSTM neural network | |
CN116663742A (zh) | 基于多因素和模型融合的区域运力预测方法 | |
Yang et al. | ST-FVGAN: filling series traffic missing values with generative adversarial network | |
CN115032719A (zh) | 一种基于机器学习LightGBM算法的空气质量预测方法 | |
Hu et al. | Vehicle travel destination prediction method based on multi-source data | |
CN118035777A (zh) | 基于时空图数据的空气污染物浓度预测方法及装置 | |
Ramhormozi et al. | Multi-task graph neural network for truck speed prediction under extreme weather conditions | |
Gui et al. | In‐Depth Analysis of Railway and Company Evolution of Yangtze River Delta with Deep Learning | |
Xue et al. | Traffic status evolution trend prediction based on congestion propagation effects under rainy weather | |
CN116612633A (zh) | 一种基于车路协同感知下的自适应动态路径规划方法 | |
CN114463978B (zh) | 一种基于轨道交通信息处理终端的数据监测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |