CN113780662B - 一种流量预测方法、装置、设备和介质 - Google Patents

一种流量预测方法、装置、设备和介质 Download PDF

Info

Publication number
CN113780662B
CN113780662B CN202111075590.0A CN202111075590A CN113780662B CN 113780662 B CN113780662 B CN 113780662B CN 202111075590 A CN202111075590 A CN 202111075590A CN 113780662 B CN113780662 B CN 113780662B
Authority
CN
China
Prior art keywords
time
space
module
graph
diagram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111075590.0A
Other languages
English (en)
Other versions
CN113780662A (zh
Inventor
王田
陈家辉
吕金虎
张宝昌
刘克新
池程
张钰雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
China Academy of Information and Communications Technology CAICT
Original Assignee
Beihang University
China Academy of Information and Communications Technology CAICT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University, China Academy of Information and Communications Technology CAICT filed Critical Beihang University
Priority to CN202111075590.0A priority Critical patent/CN113780662B/zh
Publication of CN113780662A publication Critical patent/CN113780662A/zh
Application granted granted Critical
Publication of CN113780662B publication Critical patent/CN113780662B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种流量预测方法，通过时空网络对历史流量数据进行处理，获得未来一段时间的流量数据，所述时空网络包括特征嵌入模块、时空图模块和输出模块；该方法包括以下步骤：将历史流量数据输入特征嵌入模块，获得图状态和图信号；将图状态和图信号输入时空图模块，通过时空图模块对图状态和图信号进行更新，将更新后的图状态和图信号输入输出模块，通过输出模块将更新后的图状态和图信号转化为流量数据输出。本发明公开的流量预测方法，具有预测准确率高、稳定性好、计算效率高、计算速度快、训练时间短等诸多优点。

Description

一种流量预测方法、装置、设备和介质
技术领域
本发明涉及一种流量预测方法，属于信息管理领域。
背景技术
信息管理系统在数据传输中承担着重要作用，但其承载弹性往往较小。因此只有对未来一段时间的流量数据有一个相对准确的预测，才能对网络系统进行最及时、最有效的调控。流量预测在交通系统、计算机网络系统、通信网络、工业互联网中具有重要的作用。在中小型城市中，伴随着交通布局的不合理，一旦对城市交通的调度稍有差错将直接导致经济、社会安全等方面的严重后果。合理的预测可提升城市交通网络的利用率，降低城市中发生交通拥堵的概率或者减少拥堵时间。计算机网络、通信网络、工业互联网等领域中的合理预测，可以保证数据的合理传输，保障系统的安全运行。
现有的预测方法，大都仅仅是历史数据进行简单的趋势拟合获得，准确率低。
此外，还有通过神经网络对流量进行预测的方法，但是由于训练数据量大，神经网络的训练时长较长，且预测花费时间较长，对设备计算能力要求高，预测准确率仍然偏低。
由于上述原因，有必要提出了一种训练时间短、对设备计算能力要求低、预测准确率高的流量预测方法。
发明内容
为了克服上述问题，本发明人进行了深入研究，设计出一种流量预测方法，通过时空网络对历史流量数据进行处理，获得未来一段时间的流量数据，所述时空网络包括特征嵌入模块、时空图模块和输出模块。
该方法包括以下步骤：
将历史流量数据输入特征嵌入模块，获得图状态和图信号；
将图状态和图信号输入时空图模块，通过时空图模块对图状态和图信号进行更新；
将更新后的图状态和图信号输入输出模块，通过输出模块将更新后的图状态和图信号转化为流量数据输出。
在一个优选的实施方式中，所述特征嵌入模块包括两个全连接层，两个全连接层的输入均为历史流量数据。
在一个优选的实施方式中，在特征嵌入模块中，一个全连接层的输出值通过矩阵变换函数转化为图状态，另一个全连接层的输出值连接时序嵌入矩阵后生成图信号。
在一个优选的实施方式中，在所述时空图模块中对输入该模块的数据进行时间相关性融合、空间相关性融合和时空相关性融合。
在一个优选的实施方式中，在所述时空图模块中设置有两个线性层，一个线性层对输入时空图模块的图状态进行线性变换获得Q向量，另一个线性层对输入时空模块的图状态进行线性变换获得K向量，将Q向量和K向量相乘即可获得时间维度的注意力矩阵，通过该注意力矩阵实现输入数据的时间相关性融合；
在所述时空图模块中设置有逐时间图卷积，输入时空图模块的图信号通过逐时间图卷积运算后获得V向量，该V向量包含了空间的相关性，实现了输入数据的空间相关性融合，
在时空图模块中，将注意力矩阵与V向量相乘，获得时空相关矩阵Xupdate，从而实现时间与空间的相关性融合。
在一个优选的实施方式中，所述逐时间图卷积的输出Xout可表示为：
其中，TimeWiseGC(Xin-sig)表示逐时间图卷积，Xin-sig表示逐时间图卷积的输入，σ()表示激活函数，算符表示相同时间维度的矩阵在该时间维度下相乘，W表示逐时间卷积核，A表示Xin-sig的邻接矩阵，/>表示邻接矩阵和自连接后的矩阵，/>表示度矩阵。
另一方面本发明还提供了一种流量预测装置，包括依次连接的特征嵌入模块、时空图模块和输出模块。
本发明还提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一项所述的方法。
本发明还提供了一种存储有计算机指令的计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述任一项所述的方法。
本发明所具有的有益效果包括：
(1)预测准确率高，稳定性好；
(2)计算效率高，计算速度快；
(3)训练时间短。
附图说明
图1示出根据本发明一种优选实施方式的流量预测方法流程示意图；
图2示出根据本发明一种优选实施方式的流量预测方法特征嵌入模块结构示意图；
图3示出根据本发明一种优选实施方式的流量预测方法时空图模块结构示意图；
图4示出根据本发明一种优选实施方式的流量预测方法输出模块结构示意图。
具体实施方式
下面通过附图和实施例对本发明进一步详细说明。通过这些说明，本发明的特点和优点将变得更为清楚明确。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
根据本发明提供的一种流量预测方法，通过时空网络对流量数据进行处理，获得未来一段时间的流量数据，所述时空网络包括特征嵌入模块、时空图模块和输出模块。
具体地，如图1所示，包括以下步骤：
将历史流量数据输入特征嵌入模块，获得图状态和图信号；
将图状态和图信号输入时空图模块，通过时空图模块对图状态和图信号进行更新，
将更新后的图状态和图信号输入输出模块，通过输出模块将更新后的图状态和图信号转化为流量数据输出，该流量数据即为预测的流量。
所述流量数据为车流量数据，所述车流量数据为一定时间段内车流量的总和，所述一定时间段优选为5分钟。
在本发明中，所述时空图模块为一种使用已知的时间长度为T的时空网络序列预测未来时间长度T’的时空网络序列的神经网络，
进一步地，在本发明中，将已知的时间长度为T的时空网络序列表示为
将未来时间长度T’的时空网络序列表示为： 其中G＝(V，E，A)表示空间网络，V为网络中节点的集合，E为网络中边的集合，A为网络的邻接矩阵。
进一步地，在本发明中，流量信息如何转化为时空图模块的输入是一个难点所在。
在本发明中，在流量数据在输入时空图模块之前，通过特征嵌入模块将流量数据转换为需要的图状态和图信号。
所述特征嵌入模块包括两个全连接层，两个全连接层的输入均为历史流量数据，全连接层的设置，使得时空图模块能够接受拥有多个节点特征的输入数据，其结构如图2所示。
在本发明中，t时刻的图状态表示为用于描述空间网络G的图级别；
t时刻的图信号表示为用于描述空间网络G的节点级别。
进一步地，在特征嵌入模块中，一个全连接层的输出值通过矩阵变换函数转化为图状态，优选地，所述矩阵变换函数为reshape函数。
更进一步地，所述图状态的生成可表示为：
Xstate＝σ(XinWstate) (一)
其中，Xstate表示图状态，σ()表示激活函数，优选为ReLU激活函数，Xin表示输入的流量数据，其矩阵维度记为T*N*Cin，T表示输入的历史数据的时间步长度，N为常数，本领域技术人员可根据需要自由设置，Cin表示输入特征维度；
Wstate为可训练的状态参数矩阵，
在特征嵌入模块中，另一个全连接层的输出值连接时序嵌入矩阵后作为图信号。
时序嵌入矩阵的加入，使得预测过程在利用流量数据的同时，还能够利用时序信息。
进一步地，所述图信号的生成可表示为：
其中，Xsignal表示图信号，其矩阵维度为T*N*dsignal，dsignal为常数，本领域技术人员可根据需要自由设置，σ()表示激活函数，优选为ReLu函数，Xin表示输入的流量数据，Wsignal为可训练的信号参数矩阵，
WT为可训练的时序嵌入参数矩阵，
根据本发明，所述时空图模块的输入数据为图状态和图信号，对图状态和图信号进行时空特征捕获和更新，输出更新后的图状态和图信号。
进一步地，在所述时空图模块中对输入该模块的数据进行时间相关性融合、空间相关性融合、时空相关性融合。
具体地，如图3所示，在所述时空图模块中设置有两个线性层，分别为第一线性层和第二线性层，第一线性层对输入时空图模块的图状态进行线性变换获得Q向量，第二线性层对输入时空模块的图状态进行线性变换获得K向量，将Q向量和K向量相乘即可获得时间维度的注意力矩阵，通过该注意力矩阵实现输入数据的时间相关性融合。
在所述时空图模块中设置有逐时间图卷积，输入时空图模块的图信号通过逐时间图卷积运算后获得V向量，该V向量包含了空间的相关性，实现了输入数据的空间相关性融合。
进一步地，在时空图模块中，将注意力矩阵与V向量相乘，获得时空相关矩阵Xupdate，从而实现时间与空间的相关性融合，进而实现了全局的时空特征更新。
在一个优选的实施方式中，在注意力矩阵与V向量相乘之前，还对注意力矩阵进行回归处理，优选采用softmax回归器进行回归处理。
进一步地，在时空图模块中还具有第三线性层和第四线性层，通过第三线性层和第四线性层对时空相关矩阵进行特征的线性变换。
在本发明中，通过将图状态进行线性变换得到Q和K向量，将图信号进行特征增维和逐时间图卷积后得到V向量，使得在时间维度上进行Q、K相互匹配时，数据的时间相关性能够被得到，在对V进行加权求和时，包含有时间相关性的注意力得分能够与包含空间相关性的V向量充分融合，实现全局的时空特征更新。
进一步地，上述过程可以表示为注意力模型：
更优选地，所述注意力模型具有多个注意力头，多头使模型同时注意到处于不同特征空间内的信息，优选为4个注意力头，更优选地，每个注意力头的特征维度为32维。
更进一步地，第三线性层线性变换的特征与图状态的残差连接，作为更新后的图状态输出；第四线性层线性变换的特征与图信号的残差连接，作为更新后的图信号输出。
所述残差连接(residual connection)为机器学习模型中的一种经典结构，在本发明中不做特别赘述。
在一个优选的实施方式中，在更新后的图状态和更新后的图信号输出前，还对更新后的图状态和更新后的图信号进行归一化，以保证模型训练时的稳定性。
进一步地，更新后的图状态和图信号/>可以表示为：
其中LayerNorm表示归一化，和/>为可训练的参数矩阵，dv为常数，本领域技术人员可根据需要自由设置。
根据本发明，所述逐时间图卷积是以时间图卷积为基础改进获得的，传统的时间图卷积网络中，往往会在不同时间步中使用相同的卷积核提取空间特征，这一做法忽略了时空数据的时间异质性，为了克服这一限制，在本发明中，提出了逐时间图卷积运算。
所述逐时间图卷积的输出Xout可表示为：
其中，TimeWiseGC(Xin-sig)表示逐时间图卷积，Xin-sig表示逐时间图卷积的输入，σ()表示激活函数，优选为ReLU函数，算符表示相同时间维度的矩阵在该时间维度下相乘，W表示逐时间图卷积的卷积核，A表示Xin-sig的邻接矩阵，/>表示邻接矩阵和自连接后的矩阵，/>表示度矩阵。
进一步地，传统的时间图卷积中每一时间步的卷积核均相同，不同于传统的时间图卷积，在本发明中，所述逐时间图卷积中每一时间步对应的卷积核不完全相同，每一时间步的卷积核相互独立。
在一个优选的实施方式中，所述时空图模块具有多个，多个时空图模块依次连接，下一时空图模块接收上一时空图模块输出的更新后的图状态和更新后的图信号，再次进行时空特征捕获和更新后输出。根据本发明，使用多个模块能够提取到更深层、更复杂的时空特征，模块个数过少会导致提取到的时空特征过于简单或不能够完整描述数据的时空特征，过多会增加计算的时间复杂度。优选设置1～3个，更优选为设置3个。
在输出模块中，将输入该模块的图状态依次通过一个全连接层和softmax激活函数处理后得到时间维度的注意力，进一步地，将该时间维度的注意力与输入该模块的图信号相乘即可获得历史图信号，历史图信号通过双层全连接网络后即可获得流量数据，该流量数据即为最终的预测结果。
在一个优选的实施方式中，所述历史图信号的获得可以表示为：
其中，Xhis表示历史图信号，σ()激活函数，优选为ReLU函数，
W1∈N*1，W2∈dsignal*dhis，dhis为为常数，本领域技术人员可根据需要自由设置，W1、W2为两个可训练的参数矩阵，上标T表示转置。
在一个优选的实施方式中，历史图信号输出最终的预测结果经过的双层全连接网络为逐时间的双层全连接网络，从而使得历史图信号的时空异质性得以解决。
所述逐时间为一个时间步一个时间步依次进行。
进一步地，所述逐时间的双层全连接网络包括一个全连接层和一个时间前馈神经网络，所述逐时间的双层全连接网络可以表示为：
其中。
其中，y(i)表示逐时间的双层全连接网络的输出，i表示不同的时间步，i＝1，2，...，T′，T′表示需要预测的时间步的长度，W1 (i)表示第i时间步时的矩阵参数， dfuture为常数值，用于指代矩阵维度，W1 (i)、W2 (i)为第i时间步时的两个可训练矩阵参数。
另一方面，本发明还提供了一种流量预测装置，包括依次连接的特征嵌入模块、时空图模块和输出模块。
优选地，所述时空图模块可以具有多个，多个时空图模块串联在一起，串联的多个时空模块中，第一个时空图模块与特征嵌入模块相连，最后一个时空模块与输出模块相连。
进一步地，所述特征嵌入模块的输入为历史流量数据，输出为图状态和图信号，所述特征嵌入模块包括两个全连接层，一个全连接层的输出值通过矩阵变换函数转化为图状态，另一个全连接层的输出值连接时序嵌入矩阵后作为图信号。
所述时空图模块的输入为图状态和图信号，输出为更新后的图状态和更新后的图信号。
所述时空图模块中设置有两个线性层，分别为第一线性层和第二线性层，第一线性层对输入时空图模块的图状态进行线性变换获得Q向量，第二线性层对输入时空模块的图状态进行线性变换获得K向量，将Q向量和K向量相乘即可获得时间维度的注意力矩阵；
在所述时空图模块中设置有逐时间图卷积，逐时间图卷积对输入的图信号进行卷积运算获得V向量；
将注意力矩阵与V向量相乘，获得时空相关矩阵；
在所述时空图模块中还设置有两个线性层，
在时空图模块中还具有第三线性层和第四线性层，通过第三线性层和第四线性层对时空相关矩阵进行特征的线性变换。
更进一步地，第三线性层线性变换的特征与图状态的残差连接，作为更新后的图状态输出；第四线性层线性变换的特征与图信号的残差连接，作为更新后的图信号输出。
优选的，在注意力矩阵与V向量相乘之前，还设置有回归器，对注意力矩阵进行回归处理。
所述逐时间图卷积的输出Xout可表示为：
进一步地，逐时间卷积核中，每一时间步的逐时间卷积核相互独立。
所述输出模块具有一个输入全连接层，通过输入全连接层将输入的图状态转换为时间维度的注意力，将该时间维度的注意力与输入的图信号相乘获得历史图信号。
所述输出模块还具有逐时间的双层全连接网络，将历史图信号转化为预测结果，其包括一个全连接层和一个时间前馈神经网络，所述逐时间的双层全连接网络可以表示为：
本发明中以上描述的方法和装置的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的方法和装置，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的方法和装置实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(″Virtual Private Server″，或简称″VPS″)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明公开的技术方案所期望的结果，本文在此不进行限制。
实施例
实施例1
在数据集PEMS系列数据集上进行流量预测实验，PEMS系列数据集每5分钟记录一次流量，每小时输出12个流量值。
采用流量预测装置进行预测，所述流量预测装置包括依次连接的特征嵌入模块、时空图模块和输出模块，时空图模块数量为3个。
特征嵌入模块包括两个全连接层，一个全连接层的输出值通过矩阵变换函数转化为图状态，另一个全连接层的输出值连接时序嵌入矩阵后作为图信号。
其中，矩阵变换函数为reshape函数，图状态的生成为：
Xstate＝σ(XinWstate)
图信号特征的生成为：
其中，dsignal为128，N为2，Cin＝1；
时空图模块中设置有两个线性层，分别为第一线性层和第二线性层，第一线性层对输入时空图模块的图状态进行线性变换获得Q向量，第二线性层对输入时空模块的图状态进行线性变换获得K向量，将Q向量和K向量相乘获得时间维度的注意力矩阵；
在所述时空图模块中设置有逐时间图卷积，逐时间图卷积对输入的图信号进行卷积运算获得V向量；
将注意力矩阵与V向量相乘，获得时空相关矩阵，表示为注意力模型：
所述注意力模型具有4个注意力头，每个注意力头的特征维度为32维。
在所述时空图模块中还设置有第三线性层和第四线性层，通过第三线性层和第四线性层对时空相关矩阵进行特征的线性变换。第三线性层线性变换的特征与图状态的残差连接，作为更新后的图状态输出；第四线性层线性变换的特征与图信号的残差连接，作为更新后的图信号输出。
在注意力矩阵与V向量相乘之前，还设置有回归器，对注意力矩阵进行回归处理。
所述逐时间图卷积的输出Xout为：
逐时间卷积核中，每一时间步的逐时间卷积核相互独立。
所述输出模块具有一个输入全连接层，通过输入全连接层将输入的图状态转换为时间维度的注意力，将该时间维度的注意力与输入的图信号相乘获得历史图信号。
所述输出模块还具有逐时间的双层全连接网络，将历史图信号转化为预测结果，其包括一个全连接层和一个时间前馈神经网络，所述逐时间的双层全连接网络为：
其中，dhis＝256，dfuture＝128。
实验过程中，针对PEMS03、PEMS04、PEMS07和PEMS08数据集，采用训练集∶交叉验证集∶测试集＝0.6∶0.2∶0.2的比例分别进行训练、验证和测试，针对PeMSD7(M)和PeMSD7(L)数据集，采用训练集∶交叉验证集∶测试集＝0.8∶0.1∶0.2的比例分别进行训练、验证和测试。
在训练时，使用adam优化器，初始学习率设置为0.001，训练周期为200个Epoch。
对比例1
采用DCRNN模型进行与实施例1中相同的实验，所述DCRNN具体结构参见论文《Diffusion convolutional recurrent neural network：Data-driven trafficforecasting》Li Y，Yu R，Shahabi C，et al.Diffusion convolutional recurrentneural network：Data-driven traffic forecasting[J].arXiv preprint arXiv：1707.01926，2017.
对比例2
采用STGCN模型进行与实施例1中相同的实验，所述STGCN具体结构参见论文《Spatial temporal graph convolutional networks for skeleton-based actionrecognition》Yan S，Xiong Y，Lin D.Spatial temporal graph convolutional networksfor skeleton-based action recognition[C]//Proceedings of the AAAI conferenceon artificial intelligence.2018，32(1).
对比例3
采用Graph WaveNet模型进行与实施例1中相同的实验，所述DCRNN具体结构参见论文
《Graph wavenet for deep spatial-temporal graph modeling》Wu Z，Pan S，Long G，et al.Graph wavenet for deep spatial-temporal graph modeling[J].arXivpreprint arXiv：1906.00121.2019.
对比例4
采用ASTGCN模型进行与实施例1中相同的实验，所述ASTGCN具体结构参见论文《Attention based spatial-temporal graph convolutional networks for trafficflow forecasting》Guo S，Lin Y，Feng N，et al.Attention based spatial-temporalgraph convolutional networks for traffic flow forecasting[C]//Proceedings ofthe AAAI Conference on Artificial Intelligence.2019，33(01)：922-929.
对比例5
采用STSGCN模型进行与实施例1中相同的实验，所述STSGCN具体结构参见论文
《Spatial-Temporal Synchronous Graph Convolutional Networks：A NewFramework for Spatial-Temporal Network Data Forecasting》Song C，Lin Y，Guo S，etal.Spatial-Temporal Synchronous Graph Convolutional Networks： A New Frameworkfor Spatial-Temporal Network Data Forecasting[C]//Proceedings of the AAAIConference on Artificial Intelligence.2020，34(01)：914-921.
实验例
使用MAE、MAPE、RMSE评价实施例1与对比例1～5，结果如表一所示。
表一
其中，MAE为平均绝对误差，MAPE为平均绝对百分比误差，RMSE为均方根误差，均未常用的预测评价指标。
从表一可以看出，实施例1中的模型在所用数据集上的评估指标均优于其它所有模型，同时，由于注意力机制的引入，实施例1的计算效率远高于对比例5。经过测试，在模型参数大致相同的情况下，实施例1的训练时长约为对比例5的1/3。
实施例1与对比例5在PEMS04数据集上的参数量、训练时间和测试时间的对比结果如表二所示。
表二
模型 参数量/×106 训练时间/s 测试时间/s
对比例5 2.8 118 17
实施例1 2.9 31 5
从表二可以看出，实施例1训练时间和测试时间远低于对比例5，其计算效率更高。
在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”、“前”、“后”等指示的方位或位置关系为基于本发明工作状态下的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”“相连”“连接”应作广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体的连接普通；可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接连接，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
以上结合了优选的实施方式对本发明进行了说明，不过这些实施方式仅是范例性的，仅起到说明性的作用。在此基础上，可以对本发明进行多种替换和改进，这些均落入本发明的保护范围内。

Claims (4)

1.一种流量预测方法，通过时空网络对历史流量数据进行处理，获得未来一段时间的流量数据，所述时空网络包括特征嵌入模块、时空图模块和输出模块；
该方法包括以下步骤：
将历史流量数据输入特征嵌入模块，获得图状态和图信号；
将图状态和图信号输入时空图模块，通过时空图模块对图状态和图信号进行更新；
将更新后的图状态和图信号输入输出模块，通过输出模块将更新后的图状态和图信号转化为流量数据输出；
所述特征嵌入模块包括两个全连接层，两个全连接层的输入均为历史流量数据；
在特征嵌入模块中，一个全连接层的输出值通过矩阵变换函数转化为图状态，另一个全连接层的输出值连接时序嵌入矩阵后生成图信号；
在所述时空图模块中对输入该模块的数据进行时间相关性融合、空间相关性融合和时空相关性融合；
在所述时空图模块中设置有两个线性层，一个线性层对输入时空图模块的图状态进行线性变换获得Q向量，另一个线性层对输入时空模块的图状态进行线性变换获得K向量，将Q向量和K向量相乘即可获得时间维度的注意力矩阵，通过该注意力矩阵实现输入数据的时间相关性融合；
在所述时空图模块中设置有逐时间图卷积，输入时空图模块的图信号通过逐时间图卷积运算后获得V向量，该V向量包含了空间的相关性，实现了输入数据的空间相关性融合，
在时空图模块中，将注意力矩阵与V向量相乘，获得时空相关矩阵Xupdate，从而实现时间与空间的相关性融合；
所述逐时间图卷积的输出1out表示为：
其中，TimeWiseGC(Xin-sig)表示逐时间图卷积，Xin-sig表示逐时间图卷积的输入，σ()表示激活函数，算符表示相同时间维度的矩阵在该时间维度下相乘，W表示逐时间卷积核，A表示Xin-sig的邻接矩阵，/>表示邻接矩阵和自连接后的矩阵，/>表示度矩阵。
2.一种流量预测装置，其特征在于，包括依次连接的特征嵌入模块、时空图模块和输出模块；
将历史流量数据输入特征嵌入模块，获得图状态和图信号；
将图状态和图信号输入时空图模块，通过时空图模块对图状态和图信号进行更新；
将更新后的图状态和图信号输入输出模块，通过输出模块将更新后的图状态和图信号转化为流量数据输出；
所述特征嵌入模块包括两个全连接层，两个全连接层的输入均为历史流量数据；
在特征嵌入模块中，一个全连接层的输出值通过矩阵变换函数转化为图状态，另一个全连接层的输出值连接时序嵌入矩阵后生成图信号；
在所述时空图模块中对输入该模块的数据进行时间相关性融合、空间相关性融合和时空相关性融合；
在所述时空图模块中设置有两个线性层，一个线性层对输入时空图模块的图状态进行线性变换获得Q向量，另一个线性层对输入时空模块的图状态进行线性变换获得K向量，将Q向量和K向量相乘即可获得时间维度的注意力矩阵，通过该注意力矩阵实现输入数据的时间相关性融合；
在所述时空图模块中设置有逐时间图卷积，输入时空图模块的图信号通过逐时间图卷积运算后获得V向量，该V向量包含了空间的相关性，实现了输入数据的空间相关性融合，
在时空图模块中，将注意力矩阵与V向量相乘，获得时空相关矩阵Xupdate，从而实现时间与空间的相关性融合；
所述逐时间图卷积的输出Xout表示为：
其中，TimeWiseGC(Xin-sig)表示逐时间图卷积，Xin-sig表示逐时间图卷积的输入，σ()表示激活函数，算符表示相同时间维度的矩阵在该时间维度下相乘，W表示逐时间卷积核，A表示Xin-sig的邻接矩阵，/>表示邻接矩阵和自连接后的矩阵，/>表示度矩阵。
3.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1所述的方法。
4.一种存储有计算机指令的计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1所述的方法。
CN202111075590.0A 2021-09-14 2021-09-14 一种流量预测方法、装置、设备和介质 Active CN113780662B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111075590.0A CN113780662B (zh) 2021-09-14 2021-09-14 一种流量预测方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111075590.0A CN113780662B (zh) 2021-09-14 2021-09-14 一种流量预测方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN113780662A CN113780662A (zh) 2021-12-10
CN113780662B true CN113780662B (zh) 2024-04-23

Family

ID=78843689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111075590.0A Active CN113780662B (zh) 2021-09-14 2021-09-14 一种流量预测方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN113780662B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114169647B (zh) * 2022-01-07 2024-05-07 重庆大学 持续记忆的自适应异质时空图卷积的交通预测方法及系统
CN114722551B (zh) * 2022-05-23 2022-08-30 北京航空航天大学 一种恶劣天气下空域网络容量预测方法
CN115225543B (zh) * 2022-07-08 2023-10-20 北京百度网讯科技有限公司 一种流量预测方法、装置、电子设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111292562A (zh) * 2020-05-12 2020-06-16 北京航空航天大学 一种航空流量预测方法
CN111612206A (zh) * 2020-03-30 2020-09-01 清华大学 一种基于时空图卷积神经网络的街区人流预测方法及系统
CN112669606A (zh) * 2020-12-24 2021-04-16 西安电子科技大学 利用动态时空图训练卷积神经网络的交通流预测方法
CN112766551A (zh) * 2021-01-08 2021-05-07 鹏城实验室 一种交通预测方法、智能终端及计算机可读存储介质
CN112784121A (zh) * 2021-01-28 2021-05-11 浙江工业大学 一种基于时空图表示学习的交通事故预测方法
CN112926517A (zh) * 2021-03-26 2021-06-08 北京航空航天大学 一种人工智能监控方法
WO2021174876A1 (zh) * 2020-09-18 2021-09-10 平安科技（深圳）有限公司 基于智能决策的人口流动预测方法、装置及计算机设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10728104B2 (en) * 2018-11-15 2020-07-28 Adobe Inc. Time-dependent network embedding
US11842271B2 (en) * 2019-08-29 2023-12-12 Nec Corporation Multi-scale multi-granularity spatial-temporal traffic volume prediction

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612206A (zh) * 2020-03-30 2020-09-01 清华大学 一种基于时空图卷积神经网络的街区人流预测方法及系统
CN111292562A (zh) * 2020-05-12 2020-06-16 北京航空航天大学 一种航空流量预测方法
WO2021174876A1 (zh) * 2020-09-18 2021-09-10 平安科技（深圳）有限公司 基于智能决策的人口流动预测方法、装置及计算机设备
CN112669606A (zh) * 2020-12-24 2021-04-16 西安电子科技大学 利用动态时空图训练卷积神经网络的交通流预测方法
CN112766551A (zh) * 2021-01-08 2021-05-07 鹏城实验室 一种交通预测方法、智能终端及计算机可读存储介质
CN112784121A (zh) * 2021-01-28 2021-05-11 浙江工业大学 一种基于时空图表示学习的交通事故预测方法
CN112926517A (zh) * 2021-03-26 2021-06-08 北京航空航天大学 一种人工智能监控方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Pedestrian Flow Prediction in Open Public Places Using Graph Convolutional Network;Menghang Liu;Pedestrian Flow Prediction in Open Public Placeshttps://www.mdpi.com/2220-9964/10/7/455 Using Graph Convolutional Network;全文 *
单时序特征图卷积网络融合预测方法;李昊天;盛益强;;计算机与现代化(09);全文 *
基于GRNN的网络出口流量预测;卢斌;慕亚茹;徐一秋;;黑龙江科技信息(13);全文 *
基于深度置信网络的互联网流量预测方法;孟智慧;;电信工程技术与标准化(10);全文 *
智能网的业务流量与负荷控制研究综述;王田;计算机应用研究(04);全文 *

Also Published As

Publication number Publication date
CN113780662A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
CN113780662B (zh) 一种流量预测方法、装置、设备和介质
CN113905391B (zh) 集成学习网络流量预测方法、系统、设备、终端、介质
CN112507040A (zh) 多元关系生成模型的训练方法、装置、电子设备及介质
CN108648020A (zh) 用户行为量化方法、系统、设备及存储介质
WO2021129668A1 (zh) 训练神经网络的方法和装置
KR102635800B1 (ko) 신경망 모델의 사전 훈련 방법, 장치, 전자 기기 및 매체
US11574259B2 (en) Parking lot free parking space predicting method, apparatus, electronic device and storage medium
US11593384B2 (en) Parking lot free parking space predicting method, apparatus, electronic device and storage medium
CN110968692A (zh) 一种文本分类方法及系统
CN114202076A (zh) 深度学习模型的训练方法、自然语言处理方法和装置
CN113902010A (zh) 分类模型的训练方法和图像分类方法、装置、设备和介质
CN113902007A (zh) 模型训练方法及装置、图像识别方法及装置、设备和介质
CN113420792A (zh) 图像模型的训练方法、电子设备、路侧设备及云控平台
CN114494776A (zh) 一种模型训练方法、装置、设备以及存储介质
CN117313953A (zh) 一种负荷预测方法、装置、电子设备以及存储介质
CN116489038A (zh) 网络流量的预测方法、装置、设备和介质
CN113642727B (zh) 神经网络模型的训练方法和多媒体信息的处理方法、装置
CN113657468A (zh) 预训练模型的生成方法、装置、电子设备和存储介质
CN111783688B (zh) 一种基于卷积神经网络的遥感图像场景分类方法
CN117649115A (zh) 一种风险评估方法、装置、电子设备和存储介质
CN117351299A (zh) 图像生成及模型训练方法、装置、设备和存储介质
CN115239889B (zh) 3d重建网络的训练方法、3d重建方法、装置、设备和介质
CN113361621B (zh) 用于训练模型的方法和装置
CN116030235A (zh) 目标检测模型训练方法、目标检测方法、装置和电子设备
CN115331081A (zh) 图像目标检测方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant