CN115293428A - 一种基于多模态数据融合的交通预测方法及应用 - Google Patents

一种基于多模态数据融合的交通预测方法及应用 Download PDF

Info

Publication number
CN115293428A
CN115293428A CN202210944879.XA CN202210944879A CN115293428A CN 115293428 A CN115293428 A CN 115293428A CN 202210944879 A CN202210944879 A CN 202210944879A CN 115293428 A CN115293428 A CN 115293428A
Authority
CN
China
Prior art keywords
data
attention
time
traffic
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210944879.XA
Other languages
English (en)
Inventor
华蓓
李力铤
贺若舟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202210944879.XA priority Critical patent/CN115293428A/zh
Publication of CN115293428A publication Critical patent/CN115293428A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing

Abstract

本发明公开了一种基于多模态数据融合的交通预测方法及应用，该方法步骤包括：1、构建多模态输入数据，2、利用输入转化模块对多模态输入数据进行处理，3、利用时空信息，产生时空嵌入模块，4、利用跨模态注意力模块处理不同模态间的数据，5、利用最大池融合层将多模态的数据进行融合，6、利用时空注意力模块，进一步进行数据转化，7、利用输出线性层转化输出预测结果，8、迭代进行网络训练，得到训练后的模型。本发明能高效地结合多种模态的交通数据来实现准确的交通状态预测，从而能有效帮助城市交通管理者提前进行统筹安排，减少城市道路拥塞。

Description

一种基于多模态数据融合的交通预测方法及应用
技术领域
本发明属于交通预测领域，具体的说是一种基于多模态数据融合的交通预测方法及应用。
背景技术
随着城市汽车保有量的增加，城市交通拥堵现象越来越严重。利用历史交通数据预测未来一段时间的城市交通状况，有助于城市交通管理者提前采取措施减缓或避免交通拥堵的发生，也可帮助出行者制定合理的出行计划。
现有的主流相关技术都利用深度神经网络来实现交通状况预测，但是现有的主流相关技术在进行交通预测时仅使用了一种类型的交通数据，忽略了交通传感器能够同时产生多种类型交通数据的事实，未能充分利用现有丰富的交通数据来提高预测性能。
发明内容
本发明是为了解决上述现有技术存在的不足之处，提出一种基于多模态数据融合的交通预测方法，以期能高效地结合多种模态的交通数据来实现准确的交通状态预测，从而能有效帮助城市交通管理者提前进行统筹安排，减少城市道路拥塞。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种基于多模态数据融合的交通预测方法的特点在于，包括如下步骤：
步骤1、构建多模态输入数据X；
步骤1.1、构建一个有向的路网图
Figure BDA0003787000140000011
其中，
Figure BDA0003787000140000012
是路网中所有交通传感器的集合；
Figure BDA0003787000140000013
是各个交通传感器之间的路段集合；
Figure BDA0003787000140000014
是邻接矩阵，所述邻接矩阵
Figure BDA0003787000140000015
中的元素值若为1，则表示两个交通传感器之间有路段连通，元素值若为0，则表示两个交通传感器之间无路段连通；
步骤1.2、路网图
Figure BDA0003787000140000016
中的N个交通传感器每隔一个时间步记录一次包括C种模态的交通状态数据，并将每种模态的交通状态数据进行归一化后，得到N个交通传感器在L个时间步的交通状态数据
Figure BDA0003787000140000017
步骤1.3、从Xall中选取Y个连续的历史时间步的C种模态的交通状态数据，并作为多模态输入数据
Figure BDA0003787000140000018
令第c个模态的子输入数据表示为
Figure BDA0003787000140000019
T<L；
步骤2、构建基于多模态数据融合的交通预测模型，包括：输入转化模块、时空嵌入模块、跨模态注意力模块、最大池化融合层、时空注意力模块和输出线性层；
所述输入转化模块包括：输入线性层和位置嵌入层；
所述时空嵌入模块包括：空间嵌入模块和时间嵌入模块；
所述跨模态注意力模块包括：第一跨模态注意力层、第一前馈神经网络、第二跨模态注意力层、第二前馈神经网络；
所述时空注意力模块包括：时间注意力层、第三前馈神经网络、空间注意力层、第四前馈神经网络；
步骤3、所述输入转化模块的处理；
步骤3.1、所述输入线性层将第c个模态的子输入数据Xc进行转化处理，得到含有D维隐空间的第c个模态的转化数据
Figure BDA0003787000140000021
步骤3.2、所述位置嵌入层对第c个模态的转化数据Zc 0进行位置嵌入操作，得到嵌入位置后的第c个模态的数据
Figure BDA0003787000140000022
从而得到嵌入位置后的C个模态的数据并连接起来，得到连接后的数据
Figure BDA0003787000140000023
步骤4、所述时空嵌入模块的处理；
步骤4.1、所述空间嵌入模块利用node2vec方法将邻接矩阵
Figure BDA0003787000140000024
转化为空间嵌入矩阵
Figure BDA0003787000140000025
步骤4.2、所述时间嵌入模块的处理；
步骤4.2.1、所述时间嵌入模块利用离散傅里叶变换将交通状态数据Xall转化为频域的采样信号，并对频域的采样信号进行分析，得到F条时间周期信息；
步骤4.2.2、利用独热编码对F条周期信息进行编码，得到第l个时间步的F个相对位置向量并连接后，得到第l个时间步对应的周期嵌入向量Vl；
步骤4.2.3、将选取的T个连续的历史时间步的周期嵌入向量和后续T'个连续的未来时间步对应的周期嵌入向量进行连接，然后通过全连接层的处理后，得到时间嵌入矩阵
Figure BDA0003787000140000026
Figure BDA0003787000140000027
T′<L；
步骤4.3、将空间嵌入矩阵SE和时间嵌入矩阵TE相加后，得到时空嵌入向量
Figure BDA0003787000140000028
Figure BDA0003787000140000029
其中，包含历史时间步信息的时空嵌入子向量表示为
Figure BDA00037870001400000210
包含未来时间步信息的时空嵌入子向量表示为
Figure BDA00037870001400000211
步骤5、所述跨模态注意力模块的处理；
步骤5.1、将Z1与E(T)连接后，得到张量
Figure BDA00037870001400000212
并输入到所述第一跨模态注意力层中，先经过以ReLU作为激活函数的全连接层的处理后，得到第h个注意力头部对应的查询、键、值三个张量分别为
Figure BDA00037870001400000213
再利用式(1)得到所述第一跨模态注意力层输出的张量
Figure BDA00037870001400000214
Figure BDA00037870001400000215
式(1)中，||h∈H表示H个子空间依次进行拼接；d表示每个注意力头部的子空间的维度；且H×d＝D；
步骤5.4、将张量Z2输入到所述第一前馈神经网络中，并通过式(2)得到第一前馈神经网络输出的张量
Figure BDA0003787000140000031
Z3＝ReLU(Z2W1+b1)W2+b2 (2)
式(2)中，W1和W2是第一前馈神经网络中可学习的权重参数；b1和b2是第一前馈神经网络中可学习的偏置参数；
步骤5.5、所述张量Z3依次再经过所述第二跨模态注意力层和第二前馈神经网络的处理后，得到张量
Figure BDA0003787000140000032
并作为所述跨模态注意力模块的输出数据；
步骤6、最大池化融合层的处理；
按各个模态的次序，分别取出张量Z4中一个维度的张量并进行拼接，得到一个维度在C种模态上的拼接张量，从而得到D个维度在C种模态上的拼接张量并拼接为最终的交错拼接张量后输入所述最大池化融合层中进行多模态融合，得到融合后的数据
Figure BDA0003787000140000033
步骤7、所述时空注意力模块的处理；
步骤7.1、将Z5和E(T′)进行连接后得到张量
Figure BDA0003787000140000034
并输入到所述时间注意力层中，先经过以ReLU作为激活函数的全连接层的处理后，得到第h个注意力头部对应的查询、键、值三个张量分别为
Figure BDA0003787000140000035
从而利用式(3)得到所述时间注意力层输出的张量Z6：
Figure BDA0003787000140000036
式(3)中，
Figure BDA0003787000140000037
表示所述时间注意力层中第h个注意力头部对应的注意力分数矩阵，并由式(4)得到：
Figure BDA0003787000140000038
式(4)中，
Figure BDA0003787000140000039
是注意力分数矩阵
Figure BDA00037870001400000310
中在第x个交通传感器上第y个时间步和第z个时间步之间的注意力分数；
Figure BDA00037870001400000311
表示第h个注意力头部对应的第x个交通传感器在第y个时间步和第z个时间步之间的相关性，并由式(5)得到：
Figure BDA00037870001400000312
式(5)中，
Figure BDA00037870001400000313
是
Figure BDA00037870001400000314
中代表第x个交通传感器和第y个时间步的向量，
Figure BDA00037870001400000315
是
Figure BDA00037870001400000316
中代表第x个交通传感器和第z个时间步的向量；
步骤7.2、将所述时间注意力层输出的张量Z6输入到第三前馈神经网络中进行处理，得到张量
Figure BDA00037870001400000317
步骤7.3、将Z7和E(T′)进行连接后得到张量
Figure BDA0003787000140000041
并输入到所述空间注意力层中，先经过以ReLU作为激活函数的全连接层的处理后，得到第h个注意力头部对应的查询、键、值三个张量分别为
Figure BDA0003787000140000042
从而利用式(6)得到所述时间注意力层输出的张量Z8：
Figure BDA0003787000140000043
式(6)中，
Figure BDA0003787000140000044
表示所述空间注意力层中第h个注意力头部对应的注意力分数矩阵，并由式(7)得到：
Figure BDA0003787000140000045
式(6)中，
Figure BDA0003787000140000046
是注意力分数矩阵
Figure BDA0003787000140000047
中在第a个时间步上第β个交通传感器和第γ个交通传感器之间的注意力分数，
Figure BDA0003787000140000048
表示第h个注意力头部对应的第a个时间步上第β个交通传感器和第γ个交通传感器之间的相关性，并由式(8)得到；
Figure BDA0003787000140000049
式(8)中，
Figure BDA00037870001400000410
是
Figure BDA00037870001400000411
中代表第a个时间步和第β个交通传感器的向量，
Figure BDA00037870001400000412
是
Figure BDA00037870001400000413
中代表第a个时间步和第γ个交通传感器的向量；
步骤7.4、将所述空间注意力层的输出张量Z8输入到第四前馈神经网络做进一步的处理，并得到前馈神经网络输出的张量
Figure BDA00037870001400000414
步骤8、所述张量Z9经过所述输出线性层的转化后得到多模态输入数据X的预测结果
Figure BDA00037870001400000415
步骤9、网络训练；
步骤9.1、利用式(7)构建损失函数
Figure BDA00037870001400000416
Figure BDA00037870001400000417
式(7)中，
Figure BDA00037870001400000418
是第n个未来时间步的预测结果，Yn第n个未来时间步的标签值；Θ是所述基于多模态数据融合的交通预测模型的所有参数；T'是未来时间的总预测步数；
步骤8.2、利用反向传播和梯度下降法对所述基于多模态数据融合的交通预测模型进行训练，并计算所述损失值，当迭代轮数达到阈值ξ时或者损失值连续一定轮数不下降时，停止训练，从而得到训练后的最优模型及其最优参数Θ。
本发明一种电子设备，包括存储器以及处理器，其特点在于，所述存储器用于存储支持处理器执行所述交通预测方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特点在于，所述计算机程序被处理器运行时执行所述交通预测方法的步骤。
与现有技术相比，本发明的有益效果在于：
1、本发明结合了多种模态的交通数据来进行交通状态预测，能够克服单一模态数据信息不足的问题，从而提高了目标模态数据的预测准确度；
2、本发明通过跨模态注意力模块实现了对不同模态数据的学习处理，并通过最大池融合来捕捉不同模态间重要的信息，从而有效地利用了多种模态的交通数据，提升了预测准确度；
3、本发明通过时空嵌入机制深度挖掘了时空信息，为注意力机制提供了更多的时空信息，从而帮助提升模型学习效率，提升预测准确度；
4、本发明通过时空注意力模块实现了对重要时空信息的学习，从而帮助生成更准确的预测结果。
附图说明
图1为本发明模型框架图；
图2为本发明的时空嵌入模块结构图；
图3为本发明的最大池化融合模块中交错拼接操作的示意图，其中每个单元中的数字表示对应的张量中该元素所属的模态序号。
具体实施方式
本实施例中，一种基于多模态数据融合的交通预测方法，包括如下步骤：
步骤1、构建多模态输入数据X；
步骤1.1、构建一个有向的路网图
Figure BDA0003787000140000051
其中，
Figure BDA0003787000140000052
是路网中所有交通传感器的集合；
Figure BDA0003787000140000053
是各个交通传感器之间的路段集合；
Figure BDA0003787000140000054
是邻接矩阵，邻接矩阵
Figure BDA0003787000140000055
中的元素值若为1，则表示两个交通传感器之间有路段连通，元素值若为0，则表示两个交通传感器之间无路段连通；
步骤1.2、路网图
Figure BDA0003787000140000056
中的N个交通传感器每隔一个时间步(比如每5分钟为一个间隔)记录一次包括C种模态的交通状态数据，并将每种模态的交通状态数据进行归一化后，得到N个交通传感器在L个时间步的交通状态数据
Figure BDA0003787000140000057
步骤1.3、从Xall中选取T个连续的历史时间步的C种模态的交通状态数据，并作为多模态输入数据
Figure BDA0003787000140000058
在本实施例中C＝3，即共有3种模态的交通状态数据。此外，令第c个模态的子输入数据表示为
Figure BDA0003787000140000061
T<L；
步骤2、构建基于多模态数据融合的交通预测模型，包括：输入转化模块、时空嵌入模块、跨模态注意力模块、最大池化融合层、时空注意力模块和输出线性层；
输入转化模块包括：输入线性层和位置嵌入层；
时空嵌入模块包括：空间嵌入模块和时间嵌入模块；
跨模态注意力模块包括：第一跨模态注意力层、第一前馈神经网络、第二跨模态注意力层、第二前馈神经网络；
时空注意力模块包括：时间注意力层、第三前馈神经网络、空间注意力层、第四前馈神经网络；
步骤3、输入转化模块的处理，目的是将各个模态的输入数据分别进行处理转化，得到合适后续各个模块读取处理的数据；
步骤3.1、如图1中的输入线性层所示，输入线性层将第c个模态的子输入数据Xc进行转化处理，得到含有D维隐空间的第c个模态的转化数据
Figure BDA0003787000140000062
步骤3.2、如图1中的位置嵌入层所示，位置嵌入层对第c个模态的转化数据Zc 0进行位置嵌入操作，得到嵌入位置后的第c个模态的数据
Figure BDA0003787000140000063
从而得到嵌入位置后的C个模态的数据并连接起来，得到连接后的数据
Figure BDA0003787000140000064
步骤4、时空嵌入模块的处理，时空嵌入模块的结构如图2所示，其中包含空间嵌入模块和时间嵌入模块，用来挖掘深度的时空信息，从而为后续的注意力模块提供更多信息；
步骤4.1、空间嵌入模块利用node2vec方法将邻接矩阵
Figure BDA0003787000140000065
转化为空间嵌入矩阵
Figure BDA0003787000140000066
步骤4.2、时间嵌入模块的处理；
步骤4.2.1、时间嵌入模块利用离散傅里叶变换将交通状态数据Xall转化为频域的采样信号，并对频域的采样信号进行分析，得到F条时间周期信息；
步骤4.2.2、利用独热编码对F条周期信息进行编码，得到第l个时间步的F个相对位置向量并连接后，得到第l个时间步对应的周期嵌入向量Vl；举例说明，假设数据集开始于7月8日的00:00，且总共有5条时间周期信息，分别代表1周、1天、12小时、8小时和6小时这5种时间周期。接下去假设为7月10日的13:00这个时间步进行独热编码，则5个对应编码向量中的编码位分别为3(1周中的第3天)、157(1天中的第157个时间步)、2(位于24小时中的第2个12小时的循环中)、2(位于24小时中的第2个8小时的循环中)、3(位于24小时中第3个6小时的循环中)，然后将这5个相对位置向量连接起来得到该时间步对应的周期嵌入向量。
步骤4.2.3、将选取的T个连续的历史时间步的周期嵌入向量和后续T'个连续的未来时间步对应的周期嵌入向量进行连接，然后通过全连接层的处理后，得到时间嵌入矩阵
Figure BDA0003787000140000071
Figure BDA0003787000140000072
T′<L；
步骤4.3、将空间嵌入矩阵SE和时间嵌入矩阵TE相加后，得到时空嵌入向量
Figure BDA0003787000140000073
Figure BDA0003787000140000074
其中，包含历史时间步信息的时空嵌入子向量表示为
Figure BDA0003787000140000075
包含未来时间步信息的时空嵌入子向量表示为
Figure BDA0003787000140000076
步骤5、如图1中的跨模态注意力模块所示，数据通过跨模态注意力模块的处理，学习挖掘不同模态间的信息；
步骤5.1、将Z1与E(T)连接后，得到张量
Figure BDA0003787000140000077
并输入到第一跨模态注意力层中，先经过以ReLU作为激活函数的全连接层的处理后，得到第h个注意力头部对应的查询、键、值三个张量分别为
Figure BDA0003787000140000078
再利用式(1)对数据的模态内和模态间的特征表示进行增强，得到第一跨模态注意力层输出的张量
Figure BDA0003787000140000079
Figure BDA00037870001400000710
式(1)中，||h∈H表示H个子空间依次进行拼接；d表示每个注意力头部的子空间的维度；且H×d＝D；
步骤5.4、将张量Z2输入到图1中第一前馈神经网络中进一步处理，并通过式(2)得到第一前馈神经网络输出的张量
Figure BDA00037870001400000711
Z3＝ReLU(Z2W1+b1)W2+b2 (2)
式(2)中，W1和W2是第一前馈神经网络中可学习的权重参数；b1和b2是第一前馈神经网络中可学习的偏置参数；
步骤5.5、张量Z3依次再经过图1中第二跨模态注意力层和第二前馈神经网络的处理后，进一步增强了数据的表示，得到张量
Figure BDA00037870001400000712
并作为跨模态注意力模块的输出数据；
步骤6、如图1所示，数据进入最大池化融合层进行处理，将3个模态的数据经过交错拼接后进行最大池化处理，融合后获得最显著的特征表示并作为输出数据；如图3所示，按3个模态的次序，分别取出张量Z4中一个维度的张量并进行拼接，得到一个维度在3种模态上的拼接张量，从而得到D个维度在3种模态上的拼接张量并拼接为最终的交错拼接张量后输入最大池化融合层中进行多模态融合，得到融合后的数据
Figure BDA00037870001400000713
步骤7、如图1所示，融合后的数据Z5进入时空注意力模块进行处理，对融合后的数据Z5的特征表示进行时间和空间维度的增强；
步骤7.1、将Z5和E(T′)进行连接后得到张量
Figure BDA00037870001400000714
并输入到图1中时间注意力层中，先经过以ReLU作为激活函数的全连接层的处理后，得到第h个注意力头部对应的查询、键、值三个张量分别为
Figure BDA0003787000140000081
从而利用式(3)对数据的时间维度的特征表示进行增强，得到时间注意力层输出的张量Z6：
Figure BDA0003787000140000082
式(3)中，
Figure BDA0003787000140000083
表示第h个注意力头部对应的注意力分数矩阵，并由式(4)得到：
Figure BDA0003787000140000084
式(4)中，
Figure BDA0003787000140000085
是注意力分数矩阵
Figure BDA0003787000140000086
中在第x个交通传感器上第y个时间步和第z个时间步之间的注意力分数；
Figure BDA0003787000140000087
表示第h个注意力头部对应的第x个交通传感器在第y个时间步和第z个时间步之间的相关性，并由式(5)得到：
Figure BDA0003787000140000088
式(5)中，
Figure BDA0003787000140000089
是
Figure BDA00037870001400000810
中代表第x个交通传感器和第y个时间步的向量，
Figure BDA00037870001400000811
是
Figure BDA00037870001400000812
中代表第x个交通传感器和第z个时间步的向量；
步骤7.2、将图1中时间注意力层输出的张量Z6输入到图1中第三前馈神经网络中进行处理，得到张量
Figure BDA00037870001400000813
步骤7.3、将Z7和E(T′)进行连接后得到张量
Figure BDA00037870001400000814
并输入到图1中空间注意力层中，先经过以ReLU作为激活函数的全连接层的处理后，得到第h个注意力头部对应的查询、键、值三个张量分别为
Figure BDA00037870001400000815
从而利用式(6)对数据的空间维度的特征表示进行增强，得到时间注意力层输出的张量Z8：
Figure BDA00037870001400000816
式(5)中，
Figure BDA00037870001400000817
表示第h个注意力头部对应的注意力分数矩阵，并由式(7)得到：
Figure BDA00037870001400000818
式(6)中，
Figure BDA00037870001400000819
是注意力分数矩阵
Figure BDA00037870001400000820
中在第a个时间步上第β个交通传感器和第γ个交通传感器之间的注意力分数，
Figure BDA00037870001400000821
表示第h个注意力头部对应的第a个时间步上第β个交通传感器和第γ个交通传感器之间的相关性，并由式(8)得到；
Figure BDA00037870001400000822
式(8)中，
Figure BDA00037870001400000823
是
Figure BDA00037870001400000824
中代表第a个时间步和第β个交通传感器的向量，
Figure BDA00037870001400000825
是
Figure BDA0003787000140000091
中代表第a个时间步和第γ个交通传感器的向量；
步骤7.4、将图1中空间注意力层的输出张量Z8输入到图1中第四前馈神经网络做进一步的处理，并得到第四前馈神经网络输出的张量
Figure BDA0003787000140000092
步骤8、张量Z9经过图1中输出线性层的转化后得到多模态输入数据X的预测结果
Figure BDA0003787000140000093
Figure BDA0003787000140000094
步骤9、网络训练，通过不断地迭代获得训练后的模型；
步骤9.1、利用式(7)构建损失函数
Figure BDA0003787000140000095
对每个时间步的绝对误差进行求和处理：
Figure BDA0003787000140000096
式(7)中，
Figure BDA0003787000140000097
是第n个未来时间步的预测结果，Yn第n个未来时间步的标签值；Θ是所述基于多模态数据融合的交通预测模型的所有参数；
步骤8.2、利用反向传播和梯度下降法对基于多模态数据融合的交通预测模型进行训练，并计算损失值，当迭代轮数达到阈值ξ时或者损失值连续一定轮数不下降时，停止训练，从而得到模型的最优参数Θ和训练后的模型。
本实施例中，一种电子设备，包括存储器以及处理器，该存储器用于存储支持处理器执行交通预测方法的程序，该处理器被配置为用于执行该存储器中存储的程序。
本实施例中，一种计算机可读存储介质，是在计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时交通预测方法的步骤。

Claims (3)

1.一种基于多模态数据融合的交通预测方法，其特征在于，包括如下步骤：
步骤1、构建多模态输入数据X；
步骤1.1、构建一个有向的路网图
Figure FDA0003787000130000011
其中，
Figure FDA0003787000130000012
是路网中所有交通传感器的集合；ε是各个交通传感器之间的路段集合；
Figure FDA0003787000130000013
是邻接矩阵，所述邻接矩阵
Figure FDA0003787000130000014
中的元素值若为1，则表示两个交通传感器之间有路段连通，元素值若为0，则表示两个交通传感器之间无路段连通；
步骤1.2、路网图
Figure FDA0003787000130000015
中的N个交通传感器每隔一个时间步记录一次包括C种模态的交通状态数据，并将每种模态的交通状态数据进行归一化后，得到N个交通传感器在L个时间步的交通状态数据
Figure FDA0003787000130000016
步骤1.3、从Xall中选取T个连续的历史时间步的C种模态的交通状态数据，并作为多模态输入数据
Figure FDA0003787000130000017
令第c个模态的子输入数据表示为
Figure FDA0003787000130000018
T<L；
步骤2、构建基于多模态数据融合的交通预测模型，包括：输入转化模块、时空嵌入模块、跨模态注意力模块、最大池化融合层、时空注意力模块和输出线性层；
所述输入转化模块包括：输入线性层和位置嵌入层；
所述时空嵌入模块包括：空间嵌入模块和时间嵌入模块；
所述跨模态注意力模块包括：第一跨模态注意力层、第一前馈神经网络、第二跨模态注意力层、第二前馈神经网络；
所述时空注意力模块包括：时间注意力层、第三前馈神经网络、空间注意力层、第四前馈神经网络；
步骤3、所述输入转化模块的处理；
步骤3.1、所述输入线性层将第c个模态的子输入数据Xc进行转化处理，得到含有D维隐空间的第c个模态的转化数据
Figure FDA0003787000130000019
步骤3.2、所述位置嵌入层对第c个模态的转化数据Zc 0进行位置嵌入操作，得到嵌入位置后的第c个模态的数据
Figure FDA00037870001300000110
从而得到嵌入位置后的C个模态的数据并连接起来，得到连接后的数据
Figure FDA00037870001300000111
步骤4、所述时空嵌入模块的处理；
步骤4.1、所述空间嵌入模块利用node2vec方法将邻接矩阵
Figure FDA00037870001300000112
转化为空间嵌入矩阵
Figure FDA00037870001300000113
步骤4.2、所述时间嵌入模块的处理；
步骤4.2.1、所述时间嵌入模块利用离散傅里叶变换将交通状态数据Xall转化为频域的采样信号，并对频域的采样信号进行分析，得到F条时间周期信息；
步骤4.2.2、利用独热编码对F条周期信息进行编码，得到第l个时间步的F个相对位置向量并连接后，得到第l个时间步对应的周期嵌入向量Vl；
步骤4.2.3、将选取的T个连续的历史时间步的周期嵌入向量和后续T'个连续的未来时间步对应的周期嵌入向量进行连接，然后通过全连接层的处理后，得到时间嵌入矩阵
Figure FDA0003787000130000021
Figure FDA0003787000130000022
T′<L；
步骤4.3、将空间嵌入矩阵SE和时间嵌入矩阵TE相加后，得到时空嵌入向量
Figure FDA0003787000130000023
Figure FDA0003787000130000024
其中，包含历史时间步信息的时空嵌入子向量表示为
Figure FDA0003787000130000025
包含未来时间步信息的时空嵌入子向量表示为
Figure FDA0003787000130000026
步骤5、所述跨模态注意力模块的处理；
步骤5.1、将Z1与E(T)连接后，得到张量
Figure FDA0003787000130000027
并输入到所述第一跨模态注意力层中，先经过以ReLU作为激活函数的全连接层的处理后，得到第h个注意力头部对应的查询、键、值三个张量分别为
Figure FDA0003787000130000028
再利用式(1)得到所述第一跨模态注意力层输出的张量
Figure FDA0003787000130000029
Figure FDA00037870001300000210
式(1)中，||h∈H表示H个子空间依次进行拼接；d表示每个注意力头部的子空间的维度；且H×d＝D；
步骤5.4、将张量Z2输入到所述第一前馈神经网络中，并通过式(2)得到第一前馈神经网络输出的张量
Figure FDA00037870001300000211
Z3＝ReLU(Z2W1+b1)W2+b2 (2)
式(2)中，W1和W2是第一前馈神经网络中可学习的权重参数；b1和b2是第一前馈神经网络中可学习的偏置参数；
步骤5.5、所述张量Z3依次再经过所述第二跨模态注意力层和第二前馈神经网络的处理后，得到张量
Figure FDA00037870001300000212
并作为所述跨模态注意力模块的输出数据；
步骤6、最大池化融合层的处理；
按各个模态的次序，分别取出张量Z4中一个维度的张量并进行拼接，得到一个维度在C种模态上的拼接张量，从而得到D个维度在C种模态上的拼接张量并拼接为最终的交错拼接张量后输入所述最大池化融合层中进行多模态融合，得到融合后的数据
Figure FDA00037870001300000213
步骤7、所述时空注意力模块的处理；
步骤7.1、将Z5和E(T′)进行连接后得到张量
Figure FDA00037870001300000214
并输入到所述时间注意力层中，先经过以ReLU作为激活函数的全连接层的处理后，得到第h个注意力头部对应的查询、键、值三个张量分别为
Figure FDA0003787000130000031
从而利用式(3)得到所述时间注意力层输出的张量Z6：
Figure FDA0003787000130000032
式(3)中，
Figure FDA0003787000130000033
表示所述时间注意力层中第h个注意力头部对应的注意力分数矩阵，并由式(4)得到：
Figure FDA0003787000130000034
式(4)中，
Figure FDA0003787000130000035
是注意力分数矩阵
Figure FDA0003787000130000036
中在第x个交通传感器上第y个时间步和第z个时间步之间的注意力分数；
Figure FDA0003787000130000037
表示第h个注意力头部对应的第x个交通传感器在第y个时间步和第z个时间步之间的相关性，并由式(5)得到：
Figure FDA0003787000130000038
式(5)中，
Figure FDA0003787000130000039
是
Figure FDA00037870001300000310
中代表第x个交通传感器和第y个时间步的向量，
Figure FDA00037870001300000311
是
Figure FDA00037870001300000312
中代表第x个交通传感器和第z个时间步的向量；
步骤7.2、将所述时间注意力层输出的张量Z6输入到第三前馈神经网络中进行处理，得到张量
Figure FDA00037870001300000313
步骤7.3、将Z7和E(T′)进行连接后得到张量
Figure FDA00037870001300000314
并输入到所述空间注意力层中，先经过以ReLU作为激活函数的全连接层的处理后，得到第h个注意力头部对应的查询、键、值三个张量分别为
Figure FDA00037870001300000315
从而利用式(6)得到所述时间注意力层输出的张量Z8：
Figure FDA00037870001300000316
式(6)中，
Figure FDA00037870001300000317
表示所述空间注意力层中第h个注意力头部对应的注意力分数矩阵，并由式(7)得到：
Figure FDA00037870001300000318
式(6)中，
Figure FDA00037870001300000319
是注意力分数矩阵
Figure FDA00037870001300000320
中在第a个时间步上第β个交通传感器和第γ个交通传感器之间的注意力分数，
Figure FDA00037870001300000321
表示第h个注意力头部对应的第a个时间步上第β个交通传感器和第γ个交通传感器之间的相关性，并由式(8)得到；
Figure FDA00037870001300000322
式(8)中，
Figure FDA0003787000130000041
是
Figure FDA0003787000130000042
中代表第a个时间步和第β个交通传感器的向量，
Figure FDA0003787000130000043
是
Figure FDA0003787000130000044
中代表第a个时间步和第γ个交通传感器的向量；
步骤7.4、将所述空间注意力层的输出张量Z8输入到第四前馈神经网络做进一步的处理，并得到前馈神经网络输出的张量
Figure FDA0003787000130000045
步骤8、所述张量Z9经过所述输出线性层的转化后得到多模态输入数据X的预测结果
Figure FDA0003787000130000046
步骤9、网络训练；
步骤9.1、利用式(7)构建损失函数
Figure FDA0003787000130000047
Figure FDA0003787000130000048
式(7)中，
Figure FDA0003787000130000049
是第n个未来时间步的预测结果，Yn第n个未来时间步的标签值；Θ是所述基于多模态数据融合的交通预测模型的所有参数；T'是未来时间的总预测步数；
步骤8.2、利用反向传播和梯度下降法对所述基于多模态数据融合的交通预测模型进行训练，并计算所述损失值，当迭代轮数达到阈值ξ时或者损失值连续一定轮数不下降时，停止训练，从而得到训练后的最优模型及其最优参数Θ。
2.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1所述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
3.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1所述方法的步骤。
CN202210944879.XA 2022-08-08 2022-08-08 一种基于多模态数据融合的交通预测方法及应用 Pending CN115293428A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210944879.XA CN115293428A (zh) 2022-08-08 2022-08-08 一种基于多模态数据融合的交通预测方法及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210944879.XA CN115293428A (zh) 2022-08-08 2022-08-08 一种基于多模态数据融合的交通预测方法及应用

Publications (1)

Publication Number Publication Date
CN115293428A true CN115293428A (zh) 2022-11-04

Family

ID=83827813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210944879.XA Pending CN115293428A (zh) 2022-08-08 2022-08-08 一种基于多模态数据融合的交通预测方法及应用

Country Status (1)

Country Link
CN (1) CN115293428A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117216722A (zh) * 2023-11-09 2023-12-12 山东农业大学 基于传感器时序数据多源异构数据融合系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117216722A (zh) * 2023-11-09 2023-12-12 山东农业大学 基于传感器时序数据多源异构数据融合系统
CN117216722B (zh) * 2023-11-09 2024-02-27 山东农业大学 基于传感器时序数据多源异构数据融合系统

Similar Documents

Publication Publication Date Title
CN109767622B (zh) 面向卡口相似性划分和循环神经网络的交通流量预测方法
Liu et al. Time series prediction based on temporal convolutional network
CN110619389A (zh) 一种基于lstm-rnn的冷热电联供系统负荷预测方法及系统
CN113359212B (zh) 一种基于深度学习的储层特征预测方法及模型
CN114493014A (zh) 多元时间序列预测方法、系统及计算机产品、存储介质
CN115293428A (zh) 一种基于多模态数据融合的交通预测方法及应用
CN115587454A (zh) 基于改进Transformer模型的交通流量长时预测方法及系统
CN111858565B (zh) 一种基于线段聚类的多维度高精度航迹智能预测方法
CN115862319A (zh) 一种面向时空图自编码器的交通流量预测方法
Wang et al. DeepDNA: A hybrid convolutional and recurrent neural network for compressing human mitochondrial genomes
CN115641720A (zh) 基于时空融合图神经网络的交通预测方法及系统
CN114881032A (zh) 基于多任务学习的层次类别命名实体识别模型设计方法
CN117273188A (zh) 一种具有增量学习能力的太阳能光伏发电功率预测方法
CN116187496A (zh) 一种飞机传感器时序预测方法
CN115938112A (zh) 交通需求预测方法、系统、电子设备及计算机存储介质
US20220138525A1 (en) Memory network method based on automatic addressing and recursive information integration
Wang et al. MSRN-Informer: Time Series Prediction Model Based on Multi-Scale Residual Network
CN117172390B (zh) 一种基于场景划分的充电量预测方法与终端
CN117725597B (zh) 一种基于时空记忆网络的漏洞威胁预测方法
CN117272002B (zh) 一种太阳辐射量估计方法、装置、电子设备及存储介质
CN117636633B (zh) 一种基于时空感知混合图的交通流量预测方法
Liu Dynamics evolution prediction from time series data with recurrent neural networks in a complex system
CN117787248B (zh) 量子自注意力文本处理方法、装置、量子设备及存储介质
CN117993431A (zh) 基于时序二维变化和残差编码器的多元时间序列预测方法
CN116976416A (zh) 低比特随机配置网络轻量计算方法、系统、设备及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination