CN116070676B - 基于注意力机制和自编码器的高速公路路面温度预报方法 - Google Patents
基于注意力机制和自编码器的高速公路路面温度预报方法 Download PDFInfo
- Publication number
- CN116070676B CN116070676B CN202310309893.7A CN202310309893A CN116070676B CN 116070676 B CN116070676 B CN 116070676B CN 202310309893 A CN202310309893 A CN 202310309893A CN 116070676 B CN116070676 B CN 116070676B
- Authority
- CN
- China
- Prior art keywords
- training
- attention mechanism
- self
- encoder
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 91
- 238000013277 forecasting method Methods 0.000 title claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 93
- 239000013598 vector Substances 0.000 claims abstract description 71
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 56
- 238000003062 neural network model Methods 0.000 claims abstract description 9
- 238000013528 artificial neural network Methods 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 238000012795 verification Methods 0.000 claims description 51
- 238000000034 method Methods 0.000 claims description 39
- 238000011176 pooling Methods 0.000 claims description 36
- 238000012544 monitoring process Methods 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 18
- 230000004913 activation Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 230000002159 abnormal effect Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 7
- 238000001556 precipitation Methods 0.000 claims description 6
- 230000005855 radiation Effects 0.000 claims description 6
- 230000036962 time dependent Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000011272 standard treatment Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
- G01K13/00—Thermometers specially adapted for specific purposes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01W—METEOROLOGY
- G01W1/00—Meteorology
- G01W1/02—Instruments for indicating weather conditions by measuring two or more variables, e.g. humidity, pressure, temperature, cloud cover or wind speed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Environmental & Geological Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Environmental Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Ecology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Atmospheric Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了基于注意力机制和自编码器的高速公路路面温度预报方法，方法包括：采集高速公路路面温度观测数据及数值天气预报模式输出的多气象要素预报数据，进行预处理；基于神经网络搭建自编码器，并对区域高速公路路面温度进行编码，生成特征向量；搭建空间注意力机制与通道注意力机制融合的卷积神经网络模型，并展开训练；基于预设时间内的多气象要素产品生成全区域的高速公路路面温度预报。本发明能够生成全区域的高速公路路面温度预报，较传统的点对点预报而言更加便捷高效；采用空间注意力和通道注意力机制融合的卷积神经网络模型，具有高度非线性和强鲁棒性，有效提高了高速公路路面温度预报能力，有极强的应用价值。
Description
技术领域
本发明涉及高速公路路面温度预报方法，尤其是一种基于注意力机制和自编码器的高速公路路面温度预报方法。
背景技术
气象条件往往对交通路面温度有着重要影响，并对高速公路交通运输体系有着十分显著的制约作用。比如路面高温下，行车容易发生车辆爆胎，并成为高速公路交通事故的主要因素之一；路面低温下，路面易发生变形，若恰逢降水，路面又会出现道路结冰，成为影响交通安全最为恶劣的气象条件之一。路面温度的准确预报对交管部门降低道路维护成本与社会公众减少交通事故发生等具有重要作用，但一直以来依然是开展交通气象研究与服务的重点与难点问题。
目前已有研究通过解析路面温度与环境气温、降水等因子的变化规律，建立路面温度风险模型以实现预报预警，大致分为理论研究模型和统计分析模型两类。一方面，以太阳辐射能量守恒原理为基础，考虑太阳短波辐射、大气和地面的长波辐射以及潜热、感热传输等能量之间的平衡，可建立路面温度预报模型；另一方面，根据交通气象实测资料以及气温、相对湿度、降水等气象因子，逐站点建立多元回归统计模型来预报目标位置的路面温度。但总体而言，目前的路面温度预报方法都难以捕获不同影响因子之间的非线性关系，且难以同时生成全区域较长预报时效的路面温度预报产品，应用价值有限。
发明内容
发明目的：本发明的目的是提供一种基于注意力机制和自编码器的高速公路路面温度预报方法。
技术方案：本发明的基于注意力机制和自编码器的高速公路路面温度预报方法，包括以下步骤：
S1、采集区域高速公路路面温度观测数据及数值天气预报模式输出的多气象要素预报数据，多个路面温度监测站点在多个监测时间点的高速公路路面温度观测数据形成原始温度场，多气象要素预报数据为按经纬度划分的网格数据，原始温度场和多气象要素预报数据形成原始数据集，对原始数据集进行预处理；
S2、基于神经网络搭建自编码器，自编码器包括编译器和解码器，将预处理后的原始温度场划分为训练集和验证集，采用训练集和验证集对自编码器进行训练和验证，保存训练好的编译器和解码器，将步骤S1中预处理后的原始温度场输入训练好的编译器中，生成特征向量；
S3、搭建空间注意力机制与通道注意力机制融合的卷积神经网络模型，并对卷积神经网络模型进行训练；其中，卷积神经网络模型包括输入层、融合通道注意力机制和空间注意力机制的卷积模块、全连接层和输出层，卷积模块包括先后连接的卷积层、池化层、通道注意力机制和空间注意力机制；步骤S1预处理后的多气象要素预报数据输入输入层，然后依次经过两个卷积模块处理后，再进入一个全连接层，最后输出层输出步骤S2中生成的特征向量，调整卷积神经网络模型参数，直至卷积神经网络模型训练完成；
S4、将预设时间内的多气象要素产品输入步骤S3训练好的卷积神经网络模型，生成高速公路路面温度的特征向量，然后将高速公路路面温度的特征向量输入步骤S2保存的解码器中生成全区域的高速公路路面温度预报产品。
进一步的，步骤S1中，数值天气预报模式输出的多气象要素预报数据为对路面温度产生影响的气象要素，包括气温、降水、湿度、风速、云量和太阳辐射；
对原始数据集进行预处理包括：剔除原始数据集中的异常值，并进行标准化处理，标准化公式为：
其中，/>
为剔除异常值后的原始数据集，/>
为/>
的平均值， />
为/>
的标准差，/>
为标准化后的数据集。
进一步的，步骤S2包括以下步骤：
S21、将训练集数据输入编译器，编译器输出的特征向量经解码器后输出反演温度场，训练过程中调整特征向量维度K值大小及神经元数量和学习率参数，当解码器输出的反演温度场和原始温度场之间区域平均的时间相关系数TCC达到0.9时，自编码器训练完成；
S22、将验证集数据输入训练好的自编码器，当验证集中反演得到的温度场和原始温度场之间区域平均的时间相关系数TCC达到0.9时认为自编码器已训练完成，并保存训练好的编译器和解码器；若验证集中反演得到的温度场和原始温度场之间区域平均的时间相关系数TCC没有达到0.9，则返回步骤S21继续进行训练；
S23、将步骤S1预处理后的原始温度场输入步骤S22中训练好的编译器中，生成区域高速公路路面温度的特征向量。
更进一步的，训练阶段，训练集作为训练原始温度场，解码器反演得到的温度场为训练反演温度场，自编码器训练方法为：
（101）初始化特征向量维数K=K0；
（102）将训练原始温度场作为编译器的输入数据，经编译器中隐藏层处理后，得到K×1的特征向量；K×1的特征向量经解码器后输出反演得到的高速公路路面温度数据，即训练反演温度场；
（103）计算训练反演温度场和训练原始温度场之间区域平均的时间相关系数TCC，判断TCC是否达到0.9；若否，K=K+1，并返回步骤（102）执行；若是，则此时的K值为最终训练得到的特征向量维数；
验证阶段，验证集作为验证原始温度场对训练后的自编码器进行验证，验证阶段解码器输出的温度场为验证反演温度场，自编码器验证方法为：
（201）将训练得到的特征向量维数K作为验证阶段的特征向量维数；
（202）将验证原始温度场作为编译器输入数据，经编译器处理后得到K×1的特征向量，并经解码器反演后得到验证反演温度场；
（203）计算验证反演温度场和验证原始温度场之间区域平均的时间相关系数TCC，判断TCC是否达到0.9；若否，按步骤（101）～步骤（103）的训练方法继续对自编码器进行训练，直到满足要求；若是，则自编码器训练完成，并保存训练后的编译器和解码器。
更进一步的，时间相关系数的计算公式为：
其中，
为第/>
个路面温度监测站点的时间相关系数， />
为第/>
个路面温度监测站点反演得到的时间序列中第/>
个样本， />
为第/>
个路面温度监测站点原始时间序列中第/>
个样本，
为第/>
个路面温度监测站点反演得到的时间序列的平均值，/>
为第/>
个路面温度监测站点原始时间序列的平均值。
进一步的，步骤S3中卷积神经网络模型的训练方法为：
（1）将步骤S1中预处理后的数值天气预报模式输出的多气象要素预报数据作为卷积神经网络模型的输入数据，输入数据维度为m×n×z，m、n分别为经纬度格点数，z为气象要素个数；
（2）步骤S2中得到的特征向量作为卷积神经网络模型的输出，输出数据维度为K×1；
（3）将m×n×z的输入数据输入第一卷积模块，在第一卷积模块中，分别经过卷积层的卷积处理，池化层的池化处理后，再依次经过通道注意力机制和空间注意力机制后，输出至第二卷积模块，在第二卷积模块中的处理过程与第一卷积模块中相同，然后第二卷积模块输出进入全连接层，最后输出K×1的特征向量；根据损失函数下降情况调整卷积神经网络的模型参数，直至卷积神经网络模型训练完成，卷积神经网络模型参数包括学习率、卷积核数量和激活函数。
更进一步的，通道注意力机制的网络结构表达式为：
其中，M c (F)为最终得到的通道注意力图，F为通道注意力机制的输入，AvgPool和MaxPool分别为平均池化和最大池化，MLP为共享权重的多层感知机，/>
为激活函数；
空间注意力机制的网络结构表达式为：
其中，/>
为最终得到的空间注意力图，E为空间注意力机制的输入，Cov 5为5×5的卷积核。
进一步的，步骤S4包括以下步骤：
S41、将预设时间内的多气象要素产品代入步骤S3中训练好的卷积神经网络模型，生成预设时间内的区域高速公路路面温度特征向量；
S42、将步骤S41生成的特征向量代入步骤S2中训练好的解码器，反演生成预设时间内全区域高速公路路面温度预报产品。
本发明另一实施例中，基于注意力机制和自编码器的高速公路路面温度预报系统，其特征在于，包括：
数据采集及处理模块，用于采集高速公路路面温度观测数据及数值天气预报模式输出的多气象要素预报数据，多个路面温度监测站点在多个监测时间点的高速公路路面温度观测数据形成原始温度场，多气象要素预报数据为按经纬度划分的网格数据，原始温度场和多气象要素预报数据形成原始数据集，剔除原始数据集中的异常值，并进行标准化处理；
自编码器搭建模块，用于基于神经网络构建自编码器，包括编译器和解码器；
自编码器训练模块，将预处理后的原始温度场划分为训练集和验证集，采用训练集和验证集对自编码器进行训练和验证，保存训练好的编译器和解码器，将预处理后的原始温度场输入训练好的编译器中，生成特征向量
卷积神经网络模型搭建模块，用于基于空间注意力机制与通道注意力机制搭建卷积神经网络模型，包括输入层、卷积模块、全连接层和输出层，卷积模块包括先后连接的卷积层、池化层、通道注意力机制和空间注意力机制，输入层数据依次经过两个卷积模块处理后，再进入一个全连接层，最后由输出层输出特征向量；
卷积神经网络模型训练模块，用于将预处理后的多气象要素预报数据作为卷积神经网络模型的输入数据；自编码器生成的特征向量作为卷积神经网络模型的输出；输入数据输入第一卷积模块，在第一卷积模块中，分别经过卷积层的卷积处理，池化层的池化处理后，再依次经过通道注意力机制和空间注意力机制后，输出至第二卷积模块，在第二卷积模块中的处理过程与第一卷积模块中相同，然后第二卷积模块输出进入全连接层，最后输出层输出自编码器训练模块生成的特征向量，根据损失函数下降情况调整卷积神经网络模型参数，直至卷积神经网络模型训练完成；
预报模块，用于将预设时间内的多气象要素产品输入训练好的卷积神经网络模型，生成高速公路路面温度的特征向量，然后将高速公路路面温度的特征向量输入保存的解码器中生成全区域的高速公路路面温度预报产品。
本发明的一种装置设备，包括存储器和处理器，其中：
存储器，用于存储能够在处理器上运行的计算机程序；
处理器，用于在运行所述计算机程序时，执行如上述基于注意力机制和自编码器的高速公路路面温度预报方法的步骤。
有益效果：与现有技术相比，本发明的显著技术效果为：
（1）本发明基于深度学习技术捕获多气象要素和高速公路路面温度之间的线性、非线性关系，能生成更为准确的高速公路路面温度预报产品，较传统的线性方法有显著优势。
（2）本发明通过自编码对高速公路路面温度场进行编译和解码，有效提高了高速公路路面温度空间模态的预报能力，且能同时生成全区域的高速公路路面温度预报产品，较传统的点对点预报方法有显著优势。
（3）本发明在传统的卷积神经网络模型中融合了通道注意力机制和空间注意力机制，进而提高了模型对于不同影响因子（即不同气象要素）、不同影响区域（对不同监测站点的预报、不同的影响因子，其影响区域不同）的敏感性，可有效提高路面温度预报技巧。
附图说明
图1为本发明方法流程图；
图2为自编码器结构图示意图；
图3为融合空间注意力机制和通道注意力机制的卷积神经网络结构图；
图4为通道注意力机制的网络结构图；
图5为空间注意力机制的网络结构图。
实施方式
下面结合附图对本发明的技术方案作进一步说明。
本发明提供的基于注意力机制和自编码器的高速公路路面温度预报方法，流程如图1所示，具体包括以下步骤：
S1、采集高速公路路面温度观测数据及数值天气预报模式输出的多气象要素预报数据（主要包括气温、降水、湿度、风速、云量、太阳辐射等对路面温度产生影响的诸多要素），在区域高速公路上设置多个路面温度监测站点，每个监测站点在多个监测时间点监测高速公路路面温度观测数据，多个监测站点在多个监测时间点监测到的高速公路路面温度观测数据形成原始温度场，多气象要素预报数据为按经纬度划分的网格数据，原始温度场和多气象要素预报数据形成原始数据集，剔除原始数据集中的异常值（主要包括缺测值和记录存在异常的值等）后，对原始数据集进行标准化处理。其中标准化公式如下：
其中，
为剔除异常值后的原始数据集，/>
为/>
的平均值， />
为/>
的标准差，/>
为标准化后的数据集。
S2、基于神经网络搭建自编码器，对自编码器进行训练和验证，保存训练好的编译器和解码器；并对预处理后的原始温度场采用训练好的编译器进行编码，生成特征向量。具体包括如下步骤：
S21、基于神经网络构建自编码器，自编码器的网络结构如图2所示，自编码器包括编译器和解码器，编译器的输出作为解码器的输入，解码器输出反演后的温度场；M×N维的输入数据输入编译器后，经编译器的隐藏层处理，输出K×1的特征向量，K为特征向量的维数；K×1的特征向量经解码器的隐藏层处理后，输出M×N维的输出数据（即反演得到的温度场）；
S22、将步骤S1中预处理后的原始温度场划分为训练集（80%）和验证集（20%），并基于训练集对自编码器进行训练，训练集的维度为M×N维，M为训练集中样本数量，N为路面温度监测站点数量。训练过程中调整K值大小及神经元数量、学习率等参数，当验证集中反演得到的验证反演温度场和验证原始温度场之间区域平均的时间相关系数达到0.9时认为自编码器已训练完成，并保存训练好的编译器和解码器。具体的：
训练阶段，训练集作为训练原始温度场，解码器反演得到的温度场为训练反演温度场。自编码器训练方法为：
（101）初始化特征向量维数K=K0；
（102）将训练原始温度场作为编译器的输入数据，经编译器中隐藏层处理后，得到K×1的特征向量；K×1的特征向量经解码器输出反演得到的高速公路路面温度数据，即训练反演温度场；
（103）计算训练反演温度场和训练原始温度场之间区域平均的时间相关系数TCC，判断TCC是否达到0.9；若否，K=K+1，并返回步骤（102）执行；若是，则此时的K值为最终训练得到的特征向量维数。
验证阶段，采用验证集作为验证原始温度场对训练后的自编码器进行验证，验证阶段解码器输出的温度场为验证反演温度场，自编码器验证方法为：
（201）将训练得到的特征向量维数K作为验证阶段的特征向量维数；
（202）将验证原始温度场作为编译器输入数据，经编译器处理后得到K×1的特征向量，并经解码器反演后得到验证反演温度场；
（203）计算验证反演温度场和验证原始温度场之间区域平均的时间相关系数TCC，判断TCC是否达到0.9；若否，按上述训练方法继续对自编码器进行训练，直到满足要求；若是，则自编码器训练完成，并保存训练后的编译器和解码器。
其中，时间相关系数的计算公式如下：
其中，
为第/>
个路面温度监测站点的时间相关系数， />
为第/>
个路面温度监测站点反演得到的时间序列中第/>
个样本， />
为第/>
个路面温度监测站点原始时间序列中第/>
个样本，/>
为第/>
个路面温度监测站点反演得到的时间序列的平均值，/>
为第/>
个路面温度监测站点原始时间序列的平均值。
S23、将步骤S1预处理后的原始温度场输入步骤S22中训练好的编译器中，生成区域高速公路路面温度的特征向量。
S3、搭建空间注意力机制与通道注意力机制融合的卷积神经网络模型，并对卷积神经网络模型进行训练。
空间注意力机制与通道注意力机制融合的卷积神经网络模型的网络结构如图3所示，主要包括输入层、融合通道注意力机制和空间注意力机制的卷积模块（CS-CNN）、全连接层和输出层，卷积模块（CS-CNN）包括先后连接的卷积层、池化层、通道注意力机制和空间注意力机制，输入层数据依次经过两个卷积模块处理后，再进入一个全连接层，最后由输出层输出特征向量。
通道注意力机制的网络结构如图4，包括平均池化层、最大池化层、共享权重的多层感知机和激活函数，通道注意力机制的输入数据分别进入平均池化层、最大池化层，平均池化层和最大池化层的输出经过共享权重的多层感知机后在由激活函数叠加处理，最后得到通道注意力图。其公式表示如下：
其中，M c (F)为最终得到的通道注意力图，F为通道注意力机制的输入，AvgPool和MaxPool分别为平均池化和最大池化，MLP为共享权重的多层感知机，
为激活函数。
空间注意力机制的网络结构如图5，包括平均池化层、最大池化层、卷积层和激活函数，空间注意力机制的输入依次经过平均池化层和最大池化层后，再进入卷积层进行卷积处理，卷积处理后经激活函数输出空间注意力图。其公式表示如下：
其中，M s (E)为最终得到的空间注意力图，E为空间注意力机制的输入，AvgPool和MaxPool分别为平均池化和最大池化，Cov 5为5×5的卷积核，
为激活函数。
空间注意力机制与通道注意力机制融合的卷积神经网络模型训练的方法为：
（1）将数值天气预报模式输出的多气象要素预报数据作为卷积神经网络模型的输入数据，输入数据维度为m×n×z，m、n分别为经纬度格点数，z为气象要素个数；
（2）步骤S23中得到的区域高速公路路面温度特征向量作为卷积神经网络模型的输出（输出数据维度为K×1）；
（3）训练卷积神经网络模型：
将m×n×z的输入数据输入第一卷积模块，在第一卷积模块中，分别经过卷积层的卷积处理，池化层的池化处理后，再依次经过通道注意力机制和空间注意力机制后，输出至第二卷积模块，在第二卷积模块中的处理过程与第一卷积模块中相同，然后第二卷积模块输出进入全连接层，最后输出步骤S23中生成的K×1的特征向量；根据损失函数下降情况调整卷积神经网络的模型参数（主要包括：学习率、卷积核数量、激活函数），直至卷积神经网络模型训练完成（当损失函数不再下降时认为模型已训练完成）。
S4、将预设时间内的多气象要素产品输入步骤S3训练好的卷积神经网络模型，生成高速公路路面温度的特征向量，而后经过步骤S2保存好的解码器生成全区域的高速公路路面温度预报产品。具体包括如下步骤：
S41、将预设时间内的多气象要素产品代入步骤S3中训练好的卷积神经网络模型，生成预设时间内的区域高速公路路面温度特征向量。
S42、将步骤S41生成的特征向量代入步骤S2中训练好的解码器，反演生成预设时间内全区域高速公路路面温度预报产品。
本发明的另一实施例，一种基于注意力机制和自编码器的高速公路路面温度预报系统，包括：
数据采集及处理模块，用于采集高速公路路面温度观测数据及数值天气预报模式输出的多气象要素预报数据，多个路面温度监测站点在多个监测时间点的高速公路路面温度观测数据形成原始温度场，多气象要素预报数据为按经纬度划分的网格数据，原始温度场和多气象要素预报数据形成原始数据集，剔除原始数据集中的异常值，并进行标准化处理；
自编码器搭建模块，用于基于神经网络构建自编码器，包括编译器和解码器；
自编码器训练模块，将预处理后的原始温度场划分为训练集和验证集，采用训练集和验证集对自编码器进行训练和验证，保存训练好的编译器和解码器，将预处理后的原始温度场输入训练好的编译器中，生成特征向量
卷积神经网络模型搭建模块，用于基于空间注意力机制与通道注意力机制搭建卷积神经网络模型，包括输入层、卷积模块、全连接层和输出层，卷积模块包括先后连接的卷积层、池化层、通道注意力机制和空间注意力机制，输入层数据依次经过两个卷积模块处理后，再进入一个全连接层，最后由输出层输出特征向量；
卷积神经网络模型训练模块，用于将预处理后的多气象要素预报数据作为卷积神经网络模型的输入数据；自编码器生成的特征向量作为卷积神经网络模型的输出；输入数据输入第一卷积模块，在第一卷积模块中，分别经过卷积层的卷积处理，池化层的池化处理后，再依次经过通道注意力机制和空间注意力机制后，输出至第二卷积模块，在第二卷积模块中的处理过程与第一卷积模块中相同，然后第二卷积模块输出进入全连接层，最后输出层输出自编码器训练模块生成的特征向量，根据损失函数下降情况调整卷积神经网络模型参数，直至卷积神经网络模型训练完成；
预报模块，用于将预设时间内的多气象要素产品输入训练好的卷积神经网络模型，生成高速公路路面温度的特征向量，然后将高速公路路面温度的特征向量输入保存的解码器中生成全区域的高速公路路面温度预报产品。具体预报方法见上述步骤S4。
本发明的又一实施例中，一种装置设备，包括存储器和处理器，其中：
存储器，用于存储能够在处理器上运行的计算机程序；
处理器，用于在运行所述计算机程序时，执行上述基于注意力机制和自编码器的高速公路路面温度预报方法的步骤，并能达到上述方法所述的技术效果。
本发明的又一实施例中，一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被至少一个处理器执行时实现如上述基于注意力机制和自编码器的高速公路路面温度预报方法的步骤，并能达到上述方法所述的技术效果。
Claims (10)
1.基于注意力机制和自编码器的高速公路路面温度预报方法，其特征在于，包括以下步骤：
S1、采集区域高速公路路面温度观测数据及数值天气预报模式输出的多气象要素预报数据，多个路面温度监测站点在多个监测时间点的高速公路路面温度观测数据形成原始温度场，多气象要素预报数据为按经纬度划分的网格数据，原始温度场和多气象要素预报数据形成原始数据集，对原始数据集进行预处理；
S2、基于神经网络搭建自编码器，自编码器包括编译器和解码器，将预处理后的原始温度场划分为训练集和验证集，采用训练集和验证集对自编码器进行训练和验证，保存训练好的编译器和解码器，将步骤S1中预处理后的原始温度场输入训练好的编译器中，生成特征向量；
S3、搭建空间注意力机制与通道注意力机制融合的卷积神经网络模型，并对卷积神经网络模型进行训练；其中，卷积神经网络模型包括输入层、融合通道注意力机制和空间注意力机制的卷积模块、全连接层和输出层，卷积模块包括先后连接的卷积层、池化层、通道注意力机制和空间注意力机制；步骤S1预处理后的多气象要素预报数据输入输入层，然后依次经过两个卷积模块处理后，再进入一个全连接层，最后输出层输出步骤S2中生成的特征向量，调整卷积神经网络模型参数，直至卷积神经网络模型训练完成；
S4、将预设时间内的多气象要素数据输入步骤S3训练好的卷积神经网络模型，生成高速公路路面温度的特征向量，然后将高速公路路面温度的特征向量输入步骤S2保存的解码器中生成全区域的高速公路路面温度预报数据。
2.根据权利要求1所述的基于注意力机制和自编码器的高速公路路面温度预报方法，其特征在于，步骤S1中，数值天气预报模式输出的多气象要素预报数据为对路面温度产生影响的气象要素，包括气温、降水、湿度、风速、云量和太阳辐射；
对原始数据集进行预处理包括：剔除原始数据集中的异常值，并进行标准化处理，标准化公式为：
其中，/>
为剔除异常值后的原始数据集，/>
为/>
的平均值，
为/>
的标准差，/>
为标准化后的数据集。
3.根据权利要求1所述的基于注意力机制和自编码器的高速公路路面温度预报方法，其特征在于，步骤S2包括以下步骤：
S21、将训练集数据输入编译器，编译器输出的特征向量经解码器后输出反演温度场，训练过程中调整特征向量维度K值大小及神经元数量和学习率参数，当解码器输出的反演温度场和原始温度场之间区域平均的时间相关系数TCC达到0.9时，自编码器训练完成；
S22、将验证集数据输入训练好的自编码器，当验证集中反演得到的温度场和原始温度场之间区域平均的时间相关系数TCC达到0.9时认为自编码器已训练完成，并保存训练好的编译器和解码器；若验证集中反演得到的温度场和原始温度场之间区域平均的时间相关系数TCC没有达到0.9，则返回步骤S21继续进行训练；
S23、将步骤S1预处理后的原始温度场输入步骤S22中训练好的编译器中，生成区域高速公路路面温度的特征向量。
4.根据权利要求3所述的基于注意力机制和自编码器的高速公路路面温度预报方法，其特征在于，训练阶段，训练集作为训练原始温度场，解码器反演得到的温度场为训练反演温度场，自编码器训练方法为：
（101）初始化特征向量维数K=K0；
（102）将训练原始温度场作为编译器的输入数据，经编译器中隐藏层处理后，得到K×1的特征向量；K×1的特征向量经解码器后输出反演得到的高速公路路面温度数据，即训练反演温度场；
（103）计算训练反演温度场和训练原始温度场之间区域平均的时间相关系数TCC，判断TCC是否达到0.9；若否，K=K+1，并返回步骤（102）执行；若是，则此时的K值为最终训练得到的特征向量维数；
验证阶段，验证集作为验证原始温度场对训练后的自编码器进行验证，验证阶段解码器输出的温度场为验证反演温度场，自编码器验证方法为：
（201）将训练得到的特征向量维数K作为验证阶段的特征向量维数；
（202）将验证原始温度场作为编译器输入数据，经编译器处理后得到K×1的特征向量，并经解码器反演后得到验证反演温度场；
（203）计算验证反演温度场和验证原始温度场之间区域平均的时间相关系数TCC，判断TCC是否达到0.9；若否，按步骤（101）～步骤（103）的训练方法继续对自编码器进行训练，直到满足要求；若是，则自编码器训练完成，并保存训练后的编译器和解码器。
5.根据权利要求4所述的基于注意力机制和自编码器的高速公路路面温度预报方法，其特征在于，时间相关系数的计算公式为：
其中，/>
为第/>
个路面温度监测站点的时间相关系数， />
为第/>
个路面温度监测站点反演得到的时间序列中第/>
个样本， />
为第/>
个路面温度监测站点原始时间序列中第/>
个样本，/>
为第/>
个路面温度监测站点反演得到的时间序列的平均值，/>
为第/>
个路面温度监测站点原始时间序列的平均值。
6.根据权利要求1所述的基于注意力机制和自编码器的高速公路路面温度预报方法，其特征在于，步骤S3中卷积神经网络模型的训练方法为：
（1）将步骤S1中预处理后的数值天气预报模式输出的多气象要素预报数据作为卷积神经网络模型的输入数据，输入数据维度为m×n×z，m、n分别为经纬度格点数，z为气象要素个数；
（2）步骤S2中得到的特征向量作为卷积神经网络模型的输出，输出数据维度为K×1；
（3）将m×n×z的输入数据输入第一卷积模块，在第一卷积模块中，分别经过卷积层的卷积处理，池化层的池化处理后，再依次经过通道注意力机制和空间注意力机制后，输出至第二卷积模块，在第二卷积模块中的处理过程与第一卷积模块中相同，然后第二卷积模块输出进入全连接层，最后输出K×1的特征向量；根据损失函数下降情况调整卷积神经网络的模型参数，直至卷积神经网络模型训练完成，卷积神经网络模型参数包括学习率、卷积核数量和激活函数。
7.根据权利要求6所述的基于注意力机制和自编码器的高速公路路面温度预报方法，其特征在于，通道注意力机制的网络结构表达式为：
其中，M c (F)为最终得到的通道注意力图，F为通道注意力机制的输入，AvgPool和MaxPool分别为平均池化和最大池化，MLP为共享权重的多层感知机，/>
为激活函数；
空间注意力机制的网络结构表达式为：
其中，M s (E)为最终得到的空间注意力图，E为空间注意力机制的输入，Cov 5为5×5的卷积核。
8.根据权利要求1所述的基于注意力机制和自编码器的高速公路路面温度预报方法，其特征在于，步骤S4包括以下步骤：
S41、将预设时间内的多气象要素数据代入步骤S3中训练好的卷积神经网络模型，生成预设时间内的区域高速公路路面温度特征向量；
S42、将步骤S41生成的特征向量代入步骤S2中训练好的解码器，反演生成预设时间内全区域高速公路路面温度预报数据。
9.基于注意力机制和自编码器的高速公路路面温度预报系统，其特征在于，包括：
数据采集及处理模块，用于采集高速公路路面温度观测数据及数值天气预报模式输出的多气象要素预报数据，多个路面温度监测站点在多个监测时间点的高速公路路面温度观测数据形成原始温度场，多气象要素预报数据为按经纬度划分的网格数据，原始温度场和多气象要素预报数据形成原始数据集，剔除原始数据集中的异常值，并进行标准化处理；
自编码器搭建模块，用于基于神经网络构建自编码器，包括编译器和解码器；
自编码器训练模块，将预处理后的原始温度场划分为训练集和验证集，采用训练集和验证集对自编码器进行训练和验证，保存训练好的编译器和解码器，将预处理后的原始温度场输入训练好的编译器中，生成特征向量；
卷积神经网络模型搭建模块，用于基于空间注意力机制与通道注意力机制搭建卷积神经网络模型，包括输入层、卷积模块、全连接层和输出层，卷积模块包括先后连接的卷积层、池化层、通道注意力机制和空间注意力机制，输入层数据依次经过两个卷积模块处理后，再进入一个全连接层，最后由输出层输出特征向量；
卷积神经网络模型训练模块，用于将预处理后的多气象要素预报数据作为卷积神经网络模型的输入数据；自编码器生成的特征向量作为卷积神经网络模型的输出；输入数据输入第一卷积模块，在第一卷积模块中，分别经过卷积层的卷积处理，池化层的池化处理后，再依次经过通道注意力机制和空间注意力机制后，输出至第二卷积模块，在第二卷积模块中的处理过程与第一卷积模块中相同，然后第二卷积模块输出进入全连接层，最后输出层输出自编码器训练模块生成的特征向量，根据损失函数下降情况调整卷积神经网络模型参数，直至卷积神经网络模型训练完成；
预报模块，用于将预设时间内的多气象要素数据输入训练好的卷积神经网络模型，生成高速公路路面温度的特征向量，然后将高速公路路面温度的特征向量输入保存的解码器中生成全区域的高速公路路面温度预报数据。
10.一种电子设备，其特征在于，包括存储器和处理器，其中：
存储器，用于存储能够在处理器上运行的计算机程序；
处理器，用于在运行所述计算机程序时，执行如权利要求1-8任一项所述基于注意力机制和自编码器的高速公路路面温度预报方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310309893.7A CN116070676B (zh) | 2023-03-28 | 2023-03-28 | 基于注意力机制和自编码器的高速公路路面温度预报方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310309893.7A CN116070676B (zh) | 2023-03-28 | 2023-03-28 | 基于注意力机制和自编码器的高速公路路面温度预报方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116070676A CN116070676A (zh) | 2023-05-05 |
| CN116070676B true CN116070676B (zh) | 2023-06-30 |
Family
ID=86178795
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310309893.7A Active CN116070676B (zh) | 2023-03-28 | 2023-03-28 | 基于注意力机制和自编码器的高速公路路面温度预报方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116070676B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117874527A (zh) * | 2024-03-11 | 2024-04-12 | 陕西省气候中心 | 一种多模式数据融合的深度学习预测方法 |
| CN117973636B (zh) * | 2024-03-28 | 2024-05-31 | 南京信息工程大学 | 一种通用交通气象短临预报方法、装置及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018065045A1 (en) * | 2016-10-05 | 2018-04-12 | Telecom Italia S.P.A. | Method and system for estimating energy generation based on solar irradiance forecasting |
| CN113485261A (zh) * | 2021-06-29 | 2021-10-08 | 西北师范大学 | 一种基于CAEs-ACNN的软测量建模方法 |
| CN113807432A (zh) * | 2021-09-16 | 2021-12-17 | 成都卡普数据服务有限责任公司 | 一种基于深度学习的气温预报数据订正方法 |
| CN114091764A (zh) * | 2021-11-24 | 2022-02-25 | 中国南方电网有限责任公司超高压输电公司检修试验中心 | 气象预报要素订正方法、装置、计算机设备和存储介质 |
| CN114611757A (zh) * | 2022-02-11 | 2022-06-10 | 国网湖北省电力有限公司超高压公司 | 基于遗传算法与改进深度残差网络的电力系统短期负荷预测方法 |
| CN114880958A (zh) * | 2022-07-12 | 2022-08-09 | 南京气象科技创新研究院 | 一种基于多气象因子智能深度学习的能见度预报模型 |
| CN114943832A (zh) * | 2022-03-10 | 2022-08-26 | 北京航空航天大学 | 一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法 |
| CN115237896A (zh) * | 2022-07-12 | 2022-10-25 | 四川大学 | 一种基于深度学习预报空气质量的数据前处理方法及系统 |
| CN115840261A (zh) * | 2022-11-28 | 2023-03-24 | 浙江大学 | 一种台风降水短临预测模型优化及预测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110192206A (zh) * | 2017-05-23 | 2019-08-30 | 谷歌有限责任公司 | 基于注意力的序列转换神经网络 |
-
2023
- 2023-03-28 CN CN202310309893.7A patent/CN116070676B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018065045A1 (en) * | 2016-10-05 | 2018-04-12 | Telecom Italia S.P.A. | Method and system for estimating energy generation based on solar irradiance forecasting |
| CN113485261A (zh) * | 2021-06-29 | 2021-10-08 | 西北师范大学 | 一种基于CAEs-ACNN的软测量建模方法 |
| CN113807432A (zh) * | 2021-09-16 | 2021-12-17 | 成都卡普数据服务有限责任公司 | 一种基于深度学习的气温预报数据订正方法 |
| CN114091764A (zh) * | 2021-11-24 | 2022-02-25 | 中国南方电网有限责任公司超高压输电公司检修试验中心 | 气象预报要素订正方法、装置、计算机设备和存储介质 |
| CN114611757A (zh) * | 2022-02-11 | 2022-06-10 | 国网湖北省电力有限公司超高压公司 | 基于遗传算法与改进深度残差网络的电力系统短期负荷预测方法 |
| CN114943832A (zh) * | 2022-03-10 | 2022-08-26 | 北京航空航天大学 | 一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法 |
| CN114880958A (zh) * | 2022-07-12 | 2022-08-09 | 南京气象科技创新研究院 | 一种基于多气象因子智能深度学习的能见度预报模型 |
| CN115237896A (zh) * | 2022-07-12 | 2022-10-25 | 四川大学 | 一种基于深度学习预报空气质量的数据前处理方法及系统 |
| CN115840261A (zh) * | 2022-11-28 | 2023-03-24 | 浙江大学 | 一种台风降水短临预测模型优化及预测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 冬季高速公路逐时路表温度LSTM预测模型;周林义等;《中国安全科学学报》;第33卷(第01期);第136-144页 * |
| 深度学习神经网络及其在海洋环境信息挖掘预测中的应用;徐凌宇;张高唯;江湾湾;李新绢;王蕾;;海洋信息(第01期);第21-27页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116070676A (zh) | 2023-05-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116070676B (zh) | 基于注意力机制和自编码器的高速公路路面温度预报方法 | |
| CN109492830B (zh) | 一种基于时空深度学习的移动污染源排放浓度预测方法 | |
| Zhou et al. | Multi-output support vector machine for regional multi-step-ahead PM2. 5 forecasting | |
| US20220214322A1 (en) | Air pollutants concentration forecasting method and apparatus and storage medium | |
| CN106650825B (zh) | 一种机动车尾气排放数据融合系统 | |
| Feng et al. | Artificial neural networks forecasting of PM2. 5 pollution using air mass trajectory based geographic model and wavelet transformation | |
| CN111832814A (zh) | 一种基于图注意力机制的空气污染物浓度预测方法 | |
| CN106920007B (zh) | 基于二阶自组织模糊神经网络的pm2.5智能预测方法 | |
| CN113536665B (zh) | 基于特征工程和lstm的路表温度短临预测方法及系统 | |
| Lawal et al. | Wind speed prediction using hybrid 1D CNN and BLSTM network | |
| Jonnalagadda et al. | Forecasting atmospheric visibility using auto regressive recurrent neural network | |
| Cacciola et al. | Aspects about air pollution prediction on urban environment | |
| CN114707688A (zh) | 基于卫星云图和时空神经网络的光伏功率超短期预测方法 | |
| CN106526710A (zh) | 一种雾霾预测方法及装置 | |
| CN113177657A (zh) | 轨道交通客流预测方法及装置 | |
| CN112232543A (zh) | 一种基于图卷积网络的多站点预测方法 | |
| CN113011455B (zh) | 一种空气质量预测svm模型构建方法 | |
| Gou et al. | A wind hazard warning system for safe and efficient operation of high-speed trains | |
| CN114510513A (zh) | 用于光伏功率超短期预测的短临气象预报数据处理方法 | |
| Paoli et al. | A neural network model forecasting for prediction of hourly ozone concentration in Corsica | |
| Abayomi-Alli et al. | Long short-term memory model for time series prediction and forecast of solar radiation and other weather parameters | |
| Baran | Prediction of air quality index by extreme learning machines | |
| Zito et al. | Predicting Real-Time Roadside CO and $\hbox {NO} _ {2} $ Concentrations Using Neural Networks | |
| Wang et al. | Hybrid model for prediction of carbon monoxide and fine particulate matter concentrations near a road intersection | |
| CN114882373A (zh) | 基于深度神经网络的多特征融合沙尘暴预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |