CN116629417A - 一种结合卷积注意力模块的轨道交通牵引负荷预测方法 - Google Patents

一种结合卷积注意力模块的轨道交通牵引负荷预测方法 Download PDF

Info

Publication number
CN116629417A
CN116629417A CN202310549170.4A CN202310549170A CN116629417A CN 116629417 A CN116629417 A CN 116629417A CN 202310549170 A CN202310549170 A CN 202310549170A CN 116629417 A CN116629417 A CN 116629417A
Authority
CN
China
Prior art keywords
data
attention module
layer
prediction
prediction model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310549170.4A
Other languages
English (en)
Inventor
钟吴君
李培强
涂春鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202310549170.4A priority Critical patent/CN116629417A/zh
Publication of CN116629417A publication Critical patent/CN116629417A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G06F18/15—Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Marketing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Primary Health Care (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及轨道交通牵引供电领域，具体为一种结合卷积注意力模块的轨道交通牵引负荷预测方法，包括：1、构建预测模型，获取时序数据，设定离群值判别标准，并通过离群值判别标准对时序数据进行清洗；2、对清洗后的时序数据进行EEMD分解，得到本征模态分量；3、构建数据集，对数据集各个维度进行归一化操作；4、确定预测模型最优的数据加载方式；5、将数据集划分为训练集和测试集；6、按照最优的数据加载方式设定预测模型的数据加载方式，并利用训练集对预测模型进行训练；7、使用测试集对预测模型进行测试，得到预测结果。本发明有效解决了现有研究无法深入地捕捉牵引负荷的实时动态特性，显著提升了轨道交通牵引负荷预测的精度。

Description

一种结合卷积注意力模块的轨道交通牵引负荷预测方法
技术领域
本发明涉及轨道交通牵引供电技术领域，特别涉及一种结合卷积注意力模块的轨道交通牵引负荷预测方法。
背景技术
我国拥有世界上最大规模的轨道交通网络，总里程超十四万公里。轨道交通是耗能大户，约占国内总用电量的2％，是耗能最多的单体负荷类别。随着我国轨道交通网络的迅猛发展，其能耗问题引起了研究者的高度重视。
由于轨道交通牵引负荷呈现出空间变换性、时变性、波动性等特点。为了保障电网的安全稳定运行和日前与实时的经济调度，铁路部门在日前需向国家电网公司上报各牵引变电站购电量的预测值，若实际购电量超出预测误差阈值，国家电网公司在日内将增加电费结算价格，造成轨道交通系统整体运营成本增加，铁路运营部门对各牵引变电所购买的电量进行精确预测，同时可以对轨道交通电能质量分析、能量管理系统能量分配、牵引变电站的优化调度等研究提供数据源侧的支撑。因而，亟需开展轨道交通牵引负荷精确预测课题研究。
在现有的负荷预测研究中，传统的负荷预测往往采用时间序列法、回归分析法、灰色模型法、决策树法等预测方法。这些方法在统计学上拥有坚实的理论和实践基础，建模过程简单，计算量小，便于现场部署，不需考虑数据的分布情况与特征。但一旦负荷数据离散程度较大时，其预测精度往往较低，故传统的预测方法始终无法准确地对复杂的轨道交通负荷进行预测。
随着现代信息通信技术以及计算机技术的逐步支持，模糊预测法、支持向量机法、人工神经网络法等人工智能等预测方法得到飞速发展，取得了较多的研究成果。以上这些方式均能可靠地对常规电力负荷进行预测分析。但考虑到轨道交通的牵引负荷波动大、动态特性强等特性，如何精确地反映轨道交通牵引负荷的变化状态并提升轨道交通牵引负荷预测的精度是一大难点。
发明内容
本发明提供了一种结合卷积注意力模块的轨道交通牵引负荷预测方法，以解决现有轨道交通牵引负荷预测方法精度低，且无法准确地对复杂的轨道交通牵引负荷进行预测的技术问题。
为达到上述目的，本发明的技术方案是这样实现的：
本发明提供了一种结合卷积注意力模块的轨道交通牵引负荷预测方法，包括如下步骤：
步骤S1、构建预测模型，获取轨道交通历史牵引变电站负荷的时序数据，设定离群值判别标准，并通过离群值判别标准对时序数据进行清洗，得到清洗后的时序数据；
步骤S2、对清洗后的时序数据进行EEMD分解，得到EEMD分解的若干个本征模态分量IMF；
步骤S3、利用若干个本征模态分量IMF和步骤S1中的时序数据构建数据集，对数据集各个维度进行归一化操作，得到归一化后的数据集；
步骤S4、利用归一化后的数据集构建输入变量和输出变量，重复设定不同的滑动窗口宽度及预测步长，分别计算对应的数据加载方式下输入变量与输出变量的皮尔逊相关性系数并分别取均值，完成多段皮尔逊相关性系数的计算，选择皮尔逊系数最大的一段所对应的预测步长和滑动窗口宽度的组合，作为预测模型最优的数据加载方式；
步骤S5、将归一化后的数据集划分为训练集和测试集；
步骤S6、按照步骤S4中最优的数据加载方式设定预测模型的数据加载方式，并利用训练集对预测模型进行训练，得到训练后的预测模型；
步骤S7、使用测试集对训练后的预测模型进行测试，并进行反归一化，得到预测结果。
进一步地，所述步骤S1具体包含如下步骤：
步骤S11、构建预测模型，获取轨道交通历史牵引负荷的时序数据，时序数据包含多个样本，构建预测模型，将时序数据输入到预测模型中；
步骤S12、在预测模型中设定离群值滑动窗口宽度以及离群值判别标准；
步骤S13、从预测模型中滑动窗口的首个样本开始滑动，滑动步长与滑动窗口的宽度一致；
步骤S14、每次滑动计算滑动窗口内样本均值M以及标准差σ；
步骤S15、删除滑动窗口内满足离群值判别标准的样本，离群值判别标准具体为：
|xi-M|＞α·σ
其中xi为滑动窗口内包含的第i个样本，α为标准差的倍数；
步骤S16、重复步骤S13至步骤S15，直至遍历全部样本。
进一步地，所述步骤S14中的滑动窗口内样本均值M以及标准差σ的计算公式分别如下：
其中，n为滑动窗口宽度。
进一步地，所述步骤S2具体包含如下步骤：
步骤S21、设定总体平均次数nm；
步骤S22、在原始信号x(t)的基础上，原始信号即时序数据中的样本，加入一个服从标准正态分布的白噪声序列以产生一个新信号，即xi(t)＝x(t)+ni(t)，其中ni(t)为第i次试验加入的白噪声，xi(t)为第i次试验得到的新信号，i＝1,2,...,nm；
步骤S23、对所有含有白噪声xi(t)的新信号xi(t)进行EMD分解，得到新信号的各个本征模态分量IMF；
步骤S24、重复步骤S22至步骤S23共nm次，每次分解加入幅值不同的白噪声信号得到本征模态分量IMF集合，为：c1,j(t),c2,j(t),...,cnm,j,j＝1,2,...,J；
步骤S25、对本征模态分量IMF集合中的各个本征模态分量IMF取均值，得到EEMD分解的本征模态分量IMF，即：
其中，cj(t)是EEMD分解的第j个本征模态分量IMF，i＝1,2,...,nm，nm为重复步骤的次数。
进一步地，所述步骤S3中的归一化操作具体计算过程为：
其中，x*为归一化后的目标值，x为时序数据的原始样本数据，xmin为样本数据中的最小值，xmax为样本数据中的最大值。
进一步地，所述步骤S4具体包含如下步骤：
步骤S41、设定预测步长范围为[sl,su]，其中，sl为预测步长下限，su为预测步长上限，二者均为正整数；
步骤S42、设定滑动窗口宽比范围为[cl,cu]，其中，窗宽比＝滑动窗口宽度/预测步长，cl为窗宽比下限，cu为窗宽比上限，二者均为正整数；
步骤S43、利用归一化后的数据集构建输入变量和输出变量，令第i次试验设定的预测步长为si，si为正整数，且si∈[sl,su]，滑动窗口的滑动范围为[si·cl,si·cu]，保持预测步长不变，使滑动窗口在滑动范围内升序递增，计算对应的数据加载方式下输入变量与输出变量的皮尔逊相关性系数，并对多个皮尔逊相关性系数取均值；
步骤S44、改变预测步长大小，重复步骤S41至步骤S44，直至遍历预测步长范围内的全部样本，完成分段皮尔逊系数的计算；
步骤S45、从步骤S44的输出中选择皮尔逊系数最大的一段所对应的预测步长和滑动窗口宽度的组合，作为预测模型最优的数据加载方式。
进一步地，所述步骤S43包含如下步骤：
步骤S431、令滑动窗口宽度为si·cl，则将数据集第一个样本数据至第si·cl个样本，共计si·cl个样本作为输入变量，第si·cl+1个样本至第si·cl+si个共计si个样本为输出变量，计算输入变量与输出变量的皮尔逊相关性系数，之后滑动窗口按si·cl+si的步长滑动并重复前述流程，直至遍历整个数据集；
步骤S432、将遍历数据集后求得的分段皮尔逊系数取均值。
进一步地，所述步骤S1中的预测模型包括依次连接的第一卷积层、通道注意力模块、空间注意力模块、第一随机丢弃层、第三激活函数、第二卷积层、第四激活函数、双向长短期记忆网络、第二随机丢弃层、第一全连接层、第五激活函数、第二全连接层和第三全连接层；；
通道注意力模块包括第一全局最大池化层、第一全局平均池化层、多层感知机、第一激活函数；第一全局最大池化层、第一全局平均池化层并联连接，且分别与多层感知机连接，多层感知机与第一激活函数连接；
空间注意力模块包括依次连接的第二全局最大池化层、第二全局平均池化层、CNN网络、第二激活函数；第二全局最大池化层与第一激活函数连接。
进一步地，所述步骤S6具体包含如下步骤：
步骤S61、按照步骤S4中最优的数据加载方式设定预测模型的数据加载方式；
步骤S62、首先通过第一卷积层对训练集进行二维卷积操作，计算公式为：
其中，表示输出通道数，/>表示输入通道数，Ni表示批次大小，k为第一卷积层的卷积核大小，out(·)表示CNN网络的输出，input(·)表示CNN网络的输入，weight(·)表示CNN网络输入对应的权重，bias(·)表示CNN网络输出的偏置；；
步骤S63、将经过步骤S62卷积后的数据依次输入到通道注意力模块、空间注意力模块、第一随机丢弃层、第三激活函数中，得到第一中间数据；
步骤S64、将第一中间数据输入到第二卷积层中进行特征提取，并使用第四激活函数对卷积后的第一中间数据进行转换得到第二中间数据；
步骤S65、将第二中间数据输入到双向长短期记忆网络，同时从正向以及反向处理数据，得到预测输出数据，其计算你过程如下：
it＝σ(Wii+bii+Whiht-1+bhi)
ft＝σ(Wif+bif+Whfht-1+bhf)
gt＝tanh(Wigxi+big+Whght-1+bhg)
ot＝σ(Wioxt+bio+Whoht-1+bhg)
ct＝ft⊙ct-1+it⊙gt
ht＝ot⊙tanh(ct)
其中，ht为t时刻的隐藏状态；ct为t时刻的单元状态；xi为t时刻的输入；ht-1为t-1时刻的隐藏状态；ct-1表示t-1时刻的单元状态；it，ft，gt，ot分别表示输入门、遗忘门、神经元、输出门；W为权重矩阵，b为偏置项；σ表示双向长短期记忆网络内的sigmod激活函数；⊙表示矩阵元素相乘；Wii、Whi、Wif、Whf、Whg、Wio表示双向长短期记忆网络不同结构件的权重；bii、bhi、bif、bhf、bhg、bio表示双向长短期记忆网络不同结构件的偏置；tanh(.)表示正切函数；
步骤S66、将步骤S65中的预测输出数据输入到第二随机丢弃层，并依次输入到第一全连接层、第五激活函数、第二全连接层和第三全连接层，得到反归一化前的预测结果；
步骤S67、将反归一化前的预测结果进行反归一化，得到反归一化后的预测结果；
步骤S68、构建损失函数，通过损失函数计算反归一化后的预测结果的损失，重复步骤S62至步骤S68，直至重复次数达到设定次数，最小损失函数，得到训练后的预测模型。
进一步地，所述步骤S63具体包括如下步骤：
步骤S631、将经过步骤S62卷积后的数据输入到通道注意力模块中，并分别输入到第一全局最大池化层、第一全局平均池化层中，得到两个特征数据，将两个特征数据分别输入到多层感知机中，然后使用第一激活函数进行转换，并对转换后的数据进行求和得到通道注意力模块的输出数据Mc，将通道注意力模块的输出数据Mc与输入通道注意力模块的原始数据的对应元素相乘，生成通道注意力模块的最终输出数据，其计算过程为：
Mc(F)＝σElu1(MLP(AvgPool(F))+MLP(MaxPool(F)))
其中，σElu1为第一激活函数：x1≥0,x1＜0,Elu(x1)＝x1，F为输入通道注意力模块的原始数据；MLP(.)表示多层感知机，AvgPool(.)表示第一全局平均池化层的全局平均池化操作，MaxPool(.)表示第一全局最大池化层的全局最大池化操作；
步骤S632、将通道注意力模块的最终输出数据输入到空间注意力模块中，并依次通过第二全局最大池化层、第二全局平均池化层进行池化操作，并将池化操作后的数据输入到CNN网络中，并经过第二激活函数进行激活操作，生成空间注意力模块的输出数据Ms，将空间注意力模块的输出数据Ms与输入空间注意力模块的原始数据中对应元素的相乘，得到空间注意力模块的最终输出数据；计算过程如下：
Ms(F)＝σElu2(f([AvgPool(F)；MaxPool(F)]))
其中，σElu2为第二激活函数，f为卷积操作；
步骤S633、将空间注意力模块的最终输出数据输入到第一随机丢弃层中，第一随机丢弃层以一定概率p将空间注意力模块的最终输出数据置零，之后通过第三激活函数进行转换，得到第一中间数据，第三激活函数的计算公式为：
Gelu(z)＝z·φ(z)
其中，φ(z)表示在(-∞,z]对高斯分布的定积分，z表示第一随机丢弃层输出的数据。
本发明的有益效果：
(1)本发明采取EEMD集合经验模态分解，对原始一维的轨道交通牵引变电站负荷数据进行合理分解，克服了EMD方法在分解过程中存在的模态混叠问题，并有效分析负荷的变化规律，实现对负荷数据特征信息增广，提高模型的拟合度。
(2)针对模型的滑动窗口宽度和预测步长的选取问题，本发明提出了分段皮尔逊系数法。模拟并计算选择不同预测步长及滑动窗口宽度时输入变量间的相关性，为模型的参数选择提供了数学支持。
(3)在两层CNN网络间使用卷积注意力模块(Convolutional BlockAttentionModule,CBAM)进行连接，可增强传统CNN网络的特征提取能力，在计算能力有限的情况下，将计算性能分配给更重要的数据信息，有效避免了模型的过拟合，缓解了信息超载问题，使得该技术方法更适应于现场工程应用与本地部署。
(4)本发明采取合理的预测模型架构:CNN-CBAM-BiLSTM。组合模型可以综合不同网络的优势，CNN-CBAM侧重于数据特征的提取，BiLSTM可更好获得相邻数据的时序信息，二者结合可实现性能更优的预测，为捕捉轨道交通牵引负荷数据的波动性提供了技术支撑，有利于克服其预测过程中的不稳定性。
附图说明
图1是本发明的流程示意图；
图2是本发明中预测模型EEMD-CNN-BiLSTM的结构示意图；
图3是本发明中CBAM结构示意图；
图4是本发明中步骤S4的流程图；
图5(a)～(f)是表2中数据加载方式1～6下的使用本发明方法、BiLSTM、RNN以及CNN-LSTM方法进行预测的轨道交通牵引负荷预测曲线对比图。
具体实施方式
下面结合附图及具体实施例对本发明再作进一步详细的说明。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
另外，在本发明中的“第一”、“第二”等描述，仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量或顺序。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个、三个等，除非另有明确具体的限定。
参照图1，本申请实施例提供了一种结合卷积注意力模块的轨道交通牵引负荷预测方法，包括如下步骤：
步骤S1、构建预测模型(EEMD-CNN-BiLSTM)，获取轨道交通历史牵引负荷的时序数据，设定离群值判别标准，并通过离群值判别标准对时序数据进行清洗，得到清洗后的时序数据；清洗包括空数据、非数值型数据以及局部离群值等非法数据进行过滤；
在本实施例中，所述步骤S1中的预测模型包括依次连接的第一卷积层、通道注意力模块、空间注意力模块、第一随机丢弃层、第三激活函数、第二卷积层、第四激活函数、双向长短期记忆网络、第二随机丢弃层、第一全连接层、第五激活函数、第二全连接层和第三全连接层；
通道注意力模块包括第一全局最大池化层、第一全局平均池化层、多层感知机、第一激活函数；第一全局最大池化层、第一全局平均池化层并联连接，且分别与多层感知机连接，多层感知机与第一激活函数连接；
空间注意力模块包括依次连接的第二全局最大池化层、第二全局平均池化层、CNN网络、第二激活函数；第二全局最大池化层与第一激活函数连接。
在本实施例中，所述步骤S1具体包含如下步骤：
步骤S11、构建预测模型，获取轨道交通历史牵引负荷的时序数据，时序数据包含多个样本，构建预测模型，将时序数据输入到预测模型中；
步骤S12、在预测模型中设定离群值滑动窗口宽度以及离群值判别标准；滑动窗口宽度优选为10，离群值判别标准优选为三倍局部标准差；
步骤S13、从预测模型中滑动窗口的首个样本开始滑动，滑动步长与滑动窗口的宽度一致；
步骤S14、每次滑动计算滑动窗口内样本均值M以及标准差σ；
在本实施例中，所述步骤S14中的滑动窗口内样本均值M以及标准差σ的计算公式分别如下：
其中，n为滑动窗口宽度，在本实施例中n为10。
步骤S15、删除滑动窗口内满足离群值判别标准的样本，离群值判别标准具体为：
|xi-M|＞α·σ
其中xi为滑动窗口内包含的第i个样本，α为标准差的倍数；
步骤S16、重复步骤S13至步骤S15，直至遍历全部样本。
步骤S2、对清洗后的时序数据进行EEMD分解，将复杂信号分解为多个简单子信号，得到EEMD分解的若干个本征模态分量IMF；在本实施例中，本征模态分量IMF的数量为4个；
在本实施例中，所述步骤S2具体包含如下步骤：
步骤S21、设定总体平均次数nm，优选的nm为4；
步骤S22、在原始信号x(t)的基础上，原始信号即时序数据中的样本，加入一个服从标准正态分布的白噪声序列以产生一个新信号，即xi(t)＝x(t)+ni(t)，其中ni(t)为第i次试验加入的白噪声，xi(t)为第i次试验得到的新信号，i＝1,2,...,nm；
步骤S23、对所有含有白噪声xi(t)的新信号xi(t)进行EMD分解，得到新信号的各个本征模态分量IMF；
步骤S24、重复步骤S22至步骤S23共4次，每次分解加入幅值不同的白噪声信号得到本征模态分量IMF集合，为：j＝1,2,...,J；
步骤S25、由于不相关序列的统计平均值为0，对本征模态分量IMF集合中的各个本征模态分量IMF取均值，得到EEMD分解的本征模态分量IMF，即：
其中，cj(t)是EEMD分解的第j个本征模态分量IMF，i＝1,2,...,nm，nm为重复步骤的次数。
步骤S3、利用若干个本征模态分量IMF和步骤S1中的时序数据构建数据集，采用min-max对数据集各个维度进行归一化操作，得到归一化后的数据集；
在本实施例中，所述步骤S3中的归一化操作具体计算过程为：
其中，x*为归一化后的目标值，x为时序数据的原始样本数据，xmin为样本数据中的最小值，xmax为样本数据中的最大值。
步骤S4、利用归一化后的数据集构建输入变量和输出变量，在预测模块内重复设定不同的滑动窗口宽度及预测步长，分别计算对应的数据加载方式下输入变量与输出变量的皮尔逊相关性系数并分别取均值，完成多段皮尔逊相关性系数的计算，选择皮尔逊系数最大的一段所对应的预测步长和滑动窗口宽度的组合，作为预测模型最优的数据加载方式；
在本实施例中，所述步骤S4具体包含如下步骤：
步骤S41、设定预测步长范围为[sl,su]，其中，sl为预测步长下限，su为预测步长上限，二者均为正整数；优选的，预测步长范围为[2,10]；
步骤S42、设定滑动窗口宽比范围为[cl,cu]，其中，窗宽比＝滑动窗口宽度/预测步长，cl为窗宽比下限，cu为窗宽比上限，二者均为正整数；优选的，滑动窗口宽比范围为[2,5]；
步骤S43、利用归一化后的数据集构建输入变量和输出变量，令第i次试验设定的预测步长为si，si为正整数，且si∈[2,10]，滑动窗口的滑动范围为[si·2,si·5]，保持预测步长不变，使滑动窗口在范围内升序递增，计算对应的数据加载方式下输入变量与输出变量的皮尔逊相关性系数，并对多个皮尔逊相关性系数取均值；
在本实施例中，所述步骤S43包含如下步骤：
步骤S431、令滑动窗口宽度为si·2，则将数据集第一个样本数据至第si·2个样本，共计si·2个样本作为输入变量，第si·2+1个样本至第si·2+si个共计si个样本为输出变量，计算输入变量与输出变量的皮尔逊相关性系数，之后滑动窗口按si·2+si的步长滑动并重复前述流程，直至遍历整个数据集；
在本实施例中，由于皮尔逊相关性计算仅适用于两个等长序列，所以针对输入、输出变量不同情况，所述步骤S431包括如下步骤：
步骤S4311、依次按序从输入变量中取出si个样本(不重复)与输出变量计算皮尔逊相关性系数，直至遍历输入变量，单次皮尔逊相关性系数计算过程如下：
Cov(xin，xout)为两变量间的协方差，分别为输入、输出变量的标准差；
步骤S4312、若进行若干次步骤S4311后，剩余样本数量小于si，则选择输入变量中最后si个样本进行计算；
步骤S4313、对步骤S4311以及步骤S4312求出的所有相关性系数取绝对值后求均值，作为单次窗口滑动对应分段的皮尔逊相关性系数；
步骤S4314、遍历整个数据集，求得所有分段皮尔逊系数。
步骤S432、将遍历数据集后求得的分段皮尔逊系数取均值。
步骤S44、改变预测步长大小，重复步骤S41至步骤S44，直至遍历预测步长范围内的全部样本，完成分段皮尔逊系数的计算；
步骤S45、从步骤S44的输出中选择皮尔逊系数最大的一段所对应的预测步长和滑动窗口宽度的组合，作为预测模型最优的数据加载方式。
步骤S5、将归一化后的数据集划分为训练集和测试集；80％为训练集，20％为测试集。
步骤S6、按照步骤S4中最优的数据加载方式设定预测模型的数据加载方式，并利用训练集对预测模型进行训练，得到训练后的预测模型；
在本实施例中，所述步骤S6具体包含如下步骤：
步骤S61、按照步骤S4中最优的数据加载方式设定预测模型的数据加载方式；
步骤S62、首先通过第一卷积层对训练集进行二维卷积操作，计算公式为：
其中，表示输出通道数，/>表示输入通道数，Ni表示批次大小，k为第一卷积层的卷积核大小，具体的，/>为64，/>为1，Ni为10，k为3；out(·)表示CNN网络的输出，input(·)表示CNN网络的输入，weight(·)表示CNN网络输入对应的权重，bias(·)表示CNN网络输出的偏置；
步骤S63、将经过步骤S62卷积后的数据依次输入到通道注意力模块、空间注意力模块、第一随机丢弃层、第三激活函数中，得到第一中间数据；
在本实施例中，所述步骤S63具体包括如下步骤：
步骤S631、将经过步骤S62卷积后的数据输入到通道注意力模块中，并分别输入到第一全局最大池化层、第一全局平均池化层中，得到两个特征数据，将两个特征数据分别输入到多层感知机(MLP)中，多层感知机的层数为两层，然后使用第一激活函数(第一激活函数为Elu1)进行转换，并对转换后的数据进行求和得到通道注意力模块的输出数据Mc，将通道注意力模块的输出数据Mc与输入通道注意力模块的原始数据的对应元素相乘，生成通道注意力模块的最终输出数据，其计算过程为：
Mc(F)＝σElu1(MLP(AvgPool(F))+MLP(MaxPool(F)))
其中，其中，σElu1为第一激活函数：x1≥0,x1＜0,Elu(x1)＝x1，F为输入通道注意力模块的原始数据；MLP(.)表示多层感知机，AvgPool(.)表示第一全局平均池化层的全局平均池化操作，MaxPool(.)表示第一全局最大池化层的全局最大池化操作；
步骤S632、将通道注意力模块的最终输出数据输入到空间注意力模块中，并依次通过第二全局最大池化层、第二全局平均池化层进行池化操作，并将池化操作后的数据输入到CNN网络中，并经过第二激活函数(第二激活函数为Elu2)进行激活操作，生成空间注意力模块的输出数据Ms，将空间注意力模块的输出数据Ms与输入空间注意力模块的原始数据中对应元素的相乘，得到空间注意力模块的最终输出数据；计算过程如下：
Ms(F)＝σElu2(f([AvgPool(F)；MaxPool(F)]))
其中，σElu2为第二激活函数，f为卷积操作；
步骤S633、将空间注意力模块的最终输出数据输入到随机丢弃层中，随机丢弃层以一定概率p(p为0.1)将空间注意力模块的最终输出数据置零，之后通过第三激活函数进行转换，得到第一中间数据，第三激活函数Gelu的计算公式为：
Gelu(z)＝z·φ(z)
其中，φ(z)表示在(-∞,z]对高斯分布的定积分，z表示第一随机丢弃层输出的数据。
步骤S64、将第一中间数据输入到第二卷积层(第二卷积层为二维卷积层)中进行特征提取，第二卷积层的输出通道为128，输入通道为64，卷积核为3，并使用第四激活函数(第四激活函数为Gelu2)对卷积后的第一中间数据进行转换得到第二中间数据；
步骤S65、将第二中间数据输入到隐含单元为64的双向长短期记忆网络(BiLSTM)，同时从正向以及反向处理数据，得到预测输出数据，其计算你过程如下：
it＝σ(Wii+bii+Whiht-1+bhi)
ft＝σ(Wif+bif+Whfht-1+bhf)
gt＝tanh(Wigxi+big+Whght-1+bhg)
ot＝σ(Wioxt+bio+Whoht-1+bhg)
ct＝ft⊙ct-1+it⊙gt
ht＝ot⊙tanh(ct)
其中，ht为t时刻的隐藏状态；ct为t时刻的单元状态；xi为t时刻的输入；ht-1为t-1时刻的隐藏状态；ct-1表示t-1时刻的单元状态；it，ft，gt，ot分别表示输入门、遗忘门、神经元、输出门；W为权重矩阵，b为偏置项；σ表示双向长短期记忆网络内的sigmod激活函数；⊙表示矩阵元素相乘；Wii、Whi、Wif、Whf、Whg、Wio表示双向长短期记忆网络不同结构件的权重；bii、bhi、bif、bhf、bhg、bio表示双向长短期记忆网络不同结构件的偏置；tanh(.)表示正切函数；
步骤S66、将步骤S65中的预测输出数据输入到第二随机丢弃层，丢弃率为0.2，并依次输入到第一全连接层、第五激活函数(第五激活函数为Elu3)、第二全连接层和第三全连接层，得到反归一化前的预测结果；
步骤S67、将反归一化前的预测结果进行反归一化，得到反归一化后的预测结果；
步骤S68、构建损失函数，通过损失函数计算反归一化后的预测结果的损失，重复步骤S62至步骤S68，直至重复次数达到设定次数，最小损失函数，得到训练后的预测模型。
步骤S7、使用测试集对训练后的预测模型进行测试，并进行反归一化，得到预测结果。
下面以具体实验说明本发明的效果。
本次实验选取包头市九原区万水泉南牵引变电所单日实测负荷数据作为研究对象。实验以传统RNN、BiLSTM、CNN-LSTM以及CNN-BiLSTM为对比算法，对本发明提出的EEMD-CNN-CBAM-BiLSTM预测模型进行验证。验证过程中选择平均绝对误差(MAE)，均方根误差(RMSE)，平均绝对百分比误差(MAPE)，纯均方误差(MSPE)作为评估标准，实现对本方法的精确度的全面评估。
首先，计算本发明提出的分段皮尔逊系数法，结果见表1。
表1：分段皮尔逊系数计算结果汇总
由表1可知，相同预测步长的前提下，不同滑动窗口宽度对应的分段皮尔逊系数较为接近，随着预测步长的增加，分段皮尔逊系数的逐步下降，其中，预测步长为2时，分段皮尔逊系数均为1，输入输出表现出强相关，预测步长为3和4时，分段皮尔逊系数维持在较高水平，故，后续实验将针对预测步长为2-4进行。
实验根据预测步长以及滑动窗口宽度划分数据加载方式，预测步长为[2,3,4]，滑动窗口宽度为[10,20]，共有6种数据加载方式，对应的预测对比折线图如图5所示，对应的评价指标对比见表2
表2：评价指标对比汇总
从表2中可以看出，当选择预测步长为2，滑动窗口宽度为10时，CNN-CBAM-BiLSTM预测模型与其他对比模型的平均绝对百分比误差均小于7％，由图5(a)可以看出这五种模型预测的轨道交通牵引负荷与实际相差不大，其变化趋势与实际负荷的变化趋势基本一致。在不同的数据加载方式下的预测实验中，CNN-CBAM-BiLSTM预测模型的精度最高，误差指标均小于其他模型。为了检验卷积注意力模块的有效性，进行CNN-CBAM-BiLSTM预测模型和CNN-BiLSTM模型的六组对比实验，在超参设置相同的情况下，对比这两个模型的误差。结合表二可以得出CNN-CBAM-BiLSTM预测模型的平均绝对百分比误差，较CNN-BiLSTM模型下降3％左右。因此，CNN-CBAM-BiLSTM预测模型的预测性能高于未加CABM的CNN-BiLSTM模型。综上分析，CNN-CBAM-BiLSTM预测模型的误差评价指标均小于其他四个对比模型，CNN-CBAM-BiLSTM预测模型的预测性能更加优越。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。并且，本发明各个实施方式之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种结合卷积注意力模块的轨道交通牵引负荷预测方法，其特征在于：包括如下步骤：
步骤S1、构建预测模型，获取轨道交通历史牵引变电站负荷的时序数据，设定离群值判别标准，并通过离群值判别标准对时序数据进行清洗，得到清洗后的时序数据；
步骤S2、对清洗后的时序数据进行EEMD分解，得到EEMD分解的若干个本征模态分量IMF；
步骤S3、利用若干个本征模态分量IMF和步骤S1中的时序数据构建数据集，对数据集各个维度进行归一化操作，得到归一化后的数据集；
步骤S4、利用归一化后的数据集构建输入变量和输出变量，在预测模块内重复设定不同的滑动窗口宽度及预测步长，分别计算对应的数据加载方式下输入变量与输出变量的皮尔逊相关性系数并分别取均值，完成多段皮尔逊相关性系数的计算，选择皮尔逊系数最大的一段所对应的预测步长和滑动窗口宽度的组合，作为预测模型最优的数据加载方式；
步骤S5、将归一化后的数据集划分为训练集和测试集；
步骤S6、按照步骤S4中最优的数据加载方式设定预测模型的数据加载方式，并利用训练集对预测模型进行训练，得到训练后的预测模型；
步骤S7、使用测试集对训练后的预测模型进行测试，并进行反归一化，得到预测结果。
2.根据权利要求1所述的轨道交通牵引负荷预测方法，其特征在于，所述步骤S1具体包含如下步骤：
步骤S11、构建预测模型，获取轨道交通历史牵引负荷的时序数据，时序数据包含多个样本，构建预测模型，将时序数据输入到预测模型中；
步骤S12、在预测模型中设定离群值滑动窗口宽度以及离群值判别标准；
步骤S13、从预测模型中滑动窗口的首个样本开始滑动，滑动步长与滑动窗口的宽度一致；
步骤S14、每次滑动计算滑动窗口内样本均值M以及标准差σ；
步骤S15、删除滑动窗口内满足离群值判别标准的样本，离群值判别标准具体为：
|xi-M|＞α·σ
其中xi为滑动窗口内包含的第i个样本，α为标准差的倍数；
步骤S16、重复步骤S13至步骤S15，直至遍历全部样本。
3.根据权利要求2所述的轨道交通牵引负荷预测方法，其特征在于，所述步骤S14中的滑动窗口内样本均值M以及标准差σ的计算公式分别如下：
其中，n为滑动窗口宽度。
4.根据权利要求3所述的轨道交通牵引负荷预测方法，其特征在于，所述步骤S2具体包含如下步骤：
步骤S21、设定总体平均次数nm；
步骤S22、在原始信号x(t)的基础上，原始信号即时序数据中的样本，加入一个服从标准正态分布的白噪声序列以产生一个新信号，即xi(t)＝x(t)+ni(t)，其中ni(t)为第i次试验加入的白噪声，xi(t)为第i次试验得到的新信号，i＝1,2,...,nm；
步骤S23、对所有含有白噪声xi(t)的新信号xi(t)进行EMD分解，得到新信号的各个本征模态分量IMF；
步骤S24、重复步骤S22至步骤S23共nm次，每次分解加入幅值不同的白噪声信号得到本征模态分量IMF集合，为：
步骤S25、对本征模态分量IMF集合中的各个本征模态分量IMF取均值，得到EEMD分解的本征模态分量IMF，即：
其中，cj(t)是EEMD分解的第j个本征模态分量IMF，i＝1,2,...,nm，nm为重复步骤的次数。
5.根据权利要求4所述的轨道交通牵引负荷预测方法，其特征在于，所述步骤S3中的归一化操作具体计算过程为：
其中，x*为归一化后的目标值，x为时序数据的原始样本数据，xmin为样本数据中的最小值，xmax为样本数据中的最大值。
6.根据权利要求5所述的轨道交通牵引负荷预测方法，其特征在于，所述步骤S4具体包含如下步骤：
步骤S41、设定预测步长范围为[sl,su]，其中，sl为预测步长下限，su为预测步长上限，二者均为正整数；
步骤S42、设定滑动窗口宽比范围为[cl,cu]，其中，窗宽比＝滑动窗口宽度/预测步长，cl为窗宽比下限，cu为窗宽比上限，二者均为正整数；
步骤S43、利用归一化后的数据集构建输入变量和输出变量，令第i次试验设定的预测步长为si，si为正整数，且si∈[sl,su]，滑动窗口的滑动范围为[si·cl,si·cu]，保持预测步长不变，使滑动窗口在滑动范围内升序递增，计算对应的数据加载方式下输入变量与输出变量的皮尔逊相关性系数，并对多个皮尔逊相关性系数取均值；
步骤S44、改变预测步长大小，重复步骤S41至步骤S44，直至遍历预测步长范围内的全部样本，完成分段皮尔逊系数的计算；
步骤S45、从步骤S44的输出中选择皮尔逊系数最大的一段所对应的预测步长和滑动窗口宽度的组合，作为预测模型最优的数据加载方式。
7.根据权利要求6所述的轨道交通牵引负荷预测方法，其特征在于，所述步骤S43包含如下步骤：
步骤S431、令滑动窗口宽度为si·cl，则将数据集第一个样本数据至第si·cl个样本，共计si·cl个样本作为输入变量，第si·cl+1个样本至第si·cl+si个共计si个样本为输出变量，计算输入变量与输出变量的皮尔逊相关性系数，之后滑动窗口按si·cl+si的步长滑动并重复前述流程，直至遍历整个数据集；
步骤S432、将遍历数据集后求得的分段皮尔逊系数取均值。
8.根据权利要求7所述的轨道交通牵引负荷预测方法，其特征在于，所述步骤S1中的预测模型包括依次连接的第一卷积层、通道注意力模块、空间注意力模块、第一随机丢弃层、第三激活函数、第二卷积层、第四激活函数、双向长短期记忆网络、第二随机丢弃层、第一全连接层、第五激活函数、第二全连接层和第三全连接层；
通道注意力模块包括第一全局最大池化层、第一全局平均池化层、多层感知机、第一激活函数；第一全局最大池化层、第一全局平均池化层并联连接，且分别与多层感知机连接，多层感知机与第一激活函数连接；
空间注意力模块包括依次连接的第二全局最大池化层、第二全局平均池化层、CNN网络、第二激活函数；第二全局最大池化层与第一激活函数连接。
9.根据权利要求8所述的轨道交通牵引负荷预测方法，其特征在于，所述步骤S6具体包含如下步骤：
步骤S61、按照步骤S4中最优的数据加载方式设定预测模型的数据加载方式；
步骤S62、首先通过第一卷积层对训练集进行二维卷积操作，计算公式为：
其中，表示输出通道数，/>表示输入通道数，Ni表示批次大小，k为第一卷积层的卷积核大小，out(·)表示CNN网络的输出，input(·)表示CNN网络的输入，weight(·)表示CNN网络输入对应的权重，bias(·)表示CNN网络输出的偏置；
步骤S63、将经过步骤S62卷积后的数据依次输入到通道注意力模块、空间注意力模块、第一随机丢弃层、第三激活函数中，得到第一中间数据；
步骤S64、将第一中间数据输入到第二卷积层中进行特征提取，并使用第四激活函数对卷积后的第一中间数据进行转换得到第二中间数据；
步骤S65、将第二中间数据输入到双向长短期记忆网络，同时从正向以及反向处理数据，得到预测输出数据，其计算过程如下：
it＝σ(Wii+bii+Whiht-1+bhi)
ft＝σ(Wif+bif+Whfht-1+bhf)
gt＝tanh(Wigxi+big+Whght-1+bhg)
ot＝σ(Wioxt+bio+Whoht-1+bhg)
ct＝ft⊙ct-1+it⊙gt
ht＝ot⊙tanh(ct)
其中，ht为t时刻的隐藏状态；ct为t时刻的单元状态；xi为t时刻的输入；ht-1为t-1时刻的隐藏状态；ct-1表示t-1时刻的单元状态；it，ft，gt，ot分别表示输入门、遗忘门、神经元、输出门；W为权重矩阵，b为偏置项；σ表示双向长短期记忆网络内的sigmod激活函数；⊙表示矩阵元素相乘；Wii、Whi、Wif、Whf、Whg、Wio表示双向长短期记忆网络不同结构件的权重；bii、bhi、bif、bhf、bhg、bio表示双向长短期记忆网络不同结构件的偏置；tanh(.)表示正切函数；
步骤S66、将步骤S65中的预测输出数据输入到第二随机丢弃层，并依次输入到第一全连接层、第五激活函数、第二全连接层和第三全连接层，得到反归一化前的预测结果；
步骤S67、将反归一化前的预测结果进行反归一化，得到反归一化后的预测结果；
步骤S68、构建损失函数，通过损失函数计算反归一化后的预测结果的损失，重复步骤S62至步骤S68，直至重复次数达到设定次数，最小损失函数，得到训练后的预测模型。
10.根据权利要求9所述的轨道交通牵引负荷预测方法，其特征在于，所述步骤S63具体包括如下步骤：
步骤S631、将经过步骤S62卷积后的数据输入到通道注意力模块中，并分别输入到第一全局最大池化层、第一全局平均池化层中，得到两个特征数据，将两个特征数据分别输入到多层感知机中，然后使用第一激活函数进行转换，并对转换后的数据进行求和得到通道注意力模块的输出数据Mc，将通道注意力模块的输出数据Mc与输入通道注意力模块的原始数据的对应元素相乘，生成通道注意力模块的最终输出数据，其计算过程为：
Mc(F)＝σElu1(MLP(AvgPool(F))+MLP(MaxPool(F)))
其中，σElu1为第一激活函数：x1＜0,Elu(x1)＝x1，F为输入通道注意力模块的原始数据；MLP(.)表示多层感知机，AvgPool(.)表示第一全局平均池化层的全局平均池化操作，MaxPool(.)表示第一全局最大池化层的全局最大池化操作；
步骤S632、将通道注意力模块的最终输出数据输入到空间注意力模块中，并依次通过第二全局最大池化层、第二全局平均池化层进行池化操作，并将池化操作后的数据输入到CNN网络中，并经过第二激活函数进行激活操作，生成空间注意力模块的输出数据Ms，将空间注意力模块的输出数据Ms与输入空间注意力模块的原始数据中对应元素的相乘，得到空间注意力模块的最终输出数据；计算过程如下：
Ms(F)＝σElu2(f([AvgPool(F)；MaxPool(F)]))
其中，σElu2为第二激活函数，f为卷积操作；
步骤S633、将空间注意力模块的最终输出数据输入到第一随机丢弃层中，第一随机丢弃层以一定概率p将空间注意力模块的最终输出数据置零，之后通过第三激活函数进行转换，得到第一中间数据，第三激活函数的计算公式为：
Gelu(z)＝z·φ(z)
其中，φ(z)表示在(-∞,z]对高斯分布的定积分，z表示第一随机丢弃层输出的数据。
CN202310549170.4A 2023-05-16 2023-05-16 一种结合卷积注意力模块的轨道交通牵引负荷预测方法 Pending CN116629417A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310549170.4A CN116629417A (zh) 2023-05-16 2023-05-16 一种结合卷积注意力模块的轨道交通牵引负荷预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310549170.4A CN116629417A (zh) 2023-05-16 2023-05-16 一种结合卷积注意力模块的轨道交通牵引负荷预测方法

Publications (1)

Publication Number Publication Date
CN116629417A true CN116629417A (zh) 2023-08-22

Family

ID=87612694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310549170.4A Pending CN116629417A (zh) 2023-05-16 2023-05-16 一种结合卷积注意力模块的轨道交通牵引负荷预测方法

Country Status (1)

Country Link
CN (1) CN116629417A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116916362A (zh) * 2023-09-12 2023-10-20 中国铁路设计集团有限公司 一种多目标优化的lte-r基站通信质量预测方法
CN117196454A (zh) * 2023-11-08 2023-12-08 江苏华溯大数据有限公司 渣土车载重状态识别方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116916362A (zh) * 2023-09-12 2023-10-20 中国铁路设计集团有限公司 一种多目标优化的lte-r基站通信质量预测方法
CN116916362B (zh) * 2023-09-12 2023-12-12 中国铁路设计集团有限公司 一种多目标优化的lte-r基站通信质量预测方法
CN117196454A (zh) * 2023-11-08 2023-12-08 江苏华溯大数据有限公司 渣土车载重状态识别方法
CN117196454B (zh) * 2023-11-08 2024-01-30 江苏华溯大数据有限公司 渣土车载重状态识别方法

Similar Documents

Publication Publication Date Title
CN112348271B (zh) 基于vmd-ipso-gru的短期光伏功率预测方法
CN116629417A (zh) 一种结合卷积注意力模块的轨道交通牵引负荷预测方法
CN112990556A (zh) 一种基于Prophet-LSTM模型的用户用电能耗预测方法
CN112434848B (zh) 基于深度信念网络的非线性加权组合风电功率预测方法
Meng et al. A novel wind power prediction approach using multivariate variational mode decomposition and multi-objective crisscross optimization based deep extreme learning machine
CN113554466B (zh) 一种短期用电量预测模型构建方法、预测方法和装置
CN111310387A (zh) 一种燃料电池寿命预测方法
CN114722873A (zh) 一种基于残差卷积和注意力机制的非侵入式负荷分解方法
CN115148019A (zh) 一种基于节假日拥堵预测算法的预警方法及系统
CN115630726B (zh) 基于vmd-bilstm神经网络融合注意力机制的屋顶光伏功率预测方法
CN113673768A (zh) 基于vmd和cnn-lstm的风功率概率预测模型
CN112613657A (zh) 风电场短期风速预测方法
CN112884213A (zh) 小波分解与动态混合深度学习的燃煤锅炉NOx预测方法
CN115374908A (zh) 适用于配网柔性互联实时控制的短期负荷预测方法和系统
Cai et al. Remaining useful life prediction method of EV power battery for DC fast charging condition
CN114357670A (zh) 一种基于bls和自编码器的配电网用电数据异常预警方法
Al-Ja’afreh et al. An enhanced CNN-LSTM based multi-stage framework for PV and load short-term forecasting: DSO scenarios
Zhang et al. Hybrid Model for Renewable Energy and Load Forecasting Based on Data Mining and EWT
CN113780640A (zh) 一种基于TCN-Attention的太阳能辐射预测方法
CN117688362A (zh) 基于多元数据特征增强的光伏功率区间预测方法及装置
Zhang et al. Remaining useful life prediction of lithium-ion batteries based on TCN-DCN fusion model combined with IRRS filtering
Xu et al. A novel hybrid wind speed interval prediction model based on mode decomposition and gated recursive neural network
CN117076851A (zh) 一种基于ICEEMD-ICA-BiLSTM的风速预测方法
CN116933025A (zh) 基于vmd与dbo-lstm-at的变压器顶层油温预测方法
CN116187506A (zh) 考虑气象分类的短期风电功率组合概率预测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination