CN117856211A - 基于MT-IEM-Dscformer的代理购电负荷预测方法、系统、设备及存储介质 - Google Patents
基于MT-IEM-Dscformer的代理购电负荷预测方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN117856211A CN117856211A CN202311619628.5A CN202311619628A CN117856211A CN 117856211 A CN117856211 A CN 117856211A CN 202311619628 A CN202311619628 A CN 202311619628A CN 117856211 A CN117856211 A CN 117856211A
- Authority
- CN
- China
- Prior art keywords
- power load
- dscformer
- iem
- time
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000005611 electricity Effects 0.000 title claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000007637 random forest analysis Methods 0.000 claims abstract description 25
- 238000012360 testing method Methods 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims description 35
- 230000004913 activation Effects 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 16
- 238000003066 decision tree Methods 0.000 claims description 14
- 238000010606 normalization Methods 0.000 claims description 13
- 101100082088 Homo sapiens PACRG gene Proteins 0.000 claims description 11
- 102100034314 Parkin coregulated gene protein Human genes 0.000 claims description 11
- 239000003795 chemical substances by application Substances 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- IZUPBVBPLAPZRR-UHFFFAOYSA-N pentachlorophenol Chemical compound OC1=C(Cl)C(Cl)=C(Cl)C(Cl)=C1Cl IZUPBVBPLAPZRR-UHFFFAOYSA-N 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims 1
- 230000007246 mechanism Effects 0.000 description 8
- 238000000605 extraction Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了基于MT‑IEM‑Dscformer的代理购电负荷预测方法、系统、设备及存储介质，包括：采用随机森林，确定影响电力负荷预测的影响因素；将影响因素与历史电力负荷数据组成的电力负荷序列划分出训练集和测试集；采用训练集对预先构建的MT‑IEM‑Dscformer模型进行训练，并利用测试集测试训练好的MT‑IEM‑Dscformer模型的预测准确度，得到最终可用的MT‑IEM‑Dscformer模型；利用最终可用的MT‑IEM‑Dscformer模型，进行电力负荷预测，得到电力负荷预测结果；MT‑IEM‑Dscformer模型包括：MT模块、IEM模块和Dscformer模块，该Dscformer模块用于基于待预测时间段、待预测时间段的前一时间段的电力负荷数据、信息增强后的影响因素和多时间尺度划分数据，得到电力负荷预测结果。
Description
技术领域
本发明属于计算机、电力智能化技术领域，具体涉及一种基于MT-IEM-Dscformer的代理购电负荷预测方法、系统、设备及存储介质。
背景技术
电力负荷预测对售电公司开展代理购电具有重要作用，准确的电力负荷预测能够为售电公司提供用户用电信息与购电参考，避免购电不足导致的电力短缺或购电过多出现浪费而导致经济损失，现有的单一的机器学习或深度学习方法用于电力负荷预测时特征提取不够从而导致预测不够准确，同时极少有方法考虑到时间性能的问题，具体包括以下缺点：
(1)当前单一的机器学习和深度学习方法对于电力负荷预测的时间序列数据特征提取不够充分，仍有提升的空间；
(2)具有时长局限性，代理购电业务需要开展不同时长的电力负荷预测，电力负荷呈现以日为单位的周期性变化，一日内不同时段呈现趋势差别较大，难以兼顾不同时长的周期性与波动趋势；
(3)在能取得较好预测效果的条件下无法保证时间性能。
代理购电短期预测由于距离预测时间较近，且在短时间需要参与到现货市场的交易，因此预测时间非常重要，以保证正常的电力供应。
发明内容
发明目的：为解决现有单一的机器学习或深度学习方法在电力负荷预测时，预测不够准确且无法保证时间性能的问题，本发明提出了一种基于多时间尺度划分(MultipleTimescale，MT)、信息增强机制(Information Enhancement Mechanism，IEM)和Dscformer的代理购电负荷预测方法、系统、设备及存储介质，针对代理购电业务需要，可以根据电力负荷数据集训练模型并根据历史电力负荷数据预测未来一段时间的电力负荷数据并具有较好的时间性能。
技术方案：一种基于MT-IEM-Dscformer的代理购电负荷预测方法，包括以下步骤：
步骤1：采用随机森林，确定影响电力负荷预测的影响因素；
步骤2：将影响因素与历史电力负荷数据组成的电力负荷序列划分出训练集和测试集；
步骤3：采用训练集对预先构建的MT-IEM-Dscformer模型进行训练，并利用测试集测试训练好的MT-IEM-Dscformer模型的预测准确度，得到最终可用的MT-IEM-Dscformer模型；
步骤4：利用最终可用的MT-IEM-Dscformer模型，进行电力负荷预测，得到电力负荷预测结果；
其中，所述的MT-IEM-Dscformer模型包括：
MT模块，用于将输入的tu-n+1到tu+m时间段的电力负荷数据划分出多时间尺度数据为tu-n+1时刻的电力负荷多时间尺度数据，l为可学习参数；
IEM模块，用于对影响因素进行信息增强，得到信息增强后的影响因素；
Dscformer模块，用于基于待预测时间段tu+1到tu+m、待预测时间段的前一时间段tu-n+1到tu的电力负荷数据、信息增强后的影响因素和多时间尺度划分数据，得到电力负荷预测结果；
其中，所述Dscformer模块包括输入嵌入、编码器、输出嵌入、解码器和输出；
所述输入嵌入，用于将待预测时间段的前一时间段tu-n+1到tu的电力负荷数据、信息增强后的影响因素和多时间尺度划分数据融合时间定位编码所提取的位置和时间信息，转换为维度dmodel的向量融合作为编码器的输入；
所述编码器，用于依次进行多头注意力计算、深度可分离卷积和前馈网络变换，得到的结果输入解码器；
所述输出嵌入，用于通过移位输入被0值掩盖的待预测时间段tu+1到tu+m的电力负荷数据、信息增强后的影响因素、多时间尺度划分数据融合时间定位编码所提取的位置和时间信息，转换为维度dmodel的向量融合作为解码器的输入；
所述解码器，用于对来自输出嵌入的输入进行掩码多头注意力计算，将掩码多头注意力计算的结果与来自编码器的输入依次进行多头注意力计算和前馈网络变换，得到解码器的输出；
所述解码器的输出经过线性化运算后，得到电力负荷预测结果。
进一步的，步骤1中，所述的采用随机森林，确定影响电力负荷预测的影响因素，具体包括：
通过自助采样法抽取电力负荷数据建立随机森林，没被抽到的电力负荷集合为O；
采用随机森林中的每棵决策树对O中的电力负荷数据进行预测，并计算均方根误差；
打乱O中影响因素Pj的值，得到影响因素值为非真实的电力负荷集合
采用随机森林中的每棵决策树对中的电力负荷数据预测，并计算均方根误差；
按照下式，计算影响因素的重要性评分：
其中，为影响因素Pj的重要性评分，i为决策树计数指标，/>通过第i棵决策树预测/>中的电力负荷数据的均方根误差值，MSE(Oi)为通过第i棵决策树预测O中的电力负荷数据的均方根误差值，Ntree为决策树数量；
筛选出s个重要性评分最高的影响因素，假设s个重要性评分最高的影响因素在tu-n+1到tu+m时间段的值为其中，/>为重要性评分排第i位的影响因素在tu-n+1到tu+m时间段的值，/>为重要性评分排第i位的影响因素在tu-n+1时的值。
进一步的，MT模块中，所述的将输入的tu-n+1到tu+m时间段的电力负荷数据划分出多时间尺度数据具体包括：
采用滑动窗口获得连续时间段的电力负荷数据，并对窗口内电力负荷数据求平均值，得到对应的时间尺度数据：
其中，yti为ti时刻的电力负荷数据，为ti时刻的电力负荷多时间尺度数据，l为可学习参数；
得到tu-n+1到tu+m时间段的电力负荷多时间尺度数据
进一步的，IEM模块中，所述的对影响因素进行信息增强，得到信息增强后的影响因素，具体包括：
按照下式对影响因素进行信息增强，得到信息增强后的影响因素：
其中，σ为激活函数tanh，为s个影响因素在tk时刻的值，/>为可学习参数，Wf和/>为可学习参数矩阵，/>为tk时刻第f个影响因素的权值；/>为第f个影响因素的信息增强值；
将tu-n+1到tu+m时间段的影响因素与对应的信息增强值相乘得到信息增强后的影响因素，表示为/>其中/>
进一步的，所述的时间定位编码所提取的位置和时间信息，具体包括：
按照式(5)和式(6)采用局部位置编码提取位置信息：
其中，dmodel表示向量维度，j表示在向量维度的第几维，偶数维度使用正弦编码，奇数维度使用余弦编码，ti时刻的电力负荷数据所有维度的位置编码信息组成ti时刻的电力负荷数据/>的局部位置编码；
采用全局时间编码提取时间信息，具体包括：对于电力负荷数据对应的时间tu-n+1,tu-n+2,...tu，将其具体的月份、日、周、时、分全部抽取为具体的向量表示，得到时间信息。
进一步的，编码器中，所述的深度可分离卷积，具体步骤包括：
采用逐通道卷积在深度方向进行卷积运算深层次特征，表示为：
Xdeepcov＝DeepCov(permute(Xattention)) (10)
其中为注意力计算完成并经过残差与层规范化的输出，permute(Xattention)为对Xattention进行转置，dmodel表示向量维度，/>为逐通道卷积之后的输出；
通过GLUP激活函数对逐通道卷积之后的输出按行拆分出两部分，并且进行哈达玛积运算，表示为：
其中为逐通道卷积之后的输出，/>为将Xdeepcov平均拆分的两部分，/>为哈达玛积运算；
采用卷积核为1的卷积在点方向上进行运算，逐点卷积提取GLUP激活函数输出的数据特征，表示为：
Xwisecov＝WiseCov(XGLUP) (12)
其中，Xwisecov为逐点卷积之后的结果；
使用BatchNorm对Xwisecov进行批次归一化，得到XBatchNorm；
按照下式对XBatchNorm进行Swish激活：
f(XBatchNorm)＝XBatchNorm*sigmoid(XBatchNorm) (14)
其中，f(XBatchNorm)为Swish激活后的输出；
对Swish激活后的输出进行池化计算，得到深度可分离卷积的结果。
进一步的，所述前馈网络表示为：
FFN(XDSC)＝max(a(XDSCW1+b1),XDSCW1+b1)W2+b2 (16)
其中，XDSC为深度可分离卷积的结果，max函数为Leaky RELU激活，a为可学习激活参数，W1和W2为前馈网络的线性转换的权重，b1和b2为偏差。
本发明公开了一种基于MT-IEM-Dscformer的代理购电负荷预测系统，包括：
训练模块，用于采用随机森林，确定影响电力负荷预测的影响因素，将影响因素与历史电力负荷数据组成的电力负荷序列划分出训练集和测试集；采用训练集对预先构建的MT-IEM-Dscformer模型进行训练，并利用测试集测试训练好的MT-IEM-Dscformer模型的预测准确度，得到最终可用的MT-IEM-Dscformer模型；
预测模块，用于利用最终可用的MT-IEM-Dscformer模型，进行电力负荷预测，得到电力负荷预测结果；
所述的MT-IEM-Dscformer模型包括：
MT模块，用于将输入的tu-n+1到tu+m时间段的电力负荷数据划分出多时间尺度数据为tu-n+1时刻的电力负荷多时间尺度数据，l为可学习参数；
IEM模块，用于对影响因素进行信息增强，得到信息增强后的影响因素；
Dscformer模块，用于基于待预测时间段tu+1到tu+m、待预测时间段的前一时间段tu-n+1到tu的电力负荷数据、信息增强后的影响因素和多时间尺度划分数据，得到电力负荷预测结果；
其中，所述Dscformer模块包括输入嵌入、编码器、输出嵌入、解码器和输出；
所述输入嵌入，用于将待预测时间段的前一时间段tu-n+1到tu的电力负荷数据、信息增强后的影响因素和多时间尺度划分数据融合时间定位编码所提取的位置和时间信息，转换为维度dmodel的向量融合作为编码器的输入；
所述编码器，用于依次进行多头注意力计算、深度可分离卷积和前馈网络变换，得到的结果输入解码器；
所述输出嵌入，用于通过移位输入被0值掩盖的待预测时间段tu+1到tu+m的电力负荷数据、信息增强后的影响因素、多时间尺度划分数据融合时间定位编码所提取的位置和时间信息，转换为维度dmodel的向量融合作为解码器的输入；
所述解码器，用于对来自输出嵌入的输入进行掩码多头注意力计算，将掩码多头注意力计算的结果与来自编码器的输入依次进行多头注意力计算和前馈网络变换，得到解码器的输出；
所述解码器的输出经过线性化运算后，得到电力负荷预测结果。
本发明公开了一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现一种基于MT-IEM-Dscformer的代理购电负荷预测方法的步骤。
本发明公开了一种存储介质，所述存储介质存储有负荷预测程序，所述负荷预测程序被至少一个处理器执行时实现一种基于MT-IEM-Dscformer的代理购电负荷预测方法的步骤。
有益效果：本发明与现有技术相比，具有以下优点：
(1)本发明通过MT-IEM-Dscformer模型中的MT模块获得不同尺度的电力负荷数据便于学习不同尺度和抽象级别的特征表示，捕获时间序列中的长短期依赖关系，通过基于深度可分离卷积的卷积块对电力负荷本身所呈现的时间序列特征进行提取，深度可分离卷积在通道和点两个方向上进行特征提取，可以充分提取复杂的特征关系；
(2)本发明采取一种全局时间编码与局部位置编码融合的时间定位编码，保证模型能精确获取时间定位信息从而捕捉日周期性与波动趋势；
(3)本发明采用基于深度可分离卷积的卷积块可以提取代表性特征，减少模型运算，在模型预测前，通过随机森林进行影响因素筛选，使MT-IEM-Dscformer预测电力负荷更准确并且降低预测时间。
附图说明
图1为电力负荷数据处理顺序图；
图2为MT划分电力负荷多时间尺度数据图；
图3为Dscformer模块结构图；
图4为深度可分离卷积块结构图；
图5为模型预测流程图。
具体实施方式
现结合附图和实施例进一步阐述本发明的技术方案。
实施例1：
如图1所示，本实施例公开了一种基于多时间尺度划分(Multiple Timescale，MT)、信息增强机制(Information Enhancement Mechanism，IEM)和Dscformer的代理购电负荷预测方法，其主要包括以下步骤：
步骤1：采用随机森林(Random Forest，RF)进行影响因素筛选，确定对短期电力负荷预测影响较大的影响因素，使后续MT-IEM-Dscformer模型在预测电力负荷时能更准确且能降低预测时间。具体操作包括：
采用随机森林计算影响因素的重要性评分，以此来选择对电力负荷预测影响较大的影响因素，使电力负荷预测更准确并且降低预测时间。
本实施例通过打乱影响因素的方式计算影响因素的重要性评分。对d个影响因素P1,P2,...,Pd中的每个影响因素Pj，假设随机森林包含Ntree棵决策树，主要通过以下步骤计算影响因素的重要性评分。
S1-1：通过自助采样法抽取电力负荷数据建立随机森林，没被抽到的电力负荷集合为O；
S1-2：采用每棵决策树预测O中的电力负荷数据并计算均方根误差(Mean SquareError，MSE)；
S1-3：打乱O中影响因素Pj的值得到影响因素值为非真实的电力负荷集合再次采用每棵决策树预测/>的电力负荷数据并计算均方根误差，所有决策树的均方根误差平均值增加越大说明影响因素越重要，均方根误差计算如式(1)所示。
其中，为影响因素Pj的重要性评分，i为决策树计数指标，/>通过第i棵决策树预测/>的电力负荷数据的MSE值，MSE(Oi)为通过第i棵决策树预测O的电力负荷数据的MSE值。
S1-4：通过随机森林所筛选出s个重要性评分最高的影响因素，假设随机森林所筛选出s个影响因素从tu-n+1到tu+m的时间段的值为/>其中，为重要性评分排第i位的影响因素从tu-n+1到tu+m的时间的影响因素值，/>为重要性评分排第i位的影响因素tj时的值。
步骤2：考虑到代理购电业务在短期电力负荷预测上的准确性和时间性能需求，结合不同深度学习方法的优势，构建用于对代理购电中的短期电力负荷进行预测的MT-IEM-Dscformer模型。
本实施例构建的MT-IEM-Dscformer模型包括：MT模块、IEM模块和Dscformer模块，其中，MT模块用于获取多个时间尺度的电力负荷数据特征，IEM模块用于对影响因素进行信息增强，Dscformer模块用于输出电力负荷的预测结果。现对MT-IEM-Dscformer模型中的各个模块做进一步说明。
MT模块获取多个时间尺度的数据特征能够帮助学习不同尺度和抽象级别的特征表示，捕获电力负荷数据中的长短期依赖关系。将电力负荷数据划分出多时间尺度数据，MT模块划分电力负荷多时间尺度数据如图2所示。MT模块采用滑动窗口获得连续时间段的电力负荷数据，并且对窗口内电力负荷数据求平均值可得到对应的时间尺度数据，电力负荷数据多时间尺度数据计算如式(2)所示：
其中，为ti时刻的电力负荷数据，/>为ti时刻的电力负荷多时间尺度数据，l为可学习参数，MT模块得到tu-n+1到tu+m的时间段电力负荷多时间尺度数据为
由于随机森林筛选对电力负荷预测造成不同程度的影响因素，将影响因素以同等权重进行嵌入并不能更好地反应对电力负荷预测造成的影响，因此，采用IEM模型对影响因素进行增强获取不同的权重信息，挖掘出影响因素之间的依赖关系，能更好地学习电力负荷数据的变化规律，有效提取出隐藏的依赖关系从而对电力负荷数据进行准确预测，IEM模型进行信息增强如式(3)和式(4)所示：
其中，σ为激活函数为随机森林所选的s个影响因素tk时刻的值，/>为可学习参数，Wf和/>为可学习参数矩阵，/>为tk时刻第f个影响因素权值，/>为第f个影响因素信息增强值，对tu-n+1到tu+m的时间段的影响因素/>将其与对应信息增强值相乘得到信息增强后的影响因素表示为/>其中
在通过MT模块获取多时间尺度划分数据并通过IEM模块进行影响因素信息增强之后，将待预测时间段tu+1到tu+m与待预测的前一时间段tu-n+1到tu的电力负荷数据经过信息增强的影响因素/>和多时间尺度划分数据/>输入至Dscformer模块得到电力负荷预测的结果。
如图3所示，本实施例的Dscformer模块包含输入嵌入、编码器、输出嵌入、解码器和输出五个部分。
其中，输入嵌入的过程中通过融合时间定位编码获取电力负荷数据的位置与时间信息，以便获取电力负荷数据与所处位置和时间的关系，帮助模型后续捕捉波动趋势与日周期性，能够克服局部位置编码或全局时间编码用于代理购电不同预测长度仅能提取趋势或日周期性的缺陷。本实施例采用的融合时间定位编码包含局部位置编码和全局时间编码。
局部位置编码使用不同频率的正弦和余弦函数获取位置信息，待预测的前一时间段tu-n+1到tu的电力负荷数据的局部位置编码如式(5)和式(6)所示：
其中，dmodel表示向量维度，表示在向量维度的第几维，局部位置编码的每一个维度对应于一个正弦或余弦波。偶数维度使用正弦编码，奇数维度使用余弦编码，/>所有维度的位置编码信息组成/>的局部位置编码。
全局时间编码考虑电力负荷数据的实际时间信息，对于电力负荷数据对应的时间tu-n+1,tu-n+2,...tu，可将其具体的月份、日、周、时、分全部抽取为具体的向量表示。
输入嵌入将时间长度为n的电力负荷数据经过信息增强的影响因素/>和多时间尺度划分数据/>融合时间定位编码所提取的位置和时间信息转换为维度dmodel的向量融合作为输入，送入编码器。
本实施例的编码器依次包含多头注意力机制、深度可分离卷积块、前馈网络和残差与层规范化。
在编码器中先通过多头注意力机制进行注意力计算，在多头注意力中，每个头都会生成一个注意力权重，用于关注电力负荷数据多个潜在的趋势关系，能克服单一注意力在对电力负荷数据的信息进行编码时，将注意力集中于局部特征提取的缺陷，更好地实现电力负荷预测。具体的，注意力机制输入由维度为dk的查询Q和键K、维度dv的值V组成，计算查询与所有键的点积，除以进行缩放，通过softmax函数来获得值的权重并且与V相乘，具体计算如式(7)所示。
多头注意力将查询Q、键K和值V分别以不同的、学习过的线性投影多次线性投影到dk、dk和dv维度，如果头数为h，dk和dv的计算如式(8)所示。
在查询、键和值的每个投影层次上，并行地执行注意力函数，生成dv维输出值。将它们连接起来并再次进行投影，得到最终值。
不同层次注意力连接并再次投影得到多头注意力的计算如式(9)所示。
MultiHead(Q,K,V)＝Concat(head1,...,headh)WO (9)
其中为第i头的学习参数，/>为连接投影时的可学习参数。
在多头注意力计算完成后，会进行残差与层规范化，将前一层的输入与输出相加实现残差，并对残差结果进行层规范化，在层规范化之后通过卷积提取电力负荷数据特征。
本实施例构建了包含深度可分离卷积的卷积块，称为深度可分离卷积块，深度可分离卷积块在通道和点两个方向上进行特征提取，可以充分提取复杂的特征关系，并且减少后续计算，降低电力负荷预测所需要的时间。将深度可分离卷积块放置在编码器中加强对电力负荷数据特征的提取并且减少后续模型的计算量，如图4所示，该深度可分离卷积块主要包含深度方向的逐通道卷积、GLUP激活函数、逐点卷积、BatchNorm、Swish激活与池化。
在深度可分离卷积块中，首先通过深度可分离卷积的逐通道卷积在深度方向进行卷积运算深层次特征，其具体计算如式(10)所示。
Xdeepcov＝DeepCov(permute(Xattention)) (10)
其中为注意力计算完成并经过残差与层规范化的输出，permute(Xattention)为对Xattention进行转置，dmodel表示向量维度，/>为逐通道卷积之后的输出。
通过GLUP激活函数帮助网络更好地捕捉序列数据中的长期依赖关系，GLUP激活函数对输入按行拆分出两部分，并且进行哈达玛积运算，GLUP激活函数的计算如式(11)所示。
其中为输入，/>为Xdeepcov输入平均拆分的两部分，/>为哈达玛积运算。
在通过逐通道卷积提取深层次特征之后，采用卷积核为1的卷积在点方向上进行运算，逐点提取数据特征，其具体计算如式(12)所示。
Xwisecov＝WiseCov(XGLUP) (12)
其中，Xwisecov为逐点卷积之后的结果。
使用BatchNorm对Xwisecov进行批次归一化，避免梯度爆炸，以批次为单位进行归一化，以其中某一批中的xi为例，BatchNorm对xi归一化的计算如式(13)所示。
其中μτ为批次均值，στ为方差，ε为避免分母为0的值，γ、β为仿射变化指数，经BatchNorm之后的输出
采用Swish激活避免出现跳跃的输出值，Swish激活的计算如式(14)所示。
f(XBatchNorm)＝XBatchNorm*sigmoid(XBatchNorm)(14)
其中为输入，f(XBatchNorm)为激活后的输出。
最后利用池化层用于压缩提取的特征并生成更重要的特征信息，提高泛化能力，池化计算如式(15)所示。
XDSC＝Maxpool(f(XBatchNorm))(15)
池化计算完成后得到深度可分离卷积块的输出
每个编码器和解码器中都包含一个完全连接的前馈网络，它包括两个参数不同的线性转换，中间有一个Leaky RELU激活，经过深度可分离卷积块计算完成后，通过前馈网络进行变换，前馈网络的计算如式(16)所示。
FFN(XDSC)＝max(a(XDSCW1+b1),XDSCW1+b1)W2+b2(16)
为深度可分离卷积块的输出，max函数为Leaky RELU激活，a为可学习激活参数，W1和W2为前馈神经网络的线性转换的权重，b1和b2为偏差。
在前馈网络计算完成后，再进行残差与层规范化，将前一层的输入与输出相加实现残差，并对残差结果进行层规范化，在层规范化之后得到。
与解码器连接的输出嵌入通过移位输入待预测时间段tu+1到tu+m的电力负荷数据经过信息增强的影响因素/>和多时间尺度划分数据/>其嵌入原理与输入嵌入一样，但在嵌入前用0值掩盖待预测时间端tu+1到tu+m的电力负荷数据/>的值确保不会提前知道结果。
本实施例的解码器包含三个子层：掩码多头注意力层、多头自注意力层和前馈网络层。与编码器类似，在每个子层周围使用残差连接，然后进行层规范化。解码器中唯一不同的是掩码多头注意力机制，修改解码器中的自注意子层进行掩蔽，再加上输出嵌入时用0值掩盖实际的电力负荷数据值，确保了待预测时间的电力负荷数据只能依赖于时间小于待预测时间的电力负荷数据。解码器输出的特征向量经过线性化运算得到最终的电力负荷预测结果
步骤3：构建训练集和测试集：将随机森林筛选的影响因素与历史电力负荷数据组成的电力负荷序列划分出训练集和测试集，通过训练集训练MT-IEM-Dscformer模型，训练完成的模型可以对测试集中的电力负荷数据进行预测并且与实际值对比计算模型预测的准确程度，得到最终可用的MT-IEM-Dscformer模型，模型训练与测试的整体流程如图5所示。具体包括：
设置MT-IEM-Dscformer模型在开始训练时需要的超参数；
通过电力负荷数据、随机森林筛选因素与多时间尺度划分数据的训练集训练MT-IEM-Dscformer模型；
不断训练模型并计算模型训练过程中的损失值，直到达到预设的epoch次数10次之后停止训练并保存训练好的网络模型；
通过测试集计算网络模型的MSE值、MAE值、训练时间和测试时间。
步骤4：采用最终可用的MT-IEM-Dscformer模型实现电力负荷预测。
Claims (10)
1.一种基于MT-IEM-Dscformer的代理购电负荷预测方法，其特征在于：包括以下步骤：
步骤1：采用随机森林，确定影响电力负荷预测的影响因素；
步骤2：将影响因素与历史电力负荷数据组成的电力负荷序列划分出训练集和测试集；
步骤3：采用训练集对预先构建的MT-IEM-Dscformer模型进行训练，并利用测试集测试训练好的MT-IEM-Dscformer模型的预测准确度，得到最终可用的MT-IEM-Dscformer模型；
步骤4：利用最终可用的MT-IEM-Dscformer模型，进行电力负荷预测，得到电力负荷预测结果；
其中，所述的MT-IEM-Dscformer模型包括：
MT模块，用于将输入的tu-n+1到tu+m时间段的电力负荷数据划分出多时间尺度数据 为tu-n+1时刻的电力负荷多时间尺度数据，l为可学习参数；
IEM模块，用于对影响因素进行信息增强，得到信息增强后的影响因素；
Dscformer模块，用于基于待预测时间段tu+1到tu+m、待预测时间段的前一时间段tu-n+1到tu的电力负荷数据、信息增强后的影响因素和多时间尺度划分数据，得到电力负荷预测结果；
其中，所述Dscformer模块包括输入嵌入、编码器、输出嵌入、解码器和输出；
所述输入嵌入，用于将待预测时间段的前一时间段tu-n+1到tu的电力负荷数据、信息增强后的影响因素和多时间尺度划分数据融合时间定位编码所提取的位置和时间信息，转换为维度dmodel的向量融合作为编码器的输入；
所述编码器，用于依次进行多头注意力计算、深度可分离卷积和前馈网络变换，得到的结果输入解码器；
所述输出嵌入，用于通过移位输入被0值掩盖的待预测时间段tu+1到tu+m的电力负荷数据、信息增强后的影响因素、多时间尺度划分数据融合时间定位编码所提取的位置和时间信息，转换为维度dmodel的向量融合作为解码器的输入；
所述解码器，用于对来自输出嵌入的输入进行掩码多头注意力计算，将掩码多头注意力计算的结果与来自编码器的输入依次进行多头注意力计算和前馈网络变换，得到解码器的输出；
所述解码器的输出经过线性化运算后，得到电力负荷预测结果。
2.根据权利要求1所述的一种基于MT-IEM-Dscformer的代理购电负荷预测方法，其特征在于：步骤1中，所述的采用随机森林，确定影响电力负荷预测的影响因素，具体包括：
通过自助采样法抽取电力负荷数据建立随机森林，没被抽到的电力负荷集合为O；
采用随机森林中的每棵决策树对O中的电力负荷数据进行预测，并计算均方根误差；
打乱O中影响因素Pj的值，得到影响因素值为非真实的电力负荷集合
采用随机森林中的每棵决策树对中的电力负荷数据预测，并计算均方根误差；
按照下式，计算影响因素的重要性评分：
其中，为影响因素Pj的重要性评分，i为决策树计数指标，/>通过第i棵决策树预测/>中的电力负荷数据的均方根误差值，MSE(Oi)为通过第i棵决策树预测O中的电力负荷数据的均方根误差值，Ntree为决策树数量；
筛选出s个重要性评分最高的影响因素，假设s个重要性评分最高的影响因素在tu-n+1到tu+m时间段的值为其中，/>为重要性评分排第i位的影响因素在tu-n+1到tu+m时间段的值，/>为重要性评分排第i位的影响因素在tu-n+1时的值。
3.根据权利要求2所述的一种基于MT-IEM-Dscformer的代理购电负荷预测方法，其特征在于：MT模块中，所述的将输入的tu-n+1到tu+m时间段的电力负荷数据划分出多时间尺度数据具体包括：
采用滑动窗口获得连续时间段的电力负荷数据，并对窗口内电力负荷数据求平均值，得到对应的时间尺度数据：
其中，为ti时刻的电力负荷数据，/>为ti时刻的电力负荷多时间尺度数据，l为可学习参数；
得到tu-n+1到tu+m时间段的电力负荷多时间尺度数据
4.根据权利要求3所述的一种基于MT-IEM-Dscformer的代理购电负荷预测方法，其特征在于：IEM模块中，所述的对影响因素进行信息增强，得到信息增强后的影响因素，具体包括：
按照下式对影响因素进行信息增强，得到信息增强后的影响因素：
其中，σ为激活函数tanh，为s个影响因素在tk时刻的值，/>为可学习参数，Wf和/>为可学习参数矩阵，/>为tk时刻第f个影响因素的权值；/>为第f个影响因素的信息增强值；
将tu-n+1到tu+m时间段的影响因素与对应的信息增强值相乘得到信息增强后的影响因素，表示为/>其中/>
5.根据权利要求1所述的一种基于MT-IEM-Dscformer的代理购电负荷预测方法，其特征在于：所述的时间定位编码所提取的位置和时间信息，具体包括：
按照式(5)和式(6)采用局部位置编码提取位置信息：
其中，dmodel表示向量维度，j表示在向量维度的第几维，偶数维度使用正弦编码，奇数维度使用余弦编码，ti时刻的电力负荷数据所有维度的位置编码信息组成ti时刻的电力负荷数据/>的局部位置编码；
采用全局时间编码提取时间信息，具体包括：对于电力负荷数据对应的时间tu-n+1,tu-n+2,...tu，将其具体的月份、日、周、时、分全部抽取为具体的向量表示，得到时间信息。
6.根据权利要求5所述的一种基于MT-IEM-Dscformer的代理购电负荷预测方法，其特征在于：编码器中，所述的深度可分离卷积，具体步骤包括：
采用逐通道卷积在深度方向进行卷积运算深层次特征，表示为：
Xdeepcov＝DeepCov(permute(Xattention)) (10)
其中为注意力计算完成并经过残差与层规范化的输出，permute(Xattention)为对Xattention进行转置，dmodel表示向量维度，/>为逐通道卷积之后的输出；
通过GLUP激活函数对逐通道卷积之后的输出按行拆分出两部分，并且进行哈达玛积运算，表示为：
其中为逐通道卷积之后的输出，/>为将Xdeepcov平均拆分的两部分，/>为哈达玛积运算；
采用卷积核为1的卷积在点方向上进行运算，逐点卷积提取GLUP激活函数输出的数据特征，表示为：
Xwisecov＝WiseCov(XGLUP) (12)
其中，Xwisecov为逐点卷积之后的结果；
使用BatchNorm对Xwisecov进行批次归一化，得到XBatchNorm；
按照下式对XBatchNorm进行Swish激活：
f(XBatchNorm)＝XBatchNorm*sigmoid(XBatchNorm) (14)
其中，f(XBatchNorm)为Swish激活后的输出；
对Swish激活后的输出进行池化计算，得到深度可分离卷积的结果。
7.根据权利要求6所述的一种基于MT-IEM-Dscformer的代理购电负荷预测方法，其特征在于：所述前馈网络表示为：
FFN(XDSC)＝max(a(XDSCW1+b1),XDSCW1+b1)W2+b2 (16)
其中，XDSC为深度可分离卷积的结果，max函数为Leaky RELU激活，a为可学习激活参数，W1和W2为前馈网络的线性转换的权重，b1和b2为偏差。
8.一种基于MT-IEM-Dscformer的代理购电负荷预测系统，其特征在于：包括：
训练模块，用于采用随机森林，确定影响电力负荷预测的影响因素，将影响因素与历史电力负荷数据组成的电力负荷序列划分出训练集和测试集；采用训练集对预先构建的MT-IEM-Dscformer模型进行训练，并利用测试集测试训练好的MT-IEM-Dscformer模型的预测准确度，得到最终可用的MT-IEM-Dscformer模型；
预测模块，用于利用最终可用的MT-IEM-Dscformer模型，进行电力负荷预测，得到电力负荷预测结果；
所述的MT-IEM-Dscformer模型包括：
MT模块，用于将输入的tu-n+1到tu+m时间段的电力负荷数据划分出多时间尺度数据 为tu-n+1时刻的电力负荷多时间尺度数据，l为可学习参数；
IEM模块，用于对影响因素进行信息增强，得到信息增强后的影响因素；
Dscformer模块，用于基于待预测时间段tu+1到tu+m、待预测时间段的前一时间段tu-n+1到tu的电力负荷数据、信息增强后的影响因素和多时间尺度划分数据，得到电力负荷预测结果；
其中，所述Dscformer模块包括输入嵌入、编码器、输出嵌入、解码器和输出；
所述输入嵌入，用于将待预测时间段的前一时间段tu-n+1到tu的电力负荷数据、信息增强后的影响因素和多时间尺度划分数据融合时间定位编码所提取的位置和时间信息，转换为维度dmodel的向量融合作为编码器的输入；
所述编码器，用于依次进行多头注意力计算、深度可分离卷积和前馈网络变换，得到的结果输入解码器；
所述输出嵌入，用于通过移位输入被0值掩盖的待预测时间段tu+1到tu+m的电力负荷数据、信息增强后的影响因素、多时间尺度划分数据融合时间定位编码所提取的位置和时间信息，转换为维度dmodel的向量融合作为解码器的输入；
所述解码器，用于对来自输出嵌入的输入进行掩码多头注意力计算，将掩码多头注意力计算的结果与来自编码器的输入依次进行多头注意力计算和前馈网络变换，得到解码器的输出；
所述解码器的输出经过线性化运算后，得到电力负荷预测结果。
9.一种设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任意一项所述的一种基于MT-IEM-Dscformer的代理购电负荷预测方法的步骤。
10.一种存储介质，其特征在于，所述存储介质存储有负荷预测程序，所述负荷预测程序被至少一个处理器执行时实现权利要求1至7任意一项所述的一种基于MT-IEM-Dscformer的代理购电负荷预测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311619628.5A CN117856211A (zh) | 2023-11-29 | 2023-11-29 | 基于MT-IEM-Dscformer的代理购电负荷预测方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311619628.5A CN117856211A (zh) | 2023-11-29 | 2023-11-29 | 基于MT-IEM-Dscformer的代理购电负荷预测方法、系统、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117856211A true CN117856211A (zh) | 2024-04-09 |
Family
ID=90539021
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311619628.5A Pending CN117856211A (zh) | 2023-11-29 | 2023-11-29 | 基于MT-IEM-Dscformer的代理购电负荷预测方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117856211A (zh) |
-
2023
- 2023-11-29 CN CN202311619628.5A patent/CN117856211A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110119854A (zh) | 基于代价敏感lstm循环神经网络的稳压器水位预测方法 | |
| US20230049089A1 (en) | Method and Apparatus For Predicting Power Consumption, Device and Readiable Storage Medium | |
| Fan et al. | A novel deep generative modeling-based data augmentation strategy for improving short-term building energy predictions | |
| Bai et al. | Compound autoregressive network for prediction of multivariate time series | |
| CN112508265A (zh) | 面向业务流程管理的时间与活动多任务预测方法及系统 | |
| CN115423080A (zh) | 时间序列预测方法、装置、电子设备及介质 | |
| Jiang et al. | Day‐ahead renewable scenario forecasts based on generative adversarial networks | |
| Tong et al. | Hourly solar irradiance forecasting based on encoder–decoder model using series decomposition and dynamic error compensation | |
| CN113657661A (zh) | 一种企业碳排放预测方法、装置、计算机设备和存储介质 | |
| Wang et al. | Remaining useful life estimation of aircraft engines using a joint deep learning model based on TCNN and transformer | |
| CN115238855A (zh) | 基于图神经网络的时序知识图谱的补全方法及相关设备 | |
| CN114330934A (zh) | 一种模型参数自适应的gru新能源短期发电功率预测方法 | |
| CN114841072A (zh) | 一种基于差分融合Transformer的时序预测方法 | |
| CN111027681B (zh) | 时序数据处理模型训练方法、数据处理方法、装置及存储介质 | |
| CN116433223A (zh) | 基于双域稀疏Transformer模型的变电站设备故障预警方法及设备 | |
| CN117076931B (zh) | 一种基于条件扩散模型的时间序列数据预测方法和系统 | |
| CN114118570A (zh) | 业务数据预测方法及装置、电子设备和存储介质 | |
| Huang et al. | A decomposition‐based multi‐time dimension long short‐term memory model for short‐term electric load forecasting | |
| Seddik et al. | Multi-variable time series decoding with Long Short-Term Memory and mixture attention | |
| CN115952928A (zh) | 一种短期电力负荷预测方法、装置、设备及存储介质 | |
| CN117856211A (zh) | 基于MT-IEM-Dscformer的代理购电负荷预测方法、系统、设备及存储介质 | |
| CN113807605A (zh) | 电力消耗预测模型训练方法、预测方法及装置 | |
| Wei et al. | A short‐term electricity consumption forecasting approach based on feature processing and hybrid modelling | |
| Varshini et al. | MSMVAN: Multi Step Multi Variate Deep Attention Network for Renewable Energy Forecast | |
| CN117172390B (zh) | 一种基于场景划分的充电量预测方法与终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |