CN117808175A - 一种基于DTformer的短期多能源负荷预测方法 - Google Patents
一种基于DTformer的短期多能源负荷预测方法 Download PDFInfo
- Publication number
- CN117808175A CN117808175A CN202410232544.4A CN202410232544A CN117808175A CN 117808175 A CN117808175 A CN 117808175A CN 202410232544 A CN202410232544 A CN 202410232544A CN 117808175 A CN117808175 A CN 117808175A
- Authority
- CN
- China
- Prior art keywords
- data
- dtformer
- attention
- load prediction
- follows
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000010606 normalization Methods 0.000 claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000002159 abnormal effect Effects 0.000 claims abstract description 13
- 230000008878 coupling Effects 0.000 claims abstract description 9
- 238000010168 coupling process Methods 0.000 claims abstract description 9
- 238000005859 coupling reaction Methods 0.000 claims abstract description 9
- 230000007774 longterm Effects 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004880 explosion Methods 0.000 claims description 7
- 238000013461 design Methods 0.000 claims description 6
- 238000001556 precipitation Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000009977 dual effect Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 239000003550 marker Substances 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 101001095088 Homo sapiens Melanoma antigen preferentially expressed in tumors Proteins 0.000 description 2
- 102100037020 Melanoma antigen preferentially expressed in tumors Human genes 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000012633 leachable Substances 0.000 description 1
- 238000012843 least square support vector machine Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
- G06F18/15—Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/27—Regression, e.g. linear or logistic regression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Human Resources & Organizations (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- Water Supply & Treatment (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Probability & Statistics with Applications (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于DTformer的短期多能源负荷预测方法，包括以下步骤：（1）获取与日历特征相关的数据及气象数据；（2）分别对获取到的电、热、冷负荷历史数据、各气象特征数据和日历数据进行缺失值填充和异常值处理得到经过清洗的时间序列数据集；（3）利用最大信息系数评估多个能源负荷之间的耦合关系以及与各气象特征之间的相关性；（4）对DTformer负荷预测模型的输入数据进行了归一化处理；构建DTformer预测模型并进行训练，得到电、热、冷负荷的归一化预测结果；（5）对归一化的预测结果进行反归一化处理，获得最终的电、热、冷负荷的预测值；本发明引入最优时间窗口注意力和双注意力变量模块，以解决时间上的长期依赖性和不同变量之间的依赖性。
Description
技术领域
本发明涉及综合能源系统技术领域，具体涉及一种基于DTformer的短期多能源负荷预测方法。
背景技术
近年来，深度学习等负荷预测方法因其对非线性数据的处理能力和高预测准确度等优点而得到广泛应用。在单一电力系统负荷预测方面，主要采用了模糊理论、支持向量机、灰色模型、随机森林、自回归差分滑动平均模型、神经网络、组合模型和时间卷积等方法。尽管电力系统负荷预测的研究范围越来越广泛，但是关于多元负荷预测研究仍处于初级阶段，机器学习方法如极值点对称模态分解-样本熵方法、最小二乘支持向量回归方法、基于多任务学习和最小二乘支持向量机的综合能源负荷预测模型、基于集成学习的综合能源系统负荷预测模型以及考虑时间动态和耦合特性的预测方法，能够提高预测精度，但由于泛化能力受限和处理高维特征效果有限，存在一定的局限性。 深度学习中深度置信网络和多任务回归方法在能量转换和消耗方式方面具有优势，但复杂建模和大计算量限制了其适用性；基于用户层次聚类的多元负荷预测方法通过聚类提升了预测性能，但聚类结果与网络复杂度相关，聚类效果不明显可能影响鲁棒性；通过分解多能源负荷为分量，并使用循环神经网络和多元线性回归进行预测，最后组合预测值得出结果；利用不同结构的GRU网络进行预测，并加权求和得到多能源负荷预测值，但复杂的耦合关系需要分析以提高预测精度；基于双向长短期记忆（BiLSTM）多任务学习的组合负荷预测方法通过考虑多负荷的耦合关系和选择不同季节的组合特征，有效提高了负荷预测的准确性。
当前的多能源负荷预测方法存在一些局限性，包括梯度消失和梯度爆炸问题、基础循环神经网络的短期记忆问题、难以并行计算以及逐步处理方式限制全局信息和长期依赖的获取。为了克服这些问题，我们基于Transformer模型提出了DTformer，这种方法在多能源负荷预测中具有较好的表现。
发明内容
本发明的目的是提供一种基于DTformer的短期多能源负荷预测方法通过补丁嵌入模块将多能源负荷序列嵌入到3D向量数组中，以保留时间和变量信息，同时，还引入了最优时间窗口注意力和双注意力变量模块，以解决时间上的长期依赖性和不同变量之间的依赖性。
技术方案：本发明所述的一种基于DTformer的短期多能源负荷预测方法，包括以下步骤：
（1）获取与日历特征相关的数据及气象数据；
（2）分别对获取到的电、热、冷负荷历史数据、各气象特征数据和日历数据进行缺失值填充和异常值处理得到经过清洗的时间序列数据集；
（3）利用最大信息系数评估多个能源负荷之间的耦合关系以及与各气象特征之间的相关性；选出与多个能源负荷之间相关性较强的气象数据作为DTformer负荷预测模型的输入；
（4）对DTformer负荷预测模型的输入数据进行了归一化处理；构建DTformer预测模型并进行训练，得到电、热、冷负荷的归一化预测结果；
（5）对归一化的预测结果进行反归一化处理，获得最终的电、热、冷负荷的预测值。
进一步的，所述步骤（1）与日历特征相关的数据包括：相应时间点的电、热、冷负荷的历史数据；日历特征包括：是否为周末，是否为假期；气象数据包括：露点、风速、降水量、风向、湿度、温度、大气压。
进一步的，所述步骤（2）包括以下步骤：
（21）根据国际计量单位换算方法，将获取到的电、热、冷负荷数据的单位统一换算成以KW作为单位，公式如下：
；
其中，KW为电负荷单位、mBtu/h为冷负荷单位、ton-hr为热负荷单位；
（22）对于统一计量单位的历史负荷数据和气象数据使用绝对中位差检测时间序列中的异常值；当某个数据点被判定为异常值时，将其标记为缺失值，然后利用线性插值法对这些缺失值进行填补。
进一步的，所述步骤（3）中，最大信息系数公式如下：
；
；
其中，为变量x和y的联合概率；，分别为向量x和y的边缘概率；取值范围介于0，1之间，表示两变量之间相关性的强弱。
进一步的，所述步骤（4）包括以下步骤：
（41）对电、热、冷负荷和各气象特征的样本数据分别做归一化处理，得到电、热、冷负荷数据、气象特征数据和日历特征数据的时间序列数据集；归一化处理公式如下：
；
其中，x为原始数据，是归一化数据，为原始数据的平均值，为原始数据的标准差；
（42）将得到的时间序列数据集划分为按照8：1：1将数据集划分为训练集、验证集和测试集；构建DTformer预测模型并进行训练；DTformer负荷预测模型包括：补丁嵌入模块、双注意力变量模块、最优时间窗口注意模块和输出模块；补丁嵌入模块将输入的多能源负荷序列通过补丁嵌入模块嵌入到3D向量数组中，保留时间和变量信息；双注意力变量模块捕获不同变量之间的依赖性；最优时间窗口注意力模块捕获时间上的长期依赖性；输出模块将模型在训练过程中学习到的信息生成相应的预测值。
进一步的，所述双注意力变量模块由多头注意力机制、残差设计的层归一化层，以及前馈网络构成，具体如下：设有 N 个Transformer 编码层，第i个Transformer 编码层的输入为：，则双注意力变量模块如下：
；
其中，为双注意力变量模块的输入，的操作是将第1维与第2维互换，得到，矩阵表示可学习的参数，c为超参数；是的输出；是的输出，表示Layer Normalization用于解决梯度消失和梯度爆炸问题，同时加速神经网络的训练；表示多层前馈网络，在得到后，通过操作将第1维与第2维互换，得到。
进一步的，所述最优时间窗口注意力模块包括：最优时间窗口注意力、经过残差设计的层归一化，以及前馈网络构成；具体如下：
设有 N 个Transformer 编码器层，第i个Transformer 编码器层的输入为：，公式如下：
；
其中， 为最优时间窗口注意力的输入，为的输出；表示Layer Normalization用于解决梯度消失和梯度爆炸问题，同时加速神经网络的训练；表示多层前馈网络；将与进行残差连接，并在连接后应用LayerNormalization,得到输出。
进一步的，所述最优时间窗口注意力的计算量包括线性投影、区域到区域路由和令牌到令牌注意力；公式如下：
；
上述等式当且仅当成立；
其中，表示标记嵌入的维，N为输入序列的长度， k 表示参与的区域数"top-k"中的 "k"，S为非重叠区域的个数；若最优时间窗口注意力的复杂度将达到。
进一步的，线性投影具体如下：设给定一个输入；首先，将其分割成S个非重叠区域，每个区域包含个特征向量；然后，通过线性投影导出查询、键、值张量；线性投影公式如下：
；
其中，分别是查询、键、值的投影权重；
区域到区域路由具体如下：首先，计算每个区域的和的平均值，得到区域级查询和键然后，使用计算区域之间的权重矩阵；使用得到每个区域的前k个最重要权重矩阵的索引，其中，；
令牌到令牌注意力具体如下：和进行收集操作，得到和；其中，和表示已经收集好的键和值张量；将已收集的键值对应用于注意力机制，表示为：
。
进一步的，所述步骤（5）中，反归一化处理公式如下：
；
其中，为基于DTformer的多能源负荷预测数据，为原始数据的平均值，为原始数据的标准差，y为反归一化后的电、冷和热负荷预测数据。
有益效果：与现有技术相比，本发明具有如下显著优点：（1）通过双注意力变量模块，能够有效处理多个能源负荷之间的耦合关系以及它们与辅助变量之间的相关性；（2）通过最优时间窗口注意模块，用于捕捉时间上的长期依赖关系，并在计算复杂度和内存成本上达到了，有效地替代了Transformer中的自注意力机制；（3）不仅考虑到多个能源负荷之间的耦合关系以及它们与辅助变量之间的相关性，进行联合预测，还利用最优时间窗口注意模块捕捉多能源负荷和气象、日历特征间的时间依赖关系，提高多能源负荷预测的准确性，同时减少训练、推理的时间。
附图说明
图1为本发明方法的流程图；
图2为本发明基于DTformer的短期多能源负荷预测方法的DTformer网络结构图；
图3为本发明DTformer中双注意力变量模块的结构图；
图4为本发明DTformer中最优时间窗口注意模块的结构图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
如图1所示，本发明实施例提供一种基于DTformer的短期多能源负荷预测方法，包括以下步骤：
（1）获取与日历特征相关的数据及气象数据；与日历特征相关的数据包括：相应时间点的电、热、冷负荷的历史数据；其中，负荷数据来自美国亚利桑那州立大学坦佩校区，从网络平台获取了2017年1月1日0时至2019年12月31日24时的冷、热、电负荷数据，时间分辨率为1小时。天气数据则来源于美国国家气候资料中心网站，包括了Tempe校区位置的气象数据，如露点、风速、降水量、风向、湿度、温度和大气压。
（2）分别对获取到的电、热、冷负荷历史数据、各气象特征数据和日历数据进行缺失值填充和异常值处理得到经过清洗的时间序列数据集；包括以下步骤：
（21）根据国际计量单位换算方法，将获取到的电、热、冷负荷数据的单位统一换算成以KW作为单位，公式如下：
；
其中，KW为电负荷单位、mBtu/h为冷负荷单位、ton-hr为热负荷单位；
（22）对于统一计量单位的历史负荷数据和气象数据使用绝对中位差检测时间序列中的异常值；当某个数据点被判定为异常值时，将其标记为缺失值，然后利用线性插值法对这些缺失值进行填补。
（3）利用最大信息系数评估多个能源负荷之间的耦合关系以及与各气象特征之间的相关性；选出与多个能源负荷之间相关性较强的气象数据作为DTformer负荷预测模型的输入；最大信息系数公式如下：
；
；
其中，为变量x和y的联合概率；，分别为向量x和y的边缘概率；取值范围介于0，1之间，表示两变量之间相关性的强弱。
在本实施例中，综合能源系统负荷预测的特征包括电负荷、冷负荷、热负荷、露点、风速、降水量、风向、湿度、温度、大气压、假期和周末，共计12个特征；通过最大信息系数（MIC）的计算结果，设置特征关联度选择阈值为0.3，最终选择了与负荷预测相关性较高的特征，包括电负荷、冷负荷、热负荷、温度、降水量、假期和周末，共计7个特征。这些特征将用于综合能源系统负荷预测模型的构建和训练。
（4）对DTformer负荷预测模型的输入数据进行了归一化处理；构建DTformer预测模型并进行训练，得到电、热、冷负荷的归一化预测结果；包括以下步骤：
（41）对电、热、冷负荷和各气象特征的样本数据分别做归一化处理，得到电、热、冷负荷数据、气象特征数据和日历特征数据的时间序列数据集；归一化处理公式如下：
；
其中，x为原始数据，是归一化数据，为原始数据的平均值，为原始数据的标准差；
（42）将得到的时间序列数据集划分为按照8：1：1将数据集划分为训练集、验证集和测试集；构建DTformer预测模型并进行训练；DTformer负荷预测模型包括：补丁嵌入模块、双注意力变量模块、最优时间窗口注意模块和输出模块；模块之间的连接顺序如图2所示， 补丁嵌入模块将输入的多能源负荷序列通过补丁嵌入模块嵌入到3D向量数组中，保留时间和变量信息；双注意力变量模块捕获不同变量之间的依赖性；最优时间窗口注意力模块捕获时间上的长期依赖性；输出模块将模型在训练过程中学习到的信息生成相应的预测值。
其中，补丁嵌入模块具体为：设给定历史数据作为输入，对未来的多能源负荷值进行预测；其中，和分别代表历史和未来的时间步数，M则表示输入多能源负荷数据集的变量数。为了处理时间序列数据，将输入的时间序列分割为互不重叠的补丁；设补丁的长度为P，则总共会产生N= L/P个补丁；然后，每个补丁都会经过线性投影，将其转化为一个向量，并添加相应的位置编码：
；
其中，表示可学习的投影矩阵，表示第m个变量中长度为P 的第n个补丁，表示位置 (m；n) 的可学习位置嵌入, 每个表示第m个变量中的第n个补丁的线性投影与位置编码相加的结果。
经过补丁嵌入后，输入数据被转化为的形式。
如图3所示，双注意力变量模块由多头注意力机制、残差设计的层归一化层，以及前馈网络构成，具体如下：设有 N 个Transformer 编码层，第i个Transformer 编码层的输入为：，则双注意力变量模块如下：
；
其中，为双注意力变量模块的输入，的操作是将第1维与第2维互换，得到，矩阵表示可学习的参数，c为超参数；是的输出；是的输出，表示Layer Normalization用于解决梯度消失和梯度爆炸问题，同时加速神经网络的训练；表示多层前馈网络，在得到后，通过操作将第1维与第2维互换，得到。
如图4所示，最优时间窗口注意力模块包括：最优时间窗口注意力、经过残差设计的层归一化，以及前馈网络构成；具体如下：
设有 N 个Transformer 编码器层，第i个Transformer 编码器层的输入为：，公式如下：
；
其中， 为最优时间窗口注意力的输入，为的输出；表示Layer Normalization用于解决梯度消失和梯度爆炸问题，同时加速神经网络的训练；表示多层前馈网络；将与进行残差连接，并在连接后应用LayerNormalization,得到输出。
其中，最优时间窗口注意力的计算量包括线性投影、区域到区域路由和令牌到令牌注意力；公式如下：
；
上述等式当且仅当成立；
其中，表示标记嵌入的维，N为输入序列的长度， k 表示参与的区域数"top-k"中的 "k"，S为非重叠区域的个数；若最优时间窗口注意力的复杂度将达到。
其中，线性投影具体如下：设给定一个输入；首先，将其分割成 S个非重叠区域，每个区域包含个特征向量；然后，通过线性投影导出查询、键、值张量；线性投影公式如下：
；
其中，分别是查询、键、值的投影权重；
区域到区域路由具体如下：首先，计算每个区域的和的平均值，得到区域级查询和键然后，使用计算区域之间的权重矩阵；使用得到每个区域的前k个最重要权重矩阵的索引，其中，；
令牌到令牌注意力具体如下：和进行收集操作，得到和；其中，和表示已经收集好的键和值张量；将已收集的键值对应用于注意力机制，表示为：
。
（5）对归一化的预测结果进行反归一化处理，获得最终的电、热、冷负荷的预测值。反归一化处理公式如下：
；
其中，为基于DTformer的多能源负荷预测数据，为原始数据的平均值，为原始数据的标准差，y为反归一化后的电、冷和热负荷预测数据。
为了比较负荷预测效果，建立预测结果评估指标，采用平均绝对误差MAE、均方根误差RMSE和平均绝对百分误差MAPE三种指标衡量预测值与实际值之间的偏差。具体误差公式如下式所示：
；
；
；
公式中，需要评估的样本数量，表示预测值，表示真实值。
计算各个模型在测试集上的MAE、RMSE和MAPE指标，如表1所示。结果表明，所提出的一种基于DTformer的多能源负荷预测方法在未来24小时、168小时和720小时均具有很高的预测精度，预测精度高于对比模型。
表1
Claims (10)
1.一种基于DTformer的短期多能源负荷预测方法，其特征在于，包括以下步骤：
（1）获取与日历特征相关的数据及气象数据；
（2）分别对获取到的电、热、冷负荷历史数据、各气象特征数据和日历数据进行缺失值填充和异常值处理得到经过清洗的时间序列数据集；
（3）利用最大信息系数评估多个能源负荷之间的耦合关系以及与各气象特征之间的相关性；选出与多个能源负荷之间相关性较强的气象数据作为DTformer负荷预测模型的输入；
（4）对DTformer负荷预测模型的输入数据进行了归一化处理；构建DTformer预测模型并进行训练，得到电、热、冷负荷的归一化预测结果；
（5）对归一化的预测结果进行反归一化处理，获得最终的电、热、冷负荷的预测值。
2.根据权利要1所述的一种基于DTformer的短期多能源负荷预测方法，其特征在于，所述步骤（1）与日历特征相关的数据包括：相应时间点的电、热、冷负荷的历史数据；其中，日历特征包括：是否为周末，是否为假期；气象数据包括：露点、风速、降水量、风向、湿度、温度、大气压。
3.根据权利要1所述的一种基于DTformer的短期多能源负荷预测方法，其特征在于，所述步骤（2）包括以下步骤：
（21）根据国际计量单位换算方法，将获取到的电、热、冷负荷数据的单位统一换算成以KW作为单位，公式如下：
；
其中，KW为电负荷单位、mBtu/h为冷负荷单位、ton-hr为热负荷单位；
（22）对于统一计量单位的历史负荷数据和气象数据使用绝对中位差检测时间序列中的异常值；当某个数据点被判定为异常值时，将其标记为缺失值，然后利用线性插值法对这些缺失值进行填补。
4.根据权利要1所述的一种基于DTformer的短期多能源负荷预测方法，其特征在于，所述步骤（3）中，最大信息系数公式如下：
；
；
其中，为变量x和y的联合概率；，分别为向量x和y的边缘概率；取值范围介于0，1之间，表示两变量之间相关性的强弱。
5.根据权利要1所述的一种基于DTformer的短期多能源负荷预测方法，其特征在于，所述步骤（4）包括以下步骤：
（41）对电、热、冷负荷和各气象特征的样本数据分别做归一化处理，得到电、热、冷负荷数据、气象特征数据和日历特征数据的时间序列数据集；归一化处理公式如下：
；
其中，x为原始数据，是归一化数据，为原始数据的平均值，为原始数据的标准差；
（42）将得到的时间序列数据集划分为按照8：1：1将数据集划分为训练集、验证集和测试集；构建DTformer预测模型并进行训练；DTformer负荷预测模型包括：补丁嵌入模块、双注意力变量模块、最优时间窗口注意模块和输出模块；补丁嵌入模块将输入的多能源负荷序列通过补丁嵌入模块嵌入到3D向量数组中，保留时间和变量信息；双注意力变量模块捕获不同变量之间的依赖性；最优时间窗口注意力模块捕获时间上的长期依赖性；输出模块将模型在训练过程中学习到的信息生成相应的预测值。
6.根据权利要5所述的一种基于DTformer的短期多能源负荷预测方法，其特征在于，所述双注意力变量模块由多头注意力机制、残差设计的层归一化层，以及前馈网络构成，具体如下：设有 N 个Transformer 编码层，第i个Transformer 编码层的输入为：，则双注意力变量模块如下：
；
其中，为双注意力变量模块的输入，的操作是将第1维与第2维互换，得到，矩阵表示可学习的参数，c为超参数；是的输出；是的输出，表示Layer Normalization用于解决梯度消失和梯度爆炸问题，同时加速神经网络的训练；表示多层前馈网络，在得到后，通过操作将第1维与第2维互换，得到。
7.根据权利要5所述的一种基于DTformer的短期多能源负荷预测方法，其特征在于，所述最优时间窗口注意力模块包括：最优时间窗口注意力、经过残差设计的层归一化，以及前馈网络构成；具体如下：
设有 N 个Transformer 编码器层，第i个Transformer 编码器层的输入为：，公式如下：
；
其中， 为最优时间窗口注意力的输入，为的输出；表示Layer Normalization用于解决梯度消失和梯度爆炸问题，同时加速神经网络的训练；表示多层前馈网络；将与进行残差连接，并在连接后应用Layer Normalization,得到输出。
8.根据权利要7所述的一种基于DTformer的短期多能源负荷预测方法，其特征在于，所述最优时间窗口注意力的计算量包括线性投影、区域到区域路由和令牌到令牌注意力；公式如下：
；
上述等式当且仅当成立；
其中，表示标记嵌入的维，N为输入序列的长度， k 表示参与的区域数"top-k"中的 "k"，S为非重叠区域的个数；若最优时间窗口注意力的复杂度将达到。
9.根据权利要8所述的一种基于DTformer的短期多能源负荷预测方法，其特征在于，线性投影具体如下：设给定一个输入；首先，将其分割成 S个非重叠区域，每个区域包含个特征向量；然后，通过线性投影导出查询、键、值张量；线性投影公式如下：
；
其中，分别是查询、键、值的投影权重；
区域到区域路由具体如下：首先，计算每个区域的和的平均值，得到区域级查询和键然后，使用计算区域之间的权重矩阵；使用得到每个区域的前k个最重要权重矩阵的索引，其中，；
令牌到令牌注意力具体如下：和进行收集操作，得到和；其中，和表示已经收集好的键和值张量；将已收集的键值对应用于注意力机制，表示为：
。
10.根据权利要1所述的一种基于DTformer的短期多能源负荷预测方法，其特征在于，所述步骤（5）中，反归一化处理公式如下：
；
其中，为基于DTformer的多能源负荷预测数据，为原始数据的平均值，为原始数据的标准差，y为反归一化后的电、冷和热负荷预测数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410232544.4A CN117808175B (zh) | 2024-03-01 | 2024-03-01 | 一种基于DTformer的短期多能源负荷预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410232544.4A CN117808175B (zh) | 2024-03-01 | 2024-03-01 | 一种基于DTformer的短期多能源负荷预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117808175A true CN117808175A (zh) | 2024-04-02 |
| CN117808175B CN117808175B (zh) | 2024-05-17 |
Family
ID=90420086
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410232544.4A Active CN117808175B (zh) | 2024-03-01 | 2024-03-01 | 一种基于DTformer的短期多能源负荷预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117808175B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118336721A (zh) * | 2024-06-12 | 2024-07-12 | 南京信息工程大学 | 基于小波包分解和ConvLSTM的电力负荷预测方法 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114707698A (zh) * | 2022-03-03 | 2022-07-05 | 深圳智芯微电子科技有限公司 | 基于综合形状误差和时间误差的长期电力负荷预测方法 |
| CN114722873A (zh) * | 2022-04-14 | 2022-07-08 | 湘潭大学 | 一种基于残差卷积和注意力机制的非侵入式负荷分解方法 |
| CN115689026A (zh) * | 2022-11-04 | 2023-02-03 | 华中科技大学 | 一种住宅负荷短期预测方法和系统 |
| CN115828768A (zh) * | 2022-12-28 | 2023-03-21 | 华南理工大学 | 一种数据驱动的配电网无功功率预测方法 |
| CN115983448A (zh) * | 2022-12-14 | 2023-04-18 | 南京信息工程大学 | 一种基于时空图神经网络的多能源负荷预测方法 |
| CN116090359A (zh) * | 2023-04-11 | 2023-05-09 | 南京师范大学 | 一种基于组合预测模型的综合能源系统多元负荷预测方法 |
| CN116090602A (zh) * | 2022-11-30 | 2023-05-09 | 国网内蒙古东部电力有限公司供电服务监管与支持中心 | 一种用电负荷预测方法及系统 |
| CN116258262A (zh) * | 2023-02-24 | 2023-06-13 | 合肥工业大学 | 多维时序数据的短期趋势预测方法和系统 |
| CN116667881A (zh) * | 2023-03-27 | 2023-08-29 | 南京信息工程大学 | 一种基于快速密度聚类的电力通信网关键链路评估方法 |
| CN116780575A (zh) * | 2023-06-28 | 2023-09-19 | 山西粤电能源有限公司 | 基于数据预测的风电场支撑一次调频控制方法 |
| CN116957849A (zh) * | 2023-07-26 | 2023-10-27 | 南京邮电大学 | 一种基于双注意力机制的风电功率预测方法 |
| CN117251705A (zh) * | 2023-10-07 | 2023-12-19 | 北京航空航天大学 | 一种每日天然气负荷预测方法 |
| CN117556369A (zh) * | 2024-01-12 | 2024-02-13 | 南京信息工程大学 | 一种动态生成的残差图卷积神经网络的窃电检测方法及系统 |
| CN117580105A (zh) * | 2024-01-15 | 2024-02-20 | 南京信息工程大学 | 一种面向电网巡检的无人机任务卸载优化方法 |
-
2024
- 2024-03-01 CN CN202410232544.4A patent/CN117808175B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114707698A (zh) * | 2022-03-03 | 2022-07-05 | 深圳智芯微电子科技有限公司 | 基于综合形状误差和时间误差的长期电力负荷预测方法 |
| CN114722873A (zh) * | 2022-04-14 | 2022-07-08 | 湘潭大学 | 一种基于残差卷积和注意力机制的非侵入式负荷分解方法 |
| CN115689026A (zh) * | 2022-11-04 | 2023-02-03 | 华中科技大学 | 一种住宅负荷短期预测方法和系统 |
| CN116090602A (zh) * | 2022-11-30 | 2023-05-09 | 国网内蒙古东部电力有限公司供电服务监管与支持中心 | 一种用电负荷预测方法及系统 |
| CN115983448A (zh) * | 2022-12-14 | 2023-04-18 | 南京信息工程大学 | 一种基于时空图神经网络的多能源负荷预测方法 |
| CN115828768A (zh) * | 2022-12-28 | 2023-03-21 | 华南理工大学 | 一种数据驱动的配电网无功功率预测方法 |
| CN116258262A (zh) * | 2023-02-24 | 2023-06-13 | 合肥工业大学 | 多维时序数据的短期趋势预测方法和系统 |
| CN116667881A (zh) * | 2023-03-27 | 2023-08-29 | 南京信息工程大学 | 一种基于快速密度聚类的电力通信网关键链路评估方法 |
| CN116090359A (zh) * | 2023-04-11 | 2023-05-09 | 南京师范大学 | 一种基于组合预测模型的综合能源系统多元负荷预测方法 |
| CN116780575A (zh) * | 2023-06-28 | 2023-09-19 | 山西粤电能源有限公司 | 基于数据预测的风电场支撑一次调频控制方法 |
| CN116957849A (zh) * | 2023-07-26 | 2023-10-27 | 南京邮电大学 | 一种基于双注意力机制的风电功率预测方法 |
| CN117251705A (zh) * | 2023-10-07 | 2023-12-19 | 北京航空航天大学 | 一种每日天然气负荷预测方法 |
| CN117556369A (zh) * | 2024-01-12 | 2024-02-13 | 南京信息工程大学 | 一种动态生成的残差图卷积神经网络的窃电检测方法及系统 |
| CN117580105A (zh) * | 2024-01-15 | 2024-02-20 | 南京信息工程大学 | 一种面向电网巡检的无人机任务卸载优化方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118336721A (zh) * | 2024-06-12 | 2024-07-12 | 南京信息工程大学 | 基于小波包分解和ConvLSTM的电力负荷预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117808175B (zh) | 2024-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Alencar et al. | Hybrid approach combining SARIMA and neural networks for multi-step ahead wind speed forecasting in Brazil | |
| CN117808175B (zh) | 一种基于DTformer的短期多能源负荷预测方法 | |
| CN115983448B (zh) | 一种基于时空图神经网络的多能源负荷预测方法 | |
| CN113505923B (zh) | 一种地区电网短期负荷预测方法及系统 | |
| CN109636054A (zh) | 基于分类和误差组合预测的太阳能光伏发电量预测方法 | |
| CN114065653A (zh) | 电力负荷预测模型的构建方法与电力负荷预测方法 | |
| CN113469427A (zh) | 基于卷积lstm的光伏电站日前发电量预测方法及系统 | |
| CN111275571A (zh) | 考虑微气象与用户模式的居民负荷概率预测深度学习方法 | |
| CN116720156A (zh) | 基于图神经网络多模态气象数据融合的气象要素预报方法 | |
| CN118036822A (zh) | 电氢一体化能源站的电氢负荷预测方法、装置及存储介质 | |
| CN110222910B (zh) | 一种有源配电网态势预测方法及预测系统 | |
| CN117076738A (zh) | 基于变网格模型的中长期气象预测方法、系统及介质 | |
| CN114882373A (zh) | 基于深度神经网络的多特征融合沙尘暴预测方法 | |
| CN117034780B (zh) | 一种基于深度学习的多尺度次季节降水量预测方法 | |
| CN117674098A (zh) | 面向不同渗透率的多元负荷时空概率分布预测方法及系统 | |
| EP4383498A1 (en) | Method of forecasting power production/consumption in a distributed network | |
| CN115587664B (zh) | 基于图卷积长短期记忆网络的太阳辐射预测方法及系统 | |
| CN116706888A (zh) | 基于联邦学习的智能电网负荷预测方法 | |
| CN116960962A (zh) | 一种跨区域数据融合的中长期区域负荷预测方法 | |
| CN114091646B (zh) | 一种基于emd和bp神经网络的太阳10.7厘米射电流量中短期预报方法 | |
| CN115238967A (zh) | 一种结合云图和相邻电站集群的光伏功率预测方法及装置 | |
| CN112348700B (zh) | 一种结合som聚类与ifou方程的线路容量预测方法 | |
| CN114282428A (zh) | 光伏发电量的预测方法、装置、电子设备和存储介质 | |
| CN113344289A (zh) | 基于级联残差卷积神经网络的次季节高温气象预报订正方法 | |
| Yu et al. | Coordinate-RNN for error correction on numerical weather prediction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |