CN116307173A - 一种消除天气影响的企业用电量的预测方法、装置及系统 - Google Patents

一种消除天气影响的企业用电量的预测方法、装置及系统 Download PDF

Info

Publication number
CN116307173A
CN116307173A CN202310254216.XA CN202310254216A CN116307173A CN 116307173 A CN116307173 A CN 116307173A CN 202310254216 A CN202310254216 A CN 202310254216A CN 116307173 A CN116307173 A CN 116307173A
Authority
CN
China
Prior art keywords
power consumption
attention
self
weather
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310254216.XA
Other languages
English (en)
Inventor
曾碧卿
李世钦
侯雪莹
张雅蓉
杨睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Normal University
Original Assignee
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University filed Critical South China Normal University
Priority to CN202310254216.XA priority Critical patent/CN116307173A/zh
Publication of CN116307173A publication Critical patent/CN116307173A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • General Business, Economics & Management (AREA)
  • Pure & Applied Mathematics (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Primary Health Care (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • Operations Research (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种消除天气影响的企业用电量的预测方法。本发明根据企业用电量受天气情况、生产模式和非生产模式的影响，分析企业用电量随天气情况波动的特征，采用基于全局块状自注意力机制改进的Transformers模型对企业用电量期望值进行预测，相对于传统的注意力机制做了更适用于此项任务的改进。本发明提出将天气特征嵌入用电量的方式和采用全局块状自注意力处理机制处理嵌入天气特征的用电量数据更适用于处理企业用电量的工程任务，所提出的方法兼顾了分段式方法的优点即预测的幅值和形状误差较低、可靠性高，又极大简化后续任务的设计复杂度。

Description

一种消除天气影响的企业用电量的预测方法、装置及系统
技术领域
本发明涉及人工智能与用电预测交叉领域，特别是涉及一种消除天气影响的企业用电量的预测方法及装置。
背景技术
随着物联网、大数据及人工智能的蓬勃发展，智能电网已深入人民的生产生活中，在保障人民用电方面做出了巨大贡献的同时，在促进小微经济发展领域如信用体系建设和银行贷款业务等方面亦有突出贡献和无穷潜力。2018年，国家发展和改革委员会牵头推进的社会信用体系建设“信易+”正式启动，此项目将实现优化行政监管、降低企业融资成本和交易成本等目标。由于智能电网数据具有及时性、真实性和低成本的优势，在大数据技术与人工智能技术的辅助下，通过电力数据构建企业信用评估系统成为近年来的研究热点。各金融机构亦依据电力大数据构建的信用体系和实时电力数据对贷款企业的经营状况进行判别，据此开展相应的金融服务，降低金融风险。
企业生产用电可折射企业的生产经营状态，因此，对企业生产用电的分析成为获取企业生产经营状态不可或缺的核心内容。在依据电力大数据开展的研究与应用中，获取的实际用电数据受外部环境干扰，无法直观的反应企业生产用电情况，进而无法获得企业的生产经营状态。诸多研究表明，外部环境干扰因素中天气因素成为影响企业用电量的主要因素，因此，基于实际用电数据如何消除天气影响获得无天气影响的企业生产用电这一问题成为研究热点，目前有两种解决思路。
第一种是端到端方法，即在算法中同时输入天气变量，保留其影响，在任务中进行综合考量，如在2021年Yizhen Wang等提出的一种考虑天气特征的基于长短期记忆网络(LSTM，Long short-term memory)的短期用电量预测方法，将天气特征的影响融入模型，实现了较为精准的用电量预测，但该模型无法做到直观地消除天气影响进而获得期望的无天气特征的企业用电量数据，且难以解释去除天气特征的有效性，同时其整体模型复杂，需要针对不同下游任务构建不同的模型。
第二种是分段式方法，先在天气与企业用电量之间进行建模，据此进行反事实推理，在输入下游任务模型之前，消除天气对企业用电量的影响，如在2022年，Blake Shaffer等提出的在多种变量和用电量之间使用线性回归建模的方式，通过仅改变温度影响因子，其他变量影响因子保持不变的方法，对美国德克萨斯州的电力需求进行了反事实推理，但该模型需要依赖大量的历史数据进行构建预测，且对天气数据的分辨率依赖度高，同时效果通常不尽如人意。
发明内容
基于此，本发明的目的在于，提供一种消除天气影响的企业用电量的预测方法，可以直观的消除天气影响获得预测的期望企业用电量数据，该方法误差低、可靠性高，可有效减少下游任务的模型复杂度。
一种消除天气影响的企业用电量的预测方法，包括：
步骤10将输入的实际用电量数据转换成向量，得到实际用电量向量和天气因子向量，对所述实际用电量向量和天气因子向量进行向量拼接处理，得到含天气特征的实际用电量向量和含天气特征的拼接用电量向量；
步骤20对所述含天气特征的实际用电量向量进行全局块状自注意力机制处理，得到含自注意力表示的实际用电量特征向量；
步骤30对所述含天气特征的拼接用电量向量进行掩码的全局块状自注意力机制处理，得到含自注意力表示的拼接用电量特征向量；
步骤40对所述含自注意力表示的实际用电量特征向量和所述含自注意力表示的拼接用电量特征向量进行注意力机制处理，得到含注意力表示的期望用电量特征向量；
步骤50对所述含注意力表示的期望用电量特征向量进行全连接网络和卷积网络处理，提取期望用电量的特征，得到期望用电量。
本发明根据企业用电量受天气情况、生产模式和非生产模式的影响，分析企业用电量随天气情况波动的特征，采用基于全局块状自注意力机制改进的Transformers模型对企业用电量期望值进行预测，相对于传统的注意力机制做了更适用于此项任务的改进。
本发明所述的预测方法，一方面，可实现消除天气影响进而预测获得期望的企业用电量数据，提高企业用电量与企业产能之间的直接相关性，有利于简化企业用电量与企业产能之间的模型；另一方面，在提高了预测精确度的同时有效减少了计算复杂度。
进一步地，将所述含天气特征的实际用电量向量分别与全局块状自注意力机制的权重矩阵WQ1和WK1做点积运算，得到第一查询矩阵和第一键矩阵，并通过所述第一查询矩阵、第一键矩阵计算天气特征对应的全局自注意力中间运算矩阵和实际用电量对应的块状自注意力中间运算矩阵。
进一步地，将所述含天气特征的拼接用电量向量分别与掩码的全局块状自注意力机制的权重矩阵WQ2和WK2做点积运算，得到第二查询矩阵和第二键矩阵，并通过所述第二查询矩阵、第二键矩阵计算天气特征对应的掩码的全局自注意力中间运算矩阵和拼接用电量对应的掩码的块状自注意力中间运算矩阵。
进一步地，全局块状自注意力机制的全局自注意力中间运算矩阵G的计算方式为：
Figure BDA0004129074650000031
其中，
Figure BDA0004129074650000032
式中：Gij为全局自注意力中间运算矩阵G的第i行第j列，qi为q＝{q1，q2，...qn}上的第i位向量分量，kj为k＝{k1，k2，...kn}上的第j位向量分量，n为q的长度，gi为qi对应的全局自注意力机制范围，GS表示使用全局自注意力机制的向量分量的数量；
全局块状自注意力机制的块状自注意力中间运行矩阵B的计算方式为：
Figure BDA0004129074650000033
其中，
Figure BDA0004129074650000034
式中：Bij为块状自注意力中间运算矩阵B的第i行第j列，qi为q＝{q1，q2，...qn}上的第i位向量分量，kj为k＝{k1，k2，...kn}上的第j位向量分量，n为q的长度，bi为qi对应的块状自注意力机制范围，BS表示块状的边长大小。
进一步地，实际用电量数据还包括日期信息，所述日期信息包括所处天、所处周、所处月、所处年和所处假期，所述的所处天编码、所处周编码、所处月编码和所处假期编码的计算方式分别为：
D＝Di/7
W＝Wi/WY
M＝Mi/12
J＝Ji/JY
式中，D为所处天编码、Di为所处的第几周天，W为所处周编码、Wi为所处的第几周、WY为全年周数，M为所处月编码、Mi为所处的第几月，J为所处假期编码、Ji为所处的当年第几次法定假期、JY为全年的法定假期次数。
同时，本发明还提供一种消除天气影响的企业用电量的预测装置，所述的预测装置包括：
输入单元，用于将输入的实际用电量数据转换成向量，得到实际用电量向量和天气因子向量，对所述实际用电量向量和天气因子向量进行向量拼接处理，得到含天气特征的实际用电量向量和含天气特征的拼接用电量向量；
第一特征提取单元，用于对所述含天气特征的实际用电量向量进行全局块状自注意力机制处理，得到含自注意力表示的实际用电量特征向量；
第二特征提取单元，用于对所述含天气特征的拼接用电量向量进行掩码的全局块状自注意力机制处理，得到含自注意力表示的拼接用电量特征向量；
第三特征提取单元，用于对所述含自注意力表示的实际用电量特征向量和所述含自注意力表示的拼接用电量特征向量进行注意力机制处理，得到含注意力表示的期望用电量特征向量；
输出单元,用于对所述含注意力表示的期望用电量特征向量进行全连接网络和卷积网络处理，提取期望用电量的特征，得到期望用电量。
本发明还提供一种消除天气影响的企业用电量的预测系统，所述的预测系统包括处理器、存储器以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现一种消除天气影响的企业用电量的预测方法的步骤。
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
图1为消除天气影响的企业用电量的预测模型示意图；
图2为消除天气影响的企业用电量的预测模型运行流程图；
图3为全局块状自注意力机制中间运算矩阵运算图；
图4为全局块状自注意力机制自注意力分数矩阵运算图；
图5为数据集中含天气特征的真实总用电量向量的天气、日期、位置嵌入图；
图6为对某企业单日采用LR、LSTM和本发明方法进行消除天气影响的企业用电量的预测实验对比图；
图7为对某企业三个季度的消除天气影响的企业用电量的预测与真实值的对比图。
具体实施方式
下面将结合本发明实施例的附图，对本发明的技术方案进行清楚完整的描述。应理解的是，文中使用的部分术语与定义如下：
(1)“实际用电量”
电网数据记录的企业用量为实际用电量。
(2)“期望用电量”
对电网数据记录的企业用量进行本发明所述的预测处理，得到消除天气影响的用电量为期望用电量。
本发明首先构建一个消除天气影响的企业用电量的预测初始模型，然后采用企业历史用电量数据对所述初始模型进行训练、验证和测试，得到消除天气影响的企业用电量的预测模型。
请参阅图1，该预测模型采用基于全局块状自注意力机制改进的Transformers模型对企业用电量期望值进行预测，其包括输入单元、编码单元、解码单元和输出单元；其中，所述编码单元包括全局块状自注意力层和前向传播层，所述解码单元包括掩码全局块状自注意力层、注意力层和前向传播层，前述各层均连接了用以优化上述各层输出的归一化层和残差层。该预测模型的运行包括如下几大步骤：
步骤10将输入的实际用电量数据转换成向量，得到实际用电量向量
Figure BDA0004129074650000051
和天气因子向量/>
Figure BDA0004129074650000052
对所述实际用电量向量/>
Figure BDA0004129074650000053
和天气因子向量/>
Figure BDA0004129074650000054
进行向量拼接处理，得到含天气特征的实际用电量向量/>
Figure BDA0004129074650000055
和含天气特征的拼接用电量向量/>
Figure BDA0004129074650000056
步骤20对所述含天气特征的实际用电量向量
Figure BDA0004129074650000057
进行全局块状自注意力机制处理，得到含自注意力表示的实际用电量特征向量P1；
步骤30对所述含天气特征的拼接用电量向量
Figure BDA0004129074650000058
进行掩码的全局块状自注意力机制处理，得到含自注意力表示的拼接用电量特征向量P2。
步骤40对所述含自注意力表示的实际用电量特征向量P1和所述含自注意力表示的拼接用电量特征向量P2进行注意力机制处理，得到含注意力表示的期望用电量特征向量P3。
步骤50对所述含注意力表示的期望用电量特征向量P3进行全连接网络和卷积网络处理，提取期望用电量的特征，得到期望用电量。
其中，步骤10由输入单元执行；步骤20由第一特征提取单元执行，具体由所述编码单元实现；步骤30由第二特征提取单元执行，具体由所述解码单元的掩码全局块状自注意力层实现；步骤40由第三特征提取单元执行，具体由所述解码单元的注意力层实现；步骤50由输出单元执行。
在所述消除天气影响的企业用电量的预测模型的训练阶段，将获取的企业历史用电量数据集划分为训练集、验证集和测试集，采用训练集对所述初始模型进行训练，直至所述损失值趋于稳定或训练达到最大迭代次数，得到优化模型；然后再采用验证集和测试集对优化模型进行验证、测试，得到最优模型及最优超参数。
在所述消除天气影响的企业用电量的预测模型的运行阶段，将待预测企业用电数据输入至所述优化模型，经所述优化模型运行后获得预测的企业期望用电量。
以下通过两个实施例说明该消除天气影响的企业用电量的预测模型的详细运行过程。
实施例1
请参阅图2，本发明的消除天气影响的企业用电量的预测模型的具体运行方式如下所述。
步骤10将输入的实际用电量数据转换成向量，得到实际用电量向量
Figure BDA0004129074650000061
和天气因子向量/>
Figure BDA0004129074650000062
对所述实际用电量向量/>
Figure BDA0004129074650000063
和天气因子向量/>
Figure BDA0004129074650000064
进行向量拼接处理，得到含天气特征的实际用电量向量/>
Figure BDA0004129074650000065
和含天气特征的拼接用电量向量/>
Figure BDA0004129074650000066
步骤10具体包括以下子步骤。
步骤11：将输入的实际用电量数据转换成向量，得到实际用电量向量和天气因子向量。该步骤由装置的输入单元的输入嵌入模块执行。
具体地，输入的实际用电量数据包括实际用电量和天气信息，其中天气信息包括天气类别和温度数据，所述天气类别包括晴、阴、雨、雪、雾等；所述温度数据包括该日最高温、该日最低温和采集时当前温度。
对输入的实际用电量进行编码、标准化和一维卷积处理，得到实际用电量向量
Figure BDA0004129074650000067
对天气类别和温度数据进行编码、归一化和一维卷积处理，得到天气类别向量和温度向量，对所述天气类别向量和温度向量进行向量拼接，得到天气因子向量/>
Figure BDA0004129074650000068
其中，所述温度数据的编码计算方式见(1)式：
Figure BDA0004129074650000069
(1)式中T是温度数据编码，Tmax是最大温度，Tmin是最小温度，Ti为当前温度。
步骤12为所述实际用电量向量
Figure BDA00041290746500000610
设定第一位置向量/>
Figure BDA00041290746500000611
将所述实际用电量向量/>
Figure BDA00041290746500000612
与所述第一位置向量/>
Figure BDA00041290746500000613
相加后再与所述天气因子向量/>
Figure BDA00041290746500000614
进行拼接，得到含天气特征的实际用电量向量/>
Figure BDA0004129074650000071
该步骤由装置的输入单元的位置编码模块执行。
其中，第一位置向量
Figure BDA0004129074650000072
的计算方式如下：
Figure BDA0004129074650000073
步骤13设置一与所述实际用电量向量
Figure BDA0004129074650000074
同维度的全零向量，并为所述全零向量设定第二位置向量/>
Figure BDA0004129074650000075
将所述全零向量与所述第二位置向量/>
Figure BDA0004129074650000076
相加，得到占位向量/>
Figure BDA0004129074650000077
将所述含天气特征的实际用电量向量/>
Figure BDA0004129074650000078
与所述占位向量/>
Figure BDA0004129074650000079
进行拼接，得到含天气特征的拼接用电量向量/>
Figure BDA00041290746500000710
该步骤由装置的输入单元的位置编码模块执行。
其中，第二位置向量
Figure BDA00041290746500000711
的计算方式见(2)式。
步骤20对所述含天气特征的实际用电量向量
Figure BDA00041290746500000712
进行全局块状自注意力机制处理，得到含自注意力表示的实际用电量特征向量P1。步骤20具体包括以下子步骤。
步骤21将所述含天气特征的实际用电量向量
Figure BDA00041290746500000713
分别与全局块状自注意力机制的权重矩阵WQ1、WK1、WV1做点积运算，得到第一查询矩阵Q1、第一键矩阵K1和第一值矩阵V1。
步骤22通过所述第一查询矩阵Q1、第一键矩阵K1计算天气特征对应的全局自注意力中间运算矩阵G1和实际用电量对应的块状自注意力中间运算矩阵B1。具体地，包括以下步骤：
步骤221从所述第一查询矩阵Q1中提取天气特征对应的向量分量
Figure BDA00041290746500000714
从所述第一键矩阵K1中提取天气特征对应的向量分量/>
Figure BDA00041290746500000715
对/>
Figure BDA00041290746500000716
和/>
Figure BDA00041290746500000717
采用全局自注意力机制进行计算，得到全局自注意力中间运算矩阵G1。
请参阅图3，全局自注意力中间运算矩阵G1的计算方式为：
Figure BDA00041290746500000718
Figure BDA00041290746500000719
其中，(3)式和(4)式中，Gij为全局自注意力中间运算矩阵G的第i行第j列，qi为q＝{q1，q2，...qn}上的第i位向量分量，kj为k＝{k1，k2，...kn}上的第j位向量分量，n为q的长度，gi为qi对应的全局自注意力机制范围，GS表示使用全局自注意力机制的向量分量的数量。
步骤222从所述第一查询矩阵Q1中提取实际用电量对应的向量分量
Figure BDA0004129074650000081
从所述第一键矩阵K1中提取实际用电量对应的向量分量/>
Figure BDA0004129074650000082
对/>
Figure BDA0004129074650000083
和/>
Figure BDA0004129074650000084
采用块状自注意力机制进行计算，得到块状自注意力中间运算矩阵B1。
块状自注意力中间运算矩阵B1的计算方式为：
Figure BDA0004129074650000085
Figure BDA0004129074650000086
其中，(5)式和(6)式中，Bij为块状自注意力中间运算矩阵B的第i行第j列，bi为qi对应的块状自注意力机制范围，BS表示块状的边长大小。
步骤23将所述全局自注意力中间运算矩阵G1和所述块状自注意力中间运算矩阵B1进行矩阵相加后再进行softmax运算，得到第一注意力分布矩阵S1。
请参阅图4，注意力分布矩阵S1的计算方式为：
S＝soft max(G+B) (7)
步骤24将所述第一注意力分布矩阵S1与所述第一值矩阵V1进行点积运算，得到含自注意力表示的实际用电量特征向量P1，并使用归一化层和残差层对所述含自注意力表示的实际用电量特征向量P1进行优化。
步骤21至步骤24由装置的第一特征单元的全局块状自注意力模块执行。
步骤30对所述含天气特征的拼接用电量向量
Figure BDA0004129074650000087
进行掩码的全局块状自注意力机制处理，得到含自注意力表示的拼接用电量特征向量P2。步骤30具体包括以下子步骤。
步骤31将所述含天气特征的拼接用电量向量
Figure BDA0004129074650000088
分别与掩码的全局块状自注意力机制的权重矩阵WQ2、WK2、WV2做点积运算，得到第二查询矩阵Q2、第二键矩阵K2和第二值矩阵V2。
步骤32通过所述第二查询矩阵Q2、第二键矩阵K2计算天气特征对应的掩码的全局自注意力中间运算矩阵G2和拼接用电量对应的掩码的块状自注意力中间运算矩阵B2。具体地，包括以下步骤：
步骤321从所述第二查询矩阵Q2中提取天气特征对应的向量分量
Figure BDA0004129074650000091
从所述第二键矩阵K2中提取天气特征对应的向量分量/>
Figure BDA0004129074650000092
对/>
Figure BDA0004129074650000093
和/>
Figure BDA0004129074650000094
采用全局自注意力机制进行计算，得到掩码的全局自注意力中间运算矩阵G2，计算方式见式(3)和(4)。
步骤322从所述第二查询矩阵Q2中提取拼接用电量对应的向量分量
Figure BDA0004129074650000095
从所述第二键矩阵K2中提取拼接用电量对应的向量分量/>
Figure BDA0004129074650000096
对/>
Figure BDA0004129074650000097
和/>
Figure BDA0004129074650000098
采用块状自注意力机制进行计算，得到掩码的块状自注意力中间运算矩阵B2，计算方式见式(5)和(6)。
步骤33将所述掩码的全局自注意力中间运算矩阵G2和所述掩码的块状自注意力中间运算矩阵B2进行矩阵相加后再进行softmax运算，得到第二注意力分布矩阵S2，计算方式见式(7)。
步骤34将所述第二注意力分布矩阵S2与所述第二值矩阵V2进行点积运算，得到含自注意力表示的拼接用电量特征向量P2，并使用归一化层和残差层对所述含自注意力表示的拼接用电量特征向量P2进行优化。
步骤31至步骤34由装置的第二特征单元的掩码的全局块状自注意力模块执行。
步骤40对所述含自注意力表示的实际用电量特征向量P1和所述含自注意力表示的拼接用电量特征向量P2进行注意力机制处理，得到含注意力表示的期望用电量特征向量P3。步骤40具体包括以下子步骤。
步骤41将所述优化的含自注意力表示的实际用电量特征向量P1分别与注意力机制的权重矩阵WK3、WV3做点积运算，得到第三键矩阵K3和第三值矩阵V3；将所述优化的含自注意力表示的拼接用电量特征向量P2与注意力机制权重矩阵WQ3做点积运算，得到第三查询矩阵Q3。
步骤42将所述第三查询矩阵Q3与第三键矩阵K3进行点积运算，得到相关性矩阵α；对相关性矩阵α进行soft-max运算，得到相关性分数矩阵S3。
步骤43将所述相关性分数矩阵S3与所述第三值矩阵V3进行点积运算，得到含注意力表示的期望用电量特征向量P3，并使用归一化层和残差层对所述含注意力表示的期望用电量特征向量P3进行优化。
步骤41至步骤43由装置的第三特征单元的注意力模块执行。
步骤50采用全连接网络和卷积网络对所述含注意力表示的期望用电量特征向量P3进行处理，提取期望用电量的特征，得到期望用电量。
为了获得用于工程应用的消除天气影响的企业用电量的预测模型，需要对构建的消除天气影响的企业用电量的预测初始模型进行训练、验证和测试。在对所述初始模型进行训练、验证和测试前需要建立训练数据集。
训练数据集采用以下方式获得：
(1)获取历史的单日实际用电数据，所述单日实际用电数据包括单日实际用电量和单日天气信息；
(2)根据所述单日天气信息，将所述单日实际用电量划分为受天气影响的单日用电量和不受天气影响的单日理想用电量，通过所述单日理想用电量为所述单日实际用电量预设单日人工期望用电量，得到(单日实际用电量，单日人工期望用电量)的映射；
其中，所述人工期望用电量为与单日企业运行状态相同、工作时间相近的不受天气影响的单日理想用电量。
(3)将所述(单日实际用电量，单日人工期望用电量)映射和所述单日天气信息组合为单组数据，将历史获取的所有单组数据构建成数据集，并将数据集划分为训练集、验证集、测试集，其中训练集、验证集、测试集的数据比例为8:1:1。
(一)训练模型
SA1从所述训练集中随机抽取单组数据，将所抽取的单组数据输入到初始模型中，在编码单元中数据经全局块状自注意力层处理后再经前向传播层获得误差，在解码单元中数据经掩码的全局块状自注意力层和注意力层处理后再经前向传播层获得误差，在输出单元中输出近似期望用电量，其中初始模型使用的全局块状自注意力机制的权重矩阵WQ1、WK1、WV1，掩码全局块状自注意力机制的权重矩阵WQ2、WK2、WV2，注意力机制的权重矩阵WQ3、WK3、WV3及其他网络的参数使用kaiming分布进行初始化；
SA2计算所述近似期望用电量与所述单日人工期望用电量的损失值，根据损失值通过梯度下降与反向传播算法对初始模型中全局块状自注意力机制的权重矩阵WQ1、WK1、WV1，掩码全局块状自注意力机制的权重矩阵WQ2、WK2、WV2和注意力机制的权重矩阵WQ3、WK3、WV3及其他网络的参数进行修正、更新和优化；
SA3重复SA1、SA2，直至所述损失值趋于稳定或训练达到最大迭代次数，保存模型。
(二)验证、测试模型
SC1按照SA1至SA3训练模型的方式训练多个模型，得到多个训练好的模型；
SC2对所有训练好的模型设置相同的超参数，用所述验证集中的数据在模型中运行，选择损失值最小的模型为最优模型；
SC3对所述的最优模型设置不同的超参数，用所述测试集中的数据在最优模型中运行，选择误差最小的模型相对的超参数为最优超参数；
SC4保存所述最优模型及其对应的最优超参数，用所述测试集中的数据在最优模型中运行，对最优模型进行评估。
实施例2
本实施例提供的消除天气影响的企业用电量的预测模型与实施例1基本相同，不同之处在于获取的实际用电量数据还包括日期信息，请参阅图5。
具体地，不同之处为：
步骤11′将输入的实际用电量数据转换成向量，得到实际用电量向量、天气因子向量和日期向量。
具体地，输入的实际用电量数据包括实际用电量、天气信息和日期信息。其中，天气信息包括天气类别和温度数据，所述天气类别包括晴、阴、雨、雪、雾等，所述温度数据包括该日最高温、该日最低温和采集时当前温度；所述日期信息包括该日所处天、所处第几周天、所处周、所处月、所处年和所处假期。
对实际用电量进行编码、标准化和一维卷积处理，得到实际用电量向量
Figure BDA0004129074650000111
对天气类别和温度数据进行编码、归一化和一维卷积处理，得到天气类别向量和温度向量，对所述天气类别向量和温度向量进行向量拼接，得到天气因子向量/>
Figure BDA0004129074650000112
对所述日期信息进行编码和全连接处理，得到日期向量/>
Figure BDA0004129074650000113
其中，所述温度数据的编码计算方式见(1.1)式，所述日期信息的编码计算方法见(1.2)式：
Figure BDA0004129074650000114
Figure BDA0004129074650000115
(1.1)式中T是温度数据编码，Tmax是最大温度，Tmin是最小温度，Ti为当前温度；(1.2)式中D为所处天编码、Di为所处的第几周天，W为所处周编码、Wi为所处的第几周、WY为全年周数，M为所处月编码、Mi为所处的第几月，J为所处假期编码、Ji为所处的当年第几次法定假期、JY为全年的法定假期次数。
步骤12′为所述实际用电量向量
Figure BDA0004129074650000121
设定第一位置向量/>
Figure BDA0004129074650000122
将所述实际用电量向量
Figure BDA0004129074650000123
所述第一位置向量/>
Figure BDA0004129074650000124
和所述日期向量/>
Figure BDA0004129074650000125
相加后再与所述天气因子向量/>
Figure BDA0004129074650000126
进行拼接，得到含天气特征与日期的实际用电量向量/>
Figure BDA0004129074650000127
步骤13′设置一与所述实际用电量向量
Figure BDA0004129074650000128
同维度的全零向量，并为所述全零向量设定第二位置向量/>
Figure BDA0004129074650000129
将所述全零向量、所述第二位置向量/>
Figure BDA00041290746500001210
和所述日期向量/>
Figure BDA00041290746500001211
相加，得到占位向量/>
Figure BDA00041290746500001212
将所述含天气特征的实际用电量向量/>
Figure BDA00041290746500001213
与所述占位向量/>
Figure BDA00041290746500001214
进行拼接，得到含天气特征与日期的拼接用电量向量/>
Figure BDA00041290746500001215
步骤21′将所述含天气特征与日期的实际用电量向量
Figure BDA00041290746500001216
分别与全局块状自注意力机制的权重矩阵WQ1、WK1、WV1做点积运算，得到第一查询矩阵Q1、第一键矩阵K1和第一值矩阵V1。
步骤22′通过所述第一查询矩阵Q1、第一键矩阵K1计算天气特征对应的全局自注意力中间运算矩阵G1和含日期的实际用电量对应的块状自注意力中间运算矩阵B1。
步骤222′从所述第一查询矩阵Q1中提取含日期的实际用电量对应的向量分量
Figure BDA00041290746500001217
从所述第一键矩阵K1中提取含日期的实际用电量对应的向量分量/>
Figure BDA00041290746500001218
对/>
Figure BDA00041290746500001219
和/>
Figure BDA00041290746500001220
采用块状自注意力机制进行计算，得到块状自注意力中间运算矩阵B1，计算方式见式(5)和(6)。
步骤31′将所述含天气特征与日期的拼接用电量向量
Figure BDA00041290746500001221
掩码的全局块状自注意力机制的权重矩阵WQ2、WK2、WV2做点积运算，得到第二查询矩阵Q2、第二键矩阵K2和第二值矩阵V2。
步骤32′通过所述第二查询矩阵Q2、第二键矩阵K2计算天气特征对应的掩码的全局自注意力中间运算矩阵G2和含日期的拼接用电量对应的掩码的块状自注意力中间运算矩阵B2。
步骤322′从所述第二查询矩阵Q2中提取含日期的拼接用电量对应的向量分量
Figure BDA00041290746500001222
从所述第二键矩阵K2中提取含日期的拼接用电量对应的向量分量/>
Figure BDA00041290746500001223
对/>
Figure BDA00041290746500001224
和/>
Figure BDA00041290746500001225
采用块状自注意力机制进行计算，得到掩码块状自注意力中间运算矩阵B2，计算方式见式(5)和(6)。
本实施例中，还包括训练数据集的内容不同：
(1)获取历史的单日实际用电数据，所述单日实际用电数据包括单日实际用电量、单日天气信息和日期信息；
(2)根据所述单日天气信息，将所述单日实际用电量划分为受天气影响的单日用电量和不受天气影响的单日理想用电量，通过所述单日理想用电量为所述单日实际用电量预设单日人工期望用电量，得到(单日实际用电量，单日人工期望用电量)的映射；
其中，所述人工期望用电量为与单日企业运行状态相同、工作时间相近、日期信息(所处天、所处周、所处月和所处假期)相近的不受天气影响的单日理想用电量，该人工期望用电量更接近于期望用电量。
(3)将所述(单日实际用电量，单日人工期望用电量)映射、所述单日天气信息和所述日期信息组合为单组数据，将历史获取的所有单组数据构建成数据集，并将数据集划分为训练集、验证集、测试集，其中训练集、验证集、测试集的数据比例为8:1:1。
基于上述消除天气影响的企业用电量的预测模型，本发明还提供一种消除天气影响的企业用电量的预测系统，所述的预测系统包括处理器、存储器以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现消除天气影响的企业用电量的预测方法的步骤。
基于上述消除天气影响的企业用电量的预测模型，本发明还提供一种计算机可读存储介质：所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现消除天气影响的企业用电量的预测方法的步骤。
测试应用分析
请参阅图6和表1，采用含日期信息的数据集中测试集对本发明基于全局块状自注意力机制的预测方法进行检测，比较了基于逻辑回归的LR算法、LSTM算法的预测实验，详细情况如表1所示。
表1三种方法在某企业数据上的实验结果对比表
模型 平均幅值误差 均方误差
LR 2.109 7.193
LSTM 0.867 1.902
本发明方法 0.801 1.441
根据实验结果显示，本发明所提方法的整体幅值误差更小，其次是LSTM，最后是LR；在形状方面，在工作时间段LR最优，其次是本方法，最后是LSTM；由于LR在全体数据上建模，不能学习上下班时间，非工作时间段的预测结果较差，LSTM和本方法都可以对上下班时间进行学习，但在总体误差上，本方法优于LSTM。
请参阅图7，在具体实践中对某企业日电力负荷数据进行3个季度的跟踪预测，其中，蓝色折线反应该企业每日总用电量的真实情况，橙色折线呈现的是采用本发明的预测方法获得的不受天气影响的该企业每日总用电量期望值的情况。本发明的预测方法显示：在非工作时期，天气对企业的总用电量几乎没有影响，企业的总用电量真实值与期望值相匹配，说明本发明的预测方法的适配度高；在工作时期，企业工作模式不发生重大改变的情况下，企业用电量曲线的形状变化很小，企业用电量曲线的幅值提升说明天气对企业用电量具有较大的影响，进而说明根据企业真实的总用电量数据在消除天气影响的情况下预测期望的企业用电量，可提高企业用电量与企业产能的相关性，有利于简化企业用电量与企业产能之间的模型。
本发明通过使用端到端方法，提出了更适用于处理企业用电量数据的天气影响嵌入层WI Embedding和全局块状自注意力机制GB Attention搭建的模型来预测消除天气影响的企业用电量期望值，所提出的方法在较低的幅值及形状误差下，兼顾了分段式方法的优点，直观的获得消除天气影响的期望企业用电量数据，极大简化后续任务的模型复杂度。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，则本发明也意图含这些改动和变形。

Claims (10)

1.一种消除天气影响的企业用电量的预测方法，其特征在于，所述方法包括：
步骤10将输入的实际用电量数据转换成向量，得到实际用电量向量和天气因子向量，对所述实际用电量向量和天气因子向量进行向量拼接处理，得到含天气特征的实际用电量向量和含天气特征的拼接用电量向量；
步骤20对所述含天气特征的实际用电量向量进行全局块状自注意力机制处理，得到含自注意力表示的实际用电量特征向量；
步骤30对所述含天气特征的拼接用电量向量进行掩码的全局块状自注意力机制处理，得到含自注意力表示的拼接用电量特征向量；
步骤40对所述含自注意力表示的实际用电量特征向量和所述含自注意力表示的拼接用电量特征向量进行注意力机制处理，得到含注意力表示的期望用电量特征向量；
步骤50对所述含注意力表示的期望用电量特征向量进行全连接网络和卷积网络处理，提取期望用电量的特征，得到期望用电量。
2.根据权利要求1所述的预测方法，其特征在于，将步骤20中所述含天气特征的实际用电量向量分别与全局块状自注意力机制的权重矩阵WQ1和WK1做点积运算，得到第一查询矩阵和第一键矩阵，并通过所述第一查询矩阵、第一键矩阵计算天气特征对应的全局自注意力中间运算矩阵和实际用电量对应的块状自注意力中间运算矩阵。
3.根据权利要求1或2所述的预测方法，其特征在于，将步骤30中所述含天气特征的拼接用电量向量分别与掩码的全局块状自注意力机制的权重矩阵WQ2和WK2做点积运算，得到第二查询矩阵和第二键矩阵，并通过所述第二查询矩阵、第二键矩阵计算天气特征对应的掩码的全局自注意力中间运算矩阵和拼接用电量对应的掩码的块状自注意力中间运算矩阵。
4.根据权利要求1所述的预测方法，其特征在于，所述全局块状自注意力机制的全局自注意力中间运算矩阵G的计算方式为：
Figure FDA0004129074640000011
其中，
Figure FDA0004129074640000012
式中，Gij为全局自注意力中间运算矩阵G的第i行第j列，qi为q＝{q1，q2，...qn}上的第i位向量分量，kj为k＝{k1，k2，...kn}上的第j位向量分量，n为q的长度，gi为qi对应的全局自注意力机制范围，GS表示使用全局自注意力机制的向量分量的数量；
所述全局块状自注意力机制的块状自注意力中间运行矩阵B的计算方式为：
Figure FDA0004129074640000021
其中，
Figure FDA0004129074640000022
式中，Bij为块状自注意力中间运算矩阵B的第i行第j列，qi为q＝{q1，q2，...qn}上的第i位向量分量，kj为k＝{k1，k2，...kn}上的第j位向量分量，n为q的长度，bi为qi对应的块状自注意力机制范围，BS表示块状的边长大小。
5.根据权利要求4所述的预测方法，其特征在于，所述全局块状自注意力机制的注意力分布矩阵s通过所述全局自注意力中间运算矩阵G和所述块状自注意力中间运行矩阵B进行矩阵相加后再对相加后的矩阵的每一行进行softmax运算后获得，具体的为：
s＝softmax(G+B)
式中，G为全局自注意力中间运算矩阵，B为块状自注意力中间运算矩阵。
6.根据权利要求1所述的预测方法，其特征在于，所述天气因子向量由天气类别编码与温度编码拼接而成，其中所述温度编码的计算方式为：
Figure FDA0004129074640000023
式中，T是温度编码，Tmax是最大温度，Tmin是最小温度，Ti为当前温度。
7.根据权利要求1所述的预测方法，其特征在于，所述实际用电量数据还包括日期信息。
8.根据权利要求7所述的预测方法，其特征在于，所述日期信息包括所处天、所处周、所处月、所处年和所处假期，所述的所处天编码、所处周编码、所处月编码和所处假期编码的计算方式分别为：
D＝Di/7
W＝Wi/WY
M＝Mi/12
J＝Ji/JY
式中，D为所处天编码、Di为所处的第几周天，W为所处周编码、Wi为所处的第几周、WY为全年周数，M为所处月编码、Mi为所处的第几月，J为所处假期编码、Ji为所处的当年第几次法定假期、JY为全年的法定假期次数。
9.一种消除天气影响的企业用电量的预测装置，其特征在于，所述的预测装置包括：
输入单元，用于将输入的实际用电量数据转换成向量，得到实际用电量向量和天气因子向量，对所述实际用电量向量和天气因子向量进行向量拼接处理，得到含天气特征的实际用电量向量和含天气特征的拼接用电量向量；
第一特征提取单元，用于对所述含天气特征的实际用电量向量进行全局块状自注意力机制处理，得到含自注意力表示的实际用电量特征向量；
第二特征提取单元，用于对所述含天气特征的拼接用电量向量进行掩码的全局块状自注意力机制处理，得到含自注意力表示的拼接用电量特征向量；
第三特征提取单元，用于对所述含自注意力表示的实际用电量特征向量和所述含自注意力表示的拼接用电量特征向量进行注意力机制处理，得到含注意力表示的期望用电量特征向量；
输出单元,用于对所述含注意力表示的期望用电量特征向量进行全连接网络和卷积网络处理，提取期望用电量的特征，得到期望用电量。
10.一种消除天气影响的企业用电量的预测系统，其特征在于，所述的预测系统包括处理器、存储器以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如权利要求1至8任一项所述的预测方法的步骤。
CN202310254216.XA 2023-03-15 2023-03-15 一种消除天气影响的企业用电量的预测方法、装置及系统 Pending CN116307173A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310254216.XA CN116307173A (zh) 2023-03-15 2023-03-15 一种消除天气影响的企业用电量的预测方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310254216.XA CN116307173A (zh) 2023-03-15 2023-03-15 一种消除天气影响的企业用电量的预测方法、装置及系统

Publications (1)

Publication Number Publication Date
CN116307173A true CN116307173A (zh) 2023-06-23

Family

ID=86777523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310254216.XA Pending CN116307173A (zh) 2023-03-15 2023-03-15 一种消除天气影响的企业用电量的预测方法、装置及系统

Country Status (1)

Country Link
CN (1) CN116307173A (zh)

Similar Documents

Publication Publication Date Title
Ke et al. Short-term electrical load forecasting method based on stacked auto-encoding and GRU neural network
Tang et al. Short‐term power load forecasting based on multi‐layer bidirectional recurrent neural network
CN111027772B (zh) 基于pca-dbilstm的多因素短期负荷预测方法
CN111860982A (zh) 一种基于vmd-fcm-gru的风电场短期风电功率预测方法
CN110580543A (zh) 一种基于深度信念网络的电力负荷预测方法及系统
Lee Redefinition of the KMV model’s optimal default point based on genetic algorithms–Evidence from Taiwan
CN113128113B (zh) 一种基于深度学习和迁移学习的贫乏信息建筑负荷预测方法
Mohammad et al. Energy load forecasting model based on deep neural networks for smart grids
CN111079989B (zh) 一种基于dwt-pca-lstm的供水公司供水量预测装置
CN115688579B (zh) 一种基于生成对抗网络的流域多点水位预测预警方法
CN112819604A (zh) 基于融合神经网络特征挖掘的个人信用评估方法与系统
CN112418526A (zh) 基于改进深度信念网络的综合能源负荷控制方法及装置
CN115115125A (zh) 基于深度学习融合模型的光伏功率区间概率预测方法
Li et al. An adaptive hybrid fractal model for short-term load forecasting in power systems
CN112232570A (zh) 一种正向有功总电量预测方法、装置及可读存储介质
CN117113086A (zh) 一种储能机组负荷预测方法、系统、电子设备及介质
CN116404637A (zh) 电力系统短期负荷预测方法和电力系统短期负荷预测装置
CN116307173A (zh) 一种消除天气影响的企业用电量的预测方法、装置及系统
Zhu et al. Selection of criteria for multi-criteria decision making of reservoir flood control operation
CN115471009A (zh) 预测性优化的电力系统规划方法
CN115081551A (zh) 基于K-Means聚类和优化RVM线损模型建立方法及系统
CN115423091A (zh) 一种条件对抗神经网络训练方法、场景生成方法和系统
Yi et al. Tsformer: Time series transformer for tourism demand forecasting
CN113128754A (zh) 一种基于gru神经网络的居民用水预测系统及预测方法
Wang et al. Risk assessment of customer churn in telco using FCLCNN-LSTM model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination