CN116862080B - 一种基于双视角对比学习的碳排放预测方法及系统 - Google Patents

一种基于双视角对比学习的碳排放预测方法及系统 Download PDF

Info

Publication number
CN116862080B
CN116862080B CN202311132107.7A CN202311132107A CN116862080B CN 116862080 B CN116862080 B CN 116862080B CN 202311132107 A CN202311132107 A CN 202311132107A CN 116862080 B CN116862080 B CN 116862080B
Authority
CN
China
Prior art keywords
time sequence
power generation
learning
representing
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311132107.7A
Other languages
English (en)
Other versions
CN116862080A (zh
Inventor
李琮琮
荆臻
孟巍
张志�
王清
王平欣
郭腾炫
马俊
朱红霞
陈祉如
赵曦
曹彤
杜艳
张东宁
宗振国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Marketing Service Center of State Grid Shandong Electric Power Co Ltd
Original Assignee
Marketing Service Center of State Grid Shandong Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Marketing Service Center of State Grid Shandong Electric Power Co Ltd filed Critical Marketing Service Center of State Grid Shandong Electric Power Co Ltd
Priority to CN202311132107.7A priority Critical patent/CN116862080B/zh
Publication of CN116862080A publication Critical patent/CN116862080A/zh
Application granted granted Critical
Publication of CN116862080B publication Critical patent/CN116862080B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2123/00—Data types
    • G06F2123/02—Data types in the time domain, e.g. time-series data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Development Economics (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Probability & Statistics with Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明属于碳排放预测计算技术技术领域，具体涉及一种基于双视角对比学习的碳排放预测方法及系统，包括：获取不同能源发电数据的时序特征；基于所获取的时序特征，计算不同能源的权重，得到不同能源的上下文特征；根据所获取的上下文特征和碳排放预测模型，完成发电碳排放的预测；其中，在获取不同能源发电数据的时序特征的过程中，利用整个时间序列的特征来进行特征学习，得到全局时序特征，使用固定窗口内的序列信息进行特征学习，得到局部时序特征；即得到不同能源发电数据的两种窗口视角下的时序特征。本发明利用增强信息进行信息增强视角下的对比学习，以预训练‑微调方式构建碳排放预测模型，实现碳排放的精准预测。

Description

一种基于双视角对比学习的碳排放预测方法及系统
技术领域
本发明属于碳排放预测计算技术技术领域，具体涉及一种基于双视角对比学习的碳排放预测方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
基于人工智能技术的碳排放预测模型可以发电机构提供更准确的碳排放数据，从而帮助发电机构优化输电策略，并最终降低整体电网的碳排放。但是，这些基于人工智能技术的碳排放预测模型存在表示学习能力差、预测性能较弱以及对输入数据要求较高等问题，仍存在一定的可改进空间。
发明内容
为了解决上述问题，本发明提出了一种基于双视角对比学习的碳排放预测方法及系统，利用增强信息进行信息增强视角下的对比学习，以预训练-微调方式构建碳排放预测模型，实现碳排放的精准预测。
根据一些实施例，本发明的第一方案提供了一种基于双视角对比学习的碳排放预测方法，采用如下技术方案：
一种基于双视角对比学习的碳排放预测方法，包括：
获取不同能源发电数据的时序特征；
基于所获取的时序特征，计算不同能源的权重，得到不同能源的上下文特征；
根据所获取的上下文特征和碳排放预测模型，完成发电碳排放的预测；
其中，在获取不同能源发电数据的时序特征的过程中，利用整个时间序列的特征来进行特征学习，得到全局时序特征，使用固定窗口内的序列信息进行特征学习，得到局部时序特征；即得到不同能源发电数据的两种窗口视角下的时序特征。
作为进一步的技术限定，所述能源发电数据包括碳能源发电数据、水力发电数据、风力发电数据、光伏发电数据和生物质能发电数据。
作为进一步的技术限定，在融合局部时序特征和全局时序特征的过程中，通过矩阵形式所得到的全局时序特征与所述局部时序特征，得到全局时序特征矩阵和局部时序特征矩阵，对所得到的全局时序特征矩阵和局部时序特征矩阵求和，完成局部时序特征和全局时序特征的融合。
作为进一步的技术限定，根据得到的各类能源发电的时序特征，采用自注意力机制生成不同能源发电的权重，基于时序特征乘各类能源的权重得到上下文特征。
作为进一步的技术限定，在碳排放量预测的过程中采用深度学习模型作为预训练模型，所述预训练模型包括预训练阶段和微调训练阶段。
进一步的，所述预训练阶段进行全局-局部特征对比学习，所述微调训练阶段进行信息增强-无信息增强对比学习。
进一步的，在模型微调训练阶段，利用增强信息进行信息增强视角下的对比学习，提升非增强特征与增强特征之间表示的一致性，提升模型的特征表示能力。
根据一些实施例，本发明的第二方案提供了一种基于双视角对比学习的碳排放预测系统，采用如下技术方案：
一种基于双视角对比学习的碳排放预测系统，包括：
获取模块，其被配置为获取不同能源发电数据的时序特征；
计算模块，其被配置为基于所获取的时序特征，计算不同能源的权重，得到不同能源的上下文特征；
预测模块，其被配置为根据所获取的上下文特征和碳排放预测模型，完成发电碳排放的预测；
其中，在获取不同能源发电数据的时序特征的过程中，利用整个时间序列的特征来进行特征学习，得到全局时序特征，使用固定窗口内的序列信息进行特征学习，得到局部时序特征；即得到不同能源发电数据的两种窗口视角下的时序特征。
根据一些实施例，本发明的第三方案提供了一种计算机可读存储介质，采用如下技术方案：
一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方案所述的基于双视角对比学习的碳排放预测方法中的步骤。
根据一些实施例，本发明的第四方案提供了一种电子设备，采用如下技术方案：
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方案所述的基于双视角对比学习的碳排放预测方法中的步骤。
与现有技术相比，本发明的有益效果为：
本发明以预训练-微调方式构建碳排放预测模型，首先针对不同类别的电力数据进行预训练，学习不同能源电力数据的分布规律。在微调阶段，使用通用电力数据（包含各种能源电力数据）进行下游任务的训练，最终完成模型的构建；
针对不同类别能源的发电数据，使用CNN和Transformer网络提取用户用电数据的局部窗口时序特征（亦称局部时序特征）与全局窗口时序特征（亦称全局时序特征），然后使用基于窗口视角的对比学习方法提升两种特征的一致性，提升预测方法的特征表示能力；
在模型微调训练阶段，利用增强信息进行信息增强视角下的对比学习，提升非增强特征与增强特征之间的表示的一致性，提升模型的特征表示能力。
附图说明
构成本实施例的一部分的说明书附图用来提供对本实施例的进一步理解，本实施例的示意性实施例及其说明用于解释本实施例，并不构成对本实施例的不当限定。
图1为本发明实施例一中的基于双视角对比学习的碳排放预测方法的流程图；
图2为本发明实施例一中的碳排放预测模型的构建方法的整体流程图；
图3为本发明实施例一中的碳排放预测模型的预训练模块流程图；
图4为本发明实施例一中的碳排放预测模型的微调阶段训练模块流程图；
图5为本发明实施例二中的基于双视角对比学习的碳排放预测系统的结构框图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
本发明实施例一介绍了一种基于双视角对比学习的碳排放预测方法。
如图1所示的一种基于双视角对比学习的碳排放预测方法，包括：
获取不同能源发电数据的时序特征；
基于所获取的时序特征，计算不同能源的权重，得到不同能源的上下文特征；
根据所获取的上下文特征和碳排放预测模型，完成发电碳排放的预测；
其中，在获取不同能源发电数据的时序特征的过程中，利用整个时间序列的特征来进行特征学习，得到全局时序特征，使用固定窗口内的序列信息进行特征学习，得到局部时序特征；即得到不同能源发电数据的两种窗口视角下的时序特征。
在本实施例中，如图2所示的基于双视角对比学习的碳排放预测模型的构建方法，包括：
基于收集到的各类能源发电数据，主要包括碳能源发电数据、水力发电数据、风力发电数据/>、光伏发电数据/>和生物质能发电数据/>（其中，），其中，L表示序列长度，d表示不同能源数据的特征数目，/>表示实数集；分别利用一维卷积网络和Transformer-encoder进行特征表示学习，得到基于局部窗口视角下的时序特征/>和全局窗口下的时序特征/>；
根据所得到的各类能源发电的时序特征，采用自注意力机制（Self-Attention）生成不同能源发电的权重，结合时序特征与各类能源的权重得到上下文特征；
根据所得到的上下文特征和随机掩码矩阵，进行标签化处理；在进行微调阶段的训练过程中，通用电力数据/>经过Pre-trainedEncoder和Category-aware block得到不同发电模式下的电力数据的上下文信息/>；将所得到的上下文特征进行聚合后与原有的数据拼接，经过/>层得到矩阵/>；使用增强信息进行信息增强视角下的对比学习。
需要说明的是，所收集的能源发电数据为不同发电模式下（比如：火力发电、风力发电、水力发电等）的用户用电数据。
作为一种或多种实施方式，以碳能源发电数据为例，介绍得到局部时序特征和全局时序特征的具体过程：
采用一维卷积神经网络提取局部时序特征，一维卷积网络模块由个Convolution Block层堆叠而成，单个Convolution Block层的表示如下：
,/>
其中，表示一维卷积操作，/>张量对应元素相乘，∥表示拼接操作；x表示Nm函数的输入，是一个表示向量，\mu和\sigma^2分别表示向量的均值与方差，若Nm接受的输入是一个矩阵，则对矩阵的每一个行向量进行同样的操作；矩阵Cc表示卷积块输出的序列特征表示；矩阵Cfc表示全连接层输出的序列特征表示；卷积核/>，/>，/>，/>，/>表示单个全连接神经网络层，/>表示层归一化（Layer Normalization），其中/>和/>是全连接层偏差所属的空间的均值和方差，/>和/>分别代表缩放和平移的参数向量；k是卷积核的长度，也称作卷积网络的窗口大小，是卷积神经网络中的一个参数，表明在对当前向量进行表示学习是，要利用到该向量周围k个向量的信息，d表示初始数据的特征个数；/>表示h个随机初始化的偏差；/>表示全连接层的参数，由一个矩阵表示；/>表示全连接层偏差。
全局时序特征与局部时序特征是针对序列深度学习模型而言的，区别在于不同的模型在对某一时刻的数据进行表示学习时，采用全局或者局部窗口进行特征的表示学习。Transformer利用整个时间序列的特征来进行某一时刻特征的表示学习，故称为全局窗口下的时序特征；CNN使用固定窗口内的序列信息进行某一时刻特征的表示学习，故称为局部窗口视角下的表示学习。能源发电数据为原始数据，两种模型会使用不同的方法来对原始数据进行表示学习，从而得到两种窗口视角下的特征。
本实施例中的Transformer模型是一个基于多头自注意力的序列到序列模型，采用Transformer提取不同能源发电的特征，即：
,/>
其中， ，/> ，/> ，/>表示权重参数矩阵，/>表示SoftMax函数；Cd表示碳能源电力数据，MH表示多头自注意力机制，Nm与Lin分别表示层归一化函数与全连接层，TC表示Transformer学习到的表示。
融合局部时序特征和全局时序特征，并利用局部时序特征与全局时序特征进行窗口视角下的对比学习，具体的，通过矩阵形式所得到的全局时序特征与所述局部时序特征，得到全局时序特征矩阵和局部时序特征矩阵，对所得到的全局时序特征矩阵和局部时序特征矩阵求和，完成局部时序特征和全局时序特征的融合，即：
其中，和/>分别表示煤炭类发电数据的局部时序特征和全局时序特征，输出/>为煤炭类发电数据的时序特征；/>表示对卷积模块学习到的序列特征进行求和，得到向量rclocal；/>表示对Trandformer模块学习到的序列特征进行求和，得到向量tclocal；Npre表示预训练阶段，样本批次的大小，表示在预训练阶段中，一次会给模型送入Npre个序列样本进行训练；/>表示预训练过程中，全局-局部视角下的对比学习损失。
以同样的方式得到的水力发电电力数据的时序特征、风力发电电力数据的时序特征/>、光伏发电电力数据的时序特征/>、生物质电电力数据的时序特征/>，；/>、/>、/>、/>、/>则表示模型针对不同能源电力数据所计算出的窗口视角下的对比学习损失。
作为一种或多种实施方式，根据得到的各类能源发电的时序特征，采用自注意力机制（Self-Attention）生成不同能源发电的权重，然后时序特征乘各类能源的权重得到上下文特征，即：
。
其中代表权重参数矩阵；/>为五种能源数据的上下文表示向量，/>为碳能源上下文向量；s为注意力机制算出的权重分数。
作为一种或多种实施方式，如图3所示，以煤炭发电数据为例，标签化得到的，即：
其中，为标签化后的伪标签，用于自监督学习。
将带权重的上下文特征与原数据进行拼接，得到预测值；
使用均方误差损失函数作为煤炭电力数据的自监督损失，其他四种数据的自监督损失分别为/>；最终的自监督损失/>为不同发电模式下的损失函数之和,并使用/>作为模型在预训练阶段的损失，即：
作为一种或多种实施方式，如图4所示，在进行微调阶段的训练过程中，通用电力数据经过Pre-trained Encoder和Category-aware block得到不同发电模式下的电力数据的上下文信息/>。将五种上下文特征进行聚合后与原有的数据拼接，经过/>层得到矩阵/>；使用增强信息（即天气信息、输电线路的状态信息和储能元件的状态信息）进行信息增强视角下的对比学习；即：
其中， GPD、WI、WS、SE分别表示通用\混合能源发电数据，天气信息、线路状态信息、储能元件的状态信息；表示微调训练阶段的上下文信息； PDe和PDne分别表示融合增强信息后的表示与不使用增强信息的表示；fm为矩阵的相似度度量函数；L-ECL为信息增强视角下对比学习损失。
在下游预测任务（包括用户碳排放预测CEP、各类能源所产生的碳排放占比预测CSP、用户电力消耗预测ECP和各类能源所贡献的电力占比预测ESP）中进行模型微调阶段的训练,表示各任务损失；即：
其中， LCEP、LCSP、LECP、LESP计算方式均采用LTASK的方式； Lfine-tune为微调训练阶段的损失。
为验证模型的性能，将本实例提出的方法与9个基线方法进行对比，实验结果如表1、表2所示。
表1 不同预测方法在碳排放预测任务中的结果
表2 不同预测方法在电力消耗预测任务中的结果
实验结果表明，实例提出的方法优于其他基线的方法。因为使用了预训练充分学习不同发电模式下电力数据的局部和全局时序特征，通过自监督学习挖掘不同发电模式下的潜在知识，从而提升了模型的性能。
本实施例以预训练-微调方式构建碳排放预测模型，首先针对不同类别的电力数据进行预训练，学习不同能源电力数据的分布规律。在微调阶段，使用通用电力数据（包含各种能源电力数据）进行下游任务的训练，最终完成模型的构建；针对不同类别能源的发电数据，使用CNN和Transformer网络提取用户用电数据的局部窗口时序特征（亦称局部时序特征）与全局窗口时序特征（亦称全局时序特征），然后使用基于窗口视角的对比学习方法提升两种特征的一致性，提升预测方法的特征表示能力；在模型微调训练阶段，利用增强信息进行信息增强视角下的对比学习，提升非增强特征与增强特征之间的表示的一致性，提升模型的特征表示能力。
实施例二
本发明实施例二介绍了一种基于双视角对比学习的碳排放预测系统。
如图5所示的一种基于双视角对比学习的碳排放预测系统，包括：
获取模块，其被配置为获取不同能源发电数据的时序特征；
计算模块，其被配置为基于所获取的时序特征，计算不同能源的权重，得到不同能源的上下文特征；
预测模块，其被配置为根据所获取的上下文特征和碳排放预测模型，完成发电碳排放的预测；
其中，在获取不同能源发电数据的时序特征的过程中，利用整个时间序列的特征来进行特征学习，得到全局时序特征，使用固定窗口内的序列信息进行特征学习，得到局部时序特征；即得到不同能源发电数据的两种窗口视角下的时序特征。
详细步骤与实施例一提供的基于双视角对比学习的碳排放预测方法相同，在此不再赘述。
实施例三
本发明实施例三提供了一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明实施例一所述的基于双视角对比学习的碳排放预测方法中的步骤。
详细步骤与实施例一提供的基于双视角对比学习的碳排放预测方法相同，在此不再赘述。
实施例四
本发明实施例四提供了一种电子设备。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明实施例一所述的基于双视角对比学习的碳排放预测方法中的步骤。
详细步骤与实施例一提供的基于双视角对比学习的碳排放预测方法相同，在此不再赘述。
以上所述仅为本实施例的优选实施例而已，并不用于限制本实施例，对于本领域的技术人员来说，本实施例可以有各种更改和变化。凡在本实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实施例的保护范围之内。

Claims (10)

1.一种基于双视角对比学习的碳排放预测方法，其特征在于，包括：
获取不同能源发电数据的时序特征；
基于所获取的时序特征，计算不同能源的权重，得到不同能源的上下文特征；
根据所获取的上下文特征和碳排放预测模型，完成发电碳排放的预测;
其中，在获取不同能源发电数据的时序特征的过程中，利用整个时间序列的特征来进行特征学习，得到全局时序特征，使用固定窗口内的序列信息进行特征学习，得到局部时序特征；即得到不同能源发电数据的两种窗口视角下的时序特征；
所述的时序特征是由收集到的各类能源发电数据利用一维卷积网络和Transformer-encoder进行特征表示学习得到的；
所述的不同能源的权重是各类能源发电的时序特征采用自注意力机制生成得到的；
所述的上下文特征是时序特征乘各类能源的权重的结果；
所述的全局时序特征是指Transformer利用整个时间序列的特征来进行某一时刻特征的表示学习；
所述的局部时序特征是指CNN使用固定窗口内的序列信息进行某一时刻特征的表示学习；
所述的一维卷积网络由个Convolution Block层堆叠而成，单个Convolution Block层的表示如下：
,/>
其中，表示一维卷积操作，/>张量对应元素相乘，||表示拼接操作；x表示Nm函数的输入，是一个表示向量，μ和/>分别表示向量的均值与方差，若Nm接受的输入是一个矩阵，则对矩阵的每一个行向量进行同样的操作；矩阵Cc表示卷积块输出的序列特征表示；矩阵Cfc表示全连接层输出的序列特征表示；卷积核/>，，/>，/>，/>表示单个全连接神经网络层，表示层归一化（Layer Normalization），其中/>和/>是全连接层偏差所属的空间的均值和方差，/>和/>分别代表缩放和平移的参数向量；k是卷积核的长度，也称作卷积网络的窗口大小，是卷积神经网络中的一个参数，表明在对当前向量进行表示学习是，要利用到该向量周围k个向量的信息，d表示初始数据的特征个数；/>表示h个随机初始化的偏差；/>表示全连接层的参数，由一个矩阵表示；/>表示全连接层偏差；
所述的Transformer模型是一个基于多头自注意力的序列到序列模型，采用Transformer提取不同能源发电的特征，即：
, />
其中， ，/> ，/> ，/>表示权重参数矩阵，/>表示SoftMax函数；Cd表示碳能源电力数据，MH表示多头自注意力机制，Nm与Lin分别表示层归一化函数与全连接层，TC表示Transformer学习到的表示。
2.如权利要求1中所述的一种基于双视角对比学习的碳排放预测方法，其特征在于，所述能源发电数据包括碳能源发电数据、水力发电数据、风力发电数据、光伏发电数据和生物质能发电数据。
3.如权利要求1中所述的一种基于双视角对比学习的碳排放预测方法，其特征在于，在融合局部时序特征和全局时序特征的过程中，通过矩阵形式所得到的全局时序特征与所述局部时序特征，得到全局时序特征矩阵和局部时序特征矩阵，对所得到的全局时序特征矩阵和局部时序特征矩阵求和，完成局部时序特征和全局时序特征的融合。
4.如权利要求1中所述的一种基于双视角对比学习的碳排放预测方法，其特征在于，根据得到的各类能源发电的时序特征，采用自注意力机制生成不同能源发电的权重，基于时序特征乘各类能源的权重得到上下文特征。
5.如权利要求1中所述的一种基于双视角对比学习的碳排放预测方法，其特征在于，在碳排放量预测的过程中采用深度学习模型作为预训练模型，所述预训练模型包括预训练阶段和微调训练阶段。
6.如权利要求5中所述的一种基于双视角对比学习的碳排放预测方法，其特征在于，所述预训练阶段进行全局-局部特征对比学习，所述微调训练阶段进行信息增强-无信息增强对比学习。
7.如权利要求6中所述的一种基于双视角对比学习的碳排放预测方法，其特征在于，在模型微调训练阶段，利用增强信息进行信息增强视角下的对比学习，提升非增强特征与增强特征之间表示的一致性，提升模型的特征表示能力。
8.一种基于双视角对比学习的碳排放预测系统，其特征在于，包括：
获取模块，其被配置为获取不同能源发电数据的时序特征；
计算模块，其被配置为基于所获取的时序特征，计算不同能源的权重，得到不同能源的上下文特征；
预测模块，其被配置为根据所获取的上下文特征和碳排放预测模型，完成发电碳排放的预测；
其中，在获取不同能源发电数据的时序特征的过程中，利用整个时间序列的特征来进行特征学习，得到全局时序特征，使用固定窗口内的序列信息进行特征学习，得到局部时序特征；即得到不同能源发电数据的两种窗口视角下的时序特征；
所述的时序特征是由收集到的各类能源发电数据利用一维卷积网络和Transformer-encoder进行特征表示学习得到的；
所述的不同能源的权重是各类能源发电的时序特征采用自注意力机制生成得到的；
所述的上下文特征是时序特征乘各类能源的权重的结果；
所述的全局时序特征是指Transformer利用整个时间序列的特征来进行某一时刻特征的表示学习；
所述的局部时序特征是指CNN使用固定窗口内的序列信息进行某一时刻特征的表示学习；
所述的一维卷积网络由个Convolution Block层堆叠而成，单个Convolution Block层的表示如下：
,/>
其中，表示一维卷积操作，/>张量对应元素相乘，||表示拼接操作；x表示Nm函数的输入，是一个表示向量，μ和/>分别表示向量的均值与方差，若Nm接受的输入是一个矩阵，则对矩阵的每一个行向量进行同样的操作；矩阵Cc表示卷积块输出的序列特征表示；矩阵Cfc表示全连接层输出的序列特征表示；卷积核/>，，/>，/>，/>表示单个全连接神经网络层，表示层归一化（Layer Normalization），其中/>和/>是全连接层偏差所属的空间的均值和方差，/>和/>分别代表缩放和平移的参数向量；k是卷积核的长度，也称作卷积网络的窗口大小，是卷积神经网络中的一个参数，表明在对当前向量进行表示学习是，要利用到该向量周围k个向量的信息，d表示初始数据的特征个数；/>表示h个随机初始化的偏差；/>表示全连接层的参数，由一个矩阵表示；/>表示全连接层偏差；
所述的Transformer模型是一个基于多头自注意力的序列到序列模型，采用Transformer提取不同能源发电的特征，即：
, />
其中， ，/> ，/> ，/>表示权重参数矩阵，/>表示SoftMax函数；Cd表示碳能源电力数据，MH表示多头自注意力机制，Nm与Lin分别表示层归一化函数与全连接层，TC表示Transformer学习到的表示。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现了如权利要求1-7任一项所述的基于双视角对比学习的碳排放预测方法的步骤。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现了如权利要求1-7任一项所述的基于双视角对比学习的碳排放预测方法的步骤。
CN202311132107.7A 2023-09-05 2023-09-05 一种基于双视角对比学习的碳排放预测方法及系统 Active CN116862080B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311132107.7A CN116862080B (zh) 2023-09-05 2023-09-05 一种基于双视角对比学习的碳排放预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311132107.7A CN116862080B (zh) 2023-09-05 2023-09-05 一种基于双视角对比学习的碳排放预测方法及系统

Publications (2)

Publication Number Publication Date
CN116862080A CN116862080A (zh) 2023-10-10
CN116862080B true CN116862080B (zh) 2024-02-09

Family

ID=88229024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311132107.7A Active CN116862080B (zh) 2023-09-05 2023-09-05 一种基于双视角对比学习的碳排放预测方法及系统

Country Status (1)

Country Link
CN (1) CN116862080B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117788218A (zh) * 2024-02-23 2024-03-29 浙电(宁波北仑)智慧能源有限公司 一种碳排放评估方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115526296A (zh) * 2022-10-12 2022-12-27 广东工业大学 一种基于深度学习的碳排放预测方法
CN116108983A (zh) * 2023-01-09 2023-05-12 湖南大学 基于协同时空卷积网络的城市碳排放预测方法和设备
WO2023090128A1 (ja) * 2021-11-16 2023-05-25 パナソニックＩｐマネジメント株式会社 排出権管理システム、及び、排出権管理方法
CN116187197A (zh) * 2023-03-13 2023-05-30 南京航空航天大学 一种融合数据增强和深度学习的时间序列预测方法
CN116684133A (zh) * 2023-06-01 2023-09-01 江苏大学 基于双层注意力和时空特征并行融合的sdn网络异常流量分类装置及方法
CN116757369A (zh) * 2023-08-22 2023-09-15 国网山东省电力公司营销服务中心(计量中心) 一种基于注意力机制的碳排放分析方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11398000B2 (en) * 2019-05-20 2022-07-26 Singularity Energy, Inc. Methods and systems for machine-learning for prediction of grid carbon emissions

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023090128A1 (ja) * 2021-11-16 2023-05-25 パナソニックＩｐマネジメント株式会社 排出権管理システム、及び、排出権管理方法
CN115526296A (zh) * 2022-10-12 2022-12-27 广东工业大学 一种基于深度学习的碳排放预测方法
CN116108983A (zh) * 2023-01-09 2023-05-12 湖南大学 基于协同时空卷积网络的城市碳排放预测方法和设备
CN116187197A (zh) * 2023-03-13 2023-05-30 南京航空航天大学 一种融合数据增强和深度学习的时间序列预测方法
CN116684133A (zh) * 2023-06-01 2023-09-01 江苏大学 基于双层注意力和时空特征并行融合的sdn网络异常流量分类装置及方法
CN116757369A (zh) * 2023-08-22 2023-09-15 国网山东省电力公司营销服务中心(计量中心) 一种基于注意力机制的碳排放分析方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
中国火电企业碳排放测算及预测分析;米国芳;赵涛;;资源科学(10);1825-1831 *

Also Published As

Publication number Publication date
CN116862080A (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
Shamshirband et al. A survey of deep learning techniques: application in wind and solar energy resources
Pei et al. Data augmentation for rolling bearing fault diagnosis using an enhanced few-shot Wasserstein auto-encoder with meta-learning
CN116862080B (zh) 一种基于双视角对比学习的碳排放预测方法及系统
CN113486190B (zh) 一种融合实体图像信息和实体类别信息的多模态知识表示方法
Qian et al. An intelligent fault diagnosis method for rolling bearings based on feature transfer with improved DenseNet and joint distribution adaptation
CN113780002A (zh) 基于图表示学习和深度强化学习的知识推理方法及装置
CN111723930A (zh) 一种应用群智监督学习方法的系统
Zhang et al. Application of hybrid model based on CEEMDAN, SVD, PSO to wind energy prediction
CN113361803A (zh) 基于生成对抗网络的超短期光伏功率预测方法
Jin et al. Dual low-rank multimodal fusion
CN116757369B (zh) 一种基于注意力机制的碳排放分析方法及系统
Antonova et al. Analytic manifold learning: Unifying and evaluating representations for continuous control
CN117197632A (zh) 一种基于Transformer的电镜花粉图像目标检测方法
CN116342978A (zh) 目标检测网络训练及目标检测方法、装置、电子设备
CN116030537A (zh) 基于多分支注意力图卷积的三维人体姿态估计方法
Qian et al. Deep learning for a low-data drug design system
Zhang et al. Digital twin empowered PV power prediction
CN114880527A (zh) 一种基于多预测任务的多模态知识图谱表示方法
CN111967577B (zh) 一种基于变分自编码器的能源互联网场景生成方法
CN113536508A (zh) 一种制造网络节点分类方法及系统
Yuan et al. R\'enyi State Entropy for Exploration Acceleration in Reinforcement Learning
Zhao et al. Multi-Modal Cross-Attention Learning on Detecting Anomalies of Electrical Equipment
CN117391646B (zh) 一种协同创新管理系统
AU2021105155A4 (en) Task-based sampling network for Point Cloud Classification
CN116226434B (zh) 一种多元异构模型训练及应用方法、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant