CN116757369A - 一种基于注意力机制的碳排放分析方法及系统 - Google Patents
一种基于注意力机制的碳排放分析方法及系统 Download PDFInfo
- Publication number
- CN116757369A CN116757369A CN202311055416.9A CN202311055416A CN116757369A CN 116757369 A CN116757369 A CN 116757369A CN 202311055416 A CN202311055416 A CN 202311055416A CN 116757369 A CN116757369 A CN 116757369A
- Authority
- CN
- China
- Prior art keywords
- time sequence
- power generation
- prediction
- energy
- sequence feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 title claims abstract description 68
- 229910052799 carbon Inorganic materials 0.000 title claims abstract description 68
- 230000007246 mechanism Effects 0.000 title claims abstract description 43
- 238000004458 analytical method Methods 0.000 title claims abstract description 17
- 238000010248 power generation Methods 0.000 claims abstract description 92
- 239000013598 vector Substances 0.000 claims abstract description 58
- 238000012549 training Methods 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000005265 energy consumption Methods 0.000 claims abstract description 20
- 230000004927 fusion Effects 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 230000005611 electricity Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 abstract description 12
- 239000004973 liquid crystal related substance Substances 0.000 description 18
- 239000011159 matrix material Substances 0.000 description 11
- 239000003245 coal Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000005206 flow analysis Methods 0.000 description 4
- 239000002028 Biomass Substances 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- ZZUFCTLCJUWOSV-UHFFFAOYSA-N furosemide Chemical compound C1=C(Cl)C(S(=O)(=O)N)=CC(C(O)=O)=C1NCC1=CC=CO1 ZZUFCTLCJUWOSV-UHFFFAOYSA-N 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Entrepreneurship & Innovation (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Marketing (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Primary Health Care (AREA)
- Water Supply & Treatment (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明属于碳排放计算技术领域，具体公开了一种基于注意力机制的碳排放分析方法及系统，方法包括：基于各类能源发电数据，分别得到每一类能源发电的局部时序特征向量和全局时序特征向量；通过特征融合得到对应能源发电的时序特征；基于各类能源的上下文特征进行自监督学习，得到预训练的基础模型；基于不同的训练数据集对基础模型进行训练，得到对应的训练好的下游任务模型；获取不同能源发电的电力数据，利用训练好的下游任务模型，完成下游任务预测；本发明基于同一个基础模型，通过不同训练数据集的训练，能够实现碳排放预测、能源消耗预测和各类能源占比预测，从而实现发电模式自感知。
Description
技术领域
本发明涉及碳排放计算技术领域，尤其涉及一种基于注意力机制的碳排放分析方法及系统。
背景技术
近年来，电力系统逐渐成为碳排放的主要来源，目前对电力系统的碳排放计算主要包括宏观统计法和碳流分析法。
宏观统计法从宏观数据出发，统计一段时间内的能源消耗总量，由于计算简单、使用方便等优点，因此被广泛应用于较长时间跨度的碳排放计算。但其提供的计算结果不能及时反馈且宏观计算较为粗略，无法细致描述指标的变化过程，导致无法精确地追踪碳排放的流向。碳流分析法是一种基于功率分布的碳流追踪方法，确定电网中的功率分布，与碳排放强度相结合，然后将碳排放平摊到各个节点、支路和损耗上，从而实现碳排放流向的追踪溯源。虽然碳流分析法经过了多年的发展和完善，但仍有一定的改进空间。
首先，一部分碳流方法在面对有损网络时会产生较大的计算误差，现有的碳流计算方法容易出现分摊不均的情况；其次，大部分碳流分析法本质上属于静态，未能考虑负荷、新能源波动以及不定因素产生的额外碳排放计算。
发明内容
为了解决上述问题，本发明提出了一种基于注意力机制的碳排放分析方法及系统，基于各类能源发电数据，通过自监督学习方式实现对基础模型的预训练，然后通过不同的训练数据集训练得到不同的下游任务模型，实现对下游任务的预测。
在一些实施方式中，采用如下技术方案：
一种基于注意力机制的碳排放分析方法，包括：
基于各类能源发电数据，分别得到每一类能源发电的局部时序特征向量和全局时序特征向量；
对每一类能源发电的局部时序特征向量和全局时序特征向量进行融合，得到对应能源发电的时序特征；
利用得到的时序特征经过自注意力机制获得各类能源的权重分数，然后与各类能源发电的时序特征相乘，输出各类能源的上下文特征；基于上下文特征进行自监督学习，得到预训练的基础模型；
基于不同的训练数据集对基础模型进行训练，得到对应的训练好的下游任务模型；获取不同能源发电的电力数据，利用训练好的下游任务模型，完成下游任务预测；所述下游任务预测至少包括碳排放预测。
所述下游任务预测还包括：能源消耗预测或各类能源占比预测。
作为进一步的方案，所述各类能源发电数据，具体包括：
基于碳能源发电数据、基于水力发电数据、基于风力发电数据、基于光伏发电数据和基于生物质能发电数据。
作为进一步的方案，得到各类能源发电的时序特征，具体过程为：
利用卷积神经网络和注意力机制分别进行特征表示学习，得到每一类能源发电数据基于局部窗口视角下的时序特征表示和基于全局窗口视角下的时序特征表示；
通过窗口注意力机制分别得到每一类能源发电数据的局部时序特征向量和全局时序特征向量；
将每一类能源发电数据的局部时序特征向量和全局时序特征向量进行融合，经过门控机制和归一化，得到每一类能源发电数据的时序特征。
作为进一步的方案，基于不同的训练数据集对基础模型进行训练，得到训练好的下游任务模型，所述下游任务模型为碳排放预测模型、能源消耗预测模型或者能源占比预测模型；
对于碳排放预测模型，训练数据集为用户实际的碳排放量；对于能源消耗预测模型，训练数据集为用户用电的能源消耗；对于能源占比预测模型，训练数据集为各类能源的占比。
作为进一步的方案，利用得到的时序特征经过自注意力机制获得各类能源的权重分数，具体过程为：
对于时序特征向量，分别乘系数矩阵得到查询向量和查询关键字，计算输入向量之间的相关性，然后通过softmax操作得到各类能源的权重分数。
在另一些实施方式中，采用如下技术方案：
一种基于注意力机制的碳排放分析系统，包括：
时序特征提取模块，用于基于各类能源发电数据，分别得到每一类能源发电的局部时序特征向量和全局时序特征向量；
时序特征融合模块，用于对每一类能源发电的局部时序特征向量和全局时序特征向量进行融合，得到对应能源发电的时序特征；
基础模型训练模块，用于利用得到的时序特征经过自注意力机制获得各类能源的权重分数，然后与各类能源发电的时序特征相乘，输出各类能源的上下文特征；基于上下文特征进行自监督学习，得到预训练的基础模型；
下游任务预测模块，用于基于不同的训练数据集对基础模型进行训练，得到对应的训练好的下游任务模型；获取不同能源发电的电力数据，利用训练好的下游任务模型，完成下游任务预测；所述下游任务预测至少包括碳排放预测。
所述下游任务预测还包括：能源消耗预测或各类能源占比预测。
基于不同的训练数据集对基础模型进行训练，得到训练好的下游任务模型，所述下游任务模型为碳排放预测模型、能源消耗预测模型或者能源占比预测模型；
对于碳排放预测模型，训练数据集为用户实际的碳排放量；对于能源消耗预测模型，训练数据集为用户用电的能源消耗；对于能源占比预测模型，训练数据集为各类能源的占比。
与现有技术相比，本发明的有益效果是：
（1）本发明以各类能源发电数据为基础，为了能够更好地捕获各类能源的时序特征，采用卷积神经网络和Transformer相结合，然后通过窗口注意力机制，得到局部和全局上的时序特征，然后经过特征融合和门控机制获得各类能源发电的时序特征。
（2）本发明利用时序特征和自注意力机制生成各类能源发电权重分数；然后将权重和时序特征相乘，得到各类能源发电的上下文特征，然后进行自监督学习；得到预训练的基础模型；在基础模型的计算上，基于不同的下游任务，选择不同的训练数据集对基础模型进行训练，得到相应下游任务预测模型。采用这种方法不需要对下游任务重新训练模型，减少了训练时间和计算资源的消耗。
（3）本发明基于同一个基础模型，通过不同训练数据集的训练，能够实现碳排放预测、能源消耗预测和各类能源占比预测，从而实现发电模式自感知。
本发明的其他特征和附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本方面的实践了解到。
附图说明
图1为本发明实施例中基于注意力机制的碳排放分析方法过程示意图；
图2为本发明实施例中基础模型的预训练过程示意图；
图3为本发明实施例中基础模型的自监督训练过程示意图；
图4为本发明实施例中基础模型的下游任务预测示意图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
在一个或多个实施方式中，公开了一种基于注意力机制的碳排放分析方法, 结合图1，具体过程包括：
步骤（1）：基于各类能源发电数据，分别得到不同能源发电的局部时序特征向量和全局时序特征向量；
步骤（2）：对局部时序特征向量和全局时序特征向量进行融合，得到各类能源发电的时序特征。
对于上述步骤（1）和步骤（2），具体说明如下：
本实施例中，基于各类能源发电数据，同时采用卷积神经网络（ConvolutionalNeural Network，CNN）和Transformer相结合的方法，进行局部/全局特征学习，得到局部和全局的特征，然后采用窗口注意力机制（Window Attention）来挖掘特征之间更深层次的联系，得到局部和全局上的时序特征。
具体地，结合图2，各类能源发电数据，主要包括基于碳能源发电数据、基于水力发电数据、基于风力发电数据、基于光伏发电数据和基于生物质能发电数据，分别表示为。其中L表示数据长度，d表示维度。
本实施例中，五类能源发电数据，分别经过编码器#1、编码器#2、编码器#3、编码器#4和编码器#5；在每一个编码器中，分别利用一维卷积网络和注意力机制进行特征表示学习，得到基于局部窗口视角下的时序特征表示和全局窗口下的时序特征表示。然后采用局部-全局窗口注意力机制得到全局时序特征和局部时序特征，两种时序特征拼接后经过特征融合和门控机制去除冗余部分，最后经过归一化得到各类能源的发电数据的时序特征。
以基于碳能源发电数据的时序特征为例，基于碳能源发电数据经过编码器#1处理，需要经过如下过程：
①对基于碳能源发电数据，采用一维卷积神经网络提取局部时序特征表示，一维卷积网络模块由个卷积块层堆叠而成，单个卷积块层包括依次连接的一维卷积层、全连接层和层归一化；单个卷积块层的表示如下：
其中，表示一维卷积操作，∥表示拼接操作，卷积核/>，偏置/>；全连接层权重系数/>，偏置/>，表示单个全连接神经网络层，/>表示层归一化操作，/>、/>表示经过一维卷积层和全连接层后的中间量。
为了缓解梯度爆炸或消失，使用层归一化操作，层归一化定义为：
其中，假设x表示层归一化的输入，和/>是其均值和方差，/>是一个很小的数，防止除零。/>和/>分别代表缩放和平移的参数向量，和x维数相同。
②采用注意力机制获取基于碳能源发电数据的全局时序特征表示；
注意力模型（Transformer blocks）是一个基于多头自注意力的序列到序列模型，采用注意力模型提取不同能源发电的特征：
其中，表示权重参数矩阵，/>表示提取煤炭发电电力数据的查询向量，/>表示其关键字，/>表示对应值，/>表示向量维度。表示多头注意力机制的公式。
基于上述得到的局部时序特征表示和全局时序特征表示/>，采用局部-全局窗口注意力机制，充分学习得到局部时序特征和全局时序特征，然后经过特征融合和门控机制，去除冗余部分，经过归一化得到基于碳能源发电数据的时序特征。
具体地，首先将局部时序特征表示作为查询向量，通过注意力机制得到局部时序特征表示/>，并将所有行向量进行求和得到局部时序特征向量/>。
其中，表示权重参数向量，/>表示以局部时序特征表示/>作为查询向量，/>表示其关键字，/>表示对应值，/>表示向量维度，/>表示时序特征长度。
然后将全局时序特征表示作为查询向量，通过注意力机制得到全局时序特征矩阵/>，在矩阵第0维求和得到全局时序特征向量/>。
其中，表示权重参数矩阵，/>表示以全局时序特征表示作为查询向量，/>表示其关键字，/>表示对应值。
将局部时序特征向量和全局时序特征向量/>进行融合，得到基于碳能源发电数据的时序特征。具体融合过程如下：
其中，，*表示矩阵对应位置相乘，/>和/>分别表示煤炭发电类电力数据的局部时序特征向量和全局时序特征向量，输出/>为煤炭发电类电力数据的时序特征。
其余四类能源发电数据，分别经过编码器#2-编码器#5，按照与上述同样的方式，分别得到的水力发电电力数据的时序特征、风力发电电力数据的时序特征/>、光伏发电电力数据的时序特征/>和生物质电电力数据的时序特征/>；，为五种能源电力数据时序特征拼接后总数据的时序特征。
编码器#2-编码器#5的数据处理过程与编码器#1相同，不再赘述。
步骤（3）：本实施例中，基于图2中得到的各类能源发电的时序特征，采用类别感知模块中的能源类别感知自注意力机制（Self-Attention）获得各类能源的权重分配（注意力分数），然后与各类能源发电的时序特征相乘，输出各类能源的上下文特征，具体为：
。
其中，代表权重参数矩阵,TF表示五种电力数据时序特征拼接，/>表示以TF作为查询向量，/>表示查询关键字，/>表示向量维度，/>为不同发电模式下的电力数据分配权重，/>为权重中间量，/>为中间量的第/>列。
步骤（4）：基于上下文特征和原各类能源发电数据，利用自监督学习模块进行自监督学习，得到预训练的基础模型。
本实施例中，自监督学习模块的数据处理过程如图3所示，基于步骤（3）中得到的上下文特征，使用一个随机掩码矩阵（Labeling），将其与原矩阵(原能源发电数据)相乘进行标签化。
每一类能源发电数据对应一个自监督任务，以煤炭发电类电力数据为例，其自监督任务过程如下：
基于原碳能源发电数据和随机掩码矩阵/>，经过标签化得到/>。
将带权重的碳能源上下文特征与原矩阵数据（基于碳能源发电数据）进行拼接，为了使拼接后的维度与保持一致，让拼接后的数据经过FCLayer（全连接层），得到预测值:
其中，表示煤炭发电类电力数据的上下文特征，/>表示单个全连接神经网络层。
使用均方误差损失函数作为煤炭发电类电力数据的自监督损失；其他四类能源数据的自监督任务过程与上述过程相同，得到自监督损失分别为/>。
最终的自监督损失为不同发电模式下的均方差损失函数之和。
其中，表示标签实际值，/>表示标签预测值，L表示标签长度，d表示标签维度。
利用最终的自监督损失，即不同发电模式下的均方差损失函数之和，通过反向传播算法训练基础模型的参数，训练完成后，对预训练参数冻结，得到训练好的基础模型。
（5）基于不同的训练数据集对基础模型进行训练，得到训练好的下游任务模型；
具体地，对于碳排放预测模型，训练数据集为用户实际的碳排放量；对于能源消耗预测模型，训练数据集为用户用电的能源消耗；对于能源占比预测模型，训练数据集为各类能源的占比。
（6）获取不同能源发电的电力数据，利用训练好的下游任务模型，完成下游任务预测；所述下游任务预测至少包括碳排放预测、能源消耗预测和各类能源占比预测。
本实施例中，如图4所示，在进行任务预测过程中，不同发电模式下的电力数据（即不同能源发电的电力数据）经过预训练的编码器#1—编码器#5（Pre-trained Encoder）和预训练的类别感知模块（Category-aware block）得到不同发电模式下的电力数据的上下文信息/>。将五种上下文特征进行聚合后与原有的电力数据拼接，经过全连接层得到矩阵/>，为学习数据得到的中间表示向量。
然后分别对下一阶段的碳排放、电力消耗和各类能源发电量占比进行预测。
碳排放、电力消耗和各类能源发电量占比预测任务的输出分别为、和/>。
在模型训练过程中的损失仍然采用均方误差损失，然后对损失进行微调。
其中，和/>表示碳排放预测模型中实际标签值和预测标签值；/>和/>表示电力消耗预测模型中实际标签值和预测标签值；/>和/>表示能源占比预测模型中实际标签值和预测标签值。
为了验证本实施例基于基础模型训练得到的下游任务预测模型的性能，将本实例提出的方法与9个基线方法进行对比，实验结果如表1所示。实验结果表明，本实例提出的方法优于其他基线的方法。因为使用了预训练充分学习不同发电模式下电力数据的局部和全局时序特征，通过自监督学习挖掘不同发电模式下的潜在知识，从而提升了模型的性能。
表1 不同预测方法结果的比较
实施例二
在一个或多个实施方式中，公开了一种基于注意力机制的碳排放分析系统，包括：
时序特征提取模块，用于基于各类能源发电数据，分别得到不同能源发电的局部时序特征向量和全局时序特征向量；
时序特征融合模块，用于对局部时序特征向量和全局时序特征向量进行融合，得到各类能源发电的时序特征；
基础模型训练模块，用于利用得到的时序特征经过自注意力机制获得各类能源的权重分数，然后与各类能源发电的时序特征相乘，输出各类能源的上下文特征；基于上下文特征进行自监督学习，得到预训练的基础模型；
下游任务预测模块，用于基于不同的训练数据集对基础模型进行训练，得到训练好的下游任务模型；获取不同能源发电的电力数据，利用训练好的下游任务模型，完成下游任务预测；所述下游任务预测至少包括碳排放预测、能源消耗预测和各类能源占比预测。
需要说明的是，上述各模块的具体实现方式与实施例一中相同，不再详述。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (8)
1.一种基于注意力机制的碳排放分析方法，其特征在于，包括：
基于各类能源发电数据，分别得到每一类能源发电的局部时序特征向量和全局时序特征向量；
对每一类能源发电的局部时序特征向量和全局时序特征向量进行融合，得到对应能源发电的时序特征；
利用得到的时序特征经过自注意力机制获得各类能源的权重分数，然后与各类能源发电的时序特征相乘，输出各类能源的上下文特征；基于上下文特征进行自监督学习，得到预训练的基础模型；
基于不同的训练数据集对基础模型进行训练，得到对应的训练好的下游任务模型；获取不同能源发电的电力数据，利用训练好的下游任务模型，完成下游任务预测；所述下游任务预测至少包括碳排放预测。
2.如权利要求1所述的一种基于注意力机制的碳排放分析方法，其特征在于，所述下游任务预测还包括：能源消耗预测或各类能源占比预测。
3.如权利要求1所述的一种基于注意力机制的碳排放分析方法，其特征在于，所述各类能源发电数据，具体包括：
煤炭发电类电力数据、水力发电类电力数据、风力发电类电力数据、光伏发电类电力数据和生物质发电类电力数据。
4.如权利要求1所述的一种基于注意力机制的碳排放分析方法，其特征在于，所述得到对应能源发电的时序特征，具体过程为：
利用卷积神经网络和注意力机制分别进行特征表示学习，得到每一类能源发电数据基于局部窗口视角下的时序特征表示和基于全局窗口视角下的时序特征表示；
通过窗口注意力机制分别得到每一类能源发电数据的局部时序特征向量和全局时序特征向量；
将每一类能源发电数据的局部时序特征向量和全局时序特征向量进行融合，经过门控机制和归一化，得到每一类能源发电数据的时序特征。
5.如权利要求1所述的一种基于注意力机制的碳排放分析方法，其特征在于，基于不同的训练数据集对基础模型进行训练，得到训练好的下游任务模型，所述下游任务模型为碳排放预测模型、能源消耗预测模型或者能源占比预测模型；
对于碳排放预测模型，训练数据集为用户实际的碳排放量；对于能源消耗预测模型，训练数据集为用户用电的能源消耗；对于能源占比预测模型，训练数据集为各类能源的占比。
6.如权利要求1所述的一种基于注意力机制的碳排放分析方法，其特征在于，利用得到的时序特征经过自注意力机制获得各类能源的权重分数，具体过程为：
对于时序特征向量，分别乘系数矩阵得到查询向量和查询关键字，计算输入向量之间的相关性，然后通过softmax操作得到各类能源的权重分数。
7.一种基于注意力机制的碳排放分析系统，其特征在于，包括：
时序特征提取模块，用于基于各类能源发电数据，分别得到每一类能源发电的局部时序特征向量和全局时序特征向量；
时序特征融合模块，用于对每一类能源发电的局部时序特征向量和全局时序特征向量进行融合，得到对应能源发电的时序特征；
基础模型训练模块，用于利用得到的时序特征经过自注意力机制获得各类能源的权重分数，然后与各类能源发电的时序特征相乘，输出各类能源的上下文特征；基于上下文特征进行自监督学习，得到预训练的基础模型；
下游任务预测模块，用于基于不同的训练数据集对基础模型进行训练，得到对应的训练好的下游任务模型；获取不同能源发电的电力数据，利用训练好的下游任务模型，完成下游任务预测；所述下游任务预测至少包括碳排放预测。
8.如权利要求7所述的一种基于注意力机制的碳排放分析系统，其特征在于，所述下游任务预测还包括：能源消耗预测或各类能源占比预测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311055416.9A CN116757369B (zh) | 2023-08-22 | 2023-08-22 | 一种基于注意力机制的碳排放分析方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311055416.9A CN116757369B (zh) | 2023-08-22 | 2023-08-22 | 一种基于注意力机制的碳排放分析方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116757369A true CN116757369A (zh) | 2023-09-15 |
| CN116757369B CN116757369B (zh) | 2023-11-24 |
Family
ID=87948291
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311055416.9A Active CN116757369B (zh) | 2023-08-22 | 2023-08-22 | 一种基于注意力机制的碳排放分析方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116757369B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116862080A (zh) * | 2023-09-05 | 2023-10-10 | 国网山东省电力公司营销服务中心(计量中心) | 一种基于双视角对比学习的碳排放预测方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020257812A2 (en) * | 2020-09-16 | 2020-12-24 | Google Llc | Modeling dependencies with global self-attention neural networks |
| US20210232753A1 (en) * | 2021-01-28 | 2021-07-29 | Microsoft Technology Licensing Llc | Ml using n-gram induced input representation |
| CN113961706A (zh) * | 2021-11-02 | 2022-01-21 | 南京大学 | 一种基于神经网络自注意力机制的精确文本表示方法 |
| CN115510333A (zh) * | 2022-09-26 | 2022-12-23 | 重庆大学 | 一种基于时空感知并结合局部和全局偏好的poi预测方法 |
| CN115829126A (zh) * | 2022-12-07 | 2023-03-21 | 大连理工大学 | 基于多视角自适应特征融合的光伏发电功率预测方法 |
| CN115859792A (zh) * | 2022-11-23 | 2023-03-28 | 国网湖南省电力有限公司 | 基于注意力机制的中期电力负荷预测方法及系统 |
| CN116070799A (zh) * | 2023-03-30 | 2023-05-05 | 南京邮电大学 | 一种基于注意力及深度学习的光伏发电量预测系统及方法 |
-
2023
- 2023-08-22 CN CN202311055416.9A patent/CN116757369B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020257812A2 (en) * | 2020-09-16 | 2020-12-24 | Google Llc | Modeling dependencies with global self-attention neural networks |
| US20210232753A1 (en) * | 2021-01-28 | 2021-07-29 | Microsoft Technology Licensing Llc | Ml using n-gram induced input representation |
| CN113961706A (zh) * | 2021-11-02 | 2022-01-21 | 南京大学 | 一种基于神经网络自注意力机制的精确文本表示方法 |
| CN115510333A (zh) * | 2022-09-26 | 2022-12-23 | 重庆大学 | 一种基于时空感知并结合局部和全局偏好的poi预测方法 |
| CN115859792A (zh) * | 2022-11-23 | 2023-03-28 | 国网湖南省电力有限公司 | 基于注意力机制的中期电力负荷预测方法及系统 |
| CN115829126A (zh) * | 2022-12-07 | 2023-03-21 | 大连理工大学 | 基于多视角自适应特征融合的光伏发电功率预测方法 |
| CN116070799A (zh) * | 2023-03-30 | 2023-05-05 | 南京邮电大学 | 一种基于注意力及深度学习的光伏发电量预测系统及方法 |
Non-Patent Citations (3)
| Title |
|---|
| YECONG WAN等: "Global–local transformer for single‑image rain removal", 《PATTERN ANALYSIS AND APPLICATIONS》, pages 1527 * |
| 毛雪宇;彭艳兵;: "增量角度域损失和多特征融合的地标识别", 中国图象图形学报, no. 08 * |
| 王冲: "融合局部全部一致性的深度图卷积网络模型算法研究", 中国知网, pages 1 - 56 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116862080A (zh) * | 2023-09-05 | 2023-10-10 | 国网山东省电力公司营销服务中心(计量中心) | 一种基于双视角对比学习的碳排放预测方法及系统 |
| CN116862080B (zh) * | 2023-09-05 | 2024-02-09 | 国网山东省电力公司营销服务中心(计量中心) | 一种基于双视角对比学习的碳排放预测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116757369B (zh) | 2023-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111080032B (zh) | 一种基于Transformer结构的负荷预测方法 | |
| CN112149316A (zh) | 基于改进的cnn模型的航空发动机剩余寿命预测方法 | |
| CN110134946B (zh) | 一种针对复杂数据的机器阅读理解方法 | |
| CN116757369B (zh) | 一种基于注意力机制的碳排放分析方法及系统 | |
| WO2023217163A1 (zh) | 一种基于本地自注意力机制的大坝缺陷时序图像描述方法 | |
| He et al. | Short-term photovoltaic power forecasting method based on convolutional neural network | |
| CN114898121A (zh) | 基于图注意力网络的混凝土坝缺陷图像描述自动生成方法 | |
| CN117236677A (zh) | 一种基于事件抽取的rpa流程挖掘方法及装置 | |
| Jin et al. | A novel multi-modal analysis model with Baidu Search Index for subway passenger flow forecasting | |
| CN116561567A (zh) | 一种基于变分模态分解的短期光伏功率预测模型及构建方法、应用方法 | |
| Gao et al. | Spatio-temporal interpretable neural network for solar irradiation prediction using transformer | |
| Niu et al. | De-Trend First, Attend Next: A Mid-Term PV forecasting system with attention mechanism and encoder–decoder structure | |
| Miao | Emotion Analysis and Opinion Monitoring of Social Network Users Under Deep Convolutional Neural Network | |
| Hu et al. | BERT-PIN: A BERT-based Framework for Recovering Missing Data Segments in Time-series Load Profiles | |
| Xu et al. | NWP feature selection and GCN-based ultra-short-term wind farm cluster power forecasting method | |
| CN110909254B (zh) | 基于深度学习模型针对问答社区进行问题热度预测的方法和系统 | |
| CN111476408B (zh) | 一种电力通信设备状态预测方法及系统 | |
| CN114003270A (zh) | 基于深度学习的软件安全漏洞修复者推荐方法 | |
| CN116862080B (zh) | 一种基于双视角对比学习的碳排放预测方法及系统 | |
| Al-Selwi et al. | RNN-LSTM: From applications to modeling techniques and beyond—Systematic review | |
| CN117131790B (zh) | 概率编译码架构下光伏组件清洁周期预测方法 | |
| Li et al. | Large-scale wind and solar grid-connected power prediction based on causal delay spectrum and LSTM | |
| Symeonidis et al. | Efficient Deterministic Renewable Energy Forecasting Guided by Multiple-Location Weather Data | |
| Peng | Design and Construction of Machine Translation System Based on RNN Model | |
| Chan et al. | Prediction of Solar Radiation Using Data Clustering and Time-Delay Neural Network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |