CN115018191A - 一种基于小样本数据的碳排放量预测方法 - Google Patents
一种基于小样本数据的碳排放量预测方法 Download PDFInfo
- Publication number
- CN115018191A CN115018191A CN202210763111.2A CN202210763111A CN115018191A CN 115018191 A CN115018191 A CN 115018191A CN 202210763111 A CN202210763111 A CN 202210763111A CN 115018191 A CN115018191 A CN 115018191A
- Authority
- CN
- China
- Prior art keywords
- data
- model
- carbon emission
- training
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 title claims abstract description 66
- 229910052799 carbon Inorganic materials 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 58
- 239000013598 vector Substances 0.000 claims abstract description 67
- 238000012549 training Methods 0.000 claims abstract description 49
- 238000005457 optimization Methods 0.000 claims abstract description 34
- 230000006870 function Effects 0.000 claims description 31
- 230000009471 action Effects 0.000 claims description 27
- 238000009826 distribution Methods 0.000 claims description 22
- 238000012360 testing method Methods 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 11
- 239000003795 chemical substances by application Substances 0.000 claims description 10
- 230000002787 reinforcement Effects 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 7
- 230000002452 interceptive effect Effects 0.000 claims description 7
- 238000013459 approach Methods 0.000 claims description 3
- 230000003190 augmentative effect Effects 0.000 claims 1
- 238000011161 development Methods 0.000 description 25
- 230000008859 change Effects 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000005070 sampling Methods 0.000 description 8
- 238000011160 research Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000013499 data model Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000003245 coal Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/80—Management or planning
- Y02P90/84—Greenhouse gas [GHG] management systems
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Software Systems (AREA)
- Tourism & Hospitality (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Game Theory and Decision Science (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Molecular Biology (AREA)
- Operations Research (AREA)
- Entrepreneurship & Innovation (AREA)
- Primary Health Care (AREA)
- Educational Administration (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种基于小样本数据的碳排放量预测方法，包括：基于鲁棒变分自编码器以及条件生成对抗网络，构建数据生成模型；基于近端梯度优化以及支持向量回归，构建数据预测模型；将原始数据以及预处理后的训练数据输入数据生成模型，以完成数据生成模型的训练，由数据生成模型输出得到扩充数据；将扩充数据与原始数据进行混合，得到混合数据集；将混合数据集输入数据预测模型，以完成数据预测模型的训练，得到训练好的碳排放量预测模型；将实际数据输入碳排放量预测模型，输出得到对应的碳排放量预测值。与现有技术相比，本发明能够有效提升碳排放量预测准确性。
Description
技术领域
本发明涉及数据分析预测技术领域，尤其是涉及一种基于小样本数据的碳排放量预测方法。
背景技术
目前，已有碳预测理论方法研究，现有研究主要针对国家、省市、领域等不同层面，分析碳排放的各类影响因素，并结合国家政策和重要举措依据影响因素的变化率设定不同情境，研究碳排放的发展趋势和实施路径。分析的影响因素主要包括人口数量、人均GDP、能源强度、城镇化率、产业结构、能源结构、能源消费总量等。在预测方法上，分为模型类和数据类。模型类预测方法建立影响因素和碳排放之间的数据模型、并采用回归分析拟合模型参数，主要数据模型包括：宏观计量经济模型、投入产出模型、可计算一般均衡模型CGE、随机回归影响模型 STIRPAT等。该类模型主要依赖数据模型所表达的影响因素与碳排放之间的数理逻辑的合理性、以及模型拟合参数的精准度。数据类预测方法则采用机器学习算法，根据样本数据进行碳排放预测，如：采用BP神经网络和多元线性回归、遗传算法与BP结合、支持向量回归模型预测。文献研究结果表明，基于模型的预测方法在精度和准确度方面要明显弱于采用机器学习的数据类预测方法。
在基于机器学习的碳排放预测方法中，碳排放预测的基础采样数据主要来源于年化碳排放量及人口、经济、环境、能源、技术等影响因素，根据实际数据的可获得性，数据量维持在30-40个左右，属于典型的小样本数据环境，这些数据往往存在规律性不强、样本量很少且离散化的特点，常规的BP等学习算法很容易出现模型过拟合的问题，导致模型的泛化能力差，往往难以获得较高精准度的预测结果。鉴于此，有必要研究小样本数据环境下的碳排放预测方法，更加精准地分析碳排放发展轨迹和行为路径。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于小样本数据的碳排放量预测方法，能够有效提升碳排放量预测准确性。
本发明的目的可以通过以下技术方案来实现：一种基于小样本数据的碳排放量预测方法，包括以下步骤：
S1、基于鲁棒变分自编码器以及条件生成对抗网络，构建数据生成模型；
基于近端梯度优化以及支持向量回归，构建数据预测模型；
S2、将原始数据以及预处理后的训练数据输入数据生成模型，以完成数据生成模型的训练，由数据生成模型输出得到扩充数据；
S3、将扩充数据与原始数据进行混合，得到混合数据集；
S4、将混合数据集输入数据预测模型，以完成数据预测模型的训练，得到训练好的碳排放量预测模型；
S5、将实际数据输入碳排放量预测模型，输出得到对应的碳排放量预测值。
进一步地，所述数据生成模型设置有鲁棒变分自编码器、解码器、聚类器、向量编码器、生成器和判别器，所述鲁棒变分自编码器的输出端分别连接至解码器和生成器，所述聚类器、向量编码器、生成器和判别器依次连接，所述向量编码器还与判别器连接。
进一步地，所述鲁棒变分自编码器的具体工作过程为：
首先对预处理后的训练数据进行压缩，得到训练数据的低维特征表示，分别拟合出训练数据所属分布的均值与方差；
然后进行一个重参数的操作，引入高斯噪声以提高样本生成的多样性，得到一个特定维度的向量，将该向量分别作为解码器和生成器的输入，避免了生成器使用随机噪声作为输入，由此提供数据分布的先验信息，约束了隐向量的取值范围，同时能够使得生成对抗网络以较快的速度逼近原始数据分布，提高样本的生成质量和模型的训练速度。
进一步地，所述聚类器具体采用DBSCAN算法对原始数据进行聚类，将样本的类别结果作为数据标签；
所述向量编码器对类别数据标签进行one hot编码，组成条件向量、输出给生成器，以指导生成器生成更加合理与准确的样本。
进一步地，所述步骤S2具体是根据判别器和生成器的损失函数进行模型训练，直到生成器和判别器达到设置的训练轮次，最后使用训练好的生成器生成得到扩充数据。
进一步地，所述步骤S4具体包括以下步骤：
首先使用混合数据训练默认超参数配置的支持向量回归模型；
然后对支持向量回归模型效果进行验证，计算支持向量回归模型的预测误差；
根据支持向量回归模型及预测误差，构建用于强化学习寻优的环境；
采用近端策略优化算法，其中智能体通过执行修改超参数的动作，以和支持向量回归模型进行持续的交互探索，从支持向量回归模型处获得测试误差及前后两次动作造成的测试误差差值，分别作为状态和奖励，评价网络根据当前执行的动作及下一次状态给出一个评价值，通过交互训练，使得近端策略优化算法最终趋于收敛，得到一个最优策略；
根据最优策略获得最优超参数组合，使用最优超参数组合构建支持向量回归模型，即得到碳排放量预测模型。
进一步地，所述强化学习寻优的环境包括状态空间、动作空间和奖励函数，所述强化学习与超参数优化问题之间的对应关系为：支持向量回归模型对应于环境；
修改模型超参数对应于动作；
预测误差与奖励函数的乘积对应于奖励；
状态对应于当前模型的预测误差。
进一步地，针对状态空间，选择数据预测模型的平均绝对误差、均方误差两个误差指标作为环境的状态，每组超参数对应于一组环境状态。
进一步地，针对动作空间，将问题定义为连续动作空间，每一步的动作即对应一组超参数，动作空间即为所有可取的超参数组合。
进一步地，针对奖励函数，将支持向量回归模型的平均绝对误差及均方误差的加权和共同作为奖励函数，加权和的结果反映环境给予的反馈是惩罚还是奖励，如果和为正数即为奖励，为负数即为惩罚。
与现有技术相比，本发明针对碳排放量预测过程中面临的小样本数据环境问题，分别从数据层面和模型层面展开了研究，提出了一种基于小样本数据的碳排放量预测方法，具有以下优点：
(1)在数据层面，提出基于鲁棒变分自编码器及条件生成对抗网络的数据生成模型，使用该模型生成的假样本来扩充样本数量，从源头上处理小样本问题。针对主流数据扩充方法中，生成对抗网络存在由于生成器采样空间过于自由导致无用样本生成以及生成样本质量易受原始数据异常值影响等问题，本发明提出了一种结合鲁棒变分自编码器及条件生成对抗网络的数据生成模型。使用鲁棒变分自编码器来约束生成器的采样空间，同时消除原始数据中异常值的影响。采用基于密度的噪声鲁棒聚类方法(DBSCAN,Density-BasedSpatial Clustering of Applications with Noise)对原始数据进行聚类，聚类类别作为数据标签组成条件向量指导数据生成模型的样本生成，补充原始数据的信息缺失。
(2)在模型层面，通过优化适合处理小样本问题的支持向量回归模型来改善碳排放量预测模型的预测效果，尽可能多地挖掘小样本蕴含的信息并充分利用。由于支持向量回归模型的超参数配置会严重影响模型的预测效果，为了解决超参数配置困难的问题，本发明使用近端梯度优化方法来优化支持向量回归模型的超参数，提出了基于近端梯度优化及支持向量回归的碳排放量预测模型，设计了用于超参数寻优的强化学习环境，包括状态空间、动作空间和奖励函数。
(3)将数据层面的生成数据与模型层面的预测模型相结合，有效提升碳排放量预测效果。使用基于鲁棒变分自编码器及条件生成对抗网络的数据生成模型扩充数据，并与原始数据进行混合得到混合数据集，使用混合数据集训练超参数优化后的支持向量回归模型，能够大大改善碳排放量预测模型的预测效果、提升预测结果的准确性。
附图说明
图1为本发明的方法流程示意图；
图2为实施例中基于鲁棒变分自编码器及条件生成网络的数据生成模型架构图；
图3为实施例中基于近端梯度优化及支持向量回归的碳排放量预测模型架构图；
图4为实施例中碳排放量预测结果示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
如图1所示，一种基于小样本数据的碳排放量预测方法，包括以下步骤：
S1、基于鲁棒变分自编码器以及条件生成对抗网络，构建数据生成模型；
基于近端梯度优化以及支持向量回归，构建数据预测模型；
S2、将原始数据以及预处理后的训练数据输入数据生成模型，以完成数据生成模型的训练，由数据生成模型输出得到扩充数据；
S3、将扩充数据与原始数据进行混合，得到混合数据集；
S4、将混合数据集输入数据预测模型，以完成数据预测模型的训练，得到训练好的碳排放量预测模型；
S5、将实际数据输入碳排放量预测模型，输出得到对应的碳排放量预测值。
其中，数据生成模型的架构如图2所示，经过数据预处理之后的训练数据作为鲁棒变分自动编码器的输入，采用鲁棒变分自动编码器的编码器部分对训练数据进行压缩，得到训练数据的低维特征表示，分别拟合出训练数据所属分布的均值与方差，然后进行一个重参数的操作，引入高斯噪声以提高样本生成的多样性，得到一个特定维度的向量，将该向量分别作为解码器和生成器的输入，避免了生成器使用随机噪声作为输入，由此提供数据分布的先验信息，约束了隐向量的取值范围，同时能够使得生成对抗网络以较快的速度逼近原始数据分布，提高样本的生成质量和模型的训练速度。为了指导生成器能够生成符合指定条件的数据样本，需要添加控制样本生成的条件，本发明研究如何在小样本环境下更准确的进行碳排放量预测，若要通过增加样本量的方式来提高预测模型的准确率，就需要所扩充的样本能够弥补原始数据的信息缺失，如果数据扩充只是进行简单的数据复制，对于模型性能提升几乎没有帮助，本发明采用DBSCAN对原始数据进行聚类，将样本的类别结果作为数据标签，然后将类别标签进行one hot编码组成条件向量，指导生成器生成更加合理与准确的样本。数据生成模型的具体原理如下：
传统的变分自编码器的目标函数如式(1)所示。
其中，
为原始数据后验分布，pθ(x|z)为生成样本的条件概率分布，pθ(z)为先验分布，其中
为编码器的网络参数，θ为解码器的网络参数，
为隐变量z服从
的期望，DKL是两个分布之间的KL散度，反映两个分布的相似程度。
由于原始数据经验分布与生成的条件概率分布的KL散度包含一个对数似然项，这一项对原始数据中存在的异常值非常敏感，因为低概率样本的负对数似然可以任意高。为了提高模型对异常值的适应性和模型的鲁棒性，提出使用对异常值鲁棒的散度估计方法即β散度，使用β散度计算的连续型变量和离散变量对应的鲁棒变分自编码器的目标函数分别如式(2)、(3)所示：
其中，N为样本数量，xi为原始数据的第i个样本，
为生成数据的第i个样本。
其中k为离散变量的类别数。
根据公式(2)和(3)来优化鲁棒变分自编码器的目标函数，更新模型参数，当模型训练完毕后，可以使用训练好的编码器对训练数据的分布进行拟合，得到分布的均值与方差。
μ，σ2＝Encoder(x) (4)
其中x为训练数据，μ为均值，σ2为方差，Encoder为训练好的编码器。
对应的重参数后的隐变量ze可以表示为：
ze＝μ+σ×∈ (5)
其中，σ为标准差，∈∈N(0，1)，∈服从均值为0、方差为1的标准正态分布。
此外，样本{x1，x2，x3，...，xn}经过DBSCAN聚类后可得样本的类别为 {c1，c2，c3，...，cn}，将样本所属类别组成一个条件向量。
cclass＝{c1，c2，c3，...，cn} (6)
将重采样后的隐变量和DBSCAN方法生成的条件向量作为条件生成对抗网络的输入，对应的条件生成对抗网络的目标函数为：
判别器和生成器的目标函数如式(8)、(9)所示：
其中，x为原始数据，Pr(x)为原始数据分布，
生成器网络参数，φ为判别器网络参数，G代表生成器，D代表判别器。
由于上述两式无法直接计算，需要通过采样的方式计算，可得判别器和生成器的损失函数如式(10)、(11)所示。
判别器的损失函数为：
生成器的损失函数为：
其中，N为样本数量，xi为原始数据的第i个样本，ci为第i个原始数据对应的条件向量，zi为第i个噪声向量。
根据判别器和生成器的损失函数进行模型训练，直到生成器和判别器达到设置的训练轮次，最后使用训练好的生成器生成数据，将生成数据和原始数据混合得到混合数据集。
数据预测模型的架构如图3所示，首先使用混合数据训练默认超参数配置的支持向量回归模型，然后对模型效果进行验证，计算模型的预测误差。根据支持向量回归预测模型及预测误差构建用于强化学习寻优的环境，强化学习与超参数优化问题的对应关系为：支持向量回归模型对应环境，修改模型的超参数对应动作，预测模型的误差与奖励系数的乘积对应奖励，状态对应当前模型的预测误差。
智能体通过执行修改超参数的动作来和支持向量回归模型进行持续的交互探索，从支持向量回归模型处获得测试误差及前后两次动作造成的测试误差差值，分别作为状态和奖励，评价网络根据当前执行的动作及下一次状态给出一个评价值，通过这样的交互训练，使得近端策略优化算法最终趋于收敛，得到一个最优策略，根据该策略获得最优的超参数组合，最后使用最优的超参数组合构建支持向量回归模型进行碳排放量预测。
具体的，在进行强化学习环境设计时，主要包括状态空间、动作空间和奖励函数。针对状态空间，由于本发明优化的目标是使得基于支持向量回归的碳排放量预测模型误差尽可能的小，所以选择模型的平均绝对误差、均方误差两个误差指标作为环境的状态，每组超参数会对应一组环境状态。针对动作空间，由于本发明将问题定义为连续动作空间，每一步的动作即对应一组超参数，动作空间即为所有可取的超参数组合。针对奖励函数，将支持向量回归模型的平均绝对误差及均方误差的加权和共同作为奖励函数，加权和的结果反映环境给予的反馈是惩罚还是奖励，如果和为正数即为奖励，为负数即为惩罚。
在执行近端策略优化算法训练时，传统策略梯度法的目标函数如公式(12)所示：
其中，τ是智能体完成决策的一条轨迹，pθ(τ)是一个完整轨迹发生的概率，
是智能体选择某一策略所能获得期望奖励的梯度表示，θ为智能体的网络参数，M 为智能体与环境交互的轨迹数量，R(τm)为序列τ每个阶段所得到的奖励总和，
为动作，
为环境状态，Tm为每条轨迹完成所需时刻数。
策略梯度方法最大的问题就是参数更新速度慢，因为每更新一次都要和环境进行一次交互，这也是同策略方法的弊端，大量的时间损耗在与环境交互获得训练数据的过程中。本发明采用近端策略优化方法，该方法能够重复利用经验数据进行网络参数更新，加快了模型的训练速度，能够求解多维连续动作空间的强化学习问题。具体原理如下：
近端策略优化算法是在演员-评论家(Actor-Critic)架构的基础上实现的，为了克服策略梯度方法的缺陷，提出将基于策略和基于值函数的方法相结合。Actor 网络根据给出的概率选择动作，Critic网络对动作进行评价给出价值，两种方法优势互补，能够加速模型训练。但是与传统Actor-Critic架构不同的是，近端策略优化算法包括三个网络，分别是Actor，Actor_old和Critic。其中Actor网络即策略网络根据当前环境状态选择下一时刻最优的动作，Actor_old是和Actor同结构同参数的网络，但是Actor_old网络的参数更新滞后于Actor网络，该网络的引入是为了重用智能体与环境交互的数据，用经验数据对Actor网络参数进行多次更新。Critic 网络是对智能体做出的动作进行评价。
近端策略优化方法引入了重要性采样的概念，引入异策略，重用经验池的数据，提高训练效率，引入重要性采样之后的目标函数如公式(13)所示。
其中
为Actor_old网络与环境交互发生轨迹τ的概率。
此外，该算法还引入了一个优势函数
的概念，优势函数表示在某一个环境状态下，某一个动作相对于平均的优势，能够缓解模型的过拟合。优势函数定义如式 (14)所示。
其中γ为奖励的衰减因子，rt′为经验池中收集的各个时刻的奖励值，
是Critic网络的评价值，st为当前时刻状态，t′表示当前时刻t之前的时刻。
近端策略优化方法通过重要性采样实现样本的重复使用，但是引入重要性采样方法后，仍然面临两个分布不够接近、新旧策略差异过大的问题，反而需要增加更多的训练样本，为了解决这个问题，使用Clip方法来约束两个分布的相似程度。使用Clip方法的近端策略优化模型Actor网络的目标函数如式(15)所示。
其中πθ(at|st)为Actor网络的策略函数，
为Actor_old网络的策略函数，∈为裁剪系数。
Critic网络的目标函数如式(16)所示。
其中T为智能体完成决策形成的一条轨迹所需的时刻数。
尽管基于鲁棒变分自编码器及条件生成对抗网络的数据生成模型能够扩充样本数量，一定程度上解决小样本问题，但是模型预测效果提升有限；基于近端梯度优化及支持向量回归的碳排放量预测模型虽然能够充分挖掘现有样本蕴含的信息，但是原始数据存在数据稀疏的区域，有信息缺失的情况，即使模型参数优化到一定程度，模型预测效果也无法继续提升。
为了进一步优化小样本数据环境下碳排放量预测模型的预测效果，本发明将数据层面和模型层面的方法相结合，使用基于鲁棒变分自编码器及条件生成对抗网络的数据生成模型扩充数据，并与原始数据进行混合得到混合数据集，使用混合数据集训练基于近端梯度优化及支持向量回归的碳排放量预测模型，最后使用该模型进行碳排放量预测。
本实施例应用上述技术方案，首先介绍本发明提出的基于鲁棒变分自编码器及条件生成对抗网络的数据生成模型、基于近端梯度优化及支持向量回归的碳排放量预测模型的超参数设置情况。
表1条件生成对抗网络超参数配置
| 超参数 | 值 | 超参数 | 值 |
| 生成器优化器 | Adam | 判别器优化器 | Adam |
| 生成器学习率 | 0.0002 | 判别器学习率 | 0.0002 |
| 隐变量维度 | 30 | 参数更新频率 | 1 |
| 批大小 | 20 | 训练轮数 | 200 |
表2鲁棒变分自编码器超参数配置
| 优化器 | 训练轮次 | 批大小 | L2正则化 | 学习率 |
| Adam | 200 | 20 | 0.00001 | 0.001 |
表3近端梯度优化模型的超参数配置
| 裁剪系数 | 衰减因子 | Actor学习率 | Critic学习率 | 训练轮次 |
| 0.2 | 0.99 | 0.0003 | 0.001 | 1e6 |
为了验证本发明方法的有效性，基于2000-2019年上海市碳排放量历史数据及其影响因素数据，针对2020-2040年的上海市人口规模、人均GDP、能源强度、产业结构、能源结构、城镇化率等六个影响因素的变化速率，分别设定了粗放、基准和绿色发展三种情景，并以此开展三种情景下的碳排放量预测。粗放发展情景下，以经济发展为主要目标，人口规模和人均GDP设置为最高水平。绿色发展情景下，能源强度、能源结构和产业结构的增长率设置为最高水平。六个影响因素在三种情景下的变化速率如下所述。
人口规模。以2500万人左右的规模作为上海2035年常住人口调控目标。但随着社会经济的发展，未来上海人口增长会逐步放缓。在基准情景模式下，上海人口将在2035年达到峰值并趋于稳定。相反，粗放发展情境下的人口增长速度较快，人口峰值提前至2030年，而在绿色发展情景下，人口峰值将推迟至2040 年。各情景下人口增长率如表4所示。
表4 2020-2040年人口增长率变化情况
人均GDP。本发明将在2021-2025年期间的基准情景下的人均GDP增长速度设置为5％，之后在此基础上放缓。具体如表5所示。
表5 2020-2040年人均GDP增长率变化情况
| 情景 | 2020-2025 | 2026-2030 | 2031-2035 | 2036-2040 |
| 粗放 | 5.5％ | 4.5％ | 3.5％ | 2.5％ |
| 基准 | 5％ | 4％ | 3％ | 2％ |
| 绿色发展 | 4.5％ | 3.5％ | 2.5％ | 1.5％ |
能源强度。能源强度作为衡量技术的指标，由于技术不断迭代升级，减少能源消耗的难度不断增大。本发明将2021-2025年期间的上海市能源强度变化率设定为-5％，粗放发展情景和绿色发展情景在此基础上分别上下浮动0.5％，下降速度保持一致。具体如表6所示。
表6 2020-2040年能源强度变化情况
| 情景 | 2020-2025 | 2026-2030 | 2031-2035 | 2036-2040 |
| 粗放 | -4.5％ | -3.5％ | -2.5％ | -1.5％ |
| 基准 | -5％ | -4％ | -3％ | -2％ |
| 绿色发展 | -5.5％ | -4.5％ | -3.5％ | -2.5％ |
产业结构。本发明将2021-2025年期间的上海市产业结构变化率设定为-4.5％，粗放发展情景和绿色发展情景在此基础上分别上下浮动0.5％，下降速度保持一致。具体如表7所示。
表7 2020-2040年产业结构变化情况
| 情景 | 2020-2025 | 2026-2030 | 2031-2035 | 2036-2040 |
| 粗放 | -4％ | -3.7％ | -3.4％ | -3.1％ |
| 基准 | -4.5％ | -4.2％ | -3.9％ | -3.6％ |
| 绿色发展 | -5％ | -4.7％ | -4.4％ | -4.1％ |
能源结构。本发明在基准模式下，煤炭消耗占比在2021-2025年期间年均下降率为4.2％，每五年下调5％。粗放发展情景和绿色发展情景在此基础上分别上下浮动0.5％，下降速度保持一致。具体如表8所示。
表8 2020-2040年能源结构变化情况
| 情景 | 2020-2025 | 2026-2030 | 2031-2035 | 2036-2040 |
| 粗放 | -3.7％ | -3.2％ | -2.7％ | -2.2％ |
| 基准 | -4.2％ | -3.7％ | -3.2％ | -2.7％ |
| 绿色发展 | -4.7％ | -4.2％ | -3.7％ | -3.2％ |
城镇化率。经过将近20年的发展，上海市城镇化率已由2000年的74.6％提升至2019年的88.3％，目前已经处于一个较高的城镇化水平。基于此，本发明将2020 年及2021-2025年期间上海市城镇化增长率基准设定为0.4％，之后在此基础上逐步放缓，每五年下调0.1％。粗放情景下城镇化增长率设定为0.8％，每五年下调0.2％。绿色发展情景下城镇化增长率设定为0.2％，每五年下调0.05％。具体如表9所示。
表9 2020-2040年城镇化率变化情况
| 情景 | 2020-2025 | 2026-2030 | 2031-2035 | 2036-2040 |
| 粗放 | 0.8％ | 0.6％ | 0.4％ | 0.2％ |
| 基准 | 0.4％ | 0.3％ | 0.2％ | 0.1％ |
| 绿色发展 | 0.2％ | 0.15％ | 0.1％ | 0.05％ |
将上述三种情景下的2020-2040年的上海市人口规模、人均GDP、能源强度、产业结构、能源结构、城镇化率等六个影响因素作为碳排放量预测模型的输入，得到三种情景下2020-2040年的碳排放量预测结果如图4所示。在绿色发展情景下， 2030年左右碳排放量达到峰值；在基准情景下，2028年左右碳排放量达到峰值；在粗放情景下，2026年左右碳排放量达到峰值。
Claims (10)
1.一种基于小样本数据的碳排放量预测方法，其特征在于，包括以下步骤：
S1、基于鲁棒变分自编码器以及条件生成对抗网络，构建数据生成模型；
基于近端梯度优化以及支持向量回归，构建数据预测模型；
S2、将原始数据以及预处理后的训练数据输入数据生成模型，以完成数据生成模型的训练，由数据生成模型输出得到扩充数据；
S3、将扩充数据与原始数据进行混合，得到混合数据集；
S4、将混合数据集输入数据预测模型，以完成数据预测模型的训练，得到训练好的碳排放量预测模型；
S5、将实际数据输入碳排放量预测模型，输出得到对应的碳排放量预测值。
2.根据权利要求1所述的一种基于小样本数据的碳排放量预测方法，其特征在于，所述数据生成模型设置有鲁棒变分自编码器、解码器、聚类器、向量编码器、生成器和判别器，所述鲁棒变分自编码器的输出端分别连接至解码器和生成器，所述聚类器、向量编码器、生成器和判别器依次连接，所述向量编码器还与判别器连接。
3.根据权利要求2所述的一种基于小样本数据的碳排放量预测方法，其特征在于，所述鲁棒变分自编码器的具体工作过程为：
首先对预处理后的训练数据进行压缩，得到训练数据的低维特征表示，分别拟合出训练数据所属分布的均值与方差；
然后进行一个重参数的操作，引入高斯噪声以提高样本生成的多样性，得到一个特定维度的向量，将该向量分别作为解码器和生成器的输入，避免了生成器使用随机噪声作为输入，由此提供数据分布的先验信息，约束了隐向量的取值范围，同时能够使得生成对抗网络以较快的速度逼近原始数据分布，提高样本的生成质量和模型的训练速度。
4.根据权利要求2所述的一种基于小样本数据的碳排放量预测方法，其特征在于，所述聚类器具体采用DBSCAN算法对原始数据进行聚类，将样本的类别结果作为数据标签；
所述向量编码器对类别数据标签进行one hot编码，组成条件向量、输出给生成器，以指导生成器生成更加合理与准确的样本。
5.根据权利要求2所述的一种基于小样本数据的碳排放量预测方法，其特征在于，所述步骤S2具体是根据判别器和生成器的损失函数进行模型训练，直到生成器和判别器达到设置的训练轮次，最后使用训练好的生成器生成得到扩充数据。
6.根据权利要求1所述的一种基于小样本数据的碳排放量预测方法，其特征在于，所述步骤S4具体包括以下步骤：
首先使用混合数据训练默认超参数配置的支持向量回归模型；
然后对支持向量回归模型效果进行验证，计算支持向量回归模型的预测误差；
根据支持向量回归模型及预测误差，构建用于强化学习寻优的环境；
采用近端策略优化算法，其中智能体通过执行修改超参数的动作，以和支持向量回归模型进行持续的交互探索，从支持向量回归模型处获得测试误差及前后两次动作造成的测试误差差值，分别作为状态和奖励，评价网络根据当前执行的动作及下一次状态给出一个评价值，通过交互训练，使得近端策略优化算法最终趋于收敛，得到一个最优策略；
根据最优策略获得最优超参数组合，使用最优超参数组合构建支持向量回归模型，即得到碳排放量预测模型。
7.根据权利要求6所述的一种基于小样本数据的碳排放量预测方法，其特征在于，所述强化学习寻优的环境包括状态空间、动作空间和奖励函数，所述强化学习与超参数优化问题之间的对应关系为：支持向量回归模型对应于环境；
修改模型超参数对应于动作；
预测误差与奖励函数的乘积对应于奖励；
状态对应于当前模型的预测误差。
8.根据权利要求7所述的一种基于小样本数据的碳排放量预测方法，其特征在于，针对状态空间，选择数据预测模型的平均绝对误差、均方误差两个误差指标作为环境的状态，每组超参数对应于一组环境状态。
9.根据权利要求7所述的一种基于小样本数据的碳排放量预测方法，其特征在于，针对动作空间，将问题定义为连续动作空间，每一步的动作即对应一组超参数，动作空间即为所有可取的超参数组合。
10.根据权利要求7所述的一种基于小样本数据的碳排放量预测方法，其特征在于，针对奖励函数，将支持向量回归模型的平均绝对误差及均方误差的加权和共同作为奖励函数，加权和的结果反映环境给予的反馈是惩罚还是奖励，如果和为正数即为奖励，为负数即为惩罚。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210763111.2A CN115018191A (zh) | 2022-06-29 | 2022-06-29 | 一种基于小样本数据的碳排放量预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210763111.2A CN115018191A (zh) | 2022-06-29 | 2022-06-29 | 一种基于小样本数据的碳排放量预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115018191A true CN115018191A (zh) | 2022-09-06 |
Family
ID=83078220
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210763111.2A Pending CN115018191A (zh) | 2022-06-29 | 2022-06-29 | 一种基于小样本数据的碳排放量预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115018191A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115829081A (zh) * | 2022-10-19 | 2023-03-21 | 华中科技大学 | 一种基于支持向量回归模型的城市交通碳排放预测方法 |
| CN116628395A (zh) * | 2023-05-31 | 2023-08-22 | 重庆交通大学 | 一种基于城市地形特征的道路车辆碳排放测算方法及系统 |
| CN116737793A (zh) * | 2023-05-29 | 2023-09-12 | 南方电网能源发展研究院有限责任公司 | 碳排放流生成方法、模型训练方法、装置和计算机设备 |
| CN118133002A (zh) * | 2024-05-10 | 2024-06-04 | 华能山东发电有限公司众泰电厂 | 基于人工智能的电厂环保指标监测预警方法及装置 |
-
2022
- 2022-06-29 CN CN202210763111.2A patent/CN115018191A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115829081A (zh) * | 2022-10-19 | 2023-03-21 | 华中科技大学 | 一种基于支持向量回归模型的城市交通碳排放预测方法 |
| CN116737793A (zh) * | 2023-05-29 | 2023-09-12 | 南方电网能源发展研究院有限责任公司 | 碳排放流生成方法、模型训练方法、装置和计算机设备 |
| CN116628395A (zh) * | 2023-05-31 | 2023-08-22 | 重庆交通大学 | 一种基于城市地形特征的道路车辆碳排放测算方法及系统 |
| CN116628395B (zh) * | 2023-05-31 | 2024-03-01 | 重庆交通大学 | 一种基于城市地形特征的道路车辆碳排放测算方法及系统 |
| CN118133002A (zh) * | 2024-05-10 | 2024-06-04 | 华能山东发电有限公司众泰电厂 | 基于人工智能的电厂环保指标监测预警方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115018191A (zh) | 一种基于小样本数据的碳排放量预测方法 | |
| CN113095550B (zh) | 基于变分递归网络和自注意力机制的空气质量预测方法 | |
| CN113947320B (zh) | 一种基于多模态强化学习的电网调控方法 | |
| CN111860989B (zh) | 一种基于蚁群算法优化的lstm神经网络短时交通流量预测方法 | |
| CN110782658A (zh) | 一种基于LightGBM算法的交通量预测方法 | |
| CN114757104B (zh) | 一种串联闸群调水工程水力实时调控模型的构建方法 | |
| CN112884236B (zh) | 一种基于vdm分解与lstm改进的短期负荷预测方法及系统 | |
| CN113673242A (zh) | 一种基于k邻近结点算法和对比学习的文本分类方法 | |
| CN116187835A (zh) | 一种基于数据驱动的台区理论线损区间估算方法及系统 | |
| CN115061444B (zh) | 一种融合概率网络和强化学习的工艺参数实时优化方法 | |
| CN111582567B (zh) | 一种基于递阶集成的风电功率概率预测方法 | |
| CN113255963A (zh) | 基于路元拆分和深度学习模型lstm的路面使用性能预测方法 | |
| CN113095466A (zh) | 基于元学习模型的可满足性模理论求解器的算法 | |
| CN116842354A (zh) | 基于量子人工水母搜索机制的特征选择方法 | |
| CN103605493B (zh) | 基于图形处理单元的并行排序学习方法及系统 | |
| Zhu et al. | An Efficient Hybrid Feature Selection Method Using the Artificial Immune Algorithm for High‐Dimensional Data | |
| CN110516792A (zh) | 基于小波分解和浅层神经网络的非平稳时间序列预测方法 | |
| CN111754033B (zh) | 一种基于循环神经网络的非平稳时序数据预测方法 | |
| CN116865255A (zh) | 基于改进熵权法和seceemd的短期风电功率预测方法 | |
| CN116279471A (zh) | 一种跟驰场景下考虑驾驶行为特征的车辆加速度预测方法 | |
| CN114970939B (zh) | 一种工业企业用电需求短期智能预测方法 | |
| CN109902870A (zh) | 基于AdaBoost回归树模型的电网投资预测方法 | |
| CN115759455A (zh) | 一种基于时序高斯混合密度网络的负荷概率密度预测方法 | |
| CN115526300A (zh) | 一种基于循环神经网络的序列重排方法 | |
| Bi et al. | Hybrid prediction for water quality with bidirectional LSTM and temporal attention |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |