CN113919871A - 一种基于改进lstm模型的碳交易价格预测方法 - Google Patents

Abstract

本发明涉及一种基于改进LSTM模型的碳交易价格预测方法，包括下列步骤：1)获取碳交易价格样本数据，并对样本数据进行预处理；2)对遗传算法种群进行初始化；3)代入染色体的值，改进LSTM模型的正向传播，混杂梯度下降算法，优化LSTM模型的反向传播；4)计算每条染色体的适应度值，更新最优解；5)对遗传算法种群进行选择，交叉，变异运算，更新种群；6)判断遗传算法是否达到最大次数，若达到，则输出最优超参数；否则返回步骤3)；7)采用训练好的权重以及超参数最优解对碳交易价格进行预测。与现有技术相比，本发明具有预测精度高、收敛速度快等优点。

Description

一种基于改进LSTM模型的碳交易价格预测方法

技术领域

本发明涉及改进长短时记忆网络模型应用的技术领域，尤其是涉及一种基于改进LSTM模型的碳交易价格预测方法。

背景技术

碳交易市场的发展，可以减少能源消耗，促进光伏产业的发展。《京都协定书》提出：参与清洁发展机制的国家，可以通过全球碳排放交易市场来完成减少碳排放的目标。然而，由于碳交易价格的随机性，碳交易市场的风险增大，为促进更多领域加入碳交易市场中，需对碳交易价格进行预测，从而提供数据实验支撑。目前关于碳交易价格的预测多集中于对相关性以及特征量的获取、分析，如基于碳交易价格序列的特征量进行预测等，因此常使用非线性、非参数的统计学方法。但这些方法的碳交易价格预测在预测精度上有一定的局限性，且因需要对特征量进行分析，预测过程复杂、繁琐。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于改进LSTM模型的碳交易价格预测方法。

本发明的目的可以通过以下技术方案来实现：

一种基于改进LSTM模型的碳交易价格预测方法，该方法包括如下步骤：

S1：获取碳交易价格样本数据，并对碳交易价格样本数据进行预处理，并对碳交易样本数据划分为训练集、验证集和测试集。

S2：初始化种群：每个染色体由LSTM的步长、LSTM层节点数及数据串长度三个超参数组成，在取值范围内，遗传算法随机生成第一代种群。

S3：利用混杂梯度下降算法训练并优化LSTM模型的权重，进而改进LSTM模型的反向传播过程。

S4：更新最优目标函数值及LSTM模型权重：比较本次迭代中的训练误差，将误差最小值作为本次迭代的目标函数值。

S5：采用遗传算法对LSTM模型进行超参数寻优，进而改进LSTM模型的正向传播过程。

S6：判断遗传算法是否达到最大代数，若达到，则输出最优超参数；否则返回S3。

S7：通过S3～S5构建改进正向传播和反向传播的LSTM模型，即FBI-LSTM模型；

S8：将训练好的权重以及求解的最优超参数代入FBI-LSTM模型，对碳交易价格进行预测，输出碳交易价格预测结果。

进一步地，S1中，对碳交易价格样本数据进行归一化预处理。

进一步地，S2的具体内容为：

首先将LSTM模型的LSTM层节点数的取值范围设为[10，300]，数据串长度的取值范围设为[5，100]，步长的取值范围设为[5，100]，模型迭代后收敛，随后在保持LSTM层节点数、数据串长度和步长三个超参数中任意两个超参数不变的情况下，改变其中一个超参数的取值范围，进一步迭代获取最优适应度值，从而得到LSTM模型超参数的取值范围。

进一步地，S3中，采用混杂梯度下降算法对LSTM模型进行权重优化。所述混杂梯度下降算法为ADAM和BGD的混杂算法，用以优化LSTM模型的权重。

FBI-LSTM模型采用ADAM和BGD的混杂算法进行LSTM模型的权重优化的具体步骤包括：

S3.1：LSTM的最大训练次数为S次，S保证ADAM和BGD均能收敛，当只用ADAM算法时，确定训练到s次，训练过程已收敛，记录训练误差最小值及其对应的权重，确定ADAM和BGD的混杂算法中使用ADAM进行前s次训练；

S3.2：从第s+1至第S次使用BGD进行训练；

S3.3：完成LSTM模型的训练后，计算训练误差并使用训练后的模型进行预测。

进一步地，S4的具体内容为：

比较本次迭代中的训练目标函数值，将目标函数最小值作为本次迭代的目标函数值，目标函数值由目标函数给出。进一步地，采用均方根误差作为目标函数。

进一步地，S5中，采用遗传算法对LSTM模型进行超参数寻优。采用遗传算法的寻优过程中，选择操作采取轮盘赌和最优保存方法的结合，保留适应度值最小的染色体直接进入下一代；交叉、变异后，只有适应度值比交叉前、变异前小的染色体被保留。

本发明提供的基于改进LSTM模型的碳交易价格预测方法，相较于现有技术至少包括如下有益效果：

1)本发明预测方法对LSTM模型的正向传播过程和反向传播过程进行了改进，使用混杂适应性矩估计(ADAptive Moment estimation，ADAM)算法和批量梯度下降法(BatchGradient Descent，BGD)的梯度下降算法进行反向传播的计算，使用遗传算法寻优的超参数进行正向传播的计算，构建了正向传播和反向传播改进的LSTM(Forward and BackwardImproved LSTM，FBI-LSTM)模型，在FBI-LSTM模型的优化与训练中，优化的是模型的权重和超参数，从正向与反向传播两个角度同时进行改进，从而进一步提高了LSTM模型的预测精度；

2)本发明采用改进的LSTM模型可直接使用碳交易数据，无需对数据特征进行特征分析，相比于非线性、非参数的统计学方法可大大简化预测过程，节省预测时间和成本；

3)混杂ADAM和BGD对梯度下降法进行改进，既可保证改进的LSTM模型反向传播过程的收敛速度，同时提高预测精度。

附图说明

图1为实施例中基于改进LSTM模型的碳交易价格预测方法流程图；

图2为实施例中样本数据归一化后的结果；

图3为实施例中基于不同梯度下降算法的LSTM模型的训练误差；

图4为实施例中不同算法的碳交易价格预测结果；

图5为实施例中不同算法对碳交易价格预测的均方根误差对比图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

实施例

Hochreiter和Schmidhuber在1997年提出了长短时记忆(Long Short TermMemory,LSTM)网络，由于其可以解决梯度爆炸的问题，同时又具有精度高，实时性强的特点，因此可以将其应用到碳交易价格预测中。

基于此，本发明涉及一种基于改进LSTM模型的碳交易价格预测方法，改进的LSTM模型包括对反向传播中梯度下降算法的改进以及使用遗传算法对正向传播中超参数选择的改进，改进LSTM模型在本发明中命名为FBI-LSTM模型，并在下文中使用FBI-LSTM表述。

本发明方法具体包括如下步骤：

步骤一、获取碳交易数据作为输入数据，对输入数据进行归一化预处理。

在数据预处理时使用的归一化方程为：

式中，x表示经过归一化处理后的碳交易数据，x_i表示原始碳交易数据，x_max、x_min分别表示原始碳交易数据中的最大值和最小值。在LSTM进行梯度更新与权重更新时，数据处理可提升模型的收敛速度。

步骤二、初始化遗传算法的种群：每个染色体由LSTM的三个超参数(步长、LSTM层节点数、数据串长度)组成，在取值范围内，遗传算法随机生成第一代种群。

步骤三、利用混杂梯度下降算法训练并优化LSTM模型的权重，从而改进LSTM模型的反向传播过程。

ADAM算法同时具有自适应梯度算法处理稀疏梯度的能力与均方根传递处理非平稳目标的能力，适用于具有较大数据集和高维度数据空间的机器学习，BGD算法能够覆盖所有数据，预测精度高。因此结合ADAM算法和BGD算法的优点，将两种算法进行了混杂，构建了ADAM和BGD的混杂(Hybrid of ADAM and BGD，HAB)算法，HAB算法包括以下步骤：

S301、LSTM的最大训练次数为S次。S保证ADAM和BGD均能收敛，当只用ADAM算法时，确定训练到s次，训练过程已收敛，记录训练误差最小值及其对应的权重，确定HAB算法中使用ADAM进行前s次训练；

S302、从第s+1至第S次使用BGD进行训练；

S303、完成LSTM模型的训练后，计算训练误差并使用训练后的模型进行预测。

为验证HAB算法的性能，在解空间内，随机生成10组LSTM模型超参数，S＝1000，s＝10，独立运行后，将10组训练误差取平均，平均值如表1所示，平均训练误差随次数的变化如图3所示，图3中，实线表示ADAM的训练误差，虚线表示BGD，点划线表示HAB。从图3可以看出，ADAM算法的收敛速度快，从大约第10次开始，迭代开始变缓慢，并且不太稳定，但是在1000次内的训练误差较大，BGD算法的训练误差比ADAM的小，但是在训练前期，收敛速度比ADAM慢。HAB算法结合了二者的优点，前期收敛速度最快，且训练误差最小。从表1可以看出，HAB算法的训练误差比BGD算法减少了85.7％，改进效果明显。从表1和图3可以看出，HAB算法的性能最好，同时也说明了S与s取值的合理性。

表1不同梯度下降算法的训练误差

梯度下降算法	ADAM	BGD	HAB
				训练误差	0.0248	2.88×10<sup>-4</sup>	4.12×10<sup>-5</sup>

步骤四、更新最优目标函数值及LSTM模型权重：比较本次迭代中的训练误差，将误差最小值作为本次迭代的目标函数值。

本步骤中，目标函数值由目标函数给出。根据不同的需求，在价格预测的性能评价中常使用均方误差、均方根误差或平均绝对百分比误差等作为目标函数，由于本发明对数据做了归一化处理，为避免数值为0的数据对结果造成影响，选用RMSE作为目标函数，目标函数为：

式中，

为第i个的碳交易价格的预测值，y_i为第i个碳交易价格的实际值，n为碳交易价格的数据总数。

步骤五、使用遗传算法对LSTM模型进行超参数寻优，从而改进LSTM模型的正向传播过程。

遗传算法在进行选择、交叉、变异操作更新种群时，选择操作采取轮盘赌和最优保存方法的结合，保留适应度值最小的染色体直接进入下一代；交叉、变异后，只有适应度值比交叉前、变异前小的染色体被保留。

步骤六、结果输出：如果遗传算法达到最大代数，则输出最优超参数；否则返回步骤三。

步骤七、将训练好的权重以及求解的最优超参数代入FBI-LSTM模型，对碳交易价格进行预测，输出碳交易价格预测结果。

在使用FBI-LSTM模型预测碳交易价格的实施例中，输入数据采用广州碳排放交易所公示的自2014年3月24日至2021年5月6日的每日碳交易价格(无节假日数据)作为预测数据。由于碳交易市场的每月平均交易日为20天，所以本发明中对碳交易价格的预测以20天为一个周期。首先对数据进行归一化预处理，处理后的数据如图2所示。由图2可以看出，碳交易市场初期的发布交易所代币(CoinEx Token，CET)价格很高。随着CET市场的逐步发展，碳交易价格稳定在每吨[10，30]元的范围内，并且在2020年呈上升趋势。

对归一化后的碳交易数据分别按照70％、20％和10％的比例分为FBI-LSTM模型使用的训练集、验证集和测试集。

由于碳交易市场的价格数据少，因此在对训练集数据进行重采样时，采样间隔天数比采样周期要短，且采样间隔与FBI-LSTM模型中数据串长度和输入数据串的长度有关。

步骤二中为确保FBI-LSTM模型的预测精度，在初始化种群前，应确定遗传算法解空间取值的合理范围及各参数的设置。首先将LSTM层节点数的取值范围设为[10，300]，数据串长度的取值范围设为[5，100]，步长的取值范围设为[5，100]，实验可得FBI-LSTM模型训练集的RMSE为2.23×10^-4，模型在第5次迭代后收敛。随后在保持LSTM层节点数、数据串长度和步长三个超参数中任意两个超参数不变的情况下，改变其中一个超参数的取值范围，该实验中，将最大迭代次数设为30次，最终结果如表2所示。

表2 FBI-LSTM模型中超参数取值范围实验结果

实验可得，FBI-LSTM模型的超参数取值范围：节点数为[20，200]，数据串长度为[5，100]，步长为[5，100]。此外，FBI-LSTM模型的最大迭代次数为30，种群规模为20，交叉和变异概率分别为0.9和0.1，RMSE用作适应度函数。

步骤四～步骤七使用了FBI-LSTM模型对碳交易价格进行预测，其具体实施例以及与其他算法的结果比较为：

在训练集数据相同的情况下，根据上述参数对使用ADAM-LSTM模型和使用BGD-LSTM模型进行遗传算法寻优，并对碳交易价格进行预测，将其预测结果与FBI-LSTM模型比较。预测误差的结果如表3所示。

表3使用不同的LSTM模型对碳交易价格训练集的预测误差

算法	ADAM-LSTM	BGD-LSTM	FBI-LSTM
				RMSE	1.64×10<sup>-2</sup>	3.01×10<sup>-4</sup>	1.05×10<sup>-5</sup>

从表3可以看出，在训练集中，FBI-LSTM模型的预测误差最小，ADAM-LSTM模型的预测误差最大。原因是ADAM算法在早期收敛很快，而在后期却下降缓慢。FBI-LSTM具有最佳性能，既能预测碳交易价格的走势，又能准确预测碳交易价格，这是因为该模型同时优化了超参数和权重。

使用上述三种算法对验证集中的碳交易数据进行预测，预测误差如表4所示，预测结果如图4所示。

表4使用不同LSTM模型对碳交易价格的验证集预测误差

算法	节点数	数据串长度	步长	RMSE
					ADAM-LSTM	74	70	36	0.0286
BGD-LSTM	173	70	36	9.23×10<sup>-5</sup>
					FBI-LSTM	173	97	36	4.06×10<sup>-5</sup>

在图4中，横坐标为碳交易采样天数，纵坐标为碳交易价格。实线表示碳交易实际价格，带圆圈标识的实线表示ADAM-LSTM的预测价格，带三角标识的实线表示BGD-LSTM的预测价格，带星号标识的实线表示FBI-LSTM的预测价格。从图4可以看出，ADAM-LSTM算法的预测价格与实际价格的误差最大，无法进行精确预测，BGD-LSTM模型和FBI-LSTM模型的预测结果与实际价格几乎完全重合，其中BGD-LSTM的预测误差为9.23×10^-5，FBI-LSTM的预测误差为4.06×10^-5，二者比较接近，所以无法从一次预测中来断定哪种算法更加精确。

为区分BGD-LSTM模型和FBI-LSTM模型的预测性能，对多组不同数据进行预测，图5为随机选取15组不同数据，分别用ADAM-LSTM、BGD-LSTM及FBI-LSTM模型进行预测，其碳交易价格预测结果的RMSE曲线如图5所示，图5中，带圆圈标识的实线表示ADAM-LSTM预测误差，带三角标识的实线表示BGD-LSTM的预测误差，带星号标识的实线表示FBI-LSTM的预测误差，从图5可以看出，FBI-LSTM的预测误差最小，并且预测误差曲线不随数据的不同发生波动，预测性能最好。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于改进LSTM模型的碳交易价格预测方法，其特征在于，包括下列步骤：

1)获取碳交易价格样本数据，并对碳交易价格样本数据进行预处理，并对碳交易样本数据划分为训练集、验证集和测试集；

2)初始化种群：每个染色体由LSTM的步长、LSTM层节点数及数据串长度三个超参数组成，在取值范围内，遗传算法随机生成第一代种群；

3)利用混杂梯度下降算法训练并优化LSTM模型的权重，进而改进LSTM模型的反向传播过程；

4)更新最优目标函数值及LSTM模型权重：比较本次迭代中的训练误差，将误差最小值作为本次迭代的目标函数值；

5)采用遗传算法对LSTM模型进行超参数寻优，进而改进LSTM模型的正向传播过程；

6)判断遗传算法是否达到最大代数，若达到，则输出最优超参数；否则返回步骤3)；

7)通过步骤3)～步骤5)构建改进正向传播和反向传播的LSTM模型，即FBI-LSTM模型；

8)将训练好的权重以及求解的最优超参数代入FBI-LSTM模型，对碳交易价格进行预测，输出碳交易价格预测结果。

2.根据权利要求1所述的基于改进LSTM模型的碳交易价格预测方法，其特征在于，步骤1)中，对碳交易价格样本数据进行归一化预处理。

3.根据权利要求1所述的基于改进LSTM模型的碳交易价格预测方法，其特征在于，步骤3)中，采用混杂梯度下降算法对LSTM模型进行权重优化。

4.根据权利要求3所述的基于改进LSTM模型的碳交易价格预测方法，其特征在于，所述混杂梯度下降算法为ADAM和BGD的混杂算法，用以优化LSTM模型的权重。

5.根据权利要求4所述的基于改进LSTM模型的碳交易价格预测方法，其特征在于，FBI-LSTM模型采用ADAM和BGD的混杂算法进行LSTM模型的权重优化的具体步骤包括：

301)LSTM的最大训练次数为S次，S保证ADAM和BGD均能收敛，当只用ADAM算法时，确定训练到s次，训练过程已收敛，记录训练误差最小值及其对应的权重，确定ADAM和BGD的混杂算法中使用ADAM进行前s次训练；

302)从第s+1至第S次使用BGD进行训练；

303)完成LSTM模型的训练后，计算训练误差并使用训练后的模型进行预测。

6.根据权利要求1所述的基于改进LSTM模型的碳交易价格预测方法，其特征在于，步骤4)的具体内容为：

比较本次迭代中的训练目标函数值，将目标函数最小值作为本次迭代的目标函数值，目标函数值由目标函数给出。

7.根据权利要求6所述的基于改进LSTM模型的碳交易价格预测方法，其特征在于，采用均方根误差作为目标函数。

8.根据权利要求3所述的基于改进LSTM模型的碳交易价格预测方法，其特征在于，步骤5)中，采用遗传算法对LSTM模型进行超参数寻优。

9.根据权利要求7所述的基于改进LSTM模型的碳交易价格预测方法，其特征在于，采用遗传算法的寻优过程中，选择操作采取轮盘赌和最优保存方法的结合，保留适应度值最小的染色体直接进入下一代；交叉、变异后，只有适应度值比交叉前、变异前小的染色体被保留。

10.根据权利要求1所述的基于改进LSTM模型的碳交易价格预测方法，其特征在于，步骤2)的具体内容为：

首先将LSTM模型的LSTM层节点数的取值范围设为[10，300]，数据串长度的取值范围设为[5，100]，步长的取值范围设为[5，100]，模型迭代后收敛，随后在保持LSTM层节点数、数据串长度和步长三个超参数中任意两个超参数不变的情况下，改变其中一个超参数的取值范围，进一步迭代获取最优适应度值，从而得到LSTM模型超参数的取值范围。

Images