CN114462717A - 一种基于改进gan与lstm的小样本气体浓度预测方法 - Google Patents

Abstract

本发明涉及一种基于改进GAN与LSTM的小样本气体浓度预测方法，包括：获取目标气体浓度的历史数据；对目标气体浓度的历史数据进行预处理，构建得到历史数据集；通过改进的GAN对历史数据集进行扩充，得到扩充后的数据集，其中，为避免GAN网络在训练过程中出现梯度消失问题，使用Wasserstein距离构造损失函数对GAN网络进行改进；按照设定的比例，将扩充后的数据集划分为训练集和测试集；利用训练集和测试集，对LSTM网络进行训练，得到气体浓度预测模型；将实际需要预测的气体数据输入气体浓度预测模型中，输出得到对应的预测气体浓度。与现有技术相比，本发明能够消除样本不充足带来的负面影响，能够有效解决小样本气体浓度预测问题，并提高气体浓度预测的精度。

Description

一种基于改进GAN与LSTM的小样本气体浓度预测方法

技术领域

本发明涉及污染气体检测技术领域，尤其是涉及一种基于改进GAN与LSTM的小样本气体浓度预测方法。

背景技术

随着船舶建造行业的大规模发展，我国相继建设了多个大型修造船基地，在推动我国海上经济、港口贸易发展和提升国防实力的同时，也对船厂周围的环境质量造成了一定的负面影响。由于船舶建造与修理过程中，污染物排放量较大，容易成为区域主要环境污染源。尤其在涂装车间、船坞和其他露天场所进行船舶涂装的过程中，排放的污染物主要是挥发性有机化合物(Volatile Organic Compounds，VOCs)，具有毒性和无组织排放性。

近年来，随着国家环保标准和要求的不断提高，船舶行业压力倍增，急需开展VOCs治理，以实现船舶绿色涂装。与此同时，随着新一代人工智能、大数据、云计算、移动互联等一批变革性创新技术的不断涌现并快速落地，为船舶制造行业涂装车间VOCs浓度监测、VOCs浓度预测、VOCs治理以及治理过程中的节能减排等工作的开展带来了新视角、新方法和新动能。

VOCs治理的关键在于检测VOCs浓度，一旦无法准确获知VOCs浓度数据不，就有可能造成不可估量的损失，甚至危害人们的生命安全。VOCs治理工程不仅要获取当前船厂涂装车间内的气体浓度，还需要预测未来几个小时甚至更长时间内VOCs浓度的变化趋势，从而为涂装车间VOCs治理工程提供基础数据和设计依据。然而在当前的实际操作中，精确获取VOCs气体浓度十分困难，如何在少量时序气体浓度数据的场景下，对VOCs气体浓度进行精准、高效地预测，是当前亟需解决的问题。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于改进GAN(Generative Adversarial Network，生成对抗网络)与LSTM(Long Short Term MemoryNetwork，长短时记忆网络)的小样本气体浓度预测方法，以解决小样本气体浓度预测问题，提高气体浓度预测的精度和效率。

本发明的目的可以通过以下技术方案来实现：一种基于改进GAN与LSTM的小样本气体浓度预测方法，包括以下步骤：

S1、获取目标气体浓度的历史数据；

S2、对目标气体浓度的历史数据进行预处理，并构建得到历史数据集；

S3、通过改进的GAN对历史数据集进行扩充，得到扩充后的数据集；

S4、按照设定的比例，将扩充后的数据集划分为训练集和测试集；

S5、利用训练集和测试集，对LSTM网络进行训练，得到训练好的气体浓度预测模型；

S6、将实际需要预测的气体数据输入气体浓度预测模型中，输出得到对应的预测气体浓度。

进一步地，所述步骤S2中预处理过程具体为：首先对数据进行时间对齐，之后进行缺失值处理、噪声处理，最后进行数据集成。

进一步地，所述步骤S3中改进的GAN包括生成网络和判别网络，所述生成网络由门控循环单元网络组成，所述判别网络为卷积神经网络，所述卷积神经网络包括最大池化层和全连接层、并使用Wasserstein距离构造损失函数。

进一步地，所述步骤S3具体包括以下步骤：

S31、将历史数据集中的气体浓度历史数据输入生成网络，输出得到气体浓度新特征；

S32、将气体浓度新特征输入判别网络，由判别网络判别气体浓度新特征分布是否与气体浓度历史数据的分布趋于一致，若一致则将气体浓度新特征作为生成数据，之后执行步骤S33；

否则进行重复对抗训练，直至得到的生成数据符合判别网络的要求；

S33、将所有生成数据共同构建为生成数据集，将生成数据集与历史数据集合并得到扩充后的数据集。

进一步地，所述步骤S32具体是利用判别网络中使用Wasserstein距离构造的损失函数，以判断气体浓度新特征分布是否与气体浓度历史数据分布趋于一致。

进一步地，所述Wasserstein距离表达式如下：

所述损失函数表达式为：

x_inter＝εX_real+(1-ε)X_fake

ε～U[0，1]，X_real～P_r，X_fake～P_g

其中，x_inter采用随机插值方式，P_r为真实数据，P_g为模拟生成数据。

进一步地，所述门控循环单元网络的更新方式为：

r_t＝σ(W_rx_t+U_rh_t-1+b_r)

z_t＝σ(W_zx_t+U_zh_t-1+b_z)

其中，r_t为复位门，z_t为更新门，h_t为隐藏特征，x_t为t时刻的输入量，h_t-1为t-1时刻的状态信息，W_z、W_r、W、U_z、U_r、U、b_z、b_r、b_h为学习参数，σ()为Sigmoid函数。

进一步地，所述步骤S5具体包括以下步骤：

S51、将训练集作为待训练LSTM网络的输入，对LSTM网络进行训练，直到满足迭代收敛条件时，输出预训练网络；

S52、将测试集作为预训练网络的输入，通过衡量预训练网络输出的预测值与给定实际值之间的偏差，在偏差值小于预设的阈值时，得到气体浓度预测模型。

进一步地，所述训练集和测试集均包括多组气体浓度样本，每组样本包括M对气体浓度数据，每对气体浓度数据表示为(T，G)，其中，T为气体采样时间，G为采样时间对应的气体浓度。

进一步地，所述LSTM网络中，c_t-1为前一个网络的状态，h_t-1为前一个网络的输出气体浓度，x_t为当前网络输入的气体浓度，c_t为当前网络状态，h_t为当前网络输出的气体浓度，整体网络更新机制如下：

(1)气体浓度数据信息输入LSTM网络之前，首先经过遗忘门f_t，用以确定网络中需要丢弃的气体数据信息，其更新计算式为：

f_t＝σ(W_f·[h_t-1，x_t]+b_f)

其中，W_f、b_f为学习参数，σ()为Sigmoid函数；

(2)经过遗忘门处理后，气体浓度信息传到输入门i_t，用以确定本次输入的气体浓度中重要的信息，其更新计算式为：

i_t＝σ(W_i·[h_t-1，x_t]+b_i)

其中，W_i、W_c、b_i、b_c为学习参数，c_t表示将当前气体浓度信息与之前的气体浓度信息进行衡量，整合输出到输出门；

(3)输出门o_t用于确定并输出预测的气体信息并更新当前网络状态，其更新计算式为：

o_t＝σ(W_o·[h_t-1，x_t]+b_o)

h_t＝o_t·tanh(c_t)

其中，W_o、b_o为学习参数。

与现有技术相比，本发明针对真实场景中气体浓度数据难以收集导致的小样本问题及有效特征难以提取的问题，通过改进GAN，利用改进GAN对数据集进行扩充，生成数据分布一致更加丰富多样的气体浓度数据以消除样本不充足带来的负面影响，结合LSTM网络在时序预测任务上表现出的良好的学习能力、泛化能力，能够有效解决小样本气体浓度预测问题，并提高气体浓度预测的精度。

本发明为避免GAN网络在训练过程中出现梯度消失问题，使用Wasserstein距离构造损失函数对GAN网络进行改进，从而能够对时序气体浓度小样本数据进行可靠的扩充。

附图说明

图1为本发明的方法流程示意图；

图2为实施例的应用过程示意图；

图3为改进GAN网络扩充数据集的流程图；

图4为生成网络的结构示意图；

图5为判别网络的结构示意图；

图6为LSTM气体浓度预测网络的工作流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

如图1所示，一种基于改进GAN与LSTM的小样本气体浓度预测方法，包括以下步骤：

S1、获取目标气体浓度的历史数据；

S2、对目标气体浓度的历史数据进行预处理(首先对数据进行时间对齐，之后进行缺失值处理、噪声处理，最后进行数据集成)，并构建得到历史数据集；

S3、通过改进的GAN对历史数据集进行扩充，得到扩充后的数据集，其中，改进的GAN包括生成网络和判别网络，生成网络由门控循环单元网络组成，判别网络为卷积神经网络，卷积神经网络包括最大池化层和全连接层、并使用Wasserstein距离构造损失函数，Wasserstein距离表达式如下：

损失函数表达式为：

x_inter＝εX_real+(1-ε)X_fake

ε～U[0，1]，X_real～P_r，X_fake～P_g

式中，x_inter采用随机插值方式，P_r为真实数据，P_g为模拟生成数据；

此外，门控循环单元网络的更新方式为：

r_t＝σ(W_rx_t+U_rh_t-1+b_r)

z_t＝σ(W_zx_t+U_zh_t-1+b_z)

其中，r_t为复位门，z_t为更新门，h_t为隐藏特征，x_t为t时刻的输入量，h_t-1为t-1时刻的状态信息，W_z、W_r、W、U_z、U_r、U、b_z、b_r、b_h为学习参数，σ()为Sigmoid函数；

具体的：

S31、将历史数据集中的气体浓度历史数据输入生成网络，输出得到气体浓度新特征；

S32、将气体浓度新特征输入判别网络，由判别网络判别气体浓度新特征分布是否与气体浓度历史数据的分布趋于一致(具体是利用判别网络中使用Wasserstein距离构造的损失函数，以判断气体浓度新特征分布是否与气体浓度历史数据分布趋于一致)，若一致则将气体浓度新特征作为生成数据，之后执行步骤S33；

否则进行重复对抗训练，直至得到的生成数据符合判别网络的要求；

S33、将所有生成数据共同构建为生成数据集，将生成数据集与历史数据集合并得到扩充后的数据集。

S4、按照设定的比例，将扩充后的数据集划分为训练集和测试集，其中，训练集和测试集均包括多组气体浓度样本，每组样本包括M对气体浓度数据，每对气体浓度数据表示为(T，G)，其中，T为气体采样时间，G为采样时间对应的气体浓度；

S5、利用训练集和测试集，对LSTM网络进行训练，得到训练好的气体浓度预测模型，具体的：

S51、将训练集作为待训练LSTM网络的输入，对LSTM网络进行训练，直到满足迭代收敛条件时，输出预训练网络；

S52、将测试集作为预训练网络的输入，通过衡量预训练网络输出的预测值与给定实际值之间的偏差，在偏差值小于预设的阈值时，得到气体浓度预测模型；

在LSTM网络中，c_t-1为前一个网络的状态，h_t-1为前一个网络的输出气体浓度，x_t为当前网络输入的气体浓度，c_t为当前网络状态，h_t为当前网络输出的气体浓度，整体网络更新机制如下：

(1)气体浓度数据信息输入LSTM网络之前，首先经过遗忘门f_t，用以确定网络中需要丢弃的气体数据信息，其更新计算式为：

f_t＝σ(W_f·[h_t-1，x_t]+b_f)

其中，W_f、b_f为学习参数，σ()为Sigmoid函数；

(2)经过遗忘门处理后，气体浓度信息传到输入门i_t，用以确定本次输入的气体浓度中重要的信息，其更新计算式为：

i_t＝σ(W_i·[h_t-1，x_t]+b_i)

其中，W_i、W_c、b_i、b_c为学习参数，c_t表示将当前气体浓度信息与之前的气体浓度信息进行衡量，整合输出到输出门；

(3)输出门o_t用于确定并输出预测的气体信息并更新当前网络状态，其更新计算式为：

o_t＝σ(W_o·[h_t-1，x_t]+b_o)

h_t＝o_t·tanh(c_t)

其中，W_o、b_o为学习参数；

S6、将实际需要预测的气体数据输入气体浓度预测模型中，输出得到对应的预测气体浓度。

本实施例应用上述技术方案，如图2所示，主要包括以下内容：

a1、获取待预测的目标气体浓度的历史数据，其中，历史数据包括传感器数据、手工记录数据等多源数据。

a2、对获取的历史数据进行预处理并构建数据集；

具体的，如图3所示，数据预处理处理主要包括对气体浓度数据进行时间对齐，然后进行缺失值处理、噪声处理，最后进行数据集成，将多源分散的数据整合成完整可利用的初始数据集；

其中，时间对齐为根据采集到的传感器数据或手工记录数据的时间戳对数据进行规范处理，在同一时间片内将各数据按测量精度进行增量排序，然后将高精度观测数据分别向最低精度时间点内插外推，以形成一系列等间隔的目标观测数据，最终使得数据能在同一时刻反映真实的气体浓度，具体操作方法如下：

假设Z1为传感器A在t1时刻得到的测量值；Z2为传感器B在t2时刻得到的测量值；Z3为传感器B在t3时刻得到的测量值，并且有t2＜t1＜t3。则通过对Z2和Z3进行插值，可得到传感器B在t1时刻的测量值，因为t2时刻和t3时刻相隔较短，可以认为变化是线性的，进行线性插值，如下式所示：

缺失值处理则是通过人工调整、修改数据属性或实例，通过统计学插补的手段补充缺失的气体浓度数据；

噪声处理采用聚类的方法，平滑噪声数据，识别和删除原数据中的孤立点，将相近的气体浓度值组成集合，集合之外的值被视为异常数据。对于异常数据，如果判断为垃圾数据，则予以清除，否则保留为重要数据进行孤立点分析；

数据集成是将来自手工记录、传感器等多个数据源格式不一、数量各异、位置不同的异构监测数据进行合并整理，解决数据中实体、属性不一致的问题，得到一个完整可用的初始数据集。

a3、利用改进的生成对抗网络对数据集进行扩充，生成分布更加稳定多样的气体浓度数据，其中，改进生成对抗网络模型由生成网络G与判别网络D组成，判别网络不断优化自身参数，提高判断真伪的能力，从而实现更准确的判判断；生成网络则根据判别网络的反馈结果不断优化自身参数，使判别网络将生成网络模拟生成的数据判断为真数据。

具体的，如图4和图5所示，生成网络为门控循环单元网络，判别网络为卷积神经网络。将气体浓度历史数据作为生成网络的输入，在经过门控循环单元网络训练后形成一种新的特征表示，然后将新特征传入判别网络中，由判别网络判别新特征分布是否与真实历史数据的分布趋于一致，如果一致则可以作为最终生成数据对原数据的进行补充，整合后的数据划分出来的训练集即可作为气体时序预测网络的训练数据；如果不一致则重新传回生成网路进行重复对抗训练，以满足判别网络的要求。

为了避免训练过程中梯度消失的问题，本发明选用Wasserstein距离构造的损失函数对生成对抗网络进行改进；

当生成网络模拟生成的数据达到判别网络的要求后，输出模拟生成的数据集，并与原数据集合并作为最终数据集；

本实施例中，生成网络的门控循环单元网络中，对于每个时刻的隐藏单元，门控循环单元都有一个复位门r_t和更新门z_t来控制隐藏特征h_t，更新方式如下：

r_t＝σ(W_rx_t+U_rh_t-1+b_r)

z_t＝σ(W_zx_t+U_zh_t-1+b_z)

式中，x_t为t时刻的输入量，h_t-1为t-1时刻的状态信息，W_z、W_r、W、U_z、U_r、U和b_z、b_r、b_h为学习参数，σ()为Sigmoid函数。

判别网络所使用的卷积神经网络采用最大池化层对输出特征的进行降采样池化操作，使用Wasserstein距离构造的损失函数判断新特征分布是否与原数据分布一致，利用全连接层将局部特征整合成完整的特征，以便后续预测。

a4、将扩充后的数据集按一定比例划分训练集与测试集；

其中，训练集、测试集所占比例需根据数据量、模型结构综合确定，训练集、测试集为多组气体浓度样本，每组样本包括M对气体浓度数据(M的取值需根据具体数据情况与模型结构综合设定)，每对气体浓度数据表示为(T，G)，其中T为气体采样时间，G为采样时间对应的气体浓度；

a5、将训练集作为待训练LSTM网络的输入，对LSTM网络进行训练，直到满足迭代收敛条件时，输出预训练网络；

具体的，利用长短时记忆网络的对气体浓度进行预测，工作流程如下如图6所示；

气体浓度数据信息输入长短时记忆网络前，首先经过遗忘门f_t，用以确定网络中需要丢弃的气体数据信息，其更新计算方法为：

f_t＝σ(W_f·[h_t-1，x_t]+b_f)

经过遗忘门处理后，气体浓度信息传到输入门i_t，用以确定本次输入的气体浓度中重要的信息，其更新计算式为：

i_t＝σ(W_i·[h_t-1，x_t]+b_i)

式中，c_t表示将当前气体浓度信息与之前的气体浓度信息进行衡量，整合输出到输出门。

再由输出门o_t确定并输出预测的气体信息并更新当前网络状态，其更新计算式为：

o_t＝σ(W_o·[h_t-1，x_t]+b_o)

h_t＝o_t·tanh(c_t)

当长短时记忆网络模型满足收敛条件，输出预训练网络；

a6、将测试集作为预训练网络的输入，通过衡量预训练网络输出的预测气体浓度与实际气体浓度之间的偏差，在偏差值小于预设的阈值时，得到气体浓度预测模型；

a7、将需要预测的气体数据输入预测模型中，即可得到该气体在未来时段内的浓度波动情况，即为预测的气体浓度。

综上可知，本技术方案考虑到气体浓度数据具有很强的时间序列特性，而长短时记忆网络在气体浓度小样本情形下预测效果不佳，所以本发明提出采用改进生成对抗网络对时序气体浓度小样本数据进行模拟扩充，再根据气体浓度不仅与当前时刻的外界输入有关、也与以往时刻的气体浓度有关的特性，通过长短时记忆网络训练得到气体浓度预测模型，从而实现气体浓度的预测，能够为环境治理工作提供可靠的依据。

Claims (10)

1.一种基于改进GAN与LSTM的小样本气体浓度预测方法，其特征在于，包括以下步骤：

S1、获取目标气体浓度的历史数据；

S2、对目标气体浓度的历史数据进行预处理，并构建得到历史数据集；

S3、通过改进的GAN对历史数据集进行扩充，得到扩充后的数据集；

S4、按照设定的比例，将扩充后的数据集划分为训练集和测试集；

S5、利用训练集和测试集，对LSTM网络进行训练，得到训练好的气体浓度预测模型；

S6、将实际需要预测的气体数据输入气体浓度预测模型中，输出得到对应的预测气体浓度。

2.根据权利要求1所述的一种基于改进GAN与LSTM的小样本气体浓度预测方法，其特征在于，所述步骤S2中预处理过程具体为：首先对数据进行时间对齐，之后进行缺失值处理、噪声处理，最后进行数据集成。

3.根据权利要求1所述的一种基于改进GAN与LSTM的小样本气体浓度预测方法，其特征在于，所述步骤S3中改进的GAN包括生成网络和判别网络，所述生成网络由门控循环单元网络组成，所述判别网络为卷积神经网络，所述卷积神经网络包括最大池化层和全连接层、并使用Wasserstein距离构造损失函数。

4.根据权利要求3所述的一种基于改进GAN与LSTM的小样本气体浓度预测方法，其特征在于，所述步骤S3具体包括以下步骤：

S31、将历史数据集中的气体浓度历史数据输入生成网络，输出得到气体浓度新特征；

S32、将气体浓度新特征输入判别网络，由判别网络判别气体浓度新特征分布是否与气体浓度历史数据的分布趋于一致，若一致则将气体浓度新特征作为生成数据，之后执行步骤S33；

否则进行重复对抗训练，直至得到的生成数据符合判别网络的要求；

S33、将所有生成数据共同构建为生成数据集，将生成数据集与历史数据集合并得到扩充后的数据集。

5.根据权利要求4所述的一种基于改进GAN与LSTM的小样本气体浓度预测方法，其特征在于，所述步骤S32具体是利用判别网络中使用Wasserstein距离构造的损失函数，以判断气体浓度新特征分布是否与气体浓度历史数据分布趋于一致。

6.根据权利要求3～5任一所述的一种基于改进GAN与LSTM的小样本气体浓度预测方法，其特征在于，所述Wasserstein距离表达式如下：

所述损失函数表达式为：

x_inter＝εX_real+(1-ε)X_fake

ε～U[0，1]，X_real～P_r，X_fake～P_g

其中，x_inter采用随机插值方式，P_r为真实数据，P_g为模拟生成数据。

7.根据权利要求3所述的一种基于改进GAN与LSTM的小样本气体浓度预测方法，其特征在于，所述门控循环单元网络的更新方式为：

r_t＝σ(W_rx_t+U_rh_t-1+b_r)

z_t＝σ(W_zx_t+U_zh_t-1+b_z)

其中，r_t为复位门，z_t为更新门，h_t为隐藏特征，x_t为t时刻的输入量，h_t-1为t-1时刻的状态信息，W_z、W_r、W、U_z、U_r、U、b_z、b_r、b_h为学习参数，σ()为Sigmoid函数。

8.根据权利要求1所述的一种基于改进GAN与LSTM的小样本气体浓度预测方法，其特征在于，所述步骤S5具体包括以下步骤：

S51、将训练集作为待训练LSTM网络的输入，对LSTM网络进行训练，直到满足迭代收敛条件时，输出预训练网络；

S52、将测试集作为预训练网络的输入，通过衡量预训练网络输出的预测值与给定实际值之间的偏差，在偏差值小于预设的阈值时，得到气体浓度预测模型。

9.根据权利要求1所述的一种基于改进GAN与LSTM的小样本气体浓度预测方法，其特征在于，所述训练集和测试集均包括多组气体浓度样本，每组样本包括M对气体浓度数据，每对气体浓度数据表示为(T，G)，其中，T为气体采样时间，G为采样时间对应的气体浓度。

10.根据权利要求1所述的一种基于改进GAN与LSTM的小样本气体浓度预测方法，其特征在于，所述LSTM网络中，c_t-1为前一个网络的状态，h_t-1为前一个网络的输出气体浓度，x_t为当前网络输入的气体浓度，c_t为当前网络状态，h_t为当前网络输出的气体浓度，整体网络更新机制如下：

(1)气体浓度数据信息输入LSTM网络之前，首先经过遗忘门f_t，用以确定网络中需要丢弃的气体数据信息，其更新计算式为：

f_t＝σ(W_f·[h_t-1，x_t]+b_f)

其中，W_f、b_f为学习参数，σ()为Sigmoid函数；

(2)经过遗忘门处理后，气体浓度信息传到输入门i_t，用以确定本次输入的气体浓度中重要的信息，其更新计算式为：

i_t＝σ(W_i·[h_t-1，x_t]+b_i)

其中，W_i、W_c、b_i、b_c为学习参数，c_t表示将当前气体浓度信息与之前的气体浓度信息进行衡量，整合输出到输出门；

(3)输出门o_t用于确定并输出预测的气体信息并更新当前网络状态，其更新计算式为：

o_t＝σ(W_o·[h_t-1，x_t]+b_o)

h_t＝o_t·tanh(c_t)

其中，W_o、b_o为学习参数。

Images