CN116011672A - 一种基于深度学习的流程工业产品质量短时预测方法 - Google Patents

一种基于深度学习的流程工业产品质量短时预测方法 Download PDF

Info

Publication number
CN116011672A
CN116011672A CN202310081852.7A CN202310081852A CN116011672A CN 116011672 A CN116011672 A CN 116011672A CN 202310081852 A CN202310081852 A CN 202310081852A CN 116011672 A CN116011672 A CN 116011672A
Authority
CN
China
Prior art keywords
time
short
data
layer
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310081852.7A
Other languages
English (en)
Inventor
孙小路
李宇涛
梁伟农
郭浩宇
郭子义
修晨阳
荆沐阳
周春侠
刘欢
姜海军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inner Mongolia University of Technology
Original Assignee
Inner Mongolia University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inner Mongolia University of Technology filed Critical Inner Mongolia University of Technology
Priority to CN202310081852.7A priority Critical patent/CN116011672A/zh
Publication of CN116011672A publication Critical patent/CN116011672A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于深度学习的流程工业产品质量短时预测方法,该方法的预测模型利用近期连续监测的生产过程关键数据来预测未来一段时间的产品质量波动,模型由并行深度学习网络组成,包括注意力机制、CNN以及BiLSTM。本发明针对流程工业过程变量数据的非线性、时间动态性、空间相关性等特征,深度学习方法能够更好地提取数据中的特征,能够学习长期和短期的时间依赖,更好的挖掘数据中的隐性关系,大幅提升预测的精确率且具有更好的泛化能力。

Description

一种基于深度学习的流程工业产品质量短时预测方法
技术领域
本发明涉及工业生产在线质量预测技术领域,特别的为一种基于深度学习的流程工业产品质量短时多步预测方法。
背景技术
典型流程工业主要包括煤炭、有色、钢铁、石油、化工等基础原材料行业,这些工业同时也是高耗能、高排放的重要领域。产品质量的监控对于提高流程工业的生产效率和经济效益具有的重要意义,短时产品质量预测对生产过程的精准控制具有实际的指导意义。现代流程工业利用先进的控制系统、工业互联网和智能仪器仪表等信息技术,使生产过程中的海量数据得以采集和存储。其中包含过程状态信息的数据呈现出非高斯、非线性、强耦合、动态等大数据的特点。随着企业绿色低碳转型的迫切需求,工业产品质量的监测预警就需要更加及时、准确。因此,本发明提出了基于深度学习的产品质量在线短时预测方法,为后续流程工业的精准控制提供关键信息支撑。
当前预测方法主要有两大类。其一,是基于统计学的MA、AR、ARMA、ARIMA等预测方法,这类模型主要从时间的维度来预测未来的值,且主要是对线性关系进行建模,对于非平稳的时间序列问题,其预测的精度会大大降低。其二,是基于机器学习的预测方法,主要包含SVM(Support Vector Machine)、GBDT(Gradient Boosting Decision Tree)、XGBOOST等。虽然基于机器学习的时间序列预测的方法比基于统计学的时间序列预测方法要好,比如适用多变量时间序列数据、良好的预测能力和非线性的拟合能力。然而机器学习方法只考虑当前时间的特征集合,没法建模表现时间序列数据中时间的依赖性,机器学习的学习能力不能随着数据增多而增强,无法获得准确较高的预测结果。
发明内容
本发明的目的是提出了一种基于注意力机制(Attention Mechanism,AM)的卷积神经网络(Convolutional Neural Networks,CNN)和双向长短期记忆网络(Bi-directional Long Short-Term Memory,BiLSTM)神经网络相结合的短时产品质量预测模型。针对流程工业过程变量数据的非线性、时间动态性、空间相关性等特征,深度学习方法能够更好地提取数据中的特征,能够学习长期和短期的时间依赖,更好的挖掘数据中的隐性关系,大幅提升预测的精确率且具有更好的泛化能力。
本发明采用的技术方案:一种基于深度学习的流程工业产品质量短时预测方法,该方法的预测模型利用近期连续监测的生产过程关键数据来预测未来一段时间的产品质量波动。具体模型结构如图1所示。模型由并行深度学习网络组成,包括注意力机制、CNN以及BiLSTM。具体预测步骤为:
步骤一、输入矩阵特征归一化:流程工业的过程监测数据涉及原料和产品的数质量信息、以及过程设备的状态信息,不同类型数据的阈值相差数倍,故首先对原始数据进行归一化预处理。
步骤二、时间窗口处理:流程工业涉及多个单元的协同作业,原料、产品的相关数据具有流程时间尺度上的相关性,为充分考虑生产数据的时间序列依赖关系,对原始数据进行时间滑动窗口处理。
步骤三、引入注意力机制:从输入矩阵中提取特征变量的权重信息以及时间维度的权重信息,利用注意力系数对特征向量和时间步(timestep)进行有区别的信息聚合,过滤或削弱冗余信息,挖掘影响产品质量的关键参数与时间维。
步骤四、卷积神经网络(CNN):经注意力机制处理后的输入矩阵,通过CNN提取数据的特征,发掘多个特征之间的相互关联并有效滤除噪声和不稳定成分。卷积层设计为一维卷积。
步骤五、BiLSTM层:为了有效获取输入时间序列关于时间的变化特征,使用双向长短期记忆网络(BiLSTM)对卷积神经网络输出序列进行进一步处理运输,利用双向长短期记忆网络的记忆功能提取时间特征。
步骤六:为防止过拟合,在CNN层与BiLSTM层后添加Dropout层。
步骤七:输入矩阵经以上并行注意力机制与CNN、BiLSTM网络,经链接函数CONCATENATE合并后进入Dense全连接层输出多步预测结果。
进一步的,所述步骤一中,具体计算公式如下。
Figure BDA0004067696960000031
式中,x是要归一化的样本数据,xn是归一化值,xmax和xmin是样本数据中的最大值和最小值。
进一步的,所述步骤二中,具体的,假设输入矩阵{xt}是一个长度为n的时间序列,其中xt=x(t),t=1,2,....,n,通过时间窗口处理后的矩阵Xt为Xt=xt-m,xt-m+1,xt-m,…,xt-1,其中时间窗口大小为m。
进一步的,所述步骤三中,注意力机制结构:假设Attention层的输入向量为X=[x1,x2,…xn],给定一个与任务有关的查询向量q,计算输入信息的注意力分布αi:
Figure BDA0004067696960000032
其中,构成的概率向量αi就称为注意力分布(Attention distribution),s(xi,q)为注意力打分函数,注意力打分函数可采用加性模型(见下式)、点积模型、双线性模型等。
s(xi,q)=vTtanh(Wxi+Uq) (3);
式中W、U和V是可学习的网络参数,在求解αi时应用SoftMax函数来确保所有的注意力权重之和为1,从而可以自适应地提取外部输入变量序列,最后,通过加权平均的方式对输入信息进行汇总,然后将带有自适应权重的输出变量作为输入送进下一层网络训练。
Figure BDA0004067696960000033
进一步的,所述步骤四中,卷积层包括了卷积计算层和激活层,卷积计算层是将卷积核矩阵与对应位置的数据矩阵进行矩阵运算,设输入为x∈RM×N,卷积核为W∈RU×V,卷积定义为Z=W*X,其中*为卷积运算符,其运算公式为:
Figure BDA0004067696960000041
激活层:本发明选取缩放指数线性单元(Scaled Exponential Linear Units,SELUs)作为激活层,该激活函数得到的网络具有自归一化功能,进一步提高了预测精度。表达式如下:
Figure BDA0004067696960000042
其中,λ≈1.5,a≈1.67。
进一步的,所述步骤五中,BiLSTM是由前向LSTM与后向LSTM组合而成。每个LSTM设计了三个阈值:输入门it、遗忘门ft、输出门ot、长期存储器的细胞状态Ct、等待存储在长期存储器中的候选状态
Figure BDA0004067696960000043
三个阈值是当前时间的输入特征xt和前一时间的短期记忆ht-1的函数,表示为下式:
Figure BDA0004067696960000044
本发明的有益效果为:
1、针对多步预测过程中存在的误差“累积”问题,引入注意力机制(AE),加强关键信息的提取,提高长预见期的预测精度和稳定性
2、针对流程工业过程变量的空间特性,利用卷积神经网络(CNN)提取原始数据的空间相关性,挖掘多个特征之间的相互关联并有效滤除噪声和不稳定成分。
3、针对过程变量随时间动态特性,引入双向长短期记忆网络(BiLSTM)对动态时间序列数据进行有效建模。
附图说明:
图1是本发明预测模型结构图;
图2是本发明实例的工艺流程图;
图3是本发明不同模型预测结果对比图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细说明。
一种基于深度学习的流程工业产品质量短时预测方法,该方法的预测模型利用近期连续监测的生产过程关键数据来预测未来一段时间的产品质量波动。具体模型结构如图1所示。模型由并行深度学习网络组成,包括注意力机制、CNN以及BiLSTM。具体预测步骤为:
步骤一、输入矩阵特征归一化:流程工业的过程监测数据涉及原料和产品的数质量信息、以及过程设备的状态信息,不同类型数据的阈值相差数倍,故首先对原始数据进行归一化预处理。
步骤二、时间窗口处理:流程工业涉及多个单元的协同作业,原料、产品的相关数据具有流程时间尺度上的相关性,为充分考虑生产数据的时间序列依赖关系,对原始数据进行时间滑动窗口处理。
步骤三、引入注意力机制:从输入矩阵中提取特征变量的权重信息以及时间维度的权重信息,利用注意力系数对特征向量和时间步(timestep)进行有区别的信息聚合,过滤或削弱冗余信息,挖掘影响产品质量的关键参数与时间维。
步骤四、卷积神经网络(CNN):经注意力机制处理后的输入矩阵,通过CNN提取数据的特征,发掘多个特征之间的相互关联并有效滤除噪声和不稳定成分。卷积层设计为一维卷积。
步骤五、BiLSTM层:为了有效获取输入时间序列关于时间的变化特征,使用双向长短期记忆网络(BiLSTM)对卷积神经网络输出序列进行进一步处理运输,利用双向长短期记忆网络的记忆功能提取时间特征。
步骤六:为防止过拟合,在CNN层与BiLSTM层后添加Dropout层。
步骤七:输入矩阵经以上并行注意力机制与CNN、BiLSTM网络,经链接函数CONCATENATE合并后进入Dense全连接层输出多步预测结果。
实施例:煤炭的洗选加工过程是典型的流程工业,涉及多个处理(加工)子过程,其运行环境恶劣,干扰众多,其产品质量的监控与预测对于提高生产效率和经济效益具有重要意义。
目前,重介质选煤以分选精度高、密度调节范围宽、处理量大等特点,成为主导的选煤方法。
本实例工艺流程图如图2所示,流程中涉及的关键计量计质数据主要有:原煤皮带秤量、精煤皮带秤量、中煤皮带秤量、矸石皮带秤量;灰分数据:原煤灰分、精煤灰分;分选密度:初选区悬浮液密度计值、精选区悬浮液密度计值;旋流器压力值:初选区压力计值、精选区压力计值以及桶位高度等。本文的输出带预测变量为最终的精煤灰分,选取其他变量作为输入矩阵,各数据的采集周期为每60s收集一次,包含30天10000条数据。
数据集样本被按照7:2:1的比例划分为训练集、验证集和测试集,各变量数据进行[-1,1]最大最小归一化,并在评估预测结果前进行反归一化。模型使用训练集进行训练,使用验证集进行超参数调节,使用测试集得出预测结果。
在重介选煤过程中,原料性质、过程控制变量与产品质量(精煤灰分)之间存在着复杂时空序列关系,但仅有部分过程变量对最终产品质量有重要意义。同时,受煤流运输时间与重介分选机的分选时间影响,不同时间节点的各变量值对产品质量的制约也不尽相同。故本发明对经时间窗口处理后的原始数据分别进行了特征维度和维度的注意力计算。
本实例基于TensorFlow深度学习框架搭建,模型参数确认为:训练次数为50、单次训练样本量为128,一维卷积神经网络中,使用1个卷积核,128个过滤器,激活函数为SeLU,遗忘率0.3,长短期记忆神经网络中,采用双向LSTM网络,单元数为256,激活函数为Tanh,学习率定为0.005,并添加Dropout层以防止过拟合。
同时,为了验证模型的有效性,采用卷积神经网络,双向长短期记忆神经网络和本发明提出的深度学习模型总共三种模型进行试验对比。对此,设置预测结果的均方误差(RMSE)作为准确率的评价指标,预测精度对比结果如图3所示。可以看出本模型准确率优于其他模型,本模型可以更好地学习时间序列数据中的潜在变化规律,提高流程工业在线产品质量的预测精度。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。

Claims (6)

1.一种基于深度学习的流程工业产品质量短时预测方法,其特征在于:该方法的预测模型利用近期连续监测的生产过程关键数据来预测未来一段时间的产品质量波动,预测模型由并行深度学习网络组成,包括注意力机制、CNN以及BiLSTM,具体预测步骤为:
步骤一、输入矩阵特征归一化:流程工业的过程监测数据涉及原料和产品的数质量信息、以及过程设备的状态信息,不同类型数据的阈值相差数倍,故首先对原始数据进行归一化预处理;
步骤二、时间窗口处理:流程工业涉及多个单元的协同作业,原料、产品的相关数据具有流程时间尺度上的相关性,为充分考虑生产数据的时间序列依赖关系,对原始数据进行时间滑动窗口处理;
步骤三、引入注意力机制:从输入矩阵中提取特征变量的权重信息以及时间维度的权重信息,利用注意力系数对特征向量和时间步进行有区别的信息聚合,过滤或削弱冗余信息,挖掘影响产品质量的关键参数与时间维;
步骤四、CNN:经注意力机制处理后的输入矩阵,通过CNN提取数据的特征,发掘多个特征之间的相互关联并有效滤除噪声和不稳定成分;卷积层设计为一维卷积;
步骤五、BiLSTM层:为了有效获取输入时间序列关于时间的变化特征,使用BiLSTM对卷积神经网络输出序列进行进一步处理运输,利用双向长短期记忆网络的记忆功能提取时间特征;
步骤六:为防止过拟合,在CNN层与BiLSTM层后添加Dropout层;
步骤七:输入矩阵经以上并行注意力机制与CNN、BiLSTM网络,经链接函数CONCATENATE合并后进入Dense全连接层输出多步预测结果。
2.根据权利要求1所述的一种基于深度学习的流程工业产品质量短时预测方法,其特征在于:所述步骤一中,具体计算公式如下:
Figure FDA0004067696940000011
式中,x是要归一化的样本数据,xn是归一化值,xmax和xmin是样本数据中的最大值和最小值。
3.根据权利要求2所述的一种基于深度学习的流程工业产品质量短时预测方法,其特征在于:所述步骤二中,具体的,假设输入矩阵{xt}是一个长度为n的时间序列,其中xt=x(t),t=1,2,....,n,通过时间窗口处理后的矩阵Xt为Xt=xt-m,xt-m+1,xt-m,…,xt-1,其中时间窗口大小为m。
4.根据权利要求3所述的一种基于深度学习的流程工业产品质量短时预测方法,其特征在于:所述步骤三中,注意力机制结构:假设Attention层的输入向量为X=[x1,x2,…xn],给定一个与任务有关的查询向量q,计算输入信息的注意力分布αi:
Figure FDA0004067696940000021
其中,构成的概率向量αi就称为注意力分布,s(xi,q)为注意力打分函数,注意力打分函数采用加性模型、点积模型、双线性模型;
s(xi,q)=vTtanh(Wxi+Uq) (3);
式中W、U和V是可学习的网络参数,在求解αi时应用SoftMax函数来确保所有的注意力权重之和为1,从而自适应地提取外部输入变量序列,最后,通过加权平均的方式对输入信息进行汇总,然后将带有自适应权重的输出变量作为输入送进下一层网络训练;
Figure FDA0004067696940000022
5.根据权利要求4所述的一种基于深度学习的流程工业产品质量短时预测方法,其特征在于:所述步骤四中,卷积层包括了卷积计算层和激活层,卷积计算层是将卷积核矩阵与对应位置的数据矩阵进行矩阵运算,设输入为x∈RM×N,卷积核为W∈RU×V,卷积定义为Z=W*X,其中*为卷积运算符,其运算公式为:
Figure FDA0004067696940000023
激活层:选取缩放指数线性单元作为激活层,该激活函数得到的网络具有自归一化功能,进一步提高了预测精度;表达式如下:
Figure FDA0004067696940000031
其中,λ≈1.5,a≈1.67。
6.根据权利要求5所述的一种基于深度学习的流程工业产品质量短时预测方法,其特征在于:所述步骤五中,BiLSTM是由前向LSTM与后向LSTM组合而成;每个LSTM设计了三个阈值:输入门it、遗忘门ft、输出门ot、长期存储器的细胞状态Ct、等待存储在长期存储器中的候选状态
Figure FDA0004067696940000032
三个阈值是当前时间的输入特征xi和前一时间的短期记忆ht-1的函数,表示为下式:
Figure FDA0004067696940000033
CN202310081852.7A 2023-01-19 2023-01-19 一种基于深度学习的流程工业产品质量短时预测方法 Pending CN116011672A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310081852.7A CN116011672A (zh) 2023-01-19 2023-01-19 一种基于深度学习的流程工业产品质量短时预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310081852.7A CN116011672A (zh) 2023-01-19 2023-01-19 一种基于深度学习的流程工业产品质量短时预测方法

Publications (1)

Publication Number Publication Date
CN116011672A true CN116011672A (zh) 2023-04-25

Family

ID=86023157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310081852.7A Pending CN116011672A (zh) 2023-01-19 2023-01-19 一种基于深度学习的流程工业产品质量短时预测方法

Country Status (1)

Country Link
CN (1) CN116011672A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116886433A (zh) * 2023-08-18 2023-10-13 内蒙古工业大学 一种基于深度对比学习的加密异常流量检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116886433A (zh) * 2023-08-18 2023-10-13 内蒙古工业大学 一种基于深度对比学习的加密异常流量检测方法

Similar Documents

Publication Publication Date Title
Zhou et al. A novel soft sensor modeling approach based on difference-LSTM for complex industrial process
CN112270355B (zh) 基于大数据技术与sae-gru的主动安全预测方法
Wang et al. A new predictive model for strip crown in hot rolling by using the hybrid AMPSO‐SVR‐based approach
Shi et al. Improving power grid monitoring data quality: An efficient machine learning framework for missing data prediction
CN112765894B (zh) 一种基于k-lstm的铝电解槽状态预测方法
Bashiri et al. Multi-objective genetic algorithm for economic statistical design of X control chart
CN116011672A (zh) 一种基于深度学习的流程工业产品质量短时预测方法
CN109816204A (zh) 一种基于ga-svm的地铁运营安全态势预测方法
CN111985825A (zh) 一种用于滚磨机定向仪的晶面质量评估方法
Zhou et al. Supply chain fraud prediction based on xgboost method
Li et al. Estimating waterway freight demand at Three Gorges ship lock on Yangtze River by backpropagation neural network modeling
Zhu et al. An Efficient Hybrid Feature Selection Method Using the Artificial Immune Algorithm for High‐Dimensional Data
CN114638291A (zh) 一种基于多层前馈神经网络算法的食源性致病菌分类方法
Verma et al. Distinctive assessment of neural network models in stock price estimation
CN113779879A (zh) 一种基于LSTM-seq2seq-attention模型的中长期用电异常检测方法
Al Haromainy et al. Improving Performance of RNN-Based Models With Genetic Algorithm Optimization For Time Series Data
CN114202086A (zh) 一种矿山开采方案多目标优化方法
CN115134024B (zh) 一种基于二维经验模式分解的频谱预测方法
CN111832818B (zh) 一种基于相关性分析的lstm网络发电多步预测方法
Purwinarko et al. Crude oil price prediction using Artificial Neural Network-Backpropagation (ANN-BP) and Particle Swarm Optimization (PSO) methods
Astakhova et al. Using of the notion «Pareto set» for development of the forecasting models based on the modified clonal selection algorithm
Gong et al. Multi-class classification method based on support vector machine with hyper-sphere for steel surface defects
Xia et al. Predicting the quantity of recycled end-of-life products using a hybrid SVR-based model
ZHAO et al. A mining algorithm to improve lstm for predicting customer churn in railway freight traffic
Santosa et al. Computational of Concrete Slump Model Based on H2O Deep Learning framework and Bagging to reduce Effects of Noise and Overfitting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination