CN109325417A - 一种基于深度神经网络的工业过程故障工况诊断方法 - Google Patents

Abstract

本发明提出一种基于深度神经网络的工业过程故障工况诊断方法，包括：获取工业生产过程离线故障视频图像序列；灰度一致性变换；提取时序梯度图像；空间特征以及短期时序特征；提取时序梯度图像长期时序特征；离线训练得到神经网络的权值与偏置；获取工业生产过程在线视频图像序列；算得到在线视频图像序列诊断结果的概率分布；输出诊断后结果；本方法对现场光照变化具有很强的鲁棒性，以及对涉及高温、图像特征的不同工业过程具有普适性，对不同环境下的工业过程均能达到较好的故障工况诊断效果，卷积神经网络与循环神经网络进行联合训练，从而每组训练数据仅需要一组训练标签即可完成训练，使得网络整体满足最终的故障诊断需要，提高诊断准确率。

Description

一种基于深度神经网络的工业过程故障工况诊断方法

技术领域

本发明涉及计算机视觉技术领域与故障诊断领域，特别涉及一种基于深度神经网络的工业过程故障工况诊断方法。

背景技术

许多工业过程涉及利用高温对原料进行产品转化，其工业过程(例如各类异常工况等)往往表现出多种视觉特征。特别地，以电熔镁砂的提炼过程为例，其工艺流程通常是利用三相交流电熔镁炉(以下简称电熔镁炉)通过电弧来对以菱镁矿石为主的粉末状原料加热熔炼。电熔镁炉的运行主要包括加热熔化、加料和排气三种正常工况。由于我国电熔镁矿石存在品位低、矿物组成复杂以及成分波动大等特性，物料在熔化过程中电阻和熔点不稳定，易发生半熔化等异常工况，对生产安全、人员安全和产品质量产生很大影响。

由于超高温电熔镁炉熔液温度不直接可测，目前半熔化异常工况主要通过现场工人定期观察炉壳特征来诊断。但人工巡检工作强度大、危险性高、滞后性大，且准确性高度依赖操作人员经验和状态。此外，还有基于电流数据的工况诊断方法，通过各工况的历史电流数据提取出一系列专家规则库，再利用该规则库对现场运行工况进行实时诊断。但实际生产的众多不稳定因素导致该方法无法准确、稳定地工作，例如熔池中不断产生的CO₂气泡导致熔液翻滚，使液面与三相电极间距不断变化，电阻也会随之改变，导致电流无规律的波动。此外，根据电流数据人为制定专家规则也高度依赖于专家经验，易发生漏报和误报。

发明内容

针对现有技术的问题，本发明提出一种基于深度神经网络的工业过程故障工况诊断方法，其特征在于，包括如下步骤：

步骤1：获取工业生产过程离线故障视频图像序列；

步骤2：利用灰度一致性变换对视频图像序列V_RGB进行预处理，得到灰度一致性变换后的图像序列

步骤3：对灰度一致性变换后的视频图像序列提取时序梯度图像V_G＝{G₁,G₂,...,G_N}；

步骤4：利用卷积神经网络提取多帧时序梯度图像输入的空间特征以及短期时序特征；

步骤5：利用循环神经网络提取时序梯度图像长期时序特征；

步骤6：根据卷积神经网络提取多帧时序梯度图像输入的空间特征以及短期时序特征，及环神经网络提取时序梯度图像长期时序特征，离线训练得到神经网络的权值与偏置；

步骤7：获取工业生产过程在线视频图像序列；

步骤8：将在视频图像按照步骤2与步骤3进行处理，并按照步骤4与步骤5进行特征提取，并根据离线训练得到的神经网络权值与偏置，计算得到在线视频图像序列诊断结果的概率分布P(y_t)；

步骤9：根据概率分布P(y_t)，对在线视频图像序列进行工业过程故障工况诊断，并输出诊断后结果

所述灰度一致性变换：

(1)通过颜色空间映射将RGB空间下的视频图像序列V_RGB转换到Lab空间中V_Lab＝{H₁,H₂,...,H_N}，并利用下列公式进行变换：

其中，L，a，b分别为Lab颜色空间的三个通道，n＝1,2,...,N，μ为对图像中的所有像素构成的集合取均值，σ为对图像中的所有像素构成的集合取标准差，为第n帧Lab空间中的第l通道的图像，为所求的灰度一致性变换后对应在Lab空间下的图像，H_r为参考图像，由前N₁帧图像取平均值获得；

(2)将从Lab空间变换到RGB空间下，得到

所述利用灰度一致性变换后的视频序列进行时序梯度图像提取，用如下公式计算：

其中，G_n表示第n帧时序梯度图像，f_YUV为将图像从RGB空间映射到YUV空间的函数，N₂为常数。

所述利用卷积神经网络提取多帧时序梯度图像输入的空间特征以及短期时序特征过程如下：卷积神经网络利用每M帧时序梯度图像G＝{G₁,G₂,...G_M}作为输入，卷积神经网络输入帧数M，即通道数，8≤M≤12，该卷积神经网络包含6层卷积层，第一层网络的卷积核为10×11×11×64，输出大小为64×(w-10)×(h-10)，作为整体网络的第一层；第二层的卷积核为64×5×5×128，输出大小为128×(w-14)×(h-14)，作为整体网络的第二层；第三层的卷积核为128×3×3×128，输出大小为128×(w-16)×(h-16)，作为整体网络的第三层；第四层的卷积核为128×3×3×64，输出大小为64×(w-18)×(h-18)，作为整体网络的第四层；第五层的卷积核为64×5×5×64，输出大小为64×(w-22)×(h-22)，作为整体网络的第五层；第六层的卷积核为64×11×11×64，输出大小为64×(w-32)×(h-32)，作为整体网络的第六层；其中，w与h分别为网络输入图像的宽与高，第一层整体网络至第五层整体网络后均包括一层ReLu操作。

利用循环神经网络提取时序梯度图像长期时序特征，作为整体网络的第七层，其输出状态h^t与本时刻输入以及前一时刻循环神经网络状态相关，即

其中，f_RNN为循环神经网络模型，为t时刻循环神经网络输入，即为t时刻卷积网络输出；h^t为t时刻的循环神经网络输出，h^t-1为前一时刻循环神经网络输出，离线训练得到神经网络的权值W_hk与偏置b_k。

所述根据离线训练得到的神经网络权值与偏置，计算得到在线视频图像序列诊断结果的概率分布P(y_t)，用以下公式进行计算：

其中，k为诊断结果类别，K为诊断结果类别空间K＝[0,1]，0代表正常区域，1代表异常区域，为t时刻类别k对应的循环神经网络循环状态，以f_RNN为循环神经网络模型得到t时刻的W_hk和b_k，W_hk为循环状态对应的网络权值，b_k为偏置。

所述根据概率分布P(y_t)，对在线视频图像序列进行工业过程故障工况诊断，并输出诊断后结果用以下公式进行计算：

其中，为故障工况诊断输出，表示括号内取最大时对应k的取值，k为诊断结果类别，K为诊断结果类别空间K＝[0,1]，P(y_t)为诊断结果的概率分布。

有益技术效果：

(1)本发明提出一种基于深度神经网络的工业过程故障工况诊断方法，该方法不仅能够提取工业生产过程的图像特征，还能够提取其在时间维度上变化的特征，从而挖掘出异常工况从无到有再到显著的特性。并且本方法对现场光照变化具有很强的鲁棒性，以及对涉及高温、图像特征的不同工业过程具有普适性，对不同环境下的工业过程均能达到较好的故障工况诊断效果。

(2)由于在生产过程中,电熔镁炉炉口亮度波动会对相机曝光产生随机干扰,相机自动调整曝光量会使拍摄的炉体图像明暗不一，这种整体的环境光波动会对后续空间特征提取产生干扰，本发明用灰度一致性变换方法，并进行反变换到RGB空间下，很好地解决该问题。

(3)卷积神经网络用于提取时序梯度图像的空间特征与短期时序特征，用于描述电熔镁炉工况的瞬态特性，增加模型对故障工况的诊断反应速度，而循环神经网络用于描述电熔镁炉工况的时序特征，增加模型对故障工况的诊断稳定性。

(4)卷积神经网络与循环神经网络进行联合训练，从而每组训练数据仅需要一组训练标签即可完成训练，且使得网络整体满足最终的故障诊断需要，提高诊断准确率。

附图说明

图1为本发明实施例的一种基于深度神经网络的工业过程故障工况诊断方法流程图；

图2为本发明实施例的一种基于深度神经网络的工业过程故障工况诊断方法框图；

图3为本发明实施例的卷积神经网络提取特征示意图；

图4为本发明实施例在两个电熔镁炉现场视频序列运行的实际结果1；

图5为本发明实施例在两个电熔镁炉现场视频序列运行的实际结果2；

图6为本发明实施例在第一个电熔镁炉现场视频序列从101至191帧的诊断结果可视化图例。

具体实施方式

下面结合附图和电熔镁炉的工业过程具体实施实例对发明做进一步说明：图1是根据本发明一个实施例的一种基于深度神经网络的工业过程故障工况诊断方法流程图，图2为故障工况诊断方法框图。

如图1与图2所示，一种基于深度神经网络的工业过程故障工况诊断方法包括以下步骤：

步骤1：获取电熔镁炉炉壳视频图像序列；

步骤2：利用灰度一致性变换对视频图像序列V_RGB进行预处理，得到灰度一致性变换后的图像序列

具体地，由于在生产过程中,电熔镁炉炉口亮度波动会对相机曝光产生随机干扰,相机自动调整曝光量会使拍摄的炉体图像明暗不一，这种整体的环境光波动会对后续空间特征提取产生干扰。为此，首先通过颜色空间映射将RGB空间下的视频序列V_RGB转换到Lab空间中V_Lab＝{H₁,H₂,...,H_N}，并利用下列公式进行变换：

其中，L，a，b分别为Lab颜色空间的三个通道，n＝1,2,...,N，μ为对图像中的所有像素构成的集合取均值，σ为对图像中的所有像素构成的集合取标准差，为第n帧Lab空间中的第l通道的图像，为所求的灰度一致性变换后对应在Lab空间下的图像，H_r为参考图像，由前N₁帧图像取平均值获得，取N₁＝50。经过灰度一致性变换后，将从Lab空间变换到RGB空间下，得到

步骤3：对灰度一致性变换后的视频图像序列提取时序梯度图像V_G＝{G₁,G₂,...,G_N}，其中，灰度一致性变换与提取时序梯度图像，为图2中的视频预处理模块；

具体地，由于不同电熔镁炉可能存在固有的视觉特征差异，且环境光源的不同，为排除这些固有视觉特征差异对工况诊断的干扰以及使后续网络模型可以用于不同电熔镁炉采用以下公式进行时序梯度图像提取：

其中，G_n表示第n帧时序梯度图像，f_YUV为将图像从RGB空间映射到YUV空间的函数，N₂＝50。

步骤4：利用卷积神经网络提取时序梯度图像空间特征，网络结构如图3所示。

具体地，卷积神经网络用于提取电熔镁炉时序梯度图像的空间特征与短期时序特征。网络使用每M帧时序梯度图像G＝{G₁,G₂,...G₁₀}作为输入。网络输入帧数M，即通道数，取8至12，包含6层卷积层，第一层网络的卷积核为10×11×11×64，输出大小为64×(w-10)×(h-10)，作为整体网络的第一层；第二层的卷积核为64×5×5×128，输出大小为128×(w-14)×(h-14)，作为整体网络的第二层；第三层的卷积核为128×3×3×128，输出大小为128×(w-16)×(h-16)，作为整体网络的第三层；第四层的卷积核为128×3×3×64，输出大小为64×(w-18)×(h-18)，作为整体网络的第四层；第五层的卷积核为64×5×5×64，输出大小为64×(w-22)×(h-22)，作为整体网络的第五层；第六层的卷积核为64×11×11×64，输出大小为64×(w-32)×(h-32)，作为整体网络的第六层，其中w与h分别为网络输入图像的宽与高。第一层网络至第五层网络后均包括一层ReLu操作。

步骤5：利用包含一层长短期记忆单元的循环神经网络提取时序梯度图像的长期时序特征，作为整体网络的第七层；

步骤6：根据卷积神经网络提取多帧时序梯度图像输入的空间特征以及短期时序特征，及环神经网络提取时序梯度图像长期时序特征，离线训练得到神经网络的权值与偏置，W_hk为循环状态对应的网络权值，b_k为偏置；

步骤7：获取工业生产过程在线视频图像序列；

步骤8：将在视频图像按照步骤2与步骤3进行处理，并按照步骤4与步骤5进行特征提取，并根据离线训练得到的神经网络权值与偏置，计算得到在线视频图像序列诊断结果的概率分布P(y_t)；

得到诊断结果的概率分布P(y_t)：

其中，k为诊断结果类别，K为诊断结果类别空间K＝[0,1]，0代表正常区域，1代表异常区域，为t时刻类别k对应的循环神经网络循环状态，W_hk为循环状态对应的网络权值，b_k为偏置。

卷积神经网络与循环神经网络的联合训练损失函数为：

其中，(x,y)为一组数据对，X为批处理数据中数据对数量，Q(y＝k)为标签数据的概率分布，即对于正常工况区域Q(y＝0)＝1,Q(y＝1)＝0，而故障工况Q(y＝0)＝0，Q(y＝1)＝1。利用该损失函数用于在网络训练过程中，计算网络实际输出与标签数据的误差，进一步计算梯度更新各层网络参数。使用均值为0方差为1×10^-3的高斯分布来初始化网络模型的权值，偏置初始化为0。网络训练的迭代次数为4×10⁵次，使用Adam优化算法来进行网络训练,其初始学习率为1×10^-3,学习衰减率为0.99。

步骤9：根据概率分布P(y_t)，对在线视频图像序列进行工业过程故障工况诊断，并输出诊断后结果

实验结果对比：

图4与图5显示了本发明实施例在两个电熔镁炉现场视频序列运行的实际结果，其中包括序列中炉壳表面某一欠烧区域的平均灰度值，对应的时序梯度图像平均灰度值，本发明实施例的诊断结果以及结构为7层长短期记忆单元的循环神经网络模型(以下记为纯RNN模型)的诊断结果作为对比。如图4所示，纯RNN模型在第一个序列中对欠烧工况的诊断滞后标签数据8帧，即0.27秒，如图5所示，在第二个序列中滞后27帧，即0.90秒，而本发明实施例在第一个序列图4中对欠烧工况的诊断滞后标签数据17帧，即0.57秒，在第二个序列图5中滞后1帧，即0.03秒，因此本发明提出的方法对异常工况有着更高的敏感度。此外，从图4与图5中可以看出，纯RNN模型的诊断结果稳定性较差，例如在图5中判断当前工况为异常工况后仍然可能将后续序列判断为正常工况，而本文提出的方法相对而言加稳定。

为了更清楚地显示本发明的诊断结果，本文对第一个序列的从101至191帧结果进行了可视化展示，显示间隔为10帧，见图6。对比方法有纯RNN模型以及一个结构为7层的卷积神经网络模型(以下记为纯CNN模型)。从图中可以看到，纯RNN模型与纯CNN模型相比诊断结果更加稳定，但两者均倾向于将高亮度水雾区域误诊断为欠烧区域。而发明所提出的卷积神经网络与循环神经网络相结合的方法则能够很大程度地避免这类误诊断现象。

Claims (7)

1.一种基于深度神经网络的工业过程故障工况诊断方法，其特征在于，包括如下步骤：

步骤1：获取工业生产过程离线故障视频图像序列；

步骤2：利用灰度一致性变换对视频图像序列V_RGB进行预处理，得到灰度一致性变换后的图像序列

步骤3：对灰度一致性变换后的视频图像序列提取时序梯度图像V_G＝{G₁,G₂,...,G_N}；

步骤4：利用卷积神经网络提取多帧时序梯度图像输入的空间特征以及短期时序特征；

步骤5：利用循环神经网络提取时序梯度图像长期时序特征；

步骤6：根据卷积神经网络提取多帧时序梯度图像输入的空间特征以及短期时序特征，及环神经网络提取时序梯度图像长期时序特征，离线训练得到神经网络的权值与偏置；

步骤7：获取工业生产过程在线视频图像序列；

步骤8：将在视频图像序列按照步骤2与步骤3进行处理，并按照步骤4与步骤5进行特征提取，并根据离线训练得到的神经网络权值与偏置，计算得到在线视频图像序列诊断结果的概率分布P(y_t)；

步骤9：根据概率分布P(y_t)，对在线视频图像序列进行工业过程故障工况诊断，并输出诊断后结果

2.根据权利要求1所述一种基于深度神经网络的工业过程故障工况诊断方法，其特征在于，所述灰度一致性变换：

(1)通过颜色空间映射将RGB空间下的视频图像序列V_RGB转换到Lab空间中V_Lab＝{H₁,H₂,...,H_N}，并利用下列公式进行变换：

其中，L，a，b分别为Lab颜色空间的三个通道，n＝1,2,...,N，μ为对图像中的所有像素构成的集合取均值，σ为对图像中的所有像素构成的集合取标准差，为第n帧Lab空间中的第l通道的图像，为所求的灰度一致性变换后对应在Lab空间下的图像，H_r为参考图像，由前N₁帧图像取平均值获得；

(2)将从Lab空间变换到RGB空间下，得到

3.根据权利要求1所述一种基于深度神经网络的工业过程故障工况诊断方法，其特征在于，所述利用灰度一致性变换后的视频序列进行时序梯度图像提取，用如下公式计算：

其中，G_n表示第n帧时序梯度图像，f_YUV为将图像从RGB空间映射到YUV空间的函数，N₂为常数。

4.根据权利要求1所述一种基于深度神经网络的工业过程故障工况诊断方法，其特征在于，所述利用卷积神经网络提取多帧时序梯度图像输入的空间特征以及短期时序特征过程如下：卷积神经网络利用每M帧时序梯度图像G＝{G₁,G₂,...G_M}作为输入，卷积神经网络输入帧数M，即通道数，8≤M≤12，该卷积神经网络包含6层卷积层，第一层网络的卷积核为10×11×11×64，输出大小为64×(w-10)×(h-10)，作为整体网络的第一层；第二层的卷积核为64×5×5×128，输出大小为128×(w-14)×(h-14)，作为整体网络的第二层；第三层的卷积核为128×3×3×128，输出大小为128×(w-16)×(h-16)，作为整体网络的第三层；第四层的卷积核为128×3×3×64，输出大小为64×(w-18)×(h-18)，作为整体网络的第四层；第五层的卷积核为64×5×5×64，输出大小为64×(w-22)×(h-22)，作为整体网络的第五层；第六层的卷积核为64×11×11×64，输出大小为64×(w-32)×(h-32)，作为整体网络的第六层；其中，w与h分别为网络输入图像的宽与高，第一层整体网络至第五层整体网络后均包括一层ReLu操作。

5.根据权利要求1所述的一种基于深度神经网络的工业过程故障工况诊断方法，其特征在于，利用循环神经网络提取时序梯度图像长期时序特征，作为整体网络的第七层，其输出状态h^t与本时刻输入以及前一时刻循环神经网络状态相关，即

其中，f_RNN为循环神经网络模型，为t时刻循环神经网络输入，即为t时刻卷积网络输出；h^t为t时刻的循环神经网络输出，h^t-1为前一时刻循环神经网络输出，离线训练得到神经网络的权值W_hk与偏置b_k。

6.根据权利要求1所述的一种基于深度神经网络的工业过程故障工况诊断方法，其特征在于，所述根据离线训练得到的神经网络权值与偏置，计算得到在线视频图像序列诊断结果的概率分布P(y_t)，用以下公式进行计算：

其中，k为诊断结果类别，K为诊断结果类别空间K＝[0,1]，0代表正常区域，1代表异常区域，为t时刻类别k对应的循环神经网络循环状态，以f_RNN为循环神经网络模型得到t时刻的W_hk和b_k，W_hk为循环状态对应的网络权值，b_k为偏置。

7.根据权利要求1所述的一种基于深度神经网络的工业过程故障工况诊断方法，其特征在于，所述根据概率分布P(y_t)，对在线视频图像序列进行工业过程故障工况诊断，并输出诊断后结果用以下公式进行计算：

其中，为故障工况诊断输出，表示括号内取最大时对应k的取值，k为诊断结果类别，K为诊断结果类别空间K＝[0,1]，P(y_t)为诊断结果的概率分布。