CN114842383B - 一种基于dvrl-vst的电熔镁炉工况视频识别方法 - Google Patents

Abstract

本发明公开了一种基于DVRL‑VST的电熔镁炉工况视频识别方法，包括：1通过CycleGAN风格迁移架构进行异常样本增广；2将增强后的数据输入基于强化学习样本价值评估和VST的DVRL‑VST网络进行训练；3利用训练结果对电熔镁炉运行视频进行工况识别。本发明能排除生产现场环境光变化以及不同电熔镁炉炉壳固有视觉特征的变化带来的干扰，并使用工况的视频信号，从空间和时间两个维度提取电熔镁炉异常工况局部缓变的时空特征来识别异常工况，从而能提高识别断精度。

Description

一种基于DVRL-VST的电熔镁炉工况视频识别方法

技术领域

本发明涉及计算机视觉技术领域，涉及一种基于DVRL-VST的电熔镁炉工况视频识别方法。

背景技术

电熔镁砂熔点高、抗氧化、耐腐蚀性强，是一种优良的耐高温化工材料，应用前景广阔，在现代工业中有着举足轻重的地位。我国电熔镁行业主要以菱镁矿为原料通过三相交流电熔镁炉熔炼再结晶进行生产制备。其中，“欠烧工况”是一种炉壁局部过热烧红的异常工况，其成因是由于原料杂质不均匀，在某段时间部分原料燃烧不充分而没有完全达到熔融状态，在炉内搅拌不均匀形成巨大气泡，气泡内温度远高于熔液温度，进而导致炉体温度局部过高，引起炉壁过热烧红。倘若未能及时处理，将导致炉壁烧穿，造成巨大经济损失，高温矿物熔液泄露还可能危及现场工人的安全。目前，电熔镁炉欠烧工况的预警主要依靠现场工人的不间断巡检，以保证电熔镁炉正常运行。工人通过观察生产过程中炉口火焰的形态、亮度、火星，以及炉壁是否有过热烧红区域等特征，根据经验预先判断可能会发生的欠烧工况。人工巡检的主要问题是：1)工人巡检劳动强度大，且工况判别的准确性与现场工人的经验和状态相关，容易漏检、误检；2)现场生产环境恶劣(强光、高温、灰尘、噪声等)，危险性高，不适于工人长时间现场巡检。因此，企业急需一种智能的欠烧工况识别技术，能够稳定、准确地在欠烧工况刚发生的时候预警，以保证安全生产。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种基于DVRL-VST的电熔镁炉工况视频识别方法，以期能从空间和时间两个维度提取电熔镁炉异常工况局部缓变的时空特征，并能够排除生产现场环境光变化以及不同电熔镁炉炉壳固有视觉特征的变化带来的干扰，从而提高异常工况的识别精度，并实现无人化监控。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于DVRL-VST网络的电熔镁炉异常工况视频识别方法的特点在于，包括如下步骤：

步骤1：采集电熔镁炉工况视频并进行正常或异常的标注，从而将标注后的电熔镁炉工况视频分为正常视频以及异常视频；

对异常视频进行数据增广，并将增广后的异常视频和正常视频组合成视频集后划分为符合训练分布的训练集/>和符合目标分布/>的验证集/>其中，x_i表示所述训练集/>中第i个训练视频样本，y_i表示第i个训练视频样本x_i的标签，N为训练集/>中的样本数量；/>表示第k个验证视频样本，/>表示第k个验证视频样本/>的标签，L为验证集/>的样本数量；

步骤2：构建基于DVRL-VST网络的电熔镁炉运行工况识别模型，包括：基于DVRL的样本价值评估网络和基于VST的识别网络；

步骤2.1：基于DVRL的样本价值评估网络的训练：

所述基于DVRL的样本价值评估网络使用MLP多层感知器作为基本架构，并包括：输入层、隐藏层、输出层；且层与层之间通过全连接相连，且每层均设置有ReLU激活函数；

步骤2.1.1：从所述训练集中选择数量为B_s的一批训练样本数据集/>并输入所述基于DVRL的样本价值评估网络中，所述MLP多层感知器利用样本价值评估器h_φ对一批训练样本数据集/>进行处理，输出符合多项式分布的每个训练视频样本的选择概率集合，其中，一批训练样本数据集/>中第b_s个训练视频样本/>的选择概率记为/>令/>表示第b_s个视频样本/>对应的标签；令第b_s个视频样本/>的维度为T×H×W×3；其中，T表示视频样本的帧数，H表示视频样本的高度，W表示视频样本的宽度，3表示RGB三通道；

步骤2.1.2：对所述选择概率集合进行多项式分布采样，得到选择向量集合其中，/>表示第b_s个视频样本/>的选择向量，且取值为“0”或“1”；

步骤2.2：基于VST的电熔镁炉工况识别网络f_θ的训练：

所述基于VST的电熔镁炉工况识别网络f_θ依次包括：3D块分割、线性嵌入层、两个前端VST模块、块合并层、两个后端的VST模块；其中，每个VST模块均包括：一个基于3D滑动窗口的MSA多头自注意力模块和一个FFN前馈网络；在所述MSA多头自注意力模块和FFN前馈网络之前均连接有LN标准化层；

步骤2.2.1：将选择向量集合s中取值为“1”的视频样本一起输入基于VST的识别网络中，所述3D块分割将每个视频样本分割为T/2×H/4×W/4个不重合的3D块；

步骤2.2.2：将每个3D块分别输入所述线性嵌入层中进行C维特征空间的特征投影，从而得到T/2×H/4×W/4个C维特征的3D块；

步骤2.2.3：将T/2×H/4×W/4个C维特征的3D块输入两个前端VST模块中，并采用局部窗口自注意力的方式对3D块进行深度特征提取：

在第一个前端VST模块中，对T/2×H/4×W/4个C维特征的3D块进行标准窗口划分，得到每个划分窗口下的若干个3D块，并经过第一LN标准化层的标准化处理后，输入所述MSA多头自注意力模块中进行特征提取，并输出每个划分窗口下的浅层电熔镁炉运行工况特征；再经过第二LN标准化层的标准化处理后，输入所述FFN前馈网络中进行非线性编码，输出每个划分窗口下的非线性表示的浅层电熔镁炉运行工况特征，并传输给第二个前端VST模块；

在第二个前端VST模块中，采用移动窗口对所有划分窗口下的浅层电熔镁炉运行工况特征进行划分，得到每个移动划分窗口下的浅层电熔镁炉运行工况特征，再按照第一个前端VST模块中各个层和模块的处理过程进行特征提取，从而得到每个移动划分窗口下的前端深层电熔镁炉运行工况特征；

步骤2.2.4：所述块合并层通过2倍的空间下采样操作对每个移动划分窗口下相邻的前端深层电熔镁炉运行工况特征进行块合并处理后，再利用内部的应用线性嵌入层将连接后的特征的总维度4C降低至2C，从而得到T/2×H/8×W/8个2C维的电熔镁炉运行工况特征；

步骤2.2.5：将T/2×H/8×W/8个2C维的电熔镁炉运行工况特征依次输入到两个后端VST模块，并按照步骤2.2.3的过程进行特征提取，从而得到每个移动划分窗口下的后端深层电熔镁炉运行工况特征；

步骤2.3：利用式(1)构建基于VST的电熔镁炉工况识别模型f_θ的损失函数并使用梯度下降法对所述电熔镁炉工况识别模型f_θ进行优化，得到优化后的电熔镁炉工况识别模型/>

式(1)中，为均方误差MSE损失函数；/>为所述第b_s个视频样本/>经过基于VST的电熔镁炉工况识别网络的输出；

步骤2.4：基于所述验证集使用强化学习方法计算基于DVRL的样本价值评估网络的损失及其梯度，并将损失与之前损失的移动平均值δ进行比较，以确定奖励reward；

步骤2.4.1：定义当前迭代次数为a，并初始化a＝0，定义并初始化学习率β，令第a次迭代的移动平均值δ_a＝0，令基于DVRL的样本价值评估网络在第a次迭代的网络参数φ_a＝0；

步骤2.4.2：利用式(2)构建基于DVRL的样本价值评估网络在第a次迭代的损失函数l_a(φ)：

式(2)中，x^v表示验证集中所有验证视频样本，y^v表示验证集中所有验证视频样本的标签，/>表示第a次迭代的优化后的电熔镁炉工况识别模型，π_a,φ表示第a次迭代时选择所述选择向量/>的概率，h_a,φ表示第a次迭代的样本价值评估器；

步骤2.4.2：利用式(3)计算第a次迭代的梯度

步骤2.4.3：利用式(4)确定第a次迭代的奖励reward_a并更新第a+1次迭代的网络参数φ_a+1＝φ_a+reward_a：

式(4)中，β为学习率，δ_a为前a次迭代损失的移动平均值；

步骤2.4.4：将a+1赋值给a后，返回步骤2.1.1顺序执行，直到所述损失函数l_a(φ)收敛为止，从而得到训练后的DVRL-VST模型，并用于对待识别的电熔镁炉工况视频进行运行状态的识别。

与现有技术相比，本发明的有益效果在于：

1、本发明通过计算机视觉使用摄像头对电熔镁炉运行工况进行识别，对采集的视频信息建立电熔镁炉欠烧工况的图像识别模型，实现了基于监控视频的电熔镁炉欠烧工况的自动识别技术，减少了电熔镁砂生产过程中，对人工巡检的依赖。

2、本发明通过对采集的电熔镁炉运行工况视频进行识别，从空间和时间两个维度提取电熔镁炉异常工况局部缓变的时空特征，解决了环境光和水雾等干扰对图片识别精度的影响，识别精度相比静态图像识别更高。

3、本发明通过样本价值评估模型，使用强化学习方法对样本价值进行量化。对训练识别网络使用的样本进行筛选，在训练过程中过滤了低价值的和标签错误的样本，只使用高价值样本进行训练，从而提高了模型的训练速度和识别的鲁棒性。

附图说明

图1为本发明基于DVRL-VST的电熔镁炉工况视频识别方法的主要架构图；

图2为本发明基于VST的电熔镁炉工况识别网络的结构图。

具体实施方式

本实施例中，参照图1，一种基于DVRL-VST网络的电熔镁炉异常工况视频识别方法，包括如下步骤：

步骤1：采集电熔镁炉工况视频并进行正常或异常的标注，从而将标注后的电熔镁炉工况视频分为正常视频以及异常视频；

对异常视频进行数据增广，将切分出的正常视频以及异常视频作为训练集输入到CycleGAN网络模型进行训练，得到训练后的CycleGAN模型，用来将正常视频迁移为人工异常视频。并将增广后的异常视频和正常视频组合成视频集后划分为符合训练分布的训练集/>和符合目标分布/>的验证集/>其中，x_i表示训练集/>中第i个训练视频样本，y_i表示第i个训练视频样本x_i的标签，N为训练集/>中的样本数量；/>表示第k个验证视频样本，/>表示第k个验证视频样本/>的标签，L为验证集/>的样本数量；

步骤2：构建基于DVRL-VST网络的电熔镁炉运行工况识别模型，包括：基于DVRL的样本价值评估网络和基于VST的识别网络；

步骤2.1：基于DVRL的样本价值评估网络的训练：

基于DVRL的样本价值评估网络使用MLP多层感知器作为基本架构，并包括：具有3个输入变量的输入层；具有七个神经元的隐藏层；具有3个输出变量的输出层；且层与层之间通过全连接相连，且每层均设置有ReLU激活函数；

步骤2.1.1：从训练集中选择数量为B_s的一批训练样本数据集/>并输入基于DVRL的样本价值评估网络中，MLP多层感知器利用样本价值评估器h_φ对一批训练样本数据集/>进行处理，输出符合多项式分布的每个训练视频样本的选择概率集合，其中，一批训练样本数据集/>中第b_s个训练视频样本/>的选择概率记为/>令/>表示第b_s个视频样本/>对应的标签；令第b_s个视频样本/>的维度为T×H×W×3；其中，T表示视频样本的帧数，H表示视频样本的高度，W表示视频样本的宽度，3表示RGB三通道；

步骤2.1.2：对选择概率集合进行多项式分布采样，得到选择向量集合其中，/>表示第b_s个视频样本/>的选择向量，且取值为“0”或“1”；

步骤2.2：基于VST的电熔镁炉工况识别网络f_θ的训练：

基于VST的电熔镁炉工况识别网络f_θ依次包括：3D块分割、线性嵌入层、两个前端VST模块、块合并层、两个后端的VST模块，整体结构参照图2；其中，每个VST模块均包括：一个基于3D滑动窗口的MSA多头自注意力模块和一个FFN前馈网络；在MSA多头自注意力模块和FFN前馈网络之前均连接有LN标准化层；

步骤2.2.1：将选择向量集合s中取值为“1”的视频样本一起输入基于VST的识别网络中，3D块分割将每个视频样本分割为T/2×H/4×W/4个不重合的大小为2×4×4的3D块；

步骤2.2.2：将每个3D块分别输入线性嵌入层中进行C维特征空间的特征投影，从而得到T/2×H/4×W/4个C维特征的3D块，其中C＝96；

步骤2.2.3：将T/2×H/4×W/4个C维特征的3D块输入两个前端VST模块中，并采用局部窗口自注意力的方式对3D块进行深度特征提取：

在第一个前端VST模块中，对T/2×H/4×W/4个C维特征的3D块进行标准窗口划分，每个窗口大小为8×7×7。得到每个划分窗口下的若干个3D块，并经过第一LN标准化层的标准化处理后，输入MSA多头自注意力模块中进行特征提取，并输出每个划分窗口下的浅层电熔镁炉运行工况特征；再经过第二LN标准化层的标准化处理后，输入FFN前馈网络中进行非线性编码，输出每个划分窗口下的非线性表示的浅层电熔镁炉运行工况特征，并传输给第二个前端VST模块；

在第二个前端VST模块中，采用移动窗口对所有划分窗口下的浅层电熔镁炉运行工况特征进行划分，每个窗口相比第一个前端VST模块中的窗口在时间轴、高度轴和宽度轴上分别移动2个单位。得到每个移动划分窗口下的浅层电熔镁炉运行工况特征，再按照第一个前端VST模块中各个层和模块的处理过程进行特征提取，从而得到每个移动划分窗口下的前端深层电熔镁炉运行工况特征；

步骤2.2.4：块合并层通过2倍的空间下采样操作对每个移动划分窗口下相邻的前端深层电熔镁炉运行工况特征进行块合并处理后，再利用内部的应用线性嵌入层将连接后的特征的总维度4C降低至2C，从而得到T/2×H/8×W/8个2C维的电熔镁炉运行工况特征；

步骤2.2.5：将T/2×H/8×W/8个2C维的电熔镁炉运行工况特征依次输入到两个后端VST模块，并按照步骤2.2.3的过程进行特征提取，从而得到每个移动划分窗口下的后端深层电熔镁炉运行工况特征；

步骤2.3：利用式(1)构建基于VST的电熔镁炉工况识别模型f_θ的损失函数并使用梯度下降法对电熔镁炉工况识别模型f_θ进行优化，得到优化后的电熔镁炉工况识别模型/>

式(1)中，为均方误差MSE损失函数；/>为第b_s个视频样本/>经过基于VST的电熔镁炉工况识别网络的输出；

步骤2.4：基于验证集使用强化学习方法计算基于DVRL的样本价值评估网络的损失及其梯度，并将损失与之前损失的移动平均值δ进行比较，以确定奖励reward；

步骤2.4.1：定义当前迭代次数为a，并初始化a＝0，定义并初始化学习率β，令第a次迭代的移动平均值δ_a＝0，令基于DVRL的样本价值评估网络在第a次迭代的网络参数φ_a＝0；

步骤2.4.2：利用式(2)构建基于DVRL的样本价值评估网络在第a次迭代的损失函数l_a(φ)：

式(2)中，x^v表示验证集中所有验证视频样本，y^v表示验证集中所有验证视频样本的标签，/>表示第a次迭代的优化后的电熔镁炉工况识别模型，π_a,φ表示第a次迭代时选择选择向量/>的概率，h_a,φ表示第a次迭代的样本价值评估器。

步骤2.4.2：利用式(3)计算第a次迭代的梯度

步骤2.4.3：利用式(4)确定第a次迭代的奖励reward_a并更新第a+1次迭代的网络参数φ_a+1＝φ_a+reward_a：

式(4)中，β为学习率，δ_a为前a次迭代损失的移动平均值；

步骤2.4.4：将a+1赋值给a后，返回步骤2.1.1顺序执行，直到损失函数l_a(φ)收敛为止，从而得到训练后的DVRL-VST模型，并用于对待识别的电熔镁炉工况视频进行运行状态的识别。

Claims (1)

1.一种基于DVRL-VST网络的电熔镁炉异常工况视频识别方法，其特征在于，包括如下步骤：

步骤1：采集电熔镁炉工况视频并进行正常或异常的标注，从而将标注后的电熔镁炉工况视频分为正常视频以及异常视频；

对异常视频进行数据增广，并将增广后的异常视频和正常视频组合成视频集后划分为符合训练分布的训练集/>和符合目标分布/>的验证集/>其中，x_i表示所述训练集/>中第i个训练视频样本，y_i表示第i个训练视频样本x_i的标签，N为训练集/>中的样本数量；/>表示第k个验证视频样本，/>表示第k个验证视频样本/>的标签，L为验证集/>的样本数量；

步骤2：构建基于DVRL-VST网络的电熔镁炉运行工况识别模型，包括：基于DVRL的样本价值评估网络和基于VST的识别网络；

步骤2.1：基于DVRL的样本价值评估网络的训练：

所述基于DVRL的样本价值评估网络使用MLP多层感知器作为基本架构，并包括：输入层、隐藏层、输出层；且层与层之间通过全连接相连，且每层均设置有ReLU激活函数；

步骤2.1.1：从所述训练集中选择数量为B_s的一批训练样本数据集/>并输入所述基于DVRL的样本价值评估网络中，所述MLP多层感知器利用样本价值评估器h_φ对一批训练样本数据集/>进行处理，输出符合多项式分布的每个训练视频样本的选择概率集合，其中，一批训练样本数据集/>中第b_s个训练视频样本/>的选择概率记为/>令/>表示第b_s个视频样本/>对应的标签；令第b_s个视频样本/>的维度为T×H×W×3；其中，T表示视频样本的帧数，H表示视频样本的高度，W表示视频样本的宽度，3表示RGB三通道；

步骤2.1.2：对所述选择概率集合进行多项式分布采样，得到选择向量集合其中，/>表示第b_s个视频样本/>的选择向量，且取值为“0”或“1”；

步骤2.2：基于VST的电熔镁炉工况识别网络f_θ的训练：

所述基于VST的电熔镁炉工况识别网络f_θ依次包括：3D块分割、线性嵌入层、两个前端VST模块、块合并层、两个后端的VST模块；其中，每个VST模块均包括：一个基于3D滑动窗口的MSA多头自注意力模块和一个FFN前馈网络；在所述MSA多头自注意力模块和FFN前馈网络之前均连接有LN标准化层；

步骤2.2.1：将选择向量集合s中取值为“1”的视频样本一起输入基于VST的识别网络中，所述3D块分割将每个视频样本分割为T/2×H/4×W/4个不重合的3D块；

步骤2.2.2：将每个3D块分别输入所述线性嵌入层中进行C维特征空间的特征投影，从而得到T/2×H/4×W/4个C维特征的3D块；

步骤2.2.3：将T/2×H/4×W/4个C维特征的3D块输入两个前端VST模块中，并采用局部窗口自注意力的方式对3D块进行深度特征提取：

在第一个前端VST模块中，对T/2×H/4×W/4个C维特征的3D块进行标准窗口划分，得到每个划分窗口下的若干个3D块，并经过第一LN标准化层的标准化处理后，输入所述MSA多头自注意力模块中进行特征提取，并输出每个划分窗口下的浅层电熔镁炉运行工况特征；再经过第二LN标准化层的标准化处理后，输入所述FFN前馈网络中进行非线性编码，输出每个划分窗口下的非线性表示的浅层电熔镁炉运行工况特征，并传输给第二个前端VST模块；

在第二个前端VST模块中，采用移动窗口对所有划分窗口下的浅层电熔镁炉运行工况特征进行划分，得到每个移动划分窗口下的浅层电熔镁炉运行工况特征，再按照第一个前端VST模块中各个层和模块的处理过程进行特征提取，从而得到每个移动划分窗口下的前端深层电熔镁炉运行工况特征；

步骤2.2.4：所述块合并层通过2倍的空间下采样操作对每个移动划分窗口下相邻的前端深层电熔镁炉运行工况特征进行块合并处理后，再利用内部的应用线性嵌入层将连接后的特征的总维度4C降低至2C，从而得到T/2×H/8×W/8个2C维的电熔镁炉运行工况特征；

步骤2.2.5：将T/2×H/8×W/8个2C维的电熔镁炉运行工况特征依次输入到两个后端VST模块，并按照步骤2.2.3的过程进行特征提取，从而得到每个移动划分窗口下的后端深层电熔镁炉运行工况特征；

步骤2.3：利用式(1)构建基于VST的电熔镁炉工况识别模型f_θ的损失函数并使用梯度下降法对所述电熔镁炉工况识别模型f_θ进行优化，得到优化后的电熔镁炉工况识别模型/>

式(1)中，为均方误差MSE损失函数；/>为所述第b_s个视频样本/>经过基于VST的电熔镁炉工况识别网络的输出；

步骤2.4：基于所述验证集使用强化学习方法计算基于DVRL的样本价值评估网络的损失及其梯度，并将损失与之前损失的移动平均值δ进行比较，以确定奖励reward；

步骤2.4.1：定义当前迭代次数为a，并初始化a＝0，定义并初始化学习率β，令第a次迭代的移动平均值δ_a＝0，令基于DVRL的样本价值评估网络在第a次迭代的网络参数φ_a＝0；

步骤2.4.2：利用式(2)构建基于DVRL的样本价值评估网络在第a次迭代的损失函数l_a(φ)：

式(2)中，x^v表示验证集中所有验证视频样本，y^v表示验证集中所有验证视频样本的标签，/>表示第a次迭代的优化后的电熔镁炉工况识别模型，π_a,φ表示第a次迭代时选择所述选择向量/>的概率，h_a,φ表示第a次迭代的样本价值评估器；

步骤2.4.2：利用式(3)计算第a次迭代的梯度▽_φl_a(φ)：

步骤2.4.3：利用式(4)确定第a次迭代的奖励reward_a并更新第a+1次迭代的网络参数φ_a+1＝φ_a+reward_a：

式(4)中，β为学习率，δ_a为前a次迭代损失的移动平均值；

步骤2.4.4：将a+1赋值给a后，返回步骤2.1.1顺序执行，直到所述损失函数l_a(φ)收敛为止，从而得到训练后的DVRL-VST模型，并用于对待识别的电熔镁炉工况视频进行运行状态的识别。