CN114842383A - 一种基于dvrl-vst的电熔镁炉工况视频识别方法 - Google Patents

一种基于dvrl-vst的电熔镁炉工况视频识别方法 Download PDF

Info

Publication number
CN114842383A
CN114842383A CN202210474871.1A CN202210474871A CN114842383A CN 114842383 A CN114842383 A CN 114842383A CN 202210474871 A CN202210474871 A CN 202210474871A CN 114842383 A CN114842383 A CN 114842383A
Authority
CN
China
Prior art keywords
vst
video
layer
sample
fused magnesia
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210474871.1A
Other languages
English (en)
Other versions
CN114842383B (zh
Inventor
李帷韬
胡平路
张雪松
侯建平
管树志
杨盛世
孙伟
李奇越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202210474871.1A priority Critical patent/CN114842383B/zh
Publication of CN114842383A publication Critical patent/CN114842383A/zh
Application granted granted Critical
Publication of CN114842383B publication Critical patent/CN114842383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Vertical, Hearth, Or Arc Furnaces (AREA)

Abstract

本发明公开了一种基于DVRL‑VST的电熔镁炉工况视频识别方法，包括：1通过CycleGAN风格迁移架构进行异常样本增广；2将增强后的数据输入基于强化学习样本价值评估和VST的DVRL‑VST网络进行训练；3利用训练结果对电熔镁炉运行视频进行工况识别。本发明能排除生产现场环境光变化以及不同电熔镁炉炉壳固有视觉特征的变化带来的干扰，并使用工况的视频信号，从空间和时间两个维度提取电熔镁炉异常工况局部缓变的时空特征来识别异常工况，从而能提高识别断精度。

Description

一种基于DVRL-VST的电熔镁炉工况视频识别方法
技术领域
本发明涉及计算机视觉技术领域，涉及一种基于DVRL-VST的电熔镁炉工况视频识别方法。
背景技术
电熔镁砂熔点高、抗氧化、耐腐蚀性强，是一种优良的耐高温化工材料，应用前景广阔，在现代工业中有着举足轻重的地位。我国电熔镁行业主要以菱镁矿为原料通过三相交流电熔镁炉熔炼再结晶进行生产制备。其中，“欠烧工况”是一种炉壁局部过热烧红的异常工况，其成因是由于原料杂质不均匀，在某段时间部分原料燃烧不充分而没有完全达到熔融状态，在炉内搅拌不均匀形成巨大气泡，气泡内温度远高于熔液温度，进而导致炉体温度局部过高，引起炉壁过热烧红。倘若未能及时处理，将导致炉壁烧穿，造成巨大经济损失，高温矿物熔液泄露还可能危及现场工人的安全。目前，电熔镁炉欠烧工况的预警主要依靠现场工人的不间断巡检，以保证电熔镁炉正常运行。工人通过观察生产过程中炉口火焰的形态、亮度、火星，以及炉壁是否有过热烧红区域等特征，根据经验预先判断可能会发生的欠烧工况。人工巡检的主要问题是：1)工人巡检劳动强度大，且工况判别的准确性与现场工人的经验和状态相关，容易漏检、误检；2)现场生产环境恶劣(强光、高温、灰尘、噪声等)，危险性高，不适于工人长时间现场巡检。因此，企业急需一种智能的欠烧工况识别技术，能够稳定、准确地在欠烧工况刚发生的时候预警，以保证安全生产。
发明内容
本发明是为了解决上述现有技术存在的不足之处，提出一种基于DVRL-VST的电熔镁炉工况视频识别方法，以期能从空间和时间两个维度提取电熔镁炉异常工况局部缓变的时空特征，并能够排除生产现场环境光变化以及不同电熔镁炉炉壳固有视觉特征的变化带来的干扰，从而提高异常工况的识别精度，并实现无人化监控。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种基于DVRL-VST网络的电熔镁炉异常工况视频识别方法的特点在于，包括如下步骤：
步骤1：采集电熔镁炉工况视频并进行正常或异常的标注，从而将标注后的电熔镁炉工况视频分为正常视频以及异常视频；
对异常视频进行数据增广，并将增广后的异常视频和正常视频组合成视频集后划分为符合训练分布
Figure BDA0003624998050000011
的训练集
Figure BDA0003624998050000012
和符合目标分布
Figure BDA0003624998050000013
的验证集
Figure BDA0003624998050000014
其中，xi表示所述训练集
Figure BDA0003624998050000021
中第i个训练视频样本，yi表示第i个训练视频样本xi的标签，N为训练集
Figure BDA0003624998050000022
中的样本数量；
Figure BDA0003624998050000023
表示第k个验证视频样本，
Figure BDA0003624998050000024
表示第k个验证视频样本
Figure BDA0003624998050000025
的标签，L为验证集
Figure BDA0003624998050000026
的样本数量；
步骤2：构建基于DVRL-VST网络的电熔镁炉运行工况识别模型，包括：基于DVRL的样本价值评估网络和基于VST的识别网络；
步骤2.1：基于DVRL的样本价值评估网络的训练：
所述基于DVRL的样本价值评估网络使用MLP多层感知器作为基本架构，并包括：输入层、隐藏层、输出层；且层与层之间通过全连接相连，且每层均设置有ReLU激活函数；
步骤2.1.1：从所述训练集
Figure BDA0003624998050000027
中选择数量为Bs的一批训练样本数据集
Figure BDA0003624998050000028
并输入所述基于DVRL的样本价值评估网络中，所述MLP多层感知器利用样本价值评估器hφ对一批训练样本数据集
Figure BDA0003624998050000029
进行处理，输出符合多项式分布的每个训练视频样本的选择概率集合，其中，一批训练样本数据集
Figure BDA00036249980500000210
中第bs个训练视频样本
Figure BDA00036249980500000211
的选择概率记为
Figure BDA00036249980500000212
令
Figure BDA00036249980500000213
表示第bs个视频样本
Figure BDA00036249980500000214
对应的标签；令第bs个视频样本
Figure BDA00036249980500000215
的维度为T×H×W×3；其中，T表示视频样本的帧数，H表示视频样本的高度，W表示视频样本的宽度，3表示RGB三通道；
步骤2.1.2：对所述选择概率集合进行多项式分布采样，得到选择向量集合
Figure BDA00036249980500000216
其中，
Figure BDA00036249980500000217
表示第bs个视频样本
Figure BDA00036249980500000218
的选择向量，且取值为“0”或“1”；
步骤2.2：基于VST的电熔镁炉工况识别网络fθ的训练：
所述基于VST的电熔镁炉工况识别网络fθ依次包括：3D块分割、线性嵌入层、两个前端VST模块、块合并层、两个后端的VST模块；其中，每个VST模块均包括：一个基于3D滑动窗口的MSA多头自注意力模块和一个FFN前馈网络；在所述MSA多头自注意力模块和FFN前馈网络之前均连接有LN标准化层；
步骤2.2.1：将选择向量集合s中取值为“1”的视频样本一起输入基于VST的识别网络中，所述3D块分割将每个视频样本分割为T/2×H/4×W/4个不重合的3D块；
步骤2.2.2：将每个3D块分别输入所述线性嵌入层中进行C维特征空间的特征投影，从而得到T/2×H/4×W/4个C维特征的3D块；
步骤2.2.3：将T/2×H/4×W/4个C维特征的3D块输入两个前端VST模块中，并采用局部窗口自注意力的方式对3D块进行深度特征提取：
在第一个前端VST模块中，对T/2×H/4×W/4个C维特征的3D块进行标准窗口划分，得到每个划分窗口下的若干个3D块，并经过第一LN标准化层的标准化处理后，输入所述MSA多头自注意力模块中进行特征提取，并输出每个划分窗口下的浅层电熔镁炉运行工况特征；再经过第二LN标准化层的标准化处理后，输入所述FFN前馈网络中进行非线性编码，输出每个划分窗口下的非线性表示的浅层电熔镁炉运行工况特征，并传输给第二个前端VST模块；
在第二个前端VST模块中，采用移动窗口对所有划分窗口下的浅层电熔镁炉运行工况特征进行划分，得到每个移动划分窗口下的浅层电熔镁炉运行工况特征，再按照第一个前端VST模块中各个层和模块的处理过程进行特征提取，从而得到每个移动划分窗口下的前端深层电熔镁炉运行工况特征；
步骤2.2.4：所述块合并层通过2倍的空间下采样操作对每个移动划分窗口下相邻的前端深层电熔镁炉运行工况特征进行块合并处理后，再利用内部的应用线性嵌入层将连接后的特征的总维度4C降低至2C，从而得到T/2×H/8×W/8个2C维的电熔镁炉运行工况特征；
步骤2.2.5：将T/2×H/8×W/8个2C维的电熔镁炉运行工况特征依次输入到两个后端VST模块，并按照步骤2.2.3的过程进行特征提取，从而得到每个移动划分窗口下的后端深层电熔镁炉运行工况特征；
步骤2.3：利用式(1)构建基于VST的电熔镁炉工况识别模型fθ的损失函数
Figure BDA0003624998050000031
并使用梯度下降法对所述电熔镁炉工况识别模型fθ进行优化，得到优化后的电熔镁炉工况识别模型
Figure BDA0003624998050000032
Figure BDA0003624998050000033
式(1)中，
Figure BDA0003624998050000034
为均方误差MSE损失函数；
Figure BDA0003624998050000035
为所述第bs个视频样本
Figure BDA0003624998050000036
经过基于VST的电熔镁炉工况识别网络的输出；
步骤2.4：基于所述验证集
Figure BDA0003624998050000037
使用强化学习方法计算基于DVRL的样本价值评估网络的损失及其梯度，并将损失与之前损失的移动平均值δ进行比较，以确定奖励reward；
步骤2.4.1：定义当前迭代次数为a，并初始化a＝0，定义并初始化学习率β，令第a次迭代的移动平均值δa＝0，令基于DVRL的样本价值评估网络在第a次迭代的网络参数φa＝0；
步骤2.4.2：利用式(2)构建基于DVRL的样本价值评估网络在第a次迭代的损失函数la(φ)：
Figure BDA0003624998050000041
式(2)中，xv表示验证集
Figure BDA0003624998050000042
中所有验证视频样本，yv表示验证集
Figure BDA0003624998050000043
中所有验证视频样本的标签，
Figure BDA0003624998050000044
表示第a次迭代的优化后的电熔镁炉工况识别模型，πa,φ表示第a次迭代时选择所述选择向量
Figure BDA0003624998050000045
的概率，
Figure BDA0003624998050000046
ha,φ表示第a次迭代的样本价值评估器；
步骤2.4.2：利用式(3)计算第a次迭代的梯度
Figure BDA0003624998050000047
Figure BDA0003624998050000048
步骤2.4.3：利用式(4)确定第a次迭代的奖励rewarda并更新第a+1次迭代的网络参数φa+1＝φa+rewarda：
Figure BDA0003624998050000049
式(4)中，β为学习率，δa为前a次迭代损失的移动平均值；
步骤2.4.4：将a+1赋值给a后，返回步骤2.1.1顺序执行，直到所述损失函数la(φ)收敛为止，从而得到训练后的DVRL-VST模型，并用于对待识别的电熔镁炉工况视频进行运行状态的识别。
与现有技术相比，本发明的有益效果在于：
1、本发明通过计算机视觉使用摄像头对电熔镁炉运行工况进行识别，对采集的视频信息建立电熔镁炉欠烧工况的图像识别模型，实现了基于监控视频的电熔镁炉欠烧工况的自动识别技术，减少了电熔镁砂生产过程中，对人工巡检的依赖。
2、本发明通过对采集的电熔镁炉运行工况视频进行识别，从空间和时间两个维度提取电熔镁炉异常工况局部缓变的时空特征，解决了环境光和水雾等干扰对图片识别精度的影响，识别精度相比静态图像识别更高。
3、本发明通过样本价值评估模型，使用强化学习方法对样本价值进行量化。对训练识别网络使用的样本进行筛选，在训练过程中过滤了低价值的和标签错误的样本，只使用高价值样本进行训练，从而提高了模型的训练速度和识别的鲁棒性。
附图说明
图1为本发明基于DVRL-VST的电熔镁炉工况视频识别方法的主要架构图；
图2为本发明基于VST的电熔镁炉工况识别网络的结构图。
具体实施方式
本实施例中，参照图1，一种基于DVRL-VST网络的电熔镁炉异常工况视频识别方法，包括如下步骤：
步骤1：采集电熔镁炉工况视频并进行正常或异常的标注，从而将标注后的电熔镁炉工况视频分为正常视频以及异常视频；
对异常视频进行数据增广，将切分出的正常视频以及异常视频作为训练集输入到CycleGAN网络模型进行训练，得到训练后的CycleGAN模型，用来将正常视频迁移为人工异常视频。并将增广后的异常视频和正常视频组合成视频集后划分为符合训练分布
Figure BDA0003624998050000051
的训练集
Figure BDA0003624998050000052
和符合目标分布
Figure BDA0003624998050000053
的验证集
Figure BDA0003624998050000054
其中，xi表示训练集
Figure BDA0003624998050000055
中第i个训练视频样本，yi表示第i个训练视频样本xi的标签，N为训练集
Figure BDA0003624998050000056
中的样本数量；
Figure BDA0003624998050000057
表示第k个验证视频样本，
Figure BDA0003624998050000058
表示第k个验证视频样本
Figure BDA0003624998050000059
的标签，L为验证集
Figure BDA00036249980500000510
的样本数量；
步骤2：构建基于DVRL-VST网络的电熔镁炉运行工况识别模型，包括：基于DVRL的样本价值评估网络和基于VST的识别网络；
步骤2.1：基于DVRL的样本价值评估网络的训练：
基于DVRL的样本价值评估网络使用MLP多层感知器作为基本架构，并包括：具有3个输入变量的输入层；具有七个神经元的隐藏层；具有3个输出变量的输出层；且层与层之间通过全连接相连，且每层均设置有ReLU激活函数；
步骤2.1.1：从训练集
Figure BDA00036249980500000511
中选择数量为Bs的一批训练样本数据集
Figure BDA00036249980500000512
并输入基于DVRL的样本价值评估网络中，MLP多层感知器利用样本价值评估器hφ对一批训练样本数据集
Figure BDA00036249980500000513
进行处理，输出符合多项式分布的每个训练视频样本的选择概率集合，其中，一批训练样本数据集
Figure BDA00036249980500000514
中第bs个训练视频样本
Figure BDA00036249980500000515
的选择概率记为
Figure BDA00036249980500000516
令
Figure BDA00036249980500000517
表示第bs个视频样本
Figure BDA00036249980500000518
对应的标签；令第bs个视频样本
Figure BDA0003624998050000061
的维度为T×H×W×3；其中，T表示视频样本的帧数，H表示视频样本的高度，W表示视频样本的宽度，3表示RGB三通道；
步骤2.1.2：对选择概率集合进行多项式分布采样，得到选择向量集合
Figure BDA0003624998050000062
其中，
Figure BDA0003624998050000063
表示第bs个视频样本
Figure BDA0003624998050000064
的选择向量，且取值为“0”或“1”；
步骤2.2：基于VST的电熔镁炉工况识别网络fθ的训练：
基于VST的电熔镁炉工况识别网络fθ依次包括：3D块分割、线性嵌入层、两个前端VST模块、块合并层、两个后端的VST模块，整体结构参照图2；其中，每个VST模块均包括：一个基于3D滑动窗口的MSA多头自注意力模块和一个FFN前馈网络；在MSA多头自注意力模块和FFN前馈网络之前均连接有LN标准化层；
步骤2.2.1：将选择向量集合s中取值为“1”的视频样本一起输入基于VST的识别网络中，3D块分割将每个视频样本分割为T/2×H/4×W/4个不重合的大小为2×4×4的3D块；
步骤2.2.2：将每个3D块分别输入线性嵌入层中进行C维特征空间的特征投影，从而得到T/2×H/4×W/4个C维特征的3D块，其中C＝96；
步骤2.2.3：将T/2×H/4×W/4个C维特征的3D块输入两个前端VST模块中，并采用局部窗口自注意力的方式对3D块进行深度特征提取：
在第一个前端VST模块中，对T/2×H/4×W/4个C维特征的3D块进行标准窗口划分，每个窗口大小为8×7×7。得到每个划分窗口下的若干个3D块，并经过第一LN标准化层的标准化处理后，输入MSA多头自注意力模块中进行特征提取，并输出每个划分窗口下的浅层电熔镁炉运行工况特征；再经过第二LN标准化层的标准化处理后，输入FFN前馈网络中进行非线性编码，输出每个划分窗口下的非线性表示的浅层电熔镁炉运行工况特征，并传输给第二个前端VST模块；
在第二个前端VST模块中，采用移动窗口对所有划分窗口下的浅层电熔镁炉运行工况特征进行划分，每个窗口相比第一个前端VST模块中的窗口在时间轴、高度轴和宽度轴上分别移动2个单位。得到每个移动划分窗口下的浅层电熔镁炉运行工况特征，再按照第一个前端VST模块中各个层和模块的处理过程进行特征提取，从而得到每个移动划分窗口下的前端深层电熔镁炉运行工况特征；
步骤2.2.4：块合并层通过2倍的空间下采样操作对每个移动划分窗口下相邻的前端深层电熔镁炉运行工况特征进行块合并处理后，再利用内部的应用线性嵌入层将连接后的特征的总维度4C降低至2C，从而得到T/2×H/8×W/8个2C维的电熔镁炉运行工况特征；
步骤2.2.5：将T/2×H/8×W/8个2C维的电熔镁炉运行工况特征依次输入到两个后端VST模块，并按照步骤2.2.3的过程进行特征提取，从而得到每个移动划分窗口下的后端深层电熔镁炉运行工况特征；
步骤2.3：利用式(1)构建基于VST的电熔镁炉工况识别模型fθ的损失函数
Figure BDA0003624998050000071
并使用梯度下降法对电熔镁炉工况识别模型fθ进行优化，得到优化后的电熔镁炉工况识别模型
Figure BDA0003624998050000072
Figure BDA0003624998050000073
式(1)中，
Figure BDA0003624998050000074
为均方误差MSE损失函数；
Figure BDA0003624998050000075
为第bs个视频样本
Figure BDA0003624998050000076
经过基于VST的电熔镁炉工况识别网络的输出；
步骤2.4：基于验证集
Figure BDA0003624998050000077
使用强化学习方法计算基于DVRL的样本价值评估网络的损失及其梯度，并将损失与之前损失的移动平均值δ进行比较，以确定奖励reward；
步骤2.4.1：定义当前迭代次数为a，并初始化a＝0，定义并初始化学习率β，令第a次迭代的移动平均值δa＝0，令基于DVRL的样本价值评估网络在第a次迭代的网络参数φa＝0；
步骤2.4.2：利用式(2)构建基于DVRL的样本价值评估网络在第a次迭代的损失函数la(φ)：
Figure BDA0003624998050000078
式(2)中，xv表示验证集
Figure BDA0003624998050000079
中所有验证视频样本，yv表示验证集
Figure BDA00036249980500000710
中所有验证视频样本的标签，
Figure BDA00036249980500000711
表示第a次迭代的优化后的电熔镁炉工况识别模型，πa,φ表示第a次迭代时选择选择向量
Figure BDA00036249980500000712
的概率，
Figure BDA00036249980500000713
ha,φ表示第a次迭代的样本价值评估器。
步骤2.4.2：利用式(3)计算第a次迭代的梯度
Figure BDA00036249980500000714
Figure BDA0003624998050000081
步骤2.4.3：利用式(4)确定第a次迭代的奖励rewarda并更新第a+1次迭代的网络参数φa+1＝φa+rewarda：
Figure BDA0003624998050000082
式(4)中，β为学习率，δa为前a次迭代损失的移动平均值；
步骤2.4.4：将a+1赋值给a后，返回步骤2.1.1顺序执行，直到损失函数la(φ)收敛为止，从而得到训练后的DVRL-VST模型，并用于对待识别的电熔镁炉工况视频进行运行状态的识别。

Claims (1)

1.一种基于DVRL-VST网络的电熔镁炉异常工况视频识别方法，其特征在于，包括如下步骤：
步骤1：采集电熔镁炉工况视频并进行正常或异常的标注，从而将标注后的电熔镁炉工况视频分为正常视频以及异常视频；
对异常视频进行数据增广，并将增广后的异常视频和正常视频组合成视频集后划分为符合训练分布
Figure FDA0003624998040000011
的训练集
Figure FDA0003624998040000012
和符合目标分布
Figure FDA0003624998040000013
的验证集
Figure FDA0003624998040000014
其中，xi表示所述训练集
Figure FDA0003624998040000015
中第i个训练视频样本，yi表示第i个训练视频样本xi的标签，N为训练集
Figure FDA0003624998040000016
中的样本数量；
Figure FDA0003624998040000017
表示第k个验证视频样本，
Figure FDA0003624998040000018
表示第k个验证视频样本
Figure FDA0003624998040000019
的标签，L为验证集
Figure FDA00036249980400000110
的样本数量；
步骤2：构建基于DVRL-VST网络的电熔镁炉运行工况识别模型，包括：基于DVRL的样本价值评估网络和基于VST的识别网络；
步骤2.1：基于DVRL的样本价值评估网络的训练：
所述基于DVRL的样本价值评估网络使用MLP多层感知器作为基本架构，并包括：输入层、隐藏层、输出层；且层与层之间通过全连接相连，且每层均设置有ReLU激活函数；
步骤2.1.1：从所述训练集
Figure FDA00036249980400000111
中选择数量为Bs的一批训练样本数据集
Figure FDA00036249980400000112
并输入所述基于DVRL的样本价值评估网络中，所述MLP多层感知器利用样本价值评估器hφ对一批训练样本数据集
Figure FDA00036249980400000113
进行处理，输出符合多项式分布的每个训练视频样本的选择概率集合，其中，一批训练样本数据集
Figure FDA00036249980400000114
中第bs个训练视频样本
Figure FDA00036249980400000115
的选择概率记为
Figure FDA00036249980400000116
令
Figure FDA00036249980400000117
表示第bs个视频样本
Figure FDA00036249980400000118
对应的标签；令第bs个视频样本
Figure FDA00036249980400000119
的维度为T×H×W×3；其中，T表示视频样本的帧数，H表示视频样本的高度，W表示视频样本的宽度，3表示RGB三通道；
步骤2.1.2：对所述选择概率集合进行多项式分布采样，得到选择向量集合
Figure FDA00036249980400000120
其中，
Figure FDA00036249980400000121
表示第bs个视频样本
Figure FDA00036249980400000122
的选择向量，且取值为“0”或“1”；
步骤2.2：基于VST的电熔镁炉工况识别网络fθ的训练：
所述基于VST的电熔镁炉工况识别网络fθ依次包括：3D块分割、线性嵌入层、两个前端VST模块、块合并层、两个后端的VST模块；其中，每个VST模块均包括：一个基于3D滑动窗口的MSA多头自注意力模块和一个FFN前馈网络；在所述MSA多头自注意力模块和FFN前馈网络之前均连接有LN标准化层；
步骤2.2.1：将选择向量集合s中取值为“1”的视频样本一起输入基于VST的识别网络中，所述3D块分割将每个视频样本分割为T/2×H/4×W/4个不重合的3D块；
步骤2.2.2：将每个3D块分别输入所述线性嵌入层中进行C维特征空间的特征投影，从而得到T/2×H/4×W/4个C维特征的3D块；
步骤2.2.3：将T/2×H/4×W/4个C维特征的3D块输入两个前端VST模块中，并采用局部窗口自注意力的方式对3D块进行深度特征提取：
在第一个前端VST模块中，对T/2×H/4×W/4个C维特征的3D块进行标准窗口划分，得到每个划分窗口下的若干个3D块，并经过第一LN标准化层的标准化处理后，输入所述MSA多头自注意力模块中进行特征提取，并输出每个划分窗口下的浅层电熔镁炉运行工况特征；再经过第二LN标准化层的标准化处理后，输入所述FFN前馈网络中进行非线性编码，输出每个划分窗口下的非线性表示的浅层电熔镁炉运行工况特征，并传输给第二个前端VST模块；
在第二个前端VST模块中，采用移动窗口对所有划分窗口下的浅层电熔镁炉运行工况特征进行划分，得到每个移动划分窗口下的浅层电熔镁炉运行工况特征，再按照第一个前端VST模块中各个层和模块的处理过程进行特征提取，从而得到每个移动划分窗口下的前端深层电熔镁炉运行工况特征；
步骤2.2.4：所述块合并层通过2倍的空间下采样操作对每个移动划分窗口下相邻的前端深层电熔镁炉运行工况特征进行块合并处理后，再利用内部的应用线性嵌入层将连接后的特征的总维度4C降低至2C，从而得到T/2×H/8×W/8个2C维的电熔镁炉运行工况特征；
步骤2.2.5：将T/2×H/8×W/8个2C维的电熔镁炉运行工况特征依次输入到两个后端VST模块，并按照步骤2.2.3的过程进行特征提取，从而得到每个移动划分窗口下的后端深层电熔镁炉运行工况特征；
步骤2.3：利用式(1)构建基于VST的电熔镁炉工况识别模型fθ的损失函数
Figure FDA0003624998040000021
并使用梯度下降法对所述电熔镁炉工况识别模型fθ进行优化，得到优化后的电熔镁炉工况识别模型
Figure FDA0003624998040000022
Figure FDA0003624998040000023
式(1)中，
Figure FDA0003624998040000024
为均方误差MSE损失函数；
Figure FDA0003624998040000025
为所述第bs个视频样本
Figure FDA0003624998040000026
经过基于VST的电熔镁炉工况识别网络的输出；
步骤2.4：基于所述验证集
Figure FDA0003624998040000031
使用强化学习方法计算基于DVRL的样本价值评估网络的损失及其梯度，并将损失与之前损失的移动平均值δ进行比较，以确定奖励reward；
步骤2.4.1：定义当前迭代次数为a，并初始化a＝0，定义并初始化学习率β，令第a次迭代的移动平均值δa＝0，令基于DVRL的样本价值评估网络在第a次迭代的网络参数φa＝0；
步骤2.4.2：利用式(2)构建基于DVRL的样本价值评估网络在第a次迭代的损失函数la(φ)：
Figure FDA0003624998040000032
式(2)中，xv表示验证集
Figure FDA0003624998040000033
中所有验证视频样本，yv表示验证集
Figure FDA0003624998040000034
中所有验证视频样本的标签，
Figure FDA0003624998040000035
表示第a次迭代的优化后的电熔镁炉工况识别模型，πa,φ表示第a次迭代时选择所述选择向量
Figure FDA0003624998040000036
的概率，
Figure FDA0003624998040000037
ha,φ表示第a次迭代的样本价值评估器；
步骤2.4.2：利用式(3)计算第a次迭代的梯度▽φla(φ)：
Figure FDA0003624998040000038
步骤2.4.3：利用式(4)确定第a次迭代的奖励rewarda并更新第a+1次迭代的网络参数φa+1＝φa+rewarda：
Figure FDA0003624998040000039
式(4)中，β为学习率，δa为前a次迭代损失的移动平均值；
步骤2.4.4：将a+1赋值给a后，返回步骤2.1.1顺序执行，直到所述损失函数la(φ)收敛为止，从而得到训练后的DVRL-VST模型，并用于对待识别的电熔镁炉工况视频进行运行状态的识别。
CN202210474871.1A 2022-04-29 2022-04-29 一种基于dvrl-vst的电熔镁炉工况视频识别方法 Active CN114842383B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210474871.1A CN114842383B (zh) 2022-04-29 2022-04-29 一种基于dvrl-vst的电熔镁炉工况视频识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210474871.1A CN114842383B (zh) 2022-04-29 2022-04-29 一种基于dvrl-vst的电熔镁炉工况视频识别方法

Publications (2)

Publication Number Publication Date
CN114842383A true CN114842383A (zh) 2022-08-02
CN114842383B CN114842383B (zh) 2024-02-20

Family

ID=82568132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210474871.1A Active CN114842383B (zh) 2022-04-29 2022-04-29 一种基于dvrl-vst的电熔镁炉工况视频识别方法

Country Status (1)

Country Link
CN (1) CN114842383B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116206154A (zh) * 2023-02-17 2023-06-02 北京科技大学 一种非常见工况下的污水处理过程的故障分类方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844770A (zh) * 2017-11-03 2018-03-27 东北大学 一种基于视频的电熔镁炉异常工况自动识别系统
CN107976992A (zh) * 2017-11-29 2018-05-01 东北大学 基于图半监督支持向量机的工业过程大数据故障监测方法
JP6980958B1 (ja) * 2021-06-23 2021-12-15 中国科学院西北生態環境資源研究院 深層学習に基づく農村地域分けゴミ識別方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844770A (zh) * 2017-11-03 2018-03-27 东北大学 一种基于视频的电熔镁炉异常工况自动识别系统
CN107976992A (zh) * 2017-11-29 2018-05-01 东北大学 基于图半监督支持向量机的工业过程大数据故障监测方法
JP6980958B1 (ja) * 2021-06-23 2021-12-15 中国科学院西北生態環境資源研究院 深層学習に基づく農村地域分けゴミ識別方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭章;王克栋;程盟盟;刘晓丽;卢绍文;: "基于图像电熔镁炉欠烧工况的判别系统", 控制工程, no. 02, 20 February 2020 (2020-02-20) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116206154A (zh) * 2023-02-17 2023-06-02 北京科技大学 一种非常见工况下的污水处理过程的故障分类方法
CN116206154B (zh) * 2023-02-17 2024-02-13 北京科技大学 一种非常见工况下的污水处理过程的故障分类方法

Also Published As

Publication number Publication date
CN114842383B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
CN104992449B (zh) 基于机器视觉的信息识别及表面缺陷在线检测方法
US20170261264A1 (en) Fault diagnosis device based on common information and special information of running video information for electric-arc furnace and method thereof
CN110070008B (zh) 一种采用无人机图像的桥梁病害识别方法
CN113762240B (zh) 一种基于深度学习的熔覆层几何特征预测方法及系统
CN112614105B (zh) 一种基于深度网络的3d点云焊点缺陷检测方法
CN109693140B (zh) 一种智能化柔性生产线及其工作方法
CN113820326B (zh) 一种长码拉链的缺陷检测系统
CN114842383A (zh) 一种基于dvrl-vst的电熔镁炉工况视频识别方法
CN108364306B (zh) 一种高速周期运动的视觉实时检测方法
CN113627435A (zh) 一种瓷砖的瑕疵检测与识别方法及系统
CN113077423B (zh) 基于卷积神经网络的激光选区熔化熔池图像分析系统
CN115564031A (zh) 一种用于玻璃缺陷检测的检测网络
CN110057820B (zh) 在线检测氯化氢合成炉氯氢配比的方法、系统及存储介质
CN115423785A (zh) 一种缺陷检测系统、方法、装置、电子设备及存储介质
CN117078641A (zh) 基于主动强化学习与多模态的电熔镁炉欠烧工况识别方法
CN105095897A (zh) 一种基于梯度图像和相似度加权的数字识别方法
CN113814367B (zh) 一种基于可见光的连铸坯智能切割定尺方法
CN115625317A (zh) 一种用于压铸调控的表面水纹优化处理方法及系统
CN117677969A (zh) 一种缺陷检测的方法和装置
TW202326114A (zh) 長碼拉鏈的缺陷或瑕疵檢測系統
CN113674249A (zh) 基于工业互联网的pcb板印刷质量检测方法
CN113012113A (zh) 一种高铁接触网供电设备螺栓松动自动检测方法
CN117787480B (zh) 基于Res-LSTM的焊缝成形质量实时预测方法
CN110674754A (zh) 一种在线间歇中空滤棒视觉缺陷检测识别系统
EP3748444B1 (en) Method and system for connected advanced flare analytics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant