CN115033724B - 基于多模态调制算法的电熔镁炉异常工况识别方法 - Google Patents
基于多模态调制算法的电熔镁炉异常工况识别方法 Download PDFInfo
- Publication number
- CN115033724B CN115033724B CN202210767932.3A CN202210767932A CN115033724B CN 115033724 B CN115033724 B CN 115033724B CN 202210767932 A CN202210767932 A CN 202210767932A CN 115033724 B CN115033724 B CN 115033724B
- Authority
- CN
- China
- Prior art keywords
- fault
- electric smelting
- magnesium furnace
- image data
- smelting magnesium
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- FYYHWMGAXLPEAU-UHFFFAOYSA-N Magnesium Chemical compound [Mg] FYYHWMGAXLPEAU-UHFFFAOYSA-N 0.000 title claims abstract description 97
- 229910052749 magnesium Inorganic materials 0.000 title claims abstract description 97
- 239000011777 magnesium Substances 0.000 title claims abstract description 97
- 238000003723 Smelting Methods 0.000 title claims abstract description 83
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000013528 artificial neural network Methods 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000010606 normalization Methods 0.000 claims abstract description 8
- 238000012216 screening Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims abstract description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 229920002334 Spandex Polymers 0.000 claims description 2
- 239000004759 spandex Substances 0.000 claims description 2
- 238000002844 melting Methods 0.000 abstract description 8
- 230000008018 melting Effects 0.000 abstract description 8
- 238000003745 diagnosis Methods 0.000 abstract description 2
- 238000012423 maintenance Methods 0.000 abstract 1
- 238000007689 inspection Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004092 self-diagnosis Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/535—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Library & Information Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Waste-Gas Treatment And Other Accessory Devices For Furnaces (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明公开了一种基于多模态调制算法的电熔镁炉异常工况识别方法，其步骤包括：1、采集电熔镁炉的历史数据，并进行数据筛选；2、数据样本进行归一化处理；3、构建多模态调制神经网络MNN并初始化网络参数、4、训练多模态调制神经网络MNN；5、基于多模态理解对电熔镁炉异常工况进行识别，得到识别结果。本发明能实现电熔镁炉异常工况诊断，评估电熔镁炉的健康状态并提供电熔镁炉的维修建议，确保工厂安全高效平稳运行，从而能提高异常工况识别的准确性和工厂生产的稳定性。
Description
技术领域
本发明涉及工业炼镁智能控制领域，具体的说是一种基于多模态调制算法的电熔镁炉异常工况识别方法。
背景技术
电熔镁炉故障数据由于超高温电熔镁炉熔液温度不直接可测，目前欠烧异常工况主要通过现场工人定期观察炉壳特征来诊断。但人工巡检工作强度大、危险性高，且准确性高度依赖操作人员的经验和状态。此外，通常从正常工况到产生欠烧工况仅需2～3分钟，而巡检工人通常需要对每个厂区内的三台电熔镁炉进行往返巡视，滞后性大，处理不及时会导致漏检。针对上述问题，亟需一种自动且快速有效的电熔镁炉工况诊断方法。
发明内容
针对现有技术的不足，本发明旨在解决电熔镁炉控制系统中人工巡检工作强度大、危险性高、准确性高度依赖操作人员的经验和状态和企业数据易泄露等问题，提出一种基于多模态调制算法的熔镁炉异常工况识别方法，以期实现对电熔镁炉控制系统工况诊断的优化，提高电熔镁炉异常工况识别的准确性。
本发明为解决技术问题采用如下技术方案：
本发明一种基于多模态调制算法的电熔镁炉异常工况识别方法的特点是按照以下步骤进行：
步骤1、采集电熔镁炉工况的异常故障图像数据，并进行数据筛选：
步骤1.1、采集电熔镁炉的历史数据并组成原始故障图像数据集D，记为D＝(d1,d2,...,di,...,dN)，di为所述原始故障图像数据集D中第i个时刻点的电熔镁炉工况异常图像，1 i N，N为所述原始故障图像数据集的时刻点总数；
步骤1.2、检查所述原始故障图像数据集D中是否存在缺失值，若存在缺失值，则利用三次样条插值对所有缺失值进行插补，从而得到完整的故障图像数据集 为所述完整的故障图像数据集D*中第i个时刻点的电熔镁炉工况异常图像数据；
步骤1.3、定义修正次数为a，并初始化a＝0；
步骤1.4、以所述完整的故障图像数据集作为第a次校验的故障图像数据集/>其中，/>为所述完整的故障图像数据集Da中第i个时刻点的电熔镁炉工况异常图像数据；
步骤1.5、利用Z-score算法检验所述第a次校验的故障图像数据集Da中是否存在异常值，若存在异常值，则利用所述三次样条插值修正所述异常值，从而得到第a+1次校验的故障图像数据集 为第a+1次校验的故障图像数据集Da+1中第i个时刻点的电熔镁炉故障图像数据；
步骤1.6、将a+1赋值给a并返回步骤1.5执行，直到校验的故障图像数据集中不存在异常图像数据为止，从而得到最终的异常故障图像数据集D＝(d1,d2,...,di,...,dN)，其中，d′i为所述完整的故障图像数据集D′中第i个时刻点的电熔镁炉工况异常故障图像数据；
步骤2、样本归一化处理：
步骤2.1、对所述最终的异常故障图像数据集D′进行归一化处理，获得归一化后的异常故障图像数据集D＝(d1,d2,...,di,...,dN)，其中，di为归一化后的异常故障图像数据集D中第i个时刻点的电熔镁炉故障数据，其维度为c0×h×w，其中c0为图像通道数，h为图像高度，w为图像宽度；
步骤2.2、对归一化后的异常故障图像数据集D进行数据标注，得到电熔镁炉工况异常故障图像数据集D上标注的标签真实值y＝{y1,y2,...,yi,...,yN}，yi为第i个时刻点的电熔镁炉故障数据di上标注的标签真实值；
步骤2.3、获取电熔镁炉异常故障的文本特征序列s＝{s1,s2,...,si,...,sN}，其中，si为第i个时刻点的文本特征序列；
步骤3、构建一个用于识别电熔镁炉异常工况的多模态调制神经网络MNN，包括：CNN卷积层、Transformer编码器、Transformer解码器、FFN前馈前向网络、SpanBert语言模型：
所述CNN卷积层包含A个卷积块，分别记为Conv1,...,Conva,...,ConvA；其中，Conva表示第a级卷积块；
所述Transformer编码器包含B个编码器，分别为Encoder1,...,Encoderb,...,EncoderB，其中，Encoderb表示第b个编码器，并为所述Transformer编码器配置一个维度为的位置编码信息m1，其中，c2为编码信息的通道数；
所述Transformer解码器包含C个解码器，分别为Decoder1,...,Decoderc,...,DecoderC，其中，Decoderc表示第c个解码器，并为所述Transformer解码器维度配置一个维度为的对象查询信息m4，其中，c3为预测框的通道数；
所述归一化后的异常故障图像数据集D＝(d1,d2,...,di,...,dN)和所述文本特征序列s＝{s1,s2,...,si,...,sN}一起输入所述多模态调制神经网络MNN中，并由CNN卷积层对所述第i个时刻点的数据di进行特征抽取后，得到维度为的故障图像特征fi；并对所述故障图像特征fi进行维度为1×1的降维操作后，得到特征维度为/>的故障图像特征fi′；其中，c1为图像文本联合的通道数，h为图像高度，w为图像宽度；
由所述SpanBert语言模型对所述文本特征序列s＝{s1,s2,...,si,...,sN}进行特征提取，得到报警信息序列s′＝{s′1,s′2,...,s′i,...,s′N}，其中，s′i为第i个时刻点的报警信息序列；
将所述故障图像特征fi′与所述位置编码信息m1进行相加后，得到维度为的图像组合信息mi,2，并与所述报警信息序列s′i映射到一个共享的语义空间中，得到多模态语义信息mi,5，再输入Transformer编码器中进行处理，并输出维度为/>的全局特征信息mi,3；
所述全局特征信息mi,3输入所述Transformer解码器中，与所述对象查询信息m4进行自注意力操作后，输出初始预测框pboxi；
所述初始预测框pboxi输入所述FFN前馈前向网络中进行类别和出框的预测，输出模型前向预测结果利用式(1)对模型前向预测结果/>与标签真实值yi进行最优二分匹配，得到最优二分匹配度/>
式(1)中，Lmatch(·,·)为二分匹配函数；为第i个时刻点最优二分匹配下的模型前向预测结果；
利用式(2)所示的KM算法构建多模态调制神经网络MNN的损失函数
式(2)中，ci代表所述第i个时刻点的电熔镁炉故障数据di对应镁炉工况的故障类别，bi代表所述第i个时刻点的电熔镁炉故障数据di对应镁炉工况的故障预测框值；代表最优二分匹配度下的故障预测框值，/>代表最优二分匹配度下的故障类别预测概率，Lbox代表故障预测框的损失函数；
步骤4、训练所述多模态调制神经网络MNN；
步骤4.1、定义所述多模态调制神经网络MNN的当前迭代次数为d，并初始化d＝1，设定最大迭代次数为dmax；
步骤4.2、将所述第i个时刻点的电熔镁炉故障数据di在第d次迭代的前向预测结果与对应的第i个时刻点的电熔镁炉工况异常故障图像上标注的标签真实值yi进行作差，得到本第i个时刻点的电熔镁炉故障数据在第d次迭代的误差/>
步骤4.3将i+1赋给i，判断i＞N是否成立，若成立，则继续执行步骤4.4，否则返回步骤4.2；
步骤4.4、根据第d次迭代后的误差集合计算得到多模态调制神经网络MNN的交叉熵损失ed；
步骤4.5、判断ed＞e0和d＜dmax是否均成立，若均成立，则将d+1赋给d后，根据梯度下降算法更新第d次迭代的多模态调制神经网络MNN的权重，并返回执行步骤4.2；否则，将第d次迭代的多模态调制神经网络模型作为最优泛化模型，其中，e0是预设的网络误差阈值；
步骤5、基于多模态估计对电熔镁炉异常工况进行识别，得到识别结果：
将待预测的电熔镁炉故障数据输入所述最优泛化模型中进行处理，并输出预测结果，从而根据所述预测结果判断当前时刻的电熔镁炉是否处于异常状态，若异常，则通过报警器进行报警提示。
本发明一种电子设备，包括存储器以及处理器，其特点在于，所述存储器用于存储支持处理器执行所述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特点在于，所述计算机程序被处理器运行时执行所述方法的步骤。
与已有技术相比，本发明的有益效果体现在：
1、针对电熔镁炉数据集中存在缺失值和异常值这一现象，本发明通过三次样条插值法和Z-score算法对数据进行筛选，根据获得的新数据构建网络模型，提高了电熔镁炉异常工况识别预测的精度。
2、本发明将通过结合CNN卷积神经网络和Transformer架构实现电熔镁炉异常工况自诊断，真实值与预测值之间两两匹配的损失使用KM算法来计算相比于传统方法，无需操作人员定时进行监测，大大提高了电熔镁炉工况识别的安全性。
附图说明
图1为本发明一种基于迁移学习的电熔镁炉异常工况识别方法的流程图。
具体实施方式
本实施例中，参照图1，一种基于多模态调制算法的电熔镁炉异常工况识别方法，是以构建MNN神经网络对电熔镁炉模型进行训练，收集电熔镁炉原始故障数据集，经插补、修正、校验、归一化得到完整异常故障图像数据集，与经过语言模型预处理得到的报警信息序列进行融合，来对文本和图像进行共同的推理，并利用迭代的多模态调制神经网络模型作为最优泛化模型，输出预测结果，对i时刻的电熔镁炉异常故障图像进行判断，具体地说，是按照以下步骤进行：
步骤1、采集电熔镁炉工况的异常故障图像数据，并进行数据筛选：
步骤1.1、采集电熔镁炉的历史数据并组成原始故障图像数据集D，记为D＝(d1,d2,...,di,...,dN)，di为原始故障图像数据集D中第i个时刻点的电熔镁炉工况异常图像，1i N，N为原始故障图像数据集的时刻点总数；
步骤1.2、检查原始故障图像数据集D中是否存在缺失值，若存在缺失值，则利用三次样条插值对所有缺失值进行插补，从而得到完整的故障图像数据集 为完整的故障图像数据集D*中第i个时刻点的电熔镁炉工况异常图像数据；
步骤1.3、定义修正次数为a，并初始化a＝0；
步骤1.4、以完整的故障图像数据集作为第a次校验的故障图像数据集/>其中，/>为完整的故障图像数据集Da中第i个时刻点的电熔镁炉工况异常图像数据；
步骤1.5、利用Z-score算法检验第a次校验的故障图像数据集Da中是否存在异常值，若存在异常值，则利用三次样条插值修正异常值，从而得到第a+1次校验的故障图像数据集 为第a+1次校验的故障图像数据集Da+1中第i个时刻点的电熔镁炉故障图像数据；
步骤1.6、将a+1赋值给a并返回步骤1.5执行，直到校验的故障图像数据集中不存在异常图像数据为止，从而得到最终的异常故障图像数据集D＝(d1,d2,...,di,...,dN)，其中，di′为完整的故障图像数据集D′中第i个时刻点的电熔镁炉工况异常故障图像数据；
步骤2、样本归一化处理：
步骤2.1、对最终的异常故障图像数据集D′进行归一化处理，获得归一化后的异常故障图像数据集D＝(d1,d2,...,di,...,dN)，其中，di为归一化后的异常故障图像数据集D中第i个时刻点的电熔镁炉故障数据，其维度为c0×h×w，其中c0为图像通道数，h为图像高度，w为图像宽度；
步骤2.2、对归一化后的异常故障图像数据集D进行数据标注，得到电熔镁炉工况异常故障图像数据集D上标注的标签真实值记为y＝{y1,y2,...,yi,...,yN}，yi为第i个时刻点的电熔镁炉故障数据di上标注的标签真实值，yi为第i个时刻点的电熔镁炉故障数据di上标注的标签真实值；
步骤2.3、获取电熔镁炉异常故障的文本特征序列s＝{s1,s2,...,si,...,sN}，其中，si为第i个时刻点的文本特征序列；
步骤3、构建一个用于识别电熔镁炉异常工况的多模态调制神经网络MNN，包括：CNN卷积层、Transformer编码器、Transformer解码器、FFN前馈前向网络、SpanBert语言模型，其中：CNN卷积神经网络提取数据集故障特征，语言模型SpanBert提取文本特征，连接并馈送到基于Transformer架构的网络中，FFN前馈前向网络由三层的感知器计算，使用relu激活函数，使用分类器输出类别概率对电熔镁炉异常故障图像集和故障文本集进行联合推理。
CNN卷积层包含A个卷积块，分别记为Conv1,...,Conva,...,ConvA；其中，Conva表示第a级卷积块；
Transformer编码器包含B个编码器，分别为Encoder1,...,Encoderb,...,EncoderB，其中，Encoderb表示第b个编码器，以及维度为的位置编码信息m1；
Transformer解码器包含C个解码器，分别为Decoder1,...,Decoderc,...,DecoderC，其中，Decoderc表示第c个解码器，以及维度为的的对象查询信息m4，其中c3为输出预测框数；
归一化后的异常故障图像数据集D＝(d1,d2,...,di,...,dN)和文本特征序列s＝{s1,s2,...,si,...,sN}一起输入多模态调制神经网络MNN中，并由CNN卷积层对第i个时刻点的数据di进行特征抽取后，得到维度为的故障图像特征fi；并对故障图像特征fi进行维度为1×1的降维操作后，得到特征维度为/>的故障图像特征fi′，其中，c1为图像文本联合的通道数，h为图像高度，w为图像宽度；c2为降维操作后的图像的通道数；
由SpanBert语言模型对文本特征序列s＝{s1,s2,...,si,...,sN}进行特征提取，得到报警信息序列s′＝{s′1,s′2,...,s′i,...,s′N}，其中，s′i为第i个时刻点的报警信息序列；
将故障图像特征fi′与位置编码信息m1进行相加，得到维度为的图像组合信息mi,2，并与报警信息序列s′i映射到一个共享的语义空间，得到多模态语义信息mi,5，再输入Transformer编码器中进行处理，并输出维度为/>的全局特征信息mi,3；
全局特征信息mi,3输入Transformer解码器中，与对象查询信息m4进行自注意力操作后，输出初始预测框pboxi；
初始预测框pboxi输入FFN前馈前向网络中进行类别和出框的预测，输出前向预测结果利用式(1)对前向预测结果/>与yi进行最优二分匹配，得到最优二分匹配度/>
式(1)中，Lmatch(·,·)为二分匹配函数；为第i个时刻点最优二分匹配下的模型前向预测结果；
利用式(2)所示的KM算法构建多模态调制神经网络MNN的损失函数
式(2)中，ci代表第i个时刻点的电熔镁炉故障数据di对应镁炉工况的故障类别值，bi代表第i个时刻点的电熔镁炉故障数据di对应镁炉工况的故障预测框值；代表最优二分匹配度下的故障预测框值，/>代表最优二分匹配度下的故障类别预测概率，Lbox代表预测框的损失函数；
步骤4、训练多模态调制神经网络MNN；
步骤4.1、定义多模态调制神经网络MNN的当前迭代次数为d，并初始化d＝1，设定最大迭代次数为dmax；
步骤4.2、将第i个时刻点的电熔镁炉故障数据di在第d次迭代的前向预测结果与对应的第i个时刻点的电熔镁炉工况异常故障图像真实值yi进行作差，得到本第i个时刻点的电熔镁炉故障数据在第d次迭代的误差/>
步骤4.3将i+1赋给i，判断i＞N是否成立，若成立，则继续执行步骤4.4，否则返回步骤4.2；
步骤4.4、根据第d次迭代后的误差集合计算得到多模态调制神经网络MNN的交叉熵损失ed；
步骤4.5、判断ed＞e0和d＜dmax是否均成立，若均成立，则将d+1赋给d后，根据梯度下降算法更新第d次迭代的多模态调制神经网络MNN的权重，并返回执行步骤4.2；否则，将第d次迭代的多模态调制神经网络模型作为最优泛化模型，其中，e0是预设的网络误差阈值；
步骤5、基于多模态估计对电熔镁炉异常工况进行识别，得到识别结果：
将待预测的电熔镁炉故障数据输入最优泛化模型中进行处理，并输出预测结果，从而根据预测结果判断当前时刻的电熔镁炉是否处于异常状态，若异常，则通过报警器进行报警提示。
本实施例中，一种电子设备，包括存储器以及处理器，其中，存储器用于存储支持处理器执行基于多模态调制算法的电熔镁炉异常工况识别方法的程序，处理器被配置为用于执行存储器中存储的程序。
本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行基于多模态调制算法的电熔镁炉异常工况识别方法的步骤。
Claims (3)
1.一种基于多模态调制算法的电熔镁炉异常工况识别方法，其特征是按照以下步骤进行：
步骤1、采集电熔镁炉工况的异常故障图像数据，并进行数据筛选：
步骤1.1、采集电熔镁炉的历史数据并组成原始故障图像数据集D，记为D＝(d1,d2,...,di,...,dN)，di为所述原始故障图像数据集D中第i个时刻点的电熔镁炉工况异常图像，1iN，N为所述原始故障图像数据集的时刻点总数；
步骤1.2、检查所述原始故障图像数据集D中是否存在缺失值，若存在缺失值，则利用三次样条插值对所有缺失值进行插补，从而得到完整的故障图像数据集 为所述完整的故障图像数据集D*中第i个时刻点的电熔镁炉工况异常图像数据；
步骤1.3、定义修正次数为a，并初始化a＝0；
步骤1.4、以所述完整的故障图像数据集作为第a次校验的故障图像数据集/>其中，/>为所述完整的故障图像数据集Da中第i个时刻点的电熔镁炉工况异常图像数据；
步骤1.5、利用Z-score算法检验所述第a次校验的故障图像数据集Da中是否存在异常值，若存在异常值，则利用所述三次样条插值修正所述异常值，从而得到第a+1次校验的故障图像数据集 为第a+1次校验的故障图像数据集Da+1中第i个时刻点的电熔镁炉故障图像数据；
步骤1.6、将a+1赋值给a并返回步骤1.5执行，直到校验的故障图像数据集中不存在异常图像数据为止，从而得到最终的异常故障图像数据集D＝(d1,d2,...,di,...,dN)，其中，d′i为所述完整的故障图像数据集D′中第i个时刻点的电熔镁炉工况异常故障图像数据；
步骤2、样本归一化处理：
步骤2.1、对所述最终的异常故障图像数据集D′进行归一化处理，获得归一化后的异常故障图像数据集D＝(d1,d2,...,di,...,dN)，其中，di为归一化后的异常故障图像数据集D中第i个时刻点的电熔镁炉故障数据，其维度为c0×h×w，其中c0为图像通道数，h为图像高度，w为图像宽度；
步骤2.2、对归一化后的异常故障图像数据集D进行数据标注，得到电熔镁炉工况异常故障图像数据集D上标注的标签真实值y＝{y1,y2,...,yi,...,yN}，yi为第i个时刻点的电熔镁炉故障数据di上标注的标签真实值；
步骤2.3、获取电熔镁炉异常故障的文本特征序列s＝{s1,s2,...,si,...,sN}，其中，si为第i个时刻点的文本特征序列；
步骤3、构建一个用于识别电熔镁炉异常工况的多模态调制神经网络MNN，包括：CNN卷积层、Transformer编码器、Transformer解码器、FFN前馈前向网络、SpanBert语言模型：
所述CNN卷积层包含A个卷积块，分别记为Conv1,...,Conva,...,ConvA；其中，Conva表示第a级卷积块；
所述Transformer编码器包含B个编码器，分别为Encoder1,...,Encoderb,...,EncoderB，其中，Encoderb表示第b个编码器，并为所述Transformer编码器配置一个维度为的位置编码信息m1，其中，c2为编码信息的通道数；
所述Transformer解码器包含C个解码器，分别为Decoder1,...,Decoderc,...,DecoderC，其中，Decoderc表示第c个解码器，并为所述Transformer解码器维度配置一个维度为的对象查询信息m4，其中，c3为预测框的通道数；
所述归一化后的异常故障图像数据集D＝(d1,d2,...,di,...,dN)和所述文本特征序列s＝{s1,s2,...,si,...,sN}一起输入所述多模态调制神经网络MNN中，并由CNN卷积层对所述第i个时刻点的数据di进行特征抽取后，得到维度为的故障图像特征fi；并对所述故障图像特征fi进行维度为1×1的降维操作后，得到特征维度为/>的故障图像特征fi′；其中，c1为图像文本联合的通道数，h为图像高度，w为图像宽度；
由所述SpanBert语言模型对所述文本特征序列s＝{s1,s2,...,si,...,sN}进行特征提取，得到报警信息序列s′＝{s′1,s′2,...,s′i,...,s′N}，其中，s′i为第i个时刻点的报警信息序列；
将所述故障图像特征fi′与所述位置编码信息m1进行相加后，得到维度为的图像组合信息mi,2，并与所述报警信息序列s′i映射到一个共享的语义空间中，得到多模态语义信息mi,5，再输入Transformer编码器中进行处理，并输出维度为/>的全局特征信息mi,3；
所述全局特征信息mi,3输入所述Transformer解码器中，与所述对象查询信息m4进行自注意力操作后，输出初始预测框pboxi；
所述初始预测框pboxi输入所述FFN前馈前向网络中进行类别和出框的预测，输出模型前向预测结果利用式(1)对模型前向预测结果/>与标签真实值yi进行最优二分匹配，得到最优二分匹配度/>
式(1)中，Lmatch(·,·)为二分匹配函数；为第i个时刻点最优二分匹配下的模型前向预测结果；
利用式(2)所示的KM算法构建多模态调制神经网络MNN的损失函数
式(2)中，ci代表所述第i个时刻点的电熔镁炉故障数据di对应镁炉工况的故障类别，bi代表所述第i个时刻点的电熔镁炉故障数据di对应镁炉工况的故障预测框值；代表最优二分匹配度下的故障预测框值，/>代表最优二分匹配度下的故障类别预测概率，Lbox代表故障预测框的损失函数；
步骤4、训练所述多模态调制神经网络MNN；
步骤4.1、定义所述多模态调制神经网络MNN的当前迭代次数为d，并初始化d＝1，设定最大迭代次数为dmax；
步骤4.2、将所述第i个时刻点的电熔镁炉故障数据di在第d次迭代的前向预测结果与对应的第i个时刻点的电熔镁炉工况异常故障图像上标注的标签真实值yi进行作差，得到本第i个时刻点的电熔镁炉故障数据在第d次迭代的误差/>
步骤4.3将i+1赋给i，判断i＞N是否成立，若成立，则继续执行步骤4.4，否则返回步骤4.2；
步骤4.4、根据第d次迭代后的误差集合计算得到多模态调制神经网络MNN的交叉熵损失ed；
步骤4.5、判断ed＞e0和d＜dmax是否均成立，若均成立，则将d+1赋给d后，根据梯度下降算法更新第d次迭代的多模态调制神经网络MNN的权重，并返回执行步骤4.2；否则，将第d次迭代的多模态调制神经网络模型作为最优泛化模型，其中，e0是预设的网络误差阈值；
步骤5、基于多模态估计对电熔镁炉异常工况进行识别，得到识别结果：
将待预测的电熔镁炉故障数据输入所述最优泛化模型中进行处理，并输出预测结果，从而根据所述预测结果判断当前时刻的电熔镁炉是否处于异常状态，若异常，则通过报警器进行报警提示。
2.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1所述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
3.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210767932.3A CN115033724B (zh) | 2022-06-30 | 2022-06-30 | 基于多模态调制算法的电熔镁炉异常工况识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210767932.3A CN115033724B (zh) | 2022-06-30 | 2022-06-30 | 基于多模态调制算法的电熔镁炉异常工况识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115033724A CN115033724A (zh) | 2022-09-09 |
| CN115033724B true CN115033724B (zh) | 2024-02-20 |
Family
ID=83128027
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210767932.3A Active CN115033724B (zh) | 2022-06-30 | 2022-06-30 | 基于多模态调制算法的电熔镁炉异常工况识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115033724B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116300770B (zh) * | 2023-05-18 | 2023-08-15 | 台昌树脂(佛山)有限公司 | 丙烯酸树脂生产控制系统的异常报警分析方法及系统 |
| CN117333730B (zh) * | 2023-12-01 | 2024-04-05 | 福建帝视科技集团有限公司 | 一种产品表面异常检测方法及终端 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110390691A (zh) * | 2019-06-12 | 2019-10-29 | 合肥合工安驰智能科技有限公司 | 一种基于深度学习的矿石尺度测量方法及应用系统 |
| CN111368926A (zh) * | 2020-03-06 | 2020-07-03 | 腾讯科技（深圳）有限公司 | 图像筛选方法、装置和计算机可读存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10606353B2 (en) * | 2012-09-14 | 2020-03-31 | Interaxon Inc. | Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data |
| US11413094B2 (en) * | 2019-05-24 | 2022-08-16 | University Health Network | System and method for multi-client deployment of augmented reality instrument tracking |
-
2022
- 2022-06-30 CN CN202210767932.3A patent/CN115033724B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110390691A (zh) * | 2019-06-12 | 2019-10-29 | 合肥合工安驰智能科技有限公司 | 一种基于深度学习的矿石尺度测量方法及应用系统 |
| CN111368926A (zh) * | 2020-03-06 | 2020-07-03 | 腾讯科技（深圳）有限公司 | 图像筛选方法、装置和计算机可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 基于设备与信道特征的物理层安全方法;李古月;俞佳宝;胡爱群;;密码学报;20200415(02);全文 * |
| 电熔镁炉熔炼过程异常工况识别及自愈控制方法;李荟;王福利;李鸿儒;;自动化学报;20200715(07);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115033724A (zh) | 2022-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115033724B (zh) | 基于多模态调制算法的电熔镁炉异常工况识别方法 | |
| US11921566B2 (en) | Abnormality detection system, abnormality detection method, abnormality detection program, and method for generating learned model | |
| CN111902781B (zh) | 用于控制系统的设备和方法 | |
| JP6792029B2 (ja) | 機器修理管理システム、修理方法およびコンピュータ可読媒体 | |
| Khelif et al. | RUL prediction based on a new similarity-instance based approach | |
| CN106598791B (zh) | 一种基于机器学习的工业设备故障预防性识别方法 | |
| JP6999635B2 (ja) | 画像ベースのメンテナンス予測および動作エラーの検出 | |
| CN108780315B (zh) | 用于优化旋转设备的诊断的方法和装置 | |
| CN111160687B (zh) | 主动资产监控 | |
| US11415975B2 (en) | Deep causality learning for event diagnosis on industrial time-series data | |
| JP6815480B2 (ja) | 時系列内の前兆部分列を発見する方法及びシステム | |
| KR102434460B1 (ko) | 기계학습 기반 예측 모델 재학습 장치 및 그 방법 | |
| US20200402221A1 (en) | Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device | |
| JPWO2020021587A1 (ja) | 時系列データ診断装置、追加学習方法およびプログラム | |
| US10921755B2 (en) | Method and system for competence monitoring and contiguous learning for control | |
| US11796993B2 (en) | Systems, methods, and devices for equipment monitoring and fault prediction | |
| CN110334208B (zh) | 基于贝叶斯信念网络的lkj故障预测诊断方法和系统 | |
| TWI584134B (zh) | 製程異因分析方法與製程異因分析系統 | |
| JP6936650B2 (ja) | モデル学習装置、学習済みモデルの生成方法、プログラム、学習済みモデル、監視装置、および監視方法 | |
| CN116610092A (zh) | 用于车辆分析的方法和系统 | |
| TW201945987A (zh) | 製程異常狀態預判方法及預判系統 | |
| CN114547318A (zh) | 故障信息获取方法、装置、设备和计算机存储介质 | |
| CN113139586B (zh) | 模型训练方法、设备异常诊断方法、电子设备及介质 | |
| US20230027840A1 (en) | Anomaly detecting method in sequence of control segment of automation equipment using graph autoencoder | |
| CN116360384A (zh) | 用于诊断和监控信息物理系统中的异常的系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |