CN112051298B - 钢包表面故障诊断方法及设备 - Google Patents
钢包表面故障诊断方法及设备 Download PDFInfo
- Publication number
- CN112051298B CN112051298B CN202010938705.3A CN202010938705A CN112051298B CN 112051298 B CN112051298 B CN 112051298B CN 202010938705 A CN202010938705 A CN 202010938705A CN 112051298 B CN112051298 B CN 112051298B
- Authority
- CN
- China
- Prior art keywords
- ladle
- temperature
- steel ladle
- network model
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 152
- 239000010959 steel Substances 0.000 title claims abstract description 152
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000003745 diagnosis Methods 0.000 title claims description 35
- 238000001514 detection method Methods 0.000 claims abstract description 59
- 238000012549 training Methods 0.000 claims description 53
- 238000013528 artificial neural network Methods 0.000 claims description 36
- 230000008859 change Effects 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 21
- 230000005855 radiation Effects 0.000 claims description 20
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 14
- 238000012795 verification Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 230000010365 information processing Effects 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000007480 spreading Effects 0.000 claims description 3
- 238000003892 spreading Methods 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000005291 magnetic effect Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000002893 slag Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002779 inactivation Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N25/00—Investigating or analyzing materials by the use of thermal means
- G01N25/20—Investigating or analyzing materials by the use of thermal means by investigating the development of heat, i.e. calorimetry, e.g. by measuring specific heat, by measuring thermal conductivity
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
Abstract
本发明的目的是提供一种钢包表面故障诊断方法及设备，本发明克服了现有技术的不足，提高钢包表面故障自动检测精度，特别针对提升对微小故障检出率，同时保证钢包表面故障检测效率。本发明没有像现有技术中使用缺陷数据，本发明是利用拟合得到的温度趋势曲线，计算温度正常值区间，通过区间范围来判断钢包是否正常，避免的正负样本不均衡的问题。
Description
技术领域
本发明涉及一种钢包表面故障诊断方法及设备。
背景技术
钢包一般是指钢水包，用于炼钢厂、铸造厂在平炉、电炉或转炉前承接钢水、进行浇注作业。钢包在运行过程中，因长期与高温钢水及炉渣接触，将会导致钢包内衬的使用寿命缩短。根据经验，钢包倒渣面(包壁)、耳轴位置和钢包底部位置容易出现故障。如果这三处发生故障，会严重影响钢包安全性能，严重的会引起钢水飞溅和钢包破裂，因此对钢包表面质量进行实时监测具有重大意义。目前常用的检测方式是使用测温枪进行单点温度检测，通过检测钢包重要部位的温度判断是否需要修包。但这种手段需要人员在现场进行检测，降低了检测人员人身安全系数。同时钢包检测面临几大挑战：
1、故障诊断准则不一，由于同一钢包不同部位具有不同的外表面温度；
2、正负样本不均衡，钢包损坏具有概率低危害大的特点，且制作故障样本代价昂贵，因此具有故障的钢包样本极少。
发明内容
本发明的一个目的是提供一种钢包表面故障诊断方法及设备。
根据本发明的一个方面，提供了一种钢包表面故障诊断方法，该方法包括：
步骤1：利用热像仪检测钢包获得包含温度信息和部位的位置的信息的钢包的全辐射热像图，由所述全辐射热像图转换得到灰度图，基于所述灰度图构建钢包检测的数据集，所述数据集包括训练集、验证集和测试集；
步骤2：根据所述数据集中的钢包的各部位的真实框计算得到检测所需的先验框；
步骤3：基于钢包检测数据集构建改进的SSD网络模型；
步骤4：利用所述训练集、验证集和先验框训练所述改进的SSD网络模型，得到训练好的SSD网络模型；
步骤5：将所述测试集输入训练好的SSD网络模型进行预测，基于预测结果对训练好的SSD网络模型进行评价，若对训练好的SSD网络模型评价合格，则转到步骤6，若评价不合格，重复步骤3～5；
步骤6：将所述钢包的全辐射热像图输入训练好的SSD网络模型，对钢包的各部位进行定位，进而获得钢包的不同部位的温度；
步骤7：利用获得的钢包的不同部位温度，构建钢包不同部位温度趋势数据集；
步骤8：基于钢包的不同部位的温度趋势数据集的数据量的大小，构建BP神经网络；
步骤9：利用钢包的不同部位的温度趋势数据集训练和评价所述BP神经网络，以拟合得到温度趋势曲线；
步骤10：利用拟合得到的温度趋势曲线，计算温度正常值区间；
步骤11：将待检测的钢包的全辐射热像图换转为灰度图输入训练好的SSD网络模型，对待检测的钢包的各部位进行定位，进而获得待检测的钢包的不同部位的温度，基于待检测的钢包的不同部位的温度是否在所述温度正常值区间内，判断所述待检测的钢包是否故障。
进一步的，上述方法中，步骤1，构建钢包检测的数据集包括：
在所述数据集标记钢包的部位和对应的位置，其中，所述部位包括：钢包的包沿、出水口、包壁、耳轴和底部各部位，钢包的包壁、耳轴和底部是故障诊断的区域，而钢包的包沿和出水口是诊断时避开的位置。
进一步的，上述方法中，步骤2：根据所述数据集中的钢包的各部位的真实框计算得到检测所需的先验框，包括：
根据所述数据集中的钢包的各部位的真实框，并由加权K-means算法聚类得到检测所需的先验框。
进一步的，上述方法中，所述改进的SSD网络模型，包括：
预处理模块、主干特征提取网络模块和特征融合模块，以得到用于预测的不同尺寸有效特征层，其中，
所述预处理模块，用于将钢包检测的数据集中的灰度图采用在短边方向上对称补零(padding)，然后调整尺寸(resize)到224像素*224像素得到第一图片，再将所述第一图片经过3个平面尺寸为3*3、步长为1、padding为SAME模式的卷积核进行二维卷积得到信息不冗余的3个通道224像素*224像素的特征图；
所述主干特征提取网络模块采用MobileNetV3代替VGG，其中，所述MobileNetV3采用MobileNetV2中线性瓶颈的逆残差结构和MobileNetV1中深度可分离卷积，同时引用轻量级的注意力模型，并利用h-swish代替swish函数，其中，
其中，x是激活函数的输入，即神经元的值。
所述特征融合模块是其某一预测特征层结合上一层和下一层的特征，将不同尺寸的特征图进行特征融合，使得每一层的预测特征层的特征都融合了上一层的预测特征层的特征的低维语义信息和下一层的预测特征层的特征的高维语义信息，其中，不同层的预测特征层的特征具有不同尺寸的特征图。
进一步的，上述方法中，利用所述训练集、验证集和先验框训练所述改进的SSD网络模型，得到训练好的SSD网络模型，包括：
将所述训练集和先验框输入到所述改进的SSD网络模型，得到所述改进的SSD网络模型的不同尺寸的有效特征层输出的预测框及对应预测的部位，将预测框及对应预测的部位与所述训练集中的包括真实框及对应的真实的部位进行对比，计算预测框与真实框之间交叠率CIoU得到目标位置回归损失，目标位置的回归损失LCIoU的计算公式如下：
其中，b代表预测框的中心点，bgt代表真实框的中心点，ρ代表计算预测框和真实框的两个中心点间的欧式距离，c代表同时包含预测框和真实框的最小闭包区域的对角线距离，α是权重函数，而ν是用来度量长宽比的相似性，ω代表预测框的宽，ωgt代表真实框的宽，h代表预测框的高，hgt代表真实框的高，计算出目标位置回归损失后进行误差反向传播，优化器选用SGD，设置初始学习率为0.01，衰减率decay＝0.0001，动量momentum＝0.9，当误差变化很平缓时令学习率减小10倍，设置批次大小batch size为16，训练迭代次数epoch为100次，使用批归一化BN和LeakyReLU激活函数，这样可避免出现网络退化现象并加速网络训练，保存训练好的模型以及参数，每迭代1次保存一次模型、模型参数，最终选取在所述的验证集上损失最低的模型参数作为最终模型参数，以得到训练好的SSD网络模型。
进一步的，上述方法中，步骤5：将所述测试集输入训练好的SSD网络模型进行预测，基于预测结果对训练好的SSD网络模型进行评价，若对训练好的SSD网络模型评价合格，则转到步骤6，若评价不合格，重复步骤3～5，包括：
将所述测试集输入训练好的SSD网络模型，进行预测；
对预测结果用DIoU-NMS模块进行过滤得到输出，其中，DIoU-NMS模块的si更新公式定义为：
得分最高的预测框M和其它框Bi的(IoU-DIoU)值小于NMS阈值ε时，Bi的得分值si仍然保持，否则，当(IoU-DIoU)大于等于NMS阈值ε时，si值就设成0，即被过滤掉；
基于所述输出计算训练好的SSD网络模型的检测精度、精确率和召回率、平均精度均值；
若检测精度、精确率和召回率、平均精度均值符合预设阈值，则对训练好的SSD网络模型评价合格，则转到步骤6，
否则，评价不合格，重复步骤3～5。
进一步的，上述方法中，步骤6：将所述钢包的全辐射热像图输入训练好的SSD网络模型，对钢包的各部位进行定位，进而获得钢包的不同部位的温度，包括：
步骤61，利用训练好的SSD网络模型定位钢包的包沿、出水口、包壁、耳轴和底部的部位；
步骤62，基于钢包的包沿、出水口、包壁、耳轴和底部的部位，在钢包的包壁、耳轴和底部的部位中分别都去除与钢包的包沿和钢包出水口有交集部位，得到待检测的包壁、耳轴和钢包底部的部位；
步骤63，结合全辐射热像图的温度信息，分别计算待检测的包壁、耳轴和底部的部位的最高温度，并记录；
步骤64，按照钢包的编号和使用次数，重复步骤61～步骤63得到某一编号钢包在每次使用过程中的温度值，并记录钢包的编号、使用次数和对应的待检测的包壁、耳轴和底部的部位的最高温度，最终记录了各个钢包待检测的包壁、耳轴和底部的三个不同部位关于使用次数的最高温度。
进一步的，上述方法中，步骤8，构建所述BP神经网络，包括：
①设置输入层有2个节点，其中，第1个节点代表钢包的部位，第2个节点代表钢包的使用次数的序号值；
②设置隐含层层数为3，节点数分别为256、128、64的BP神经网络，并在每个隐含层中加入失火率为50％的Dropout层；
③输出层为1个节点，表示与使用次数对应的温度值。
进一步的，上述方法中，步骤9：利用钢包的不同部位的温度趋势数据集训练和评价BP神经网络，以拟合得到温度趋势曲线，包括：
将所述钢包的不同部位的温度趋势数据集中的训练集输入至BP神经网络得到当前的输出即预测温度，基于预测温度和真实温度计算所述BP神经网络的当前误差损失，将所述当前误差损失反向传播，以对所述BP神经网络的参数进行调整，重复本步骤以继续对所述BP神经网络进行训练，直至所述BP神经网络收敛，将收敛后的BP神经网络作为最终的相似目标的检测模型，基于最终的相似目标的检测模型拟合得到钢包的不同部位的最高温度关于使用次数的曲线。
进一步的，上述方法中，其中，步骤10，利用拟合得到的温度趋势曲线，计算温度正常值区间，包括：
利用钢包的不同部位的温度，结合拟合得到的钢包的不同部位的最高温度关于使用次数的曲线，按待检测的包壁、耳轴和底部的不同部位将坐标系分为三组，不同的钢包的相同部位的曲线画在同一坐标系下，同一坐标系下的不同曲线代表不同的钢包的编号；
基于同一坐标系下的不同曲线得到对应部位在固定使用次数下正常温度阈值区间和正常温度变化率区间。
进一步的，上述方法中，步骤11：将待检测的钢包的全辐射热像图换转为灰度图输入训练好的SSD网络模型，对待检测的钢包的各部位进行定位，进而获得待检测的钢包的不同部位的温度，基于待检测的钢包的不同部位的温度是否在所述温度正常值区间内，判断所述待检测的钢包是否故障，包括：
将待检测的钢包的全辐射热像图换转为灰度图输入训练好的SSD网络模型，对待检测的钢包的各部位进行定位，进而获得某使用次数下待检测的钢包的不同部位的温度；
若某使用次数下钢包某部位温度值超出所述正常温度阈值区间，则判断该钢包的对应部位出现故障，
若未超出所述正常温度阈值区间，计算某使用次数下钢包某部位的温度变化率，若超出正常温度变化率区间，则该钢包的对应部位出现故障，若未超出正常温度变化率区间，则该钢包的对应部位正常。
根据本发明的另一方面，还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现上述任一项所述的方法。
根据本发明的另一方面，还提供了一种用于在网络设备端信息处理的设备，该设备包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该设备执行所示任一项所述的方法。
与现有技术相比，本发明克服了现有技术的不足，提高钢包表面故障自动检测精度，特别针对提升对微小故障检出率，同时保证钢包表面故障检测效率。本发明没有像现有技术中使用缺陷数据，本发明是利用拟合得到的温度趋势曲线，计算温度正常值区间，通过区间范围来判断钢包是否正常，避免的正负样本不均衡的问题。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1示出本发明一实施例的钢包表面故障诊断方法的流程图；
图2示出本发明一实施例的MobileNetV3中主要模块bneck示意图；
图3示本发明一实施例的改进的SSD算法网络模型结构示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本发明作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
如图1所示，钢包表面故障诊断方法，具体流程包括以下步骤：
步骤1：利用热像仪检测钢包获得包含温度信息和部位的位置的信息的钢包的全辐射热像图，由所述全辐射热像图转换成灰度图，基于所述灰度图构建钢包检测的数据集，所述数据集可以7：1：2的比例随机抽取获得训练集、验证集和测试集；
步骤2：根据所述数据集中的钢包的各部位的真实框计算得到检测所需的先验框；
步骤3：基于钢包检测数据集构建改进的SSD网络模型；
步骤4：利用所述训练集、验证集和先验框训练所述改进的SSD网络模型，得到训练好的SSD网络模型；
步骤5：将所述测试集输入训练好的SSD网络模型进行预测，基于预测结果对训练好的SSD网络模型进行评价，若对训练好的SSD网络模型评价合格，则转到步骤6，若评价不合格，重复步骤3～5；
步骤6：将所述钢包的全辐射热像图输入训练好的SSD网络模型，对钢包的各部位进行定位，进而获得钢包的不同部位的温度；
步骤7：利用获得的钢包的不同部位温度构建钢包不同部位温度趋势数据集；
步骤8：基于钢包的不同部位的温度趋势数据集的数据量的大小，构建BP神经网络；
步骤9：利用钢包的不同部位的温度趋势数据集训练和评价BP神经网络，以拟合得到温度趋势曲线；
步骤10：利用拟合得到的温度趋势曲线，计算温度正常值区间(包括正常温度阈值区间，正常温度变化率区间)；
步骤11：将待检测的钢包的全辐射热像图换转为灰度图输入训练好的SSD网络模型，对待检测的钢包的各部位进行定位，进而获得待检测的钢包的不同部位的温度，基于待检测的钢包的不同部位的温度是否在所述温度正常值区间内，判断所述待检测的钢包是否故障。
在此，本发明克服了现有技术的不足，提高钢包表面故障自动检测精度，特别针对提升对微小故障检出率，同时保证钢包表面故障检测效率。本发明没有像现有技术中使用缺陷数据，本发明是利用拟合得到的温度趋势曲线，计算温度正常值区间，通过区间范围来判断钢包是否正常，避免的正负样本不均衡的问题。
具体的，可以使用Tensorflow2.1.0框架构建模型，使用opencv(开源计算机视觉库)对图像进行预处理。实验采用的硬件配置为Core i7-9700K处理器，RTX 2080Ti显卡，软件环境为CUDA10.0和cuDNN7.6。
本发明的钢包表面故障诊断方法一实施例中，步骤1，构建钢包检测的数据集包括：
在所述数据集标记钢包的部位和对应的位置，其中，所述部位包括：钢包的包沿、出水口、包壁、耳轴和底部各部位，钢包的包壁、耳轴和底部是故障诊断的区域，而钢包的包沿和出水口是诊断时需要特别避开的位置(因为包沿和出水口在工艺上无需检测且，包沿和出水口有温度高会值妨碍其它部位的故障诊断)，记录所有目标的部位和对应的位置的信息，构建钢包检测数据集，并以7：1：2的比例随机抽取获得训练集、验证集与测试集，后续可以使用训练集进行训练，使用测试集验证模型检测精度和速度，同时后续可以在步骤4中采用包括平移、放缩和改变背景色温等数据增强方法来扩充所述训练集，然后，利用扩充后所述训练集和先验框训练所述改进的SSD目标检测网络，得到训练好的SSD目标检测网络，以使数据训练出来的网络具有更强的鲁棒性。
具体的，可以基于形态学处理和背景差分，截取钢包外表面区域，并对所有图片进行标记。标记5种目标，包括钢包的包沿、出水口、包壁、耳轴位置和底部位置。
本发明的钢包表面故障诊断方法一实施例中，步骤2：根据所述数据集中的各部位的真实框计算得到检测所需的先验框，包括：
根据所述数据集中的各部位的真实框，并由加权K-means算法聚类得到检测所需的先验框，以便后续能够加速SSD网络模型的训练。
具体的，可以对训练集中所有目标的宽、高进行聚类，得到先验框的宽、高，记录到Anchors(固定的先验参考框)参数中。在聚类前先确定每个聚类中心所属的特征图层(FM)，根据FM对应的预设点计算样本权重，参与聚类运算。每1个FM对应1个预设点，每1个预设点对应3个聚类中心。具体方法如下：
①收集所有ground truth boxes相对于原图的坐标(xj,yj,wj,hj),j∈{1,2,...,N}，(xj,yj)是框的中心点，(wj,hj)是框的宽和高，N是所有标注框的个数；
②给定k个聚类中心点(Wj,Hj),i∈{1,2,...,k}，其中Wi、Hi分别是是anchorboxes的宽和高；
③计算每个标注框和每个聚类中心点的距离：
d＝1-IoU(标注框，聚类中心)＝
1-IoU[(xj,yj,wj,hj),(xi,yi,Wi,Hi)],j∈{1,2,...,N},i∈{1,2,...,k}
计算时每个标注框的中心点都与聚类中心重合，这样才能计算IoU值。将标注框分配给“距离”最近的聚类中心；
④所有标注框分配完毕以后，对每个簇重新计算聚类中心点，计算方式为：
Ni是第i个簇的标注框个数，就是求该簇中所有标注框的宽和高的平均值。
⑤重复第③和④步，直到聚类中心改变量很小，最终得到anchors参数。
本发明的钢包表面故障诊断方法一实施例中，所述改进的SSD网络模型，包括：
预处理模块、主干特征提取网络模块和特征融合模块，以得到用于预测的不同尺寸有效特征层。
在此，可以基于钢包检测对于检测精度和检测实时性的要求，构建改进的SSD算法网络模型，输入图片经过预处理模块、主干特征提取网络模块和特征融合模块得到用于预测的不同尺寸有效特征层，具体的：
①所述预处理模块，用于：
如图3所示，将钢包检测的数据集中的灰度图(Inputs)采用在短边方向上对称补零(padding)，然后调整尺寸(resize)到224像素(pixel)*224像素(pixel)得到第一图片，再将所述第一图片经过3个平面尺寸为3*3、步长为1、padding为SAME模式的卷积核进行二维卷积得到信息不冗余的3个通道224像素(pixel)*224像素(pixel)的特征图；
②主干特征提取网络模块：
采用MobileNetV3代替VGG，其中，所述MobileNetV3结构如表1所示，
表1
所述MobileNetV3采用的主要模块(bneck)如图2所示，图2中，输入特征图首先经过1×1卷积扩增通道数，再经过3×3卷积获得通道数为c的中间特征图，中间特征图经过全局平均池化(global average pooling，图2中用Pool表示)、全连接层(FC)、ReLU激活函数、又一全连接层(FC)、Sigmoid激活函数得到长度为c的序列，将中间特征图的每一张特征图都对应乘以序列中的数字，最后再经过1×1的卷积压缩通道数，获得该模块的输出特征图。
改进后的SSD算法网络模型结构如图3所示，主干特征提取网络(MobileNetV3)采用了MobileNetV2中线性瓶颈的逆残差结构和MobileNetV1中深度可分离卷积，同时引用轻量级的注意力模型(SE模块)，并利用h-swish代替swish函数，减少运算量，提高性能，其中，
其中，x是激活函数的输入，即神经元的值。
③如图3所示，本发明的改进后的SSD添加了特征融合模块(Fecture Fusion)，所述特征融合模块具体是其某一预测特征层结合上一层(如果存在)和下一层(如果存在)的特征，将不同尺寸的特征图进行特征融合，使得每一层的预测特征层的特征都融合了上一层的预测特征层的特征的低维语义信息和下一层的预测特征层的特征的高维语义信息，其中，不同层的预测特征层的特征具有不同尺寸的特征图，具体是从MobileNetV3中由浅入深选取了第4层(3xbneck,3*3(56,56,24)的输出)、7层(3xbneck,5*5(28,28,40)的输出)、13层(6xbneck,3*3(14,14,112)的输出)、16层(3xbneck,3*3(7,7,160)的输出)和18层(2xconv2d,1*1(1,1,5)的输出)共5层的特征图进行特征融合，这5层特征图中第1层先经过归一化(Normalization)再串联(concatenate)由第2层经过上采样(upsampling)得到的特征图后，经过两个卷积层后作为第一个有效特征层(Detector&classifier1)；5层特征图中第2、3和4层都是串联(concatenate)由第上层经过下采样(upsampling)得到的特征图和下一层经过上采样(upsampling)得到的特征图后，分别经过两个卷积层后分别得到第二、三和四个有效特征层(Detector&classifier2、3、4)；5层特征图中第5层串联(concatenate)由第4层经过下采样(downsampling)得到的特征图后，经过两个卷积层后作为第五个有效特征层(Detector&classifier5)。
具体的，在钢包目标检测和故障诊断问题中，不同的部位危险程度和处理方式都不相同，为了提高安全性和提高钢包使用寿命，我们需要实时地对钢包各个部位进行精确识别，因此需要对原始的SSD网络进行改进，以进一步提高其对钢包各个部位识别的精确性和检测速度。为了实现对钢包各部位的精确识别，需要将原始的SSD算法进行改进，以增加其识别精度与速度。首先改变了SSD的主干特征提取网络，原始SSD算法采用的主干网络是VGG，该网络参数量有1.38亿，改进后的SSD将主干网络改为MobileNetV3，后者在ImageNet(全球最大的分类数据集基准之一)上性能更高，并且其参数量仅为1.51万。同时原始SSD中各个用于检测的不同尺寸的特征图是单独对目标进行识别的，改进后的SSD将不同尺寸的特征图首先进行特征融合，使得含有高层语义的特征图融合了低层语义信息同时含有低层语义的特征图融合了高层语义信息，然后再分别对目标进行识别，这样结合更多信息的特征图识别效果更佳。在传统NMS中，IoU指标常用于抑制冗余检测框，其中重叠区域是唯一因素，对于遮挡情况经常产生错误抑制。
本发明的钢包表面故障诊断方法一实施例中，步骤4：利用所述训练集、验证集和先验框训练所述改进的SSD网络模型，得到训练好的SSD网络模型，包括：
将所述训练集和先验框输入到所述改进的SSD网络模型，得到所述改进的SSD网络模型的不同尺寸的有效特征层输出的预测框及对应预测的部位，将预测框及对应预测的部位与所述训练集中的包括真实框(Ground truth)及对应的真实的部位进行对比，计算预测框与真实框之间交叠率CIoU得到位置回归损失(loss)，交叠率CIoU代替了传统SSD中利用IoU计算位置回归loss的方式，具体CIoU目标位置的回归loss计算公式如下：
其中，b代表预测框的中心点，bgt代表真实框的中心点，ρ代表计算预测框和真实框的两个中心点间的欧式距离，c代表同时包含预测框和真实框的最小闭包区域的对角线距离，α是权重函数，而ν是用来度量长宽比的相似性，ω代表预测框的宽，ωgt代表真实框的宽，h代表预测框的高，hgt代表真实框的高，计算出总的loss值后进行误差反向传播，优化器选用SGD，设置初始学习率为0.01，衰减率decay＝0.0001，动量momentum＝0.9，当误差变化很平缓时令学习率减小10倍，设置批次大小batch size为16，训练迭代次数epoch为100次，使用批归一化BN和LeakyReLU激活函数，这样可避免出现网络退化现象并加速网络训练，每迭代1次保存一次模型、模型参数，最终选取在所述的验证集上损失最低的模型参数作为最终模型参数，以得到训练好的SSD网络模型。
本发明的钢包表面故障诊断方法一实施例中，步骤5：将所述测试集输入训练好的SSD网络模型进行预测，基于预测结果对训练好的SSD网络模型进行评价，若对训练好的SSD网络模型评价合格，则转到步骤6，若评价不合格，重复步骤3～5，包括：
后处理方式采用DIoU-NMS代替NMS，具体是DIoU-NMS将DIoU作为NMS的准则，因为在抑制准则中不仅应考虑重叠区域，而且还应考虑两个预测框(box)之间的中心点距离，而DIoU就是同时考虑了重叠区域和两个边界框Bounding box的中心距离，对于得分值score最高的预测框M，可以将DIoU-NMS的si更新公式正式定义为：
得分最高的预测框M和其它框Bi的(IoU-DIoU)值小于NMS阈值ε时，Bi的得分值si仍然保持，否则，当(IoU-DIoU)大于等于NMS阈值ε时，si值就设成0，即被过滤掉，如果两个预测框之间IOU比较大，但是两个预测框的距离比较大时，可能会认为这是两个物体的框而不会被过滤掉；
其中,改进SSD的预测与评价具体操作如图3所示，使用保存好的SSD网络模型及参数对测试集进行预测得到预测结果(Detector&classifier1～Detector&classifier5)，对预测结果(Detector&classifier1～Detector&classifier5)用DIoU-NMS模块进行过滤得到输出(Output)，基于所述输出(Output)计算训练好的SSD网络模型的检测精度、精确率(Precision)和召回率(recall)、平均精度均值(Mean Average Precision,mAP)等相关数据，记录检测结果，其中Precision、recall和mAP计算公式如下：
其中，TP为SSD网络模型成功预测的正例，FP为被SSD网络模型误判为正例的负例，FN表示被SSD网络模型错误预测为负例的正例，AP(i)为某一部位的检测精度，n为部位的数量；
在此，所述部位为钢包的包沿、出水口、包壁、耳轴和底部共5个部位，n为5；
若检测精度、精确率(Precision)和召回率(recall)、平均精度均值符合预设阈值，则对训练好的SSD网络模型评价合格，则转到步骤6，
否则评价不合格，重复步骤3～5。
本发明的钢包表面故障诊断方法一实施例中，其中步骤6：将所述钢包的全辐射热像图输入训练好的SSD网络模型，对钢包的各部位进行定位，进而获得钢包的不同部位的温度，包括：
①利用训练好的SSD网络模型定位钢包的包沿、出水口、包壁、耳轴和底部的部位；
②基于钢包的包沿、出水口、包壁、耳轴和底部的部位，在钢包的包壁、耳轴和底部的部位中分别都去除与钢包的包沿和钢包出水口有交集部位，得到待检测的包壁、耳轴和底部的部位；
③结合全辐射热像图的温度信息，分别计算待检测的包壁、耳轴和钢包底部的部位的最高温度，并记录；
④按照钢包的编号和使用次数，重复①～③步骤得到某一编号钢包在每次使用过程中的温度值，并记录钢包的编号、使用次数和对应的待检测的包壁、耳轴和底部的部位的最高温度，最终记录了各个钢包三个不同部位关于使用次数的最高温度数据；
具体的，钢包的包沿框用P1表示，钢包的出水口框用P2示，钢包耳轴框用A(耳轴在左右两侧各一个，包括A1和A2)表示，钢包的包壁框用B表示，钢包的底部框用C表示，以耳轴区域温度计算为例，耳轴框并非计算耳轴温度的区域，还需要将在耳轴框中剔除其与包沿框和出水口框的交集区域，其计算如下：
结合钢包热像图，计算A′区域最高温，即为耳轴区域温度；
包壁区域和底部区域计算方法相同，即：
计算B′区域最高温，即为包壁区域温度；
计算C′区域最高温，即为包底区域温度。
本发明的钢包表面故障诊断方法一实施例中，步骤7：利用获得的钢包的不同部位温度构建钢包不同部位温度趋势数据集，包括：
利用各个钢包的使用次数和对应的待检测的包壁、耳轴和底部的部位的最高温度值，构建各个钢包的待检测的包壁、耳轴和底部的部位的温度趋势数据集，对于三种不同部位数据，采用7：3比例从温度趋势数据集随机抽取获得训练集与测试集，后续可以使用训练集对BP神经网络进行训练，使用测试集验证BP神经网络模型的检测精度和速度；
本发明的钢包表面故障诊断方法一实施例中，步骤8，构建所述BP神经网络，包括：
①设置输入层有2个节点，其中，第1个节点代表钢包的部位(例如，数字1代表温度值属于耳轴部位，数字2代表温度值属于包壁部位，数字3代表温度值属于底部部位)，第2个节点代表钢包的使用次数的序号值；
②设置隐含层层数为3，节点数分别为256、128、64的BP神经网络，并在每个隐含层中加入失火率为50％的Dropout层；
③输出层为1个节点，表示与使用次数对应的温度值。
本发明的钢包表面故障诊断方法一实施例中，步骤9：利用钢包的不同部位的温度趋势数据集训练和评价BP神经网络，以拟合得到温度趋势曲线，包括：
将所述钢包的不同部位的温度趋势数据集中的训练集输入至BP神经网络得到当前的输出即预测温度，基于预测温度和真实温度计算所述BP神经网络的当前误差损失，将所述当前误差损失反向传播，以对所述BP神经网络的参数进行调整，重复本步骤以继续对所述BP神经网络进行训练，直至所述BP神经网络收敛，将收敛后的BP神经网络作为最终的相似目标的检测模型，基于最终的相似目标的检测模型拟合得到钢包的不同部位的最高温度关于使用次数的曲线。
具体的，训练BP神经网络拟合温度趋势曲线具体步骤是：
1、所述钢包的不同部位的温度趋势数据集中的训练集导入；
2、BP神经网络初始化；
3、前向传播计算预测值；
4、计算误差损失并反向传播修正权值，其中，误差损失计算采用交叉熵损失函数并结合L2正则化方法；优化器采用Adam优化器，设置learning_rate＝0.001,β1＝0.9,β2＝0.9,epsilon＝1×10-8，，其中，epsilon是一个很小的数，是为了防止分母为零；各隐含层后Dropout层的失活比例为50％，激活函数采用Maxout激活函数；训练迭代次数为100000次，分别拟合出待检测的包壁、耳轴和底部的部位的温度趋势曲线，最终保存所有训练中验证集准确率最高的模型、模型参数，以得到最终的相似目标的检测模型。
本发明的钢包表面故障诊断方法一实施例中，其中，步骤10：利用拟合得到的温度趋势曲线，计算温度正常值区间(包括正常温度阈值区间，正常温度变化率区间)，包括：
利用步骤6中的钢包的不同部位的温度，结合步骤9中拟合得到的钢包的不同部位的最高温度关于使用次数的曲线，按待检测的包壁、耳轴和底部的不同部位将坐标系分为三组，以耳轴组温度曲线为例：每条曲线横坐标是使用次数，纵坐标是最高温度；不同的钢包的相同部位的曲线画在同一坐标系下，同一坐标系下的不同曲线代表不同的钢包的编号；基于同一坐标系下的不同曲线得到对应部位在固定使用次数下正常温度阈值区间(取x＝使用次数与各曲线交点横坐标，取最大值和最小值作为在固定使用次数下正常温度阈值区间)和正常温度变化率区间(求曲线上各点温度变化率，用本次温度值与该曲线上上一次温度值的差值近似作为该点温度变化率，进而求出每一次使用时对应温度变化率，取最大值和最小值作为该使用次数下正常温度变化率区间，包壁和底部位计算正常温度阈值区间和正常温度变化率区间的方法与之相同)。
本实施例中不是考虑单一钢包的单一部位，而是将多个钢包在不同使用次数情况下的不同部位的温度进行综合度量，避免了现有技术中故障诊断规则不易的问题。
本发明的钢包表面故障诊断方法一实施例中，步骤11：将待检测的钢包的全辐射热像图换转为灰度图输入训练好的SSD网络模型，对待检测的钢包的各部位进行定位，进而获得待检测的钢包的不同部位的温度，基于待检测的钢包的不同部位的温度是否在所述温度正常值区间内，判断所述待检测的钢包是否故障，包括：
将待检测的钢包的全辐射热像图换转为灰度图输入训练好的SSD网络模型，对待检测的钢包的各部位进行定位，进而获得某使用次数下待检测的钢包的不同部位的温度；
若某使用次数下钢包某部位温度值超出所述正常温度阈值区间，则判断该钢包的对应部位出现故障，
若未超出所述正常温度阈值区间，计算某使用次数下钢包某部位的温度变化率，若超出正常温度变化率区间，则该钢包的对应部位出现故障，若未超出正常温度变化率区间，则该钢包的对应部位正常。
根据本发明的另一方面，还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现上述任一项所述的方法。
根据本发明的另一方面，还提供了一种用于在网络设备端信息处理的设备，该设备包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该设备执行所示任一项所述的方法。
本发明各设备实施例的详细内容具体可参见各方法实施例的对应部分，在此，不再赘述。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
需要注意的是，本发明可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本发明的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本发明的方法和/或技术方案。而调用本发明的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本发明的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本发明的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (11)
1.一种钢包表面故障诊断方法，其特征在于，包括：
步骤1：利用热像仪检测钢包获得包含温度信息和部位的位置的信息的钢包的全辐射热像图，由所述全辐射热像图转换得到灰度图，基于所述灰度图构建钢包检测的数据集，所述数据集包括训练集、验证集和测试集；
步骤2：根据所述数据集中的钢包的各部位的真实框计算得到检测所需的先验框；
步骤3：基于钢包检测数据集构建改进的SSD网络模型；
步骤4：利用所述训练集、验证集和先验框训练所述改进的SSD网络模型，得到训练好的SSD网络模型；
步骤5：将所述测试集输入训练好的SSD网络模型进行预测，基于预测结果对训练好的SSD网络模型进行评价，若对训练好的SSD网络模型评价合格，则转到步骤6，若评价不合格，重复步骤3～5；
步骤6：将所述钢包的全辐射热像图输入训练好的SSD网络模型，对钢包的各部位进行定位，进而获得钢包的不同部位的温度；
步骤7：利用获得的钢包的不同部位温度，构建钢包不同部位温度趋势数据集；
步骤8：基于钢包的不同部位的温度趋势数据集的数据量的大小，构建BP神经网络；
步骤9：利用钢包的不同部位的温度趋势数据集训练和评价所述BP神经网络，以拟合得到温度趋势曲线；
步骤10：利用拟合得到的温度趋势曲线，计算温度正常值区间；
步骤11：将待检测的钢包的全辐射热像图转化为灰度图输入训练好的SSD网络模型，对待检测的钢包的各部位进行定位，进而获得待检测的钢包的不同部位的温度，基于待检测的钢包的不同部位的温度是否在所述温度正常值区间内，判断所述待检测的钢包是否故障；步骤1，构建钢包检测的数据集包括：
在所述数据集标记钢包的部位和对应的位置，其中，所述部位包括：钢包的包沿、出水口、包壁、耳轴和底部各部位，钢包的包壁、耳轴和底部是故障诊断的区域，而钢包的包沿和出水口是诊断时避开的位置；
步骤2：根据所述数据集中的钢包的各部位的真实框计算得到检测所需的先验框，包括：
根据所述数据集中的钢包的各部位的真实框，并由加权K-means算法聚类得到检测所需的先验框。
2.如权利要求1所述的钢包表面故障诊断方法，其特征在于，步骤3：所述改进的SSD网络模型，包括：
预处理模块、主干特征提取网络模块和特征融合模块，以得到用于预测的不同尺寸有效特征层，其中，
所述预处理模块，用于将钢包检测的数据集中的灰度图采用在短边方向上对称补零，然后调整尺寸到224像素*224像素得到第一图片，再将所述第一图片经过3个平面尺寸为3*3、步长为1、padding为SAME模式的卷积核进行二维卷积得到信息不冗余的3个通道224像素*224像素的特征图；
所述主干特征提取网络模块采用MobileNetV3代替VGG，其中，所述MobileNetV3采用MobileNetV2中线性瓶颈的逆残差结构和MobileNetV1中深度可分离卷积，同时引用轻量级的注意力模型，并利用h-swish代替swish函数，其中，
其中，x是激活函数的输入，即神经元的值，
所述特征融合模块中，所述特征融合模块的某一预测特征层结合上一层和下一层的特征，将不同尺寸的特征图进行特征融合，使得每一层的预测特征层的特征都融合了上一层的预测特征层的特征的低维语义信息和下一层的预测特征层的特征的高维语义信息，其中，不同层的预测特征层的特征具有不同尺寸的特征图。
3.如权利要求1所述的钢包表面故障诊断方法，其特征在于，步骤4：利用所述训练集、验证集和先验框训练所述改进的SSD网络模型，得到训练好的SSD网络模型，包括：
将所述训练集和先验框输入到所述改进的SSD网络模型，得到所述改进的SSD网络模型的不同尺寸的有效特征层输出的预测框及对应预测的部位，将预测框及对应预测的部位与所述训练集中的包括真实框及对应的真实的部位进行对比，计算预测框与真实框之间交叠率CIoU得到目标位置的回归损失，目标位置的回归损失LCIoU的计算公式如下：
其中，b代表预测框的中心点，bgt代表真实框的中心点，ρ代表计算预测框和真实框的两个中心点间的欧式距离，c代表同时包含预测框和真实框的最小闭包区域的对角线距离，α是权重函数，而ν是用来度量长宽比的相似性，ω代表预测框的宽，ωgt代表真实框的宽，h代表预测框的高，hgt代表真实框的高，计算出目标位置回归损失后进行误差反向传播，优化器选用SGD，设置初始学习率为0.01，衰减率＝0.0001，动量＝0.9，当误差变化很平缓时令学习率减小10倍，设置批次的大小为16，训练迭代次数为100次，使用批归一化BN和LeakyReLU激活函数，每迭代1次保存一次模型和模型参数，最终选取在所述的验证集上损失最低的模型参数作为最终模型参数，以得到训练好的SSD网络模型。
4.如权利要求1所述的钢包表面故障诊断方法，其特征在于，步骤5：将所述测试集输入训练好的SSD网络模型进行预测，基于预测结果对训练好的SSD网络模型进行评价，若对训练好的SSD网络模型评价合格，则转到步骤6，若评价不合格，重复步骤3～5，包括：
将所述测试集输入训练好的SSD网络模型，进行预测；
对预测结果用DIoU-NMS模块进行过滤得到输出，其中，DIoU-NMS模块的si更新公式定义为：
得分最高的预测框M和其它框Bi的(IoU-DIoU)值小于NMS阈值ε时，Bi的得分值si仍然保持，否则，当(IoU-DIoU)大于等于NMS阈值ε时，si值就设成0，即被过滤掉；
基于所述输出计算训练好的SSD网络模型的检测精度、精确率和召回率、平均精度均值；
若检测精度、精确率和召回率、平均精度均值符合预设阈值，则对训练好的SSD网络模型评价合格，则转到步骤6；
否则，评价不合格，重复步骤3～5。
5.如权利要求1所述的钢包表面故障诊断方法，其特征在于，其中，步骤6：将所述钢包的全辐射热像图输入训练好的SSD网络模型，对钢包的各部位进行定位，进而获得钢包的不同部位的温度，包括：
步骤61，利用训练好的SSD网络模型定位钢包的包沿、出水口、包壁、耳轴和底部的部位；
步骤62，基于钢包的包沿、出水口、包壁、耳轴和底部的部位，在钢包的包壁、耳轴和底部的部位中分别都去除与钢包的包沿和钢包出水口有交集部位，得到待检测的包壁、耳轴和钢包底部的部位；
步骤63，结合全辐射热像图的温度信息，分别计算待检测的包壁、耳轴和底部的部位的最高温度，并记录；
步骤64，按照钢包的编号和使用次数，重复步骤61～步骤63得到某一编号钢包在每次使用过程中的温度值，并记录钢包的编号、使用次数和对应的待检测的包壁、耳轴和底部的部位的最高温度，最终记录了各个钢包待检测的包壁、耳轴和底部的三个不同部位关于使用次数的最高温度。
6.如权利要求1所述的钢包表面故障诊断方法，其特征在于，步骤8，构建所述BP神经网络，包括：
①设置输入层有2个节点，其中，第1个节点代表钢包的部位，第2个节点代表钢包的使用次数的序号值；
②设置隐含层层数为3，节点数分别为256、128、64的BP神经网络，并在每个隐含层中加入失火率为50％的Dropout层；
③输出层为1个节点，表示与使用次数对应的温度值。
7.如权利要求1所述的钢包表面故障诊断方法，其特征在于，步骤9：利用钢包的不同部位的温度趋势数据集训练和评价BP神经网络，以拟合得到温度趋势曲线，包括：
将所述钢包的不同部位的温度趋势数据集中的训练集输入至BP神经网络得到当前的输出即预测温度，基于预测温度和真实温度计算所述BP神经网络的当前误差损失，将所述当前误差损失反向传播，以对所述BP神经网络的参数进行调整，重复本步骤以继续对所述BP神经网络进行训练，直至所述BP神经网络收敛，将收敛后的BP神经网络作为最终的相似目标的检测模型，基于最终的相似目标的检测模型拟合得到钢包的不同部位的最高温度关于使用次数的曲线。
8.如权利要求7所述的钢包表面故障诊断方法，其特征在于，其中，步骤10，利用拟合得到的温度趋势曲线，计算温度正常值区间，包括：
利用钢包的不同部位的温度，结合拟合得到的钢包的不同部位的最高温度关于使用次数的曲线，按待检测的包壁、耳轴和底部的不同部位将坐标系分为三组，不同的钢包的相同部位的曲线画在同一坐标系下，同一坐标系下的不同曲线代表不同的钢包的编号；
基于同一坐标系下的不同曲线得到对应部位在固定使用次数下正常温度阈值区间和正常温度变化率区间。
9.如权利要求8所述的钢包表面故障诊断方法，其特征在于，步骤11：将待检测的钢包的全辐射热像图转换为灰度图输入训练好的SSD网络模型，对待检测的钢包的各部位进行定位，进而获得待检测的钢包的不同部位的温度，基于待检测的钢包的不同部位的温度是否在所述温度正常值区间内，判断所述待检测的钢包是否故障，包括：
将待检测的钢包的全辐射热像图换转为灰度图输入训练好的SSD网络模型，对待检测的钢包的各部位进行定位，进而获得某使用次数下待检测的钢包的不同部位的温度；
若某使用次数下钢包某部位温度值超出所述正常温度阈值区间，则判断该钢包的对应部位出现故障，
若未超出所述正常温度阈值区间，计算某使用次数下钢包某部位的温度变化率，若超出正常温度变化率区间，则该钢包的对应部位出现故障，若未超出正常温度变化率区间，则该钢包的对应部位正常。
10.一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现权利要求1至9中任一项所述的方法。
11.一种用于在网络设备端信息处理的设备，该设备包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该设备执行权利要求1至9中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010938705.3A CN112051298B (zh) | 2020-09-09 | 2020-09-09 | 钢包表面故障诊断方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010938705.3A CN112051298B (zh) | 2020-09-09 | 2020-09-09 | 钢包表面故障诊断方法及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112051298A CN112051298A (zh) | 2020-12-08 |
| CN112051298B true CN112051298B (zh) | 2021-06-04 |
Family
ID=73610373
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010938705.3A Active CN112051298B (zh) | 2020-09-09 | 2020-09-09 | 钢包表面故障诊断方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112051298B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112686285B (zh) * | 2020-12-18 | 2023-06-02 | 福建新大陆软件工程有限公司 | 一种基于计算机视觉的工程质量检测方法及系统 |
| CN112699762A (zh) * | 2020-12-24 | 2021-04-23 | 广东工业大学 | 一种适用于嵌入式设备的食材识别方法 |
| CN113177918B (zh) * | 2021-04-28 | 2022-04-19 | 上海大学 | 一种无人机对电力杆塔的智能精准巡检方法及系统 |
| CN113516643A (zh) * | 2021-07-13 | 2021-10-19 | 重庆大学 | Octa图像中视网膜血管分叉点和交叉点的检测方法 |
| CN116451044B (zh) * | 2023-06-13 | 2023-08-18 | 深圳市超卓实业有限公司 | 基于数据分析的机加设备故障预警系统 |
| CN117375528B (zh) * | 2023-10-12 | 2024-10-01 | 天合光能股份有限公司 | 组件测试方法 |
| CN117611579B (zh) * | 2024-01-17 | 2024-04-02 | 苏州市瑞思特智能制造有限公司 | 一种钢包内衬在线检测方法及在线检测系统 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100929857B1 (ko) * | 2007-12-13 | 2009-12-04 | 주식회사 포스코 | 레이들을 인지하기 위한 방법 |
| CN101716945B (zh) * | 2010-01-14 | 2013-06-26 | 广州科易光电技术有限公司 | 铁路机车车轴红外热像监测方法及系统 |
| CN104458765A (zh) * | 2014-12-22 | 2015-03-25 | 四川理工学院 | 一种磁瓦缺陷的红外热像检测系统及检测方法 |
| CN104809722B (zh) * | 2015-04-13 | 2018-09-28 | 国家电网公司 | 一种基于红外热像的电气设备故障诊断方法 |
| CN105328155B (zh) * | 2015-10-08 | 2017-09-08 | 东北电力大学 | 一种基于改进神经网络的漏钢可视化特征预报方法 |
| CN105499522A (zh) * | 2016-01-25 | 2016-04-20 | 北京华程东方科技有限公司 | 一种红外热像检测系统及装置 |
| US10062156B2 (en) * | 2016-02-25 | 2018-08-28 | Kla-Tencor Corporation | Method and system for detecting defects on a substrate |
| CN109544546B (zh) * | 2018-11-30 | 2021-05-14 | 电子科技大学 | 一种基于多目标优化的红外热图像缺陷特征提取方法 |
| CN109899281B (zh) * | 2019-04-03 | 2020-05-08 | 中国石油大学(北京) | 一种基于红外热像的压裂设备微弱故障诊断方法及装置 |
| CN110261436B (zh) * | 2019-06-13 | 2022-03-22 | 暨南大学 | 基于红外热成像和计算机视觉的轨道故障检测方法及系统 |
-
2020
- 2020-09-09 CN CN202010938705.3A patent/CN112051298B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN112051298A (zh) | 2020-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112051298B (zh) | 钢包表面故障诊断方法及设备 | |
| CN110991311B (zh) | 一种基于密集连接深度网络的目标检测方法 | |
| CN111723786B (zh) | 一种基于单模型预测的安全帽佩戴检测方法及装置 | |
| CN111062413A (zh) | 一种道路目标检测方法、装置、电子设备及存储介质 | |
| CN111489339B (zh) | 高速铁路定位器螺栓备母缺陷的检测方法 | |
| CN109858547A (zh) | 一种基于bssd的目标检测方法与装置 | |
| CN114612937B (zh) | 基于单模态增强的红外与可见光融合行人检测方法 | |
| CN111079739A (zh) | 一种多尺度注意力特征检测方法 | |
| CN112861915A (zh) | 一种基于高级语义特征无锚框非合作目标检测方法 | |
| CN113221731B (zh) | 一种多尺度遥感图像目标检测方法及系统 | |
| CN112149665A (zh) | 一种基于深度学习的高性能多尺度目标检测方法 | |
| CN116645586A (zh) | 一种基于改进YOLOv5的港口集装箱损伤检测方法及系统 | |
| Yao et al. | Real-time method for traffic sign detection and recognition based on YOLOv3-tiny with multiscale feature extraction | |
| CN113887455B (zh) | 一种基于改进fcos的人脸口罩检测系统及方法 | |
| CN115512387A (zh) | 基于改进yolov5模型的工地安全帽佩戴检测方法 | |
| CN115908332A (zh) | 电池极片表面缺陷的检测方法及处理器 | |
| CN111539456A (zh) | 一种目标识别方法及设备 | |
| CN112597996B (zh) | 基于任务驱动的自然场景中交通标志显著性检测方法 | |
| CN117011231B (zh) | 一种基于改进YOLOv5的带钢表面缺陷检测方法及系统 | |
| CN116311004B (zh) | 基于稀疏光流提取的视频运动目标检测方法 | |
| CN112232288A (zh) | 一种基于深度学习的卫星图目标识别方法及系统 | |
| CN115205793B (zh) | 基于深度学习二次确认的电力机房烟雾检测方法及装置 | |
| CN116468702A (zh) | 黄褐斑评估方法、装置、电子设备及计算机可读存储介质 | |
| CN115953403A (zh) | 缺陷检测方法及装置 | |
| Wahyono et al. | A comparison of deep learning methods for vision-based fire detection in surveillance system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231218 Address after: Room 703-704, no.238, JIANGCHANG Third Road, Jing'an District, Shanghai, 200436 Patentee after: SHANGHAI THERMAL IMAGE SCIENCE AND TECHNOLOGY Co.,Ltd. Address before: 201306 Room 201, building 10, 1211 Hongyin Road, Nicheng Town, Pudong New Area, Shanghai Patentee before: Feichuke Intelligent Technology (Shanghai) Co.,Ltd. |