CN113177605A - 一种基于视频监控的废钢车厢等级判定方法 - Google Patents

一种基于视频监控的废钢车厢等级判定方法 Download PDF

Info

Publication number
CN113177605A
CN113177605A CN202110527787.7A CN202110527787A CN113177605A CN 113177605 A CN113177605 A CN 113177605A CN 202110527787 A CN202110527787 A CN 202110527787A CN 113177605 A CN113177605 A CN 113177605A
Authority
CN
China
Prior art keywords
scrap
steel
image
training
grade
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110527787.7A
Other languages
English (en)
Inventor
李桂东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Yuntong Technology Co ltd
Original Assignee
Nanjing Yuntong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Yuntong Technology Co ltd filed Critical Nanjing Yuntong Technology Co ltd
Priority to CN202110527787.7A priority Critical patent/CN113177605A/zh
Publication of CN113177605A publication Critical patent/CN113177605A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于视频监控的废钢车厢等级判定方法，属于废钢等级判定技术领域。该方法将收集的废钢图像集分成训练集和验证集，使用训练集训练深度学习网络模型，并通过验证集进行验证，当输出的废钢图像的类别与位置与验证集的标注进行比较，准确率均超过80％时，完成对深度学习网络模型的训练，随后基于视频监控实时采集废钢图像，输入训练好的深度学习网络模型中，输出标有废钢类别和位置的废钢图像，计算各类别的废钢占比，根据贝叶斯统计方法结合先验知识，得出对一废钢车厢的每个评定等级的概率值，将概率值最高的评定等级作为该废钢车厢的评定等级。本发明的废钢车厢判定方法具有准确率高、避免人为干扰的特点。

Description

一种基于视频监控的废钢车厢等级判定方法
技术领域
本发明涉及废钢等级判定技术领域，具体地涉及一种基于视频监控的废钢车厢等级判定方法。
背景技术
随着钢材需求的日益增长，废钢的回收再利用显得越来越重要。废钢，指的是钢铁厂生产过程中不成为产品的钢铁废料(如切边、切头等)以及使用后报废的设备、构件中的钢铁材料，成分为钢的叫废钢；成分为生铁的叫废铁，统称废钢。目前世界每年产生的废钢总量为3～4亿吨，约占钢总产量的45～50％，其中85～90％用作炼钢原料，10～15％用于铸造、炼铁和再生钢材。
目前冶金企业对废钢铁质量检验有两大难题，一是扣杂质，二是废钢铁定级问题。质量检验主要对废钢铁场地实行封闭式定理，安装监控设施，严禁废钢供应商进入卸车现场，以免干扰质量检验人员的工作。要求废钢铁供应商分类进货，就是把重型、中型、小型、统料废钢分别装车，单独进货，这样就可以解决定级不准确的问题。
为了更好地利用废钢，需要对废钢材料进行等级判定。现阶段，针对废钢等级判定方法等工作集中于指定车厢，针对整车厢废料进行粗略的等级判定等工作。基于人工的废钢等级判定方法主观性强，且只能基于车厢废料表面进行检测，堆砌于内部的废钢材料不能进行检测。该方法难以确保废钢材料等级判定的准确性，为后续的钢材质量加工等工作带来了不可控制的因素，钢坯质量也会受到一定程度的影响。
发明内容
针对现有技术中存在的问题，本发明提供了一种基于视频监控的废钢车厢等级判定方法。
为实现上述目的，本发明提供如下技术方案：一种基于视频监控的废钢车厢等级判定方法，具体包括以下步骤：
(1)收集废钢图像，根据先验知识对收集的废钢图像进行类别和位置标注，获得废钢图像集；所述废钢图像集包括训练集和验证集；
(2)将训练集输入深度学习网络模型中进行训练，当损失函数值小于1且不再下降，停止训练，将验证集逐一输入经训练的深度学习网络模型中，输出标有废钢类别和位置的废钢图像，当输出的废钢图像的类别与位置与验证集的标注进行比较，准确率均超过80％时，完成对深度学习网络模型的训练；
(3)实时获取一废钢车厢卸钢的视频，将视频帧图像输入到训练好的深度学习网络模型中，输出标有废钢类别和位置的废钢图像，计算各类别的废钢占比，根据贝叶斯统计方法结合先验知识，得出对一废钢车厢的每个评定等级的概率值，将概率值最高的评定等级作为该废钢车厢的评定等级。
进一步地，所述深度学习网络模型包括：特征提取模块、分类模块、分割模块；所述特征提取模块的输出端分别与分类模块、分割模块的输入端连接；所述特征提取模块用于特征图的提取；所述分类模块用于预测废钢图像上的废钢类别与废钢位置；所述分割模块用于预测废钢图像的轮廓图像。
进一步地，所述特征提取模块由主干网络和FPN网络连接而成。
进一步地，步骤(2)中的训练过程具体为：将训练集中的一张废钢图像输入特征提取模块进行特征图像提取，提取出分辨率依次增大的四张特征图，将分辨率最大的特征图输入分割模块中进行目标掩膜分割，输出废钢图像的轮廓图像，将四张特征图输入分类模块中，输出废钢图像上的废钢类别与对应类别的废钢位置，将轮廓图像、废钢类别与对应类别的废钢位置进行融合，得到标有废钢类别和位置的废钢图像，依次将训练集中的废钢图像输入至深度学习网络模型中，重复上述过程，直至损失函数值小于1且不再下降，停止训练。
进一步地，所述损失函数L为：
L＝LH+LS
其中，LH为复合损失函数，LS为二类交叉熵损失函数。
进一步地，所述复合损失函数LH为：
Figure BDA0003066544320000021
其中，N表示提取到的预测框总数，Lcls表示focal损失函数，Lreg表示交叉熵损失函数，(x,y)表示特征图中预测废钢的位置坐标，α为超参数，取值为1。
进一步地，所述二类交叉熵损失函数LS为：
LS＝BCE(M,Mgt)
其中，M表示模型预测废钢类别的掩膜，Mgt表示废钢类别对应标注的掩膜。
与现有技术相比，本发明具有如下有益效果：本发明的废钢车厢等级判定方法可以降低人为主观性的干扰，这对于提升钢材产品质量，保证产品生产的可靠性，提升钢材生产流程中的智能化检测水平，减少劳动人员强度会有很大贡献；同时基于深度学习的网络模型的废钢检测，能够在检测中再不断进行迭代，提升废钢车厢等级判定的准确度。
附图说明
图1为本发明所采用的深度学习网络模型结构图。
具体实施方式
下面将结合本发明的附图，对本发明中的技术方案进行清楚、完整地描述。基于本发明中的技术方案，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明基于视频监控的废钢车厢等级判定方法中对废钢的等级判定是基于深度学习网络进行的，可以通过对废钢材料类别和位置分析，准确分割出不同等级的废钢材料，为解决视觉传感器只能采集表面数据的问题，采取边采集边卸车的分层采集方式，也就是在废钢卸载出车厢时是一层一层的卸载的，可以对整个车厢内废钢进行实时监控并判定等级。
本发明提供了一种基于视频监控的废钢车厢等级判定方法，该废钢车厢等级判定方法包括如下步骤：
(1)收集废钢图像，根据先验知识对收集的废钢图像进行类别和位置标注，获得废钢图像集；废钢图像集包括训练集和验证集；
(2)将训练集输入深度学习网络模型中进行训练，当损失函数值小于1且不再下降，停止训练，将验证集逐一输入经训练的深度学习网络模型中，输出标有废钢类别和位置的废钢图像，当输出的废钢图像的类别与位置与验证集的标注进行比较，准确率均超过80％时，完成对深度学习网络模型的训练；如图1，本发明中所采用的深度学习网络模型包括：特征提取模块、分类模块、分割模块；所述特征提取模块的输出端分别与分类模块、分割模块的输入端连接。特征提取模块用于在输入的废钢图像上提取对应特征图，该特征图被分别送进分类和分割模块用于后续的检测，分类模块能够基于特征图预测出废钢图像上各废钢的分类置信度及对应分废钢位置，分割模块则基于特征图得到各单体目标的分割掩膜，预测废钢图像上的轮廓图像，分类模块和分割模块上的预测结果进行后处理融合后输出标有废钢种类和位置的废钢图像。
步骤(2)具体包括如下子步骤：
(2.1)将训练集中的一张废钢图像输入特征提取模块进行特征图像提取，提取出分辨率依次增大的四张特征图；
(2.2)将分辨率最大的特征图输入分割模块中进行目标掩膜分割，输出废钢图像的轮廓图像；
(2.3)将四张特征图输入分类模块中，输出废钢图像上的废钢类别与对应类别的废钢位置；
(2.4)将步骤(2.2)输出的轮廓图像与步骤(2.3)输出的废钢类别及对应类别的废钢位置进行融合，得到标有废钢类别和位置的废钢图像；
(2.5)依次将训练集中的废钢图像输入至深度学习网络模型中，重复步骤(2.1)-(2.4)，直至损失函数值小于1且不再下降，停止训练，深度学习网络模型迭代的次数过多，会降低深度神经网络模型的准确率。本步骤中所采用的损失函数L为：
L＝LH+LS
其中，LH为复合损失函数，LS为二类交叉熵损失函数；
复合损失函数LH为：
Figure BDA0003066544320000041
其中，N表示提取到的预测框总数，Lcls表示focal损失函数，Lreg表示交叉熵损失函数，(x,y)表示特征图中预测废钢的位置坐标，α为超参数，取值为1。
二类交叉熵损失函数LS为：
LS＝BCE(M,Mgt)
其中，M表示模型预测废钢类别的掩膜，Mgt表示废钢类别对应标注的掩膜。
(2.6)停止训练后，将验证集逐一输入深度学习网络模型中，输出标有废钢类别和位置的废钢图像，当输出的废钢图像的类别与位置与验证集的标注进行比较，准确率均超过80％时，完成对深度学习网络模型的训练；否则继续重复步骤(2.1)-(2.5)的训练过程。通过验证集的使用，能够有效的验证深度学习网络模型的训练结果，保证最终模型达到理想的效果。
(3)在废钢检测区域布置高精度DS-2XA8847F-LZSGLG监控相机和高清中长焦镜头，确保在废钢检测区域完全覆盖，实时获取一废钢车厢卸钢的视频，将视频帧图像输入到训练好的深度学习网络模型中，输出标有废钢类别和位置的废钢图像，计算各类别的废钢占比，根据贝叶斯统计方法结合先验知识，得出对一废钢车厢的每个评定等级的概率值，将概率值最高的评定等级作为该废钢车厢的评定等级。通过本发明的废钢车厢等级判定方法能简洁高效地获得废钢车厢等级判定结果，具有计算速度快，准确率高的特点。
在废钢回收场采用本发明的废钢车厢等级判定方法进行整车废钢等级判定，共对240辆废钢车厢进行等级评定，其评定结果相对于标准废钢车厢等级判定结果的准确率均值达81.3％，与认为评定结果相比，准确率较高，有效避免认为因素的干扰。
以上公开的只是用于帮助阐述本发明。显然，根据本说明书的内容，可作很多的修改和变化，本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (7)

1.一种基于视频监控的废钢车厢等级判定方法，其特征在于，具体包括以下步骤：
(1)收集废钢图像，根据先验知识对收集的废钢图像进行类别和位置标注，获得废钢图像集；所述废钢图像集包括训练集和验证集；
(2)将训练集输入深度学习网络模型中进行训练，当损失函数值小于1且不再下降，停止训练，将验证集逐一输入经训练的深度学习网络模型中，输出标有废钢类别和位置的废钢图像，当输出的废钢图像的类别与位置与验证集的标注进行比较，准确率均超过80％时，完成对深度学习网络模型的训练；
(3)实时获取一废钢车厢卸钢的视频，将视频帧图像输入到训练好的深度学习网络模型中，输出标有废钢类别和位置的废钢图像，计算各类别的废钢占比，根据贝叶斯统计方法结合先验知识，得出对一废钢车厢的每个评定等级的概率值，将概率值最高的评定等级作为该废钢车厢的评定等级。
2.根据权利要求1所述基于视频监控的废钢车厢等级判定方法，其特征在于，所述深度学习网络模型包括：特征提取模块、分类模块、分割模块；所述特征提取模块的输出端分别与分类模块、分割模块的输入端连接；所述特征提取模块用于特征图的提取；所述分类模块用于预测废钢图像上的废钢类别与废钢位置；所述分割模块用于预测废钢图像的轮廓图像。
3.根据权利要求2所述基于视频监控的废钢车厢等级判定方法，其特征在于，所述特征提取模块由主干网络和FPN网络连接而成。
4.根据权利1所述基于视频监控的废钢车厢等级判定方法，其特征在于，步骤(2)中的训练过程具体为：将训练集中的一张废钢图像输入特征提取模块进行特征图像提取，提取出分辨率依次增大的四张特征图，将分辨率最大的特征图输入分割模块中进行目标掩膜分割，输出废钢图像的轮廓图像，将四张特征图输入分类模块中，输出废钢图像上的废钢类别与对应类别的废钢位置，将轮廓图像、废钢类别与对应类别的废钢位置进行融合，得到标有废钢类别和位置的废钢图像，依次将训练集中的废钢图像输入至深度学习网络模型中，重复上述过程，直至损失函数值小于1且不再下降，停止训练。
5.根据权利要求1所述基于视频监控的废钢车厢等级判定方法，其特征在于，所述损失函数L为：
L＝LH+LS
其中，LH为复合损失函数，LS为二类交叉熵损失函数。
6.根据权利要求2所述基于视频监控的废钢车厢等级判定方法，其特征在于，所述复合损失函数LH为：
Figure FDA0003066544310000021
其中，N表示提取到的预测框总数，Lcls表示focal损失函数，Lreg表示交叉熵损失函数，(x,y)表示特征图中预测废钢的位置坐标，α为超参数，取值为1。
7.根据权利要求2所述基于视频监控的废钢车厢等级判定方法，其特征在于，所述二类交叉熵损失函数LS为：
LS＝BCE(M,Mgt)
其中，M表示模型预测废钢类别的掩膜，Mgt表示废钢类别对应标注的掩膜。
CN202110527787.7A 2021-05-14 2021-05-14 一种基于视频监控的废钢车厢等级判定方法 Pending CN113177605A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110527787.7A CN113177605A (zh) 2021-05-14 2021-05-14 一种基于视频监控的废钢车厢等级判定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110527787.7A CN113177605A (zh) 2021-05-14 2021-05-14 一种基于视频监控的废钢车厢等级判定方法

Publications (1)

Publication Number Publication Date
CN113177605A true CN113177605A (zh) 2021-07-27

Family

ID=76928989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110527787.7A Pending CN113177605A (zh) 2021-05-14 2021-05-14 一种基于视频监控的废钢车厢等级判定方法

Country Status (1)

Country Link
CN (1) CN113177605A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743210A (zh) * 2021-07-30 2021-12-03 阿里巴巴达摩院(杭州)科技有限公司 图像识别方法和废钢等级的识别方法
CN113810605A (zh) * 2021-08-17 2021-12-17 阿里巴巴达摩院(杭州)科技有限公司 目标对象处理方法及装置
CN114998318A (zh) * 2022-07-18 2022-09-02 聊城一明五金科技有限公司 用于废钢处理工艺中的废钢等级识别方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743210A (zh) * 2021-07-30 2021-12-03 阿里巴巴达摩院(杭州)科技有限公司 图像识别方法和废钢等级的识别方法
CN113810605A (zh) * 2021-08-17 2021-12-17 阿里巴巴达摩院(杭州)科技有限公司 目标对象处理方法及装置
CN114998318A (zh) * 2022-07-18 2022-09-02 聊城一明五金科技有限公司 用于废钢处理工艺中的废钢等级识别方法

Similar Documents

Publication Publication Date Title
CN113177605A (zh) 一种基于视频监控的废钢车厢等级判定方法
CN111242202B (zh) 基于度量学习的车削加工刀具磨损状态监测方法
CN105044122A (zh) 一种基于半监督学习模型的铜件表面缺陷视觉检测系统及检测方法
CN112801391A (zh) 一种人工智能废钢扣杂评级方法及系统
CN106934801A (zh) 一种基于Laws纹理滤波的荧光磁粉缺陷自动识别方法
CN111242185A (zh) 一种基于深度学习的缺陷快速初筛方法及系统
CN113487570B (zh) 基于改进的yolov5x网络模型的高温连铸坯表面缺陷检测方法
CN101995412B (zh) 一种鲁棒的玻璃划伤缺陷检测方法及其装置
CN106780526A (zh) 一种铁氧体圆片表面裂痕识别方法
CN105719291A (zh) 品种可选择的表面缺陷图像分类系统
CN112881412B (zh) 一种废钢产品中非金属异物检测方法
CN113393426B (zh) 一种轧钢板表面缺陷检测方法
CN109101976B (zh) 一种灭弧栅片表面缺陷的检测方法
CN104198497A (zh) 一种基于视觉显著图和支持向量机的表面缺陷检测方法
CN105095869A (zh) 行人检测方法及装置
CN109239073A (zh) 一种用于汽车车身的表面缺陷检测方法
CN115294089A (zh) 一种基于改进YOLOv5的钢材表面缺陷检测方法
CN113869433A (zh) 一种对混凝土损伤进行快速检测和分类的深度学习方法
CN104240252A (zh) 一种机器视觉棒材高温钢坯表面裂纹检测算法
Luo et al. Waterdrop removal from hot-rolled steel strip surfaces based on progressive recurrent generative adversarial networks
CN117455917B (zh) 一种蚀刻引线框架误报库建立及误报在线判定筛选方法
CN115035442A (zh) 基于改进的YOLOv3网络的垃圾分类收运监管方法
CN117409005B (zh) 基于图像的收板机用不良品检测系统及方法
Ibragimov et al. Automated Pavement Condition Index Assessment with Deep Learning and Image Analysis: An End-to-End Approach
Hashmi et al. Computer-vision based visual inspection and crack detection of railroad tracks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination